WO2024024019A1 - 仮想空間における情報処理装置の使用のための制御 - Google Patents

仮想空間における情報処理装置の使用のための制御 Download PDF

Info

Publication number
WO2024024019A1
WO2024024019A1 PCT/JP2022/029100 JP2022029100W WO2024024019A1 WO 2024024019 A1 WO2024024019 A1 WO 2024024019A1 JP 2022029100 W JP2022029100 W JP 2022029100W WO 2024024019 A1 WO2024024019 A1 WO 2024024019A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication device
virtual
virtual machine
virtual space
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/029100
Other languages
English (en)
French (fr)
Inventor
瞳 佐藤
貴士 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Mobile Inc
Original Assignee
Rakuten Mobile Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Mobile Inc filed Critical Rakuten Mobile Inc
Priority to JP2024508981A priority Critical patent/JP7787289B2/ja
Priority to PCT/JP2022/029100 priority patent/WO2024024019A1/ja
Priority to US17/921,434 priority patent/US12236532B2/en
Publication of WO2024024019A1 publication Critical patent/WO2024024019A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present disclosure relates to a technology for using an information processing device provided in a virtual store represented in a virtual space.
  • Patent Document 1 in response to a user performing a selection operation of a predetermined product in a virtual store displayed on a first terminal device, details of the predetermined product are displayed on a second terminal device. A technique for displaying is disclosed. Furthermore, Patent Document 2 discloses a technology for changing (customizing) the specifications of a product selected by a user in a virtual store and paying for the product after the specifications have been changed.
  • JP2021-131661A Japanese Patent Application Publication No. 2022-36691
  • a virtual store like the one described in the above document, it is possible to sell products in real space. This allows the user to purchase products in the real space while being in the virtual space.
  • the user may want to check the usability of the product.
  • a virtual store that sells communication devices that can be used in real space a user may want to check the usability and operational convenience of the communication devices.
  • no mechanism has been provided in virtual space for using communication devices that can be used in real space in virtual space.
  • the present disclosure aims to provide a mechanism for using an information processing device that can be used in real space in virtual space.
  • a virtual space system includes one or more processors, and at least one of the one or more processors performs a first detection process and a first display process. , a second detection process, an acquisition process, and a second display process are executed.
  • the first detection process is a process of detecting a communication device object selected from a plurality of communication device objects in the virtual space.
  • the first display process is a process of displaying a display screen of the same communication device as the model represented by the selected communication device object, which is realized by a virtual machine, in a predetermined display area.
  • the second detection process is a process of detecting an operation on the display screen in the display area.
  • the acquisition process is a process of inputting information indicating the operation into the virtual machine to acquire a display screen of the communication device realized by the virtual machine that is displayed according to the operation.
  • the second display process is a process of displaying the display screen displayed according to the operation in the display area.
  • a virtual space control method includes a first detection step, a first display step, a second detection step, an acquisition step, and a second display step.
  • a communication device object selected from a plurality of communication device objects in the virtual space is detected.
  • a display screen of the same communication device as the model represented by the selected communication device object, which is realized by a virtual machine is displayed in a predetermined display area.
  • an operation on the display screen in the display area is detected.
  • the acquisition step a display screen displayed according to the operation of the communication device realized by the virtual machine is acquired by inputting information indicating the operation into the virtual machine.
  • the display screen displayed according to the operation is displayed in the display area.
  • a user can use an information processing device that can be used in a real space in a virtual space.
  • FIG. 1 shows a configuration example of a virtual space system according to an embodiment of the present disclosure.
  • FIG. 2 shows a configuration example of a head mounted display (HMD) according to an embodiment of the present disclosure.
  • FIG. 3 shows a configuration example of a VR content distribution device according to an embodiment of the present disclosure.
  • FIG. 4 shows a configuration example of a screen generation device according to an embodiment of the present disclosure.
  • FIG. 5 shows an example of a communication sequence diagram of the HMD, the VR content distribution device, and the screen generation device.
  • FIG. 6 shows another example of a communication sequence diagram of the HMD, the VR content distribution device, and the screen generation device.
  • FIG. 7A shows an example of a VR image displayed on the HMD.
  • FIG. 7B shows an example of a VR image for selecting a user terminal to be used in the virtual space.
  • FIG. 7C shows an example of a VR image for selecting a terminal usage mode.
  • FIG. 7D shows an example of a VR image in which an avatar-dedicated user terminal operated by a user is displayed.
  • FIG. 7E shows an example of a VR image including a display screen with screen data embedded therein.
  • FIG. 7F shows an example of a VR image in which a user terminal dedicated to the user is displayed in a superimposed manner.
  • FIG. 7G shows an example of a VR image including a display screen displaying screen data.
  • VR virtual reality
  • a real user human
  • his/her alter ego called an avatar
  • metaverse that is a mechanism thereof.
  • the term virtual reality space shall mean a virtual space, such as a metaverse, in which a user can act as his/her own alter ego.
  • FIG. 1 shows a configuration example of a virtual space system 1 according to this embodiment.
  • the virtual space system 1 includes a head mounted display (HMD) 10, a VR content distribution device 20, and a screen data generation device 30.
  • the HMD 10 is a device that can be mounted on the head of a user (player) 12.
  • the HMD 10 outputs VR content constituting a virtual space distributed by the VR content distribution device 20, and the user 12 can view the VR content.
  • the VR content includes at least a VR image (image data that constitutes a virtual space), and may also include metadata and audio indicating information about objects in the virtual space. Note that in this embodiment, the term "image” is understood to include still images and/or moving images.
  • the user 12 can enjoy the virtual space by viewing VR content.
  • a virtual reality (VR) system is configured by the VR content distribution device 20 and the screen data generation device 30.
  • the HMD 10 may be a binocular type or a monocular type. Further, the HMD 10 may be of a transmissive type that completely covers the eyes of the user 12, or may be of a transmissive type. In the case of a transparent type, a more immersive feeling can be provided. Further, the HMD 10 may be a goggle-type, glasses-type, or hat-type device.
  • the user 12 can perform various controls and settings such as controlling an avatar corresponding to the user 12. For example, the user 12 can perform a desired input operation by tilting the controller 11 or pressing a button (not shown) provided on the controller 11.
  • the controller 11 is composed of one piece of hardware, it may be composed of two controllers, one for the right hand and one for the left hand. Further, the controller 11 is not limited to a form in which it is held by the user 12, but may be in any form as long as it allows input operations by the user 12.
  • the VR content distribution device 20 is a device that constitutes a VR system, and specifically provides VR content (that is, virtual space) to the user 12 by distributing the VR content to the HMD 10.
  • the VR content distribution device 20 includes a content database.
  • the content database includes image data representing a virtual space (VR image), model data of an avatar that is the alter ego of the user 12, audio data, and the like.
  • the VR content distribution device 20 uses data stored in the content database to generate a VR image according to the movement of the HMD 10 or the operation on the controller 11, and transmits (distributes) the VR image to the HMD 10.
  • audio may be transmitted to the HMD 10 in response to the movement of the HMD 10 or the operation by the controller 11.
  • the behavior of the avatar can be controlled by the user 12 operating the controller 11 . Note that the avatar's behavior may be controlled by the movement of the HMD 10.
  • the virtual space system 1 allows the user 12 to use communication devices that can be used in the real space in a virtual store that is expressed (deployed) in the virtual space provided by the VR content distribution device 20. It is configured as follows. That is, the virtual space system 1 is configured so that the user 12 can simulate the usability of a communication device that can be used in the real space in the virtual space via the HMD 10.
  • an example of the configuration of a virtual space system that implements such processing an example of the configuration of each device (system) that makes up the virtual space system, and an example of a specific processing procedure will be described.
  • an object in the shape of a communication device is expressed in a virtual store.
  • the object in the virtual space or virtual store will also simply be referred to as a communication device or a user terminal.
  • the user 12 selects one communication device from a plurality of communication devices placed in a virtual space and uses the selected communication device virtually (simulated).
  • the object that the user 12 uses virtually is a user terminal such as a smartphone, but it may be any other communication device or an information processing device that does not have a communication function. It's okay.
  • an information processing device called a communication device that has a communication function may be used virtually, or an information processing device that does not have a communication function may be used virtually.
  • FIG. 2 shows a configuration example of the HMD 10 (first information processing device) according to this embodiment.
  • the HMD 10 includes a CPU 101, a ROM 102, a RAM 103, an HDD 104, a display section 105, a motion sensor 106, a controller I/F (interface) 107, and a communication section 108 as a hardware configuration.
  • the HMD 10 may also include an external memory and a line of sight detection sensor (a sensor that detects movement of the user's 12 line of sight).
  • the HMD 10 also includes a terminal selection detection section 111, a terminal operation detection section 112, a user state detection section 113, and a display control section 114 as functional configurations executed by the CPU 201.
  • a CPU (Central Processing Unit) 101 is composed of one or more processors, and controls operations in the HMD 10 in an integrated manner.
  • the CPU 101 includes an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), and a DSP (Digital Signal Array). It may be replaced by one or more processors such as a GPU (Graphics Processing Unit) or a Graphics Processing Unit (GPU). The functional configuration of the CPU 101 will be described later.
  • a ROM (Read Only Memory) 102 is a nonvolatile memory that stores control programs and the like necessary for the CPU 101 to execute processing. Note that the program may be stored in a nonvolatile memory such as an HDD (Hard Disk Drive) 104 or an SSD (Solid State Drive), or an external memory such as a removable storage medium (not shown).
  • a RAM (Random Access Memory) 103 is a volatile memory and functions as the main memory, work area, etc. of the CPU 101. That is, the CPU 101 loads necessary programs and the like from the ROM 102 into the RAM 103 when executing processing, and implements various functional operations by executing the programs and the like.
  • the HDD 104 stores, for example, various data and information necessary when the CPU 101 performs processing using a program. Further, the HDD 104 stores various data, various information, etc. obtained by the CPU 101 performing processing using programs and the like. Note that the storage may be performed using an external memory such as a nonvolatile memory such as an SSD or a removable storage medium together with or in place of the HDD 104.
  • an external memory such as a nonvolatile memory such as an SSD or a removable storage medium together with or in place of the HDD 104.
  • the display unit 105 is realized by a liquid crystal display or the like.
  • the display unit 105 is provided with a first display (first display area) set in front of the left eye of the user 12 and a second display (second display area) set in front of the right eye of the user 12.
  • first display first display area
  • second display second display area
  • the display control unit 114 of the CPU 101 generates a left-eye image and a right-eye image with different parallaxes, and displays the left-eye image on the first display.
  • the right eye image can be displayed on the second display.
  • the display unit 105 may be configured as an integrated display that combines a first display and a second display.
  • the motion sensor 106 detects information indicating the posture of the user 12 wearing the HMD 10 (hereinafter referred to as posture information), such as the rotation angle and inclination of the HMD 10.
  • posture information information indicating the posture of the user 12 wearing the HMD 10.
  • the motion sensor 106 may be configured by combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, or the like.
  • the controller I/F 107 detects (receives) information (hereinafter referred to as operation information) indicating an operation performed by the user 12 on the controller 11 from the controller 11 .
  • the controller I/F 107 receives operation information via the communication unit 108.
  • the user's operations on the controller 11 include, for example, pressing a button provided on the controller 11, changing the position, orientation, and tilt of the controller 11, and/or the level of force with which the controller 11 is gripped.
  • the HMD 10 is configured to receive operation information from the controller 11 and transmit it to the VR content distribution device 20.
  • the controller 11 may be configured to directly transmit the operation information to the VR content distribution device 20.
  • the communication unit 108 is an interface that controls communication between the HMD 10 and external devices.
  • the communication unit 108 is configured to communicate with the VR content distribution device 20 and the screen data generation device 30 via a communication network such as the Internet and a wireless LAN.
  • the terminal selection detection unit 111 detects information corresponding to terminal selection (terminal selection information) from among the posture information of the user 12 detected by the motion sensor 106 and the operation information of the user 12 detected by the controller I/F 107. do.
  • Terminal selection is an operation in which the user 12 selects one user terminal from a plurality of user terminals (communication device objects) placed in a virtual store represented in the VR image (virtual space) displayed on the display unit 105. It is. Terminal selection corresponds to, for example, an operation by the controller 11 of selecting one user terminal from among a plurality of user terminals in the virtual space. Alternatively, predetermined movements and operations on the HMD 10 and controller 11 may be set in advance to correspond to terminal selection.
  • the terminal selection information indicates, for example, the position of a selection operation in a VR image or a virtual store. Alternatively, the terminal selection information may be information (identification information) that identifies one user terminal selected from among a plurality of user terminals.
  • the terminal selection information includes information on the usage mode (terminal usage mode) of the user terminal selected by the user 12 in the virtual space.
  • the terminal usage mode will be described later.
  • the terminal selection information is transmitted to the VR content distribution device 20 via the communication unit 108 or from the controller 11.
  • the terminal operation detection unit 112 detects information corresponding to the terminal operation (terminal operation information) from the posture information of the user 12 detected by the motion sensor 106 and the operation information of the user 12 detected by the controller I/F 107. do.
  • the terminal operation is an operation on the user terminal selected by the user 12.
  • the terminal operation corresponds to an operation performed on a predetermined area (also referred to as an operation area) by the controller 11.
  • the operation area may be determined in advance, or may be determined by operation via the controller 11 or the like.
  • the area where images are displayed and the area where operations are performed may not match, such as on a laptop, or the area where images are displayed and the area where operations are performed, such as on a smartphone's touch panel. Sometimes the areas match. Therefore, the display area described later and the operation area described above may or may not match. Furthermore, even when the display area and the operation area match, at least a portion of them may match.
  • predetermined movements and operations on the HMD 10 and controller 11 may be set in advance to correspond to terminal operations.
  • the terminal operation information may include position information and three-dimensional angle information at which the terminal operation was performed. Note that, as will be described later, the terminal operation is different depending on whether the user 12 uses the user terminal within the virtual space or when the user 12 uses the user terminal displayed superimposed on the virtual space.
  • the user state detection unit 113 detects information that does not correspond to the terminal selection and terminal operation described above from among the posture information of the user 12 detected by the motion sensor 106 and the operation information of the user 12 detected by the controller I/F 107. Generated as user status information.
  • the user status detection unit 113 can transmit user status information to the VR content distribution device 20 via the communication unit 108. User status information may also be sent from the controller 11.
  • the user state information may include information on the movement of the user's 12 line of sight.
  • the user status information also includes information indicating an operation to end use of the user terminal in the virtual store, which was used by the user 12.
  • the display control unit 114 performs display control on the display unit 105.
  • the display control unit 114 performs control to display a VR image generated by the VR content distribution device 20 on the display unit 105 in response to the user status information generated by the user status detection unit 113.
  • the display control unit 114 can perform the control for stereoscopic display as described above.
  • the display control unit 114 can superimpose and display an image for viewing the display screen of the user terminal selected by the user 12 on the VR image.
  • the image may be an image simulating the user terminal selected by the user 12.
  • the image may include a frame of the user terminal and a display screen inside the frame.
  • the display control unit 114 can acquire the screen data generated by the screen data generation device 30 via the VR content distribution device 20 and display it on the display screen within the image.
  • FIG. 3 shows a configuration example of the VR content distribution device 20 (second information processing device) according to this embodiment.
  • the VR content distribution device 20 distributes VR content to the HMD 10. If a predetermined login process (including an authentication process for logging in with a non-general-purpose account) by the user 12 is required in order to use VR content provided by the VR content distribution device 20, the user 12, for example, uses the HMD 10 or By operating the controller 11, a login process is performed using predetermined information (for example, ID and password). The login process may be performed by the VR content distribution device 20.
  • a predetermined login process including an authentication process for logging in with a non-general-purpose account
  • the VR content distribution device 20 includes a CPU 201, a ROM 202, a RAM 203, an HDD 204, a communication unit 205, and a content database 206 as a hardware configuration. Further, the VR content distribution device 20 includes a user status management section 211, a content generation section 212, a model information generation section 213, and a terminal operation transfer section 214 as functional components executed by the CPU 201.
  • the basic configurations of the CPU 201, ROM 202, RAM 203, and HDD 204 are the same as those of the CPU 101, ROM 102, RAM 103, and HDD 104 in FIG. 2, so a description thereof will be omitted.
  • the communication unit 205 is an interface that controls communication between the VR content distribution device 20 and external devices.
  • the communication unit 205 is configured to communicate with the HMD 10 and the screen data generation device 30 via a communication network such as the Internet and a wireless LAN.
  • the communication unit 205 may be configured to communicate with the controller 11.
  • the content database 206 is configured to store image data (VR images) constituting the virtual space, model data of an avatar that is the alter ego of the user 12, audio data, etc. Further, in this embodiment, content database 206 is configured to store information regarding multiple user terminals at the virtual store. Specifically, each of the plurality of user terminals in the virtual store corresponds to a user terminal that can be used in real space, and the content database 206 stores information regarding the model (model information) for each user terminal in the virtual store. be done.
  • the model information includes a manufacturer name, model number, etc., and can be stored in association with information (identification information) for identifying each user terminal. Alternatively, the model information may be stored in association with the position of each user terminal placed in the virtual store (position in the virtual space or virtual store). Further, the model information is stored in association with the shape data of the user terminal (an image including the frame and display screen of the user terminal) of the model information.
  • the content database 206 and the VR content distribution device 20 may be separate devices. In that case, the VR content distribution device 20 can utilize data stored in the content database 206 by communicating with the content database 206.
  • the user status management unit 211 detects (receives) the user status information transmitted by the user status detection unit 113 of the HMD 10 via the communication unit 205 and outputs it to the content generation unit 212. Note that when the user status information is information indicating an operation to terminate use of the user terminal in the virtual store, the user status management unit 211 transmits a termination instruction to the screen data generation device 30 via the communication unit 205.
  • the content generation unit 212 generates VR content representing a virtual space from the data acquired from the content database 206 based on the user status information detected by the user status management unit 211.
  • the VR content includes a VR image to be displayed on the HMD 10, and may also include audio.
  • the content generation unit 212 distributes (transmits) the generated VR content to the HMD 20 via the communication unit 205.
  • the content generation unit 212 generates VR content representing a virtual store where a plurality of user terminals are placed.
  • each of the plurality of user terminals may have identification information.
  • the content generation unit 212 can perform control to incorporate the screen data received from the screen data generation device 30 via the communication unit 205 into the VR image.
  • the content generation unit 212 is configured to be able to incorporate (insert) the received screen data into a display area such as a display screen of a user terminal in the virtual space. Note that the received screen data may be transferred to the HMD 10 without being incorporated into the display area.
  • the model information generation unit 213 detects (receives) the terminal selection information transmitted by the terminal selection detection unit 111 (or controller 11) of the HMD 10 via the communication unit 205, and identifies the user terminal according to the terminal selection information. do. Subsequently, the model information generation unit 213 obtains model information (manufacturer name and model number) of the specified user terminal (that is, selected by the user 12) from the content database 206. For example, if the terminal selection information is the location of the selection operation in the virtual store (or VR image), the model information generation unit 213 acquires the model information stored in the content database 206 in association with the location.
  • the model information generation unit 213 obtains model information stored in the content database 206 in association with the model information.
  • the model information generation unit 213 transmits the model information to the screen data generation device 30 via the communication unit 205.
  • the transmitted model information means a request by the user 12 to use a user terminal having the model information (or to allocate a virtual machine having the model information).
  • the model information generation unit 213 can output the model information to the content generation unit 212.
  • the model information generation unit 213 can acquire shape data of the user terminal that is stored in the content database 206 in association with the model information.
  • the terminal operation transfer unit 214 receives terminal operation information transmitted by the terminal operation detection unit 112 (or controller 11) of the HMD 10 via the communication unit 205, and transfers it to the screen data generation device 30. configured.
  • FIG. 4 shows a configuration example of the screen data generation device 30 (third information processing device) according to this embodiment.
  • the screen data generation device 30 includes a CPU 301, a ROM 302, a RAM 303, an HDD 304, and a communication unit 305 as a hardware configuration. Further, the screen data generation device 30 includes a virtual machine (VM) management section 311 and a screen data acquisition section 312 as functional components executed by the CPU 301.
  • VM virtual machine
  • the basic configurations of the CPU 301, ROM 302, and HDD 304 are the same as those of the CPU 101, ROM 102, and HDD 104 in FIG. 2, so a description thereof will be omitted.
  • a hypervisor 321 and virtual machines (VM) 331, 332, and 333 are stored in the RAM 303.
  • the virtual machine 331 includes a guest OS 341 and an application 351.
  • the virtual machine 332 includes a guest OS 342 and an application 352.
  • the virtual machine 333 includes a guest OS 343 and an application 353.
  • the hypervisor 321 is a program for constructing a virtual environment, and in the example of FIG. 4 runs a plurality of virtual machines 331, 332, and 333 constructed on the hypervisor 321.
  • a guest OS is basic software for running various applications in a virtual machine.
  • the guest OS 341 operates an application 351, the guest OS 342 operates an application 352, and the guest OS 343 operates an application 353.
  • the application 351 runs on the guest OS 341, the application 352 runs on the guest OS 342, and the application 353 is a program that runs on the guest OS 343.
  • FIG. 3 shows an example in which the RAM 303 includes three virtual machines 331, 332, and 333, the number of virtual machines is not limited to a specific number.
  • the virtual machine management unit 311 can manage virtual machines, such as creating and deleting virtual machines.
  • the application in each virtual machine is a program for virtually realizing a user terminal (specifically, at least some functions of the terminal) that can be used in real space.
  • the application is configured to receive terminal operation information as input and output (generate) screen data that is displayed on the display screen of the user terminal (transitions according to the terminal operation) according to the terminal operation corresponding to the information.
  • each virtual machine functions as a virtual user terminal that can generate screen data to be displayed according to the user's 12 operations.
  • Each virtual machine (virtual user terminal) is managed so that it can be identified using identification information (manufacturer name and model number) of the user terminal in real space.
  • Virtual machine 3 are identified by, for example, the following manufacturer name and model number.
  • the symbol in parentheses represents the virtual machine identification information of each virtual machine, which is a combination of the manufacturer name and model number.
  • Virtual machine 331 Manufacturer name: Manufacturer A, model number: a01 (Aa01)
  • Virtual machine 332 ⁇ Manufacturer name: Manufacturer A, model number: a02 (Aa02)
  • Virtual machine 333 ⁇ Manufacturer name: Manufacturer B, model number: b01 (Bb01)
  • the virtual machines 331, 332, and 333 shown in FIG. 3 may be created in advance, or may be created by the virtual machine management unit 311. As described later, the virtual machine management unit 311 has a function of creating a virtual machine.
  • the communication unit 305 is an interface that controls communication between the screen data generation device 30 and external devices.
  • the communication unit 305 is configured to communicate with the VR content distribution device 20 via a communication network such as the Internet and a wireless LAN.
  • the virtual machine management unit 311 manages virtual machines stored in the RAM 303.
  • the virtual machine management unit 311 creates a virtual machine.
  • the virtual machine management unit 311 manages the virtual machine of the model information received from the VR content distribution device 20 via the communication unit 305 (that is, at least some functions of the user terminal of the model information in real space). It is possible to create a virtual machine (virtually realized virtual machine). If a virtual machine with the received model information is already stored in the RAM 303, the virtual machine management unit 311 does not create a virtual machine with the received model information and uses the stored virtual machine. It's okay. Further, the virtual machine management unit 311 may be configured to create a virtual machine in response to a predetermined instruction received via the communication unit 305.
  • the virtual machine management unit 311 can create multiple virtual machines with the same model information. For example, if multiple users including the user 12 select user terminals with the same model information in the virtual space, the virtual machine management unit 311 can create multiple virtual machines with the same model information. At this time, the virtual machine management unit 311 can create virtual machines in which different (for example, ascending order) identification numbers are associated with the same machine type information. For example, if the above virtual machine 331 is the second virtual machine having the same virtual machine identification information (Aa01), the virtual machine identification information of the virtual machine 331 becomes Aa01-02.
  • the virtual machine management unit 311 is configured to be able to create a virtual machine based on the model information received from the VR content distribution device 20, and to be able to create multiple virtual machines with the same model information. Therefore, even if only a limited number of user terminals can be placed in a virtual store due to store design, appearance, etc., the virtual machine management unit 311 can create any number of virtual machines regardless of the number. can do. As a result, for example, multiple users or multiple avatars corresponding to multiple users can select and use the user terminal they want to use, regardless of the number of user terminals placed in the virtual store. .
  • the virtual machine management unit 311 manages the status of virtual machines in the RAM 303. For example, a virtual machine that is being used by one or more users including user 12 (that is, being used by the screen data acquisition unit 312) is managed as "in use” and is being used by one or more users including user 12. Manage unused virtual machines as "unused”. Further, the virtual machine management unit 311 may adjust the number of created virtual machines. For example, the virtual machine management unit 311 may create a virtual machine that implements the same type of communication device when the number of virtual machines that have the same model and whose status is "unused" is equal to or less than a predetermined number. Thereby, even if many operation requests are made for a certain popular model, the operation requests can be answered.
  • the number of virtual machines that implement communication devices of models for which few operation requests are made may be reduced.
  • the virtual machine management unit 311 can create new virtual machines and delete unnecessary (for example, surplus) virtual machines, and can efficiently manage the capacity of the RAM 303. It becomes possible.
  • the virtual machine management unit 311 allocates a virtual machine for use by the user 12 based on the model information received from the VR content distribution device 20 (that is, the model information of the user terminal selected by the user 12). Specifically, the virtual machine management unit 311 allocates to the user 12 a virtual machine whose status is “unused” and which has the relevant model information. The virtual machine management unit 311 notifies the screen data acquisition unit 312 of the virtual machine identification information of the assigned virtual machine.
  • the virtual machine management unit 311 when the virtual machine management unit 311 receives a usage termination instruction transmitted from the user status management unit 211 of the HMD 10 via the communication unit 305, the virtual machine management unit 311 changes the status of the assigned virtual machine from “in use” to “unused”. ”. For example, when an instruction to end use is received from the HMD 10 through an operation by the user 12, the virtual machine management unit 311 changes the status of the virtual machine assigned to the user 123 from "in use” to "unused”. Next, the virtual machine management unit 311 refers to the RAM 303 and counts the number of virtual machines that implement communication devices of the same type as the virtual machine that has been changed to "unused” and that have an "unused” status. Count.
  • the virtual machine management unit 311 can initialize (for example, erase and recreate) the assigned virtual machine. On the other hand, if the number of virtual machines is equal to or greater than the predetermined number, the virtual machine management unit 311 can delete the assigned virtual machine.
  • the screen data acquisition unit 312 acquires (receives) terminal operation information from the HMD 10, the controller 11, or the terminal operation transfer unit 214 of the VR content distribution device 20 via the communication unit 305.
  • the screen data acquisition unit 312 inputs the terminal operation information to the virtual machine having the virtual machine identification number notified from the virtual machine management unit 311.
  • the virtual machine is configured to receive terminal operation information as input and output (generate) screen data that changes according to the terminal operation corresponding to the information.
  • the HMD 10, the VR content distribution device 20, and the screen data generation device 30 may be provided with dedicated hardware for executing their respective functions, or may be provided with hardware that executes a part of their respective functions. , other parts may be executed by a computer that runs the program. Alternatively, all functions may be performed by a computer and a program.
  • FIG. 5 shows an example of a communication sequence diagram of the HMD 10, the VR content distribution device 20, and the screen data generation device 30.
  • the HMD 10 logs into the VR system via the VR content distribution device 20 according to the operation of the user 12.
  • the user 12 can set an avatar that is an alter ego of the user 12 to be used in the virtual space.
  • the content generation unit 212 of the VR content distribution device 20 generates VR content including a VR image (S502), and provides it to the HMD 10 via the communication unit 205 (S504).
  • the display control unit 114 of the HMD 10 displays the VR image received via the communication unit 108 on the display unit 105 (S503).
  • a virtual store in which multiple user terminals are placed is represented in the VR image.
  • An example of a VR image is shown in FIG. 7A.
  • a plurality of user terminals including user terminals 72a, 72b, 72c, and 72d are placed in the virtual store 71.
  • the user terminals 72a, 72b, 72c, and 72d are user terminals that can be selected by the user 12, and each corresponds to a user terminal that can be used in the real space and has unique model information.
  • the model information of the user terminals 72a, 72b, 72c, and 72d may be the same or different.
  • the user terminals 72a, 72b, 72c, and 72d have shapes (frames and display screens) based on their respective model information.
  • Avatar 73 is an avatar corresponding to user 12. That is, the user 12 can freely move the avatar 73 in the virtual space by moving or operating the HMD 10 or controller 11.
  • the user state detection unit 113 of the HMD 10 transmits user state information including posture information of the HMD 10 and operation information of the controller 11 to the VR content distribution device 20 via the communication unit 108 (S505).
  • the VR content distribution device 20 generates VR content according to the user status information (S502) and distributes (transmits) it to the HMD 10 (S504).
  • Such transmission of user status information (posture information and/or operation information) and distribution of VR content continue while the HMD 10 is logged into the system (S51).
  • FIG. 7B shows an example of a VR image for selecting a user terminal to be used in the virtual space.
  • the user 12 selects the user terminal 72d via the avatar 73.
  • the user terminal may be selected.
  • a dialog asking whether or not to select the user terminal may be displayed, and the user terminal may be selected if the user answers yes.
  • FIG. 7C shows an example of an image for selecting a terminal usage mode.
  • a selection area 74 is displayed superimposed on the VR image 70C.
  • the selectable terminal usage modes include two types: "in-VR mode” and "superimposed display mode.”
  • VR mode is a mode in which a user terminal in a virtual space is used by displaying a display screen of the user terminal by a virtual machine on the user terminal.
  • in-VR mode the screen of the user terminal used by the user 12 in the virtual space can be seen (recognized) by other avatars as well.
  • the "superimposed display mode” is a mode in which a user terminal is used by displaying the display screen of the user terminal by a virtual machine on an image superimposed on a virtual space (VR image). That is, the display screen of the user terminal by the virtual machine is displayed not within the virtual space but in an area separate from the virtual space.
  • the screen of the user terminal used by the user 12 in the virtual space cannot be seen (recognized) by other avatars.
  • the user 12 selects "VR mode” as indicated by mark 75 (S507).
  • the virtual space is configured such that the user 12 uses the selected user terminal within the virtual space.
  • the terminal selection detection unit 111 of the HMD 10 transmits the terminal selection information to the VR content distribution device 20 via the communication unit 108 (S508).
  • the model information generation unit 213 of the VR content distribution device 20 identifies the user terminal according to the terminal selection information received from the HMD 20 via the communication unit 205, and acquires the model information of the identified user terminal from the content database 206 ( S509).
  • the model information generation unit 213 outputs the model information to the content generation unit 212.
  • the model information generation unit 213 transmits the model information to the screen data generation device 30 via the communication unit 205 (S510).
  • the model information sent to the screen data generation device 30 corresponds to a request by the user 12 to use a user terminal having the model information (or to allocate a virtual machine having the model information).
  • the content generation unit 212 of the VR content distribution device 20 obtains shape data of the user terminal associated with the model information from the content database 206.
  • the content generation unit 212 displays the shape of the user terminal indicated by the shape data on the VR image as a user terminal dedicated to the avatar 73 operated by the user 12 (S511).
  • FIG. 7D shows an example of a VR image in which a user terminal dedicated to avatar 73 operated by user 12 is displayed.
  • the user terminal 76 is a user terminal dedicated to the avatar 73.
  • the user terminal 76 corresponds to the user terminal 72d in the virtual store 71, and has a shape according to the model information of the user terminal 72d.
  • the user terminal 76 has a display screen (display screen 77) like the user terminal 72d.
  • the virtual machine management unit 311 of the screen data generation device 30 prepares a virtual machine based on the model information received from the VR content distribution device 20 via the communication unit 305 (status is “unused”). If a virtual machine with the relevant model information is stored in the RAM 303 (status is "unused"), the virtual machine is prepared; otherwise, the virtual machine management unit 311 creates a virtual machine with the relevant model information. Prepare by doing. Then, the virtual machine management unit 311 allocates the prepared virtual machine to a virtual machine for use by the user 12 (that is, the avatar 73) (S512). The virtual machine management unit 311 notifies the screen data acquisition unit 312 of the virtual machine identification information of the assigned virtual machine.
  • the terminal operation detection unit 112 of the HMD 10 detects a terminal operation on the display screen 77 of the user terminal 76 displayed in the virtual store 71 (S513)
  • the terminal operation detection unit 112 of the HMD 10 transmits information corresponding to the operation (terminal operation information) to the communication unit 108. via the VR content distribution device 20 (S514).
  • the terminal operation transfer unit 214 of the VR content distribution device 20 transfers the terminal operation information to the screen data generation device 30 (S515).
  • the operation is, for example, at least one of a tap operation (touch operation), a slide operation, and a scroll operation on the display screen 77 by the avatar 73 in the virtual space.
  • the position of the tap operation becomes the terminal operation information.
  • the operation position may be expressed including a three-dimensional angle.
  • the screen data acquisition unit 312 of the screen data generation device 30 When the screen data acquisition unit 312 of the screen data generation device 30 receives the terminal operation information via the communication unit 305, it inputs the terminal operation information to the virtual machine assigned in S512, and from the output of the virtual machine, Screen data is acquired (S516). The acquired screen data is transmitted to the VR content distribution device 20 via the communication unit 305 (S517).
  • FIG. 7E shows an example of a VR image including a display screen 77 into which screen data is embedded.
  • the display screen 77 displays screen data 78 (hatched portion) that is displayed by the user 12's operation via the avatar 73.
  • the HMD 10 detects (receives) information indicating the end-of-use operation by the user 12, the screen data corresponding to the terminal operation by the user 12 continues to be displayed on the display screen 77 in the virtual space (S52).
  • the user status management unit 211 of the VR content distribution device 20 detects that the user status information received from the HMD 10 is information indicating an operation to end use of the user terminal in the virtual store (S519), the user status management unit 211 via the communication unit 205, A termination instruction is sent to the screen data generation device 30 (S520). This ends the use of the user terminal 76 in the virtual space by the user 12.
  • the use termination operation is, for example, an operation for the avatar 73 to let go of the user terminal 76 or an operation for terminating the "in-VR mode".
  • the virtual machine management unit 311 of the screen data generation device 30 When the virtual machine management unit 311 of the screen data generation device 30 receives the termination instruction from the VR content distribution device 20 via the communication unit 305, it releases the virtual machine allocated in S512 (S521). For example, the virtual machine management unit 311 changes the status of the allocated virtual machine from "in use” to "unused.” Then, with reference to the RAM 303, the number of virtual machines that implement the same type of communication device and have a status of "unused" is counted. If the number of virtual machines is less than the predetermined number, the virtual machine management unit 311 can initialize (for example, erase and recreate) the assigned virtual machine. On the other hand, if the number of virtual machines is equal to or greater than the predetermined number, the virtual machine management unit 311 can delete the assigned virtual machine. Thereafter, the HMD 10 logs out of the VR system via the VR content distribution device 20 (S522), whereby the VR content distribution device 20 ends providing the VR content to the HMD 10, and the process of S51 ends. .
  • FIG. 5 shows another example of a communication sequence diagram of the HMD 10, the VR content distribution device 20, and the screen data generation device 30. Note that processes similar to those in FIG. 5 are given the same reference numerals and explanations are omitted.
  • the terminal selection detection unit 111 of the HMD 10 transmits the terminal selection information to the VR content distribution device 20 via the communication unit 108 (S602).
  • the model information generation unit 213 of the VR content distribution device 20 identifies the user terminal according to the terminal selection information received from the HMD 20 via the communication unit 205, and acquires the model information of the user terminal from the content database 206 (S603). .
  • the model information generation unit 213 transmits the model information to the screen data generation device 30 via the communication unit 205 (S604). Furthermore, the model information generation unit 213 acquires the shape data of the user terminal associated with the model information, and transmits the shape data to the HMD 10 via the communication unit 205 (S605).
  • FIG. 7F shows an example of a VR image in which a user terminal dedicated to the user is displayed in a superimposed manner.
  • the user terminal 79 is a user terminal dedicated to the user 12, which is displayed superimposed on the VR image 70F.
  • the user terminal 79 corresponds to the user terminal 72d in the virtual store 71, and has a shape according to the model information of the user terminal 72d.
  • the user terminal 76 has a display screen (display screen 80) like the user terminal 72d. Note that the size of the user terminal 79 may be arbitrarily adjustable, and may be displayed in a larger size than usual for visibility.
  • the virtual machine management unit 311 of the screen data generation device 30 prepares a virtual machine corresponding to the model information received from the VR content distribution device 20 via the communication unit 305 (status is “unused”). If a virtual machine with the relevant model information is stored in the RAM 303 (status is "unused"), the virtual machine is prepared; otherwise, the virtual machine management unit 311 creates a virtual machine with the relevant model information. Prepare by doing. Then, the virtual machine management unit 311 allocates the prepared virtual machine to a virtual machine for use by the user 12 (S607). The virtual machine management unit 311 notifies the screen data acquisition unit 312 of the virtual machine identification information of the assigned virtual machine.
  • the terminal operation detection unit 112 of the HMD 10 detects a terminal operation on the display screen 80 of the user terminal 79 superimposed on the virtual store 71 (S608)
  • the information corresponding to the operation is transmitted to the communication unit 108.
  • the operation is, for example, at least one of a tap operation (touch operation), a slide operation, and a scroll operation on the display screen 80.
  • the position of the tap operation becomes terminal operation information.
  • the screen data acquisition unit 312 of the screen data generation device 30 When the screen data acquisition unit 312 of the screen data generation device 30 receives the terminal operation information via the communication unit 305, it inputs the terminal operation information to the virtual machine assigned in S512, and from the output of the virtual machine, Screen data is acquired (S516). The acquired screen data is transmitted to the VR content distribution device 20 via the communication unit 305, and transferred by the VR content distribution device 20 to the HMD 10 (S610).
  • FIG. 7G shows an example of a VR image including a display screen 80 displaying screen data.
  • the display screen 80 displays screen data 81 (hatched portion) that is displayed by the user 12's operation.
  • the terminal operation on the display screen 80 may be an operation by the avatar 73 or may be an operation by the cursor 82 set by the display control unit 114.
  • Cursor 82 can be controlled by controller 11, for example.
  • the user status management unit 211 of the VR content distribution device 20 detects that the user status information received from the HMD 10 is information indicating an operation to terminate use of the user terminal in the virtual store (S519), the user status management unit 211 of the VR content distribution device 20 Then, a termination instruction is sent to the screen data generation device 30 (S520). This ends the user 12's use of the user terminal 79 superimposed on the virtual space.
  • the use termination operation is, for example, an operation for terminating the "superimposed display mode.”
  • the virtual machine management unit 311 of the screen data generation device 30 When the virtual machine management unit 311 of the screen data generation device 30 receives the termination instruction from the VR content distribution device 20 via the communication unit 305, it releases the virtual machine allocated in S607 (S612). For example, the virtual machine management unit 311 changes the status of the allocated virtual machine from "in use” to "unused.” Then, with reference to the RAM 303, the number of virtual machines that implement the same type of communication device and have a status of "unused" is counted. If the number of virtual machines is less than the predetermined number, the virtual machine management unit 311 can initialize (for example, erase and reconfigure) the assigned virtual machine. On the other hand, if the number of virtual machines is equal to or greater than the predetermined number, the virtual machine management unit 311 can delete the assigned virtual machine. Thereafter, the HMD 10 logs out of the VR system provided by the VR content distribution device 20 (S522), so that the VR content distribution device 20 ends providing the VR content to the HMD 10, and the process of S61
  • a user can purchase items that are available in the real space in the virtual store represented in the VR image (i.e., virtual space) displayed on the HMD worn by the user.
  • User terminals can be used in a pseudo manner. This allows the user to check the usability of a user terminal that can be used in the real space in the virtual space without going to a physical store in the real space.
  • a virtual machine for providing screen data of a user terminal in a virtual space can be created (and deleted) in a timely manner.
  • the user can select and use the user terminals he or she wants to use without worrying about the number.
  • a first detection process comprising one or more processors, in which at least one of the one or more processors detects a communication device object selected from a plurality of communication device objects in a virtual space, and a virtual machine; a first display process of displaying a display screen of the same communication device as the model represented by the selected communication device object in a predetermined display area; and a first display process of detecting an operation on the display screen in the display area.
  • the first display process includes displaying a new communication device object different from the plurality of communication device objects, and displaying the display screen inside the new communication device object.
  • the virtual space system according to [1].
  • the second detection process includes detecting at least one of a tap operation, a slide operation, and a scroll operation on the display screen of the new communication device object as the operation; [2] Or the virtual space system according to [3].
  • the first display process includes displaying an image imitating a frame of a communication device, superimposed on an image representing the virtual space, and displaying the display screen inside the frame.
  • the virtual space system according to [1].
  • the second detection process includes detecting as the operation at least one of a tap operation, a slide operation, and a scroll operation on the display screen in the image imitating a frame of a communication device. , [5] or [6].
  • At least one of the one or more processors further manages a virtual machine assigned to the selected communication device object among the plurality of virtual machines as being in use, and manages other virtual machines as being in use.
  • the creation process is performed to create a virtual machine when, among the plurality of virtual machines, the number of virtual machines that implement the same model of communication device and are managed as unused is equal to or less than a predetermined number.
  • At least one of the one or more processors further determines, among the plurality of virtual machines, a predetermined number of virtual machines that implement the same model of communication device and are managed as unused.
  • the virtual space system according to [10] or "11" in which deletion processing for deleting at least one virtual machine is executed.
  • a virtual space control method including:
  • HMD Head mounted display
  • 12 User
  • 20 VR content distribution device
  • 30 Screen data generation device
  • 101 CPU, 102: ROM, 103: RAM, 104: HDD
  • 105 Display unit
  • 106 motion sensor
  • 107 controller I/F
  • 108 communication unit
  • 111 terminal selection detection unit
  • 112 terminal operation detection unit
  • 113 user state detection unit
  • 114 display control unit
  • 201 CPU, 202: ROM, 203: RAM
  • 205 Communication unit
  • 206 Content database
  • 213 Model information generation unit
  • 214 Terminal operation transfer unit
  • 301 CPU, 302, ROM, 303: RAM, 304: HDD
  • 305 Communication department
  • 311 Virtual machine management department
  • 312 Image data acquisition section
  • 321 Hypervisor, 331; 332; 333: Virtual machine (VM) , 341; 342; 343: Guest OS, 351;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示の一態様による仮想空間システムは、１つ以上のプロセッサを備え、該１つ以上のプロセッサの少なくとも一つによって、第１検出処理と、第１表示処理と、第２検出処理と、取得処理と、第２表示処理が実行される。該第１検出処理は、仮想空間内の複数の通信装置オブジェクトから選択された通信装置オブジェクトを検出する処理である。該第１表示処理は、仮想マシンによって実現された、該選択された通信装置オブジェクトが表す機種と同じ通信装置の表示画面を、所定の表示エリアに表示する処理である。該第２検出処理は、該表示エリアの該表示画面に対する操作を検出する処理である。該取得処理は、該操作を示す情報を該仮想マシンに入力することにより、該仮想マシンによって実現された該通信装置の、該操作に従って表示される表示画面を取得する処理である。該第２表示処理は、該操作に従って表示される該表示画面を該表示エリアに表示する処理である。

Description

仮想空間における情報処理装置の使用のための制御
　本開示は、仮想空間で表現される仮想店舗において提供される情報処理装置を利用するための技術に関する。
　近年、ユーザが、仮想空間（仮想現実空間）において表現（展開）される仮想店舗を利用するための技術が多く開発されている。例えば、特許文献１には、ユーザが、第１の端末装置に表示された仮想店舗における所定の商品の選択操作を行うことに応じて、第２の端末装置に、当該所定の商品の詳細を表示させるための技術が開示されている。また、特許文献２には、仮想店舗において、ユーザが選択した商品の仕様を変更し（カスタマイズし）、当該仕様変更後の商品を決済するための技術が開示されている。
特開２０２１－１３１６６１号公報 特開２０２２－３６６９１号公報
　上記文献のような仮想店舗では、現実空間における商品を販売することができる。これにより、ユーザは、仮想空間にいながらも、現実空間における商品を購入することができる。一方で、商品によっては、ユーザは商品の使用感を確認したい場合がありうる。例えば、現実空間で利用可能な通信装置を扱う仮想店舗において、ユーザは、当該通信装置の使い勝手や操作の利便性を確認したい場合がありうる。しかしながら、これまでに、仮想空間において、現実空間で利用可能な通信装置を仮想空間で利用するための仕組みは提供されていなかった。
　本開示では、このような課題に鑑みて、仮想空間において、現実空間で利用可能な情報処理装置を仮想空間で利用するための仕組みを提供することを目的とする。
　上記課題を解決するために、本開示の一態様による仮想空間システムは、１つ以上のプロセッサを備え、前記１つ以上のプロセッサの少なくとも一つによって、第１検出処理と、第１表示処理と、第２検出処理と、取得処理と、第２表示処理が実行される。前記第１検出処理は、仮想空間内の複数の通信装置オブジェクトから選択された通信装置オブジェクトを検出する処理である。前記第１表示処理は、仮想マシンによって実現された、前記選択された通信装置オブジェクトが表す機種と同じ通信装置の表示画面を、所定の表示エリアに表示する処理である。前記第２検出処理は、前記表示エリアの前記表示画面に対する操作を検出する処理である。前記取得処理は、前記操作を示す情報を前記仮想マシンに入力することにより、前記仮想マシンによって実現された前記通信装置の、前記操作に従って表示される表示画面を取得する処理である。前記第２表示処理は、前記操作に従って表示される前記表示画面を前記表示エリアに表示する処理である。
　上記課題を解決するために、本開示の一態様による仮想空間制御方法は、第１検出工程と第１表示工程と、第２検出工程と、取得工程と、第２表示工程と、を含む。前記第１検出工程では、仮想空間内の複数の通信装置オブジェクトから選択された通信装置オブジェクトが検出される。前記第１表示工程では、仮想マシンによって実現された、前記選択された通信装置オブジェクトが表す機種と同じ通信装置の表示画面が、所定の表示エリアに表示される。前記第２検出工程では、前記表示エリアの前記表示画面に対する操作が検出される。前記取得工程では、前記操作を示す情報を前記仮想マシンに入力することにより、前記仮想マシンによって実現された前記通信装置の前記操作に従って表示される表示画面が取得される。前記第２表示工程では、前記操作に従って表示される前記表示画面が、前記表示エリアに表示される。
　本開示の技術によれば、ユーザは、仮想空間において、現実空間で利用可能な情報処理装置を仮想空間で利用することが可能となる。
図１は、本開示の実施形態による仮想空間システムの構成例を示す。 図２は、本開示の実施形態によるヘッドマウントディスプレイ（ＨＭＤ）の構成例を示す。 図３は、本開示の実施形態によるＶＲコンテンツ配信装置の構成例を示す。 図４は、本開示の実施形態による画面生成装置の構成例を示す。 図５は、ＨＭＤと、ＶＲコンテンツ配信装置と、画面生成装置の通信シーケンス図の一例を示す。 図６は、ＨＭＤと、ＶＲコンテンツ配信装置と、画面生成装置の通信シーケンス図の別の例を示す。 図７Ａは、ＨＭＤに表示されるＶＲ画像の例を示す。 図７Ｂは、仮想空間において使用するユーザ端末を選択するＶＲ画像の例を示す。 図７Ｃは、端末使用モードを選択するＶＲ画像の例を示す。 図７Ｄは、ユーザが操作するアバター専用のユーザ端末が表示されたＶＲ画像の例を示す。 図７Ｅは、画面データを嵌め込んだ表示画面を含むＶＲ画像の例を示す。 図７Ｆは、ユーザ専用のユーザ端末が重畳表示されたＶＲ画像の例を示す。 図７Ｇは、画面データを表示した表示画面を含むＶＲ画像の例を示す。
　以下、添付図面を参照して、本開示の実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本開示の一形態であり、装置の構成や各種条件によって適宜修正または変更されるべきものであり、以下の実施形態のみに限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが上記課題の解決手段に必須のものとは限らない。
　本実施形態では、インターネット上において、現実のユーザ（人間）が、アバターと呼ばれる自分の分身で行動する仮想現実（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ（ＶＲ））空間、またはその仕組みである、メタバースを利用する例を説明する。以下の説明では、仮想現実空間（または仮想空間）という語は、メタバースのような、ユーザが、当該ユーザ自身の分身で行動することが可能な仮想的な空間を意味するものとする。
　［仮想空間システムの構成］
　図１は、本実施形態による仮想空間システム１の構成例を示す。仮想空間システム１は、ヘッドマウントディスプレイ（ＨＭＤ）１０、ＶＲコンテンツ配信装置２０、および画面データ生成装置３０から構成される。ＨＭＤ１０は、ユーザ（プレーヤ）１２の頭部に装着可能な装置である。ＨＭＤ１０は、ＶＲコンテンツ配信装置２０により配信された、仮想空間を構成するＶＲコンテンツを出力し、ユーザ１２は、当該ＶＲコンテンツを視聴することができる。ＶＲコンテンツは、少なくともＶＲ画像（仮想空間を構成する画像データ）を含み、仮想空間内のオブジェクトの情報を示すメタデータや音声も含まれうる。なお、本実施形態において、画像という語は、静止画および／または動画を含むものとして理解される。ユーザ１２は、ＶＲコンテンツを視聴することで仮想空間を享受できる。ＶＲコンテンツ配信装置２０と画面データ生成装置３０により、仮想現実（ＶＲ）システムが構成される。
　ＨＭＤ１０は、両眼タイプでもよいし、単眼タイプであってもよい。また、ＨＭＤ１０は、ユーザ１２の目を完全に覆う被透過型であってもよいし、透過型であってもよい。被透過型の場合は、より没入感が提供されうる。また、ＨＭＤ１０は、ゴーグル型、眼鏡型、あるいは帽子型の装置であってもよい。
　ユーザ１２は、コントローラ１１を把持して入力操作を行うことにより、ユーザ１２に対応するアバターの制御といった各種制御や設定を行うことができる。例えば、ユーザ１２は、コントローラ１１を傾けたり、コントローラ１１に備えられるボタン（不図示）を押下したりすることにより、所望の入力操作を行うことができる。なお、図１では、コントローラ１１は１つのハードウェアで構成される例が示されているが、右手用と左手用の２つのコントローラで構成されてもよい。また、コントローラ１１は、ユーザ１２によって把持されるような形態に限定されず、ユーザ１２による入力操作が可能であれば、どのような形態であってもよい。
　ＶＲコンテンツ配信装置２０は、ＶＲシステムを構成する装置であり、具体的には、ＶＲコンテンツをＨＭＤ１０へ配信することにより、ＶＲコンテンツ（すなわち、仮想空間）をユーザ１２に提供する。後述するように、ＶＲコンテンツ配信装置２０は、コンテンツデータベースを備える。コンテンツデータベースには、仮想空間を表す画像データ（ＶＲ画像）、ユーザ１２の分身であるアバターのモデルデータ、音声データ等が含まれる。ＶＲコンテンツ配信装置２０は、コンテンツデータベースに格納されたデータを用いて、ＨＭＤ１０の動きやコントローラ１１に対する操作に応じたＶＲ画像を生成し、ＨＭＤ１０へ送信（配信）する。ＶＲ画像に加えて、ＨＭＤ１０の動きやコントローラ１１による操作に応じて、音声がＨＭＤ１０へ送信されてもよい。アバターの行動は、ユーザ１２によるコントローラ１１の操作により制御されうる。なお、アバターの行動は、ＨＭＤ１０の動きにより制御されてもよい。
　本実施形態による仮想空間システム１は、ユーザ１２が、ＶＲコンテンツ配信装置２０により提供される仮想空間で表現（展開）される仮想店舗において、現実空間で利用可能な通信装置を模擬的に利用できるように構成される。すなわち、仮想空間システム１は、ユーザ１２が、ＨＭＤ１０を介して、現実空間で利用可能な通信装置の使用感を仮想空間において模擬的に確認できるように構成される。
　以下では、このような処理を実現する仮想空間システムの構成例、当該仮想空間システムを構成する各装置（システム）の構成例、および、具体的な処理手順の例について説明する。本実施形態では、仮想店舗内に通信装置の形状をしたオブジェクトを表現する。説明の便宜上、仮想空間または仮想店舗における当該オブジェクトを、単に、通信装置またはユーザ端末とも記載する。そして、仮想空間内に置かれた複数の通信装置から、ユーザ１２が１つの通信装置を選択し、当該選択した通信装置を仮想的に（模擬的に）使用する例を説明する。なお、以下では、ユーザ１２が仮想的に使用する物が、スマートフォンといったユーザ端末である例を説明するが、その他の通信装置であってもよいし、通信機能を有さない情報処理装置であってもよい。言い換えれば、通信装置と呼ばれる通信機能を有する情報処理装置が仮想的に使用されてもよいし、通信機能を有さない情報処理装置が仮想的に使用されてもよい。
　［ＨＭＤ１０の構成］
　図２に、本実施形態によるＨＭＤ１０（第１の情報処理装置）の構成例を示す。ＨＭＤ１０は、ハードウェア構成として、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、モーションセンサ１０６と、コントローラＩ／Ｆ（インタフェース）１０７と、通信部１０８を備える。ＨＭＤ１０はまた、外部メモリや、視線検出センサ（ユーザ１２の視線の動きを検出するセンサ）を備えてよい。また、ＨＭＤ１０は、ＣＰＵ２０１により実行される機能構成として、端末選択検出部１１１と、端末操作検出部１１２と、ユーザ状態検出部１１３と、表示制御部１１４を有する。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１は、１つ以上のプロセッサにより構成され、ＨＭＤ１０における動作を統括的に制御するものである。ＣＰＵ１０１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の１つ以上のプロセッサによって置き換えられてもよい。ＣＰＵ１０１の機能構成については後述する。
　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０４、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の不揮発性メモリや着脱可能な記憶媒体（不図示）等の外部メモリに記憶されていてもよい。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３は、揮発性メモリであり、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
　ＨＤＤ１０４は、例えば、ＣＰＵ１０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ１０４には、例えば、ＣＰＵ１０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。なお、当該記憶は、ＨＤＤ１０４とともに、または、ＨＤＤ１０４に代えて、ＳＳＤ等の不揮発性メモリや着脱可能な記憶媒体等の外部メモリを用いて行われてもよい。
　表示部１０５は、液晶ディスプレイ等により実現される。例えば、表示部１０５には、ユーザ１２の左眼の前に設定される第１ディスプレイ（第１表示領域）と、右眼の前に設定される第２ディスプレイ（第２表示領域）が設けられており、立体視表示が可能になっている。このような立体視表示を可能にするために、ＣＰＵ１０１の表示制御部１１４は、視差が異なる左眼用画像と右眼用画像を生成し、当該第１ディスプレイに当該左眼用画像を表示し、当該第２ディスプレイに当該右眼用画像を表示しうる。なお、表示部１０５は、第１ディスプレイと第２ディスプレイを一体した一体型のディスプレイで構成されてもよい。
　モーションセンサ１０６は、ＨＭＤ１０の回転角や傾きなど、ＨＭＤ１０を装着するユーザ１２の姿勢を示す情報（以下、姿勢情報）を検出する。モーションセンサ１０６は、ジャイロセンサ、加速度センサ、角加速度センサなどを組み合わせて構成されうる。
　コントローラＩ／Ｆ１０７は、コントローラ１１から、コントローラ１１に対して行われたユーザ１２の操作を示す情報（以下、操作情報）を検出（受信）する。例えば、コントローラＩ／Ｆ１０７は、通信部１０８を介して、操作情報を受信する。コントローラ１１に対するユーザの操作は、例えば、コントローラ１１に備えられるボタンの押下、コントローラ１１の位置や向きや傾き、および／または、コントローラ１１を把持する力のレベルを含む。本実施形態では、ＨＭＤ１０が、コントローラ１１から操作情報を受信し、ＶＲコンテンツ配信装置２０に送信するように構成される。なお、コントローラ１１が、操作情報をＶＲコンテンツ配信装置２０に直接的に送信するように構成されてもよい。
　通信部１０８は、ＨＭＤ１０と外部装置との通信を制御するインタフェースである。例えば、通信部１０８は、インターネットおよび無線ＬＡＮ等の通信ネットワークを介してＶＲコンテンツ配信装置２０や画面データ生成装置３０と通信するように構成される。
　次に、ＨＭＤ１０のＣＰＵ１０１における機能構成について説明する。
　端末選択検出部１１１は、モーションセンサ１０６により検出されたユーザ１２の姿勢情報と、コントローラＩ／Ｆ１０７により検出されたユーザ１２の操作情報のうち、端末選択に対応する情報（端末選択情報）を検出する。
　端末選択とは、表示部１０５に表示されたＶＲ画像（仮想空間）において表現された仮想店舗に置かれた複数のユーザ端末（通信装置オブジェクト）から、ユーザ１２が１つのユーザ端末を選択する操作である。端末選択は、例えば、コントローラ１１により、仮想空間における複数のユーザ端末のうちの１つのユーザ端末を選択する操作に対応する。あるいは、ＨＭＤ１０やコントローラ１１に対する所定の動きや操作が、端末選択に対応するように、あらかじめ設定されていてもよい。端末選択情報は、例えば、ＶＲ画像や仮想店舗における選択操作の位置を示す。あるいは、端末選択情報は、複数のユーザ端末のうち選択された１つのユーザ端末を識別する情報（識別情報）でもよい。
　さらに、端末選択情報は、ユーザ１２により選択されたユーザ端末の、仮想空間における使用モード（端末使用モード）の情報を含む。端末使用モードについては後述する。
　端末選択情報は、通信部１０８を介して、または、コントローラ１１から、ＶＲコンテンツ配信装置２０に送信される。
　端末操作検出部１１２は、モーションセンサ１０６により検出されたユーザ１２の姿勢情報と、コントローラＩ／Ｆ１０７により検出されたユーザ１２の操作情報のうち、端末操作に対応する情報（端末操作情報）を検出する。
　端末操作とは、ユーザ１２により選択されたユーザ端末に対する操作である。例えば、端末操作は、コントローラ１１により、所定のエリア（操作エリアとも記載する）に対して行われた操作に対応する。操作エリアは、あらかじめ定められていてもよいし、コントローラ１１等を介した操作によって定められてもよい。
　なお、仮想空間において操作されるユーザ端末が、ラップトップのように画像を表示するエリアと操作を行うエリアが一致しないこともあるし、スマートフォンのタッチパネルのように画像を表示するエリアと操作を行うエリアが一致することもある。ゆえに、後述する表示エリアと前述の操作エリアが一致することもあるし、一致しないこともある。また、当該表示エリアと当該操作エリアが一致する場合も、少なくとも一部が一致するようにしてもよい。
　また、ＨＭＤ１０やコントローラ１１に対する所定の動きや操作が、端末操作に対応するように、あらかじめ設定されていてもよい。端末操作情報は、端末操作が行われた位置情報や３次元の角度の情報を含みうる。なお、後述するように、端末操作は、ユーザ１２が、仮想空間内でユーザ端末を使用する場合と、仮想空間に対して重畳表示されたユーザ端末を使用する場合で、異なる操作となる。
　ユーザ状態検出部１１３は、モーションセンサ１０６により検出されたユーザ１２の姿勢情報と、コントローラＩ／Ｆ１０７により検出されたユーザ１２の操作情報のうち、前述した端末選択と端末操作に対応しない情報を、ユーザ状態情報として生成する。ユーザ状態検出部１１３は、ユーザ状態情報を、通信部１０８を介してＶＲコンテンツ配信装置２０に送信することができる。ユーザ状態情報は、コントローラ１１からも送信されうる。ＨＭＤ１０が視線検出センサを備える場合、ユーザ状態情報は、ユーザ１２の視線の動きの情報を含みうる。
　さらに、本実施形態では、ユーザ状態情報は、ユーザ１２により利用されていた、仮想店舗におけるユーザ端末の使用終了操作を示す情報も含む。
　表示制御部１１４は、表示部１０５に対する表示制御を行う。例えば、表示制御部１１４は、ユーザ状態検出部１１３により生成されたユーザ状態情報に対応してＶＲコンテンツ配信装置２０により生成されたＶＲ画像を表示部１０５に表示するための制御を行う。表示制御部１１４は、前述したような、立体視表示のための制御を行いうる。
　また、表示制御部１１４は、ＶＲ画像に、ユーザ１２により選択されたユーザ端末の表示画面を閲覧するための画像を重畳表示しうる。当該画像は、ユーザ１２により選択されたユーザ端末を模した画像としてもよい。例えば、ユーザ端末の枠と当該枠の内側に表示画面を含む画像としてもよい。さらに、表示制御部１１４は、画面データ生成装置３０によって生成された画面データをＶＲコンテンツ配信装置２０を介して取得し、当該画像内の表示画面に表示しうる。
　［ＶＲコンテンツ配信装置２０の構成］
　図３に、本実施形態によるＶＲコンテンツ配信装置２０（第２の情報処理装置）の構成例を示す。ＶＲコンテンツ配信装置２０は、ＶＲコンテンツをＨＭＤ１０に配信する。ＶＲコンテンツ配信装置２０が提供するＶＲコンテンツを利用するために、ユーザ１２による所定のログイン処理（非汎用アカウントでログインするための認証処理を含む）が必要な場合、ユーザ１２は、例えば、ＨＭＤ１０またはコントローラ１１の操作により、所定の情報（例えば、ＩＤとパスワード）を用いて、ログイン処理を行う。当該ログイン処理は、ＶＲコンテンツ配信装置２０によって行われうる。
　ＶＲコンテンツ配信装置２０は、ハードウェア構成として、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、通信部２０５と、コンテンツデータベース２０６を備える。また、ＶＲコンテンツ配信装置２０は、ＣＰＵ２０１により実行される機能構成として、ユーザ状態管理部２１１と、コンテンツ生成部２１２と、機種情報生成部２１３と、端末操作転送部２１４を有する。ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４の基本的な構成は、図２におけるＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と同様のため、説明を省略する。
　通信部２０５は、ＶＲコンテンツ配信装置２０と外部装置との通信を制御するインタフェースである。例えば、通信部２０５は、インターネットおよび無線ＬＡＮ等の通信ネットワークを介してＨＭＤ１０や画面データ生成装置３０と通信するように構成される。通信部２０５は、コントローラ１１と通信するように構成されてもよい。
　コンテンツデータベース２０６は、仮想空間を構成する画像データ（ＶＲ画像）、ユーザ１２の分身であるアバターのモデルデータ、音声データ等を記憶するように構成される。さらに、本実施形態では、コンテンツデータベース２０６は、仮想店舗における複数のユーザ端末に関する情報を記憶するように構成される。具体的には、仮想店舗における複数のユーザ端末のそれぞれは、現実空間で使用可能なユーザ端末に対応し、コンテンツデータベース２０６には、仮想店舗における各ユーザ端末に対する機種に関する情報（機種情報）が記憶される。当該機種情報には、メーカー名、機種番号などが含まれ、各ユーザ端末を識別する情報（識別情報）と関連付けて記憶されうる。あるいは、当該機種情報は、仮想店舗に配置された各ユーザ端末の位置（仮想空間や仮想店舗における位置）と関連付けて記憶されうる。さらに、当該機種情報は、当該機種情報のユーザ端末の形状データ（ユーザ端末の枠と表示画面を含む画像）と関連付けて記憶される。
　なお、コンテンツデータベース２０６とＶＲコンテンツ配信装置２０は別の装置であってもよい。その場合、ＶＲコンテンツ配信装置２０は、コンテンツデータベース２０６と通信することにより、コンテンツデータベース２０６に格納されるデータを利用しうる。
　次に、ＶＲコンテンツ配信装置２０のＣＰＵ２０１における機能構成について説明する。
　ユーザ状態管理部２１１は、ＨＭＤ１０のユーザ状態検出部１１３により送信されたユーザ状態情報を、通信部２０５を介して検出（受信）し、コンテンツ生成部２１２へ出力する。なお、ユーザ状態情報が、仮想店舗におけるユーザ端末の使用終了操作を示す情報である場合、ユーザ状態管理部２１１は、終了指示を、通信部２０５を介して画面データ生成装置３０へ送信する。
　コンテンツ生成部２１２は、ユーザ状態管理部２１１により検出されたユーザ状態情報に基づいて、コンテンツデータベース２０６から取得したデータから、仮想空間を表すＶＲコンテンツを生成する。ＶＲコンテンツは、ＨＭＤ１０に表示するためのＶＲ画像を含み、音声も含まれうる。コンテンツ生成部２１２は、生成したＶＲコンテンツを、通信部２０５を介してＨＭＤ２０へ配信（送信）する。
　本実施形態では、コンテンツ生成部２１２は、複数のユーザ端末が置かれている仮想店舗を表すＶＲコンテンツを生成する。ここで、当該複数のユーザ端末のそれぞれは、識別情報を有しうる。
　また、コンテンツ生成部２１２は、画面データ生成装置３０から通信部２０５を介して受信した画面データを、ＶＲ画像に組み入れるための制御を行いうる。具体的には、コンテンツ生成部２１２は、当該受信した画面データを、仮想空間におけるユーザ端末の表示画面などの表示エリアに組み入れる（嵌め込む）ことができるように構成される。なお、当該受信した画面データを、表示エリアに組み入れずに、ＨＭＤ１０に転送することもありうる。
　機種情報生成部２１３は、ＨＭＤ１０の端末選択検出部１１１（または、コントローラ１１）により送信された端末選択情報を、通信部２０５を介して検出（受信）し、当該端末選択情報に従うユーザ端末を特定する。続いて、機種情報生成部２１３は、特定した（すなわち、ユーザ１２により選択された）ユーザ端末の機種情報（メーカー名と機種番号）を、コンテンツデータベース２０６から取得する。例えば、端末選択情報が、仮想店舗（またはＶＲ画像）における選択操作の位置の場合、機種情報生成部２１３は、当該位置に関連付けてコンテンツデータベース２０６に記憶されている機種情報を取得する。また、端末選択情報が、ユーザの識別情報である場合、機種情報生成部２１３は、当該機種情報に関連付けてコンテンツデータベース２０６に記憶されている機種情報を取得する。機種情報生成部２１３は、当該機種情報を、通信部２０５を介して画面データ生成装置３０へ送信する。送信される当該機種情報は、ユーザ１２による当該機種情報を有するユーザ端末の使用（あるいは、当該機種情報の仮想マシンの割り当て）の要求を意味する。
　また、機種情報生成部２１３は、当該機種情報を、コンテンツ生成部２１２へ出力しうる。あるいは、機種情報生成部２１３は、当該機種情報に関連付けてコンテンツデータベース２０６に記憶されている、ユーザ端末の形状データを取得しうる。
　端末操作転送部２１４は、通信部２０５を介して、ＨＭＤ１０の端末操作検出部１１２（または、コントローラ１１）により送信された端末操作情報を受信し、画面データ生成装置３０へ転送することできるように構成される。
　［画面データ生成装置３０の構成］
　図４に、本実施形態による画面データ生成装置３０（第３の情報処理装置）の構成例を示す。
　画面データ生成装置３０は、ハードウェア構成として、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、通信部３０５を備える。また、画面データ生成装置３０は、ＣＰＵ３０１により実行される機能構成として、仮想マシン（Ｖｉｒｔｕａｌ　Ｍａｃｈｉｎｅ（ＶＭ））管理部３１１と、画面データ取得部３１２を有する。ＣＰＵ３０１と、ＲＯＭ３０２と、ＨＤＤ３０４の基本的な構成は、図２におけるＣＰＵ１０１と、ＲＯＭ１０２と、ＨＤＤ１０４と同様のため、説明を省略する。
　ＲＡＭ３０３には、ハイパーバイザ３２１と、仮想マシン（ＶＭ）３３１、３３２、および３３３が格納される。仮想マシン３３１は、ゲストＯＳ３４１とアプリケーション３５１を含む。仮想マシン３３２は、ゲストＯＳ３４２とアプリケーション３５２を含む。仮想マシン３３３は、ゲストＯＳ３４３とアプリケーション３５３を含む。
　ハイパーバイザ３２１は、仮想環境を構築するためのプログラムであり、図４の例では、ハイパーバイザ３２１の上に構築された複数の仮想マシン３３１、３３２、および３３３を稼働させる。
　ゲストＯＳは、仮想マシンにおいて各種アプリケーションを動作させるための基本ソフトウェアである。ゲストＯＳ３４１は、アプリケーション３５１を動作させ、ゲストＯＳ３４２は、アプリケーション３５２を動作させ、ゲストＯＳ３４３は、アプリケーション３５３を動作させる。
　アプリケーション３５１は、ゲストＯＳ３４１上で動作し、アプリケーション３５２は、ゲストＯＳ３４２上で動作し、アプリケーション３５３は、ゲストＯＳ３４３上で動作するプログラムである。。
　なお、図３では、ＲＡＭ３０３が３つの仮想マシン３３１、３３２、および３３３を有する例が示されているが、仮想マシンの数は特定の数に限定されない。後述するように、仮想マシン管理部３１１が、仮想マシンの生成や削除といった、仮想マシンの管理を行うことができる。
　本実施形態では、各仮想マシンにおけるアプリケーションは、現実空間で利用可能なユーザ端末を（具体的には、当該端末の少なくとも一部の機能）を仮想的に実現するためのプログラムである。当該アプリケーションは、端末操作情報を入力として、当該情報に対応する端末操作に従って当該ユーザ端末の表示画面に表示される（端末操作に従って遷移する）画面のデータを出力（生成）するように構成される。すなわち、各仮想マシンは、ユーザ１２の操作に従って表示される画面データを生成可能な仮想ユーザ端末として機能する。各仮想マシン（仮想ユーザ端末）は、現実空間におけるユーザ端末の識別情報（メーカー名および機種番号）で識別可能に管理される。図３に示す仮想マシン３３１、３３２、および３３３は、一例として、以下のようなメーカー名および機種番号で識別される。括弧内の記号は、メーカー名と機種番号を統合した、各仮想マシンの仮想マシン識別情報を表す。
　仮想マシン３３１　→　メーカー名：メーカーＡ、機種番号：ａ０１（Ａａ０１）
　仮想マシン３３２　→　メーカー名：メーカーＡ、機種番号：ａ０２（Ａａ０２）
　仮想マシン３３３　→　メーカー名：メーカーＢ、機種番号：ｂ０１（Ｂｂ０１）
　図３に示す仮想マシン３３１、３３２、および３３３は、予め作成されていてもよいし、仮想マシン管理部３１１により作成されてもよい。後述するように、仮想マシン管理部３１１は、仮想マシンを作成する機能を有する。
　通信部３０５は、画面データ生成装置３０と外部装置との通信を制御するインタフェースである。例えば、通信部３０５は、インターネットおよび無線ＬＡＮ等の通信ネットワークを介してＶＲコンテンツ配信装置２０と通信するように構成される。
　次に、画面データ生成装置３０のＣＰＵ３０１における機能構成について説明する。
仮想マシン管理部３１１は、ＲＡＭ３０３に格納される仮想マシンの管理を行う。例えば、仮想マシン管理部３１１は、仮想マシンを作成する。具体的には、仮想マシン管理部３１１は、ＶＲコンテンツ配信装置２０から通信部３０５を介して受信した機種情報の仮想マシン（すなわち、現実空間における当該機種情報のユーザ端末の少なくとも一部の機能を仮想的に実現する仮想マシン）を作成することができる。すでに、当該受信した機種情報の仮想マシンがＲＡＭ３０３に記憶されている場合は、仮想マシン管理部３１１は、当該受信した機種情報の仮想マシンを作成せず、当該記憶されている仮想マシンを利用してもよい。また、仮想マシン管理部３１１は、通信部３０５を介して受信した所定の指示に応じて、仮想マシンを作成するように構成されてもよい。
　仮想マシン管理部３１１は、同じ機種情報の複数の仮想マシンを作成することができる。例えば、ユーザ１２を含む複数のユーザが、仮想空間において、同じ機種情報のユーザ端末を選択した場合、仮想マシン管理部３１１は、同じ機種情報の複数の仮想マシンを作成することができる。このとき、仮想マシン管理部３１１は、同じ機種情報に、異なる（例えば昇順の）識別番号を関連付けた仮想マシンを作成することができる。例えば、上記の仮想マシン３３１が、同じ仮想マシン識別情報（Ａａ０１）を有する２番目の仮想マシンの場合、仮想マシン３３１の仮想マシン識別情報は、Ａａ０１－０２となる。
　このように、仮想マシン管理部３１１は、ＶＲコンテンツ配信装置２０から受信した機種情報の仮想マシンを作成可能に、かつ、同じ機種情報の複数の仮想マシンを作成可能に構成される。よって、仮想店舗において、店舗デザインや見栄え等のため、限定した数のユーザ端末しか配置できない場合であっても、当該数に関係なく、仮想マシン管理部３１１は、任意の数の仮想マシンを作成することができる。これにより、例えば、複数のユーザや、複数のユーザに対応する複数アバターは、仮想店舗に配置されているユーザ端末の数に関係なく、使用したいユーザ端末を選択して使用することが可能となる。
　また、仮想マシン管理部３１１は、ＲＡＭ３０３における仮想マシンのステータスを管理する。例えば、ユーザ１２を含む１以上のユーザにより使用されている（すなわち、画面データ取得部３１２により使用されている）仮想マシンを「使用中」として管理し、ユーザ１２を含む１以上のユーザにより使用されていない仮想マシンを「未使用」として管理する。また、仮想マシン管理部３１１は、作成された仮想マシンの数を調整してもよい。例えば、仮想マシン管理部３１１は、実現する通信装置の機種が同じであってステータスが「未使用」の仮想マシンが所定数以下の場合に、当該機種を実現する仮想マシンを作成してよい。これにより、ある人気の機種に対して多くの操作要求が行われた場合であっても、当該操作要求にこたえることができる。また、あまり操作要求が行われていない機種の通信装置を実現する仮想マシンの数を減らしてもよい。このようなステータスの管理により、仮想マシン管理部３１１は、新たな仮想マシンの作成や不要な（例えば、余剰の）仮想マシンの削除を行う行うことができ、ＲＡＭ３０３の容量の効率的な管理が可能となる。
　また、仮想マシン管理部３１１は、ＶＲコンテンツ配信装置２０から受信した機種情報（すなわち、ユーザ１２が選択したユーザ端末の機種情報）に基づいて、ユーザ１２が使用するための仮想マシンを割り当てる。具体的には、仮想マシン管理部３１１は、ステータスが「未使用」であって、当該機種情報を有する仮想マシンを、ユーザ１２に割り当てる。仮想マシン管理部３１１は、割り当てた当該仮想マシンの仮想マシン識別情報を、画面データ取得部３１２へ通知する。
　また、仮想マシン管理部３１１は、ＨＭＤ１０のユーザ状態管理部２１１から送信された使用終了指示を、通信部３０５を介して受信した場合、割り当てた仮想マシンのステータスを「使用中」から「未使用」に変更する。例えば、ユーザ１２の操作により、ＨＭＤ１０から使用終了指示が受信された場合、仮想マシン管理部３１１は、ユーザ１２３に割り当てた仮想マシンのステータスを「使用中」から「未使用」に変更する。続いて、仮想マシン管理部３１１は、ＲＡＭ３０３を参照し、「未使用」に変更した仮想マシンと同機種の通信装置を実現する仮想マシンであって「未使用」のステータスの仮想マシンの数をカウントする。そして、当該仮想マシンの数が所定数未満である場合は、仮想マシン管理部３１１は、当該割り当てた仮想マシンを初期化（例えば、一度消去して再作成）しうる。一方、当該仮想マシンの数が所定数以上である場合は、仮想マシン管理部３１１は、当該割り当てた仮想マシンを削除しうる。
　画面データ取得部３１２は、ＨＭＤ１０、コントローラ１１、またはＶＲコンテンツ配信装置２０の端末操作転送部２１４から、通信部３０５を介して端末操作情報を取得（受信）する。画面データ取得部３１２は、仮想マシン管理部３１１から通知された仮想マシン識別番号を有する仮想マシンに、当該端末操作情報を入力する。前述のように、仮想マシンは、端末操作情報を入力として、当該情報に対応する端末操作に従って遷移する画面データを出力（生成）するように構成されている。
　なお、ＨＭＤ１０と、ＶＲコンテンツ配信装置２０と、画面データ生成装置３０は、各自の各機能を実行する専用のハードウェアを備えてもよいし、各自の全機能の一部をハードウェアで実行し、プログラムを動作させるコンピュータでその他の部分を実行してもよい。また、全機能がコンピュータとプログラムにより実行されてもよい。
　＜処理の流れ（仮想空間内のオブジェクトに画面データ生成装置３０からの画像を表示することにより、ユーザ端末を使用する場合）＞
　図５を参照して、本実施形態による、仮想空間においてユーザ端末を使用する（ユーザ端末を操作する）場合の処理の流れについて説明する。図５は、ＨＭＤ１０と、ＶＲコンテンツ配信装置２０と画面データ生成装置３０の通信シーケンス図の一例を示す。
　Ｓ５０１において、ＨＭＤ１０は、ユーザ１２の操作により、ＶＲコンテンツ配信装置２０を介して、ＶＲシステムへログインする。当該ログインの際に、ユーザ１２は、仮想空間において使用するユーザ１２の分身であるアバターを設定することができる。ＨＭＤ１０のログイン後、ＶＲコンテンツ配信装置２０のコンテンツ生成部２１２は、ＶＲ画像を含むＶＲコンテンツを生成し（Ｓ５０２）、通信部２０５を介してＨＭＤ１０へ提供する（Ｓ５０４）。ＨＭＤ１０の表示制御部１１４は、通信部１０８を介して受信したＶＲ画像を表示部１０５に表示する（Ｓ５０３）。
　本実施形態では、ＶＲ画像においては、複数のユーザ端末が置かれた仮想店舗が表現されている。ＶＲ画像の例を図７Ａに示す。図７ＡにおけるＶＲ画像７０Ａにおいて、仮想店舗７１では、ユーザ端末７２ａと、７２ｂと、７２ｃと、７２ｄを含む複数のユーザ端末が置かれている。ユーザ端末７２ａと、７２ｂと、７２ｃと、７２ｄは、ユーザ１２により選択可能なユーザ端末であり、それぞれ現実空間において利用可能なユーザ端末に対応し、固有の機種情報を有する。ユーザ端末７２ａと、７２ｂと、７２ｃと７２ｄの機種情報は、同じであってもよいし、異なっていてもよい。ユーザ端末７２ａと、７２ｂと、７２ｃと７２ｄは、それぞれの機種情報に基づく形状（枠と表示画面）を有する。アバター７３は、ユーザ１２に対応するアバターである。すなわち、ユーザ１２は、ＨＭＤ１０やコントローラ１１の動きや操作により、仮想空間においてアバター７３を自由に動かすことができる。
　続いて、ＨＭＤ１０のユーザ状態検出部１１３は、ＨＭＤ１０の姿勢情報やコントローラ１１の操作情報を含むユーザ状態情報を、通信部１０８を介してＶＲコンテンツ配信装置２０へ送信する（Ｓ５０５）。これに応じて、ＶＲコンテンツ配信装置２０は、当該ユーザ状態情報に従ったＶＲコンテンツを生成して（Ｓ５０２）、ＨＭＤ１０へ配信（送信）する（Ｓ５０４）。このような、ユーザ状態情報（姿勢情報および／または操作情報）の送信とＶＲコンテンツの配信は、ＨＭＤ１０がシステムにログインしている間継続する（Ｓ５１）。
　ユーザ１２は、ＶＲシステムにログイン後に、コントローラ１１（および／またはＨＭＤ１０）を用いて、仮想店舗７１に置かれた複数のユーザ端末のうち、１つのユーザ端末を選択する（Ｓ５０６）。図７Ｂに、仮想空間において使用するユーザ端末を選択するＶＲ画像の例を示す。図７ＢにおけるＶＲ画像７０Ｂにおいて、ユーザ１２は、アバター７３を介して、ユーザ端末７２ｄを選択する。なお、アバター７３が、ユーザ端末に接触した場合に、当該ユーザ端末が選択されとしてもよい。あるいは、当該場合に、当該ユーザ端末を選択するか否かを問い合わせるダイアログが表示され、選択するとの回答を以て当該ユーザ端末が選択されるとしてもよい。
　続いて、ユーザ１２は、コントローラ１１（および／またはＨＭＤ１０）を用いて、ユーザ端末７２ｄの、仮想空間における使用モード（端末使用モード）を選択する。図７Ｃに、端末使用モードを選択する画像の例を示す。図７Ｃでは、ＶＲ画像７０Ｃに重畳して、選択エリア７４が表示されている。本実施形態では、選択可能な端末使用モードは、「ＶＲ内モード」および「重畳表示モード」の２種類を含むものとする。
　「ＶＲ内モード」は、仮想空間内のユーザ端末に、仮想マシンによるユーザ端末の表示画面を表示することにより、ユーザ端末を使用するモードである。「ＶＲ内モード」では、ユーザ１２が仮想空間において使用するユーザ端末の画面は、他のアバターからも見る（認識する）ことができる。
　「重畳表示モード」は、仮想空間（ＶＲ画像）に対して重畳表示された画像に、仮想マシンによるユーザ端末の表示画面を表示することにより、ユーザ端末を使用するモードである。すなわち、仮想マシンによるユーザ端末の表示画面は、仮想空間内ではなく、仮想空間とは別の領域に表示される。「重畳表示モード」では、ユーザ１２が仮想空間において使用するユーザ端末の画面は、他のアバターからは見る（認識する）ことができない。
　本例では、ユーザ１２は、マーク７５で示すように「ＶＲ内モード」を選択する（Ｓ５０７）。「ＶＲ内モード」が選択されることにより、ユーザ１２が、選択したユーザ端末を、仮想空間内で使用するように、仮想空間が構成される。
　Ｓ５０６とＳ５０７の後、ＨＭＤ１０の端末選択検出部１１１は、端末選択情報を、通信部１０８を介してＶＲコンテンツ配信装置２０へ送信する（Ｓ５０８）。端末選択情報は、Ｓ５０６で選択されたユーザ端末の情報を含み、本例では、仮想店舗７１におけるユーザ端末７２ｂの位置の情報またはユーザ端末７２ｂの識別情報、および、Ｓ５０７で選択された端末使用モード（＝「ＶＲ内モード」）を示す情報を含む。
　ＶＲコンテンツ配信装置２０の機種情報生成部２１３は、通信部２０５を介してＨＭＤ２０から受信した端末選択情報に従うユーザ端末を特定し、当該特定したユーザ端末の機種情報を、コンテンツデータベース２０６から取得する（Ｓ５０９）。機種情報生成部２１３は、当該機種情報を、コンテンツ生成部２１２へ出力する。また、機種情報生成部２１３は、当該機種情報を、通信部２０５を介して画面データ生成装置３０へ送信する（Ｓ５１０）。画面データ生成装置３０へ送信される当該機種情報は、ユーザ１２による当該機種情報を有するユーザ端末の使用（あるいは、当該機種情報の仮想マシンの割り当て）の要求に相当する。
　ＶＲコンテンツ配信装置２０のコンテンツ生成部２１２は、機種情報生成部２１３から取得した機種情報に基づいて、コンテンツデータベース２０６から、当該機種情報に関連付けられたユーザ端末の形状データを取得する。続いて、コンテンツ生成部２１２は、ＶＲ画像に、当該形状データが示すユーザ端末の形状を、ユーザ１２が操作するアバター７３専用のユーザ端末として表示する（Ｓ５１１）。図７Ｄに、ユーザ１２が操作するアバター７３専用のユーザ端末が表示されたＶＲ画像の例を示す。図７ＤにおけるＶＲ画像７０Ｄにおいて、ユーザ端末７６は、アバター７３専用のユーザ端末である。ユーザ端末７６は、仮想店舗７１におけるユーザ端末７２ｄに対応し、ユーザ端末７２ｄの機種情報に従った形状を有する。ユーザ端末７６は、ユーザ端末７２ｄと同様に、表示画面（表示画面７７）を有する。
　画面データ生成装置３０の仮想マシン管理部３１１は、通信部３０５を介してＶＲコンテンツ配信装置２０から受信した機種情報の仮想マシンを準備する（ステータスは「未使用」）。ＲＡＭ３０３に当該機種情報の仮想マシン（ステータスは「未使用」）が格納されていれば、当該仮想マシンが準備され、そうでなければ、仮想マシン管理部３１１は、当該機種情報の仮想マシンを作成することにより準備する。そして、仮想マシン管理部３１１は、準備した仮想マシンを、ユーザ１２（すなわち、アバター７３）が使用するための仮想マシンに割り当てる（Ｓ５１２）。仮想マシン管理部３１１は、割り当てた当該仮想マシンの仮想マシン識別情報を、画面データ取得部３１２へ通知する。
　ＨＭＤ１０の端末操作検出部１１２は、仮想店舗７１に表示されるユーザ端末７６の表示画面７７に対する端末操作を検出すると（Ｓ５１３）、当該操作に対応する情報（端末操作情報）を、通信部１０８を介して、ＶＲコンテンツ配信装置２０へ送信する（Ｓ５１４）。ＶＲコンテンツ配信装置２０の端末操作転送部２１４は、当該端末操作情報を画面データ生成装置３０へ転送する（Ｓ５１５）。当該操作は、例えば、仮想空間において、アバター７３による、表示画面７７に対するタップ操作（タッチ操作）、スライド操作、およびスクロール操作のうちの少なくともいずれかである。例えば、ユーザ１２が、コントローラ１１等で、アバター７３が表示画面７７に対してタップ操作するように動作させると、当該タップ操作位置が、端末操作情報となる。当該操作位置は、３次元の角度を含んで表現されてもよい。
　画面データ生成装置３０の画面データ取得部３１２は、通信部３０５を介して端末操作情報を受信すると、当該端末操作情報を、Ｓ５１２で割り当てられた仮想マシンに入力し、当該仮想マシンの出力から、画面データを取得する（Ｓ５１６）。取得した画面データは、通信部３０５を介してＶＲコンテンツ配信装置２０へ送信される（Ｓ５１７）。
　ＶＲコンテンツ配信装置２０のコンテンツ生成部２１２は、通信部２０５を介して画面データを受信すると、当該画面データ（すなわち、当該画面データに基づく画像）を、仮想空間におけるユーザ端末７６の表示画面７７に嵌め込んだ（組み入れた）ＶＲ画像を生成する（Ｓ５１８）。図７Ｅに、画面データを嵌め込んだ表示画面７７を含むＶＲ画像の例を示す。図７ＥにおけるＶＲ画像７０Ｅにおいて、表示画面７７には、アバター７３を介したユーザ１２の操作により表示される画面データ７８（斜線部分）が表示されている。その後、ＨＭＤ１０がユーザ１２による使用終了操作を示す情報を検出（受信）するまで、仮想空間における、ユーザ１２の端末操作に対する画面データの表示画面７７への表示が継続する（Ｓ５２）。
　ＶＲコンテンツ配信装置２０のユーザ状態管理部２１１は、ＨＭＤ１０から受信したユーザ状態情報が仮想店舗におけるユーザ端末の使用終了操作を示す情報であることを検知すると（Ｓ５１９）、通信部２０５を介して、終了指示を画面データ生成装置３０へ送信する（Ｓ５２０）。これにより、ユーザ１２による仮想空間におけるユーザ端末７６の使用は終了する。使用終了操作は、例えば、アバター７３がユーザ端末７６を手放すための操作や、「ＶＲ内モード」を終了するための操作である。
　画面データ生成装置３０の仮想マシン管理部３１１は、ＶＲコンテンツ配信装置２０から通信部３０５を介して終了指示を受信すると、Ｓ５１２で割り当てた仮想マシンを解除する（Ｓ５２１）。例えば、仮想マシン管理部３１１は、当該割り当てた仮想マシンのステータスを「使用中」から「未使用」に変更する。そして、ＲＡＭ３０３を参照し、実現する通信装置の機種が同じであって「未使用」のステータスの仮想マシンの数をカウントする。そして、当該仮想マシンの数が所定数未満である場合は、仮想マシン管理部３１１は、当該割り当てた仮想マシンを初期化（例えば、一度消去して再作成）しうる。一方、当該仮想マシンの数が所定数以上である場合は、仮想マシン管理部３１１は、当該割り当てた仮想マシンを削除しうる。
　その後、ＨＭＤ１０が、ＶＲコンテンツ配信装置２０を介して、ＶＲシステムをログアウトすることにより（Ｓ５２２）、ＶＲコンテンツ配信装置２０は、ＶＲコンテンツをＨＭＤ１０へ提供することを終了し、Ｓ５１の処理が終了する。
　＜処理の流れ（画面データ生成装置３０からの画像を仮想空間に対して重畳表示することにより、ユーザ端末を使用する場合）＞
　図６を参照して、本実施形態による、仮想空間に対して重畳表示された仮想ユーザ端末を使用する（ユーザ端末を操作する）場合の処理の流れについて説明する。図５は、ＨＭＤ１０と、ＶＲコンテンツ配信装置２０と画面データ生成装置３０の通信シーケンス図の別の例を示す。なお、図５と同様の処理については、同じ参照符号を付して説明を省略する。
　ユーザ１２がＶＲシステムへログインした後、ユーザ状態情報（姿勢情報および／または操作情報）の送信とＶＲ画像の配信は、ＨＭＤ１０がシステムにログインしている間継続する（Ｓ５１）。
　ユーザ１２は、コントローラ１１（および／またはＨＭＤ１０）を用いて、ユーザ端末７２ｄの、仮想空間における使用モード（端末使用モード）を選択する。本例では、図７Ｃに示すＶＲ画像７０Ｃ選択エリア７４において、「重畳表示モード」が選択される（Ｓ６０１）。
　Ｓ５０６とＳ６０１の後、ＨＭＤ１０の端末選択検出部１１１は、端末選択情報を、通信部１０８を介してＶＲコンテンツ配信装置２０へ送信する（Ｓ６０２）。端末選択情報は、は、Ｓ５０６で選択されたユーザ端末の情報を含み、本例では、仮想店舗７１におけるユーザ端末７２ｂの位置の情報またはユーザ端末７２ｂの識別情報、および、Ｓ６０１選択された端末使用モード（＝「重畳表示モード」）を示す情報を含む。
　ＶＲコンテンツ配信装置２０の機種情報生成部２１３は、通信部２０５を介してＨＭＤ２０から受信した端末選択情報に従うユーザ端末を特定し、当該ユーザ端末の機種情報を、コンテンツデータベース２０６から取得する（Ｓ６０３）。機種情報生成部２１３は、当該機種情報を、通信部２０５を介して、画面データ生成装置３０へ送信する（Ｓ６０４）。また、機種情報生成部２１３は、当該機種情報に関連付けられたユーザ端末の形状データを取得し、当該形状データを、通信部２０５を介して、ＨＭＤ１０へ送信する（Ｓ６０５）
　ＨＭＤ１０の表示制御部１１４は、機種情報生成部２１３から通信部１０８を介して受信した形状データを、ユーザ１２専用のユーザ端末として、表示部１０５が表示するＶＲ画像（仮想空間）に重畳表示する（Ｓ６０６）。図７Ｆに、ユーザ専用のユーザ端末が重畳表示されたＶＲ画像の例を示す。図７ＦにおけるＶＲ画像７０Ｆにおいて、ユーザ端末７９は、ＶＲ画像７０Ｆに重畳表示された、ユーザ１２専用のユーザ端末である。ユーザ端末７９は、仮想店舗７１におけるユーザ端末７２ｄに対応し、ユーザ端末７２ｄの機種情報に従った形状を有する。ユーザ端末７６は、ユーザ端末７２ｄと同様に、表示画面（表示画面８０）を有する。なお、ユーザ端末７９のサイズは任意に調整可能にしてもよく、視認性のために、通常よりも大きいサイズで表示されてもよい。
　画面データ生成装置３０の仮想マシン管理部３１１は、通信部３０５を介してＶＲコンテンツ配信装置２０から受信した機種情報に対応する仮想マシンを準備する（ステータスは「未使用」）。ＲＡＭ３０３に当該機種情報の仮想マシン（ステータスは「未使用」）が格納されていれば、当該仮想マシンが準備され、そうでなければ、仮想マシン管理部３１１は、当該機種情報の仮想マシンを作成することにより準備する。そして、仮想マシン管理部３１１は、準備した仮想マシンを、ユーザ１２が使用するための仮想マシンに割り当てる（Ｓ６０７）。仮想マシン管理部３１１は、割り当てた当該仮想マシンの仮想マシン識別情報を、画面データ取得部３１２へ通知する。
　ＨＭＤ１０の端末操作検出部１１２は、仮想店舗７１に重畳表示されるユーザ端末７９の表示画面８０に対する端末操作を検出すると（Ｓ６０８）、当該操作に対応する情報（端末操作情報）が、通信部１０８を介して、ＶＲコンテンツ配信装置２０へ送信され、ＶＲコンテンツ配信装置２０によって画面データ生成装置３０へ転送される（Ｓ６０９）。当該操作は、例えば、表示画面８０に対するタップ操作（タッチ操作）、スライド操作、およびスクロール操作のうちの少なくともいずれかである。例えば、ユーザ１２が、コントローラ１１等で、表示画面８０に対してタップ操作すると、当該タップ操作位置が、端末操作情報となる。
　画面データ生成装置３０の画面データ取得部３１２は、通信部３０５を介して端末操作情報を受信すると、当該端末操作情報を、Ｓ５１２で割り当てられた仮想マシンに入力し、当該仮想マシンの出力から、画面データを取得する（Ｓ５１６）。取得した画面データは、通信部３０５を介して、ＶＲコンテンツ配信装置２０へ送信し、ＶＲコンテンツ配信装置２０によってＨＭＤ１０へ転送される（Ｓ６１０）。
　ＨＭＤ１０の表示制御部１１４は、通信部１０８を介して画面データを受信すると、当該画面データ（すなわち、当該画面データに基づく画像）を、仮想空間におけるユーザ端末７９の表示画面８０に表示（重畳表示）する（Ｓ６１１）。図７Ｇに、画面データを表示した表示画面８０を含むＶＲ画像の例を示す。図７ＧにおけるＶＲ画像７０Ｇにおいて、表示画面８０には、ユーザ１２の操作により表示される画面データ８１（斜線部分）が表示されている。
　なお、表示画面８０に対する端末操作は、アバター７３による操作であってもよいし、表示制御部１１４が設定したカーソル８２による操作であってもよい。カーソル８２は、例えば、コントローラ１１によって制御されうる。
　その後、ＶＲコンテンツ配信装置２０のユーザ状態管理部２１１は、ＨＭＤ１０から受信したユーザ状態情報が仮想店舗におけるユーザ端末の使用終了操作を示す情報であることを検知すると（Ｓ５１９）、通信部２０５を介して、終了指示を画面データ生成装置３０へ送信する（Ｓ５２０）。これにより、ユーザ１２による、仮想空間に重畳表示されたユーザ端末７９の使用が終了する。使用終了操作は、例えば、「重畳表示モード」を終了するための操作である。
　画面データ生成装置３０の仮想マシン管理部３１１は、ＶＲコンテンツ配信装置２０から通信部３０５を介して終了指示を受信すると、Ｓ６０７で割り当てた仮想マシンを解除する（Ｓ６１２）。例えば、仮想マシン管理部３１１は、当該割り当てた仮想マシンのステータスを「使用中」から「未使用」に変更する。そして、ＲＡＭ３０３を参照し、実現する通信装置の機種が同じであって「未使用」のステータスの仮想マシンの数をカウントする。そして、当該仮想マシンの数が所定数未満である場合は、仮想マシン管理部３１１は、当該割り当てた仮想マシンを初期化（例えば、一度消去して再構成）しうる。一方、当該仮想マシンの数が所定数以上である場合は、仮想マシン管理部３１１は、当該割り当てた仮想マシンを削除しうる。
　その後、ＨＭＤ１０が、ＶＲコンテンツ配信装置２０が提供するＶＲシステムをログアウトすることにより（Ｓ５２２）、ＶＲコンテンツ配信装置２０は、ＶＲコンテンツをＨＭＤ１０へ提供することを終了し、Ｓ６１の処理が終了する。
　このように、以上に説明した実施形態によれば、ユーザは、当該ユーザが装着するＨＭＤに表示されたＶＲ画像（すなわち、仮想空間）に表現されている仮想店舗において、現実空間で利用可能なユーザ端末を擬似的に使用することができる。これにより、ユーザは、現実空間における実店舗に赴くことなく、仮想空間において、現実空間で利用可能なユーザ端末の使用感を確認することが可能となる。
　また、仮想空間においてユーザ端末の画面データを提供するための仮想マシンの作成（および削除）を適時に行うことができる。これにより、仮想店舗において、限定した数のユーザ端末しか配置できない場合であっても、ユーザは当該数を気にすることなく、使用したいユーザ端末を選択し、使用することが可能となる。
　なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本開示の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本開示の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本開示の技術的範囲に属する。
　（本開示の実施形態）
　本開示は以下の実施形態を含む。
［１］１つ以上のプロセッサを備え、前記１つ以上のプロセッサの少なくとも一つによって、仮想空間内の複数の通信装置オブジェクトから選択された通信装置オブジェクトを検出する第１検出処理と、仮想マシンによって実現された、前記選択された通信装置オブジェクトが表す機種と同じ通信装置の表示画面を、所定の表示エリアに表示する第１表示処理と、前記表示エリアの前記表示画面に対する操作を検出する第２検出処理と、前記操作を示す情報を前記仮想マシンに入力することにより、前記仮想マシンによって実現された前記通信装置の、前記操作に従って表示される表示画面を取得する取得処理と、前記操作に従って表示される前記表示画面を前記表示エリアに表示する第２表示処理と、が実行される、仮想空間システム。
［２］前記第１表示処理は、前記複数の通信装置オブジェクトとは別の新たな通信装置オブジェクトを表示することと、前記新たな通信装置オブジェクトの内側に前記表示画面を表示することを含む、［１］に記載の仮想空間システム。
［３］前記新たな通信装置オブジェクトの形状は、前記選択された通信装置のオブジェクトと同じ形状を有する、［２］に記載の仮想空間システム。
［４］前記第２検出処理は、前記新たな通信装置オブジェクトの前記表示画面に対するタップ操作、スライド操作、およびスクロール操作のうちの少なくともいずれかを、前記操作として検出することを含む、［２］または［３］に記載の仮想空間システム。
［５］前記第１表示処理は、前記仮想空間を表す画像に重畳して、通信装置の枠を模した画像を表示することと、当該枠の内側に前記表示画面を表示することを含む、［１］に記載の仮想空間システム。
［６］通信装置の枠を模した前記画像は、前記選択された通信装置オブジェクトの枠を模したものである、［５］に記載の仮想空間システム。
［７］前記第２検出処理は、通信装置の枠を模した前記画像内の前記表示画面に対するタップ操作、スライド操作、およびスクロール操作のうちの少なくともいずれかを、前記操作として検出することを含む、［５］または［６］に記載の仮想空間システム。
［８］前記第１表示処理は、前記複数の通信装置オブジェクトのいずれかの内側に前記表示画面を表示することを含む、［１］に記載の仮想空間システム。
［９］前記１つ以上のプロセッサの少なくとも一つによって、さらに、前記複数の通信装置オブジェクトそれぞれが表す機種と同じの通信装置それぞれを仮想的に実現する複数の仮想マシンを作成する作成処理と、前記選択された通信装置オブジェクトの機種に基づき、前記複数の仮想マシンのうちのいずれかを、前記選択された通信装置オブジェクトに割り当てる割り当て処理と、前記選択された通信装置オブジェクトの使用の終了指示に応じて、前記選択された通信装置オブジェクトに割り当てられた仮想マシンとの割り当てを解除する解除処理と、が実行される、［１］に記載の仮想空間システム。
［１０］前記１つ以上のプロセッサの少なくとも一つによって、さらに、前記複数の仮想マシンのうち、前記選択された通信装置オブジェクトに割り当てている仮想マシンを、使用中として管理し、それ以外の仮想マシンを、未使用として管理する管理処理が実行される、［９］に記載の仮想空間システム。
［１１］前記作成処理は、前記複数の仮想マシンのうち、実現する通信装置の機種が同じであって未使用として管理されている仮想マシンの数が所定数以下の場合に、当該仮想マシンをさらに作成することを含む、［１０］に記載の仮想空間システム。
［１２］前記１つ以上のプロセッサの少なくとも一つによって、さらに、前記複数の仮想マシンのうち、実現する通信装置の機種が同じであって未使用として管理されている仮想マシンの数が所定数以上の場合に、当該仮想マシンを少なくとも一つ削除する削除処理が実行される、［１０］または「１１」に記載の仮想空間システム。
［１３］前記１つ以上のプロセッサの少なくとも一つによって、さらに、前記解除処理により前記割り当てが解除された仮想マシンを初期化する初期化処理が実行される、［１０］から「１２」のいずれかに記載の仮想空間システム。
［１４］仮想空間内の複数の通信装置オブジェクトから選択された通信装置オブジェクトを検出する第１検出工程と、仮想マシンによって実現された、前記選択された通信装置オブジェクトが表す機種と同じ通信装置の表示画面を、所定の表示エリアに表示する第１表示工程と、前記表示エリアの前記表示画面に対する操作を検出する第２検出工程と、前記操作を示す情報を前記仮想マシンに入力することにより、前記仮想マシンによって実現された前記通信装置の前記操作に従って表示される表示画面を取得する取得工程と、前記操作に従って表示される前記表示画面を、前記表示エリアに表示する第２表示工程と、を含む、仮想空間制御方法。
１０：ヘッドマウントディスプレイ（ＨＭＤ）、１１：コントローラ、１２：ユーザ、２０：ＶＲコンテンツ配信装置、３０：画面データ生成装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ＨＤＤ、１０５：表示部、１０６：モーションセンサ、１０７：コントローラＩ／Ｆ、１０８：通信部、１１１：端末選択検出部、１１２：端末操作検出部、１１３：ユーザ状態検出部、１１４：表示制御部、２０１：ＣＰＵ、２０２：ＲＯＭ、２０３：ＲＡＭ、２０４：ＨＤＤ、２０５：通信部、２０６：コンテンツデータベース、２１１：ユーザ状態管理部、２１２：コンテンツ生成部、２１３：機種情報生成部、２１４：端末操作転送部、３０１：ＣＰＵ、３０２、ＲＯＭ、３０３：ＲＡＭ、３０４：ＨＤＤ、３０５：通信部、３１１：仮想マシン管理部、３１２：画像データ取得部、３２１：ハイパーバイザ、３３１；３３２；３３３：仮想マシン（ＶＭ）、３４１；３４２；３４３：ゲストＯＳ、３５１；３５２；３５３：アプリケーション
 

 

Claims (14)

  1. 　１つ以上のプロセッサ
    を備え、
    　前記１つ以上のプロセッサの少なくとも一つによって、
    　仮想空間内の複数の通信装置オブジェクトから選択された通信装置オブジェクトを検出する第１検出処理と、
    　仮想マシンによって実現された、前記選択された通信装置オブジェクトが表す機種と同じ通信装置の表示画面を、所定の表示エリアに表示する第１表示処理と、
    　前記表示エリアの前記表示画面に対する操作を検出する第２検出処理と、
    　前記操作を示す情報を前記仮想マシンに入力することにより、前記仮想マシンによって実現された前記通信装置の、前記操作に従って表示される表示画面を取得する取得処理と、
    前記操作に従って表示される前記表示画面を前記表示エリアに表示する第２表示処理と、
    　が実行される、仮想空間システム。
  2. 　前記第１表示処理は、前記複数の通信装置オブジェクトとは別の新たな通信装置オブジェクトを表示することと、前記新たな通信装置オブジェクトの内側に前記表示画面を表示することを含む、
    　請求項１に記載の仮想空間システム。
  3. 　前記新たな通信装置オブジェクトの形状は、前記選択された通信装置のオブジェクトと同じ形状を有する、
    　請求項２に記載の仮想空間システム。
  4. 　前記第２検出処理は、前記新たな通信装置オブジェクトの前記表示画面に対するタップ操作、スライド操作、およびスクロール操作のうちの少なくともいずれかを、前記操作として検出することを含む、
    　請求項２に記載の仮想空間システム。
  5. 　前記第１表示処理は、前記仮想空間を表す画像に重畳して、通信装置の枠を模した画像を表示することと、当該枠の内側に前記表示画面を表示することを含む、
    　請求項１に記載の仮想空間システム。
  6. 　通信装置の枠を模した前記画像は、前記選択された通信装置オブジェクトの枠を模したものである、
    　請求項５に記載の仮想空間システム。
  7. 　前記第２検出処理は、通信装置の枠を模した前記画像内の前記表示画面に対するタップ操作、スライド操作、およびスクロール操作のうちの少なくともいずれかを、前記操作として検出することを含む、
    　請求項５に記載の仮想空間システム。
  8. 　前記第１表示処理は、前記複数の通信装置オブジェクトのいずれかの内側に前記表示画面を表示することを含む、
    　請求項１に記載の仮想空間システム。
  9. 　前記１つ以上のプロセッサの少なくとも一つによって、さらに、
    　前記複数の通信装置オブジェクトそれぞれが表す機種と同じの通信装置それぞれを仮想的に実現する複数の仮想マシンを作成する作成処理と、
    　前記選択された通信装置オブジェクトの機種に基づき、前記複数の仮想マシンのうちのいずれかを、前記選択された通信装置オブジェクトに割り当てる割り当て処理と、
    　前記選択された通信装置オブジェクトの使用の終了指示に応じて、前記選択された通信装置オブジェクトに割り当てられた仮想マシンとの割り当てを解除する解除処理と、
    が実行される、請求項１に記載の仮想空間システム。
  10. 　前記１つ以上のプロセッサの少なくとも一つによって、さらに、
    　前記複数の仮想マシンのうち、前記選択された通信装置オブジェクトに割り当てている仮想マシンを、使用中として管理し、それ以外の仮想マシンを、未使用として管理する管理処理
    が実行される、請求項９に記載の仮想空間システム。
  11. 　前記作成処理は、前記複数の仮想マシンのうち、実現する通信装置の機種が同じであって未使用として管理されている仮想マシンの数が所定数以下の場合に、当該仮想マシンをさらに作成することを含む、
    　請求項１０に記載の仮想空間システム。
  12. 　前記１つ以上のプロセッサの少なくとも一つによって、さらに、
    　前記複数の仮想マシンのうち、実現する通信装置の機種が同じであって未使用として管理されている仮想マシンの数が所定数以上の場合に、当該仮想マシンを少なくとも一つ削除する削除処理が実行される、
    　請求項１０に記載の仮想空間システム。
  13. 　前記１つ以上のプロセッサの少なくとも一つによって、さらに、
    　前記複数の仮想マシンのうち、前記解除処理により前記割り当てが解除された仮想マシンを初期化する初期化処理が実行される、
    　請求項１０に記載の仮想空間システム。
  14. 　仮想空間内の複数の通信装置オブジェクトから選択された通信装置オブジェクトを検出する第１検出工程と、
    　仮想マシンによって実現された、前記選択された通信装置オブジェクトが表す機種と同じ通信装置の表示画面を、所定の表示エリアに表示する第１表示工程と、
    　前記表示エリアの前記表示画面に対する操作を検出する第２検出工程と、
    　前記操作を示す情報を前記仮想マシンに入力することにより、前記仮想マシンによって実現された前記通信装置の前記操作に従って表示される表示画面を取得する取得工程と、
    　前記操作に従って表示される前記表示画面を、前記表示エリアに表示する第２表示工程と、
    　を含む、仮想空間制御方法。
     
     
     
     

     
PCT/JP2022/029100 2022-07-28 2022-07-28 仮想空間における情報処理装置の使用のための制御 Ceased WO2024024019A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024508981A JP7787289B2 (ja) 2022-07-28 2022-07-28 仮想空間における情報処理装置の使用のための制御
PCT/JP2022/029100 WO2024024019A1 (ja) 2022-07-28 2022-07-28 仮想空間における情報処理装置の使用のための制御
US17/921,434 US12236532B2 (en) 2022-07-28 2022-07-28 Control for using information processing apparatus in virtual space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029100 WO2024024019A1 (ja) 2022-07-28 2022-07-28 仮想空間における情報処理装置の使用のための制御

Publications (1)

Publication Number Publication Date
WO2024024019A1 true WO2024024019A1 (ja) 2024-02-01

Family

ID=89705737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029100 Ceased WO2024024019A1 (ja) 2022-07-28 2022-07-28 仮想空間における情報処理装置の使用のための制御

Country Status (3)

Country Link
US (1) US12236532B2 (ja)
JP (1) JP7787289B2 (ja)
WO (1) WO2024024019A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309705A1 (en) * 2014-04-28 2015-10-29 Invodo, Inc. System and method of three-dimensional virtual commerce environments

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130297281A1 (en) 2011-10-11 2013-11-07 Invodo, Inc. Methods and systems of providing items to customers via a network
US11775130B2 (en) 2019-07-03 2023-10-03 Apple Inc. Guided retail experience
JP2021131661A (ja) 2020-02-19 2021-09-09 グローリー株式会社 情報処理装置、および、情報処理方法
JP2022036691A (ja) 2020-08-24 2022-03-08 大日本印刷株式会社 仮想空間配信装置、コンピュータプログラム及び仮想空間配信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309705A1 (en) * 2014-04-28 2015-10-29 Invodo, Inc. System and method of three-dimensional virtual commerce environments

Also Published As

Publication number Publication date
US12236532B2 (en) 2025-02-25
US20240355056A1 (en) 2024-10-24
JP7787289B2 (ja) 2025-12-16
JPWO2024024019A1 (ja) 2024-02-01

Similar Documents

Publication Publication Date Title
CN104932677B (zh) 互动式多驾乘者虚拟现实驾乘系统
KR101777820B1 (ko) 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
EP3332565B1 (en) Mixed reality social interaction
CN121548800A (zh) 用于管理实时通信会话中的参与者的显示的系统和方法
CN120469584A (zh) 用于操纵虚拟对象的方法
CN103918011B (zh) 渲染系统、渲染服务器及其控制方法
CN121957350A (zh) 用于在三维环境中显示用户界面对象的方法
US11094107B2 (en) Information processing device and image generation method
JP7424121B2 (ja) 情報処理装置及びプログラム
JP2018106499A (ja) 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
Karthika et al. Hololens
CN106293557B (zh) 显示控制方法和装置
CN121195222A (zh) 用于生物识别特征注册的设备、方法和图形用户界面
JP6113897B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
CN121127811A (zh) 用于显示人的表示的设备、方法和图形用户界面
JP2004362218A (ja) 三次元物体操作方法
JP7787289B2 (ja) 仮想空間における情報処理装置の使用のための制御
CN114669046A (zh) 一种控制方法和控制装置
JP2018185567A (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
KR102343601B1 (ko) 6dof 온라인 멀티 플레이어 vr 관광체험 시스템
WO2023162668A1 (ja) 情報処理装置および床面高さ調整方法
JP6442619B2 (ja) 情報処理装置
JP6242452B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP7841661B2 (ja) 情報処理装置、表示システム、表示方法及び表示プログラム
WO2019044688A1 (ja) キャラクタ動画表示システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17921434

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2024508981

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953111

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17921434

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22953111

Country of ref document: EP

Kind code of ref document: A1