WO2023176317A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2023176317A1
WO2023176317A1 PCT/JP2023/005985 JP2023005985W WO2023176317A1 WO 2023176317 A1 WO2023176317 A1 WO 2023176317A1 JP 2023005985 W JP2023005985 W JP 2023005985W WO 2023176317 A1 WO2023176317 A1 WO 2023176317A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal device
virtual object
display
information
virtual
Prior art date
Application number
PCT/JP2023/005985
Other languages
English (en)
French (fr)
Inventor
智仁 山▲崎▼
禎篤 加藤
亮佑 二ツ森
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023176317A1 publication Critical patent/WO2023176317A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the present invention relates to a display control device.
  • Multiple people experiencing different virtual spaces may each experience a common event while experiencing the virtual space.
  • Patent Document 1 discloses a technology related to a video game processing server that displays game screens on the display screens of multiple client devices.
  • the video game processing server includes an event occurrence control unit that causes an event to occur in at least one virtual space among the plurality of virtual spaces.
  • the client device used by the first user includes a notification screen display unit that displays a notification screen that notifies that an event will occur or has occurred in the virtual space associated with the second user, and a notification screen display unit that displays a notification screen that notifies that an event will occur or has occurred in the virtual space associated with the second user, and and a participation request reception unit that accepts participation requests.
  • the client device includes an event screen display unit that displays an event screen corresponding to the event in response to a participation request.
  • an event screen that is displayed by each client device and that corresponds to a common event experienced by a plurality of people is a screen that is different from a screen that displays a virtual space that corresponds to each person. Ta. That is, in the technology according to Patent Document 1, events are not shared with other people in mutually different virtual spaces experienced by a plurality of people.
  • the problem to be solved by the present invention is for each of a plurality of people experiencing different virtual spaces to share an event in their own virtual space with a person experiencing another virtual space.
  • a display control device provides a first virtual space displayed on a first display device by a first terminal device, and a second terminal device and a second terminal device.
  • an acquisition unit that acquires first operation information and second operation information regarding the arrangement of the virtual object in the shared space from the first terminal device;
  • the display control device includes a display control unit that causes the second terminal device to display the shared space in which the virtual object is arranged in a second virtual space displayed on a display device.
  • each of a plurality of people experiencing different virtual spaces can share an event in their own virtual space with a person experiencing another virtual space.
  • FIG. 1 is a diagram showing the overall configuration of an information processing system 1.
  • FIG. 3 is a block diagram showing a configuration example of a display device 30-K.
  • FIG. 2 is a block diagram showing a configuration example of a terminal device 20-K.
  • 1 is a block diagram showing a configuration example of a server 10.
  • FIG. FIG. 2 is a sequence diagram showing the operation of the information processing system 1.
  • FIG. FIG. 2 is a sequence diagram showing the operation of the information processing system 1.
  • FIG. 1 shows the overall configuration of an information processing system 1.
  • the information processing system 1 includes a server 10, terminal devices 20-1, 20-2,...20-K,...20-M,...20-J, display devices 30-K and 30- Equipped with M.
  • J is an integer of 1 or more.
  • K is an integer greater than or equal to 1 and less than or equal to J.
  • M is greater than or equal to 1 and less than or equal to J, and is an integer different from K.
  • the terminal devices 20-1 to 20-J have the same configuration. However, terminal devices with different configurations may be included.
  • display devices 30-K and 30-M have the same configuration. However, display devices having different configurations may be included.
  • the server 10 and the terminal devices 20-1 to 20-J are communicably connected to each other via the communication network NET. Further, the terminal device 20-K and the display device 30-K are connected to be able to communicate with each other. Similarly, the terminal device 20-K and the display device 30-K are connected to be able to communicate with each other. Note that in FIG. 1, it is assumed that user UK uses a set of terminal device 20-K and display device 30-K. Further, it is assumed that the user UM uses a combination of a terminal device 20-M and a display device 30-M.
  • the server 10 provides various data and cloud services to the terminal devices 20-1, 20-2, ...20-K, ...20-M, ...20-J via the communication network NET.
  • the server 10 is an example of a "display control device.”
  • the terminal device 20-K causes the display device 30-K to display a virtual object placed in the virtual space.
  • the virtual space is, for example, a celestial sphere space.
  • the virtual objects are, for example, virtual objects representing data such as still images, moving images, 3DCG models, HTML files, and text files, and virtual objects representing applications.
  • examples of text files include memos, source codes, diaries, and recipes.
  • examples of applications include a browser, an application for using SNS, and an application for generating a document file.
  • the terminal device 20-K is preferably a mobile terminal device such as a smartphone or a tablet.
  • the terminal device 20-M a virtual object placed in the virtual space is displayed on the display device 30-M worn on the head of the user UM .
  • the terminal device 20-K is an example of a "first terminal device.”
  • the terminal device 20-M is an example of a "second terminal device.”
  • the display device 30-K is an example of a “first display device”.
  • the display device 30-M is an example of a “second display device”.
  • the user UK uses the terminal device 20-K to set up a shared space to be shared with the user UM in the virtual space. Further, the user UK generates a virtual object and installs the virtual object in the shared space. The installed virtual object is displayed in a shared space set within the virtual space that the user UM experiences.
  • a display device similar to the display devices 30-K and 30-M may be connected to a terminal device other than the terminal devices 20-K and 20-M among the terminal devices 20-1 to 20-J. .
  • the display device 30-K is a device that displays a virtual object placed in a virtual space.
  • the display device 30-K may be VR glasses or VR goggles that use VR (Virtual Reality) technology to provide a virtual reality space to the user UK .
  • the display device 30-K may be AR glasses or AR goggles that use AR (Augmented Reality) technology to provide an augmented reality space to the user UK .
  • the display device 30-K may be MR glasses or MR goggles that use MR (Mixed Reality) technology to provide a mixed reality space to the user UK .
  • the display device 30-K may be an HMD (Head Mounted Display) employing any one of VR technology, AR technology, or MR technology.
  • HMD Head Mounted Display
  • a single HMD may serve as two or more types of goggles among VR goggles, AR goggles, and MR goggles.
  • the display device 30-M may be a display included in the terminal device 20-K as the tablet.
  • FIGS. 2A to 2C are explanatory diagrams of a display method on the display device 30-K, which is realized in this embodiment.
  • an augmented reality space AS is provided to a user UK using a display device 30-K.
  • the virtual reality space VS is provided to the user U M using the display device 30-M.
  • the augmented reality space AS is an example of a "first virtual space.”
  • the virtual reality space VS is an example of a "second virtual space.”
  • Augmented reality space AS is displayed on display device 30-K by terminal device 20-K.
  • the virtual reality space VS is displayed on the display device 30-M by the terminal device 20-M.
  • the user UK sets up a shared space CS1 with the user UM in the augmented reality space AS by, for example, making a gesture. Further, the user UK generates a virtual object VO1 by, for example, making a gesture, and places it in the shared space CS1.
  • the virtual object VO1 may be a two-dimensional object or a three-dimensional object.
  • the first operation information regarding the setting of the shared space CS1, the second operation information regarding the arrangement of the virtual object VO1, and the image information indicating the virtual object VO1 are output to the server 10.
  • the server 10 determines whether the virtual object VO2 is placed in the virtual reality space VS experienced by the user UM and shared with the user UK .
  • the server 10 Based on the third operation information and the fourth operation information, the server 10 generates image information representing a new shared space CS2 in which the transformed virtual object VO2 is placed at the position after the movement.
  • the generated image information is output to the terminal device 20-M.
  • the transformed virtual object VO2 is displayed at the moved position in the new shared space CS2.
  • the server 10 generates difference information indicating the difference between the virtual object VO1 and the transformed virtual object VO2, and change information indicating a change in the position of the virtual object VO2 in the shared space CS2. Furthermore, the server 10 outputs the generated difference information and change information to the terminal device 20-K that displays the augmented reality space AS.
  • the virtual object VO1 after being transformed based on the difference information is displayed at the position after being moved based on the change information. be done.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the display device 30-K when the display device 30-K is AR glasses.
  • the display device 30-K includes a processing device 31, a storage device 32, a line of sight detection device 33, a GPS device 34, a motion detection device 35, an imaging device 36, a communication device 37, and a display 38.
  • Each element included in the display device 30-K is interconnected using a single bus or multiple buses for communicating information.
  • the term "apparatus" in this specification may be replaced with other terms such as circuit, device, or unit.
  • the processing device 31 is a processor that controls the entire display device 30-K.
  • the processing device 31 is configured using, for example, a single chip or a plurality of chips.
  • the processing device 31 is configured using, for example, a central processing unit (CPU) that includes an interface with peripheral devices, an arithmetic unit, registers, and the like.
  • CPU central processing unit
  • some or all of the functions of the processing device 31 may be implemented using hardware such as a DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). It may be realized using The processing device 31 executes various processes in parallel or sequentially.
  • the storage device 32 is a recording medium that can be read and written by the processing device 31. Furthermore, the storage device 32 stores a plurality of programs including the control program PR1 executed by the processing device 31.
  • the line of sight detection device 33 After detecting the line of sight of the user UK , the line of sight detection device 33 generates line of sight information indicating the detection result.
  • the line of sight detection device 33 may use any method to detect the line of sight.
  • the line of sight detection device 33 may detect line of sight information based on the position of the inner corner of the eye and the position of the iris, for example.
  • the line of sight information indicates the direction of the user UK 's line of sight.
  • the line of sight detection device 33 outputs line of sight information to a processing device 31, which will be described later.
  • the line of sight information output to the processing device 31 is transmitted to the terminal device 20-K via the communication device 37.
  • the GPS device 34 receives radio waves from multiple satellites. Furthermore, the GPS device 34 generates position information from the received radio waves.
  • the position information indicates the position of the display device 30-K.
  • the location information may be in any format as long as the location can be specified.
  • the position information indicates, for example, the latitude and longitude of the display device 30-K. In one example, location information is obtained from a GPS device 34. However, the display device 30-K may use any method to obtain the position information.
  • the acquired position information is output to the processing device 31.
  • the position information output to the processing device 31 is transmitted to the terminal device 20-K via the communication device 37.
  • the motion detection device 35 detects the motion of the display device 30-K.
  • an inertial sensor such as an acceleration sensor that detects acceleration and a gyro sensor that detects angular acceleration is applicable.
  • the acceleration sensor detects acceleration on orthogonal X, Y, and Z axes.
  • the gyro sensor detects angular acceleration with the X-axis, Y-axis, and Z-axis as central axes of rotation.
  • the motion detection device 35 can generate posture information indicating the posture of the display device 30-K based on the output information of the gyro sensor.
  • the motion information includes acceleration data indicating the acceleration of each of the three axes and angular acceleration data indicating the angular acceleration of the three axes.
  • the motion detection device 35 outputs posture information indicating the posture of the display device 30-K and motion information related to the movement of the display device 30-K to the processing device 31.
  • the posture information and movement information output to the processing device 31 are transmitted to the terminal device 20-K via the communication device 37.
  • the imaging device 36 outputs imaging information obtained by imaging the outside world. Further, the imaging device 36 includes, for example, a lens, an imaging element, an amplifier, and an AD converter.
  • the light collected through the lens is converted by the image sensor into an image signal, which is an analog signal.
  • the amplifier amplifies the imaging signal and outputs it to the AD converter.
  • the AD converter converts the amplified imaging signal, which is an analog signal, into imaging information, which is a digital signal.
  • the converted imaging information is output to the processing device 31.
  • the imaging information output to the processing device 31 is transmitted to the terminal device 20-K via the communication device 37.
  • the communication device 37 is hardware as a transmitting/receiving device for communicating with other devices. Further, the communication device 37 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 37 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 37 may include a wireless communication interface. Examples of connectors and interface circuits for wired connections include products compliant with wired LAN, IEEE1394, and USB.
  • examples of the wireless communication interface include products compliant with wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 38 is a device that displays images.
  • the display 38 displays various images under the control of the processing device 31.
  • the display 38 includes a left eye lens, a left eye display panel, and a left eye optical member, and a right eye lens, a right eye display panel, and a right eye optical member.
  • As the display panel various display panels such as a liquid crystal display panel and an organic EL display panel are suitably used.
  • the processing device 31 reads the control program PR3 from the storage device 32 and executes it. As a result, the processing device 31 functions as an acquisition section 311, a display control section 312, and a communication control section 313.
  • the acquisition unit 311 acquires image information indicating an image displayed on the display device 30-K from the terminal device 20-K.
  • the acquisition unit 311 also receives line-of-sight information input from the line-of-sight detection device 33 , position information input from the GPS device 34 , posture information and movement information input from the motion detection device 35 , and information input from the imaging device 36 . Obtain imaging information.
  • the display control unit 312 Based on the image information acquired by the acquisition unit 311 from the terminal device 20-K, the display control unit 312 causes the display 38 to display an image indicated by the image information.
  • the communication control unit 313 causes the communication device 37 to transmit the line of sight information, position information, posture information, movement information, and imaging information acquired by the acquisition unit 311 to the terminal device 20-K.
  • FIG. 4 is a block diagram showing an example of the configuration of the terminal device 20-K.
  • the terminal device 20-K includes a processing device 21, a storage device 22, a communication device 23, a display 24, an input device 25, and an inertial sensor 26.
  • Each element included in the terminal device 20-K is interconnected using one or more buses for communicating information.
  • the processing device 21 is a processor that controls the entire terminal device 20-K. Further, the processing device 21 is configured using, for example, a single chip or a plurality of chips. The processing device 21 is configured using, for example, a central processing unit (CPU) that includes an interface with peripheral devices, an arithmetic unit, registers, and the like. Note that some or all of the functions of the processing device 21 may be implemented using hardware such as a DSP, ASIC, PLD, and FPGA. The processing device 21 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 22 is a recording medium that can be read and written by the processing device 21. Furthermore, the storage device 22 stores a plurality of programs including the control program PR2 executed by the processing device 21. The storage device 22 also stores a user database UD in which users who experience the virtual space using each of the terminal devices 20-1 to 20-J are registered. Furthermore, the storage device 22 further stores image information indicating the image displayed on the display device 30-K.
  • the communication device 23 is hardware as a transmitting/receiving device for communicating with other devices.
  • the communication device 23 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 23 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 23 may include a wireless communication interface. Examples of connectors and interface circuits for wired connections include products compliant with wired LAN, IEEE1394, and USB.
  • examples of the wireless communication interface include products compliant with wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 24 is a device that displays images and text information.
  • the display 24 displays various images under the control of the processing device 21.
  • various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are suitably used as the display 24.
  • the display 24 does not have to be an essential component.
  • the terminal device 20-K may be configured without the display 24.
  • the display device 30-K may be the display 24 included in the terminal device 20-K.
  • the input device 25 accepts operations from the user UK .
  • the input device 25 includes a keyboard, a touch pad, a touch panel, or a pointing device such as a mouse.
  • the input device 25 may also serve as the display 24.
  • the inertial sensor 26 is a sensor that detects inertial force.
  • the inertial sensor 26 includes, for example, one or more of an acceleration sensor, an angular velocity sensor, and a gyro sensor.
  • the processing device 21 detects the attitude of the terminal device 20-K based on the output information of the inertial sensor 26. Furthermore, the processing device 21 accepts selection of the virtual object VO1, input of characters, and input of instructions in the augmented reality space AS based on the attitude of the terminal device 20-K. For example, when the user U K operates the input device 25 while pointing the center axis of the terminal device 20-K toward a predetermined area of the virtual reality space VS or the augmented reality space AS, the virtual object VO1 placed in the predetermined area selected.
  • the user UK 's operation on the input device 25 is, for example, a double tap. In this way, by operating the terminal device 20-K, the user UK can select the virtual object VO1 without looking at the input device 25 of the terminal device 20
  • the processing device 21 reads the control program PR2 from the storage device 22 and executes it. As a result, the processing device 21 functions as an acquisition section 211 , a setting section 212 , a generation section 213 , a display control section 214 , and a communication control section 215 .
  • the acquisition unit 211 acquires the operation of the user UK . More specifically, the acquisition unit 211 acquires the operation from the user UK from the input device 25. Furthermore, the acquisition unit 211 acquires an operation from the user UK based on the line of sight information, position information, posture information, movement information, and imaging information acquired from the display device 30-K. In this case, especially the acquisition unit 211 acquires the gesture of the user UK as the operation from the user UK .
  • the acquisition unit 211 acquires the above difference information and change information from the server 10.
  • the setting unit 212 sets the shared space CS1 in the augmented reality space AS based on the operation of the user UK acquired by the acquisition unit 211. For example, when the user UK makes a gesture of drawing a rectangle with one hand in the augmented reality space AS, the shared space CS1 is set at the position of the rectangle in the augmented reality space AS.
  • the information indicating the user UK 's operation for setting the shared space CS1 is an example of "first operation information" as described above.
  • the setting unit 212 when setting the shared space CS1, the setting unit 212 also sets other users with whom the user UK shares the shared space CS1. For example, after the shared space CS1 is set in the augmented reality space AS based on the gesture of the user UK , the display control unit 214, which will be described later, creates a virtual space in the augmented reality space AS based on the user database UD. Display a list of users who will experience it. The user UK performs an operation to select a user who will share the shared space CS1 from the list. The setting unit 212 sets other users with whom the user UK shares the shared space CS1 based on the operation. Note that the "other user" may be one or more users.
  • the generation unit 213 generates the virtual object VO1 based on the operation of the user UK acquired by the acquisition unit 211. For example, when the user UK makes a gesture of drawing a circle with one hand inside or outside the shared space CS1, a virtual object VO1 having the circle as an outline is generated.
  • the generation unit 213 may generate the virtual object VO1 using the image information stored in the storage device 22. This generation is based on so-called "rendering.”
  • the generation unit 213 may generate the virtual object VO1 by reading the file corresponding to the gesture of the user UK from among the plurality of files stored in the storage device 22.
  • the generation unit 213 transforms the virtual object VO1 based on the difference information.
  • the display control unit 214 causes the shared space CS1 in which the virtual object VO1 is arranged to be displayed in the augmented reality space AS.
  • the display control unit 214 arranges the virtual object VO1 in the shared space CS1 based on the operation of the user UK . For example, when the user UK generates a virtual object VO1 in the shared space CS1, the display control unit 214 displays the shared space CS1 where the virtual object VO1 is placed at the position where the virtual object VO1 is generated. let Alternatively, if the user UK generates the virtual object VO1 outside the shared space CS1 and then moves the virtual object VO1 into the shared space CS1, the display control unit 214 causes the virtual object VO1 to be moved to the destination.
  • the shared space CS1 in which the object VO1 is placed is displayed.
  • the information indicating the operation of the user UK to place the virtual object VO1 is an example of the "second operation information" as described above.
  • the display control unit 214 moves the virtual object VO1 in the shared space CS1 based on the change information.
  • the communication control unit 215 causes the communication device 23 to transmit the first operation information, the second operation information, and the image information representing the virtual object VO1 to the server 10.
  • terminal device 20-M has the same configuration as the terminal device 20-K.
  • the acquisition unit 211 acquires from the server 10 image information indicating the shared space CS2 and a control signal for displaying the shared space CS2 on the display device 30-M based on the image information. do.
  • the display control unit 214 uses the above image information to display the shared space CS2 in which the virtual object VO2 is placed on the display device 30-M.
  • the acquisition unit 211 acquires third operation information indicating an operation to transform the virtual object VO2 and fourth operation information indicating an operation to move the virtual object VO2.
  • the acquisition unit 211 when the user U M puts his/her hand into the shared space CS2, the acquisition unit 211 provided in the terminal device 20-M uses the line of sight acquired from the display device 30-M. Coordinate information indicating the position of the user UM 's hand in the shared space CS2 is obtained using a hand tracking function based on information, position information, movement information, and imaging information. The acquisition unit 211 acquires the third operation information and the fourth operation information based on the coordinate information.
  • the communication control unit 215 causes the communication device 23 to transmit the third operation information and the fourth operation information to the server 10.
  • the generation unit 213 is not an essential component.
  • FIG. 5 is a block diagram showing an example of the configuration of the server 10.
  • the server 10 includes a processing device 11, a storage device 12, a communication device 13, a display 14, and an input device 15. Each element included in the server 10 is interconnected using one or more buses for communicating information.
  • the processing device 11 is a processor that controls the entire server 10. Further, the processing device 11 is configured using, for example, a single chip or a plurality of chips. The processing device 11 is configured using, for example, a central processing unit (CPU) that includes an interface with peripheral devices, an arithmetic unit, registers, and the like. Note that some or all of the functions of the processing device 11 may be realized using hardware such as a DSP, an ASIC, a PLD, and an FPGA. The processing device 11 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 12 is a recording medium that can be read and written by the processing device 11. Furthermore, the storage device 12 stores a plurality of programs including the control program PR1 executed by the processing device 11. Furthermore, the storage device 12 stores image information indicating images displayed on the display device 30-K and the display device 30-M. In particular, the storage device 12 stores image information for generating the shared space CS1 and the shared space CS2.
  • the communication device 13 is hardware as a transmitting/receiving device for communicating with other devices.
  • the communication device 13 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 13 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • the communication device 13 may include a wireless communication interface. Examples of connectors and interface circuits for wired connections include products compliant with wired LAN, IEEE1394, and USB.
  • examples of the wireless communication interface include products compliant with wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 14 is a device that displays images and text information.
  • the display 14 displays various images under the control of the processing device 11.
  • various display panels such as a liquid crystal display panel and an organic EL display panel are suitably used as the display 14.
  • the input device 15 is a device that accepts operations from the administrator of the information processing system 1.
  • the input device 15 includes a keyboard, a touch pad, a touch panel, or a pointing device such as a mouse.
  • the input device 15 may also serve as the display 14.
  • the processing device 11 reads the control program PR1 from the storage device 12 and executes it. As a result, the processing device 11 functions as an acquisition section 111, a generation section 112, a display control section 113, and a communication control section 114.
  • the acquisition unit 111 acquires the above first operation information regarding the setting of the shared space CS1 from the terminal device 20-K.
  • the shared space CS1 is a space for sharing the virtual object VO1 with the terminal device 20-M in the augmented reality space AS that the terminal device 20-K displays on the display device 30-K.
  • the acquisition unit 111 also acquires the second operation information regarding the arrangement of the virtual object VO1 in the shared space CS1 from the terminal device 20-K.
  • the acquisition unit 111 also acquires image information representing the virtual object VO1.
  • the acquisition unit 111 also acquires the third operation information, which indicates an operation to transform the virtual object VO2, from the terminal device 20-M.
  • the acquisition unit 111 acquires the above fourth operation information indicating the operation of moving the virtual object VO2 from the terminal device 20-M.
  • the acquisition unit 111 stores these first operation information to fourth operation information and image information in the storage device 12.
  • the generation unit 112 uses the image information representing the virtual object VO1 described above to generate image information representing the shared space CS2 in which the virtual object VO2 is placed. Furthermore, the generation unit 112 generates the transformed virtual object VO2 based on the third operation information. Furthermore, the generation unit 112 generates image information representing the shared space CS2 in which the position of the transformed virtual object VO2 has changed, based on the fourth operation information. These generation processes are based on so-called "rendering.” Furthermore, the generation unit 112 generates difference information indicating the difference between the virtual object VO2 and the transformed virtual object VO2 based on the third operation information. Further, the generation unit 112 generates change information indicating a change in the position of the virtual object VO2 in the shared space CS2 based on the fourth operation information.
  • the display control unit 113 controls the shared space CS2 in which the virtual object VO2 is arranged in the virtual reality space VS displayed by the terminal device 20-M to the terminal device 20-M.
  • the device 20-M displays the information on the display device 30-M.
  • the display control unit 113 outputs to the terminal device 20-M image information indicating the shared space CS2 and a control signal for causing the terminal device 20-M to display the shared space CS2.
  • the display control unit 113 places the virtual object VO2 on the terminal devices 20-1 to 20-J other than the terminal devices 20-K and 20-M among the terminal devices 20-1 to 20-J in FIG.
  • the shared space CS2 may be displayed. These displays are based on so-called "streaming distribution.”
  • each of multiple people experiencing different virtual spaces can share events in their own virtual space with people experiencing another virtual space.
  • the virtual spaces that each of a plurality of people are experiencing are different types of virtual spaces, such as an augmented reality space AS and a virtual reality space VS, both virtual objects VO and The server 10 can set shared spaces CS1 and CS2 for sharing.
  • the communication control unit 114 causes the communication device 13 to transmit the above difference information and change information to the terminal device 20-K.
  • the user UK and the user UM who experience different virtual spaces from each other, can communicate through the operation of the virtual object VO2 by the user UM .
  • FIGS. 6A and 6B are sequence diagrams showing the operation of the information processing system 1 according to the first embodiment. The operation of the information processing system 1 will be described below with reference to FIGS. 6A and 6B.
  • step S1 the processing device 21 provided in the terminal device 20-K functions as the acquisition unit 211.
  • the processing device 21 acquires the operation of the user UK .
  • the processing device 21 provided in the terminal device 20-K functions as a setting section 212.
  • the processing device 21 sets a shared space CS1 within the augmented reality space AS.
  • the information indicating the "user UK 's operation" is an example of "first operation information.”
  • step S2 the processing device 21 provided in the terminal device 20-K functions as the generation section 213.
  • the processing device 21 generates a virtual object VO1 based on the user UK 's operation obtained in step S1.
  • step S3 the processing device 21 provided in the terminal device 20-K functions as the display control section 214.
  • the processing device 21 places the virtual object VO1 in the shared space CS1 based on the user UK 's operation obtained in step S1.
  • the information indicating the "user UK 's operation” is an example of "second operation information.”
  • step S4 the processing device 21 provided in the terminal device 20-K functions as the communication control unit 215.
  • the processing device 21 causes the communication device 23 to transmit the first operation information, the second operation information, and the image information representing the virtual object VO1 to the server 10.
  • the processing device 11 provided in the server 10 functions as an acquisition unit 111.
  • the processing device 11 acquires first operation information, second operation information, and image information representing the virtual object VO1 from the terminal device 20-K.
  • step S5 the processing device 11 provided in the server 10 functions as the generation unit 112.
  • the processing device 11 uses the image information acquired in step S4 to generate image information representing the shared space CS2 in which the virtual object VO2 is placed.
  • step S6 the processing device 11 provided in the server 10 functions as the display control section 113.
  • the processing device 11 causes the terminal device 20-M to display the shared space CS2 in which the virtual object VO2 is arranged, based on the first operation information and the second operation information acquired in step S4.
  • the processing device 11 outputs to the terminal device 20-M image information indicating the shared space CS2 and a control signal for causing the terminal device 20-M to display the shared space CS2.
  • the processing device 21 provided in the terminal device 20-M functions as a display control section 214.
  • the processing device 21 uses the image information to display the shared space CS2 in which the virtual object VO2 is placed on the display device 30-M.
  • step S7 the processing device 21 provided in the terminal device 20-M functions as the acquisition unit 211.
  • the processing device 21 acquires third operation information indicating an operation to transform the virtual object VO2 and fourth operation information indicating an operation to move the virtual object VO2.
  • step S8 the processing device 21 provided in the terminal device 20-M functions as the communication control unit 215.
  • the processing device 21 causes the communication device 23 to transmit the third operation information and the fourth operation information to the server 10.
  • step S9 the processing device 11 provided in the server 10 functions as the generation unit 112.
  • the processing device 11 generates the transformed virtual object VO2 based on the third operation information acquired in step S8. Furthermore, the processing device 11 generates image information representing the shared space CS2 in which the position of the virtual object VO2 has changed, based on the fourth operation information acquired in step S8.
  • the processing device 11 provided in the server 10 functions as the display control unit 113.
  • the processing device 11 causes the terminal device 20-M to display the shared space CS2 in which the transformed virtual object VO2 is placed at the position after the movement.
  • the processing device 11 outputs to the terminal device 20-M image information indicating the shared space CS2 and a control signal for causing the terminal device 20-M to display the shared space CS2.
  • the processing device 21 provided in the terminal device 20-M functions as a display control section 214. Using the image information, the processing device 21 causes the display device 30-M to display the shared space CS2 in which the transformed virtual object VO2 is placed at the position after the movement.
  • the processing device 21 provided in the terminal device 20-M ends all the processing described in FIGS. 6A and 6B.
  • step S11 the processing device 11 provided in the server 10 functions as the generation unit 112.
  • the processing device 11 generates difference information indicating the difference between the virtual object VO2 before transformation and the virtual object VO2 after transformation, based on the third operation information.
  • step S12 the processing device 11 provided in the server 10 functions as the generation unit 112.
  • the processing device 11 generates change information indicating a change in the position of the virtual object VO2 in the shared space CS2 based on the fourth operation information.
  • step S13 the processing device 11 provided in the server 10 functions as the communication control unit 114.
  • the processing device 11 causes the communication device 13 to transmit the difference information generated in step S11 and the change information generated in step S12 to the terminal device 20-K.
  • the processing device 11 included in the server 10 ends all the processes shown in FIGS. 6A and 6B.
  • the processing device 21 provided in the terminal device 20-K functions as an acquisition unit 211.
  • the processing device 21 acquires the difference information generated in step S11 and the change information generated in step S12 from the server 10.
  • step S14 the processing device 21 provided in the terminal device 20-K functions as the generation unit 213.
  • the processing device 21 transforms the virtual object VO1 based on the difference information acquired in step S13.
  • step S15 the processing device 21 provided in the terminal device 20-K functions as the display control section 214.
  • the processing device 21 moves the virtual object VO1 in the shared space CS1 based on the change information acquired in step S13.
  • the processing device 21 provided in the terminal device 20-K ends all the processes described in FIGS. 6A and 6B.
  • the server 10 as a display control device includes an acquisition section 111 and a display control section 113.
  • the acquisition unit 111 shares the virtual object VO1 with the terminal device 20-M as a second terminal device in the augmented reality space AS as the first virtual space, which is displayed by the terminal device 20-K as the first terminal device.
  • First operation information regarding the setting of the shared space CS1 for the purpose of the first operation is acquired.
  • the acquisition unit 111 also acquires second operation information regarding the arrangement of the virtual object VO1 in the shared space CS1 from the terminal device 20-K as the first terminal device.
  • the display control unit 113 also controls the virtual reality space VS as the second virtual space, which is displayed on the display device 30-M as the second display device, based on the first operation information and the second operation information.
  • the shared space CS2 in which the object VO2 is placed is displayed on the terminal device 20-M as the second terminal device.
  • each of a plurality of people experiencing different virtual spaces can share an event in their own virtual space with a person experiencing another virtual space.
  • the virtual spaces that each of the plurality of people are experiencing are different types of virtual spaces, such as an augmented reality space AS and a virtual reality space VS, both parties can use the virtual object VO.
  • the server 10 can set shared spaces CS1 and CS2 for sharing.
  • the acquisition unit 111 acquires image information indicating the virtual object VO1 from the terminal device 20-K as the first terminal device.
  • the server 10 further includes a generation unit 112.
  • the generation unit 112 uses the acquired image information to generate image information representing the shared space CS2 in which the virtual object VO2 is placed.
  • the server 10 can acquire the image information, the first operation information, and the second operation information indicating the virtual object VO1 from the terminal device 20-K, and can hold them in the storage device 12. Further, the server 10 uses the image information, the first operation information, and the second operation information stored in the storage device 12 to send data regarding the shared space CS2 where the virtual object VO2 is placed to the terminal device 20-M. can be streamed. As a result, even if the application for displaying the augmented reality space AS on the terminal device 20-K and the application for displaying the virtual reality space VS on the terminal device 20-M are different, the user UK and the user Common data can be used with UM .
  • the server 10 sends image information obtained by rendering the shared space CS2 using the image information corresponding to the virtual object VO1 stored in the server 10 to the terminal device 20-M. Streaming. Therefore, the image information corresponding to the virtual object VO1 is not directly downloaded to the terminal device 20-M, so the copyright of the virtual object VO can be effectively protected.
  • the acquisition unit 111 acquires the third operation information indicating the operation to transform the virtual object VO2 from the terminal device 20-M as the second terminal device.
  • the generation unit 112 generates difference information indicating the difference between the virtual object VO2, the virtual object VO2 before transformation, and the virtual object VO2 after transformation, based on the third operation information.
  • the server 10 further includes a communication control unit 114.
  • the communication control unit 114 causes the communication device 13 to transmit the difference information to the terminal device 20-K as the first terminal device.
  • the server 10 Since the server 10 has the above-mentioned configuration, the user UK and the user UM , who experience different virtual spaces from each other, can communicate through operations on the virtual object VO2 mainly performed by the user UM . Furthermore, the transformed virtual object VO2 is generated by the server 10, and the terminal device 20-K as the first terminal device does not need to transform the virtual object VO2. Therefore, the processing load on the terminal device 20-K can be reduced.
  • the acquisition unit 111 acquires the fourth operation information indicating the operation of moving the virtual object VO2 from the terminal device 20-M as the second terminal device.
  • the generation unit 112 generates change information indicating a change in the position of the virtual object VO1 in the shared space CS1 based on the fourth operation information.
  • the server 10 further includes a communication control unit 114.
  • the communication control unit 114 causes the communication device 13 to transmit change information to the terminal device 20-K as the first terminal device.
  • the server 10 Since the server 10 has the above-mentioned configuration, the user UK and the user UM , who experience different virtual spaces from each other, can communicate through operations on the virtual object VO2 mainly performed by the user UM . Furthermore, the virtual object VO2 after movement is generated by the server 10, and the terminal device 20-K as the first terminal device does not need to move the virtual object VO2. Therefore, the processing load on the terminal device 20-K can be reduced.
  • the terminal device 20-K provides the augmented reality space AS, while the terminal device 20-M provides the virtual reality space VS.
  • this configuration is only an example, and the terminal device 20-K may provide any virtual space among virtual reality space, augmented reality space, and mixed reality space.
  • the storage device 22 provided in the terminal device 20-K stores the user database UD.
  • the user database UD may be stored in the storage device 12 provided in the server 10 instead of the terminal device 20-K.
  • the acquisition unit 211 provided in the terminal device 20-K acquires data stored in the user database UD from the server 10 via the communication device 23.
  • the virtual reality space VS is displayed on the display device 30-M by the terminal device 20-M.
  • the virtual reality space VS may be displayed on the display device 30-M by the server 10.
  • the terminal device 20-K and the display device 30-K are realized as separate bodies.
  • the method of realizing the terminal device 20-K and the display device 30-K in the embodiment of the present invention is not limited to this.
  • the display device 30-K may have the same functions as the terminal device 20-K.
  • the terminal device 20-K and the display device 30-K may be realized within a single housing.
  • the storage device 12, the storage device 22, and the storage device 32 are exemplified as ROM and RAM, but they may also be flexible disks, magneto-optical disks (for example, compact disks, digital versatile discs, Blu-ray discs), smart cards, flash memory devices (e.g. cards, sticks, key drives), CD-ROMs (Compact Disc-ROMs), registers, removable disks, hard disks, floppies ) disk, magnetic strip, database, server, or other suitable storage medium.
  • the program may also be transmitted from a network via a telecommunications line. Further, the program may be transmitted from the communication network NET via a telecommunications line.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. which may be referred to throughout the above description, may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may also be represented by a combination of
  • the input/output information may be stored in a specific location (for example, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • the determination may be made using a value expressed using 1 bit (0 or 1) or a truth value (Boolean: true or false).
  • the comparison may be performed by comparing numerical values (for example, comparing with a predetermined value).
  • each of the functions illustrated in FIGS. 1 to 6B is realized by an arbitrary combination of at least one of hardware and software.
  • the method for realizing each functional block is not particularly limited. That is, each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • the programs exemplified in the above-described embodiments are instructions, instruction sets, codes, codes, regardless of whether they are called software, firmware, middleware, microcode, hardware description language, or by other names. Should be broadly construed to mean a segment, program code, program, subprogram, software module, application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc.
  • software, instructions, information, etc. may be sent and received via a transmission medium.
  • a transmission medium For example, if the software uses wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and/or wireless technology (infrared, microwave, etc.) to create a website, When transmitted from a server or other remote source, these wired and/or wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • the information, parameters, etc. described in this disclosure may be expressed using absolute values, relative values from a predetermined value, or other corresponding information. It may also be expressed as
  • the terminal devices 20-1 to 20-J and the server 10 may be mobile stations (MS).
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology. Further, in the present disclosure, terms such as “mobile station,” “user terminal,” “user equipment (UE),” and “terminal” may be used interchangeably.
  • connection refers to direct or indirect connections between two or more elements. Refers to any connection or combination, including the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other.
  • the coupling or connection between elements may be a physical coupling or connection, a logical coupling or connection, or a combination thereof.
  • connection may be replaced with "access.”
  • two elements may include one or more wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) ranges.
  • determining and “determining” used in this disclosure may encompass a wide variety of operations.
  • “Judgment” and “decision” include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, and inquiry. (e.g., searching in a table, database, or other data structure), and regarding an ascertaining as a “judgment” or “decision.”
  • judgment and “decision” refer to receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, and access.
  • (accessing) may include considering something as a “judgment” or “decision.”
  • judgment and “decision” refer to resolving, selecting, choosing, establishing, comparing, etc. as “judgment” and “decision”. may be included.
  • judgment and “decision” may include regarding some action as having been “judged” or “determined.”
  • judgment (decision) may be read as “assuming", “expecting", “considering”, etc.
  • notification of prescribed information is not limited to explicit notification, but may also be done implicitly (for example, by not notifying the prescribed information). Good too.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

表示制御装置は、第１端末装置に表示される第１仮想空間において、第２端末装置と仮想オブジェクトを共有するための共有空間の設定に関する第１操作情報、及び共有空間における仮想オブジェクトの配置に関する第２操作情報を、第１端末装置から取得する取得部と、第１操作情報及び第２操作情報に基づいて、第２端末装置に表示される第２仮想空間内に、仮想オブジェクトが配置された共有空間を、第２端末装置に表示させる表示制御部と、を備える。

Description

表示制御装置
　本発明は、表示制御装置に関する。
　お互いに異なる仮想空間を体験している複数の人間の各々が、仮想空間の体験中に共通のイベントを経験することがある。
　例えば特許文献１は、複数のクライアント装置の表示画面にゲーム画面を表示させるビデオゲーム処理サーバに係る技術を開示している。当該ビデオゲーム処理サーバは、複数の仮想空間のうち少なくとも１つの仮想空間においてイベントを発生させるイベント発生制御部を備える。第１のユーザが利用するクライアント装置は、第２のユーザが対応付けされた仮想空間においてイベントが発生する又は発生したことを報知する報知画面を表示する報知画面表示部と、イベントへの参加要求を受け付ける参加要求受付部とを備える。更に、当該クライアント装置は、参加要求に応じて当該イベントに対応するイベント画面を表示するイベント画面表示部を含む。
特開２０１４－２１７６４４号公報
　特許文献１に係る技術において、各クライアント装置が表示する、複数の人間が経験する共通のイベントに対応するイベント画面は、各々の人間に対応する仮想空間を表示する画面とは別の画面であった。すなわち、特許文献１に係る技術においては、複数の人間が体験するお互いに異なる仮想空間において、他の人間とイベントを共有するものではなかった。
　そこで、本発明は、お互いに異なる仮想空間を体験している複数の人間の各々が、自身の仮想空間において、別の仮想空間を体験する人間とイベントを共有することを解決課題とする。
　本発明の好適な態様に係る表示制御装置は、第１端末装置によって第１表示装置に表示される第１仮想空間において、第２端末装置と仮想オブジェクトを共有するための共有空間の設定に関する第１操作情報、及び前記共有空間における前記仮想オブジェクトの配置に関する第２操作情報を、前記第１端末装置から取得する取得部と、前記第１操作情報及び前記第２操作情報に基づいて、第２表示装置に表示される第２仮想空間内に、前記仮想オブジェクトが配置された前記共有空間を、前記第２端末装置によって表示させる表示制御部と、を備える表示制御装置である。
　本発明によれば、お互いに異なる仮想空間を体験している複数の人間の各々が、自身の仮想空間において、別の仮想空間を体験する人間とイベントを共有することが可能となる。
情報処理システム１の全体構成を示す図。 表示装置３０－Ｋにおける表示方法についての説明図。 表示装置３０－Ｋにおける表示方法についての説明図。 表示装置３０－Ｋにおける表示方法についての説明図。 表示装置３０－Ｋの構成例を示すブロック図。 端末装置２０－Ｋの構成例を示すブロック図。 サーバ１０の構成例を示すブロック図。 情報処理システム１の動作を示すシーケンス図。 情報処理システム１の動作を示すシーケンス図。
１：実施形態
　以下、図１～図６Ｂを参照しつつ、本発明の実施形態に係る表示制御装置としてのサーバ１０を含む情報処理システム１の構成について説明する。
１－１：実施形態の構成
１－１－１：全体構成
　図１は、情報処理システム１の全体構成を示す。図１に示されるように、情報処理システム１は、サーバ１０、端末装置２０－１、２０－２、…２０－Ｋ、…２０－Ｍ、…２０－Ｊ、表示装置３０－Ｋ及び３０－Ｍを備える。Ｊは１以上の整数である。Ｋは１以上Ｊ以下の整数である。Ｍは１以上Ｊ以下であると共に、Ｋとはお互いに異なる整数である。本実施形態において、端末装置２０－１～２０－Ｊは同一の構成である。但し、構成が同一でない端末装置が含まれても良い。本実施形態において、表示装置３０－Ｋ及び３０－Ｍは同一の構成である。但し、構成が同一でない表示装置が含まれても良い。
　情報処理システム１において、サーバ１０と端末装置２０－１～２０－Ｊとは、通信網ＮＥＴを介して互いに通信可能に接続される。また、端末装置２０－Ｋと表示装置３０－Ｋとは互いに通信可能に接続される。同様に、端末装置２０－Ｋと表示装置３０－Ｋとは互いに通信可能に接続される。なお、図１において、ユーザＵＫは、端末装置２０－Ｋと表示装置３０－Ｋとの組を利用するものとする。また、ユーザＵＭは、端末装置２０－Ｍと表示装置３０－Ｍとの組を利用するものとする。
　サーバ１０は、通信網ＮＥＴを介して、端末装置２０－１、２０－２、…２０－Ｋ、…２０－Ｍ、…２０－Ｊに対して各種データ及びクラウドサービスを提供する。サーバ１０は、「表示制御装置」の一例である。
　端末装置２０－Ｋは、表示装置３０－Ｋに対して、仮想空間に配置される仮想オブジェクトを表示させる。当該仮想空間は、一例として、天球型の空間である。また、仮想オブジェクトは、例として、静止画像、動画、３ＤＣＧモデル、ＨＴＭＬファイル、及びテキストファイル等のデータを示す仮想オブジェクト、及びアプリケーションを示す仮想オブジェクトである。ここで、テキストファイルとしては、例として、メモ、ソースコード、日記、及びレシピが挙げられる。また、アプリケーションとしては、例として、ブラウザ、ＳＮＳを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置２０－Ｋは、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。端末装置２０－Ｍについても同様に、ユーザＵＭが頭部に装着する表示装置３０－Ｍに対して、仮想空間に配置される仮想オブジェクトを表示させる。端末装置２０－Ｋは、「第１端末装置」の一例である。端末装置２０－Ｍは、「第２端末装置」の一例である。表示装置３０－Ｋは、「第１表示装置」の一例である。表示装置３０－Ｍは、「第２表示装置」の一例である。
　本実施形態において、ユーザＵＫは、端末装置２０－Ｋを用いて、仮想空間の中に、ユーザＵＭと共有する共有空間を設定する。また、ユーザＵＫは、仮想オブジェクトを生成し、当該共有空間に仮想オブジェクトを設置する。設置された仮想オブジェクトは、ユーザＵＭが体験する仮想空間内に設定された共有空間に表示される。
　なお、端末装置２０－１～２０－Ｊのうち、端末装置２０－Ｋ及び２０－Ｍ以外の端末装置に、表示装置３０－Ｋ及び３０－Ｍと同様の表示装置が接続されていてもよい。
１－１－２：表示装置の構成
　表示装置３０－Ｋは、上記のように、仮想空間に配置される仮想オブジェクトを表示する装置である。表示装置３０－Ｋは、ユーザＵＫに対して仮想現実空間を提供するＶＲ（Virtual Reality）技術を用いたＶＲグラス又はＶＲゴーグルであってもよい。あるいは、表示装置３０－Ｋは、ユーザＵＫに対して拡張現実空間を提供するＡＲ（Augmented Reality）技術を用いたＡＲグラス又はＡＲゴーグルであってもよい。あるいは、表示装置３０－Ｋは、ユーザＵＫに対して、複合現実空間を提供するＭＲ（Mixed Reality）技術を用いたＭＲグラス又はＭＲゴーグルであってもよい。あるいは、表示装置３０－Ｋは、ＶＲ技術、ＡＲ技術、又はＭＲ技術のうちいずれかが採用されたＨＭＤ（Head Mounted Display）であってもよい。とりわけ、表示装置３０－ＫがＨＭＤである場合、１台で、ＶＲゴーグル、ＡＲゴーグル、及びＭＲゴーグルのうち２種以上のゴーグルを兼用するＨＭＤであってもよい。表示装置３０－Ｍについても同様である。あるいは、端末装置２０－Ｋが例えばタブレットである場合、表示装置３０－Ｋは、当該タブレットとしての端末装置２０－Ｋに含まれるディスプレイであってもよい。
　図２Ａ～図２Ｃは、本実施形態において実現される、表示装置３０－Ｋにおける表示方法についての説明図である。図２Ａ～図２Ｃにおいて、表示装置３０－Ｋを用いるユーザＵＫに対して、拡張現実空間ＡＳが提供される。一方、表示装置３０－Ｍを用いるユーザＵＭに対して、仮想現実空間ＶＳが提供される。拡張現実空間ＡＳは、「第１仮想空間」の一例である。仮想現実空間ＶＳは、「第２仮想空間」の一例である。拡張現実空間ＡＳは、端末装置２０－Ｋによって表示装置３０－Ｋに表示される。仮想現実空間ＶＳは、端末装置２０－Ｍによって表示装置３０－Ｍに表示される。
　図２Ａに示されるように、ユーザＵＫは、拡張現実空間ＡＳにおいて、例えばジェスチャーをすることで、ユーザＵＭとの共有空間ＣＳ１を設定する。また、ユーザＵＫは、例えばジェスチャーをすることで、仮想オブジェクトＶＯ１を生成し、共有空間ＣＳ１内に設置する。仮想オブジェクトＶＯ１は、２次元のオブジェクトでもよく、３次元のオブジェクトでもよい。共有空間ＣＳ１の設定に関する第１操作情報、仮想オブジェクトＶＯ１の配置に関する第２操作情報、及び、仮想オブジェクトＶＯ１を示す画像情報は、サーバ１０に出力される。サーバ１０は、これらの第１操作情報、第２操作情報、及び画像情報に基づいて、ユーザＵＭが体験する仮想現実空間ＶＳ内に、仮想オブジェクトＶＯ２が配置された、ユーザＵＫとの共有空間ＣＳ２を表示させる。共有空間ＣＳ２は共有空間ＣＳ１と同一の大きさであることが好適である。また、仮想オブジェクトＶＯ２の外観は、仮想オブジェクトＶＯ１の外観と同一である。
　図２Ｂに示されるように、ユーザＵＭは、共有空間ＣＳ２において、仮想オブジェクトＶＯ２を変形させると共に、移動させる操作をしたものとする。仮想オブジェクトＶＯ２を変形させる操作を示す第３操作情報、仮想オブジェクトＶＯ２を移動させる操作を示す第４操作情報は、サーバ１０に出力される。
　サーバ１０は、第３操作情報及び第４操作情報に基づいて、変形後の仮想オブジェクトＶＯ２が、移動後の位置に配置された、新たな共有空間ＣＳ２を表す画像情報を生成する。生成された画像情報は、端末装置２０－Ｍに出力される。その結果、図２Ｃに示されるように、仮想現実空間ＶＳでは、新たな共有空間ＣＳ２において、変形後の仮想オブジェクトＶＯ２が、移動後の位置に表示される。
　また、サーバ１０は、仮想オブジェクトＶＯ１と変形後の仮想オブジェクトＶＯ２との差分を示す差分情報、及び共有空間ＣＳ２における仮想オブジェクトＶＯ２の位置の変化を示す変化情報を生成する。更に、サーバ１０は、生成した差分情報及び変化情報を、拡張現実空間ＡＳを表示させる端末装置２０－Ｋに出力する。
　その結果、図２Ｃに示されるように、拡張現実空間ＡＳでは、共有空間ＣＳ１において、差分情報に基づいて変形された後の仮想オブジェクトＶＯ１が、変化情報に基づいて移動された後の位置に表示される。
　図３は、表示装置３０－Ｋの一例として、表示装置３０－ＫがＡＲグラスである場合の、当該表示装置３０－Ｋの構成例を示すブロック図である。表示装置３０－Ｋは、処理装置３１、記憶装置３２、視線検出装置３３、ＧＰＳ装置３４、動き検出装置３５、撮像装置３６、通信装置３７、及びディスプレイ３８を備える。表示装置３０－Ｋが有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。
　処理装置３１は、表示装置３０－Ｋの全体を制御するプロセッサである。処理装置３１は、例えば、単数又は複数のチップを用いて構成される。また、処理装置３１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成される。なお、処理装置３１が有する機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現してもよい。処理装置３１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置３２は、処理装置３１による読取及び書込が可能な記録媒体である。また、記憶装置３２は、処理装置３１が実行する制御プログラムＰＲ１を含む複数のプログラムを記憶する。
　視線検出装置３３は、ユーザＵＫの視線を検出した後、検出結果を示す視線情報を生成する。視線検出装置３３が視線を検出する方法としては、どのような方法を用いてもよい。視線検出装置３３は、例えば、目頭の位置と虹彩の位置に基づいて視線情報を検出してもよい。視線情報はユーザＵＫの視線の方向を示す。視線検出装置３３は、視線情報を後述の処理装置３１に出力する。処理装置３１に出力された視線情報は、通信装置３７を介して、端末装置２０－Ｋに送信される。
　ＧＰＳ装置３４は、複数の衛星からの電波を受信する。また、ＧＰＳ装置３４は、受信した電波から位置情報を生成する。位置情報は、表示装置３０－Ｋの位置を示す。位置情報は、位置を特定できるのであれば、どのような形式であってもよい。位置情報は、例えば、表示装置３０－Ｋの緯度と経度とを示す。一例として、位置情報はＧＰＳ装置３４から得られる。しかし、表示装置３０－Ｋは、どのような方法を用いて位置情報を取得してもよい。取得された位置情報は、処理装置３１に出力される。処理装置３１に出力された位置情報は、通信装置３７を介して、端末装置２０－Ｋに送信される。
　動き検出装置３５は、表示装置３０－Ｋの動きを検出する。動き検出装置３５としては、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサが該当する。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸を回転の中心軸とする角加速度を検出する。動き検出装置３５は、ジャイロセンサの出力情報に基づいて、表示装置３０－Ｋの姿勢を示す姿勢情報を生成できる。動き情報は、３軸の加速度を各々示す加速度データ及び３軸の角加速度を各々示す角加速度データを含む。また、動き検出装置３５は、表示装置３０－Ｋの姿勢を示す姿勢情報、及び表示装置３０－Ｋの動きに係る動き情報を処理装置３１に出力する。処理装置３１に出力された姿勢情報及び動き情報は、通信装置３７を介して、端末装置２０－Ｋに送信される。
　撮像装置３６は、外界を撮像して得られた撮像情報を出力する。また、撮像装置３６は、例えば、レンズ、撮像素子、増幅器、及びＡＤ変換器を備える。レンズを介して集光された光は、撮像素子がアナログ信号である撮像信号に変換する。増幅器は撮像信号を増幅した上でＡＤ変換器に出力する。ＡＤ変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置３１に出力される。処理装置３１に出力された撮像情報は、通信装置３７を介して、端末装置２０－Ｋに送信される。
　通信装置３７は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置３７は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、又は通信モジュール等とも呼ばれる。通信装置３７は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置３７は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ３８は、画像を表示するデバイスである。ディスプレイ３８は、処理装置３１の制御のもとで各種の画像を表示する。ディスプレイ３８は、左眼用のレンズ、左眼用の表示パネル、及び左眼用の光学部材、並びに右眼用のレンズ、右眼用の表示パネル、及び右眼用の光学部材を含む。表示パネルとしては、例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルが好適に利用される。
　処理装置３１は、例えば、記憶装置３２から制御プログラムＰＲ３を読み出して実行する。その結果、処理装置３１は、取得部３１１、表示制御部３１２、及び通信制御部３１３として機能する。
　取得部３１１は、端末装置２０－Ｋから表示装置３０－Ｋに表示される画像を示す画像情報を取得する。
　また、取得部３１１は、視線検出装置３３から入力される視線情報、ＧＰＳ装置３４から入力される位置情報、動き検出装置３５から入力される姿勢情報と動き情報、及び撮像装置３６から入力される撮像情報を取得する。
　表示制御部３１２は、取得部３１１が端末装置２０－Ｋから取得した画像情報に基づいて、ディスプレイ３８に対して、当該画像情報が示す画像を表示させる。
　通信制御部３１３は、取得部３１１が取得した視線情報、位置情報、姿勢情報、動き情報、及び撮像情報を、通信装置３７に、端末装置２０－Ｋに対して送信させる。
１－１－３：端末装置の構成
　図４は、端末装置２０－Ｋの構成例を示すブロック図である。端末装置２０－Ｋは、処理装置２１、記憶装置２２、通信装置２３、ディスプレイ２４、入力装置２５、及び慣性センサ２６を備える。端末装置２０－Ｋが有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。
　処理装置２１は、端末装置２０－Ｋの全体を制御するプロセッサである。また、処理装置２１は、例えば、単数又は複数のチップを用いて構成される。処理装置２１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置２１が有する機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡ等のハードウェアを用いて実現してもよい。処理装置２１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置２２は、処理装置２１による読取及び書込が可能な記録媒体である。また、記憶装置２２は、処理装置２１が実行する制御プログラムＰＲ２を含む複数のプログラムを記憶する。また、記憶装置２２は、端末装置２０－１～２０－Ｊの各々を用いて仮想空間を体験するユーザが登録された、ユーザデータベースＵＤを記憶する。更に、記憶装置２２は、表示装置３０－Ｋに表示される画像を示す画像情報を更に記憶する。
　通信装置２３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置２３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置２３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置２３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ２４は、画像及び文字情報を表示するデバイスである。ディスプレイ２４は、処理装置２１の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ（Electro　Luminescence）表示パネル等の各種の表示パネルがディスプレイ２４として好適に利用される。なお、端末装置２０－Ｋに、表示装置３０－Ｋが接続される場合、ディスプレイ２４は必須の構成要素としなくてもよい。具体的には、表示装置３０－Ｋをディスプレイ２４として用いることで、端末装置２０－Ｋにディスプレイ２４が備わらない構成としてもよい。あるいは、表示装置３０－Ｋを、端末装置２０－Ｋに含まれるディスプレイ２４としてもよい。
　入力装置２５は、ユーザＵＫからの操作を受け付ける。例えば、入力装置２５は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置２５は、タッチパネルを含んで構成される場合、ディスプレイ２４を兼ねてもよい。
　慣性センサ２６は、慣性力を検出するセンサである。慣性センサ２６は、例えば、加速度センサ、角速度センサ、及びジャイロセンサのうち、１以上のセンサを含む。処理装置２１は、慣性センサ２６の出力情報に基づいて、端末装置２０－Ｋの姿勢を検出する。更に、処理装置２１は、端末装置２０－Ｋの姿勢に基づいて、拡張現実空間ＡＳにおいて、仮想オブジェクトＶＯ１の選択、文字の入力、及び指示の入力を受け付ける。例えば、ユーザＵＫが端末装置２０－Ｋの中心軸を仮想現実空間ＶＳ又は拡張現実空間ＡＳの所定領域に向けた状態で、入力装置２５を操作すると、所定領域に配置される仮想オブジェクトＶＯ１が選択される。入力装置２５に対するユーザＵＫの操作は、例えば、ダブルタップである。このようにユーザＵＫは端末装置２０－Ｋを操作することで、端末装置２０－Ｋの入力装置２５を見なくても仮想オブジェクトＶＯ１を選択できる。
　処理装置２１は、記憶装置２２から制御プログラムＰＲ２を読み出して実行する。その結果、処理装置２１は、取得部２１１、設定部２１２、生成部２１３、表示制御部２１４、及び通信制御部２１５として機能する。
　取得部２１１は、ユーザＵＫの操作を取得する。より詳細には、取得部２１１は、入力装置２５から、当該ユーザＵＫからの操作を取得する。また、取得部２１１は、表示装置３０－Ｋから取得した、視線情報、位置情報、姿勢情報、動き情報、及び撮像情報に基づいて、当該ユーザＵＫからの操作を取得する。この場合、とりわけ取得部２１１は、当該ユーザＵＫからの操作として、当該ユーザＵＫのジェスチャーを取得する。
　また、取得部２１１は、サーバ１０から、上記の差分情報及び変化情報を取得する。
　設定部２１２は、取得部２１１が取得したユーザＵＫの操作に基づいて、拡張現実空間ＡＳ内に共有空間ＣＳ１を設定する。例えば、ユーザＵＫは、拡張現実空間ＡＳにおいて、片手で四角形を描くジェスチャーをすると、拡張現実空間ＡＳにおいて、当該四角形の位置に共有空間ＣＳ１が設定される。当該共有空間ＣＳ１を設定するためのユーザＵＫの操作を示す情報は、上記のように「第１操作情報」の一例である。
　また、設定部２１２は、共有空間ＣＳ１を設定する場合、ユーザＵＫが共有空間ＣＳ１を共有する他のユーザを、合わせて設定する。例えば、ユーザＵＫのジェスチャーに基づいて、拡張現実空間ＡＳ内に共有空間ＣＳ１が設定された後、後述の表示制御部２１４は、ユーザデータベースＵＤに基づいて、拡張現実空間ＡＳ内に仮想空間を体験するユーザのリストを表示させる。ユーザＵＫは、当該リストから、共有空間ＣＳ１を共有するユーザを選択する操作をする。設定部２１２は、当該操作に基づいて、ユーザＵＫが共有空間ＣＳ１を共有する他のユーザを設定する。なお、当該「他のユーザ」は、１名でもよく複数名でもよい。
　生成部２１３は、取得部２１１が取得したユーザＵＫの操作に基づいて、仮想オブジェクトＶＯ１を生成する。例えば、ユーザＵＫが、共有空間ＣＳ１内又は共有空間ＣＳ１外において、片手で円を描くジェスチャーをすると、当該円を輪郭線とする仮想オブジェクトＶＯ１が生成される。生成部２１３は、記憶装置２２に記憶される画像情報を用いて、仮想オブジェクトＶＯ１を生成してもよい。この生成は、所謂「レンダリング」によるものである。あるいは、生成部２１３は、記憶装置２２に記憶される複数のファイルのうち、ユーザＵＫのジェスチャーに対応するファイルを読み出すことで、仮想オブジェクトＶＯ１を生成してもよい。
　なお、取得部２１１が、サーバ１０から上記の差分情報を取得した場合に、生成部２１３は、当該差分情報に基づいて、仮想オブジェクトＶＯ１を変形する。
　表示制御部２１４は、拡張現実空間ＡＳに、仮想オブジェクトＶＯ１が配置された共有空間ＣＳ１を表示させる。とりわけ、表示制御部２１４は、ユーザＵＫの操作に基づいて、共有空間ＣＳ１内に仮想オブジェクトＶＯ１を配置する。例えば、ユーザＵＫが、共有空間ＣＳ１内で仮想オブジェクトＶＯ１を生成させた場合、表示制御部２１４は、当該仮想オブジェクトＶＯ１が生成された位置に、仮想オブジェクトＶＯ１が配置された共有空間ＣＳ１を表示させる。あるいは、ユーザＵＫが、共有空間ＣＳ１外で仮想オブジェクトＶＯ１を生成させた後、当該共有空間ＣＳ１内に仮想オブジェクトＶＯ１を移動させた場合には、表示制御部２１４は、当該移動先に当該仮想オブジェクトＶＯ１が配置された共有空間ＣＳ１を表示させる。当該仮想オブジェクトＶＯ１を配置するためのユーザＵＫの操作を示す情報は、上記のように「第２操作情報」の一例である。
　なお、取得部２１１が、サーバ１０から、上記の変化情報を取得した場合に、表示制御部２１４は、当該変化情報に基づいて、共有空間ＣＳ１において仮想オブジェクトＶＯ１を移動させる。
　通信制御部２１５は、第１操作情報、第２操作情報、及び仮想オブジェクトＶＯ１を表す画像情報を、通信装置２３に、サーバ１０に対して送信させる。
　なお、端末装置２０－Ｍは、端末装置２０－Ｋと同様の構成を有する。
　端末装置２０－Ｍにおいて、取得部２１１は、サーバ１０から、共有空間ＣＳ２を示す画像情報と、当該画像情報に基づいて、表示装置３０－Ｍに共有空間ＣＳ２を表示させるための制御信号を取得する。表示制御部２１４は、上記の画像情報を用いて、表示装置３０－Ｍに仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を表示させる。
　また、端末装置２０－Ｍにおいて、取得部２１１は、仮想オブジェクトＶＯ２を変形させる操作を示す第３操作情報、及び仮想オブジェクトＶＯ２を移動させる操作を示す第４操作情報を取得する。
　より詳細には、仮想現実空間ＶＳにおいて、ユーザＵＭが共有空間ＣＳ２内に、例えば手を入れた場合に、端末装置２０－Ｍに備わる取得部２１１は、表示装置３０－Ｍから取得した視線情報、位置情報、動き情報、及び撮像情報に基づいたハンドトラッキング機能を用いて、共有空間ＣＳ２におけるユーザＵＭの手の位置を示す座標情報を取得する。取得部２１１は、当該座標情報に基づいて、第３操作情報及び第４操作情報を取得する。
　また、端末装置２０－Ｍにおいて、通信制御部２１５は、第３操作情報、及び第４操作情報を、通信装置２３に、サーバ１０に対して送信させる。
　なお、端末装置２０－Ｍにおいて、生成部２１３は、必須の構成要素としない。
１－１－４：サーバの構成
　図５は、サーバ１０の構成例を示すブロック図である。サーバ１０は、処理装置１１、記憶装置１２、通信装置１３、ディスプレイ１４、及び入力装置１５を備える。サーバ１０が有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。
　処理装置１１は、サーバ１０の全体を制御するプロセッサである。また、処理装置１１は、例えば、単数又は複数のチップを用いて構成される。処理装置１１は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置１１の機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡ等のハードウェアを用いて実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置１２は、処理装置１１による読取及び書込が可能な記録媒体である。また、記憶装置１２は、処理装置１１が実行する制御プログラムＰＲ１を含む複数のプログラムを記憶する。また、記憶装置１２は、表示装置３０－Ｋ及び表示装置３０－Ｍに表示される画像を示す画像情報を記憶する。とりわけ、記憶装置１２は、共有空間ＣＳ１及び共有空間ＣＳ２を生成するための画像情報を記憶する。
　通信装置１３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置１３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、又は通信モジュール等とも呼ばれる。通信装置１３は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置１３は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、及びＵＳＢに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
　ディスプレイ１４は、画像及び文字情報を表示するデバイスである。ディスプレイ１４は、処理装置１１の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルがディスプレイ１４として好適に利用される。
　入力装置１５は、情報処理システム１の管理者からの操作を受け付ける機器である。例えば、入力装置１５は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置１５は、タッチパネルを含んで構成される場合、ディスプレイ１４を兼ねてもよい。
　処理装置１１は、例えば、記憶装置１２から制御プログラムＰＲ１を読み出して実行する。その結果、処理装置１１は、取得部１１１、生成部１１２、表示制御部１１３、及び通信制御部１１４として機能する。
　取得部１１１は、端末装置２０－Ｋから、共有空間ＣＳ１の設定に関する、上記の第１操作情報を取得する。共有空間ＣＳ１は、上記のように、端末装置２０－Ｋが表示装置３０－Ｋに表示させる拡張現実空間ＡＳにおいて、端末装置２０－Ｍと仮想オブジェクトＶＯ１を共有するための空間である。また、取得部１１１は、端末装置２０－Ｋから、共有空間ＣＳ１における仮想オブジェクトＶＯ１の配置に関する、上記の第２操作情報を取得する。また、取得部１１１は、仮想オブジェクトＶＯ１を表す画像情報を取得する。また、取得部１１１は、端末装置２０－Ｍから、仮想オブジェクトＶＯ２を変形させる操作を示す、上記の第３操作情報を取得する。更に、取得部１１１は、端末装置２０－Ｍから、仮想オブジェクトＶＯ２を移動させる操作を示す、上記の第４操作情報を取得する。取得部１１１は、これらの第１操作情報～第４操作情報、及び画像情報を、記憶装置１２に格納する。
　生成部１１２は、上記の仮想オブジェクトＶＯ１を表す画像情報を用いて、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を表す画像情報を生成する。また、生成部１１２は、第３操作情報に基づいて、変形後の仮想オブジェクトＶＯ２を生成する。また、生成部１１２は、第４操作情報に基づいて、変形後の仮想オブジェクトＶＯ２の位置が変化した共有空間ＣＳ２を表す画像情報を生成する。これらの生成は、所謂「レンダリング」によるものである。また、生成部１１２は、第３操作情報に基づいて、仮想オブジェクトＶＯ２と変形後の仮想オブジェクトＶＯ２との差分を示す差分情報を生成する。更に、生成部１１２は、第４操作情報に基づいて、共有空間ＣＳ２における仮想オブジェクトＶＯ２の位置の変化を示す変化情報を生成する。
　表示制御部１１３は、上記の第１操作情報及び第２操作情報に基づいて、端末装置２０－Ｍによって表示される仮想現実空間ＶＳ内に、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を、端末装置２０－Ｍに、表示装置３０－Ｍに対して表示させる。具体的には、表示制御部１１３は、端末装置２０－Ｍに対し、当該共有空間ＣＳ２を示す画像情報、及び端末装置２０－Ｍに当該共有空間ＣＳ２を表示させるための制御信号を出力する。なお、表示制御部１１３は、図１における端末装置２０－１～２０－Ｊのうち、端末装置２０－Ｋ及び２０－Ｍ以外の端末装置２０－１～２０－Ｊに、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を表示させてもよい。これらの表示は、所謂「ストリーミング配信」によるものである。
　この結果、お互いに異なる仮想空間を体験している複数の人間の各々が、自身の仮想空間において、別の仮想空間を体験する人間とイベントを共有できる。とりわけ、複数の人間の各々が体験している仮想空間が、例えば、拡張現実空間ＡＳと仮想現実空間ＶＳのように、お互いに異なる種類の仮想空間であったとしても、双方で、仮想オブジェクトＶＯを共有するための共有空間ＣＳ１及びＣＳ２を、サーバ１０は設定できる。
　また、端末装置２０－Ｋに拡張現実空間ＡＳを表示させるためのアプリケーションと、端末装置２０－Ｍに仮想現実空間ＶＳを表示させるためのアプリケーションとが異なっていたとしても、ユーザＵＫとユーザＵＭとの間で、共通のデータを利用することが可能となる。
　通信制御部１１４は、通信装置１３に、上記の差分情報及び変化情報を、端末装置２０－Ｋに対して送信させる。
　この結果、ユーザＵＭが主体となった仮想オブジェクトＶＯ２への操作を介して、お互いに異なる仮想空間を体験するユーザＵＫとユーザＵＭとが、コミュニケーションできる。
１－２：実施形態の動作
　図６Ａ及び図６Ｂは、第１実施形態に係る情報処理システム１の動作を示すシーケンス図である。以下、図６Ａ及び図６Ｂを参照しつつ、情報処理システム１の動作について説明する。
　ステップＳ１において、端末装置２０－Ｋに備わる処理装置２１は、取得部２１１として機能する。処理装置２１は、ユーザＵＫの操作を取得する。また、端末装置２０－Ｋに備わる処理装置２１は、設定部２１２として機能する。処理装置２１は、拡張現実空間ＡＳ内に共有空間ＣＳ１を設定する。当該「ユーザＵＫの操作」を示す情報は、「第１操作情報」の一例である。
　ステップＳ２において、端末装置２０－Ｋに備わる処理装置２１は、生成部２１３として機能する。処理装置２１は、ステップＳ１において取得したユーザＵＫの操作に基づいて、仮想オブジェクトＶＯ１を生成する。
　ステップＳ３において、端末装置２０－Ｋに備わる処理装置２１は、表示制御部２１４として機能する。処理装置２１は、ステップＳ１において取得したユーザＵＫの操作に基づいて、共有空間ＣＳ１内に仮想オブジェクトＶＯ１を配置する。当該「ユーザＵＫの操作」を示す情報は、「第２操作情報」の一例である。
　ステップＳ４において、端末装置２０－Ｋに備わる処理装置２１は、通信制御部２１５として機能する。処理装置２１は、通信装置２３に、サーバ１０に対して、第１操作情報、第２操作情報、及び仮想オブジェクトＶＯ１を表す画像情報を送信させる。また、サーバ１０に備わる処理装置１１は、取得部１１１として機能する。処理装置１１は、端末装置２０－Ｋから、第１操作情報、第２操作情報、及び仮想オブジェクトＶＯ１を表す画像情報を取得する。
　ステップＳ５において、サーバ１０に備わる処理装置１１は、生成部１１２として機能する。処理装置１１は、ステップＳ４において取得した画像情報を用いて、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を表す画像情報を生成する。
　ステップＳ６において、サーバ１０に備わる処理装置１１は、表示制御部１１３として機能する。処理装置１１は、ステップＳ４において取得した第１操作情報及び第２操作情報に基づいて、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を、端末装置２０－Ｍに表示させる。具体的には、処理装置１１は、端末装置２０－Ｍに対し、当該共有空間ＣＳ２を示す画像情報、及び端末装置２０－Ｍに当該共有空間ＣＳ２を表示させるための制御信号を出力する。また、端末装置２０－Ｍに備わる処理装置２１は、表示制御部２１４として機能する。処理装置２１は、当該画像情報を用いて、表示装置３０－Ｍに仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を表示させる。
　ステップＳ７において、端末装置２０－Ｍに備わる処理装置２１は、取得部２１１として機能する。処理装置２１は、仮想オブジェクトＶＯ２を変形させる操作を示す第３操作情報、及び仮想オブジェクトＶＯ２を移動させる操作を示す第４操作情報を取得する。
　ステップＳ８において、端末装置２０－Ｍに備わる処理装置２１は、通信制御部２１５として機能する。処理装置２１は、通信装置２３に、第３操作情報、及び第４操作情報を、サーバ１０に対して送信するさせる。
　ステップＳ９において、サーバ１０に備わる処理装置１１は、生成部１１２として機能する。処理装置１１は、ステップＳ８において取得した第３操作情報に基づいて、変形後の仮想オブジェクトＶＯ２を生成する。また、処理装置１１は、ステップＳ８において取得した第４操作情報に基づいて、仮想オブジェクトＶＯ２の位置が変化した共有空間ＣＳ２を表す画像情報を生成する。
　ステップＳ１０において、サーバ１０に備わる処理装置１１は、表示制御部１１３として機能する。処理装置１１は、変形後の仮想オブジェクトＶＯ２が、移動後の位置に配置された共有空間ＣＳ２を、端末装置２０－Ｍに表示させる。具体的には、処理装置１１は、端末装置２０－Ｍに対し、当該共有空間ＣＳ２を示す画像情報、及び端末装置２０－Ｍに当該共有空間ＣＳ２を表示させるための制御信号を出力する。また、端末装置２０－Ｍに備わる処理装置２１は、表示制御部２１４として機能する。処理装置２１は、当該画像情報を用いて、表示装置３０－Ｍに、変形後の仮想オブジェクトＶＯ２が、移動後の位置に配置された共有空間ＣＳ２を表示させる。その後、端末装置２０－Ｍに備わる処理装置２１は、図６Ａ及び図６Ｂに記載の全ての処理を終了する。
　ステップＳ１１において、サーバ１０に備わる処理装置１１は、生成部１１２として機能する。処理装置１１は、第３操作情報に基づいて、変形前の仮想オブジェクトＶＯ２と変形後の仮想オブジェクトＶＯ２との差分を示す差分情報を生成する。
　ステップＳ１２において、サーバ１０に備わる処理装置１１は、生成部１１２として機能する。処理装置１１は、第４操作情報に基づいて、共有空間ＣＳ２における仮想オブジェクトＶＯ２の位置の変化を示す変化情報を生成する。
　ステップＳ１３において、サーバ１０に備わる処理装置１１は、通信制御部１１４として機能する。処理装置１１は、通信装置１３に、ステップＳ１１において生成した差分情報、及びステップＳ１２において生成した変化情報を、端末装置２０－Ｋに対して送信させる。その後、サーバ１０に備わる処理装置１１は、図６Ａ及び図６Ｂに記載の全ての処理を終了する。また、端末装置２０－Ｋに備わる処理装置２１は、取得部２１１として機能する。処理装置２１は、ステップＳ１１において生成された差分情報、及びステップＳ１２において生成された変化情報を、サーバ１０から取得する。
　ステップＳ１４において、端末装置２０－Ｋに備わる処理装置２１は、生成部２１３として機能する。処理装置２１は、ステップＳ１３において取得した差分情報に基づいて、仮想オブジェクトＶＯ１を変形する。
　ステップＳ１５において、端末装置２０－Ｋに備わる処理装置２１は、表示制御部２１４として機能する。処理装置２１は、ステップＳ１３において取得した変化情報に基づいて、共有空間ＣＳ１において仮想オブジェクトＶＯ１を移動させる。その後、端末装置２０－Ｋに備わる処理装置２１は、図６Ａ及び図６Ｂに記載の全ての処理を終了する。
１－３：実施形態が奏する効果
　以上の説明によれば、表示制御装置としてのサーバ１０は、取得部１１１と、表示制御部１１３とを備える。取得部１１１は、第１端末装置としての端末装置２０－Ｋによって表示される、第１仮想空間としての拡張現実空間ＡＳにおいて、第２端末装置としての端末装置２０－Ｍと仮想オブジェクトＶＯ１を共有するための共有空間ＣＳ１の設定に関する第１操作情報を取得する。また取得部１１１は、共有空間ＣＳ１における仮想オブジェクトＶＯ１の配置に関する第２操作情報を、第１端末装置としての端末装置２０－Ｋから取得する。また表示制御部１１３は、第１操作情報及び第２操作情報に基づいて、第２表示装置としての表示装置３０－Ｍに表示される、第２仮想空間としての仮想現実空間ＶＳ内に、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を、第２端末装置としての端末装置２０－Ｍに表示させる。
　サーバ１０は、上記の構成を備えるので、お互いに異なる仮想空間を体験している複数の人間の各々が、自身の仮想空間において、別の仮想空間を体験する人間とイベントを共有できる。とりわけ、複数の人間の各々が体験している仮想空間が、例えば、拡張現実空間ＡＳと仮想現実空間ＶＳのようにお互いに異なる種類の仮想空間であったとしても、双方で、仮想オブジェクトＶＯを共有するための共有空間ＣＳ１及びＣＳ２を、サーバ１０は設定できる。
　また以上の説明によれば、取得部１１１は、第１端末装置としての端末装置２０－Ｋから、仮想オブジェクトＶＯ１を示す画像情報を取得する。サーバ１０は、生成部１１２を更に備える。生成部１１２は、取得された画像情報を用いて、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２を表す画像情報を生成する。
　サーバ１０は、上記の構成を備えるので、サーバ１０が端末装置２０－Ｋから、仮想オブジェクトＶＯ１を示す画像情報、第１操作情報、及び第２操作情報を取得し、記憶装置１２に保持できる。更に、サーバ１０は、記憶装置１２に記憶された画像情報、第１操作情報、及び第２操作情報を用いて、端末装置２０－Ｍに対し、仮想オブジェクトＶＯ２が配置された共有空間ＣＳ２に関するデータを、ストリーミング配信できる。この結果、端末装置２０－Ｋに拡張現実空間ＡＳを表示させるためのアプリケーションと、端末装置２０－Ｍに仮想現実空間ＶＳを表示させるためのアプリケーションとが異なっていたとしても、ユーザＵＫとユーザＵＭとで、共通のデータを利用できる。また、上記のように、サーバ１０は、自身に記憶された仮想オブジェクトＶＯ１に対応する画像情報を用いて共有空間ＣＳ２をレンダリングすることによって得られた画像情報を、端末装置２０－Ｍに対してストリーミング配信する。このため、仮想オブジェクトＶＯ１に対応する画像情報が、端末装置２０－Ｍに、直接、ダウンロードされないので、仮想オブジェクトＶＯの著作権を有効に保護できる。
　また以上の説明によれば、取得部１１１は、第２端末装置としての端末装置２０－Ｍから仮想オブジェクトＶＯ２を変形させる操作を示す第３操作情報を取得する。生成部１１２は、第３操作情報に基づいて、仮想オブジェクトＶＯ２と、変形前の仮想オブジェクトＶＯ２と変形後の仮想オブジェクトＶＯ２との差分を示す差分情報を生成する。サーバ１０は、通信制御部１１４を更に備える。通信制御部１１４は、通信装置１３に、差分情報を、第１端末装置としての端末装置２０－Ｋに対して送信させる。
　サーバ１０は、上記の構成を備えるので、ユーザＵＭが主体となった仮想オブジェクトＶＯ２への操作を介して、お互いに異なる仮想空間を体験するユーザＵＫとユーザＵＭとが、コミュニケーションできる。また、変形後の仮想オブジェクトＶＯ２はサーバ１０によって生成され、第１端末装置としての端末装置２０－Ｋは、仮想オブジェクトＶＯ２を変形させる必要はない。よって、端末装置２０－Ｋの処理負荷を低減できる。
　また以上の説明によれば、取得部１１１は、第２端末装置としての端末装置２０－Ｍから仮想オブジェクトＶＯ２を移動させる操作を示す第４操作情報を取得する。生成部１１２は、第４操作情報に基づいて、共有空間ＣＳ１における仮想オブジェクトＶＯ１の位置の変化を示す変化情報を生成する。サーバ１０は、通信制御部１１４を更に備える。通信制御部１１４は、通信装置１３に、変化情報を、第１端末装置としての端末装置２０－Ｋに対して送信させる。
　サーバ１０は、上記の構成を備えるので、ユーザＵＭが主体となった仮想オブジェクトＶＯ２への操作を介して、お互いに異なる仮想空間を体験するユーザＵＫとユーザＵＭとが、コミュニケーションできる。また、移動後の仮想オブジェクトＶＯ２はサーバ１０によって生成され、第１端末装置としての端末装置２０－Ｋは、仮想オブジェクトＶＯ２を移動させる必要はない。よって、端末装置２０－Ｋの処理負荷を低減できる。
２：変形例
　本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
２－１：変形例１
　上記の実施形態において、図２Ａ～図２Ｃに示されるように、端末装置２０－Ｋは、拡張現実空間ＡＳを提供する一方で、端末装置２０－Ｍは仮想現実空間ＶＳを提供する。しかし、この構成は一例にすぎず、端末装置２０－Ｋは、仮想現実空間、拡張現実空間、及び複合現実空間のうちいずれの仮想空間を提供してもよい。端末装置２０－Ｍも同様である。また図１に記載される端末装置２０－１～２０－Ｊのうち、端末装置２０－Ｋ及び２０－Ｍ以外の端末装置についても同様である。
２－２：変形例２
　上記の実施形態において、端末装置２０－Ｋに備わる記憶装置２２は、ユーザデータベースＵＤを記憶する。しかし、ユーザデータベースＵＤは、端末装置２０－Ｋではなく、サーバ１０に備わる記憶装置１２に記憶されてもよい。この場合、端末装置２０－Ｋに備わる取得部２１１は、通信装置２３を介して、サーバ１０から、ユーザデータベースＵＤに格納されるデータを取得する。
２－３：変形例３
　上記の実施形態において、仮想現実空間ＶＳは、端末装置２０－Ｍによって表示装置３０－Ｍに表示される。しかし、仮想現実空間ＶＳは、サーバ１０によって表示装置３０－Ｍに表示されてもよい。
２－４：変形例４
　上記の実施形態に係る情報処理システム１において、端末装置２０－Ｋと表示装置３０－Ｋとは別体として実現されている。しかし、本発明の実施形態における、端末装置２０－Ｋと表示装置３０－Ｋの実現方法は、これには限定されない。例えば、表示装置３０－Ｋが、端末装置２０－Ｋと同一の機能を備えてもよい。換言すれば、端末装置２０－Ｋと表示装置３０－Ｋとが単一の筐体内において実現されてもよい。端末装置２０－Ｍと表示装置３０－Ｍについても同様である。また、第２実施形態に係る情報処理システム１Ａにおいても同様である。
３：その他
（１）上述した実施形態では、記憶装置１２、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
（６）図１～図６Ｂに例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
（１０）上述した実施形態において、端末装置２０－１～２０－J、及びサーバ１０は、移動局（ＭＳ：Mobile　Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語によって呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user　terminal）」、「ユーザ装置（ＵＥ：User　Equipment）」、「端末」等の用語は、互換的に使用され得る。
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含められる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えられる。
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などによって読み替えられてもよい。
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
１、１Ａ…情報処理システム、１０…サーバ、１１…処理装置、１２…記憶装置、１３…通信装置、１４…ディスプレイ、１５…入力装置、２０…端末装置、２１…処理装置、２２…記憶装置、２３…通信装置、２４…ディスプレイ、２５…入力装置、２６…慣性センサ、３０…表示装置、３１…処理装置、３２…記憶装置、３３…視線検出装置、３４…ＧＰＳ装置、３５…動き検出装置、３６…撮像装置、３７…通信装置、３８…ディスプレイ、４１Ｌ…レンズ、４１Ｒ…レンズ、９１、９２…テンプル、９３…ブリッジ、９４…フレーム、９５…フレーム、１１１…取得部、１１２…生成部、１１３…表示制御部、１１４…通信制御部、２１１…取得部、２１２…設定部、２１３…生成部、２１４…表示制御部、２１５…通信制御部、３１１…取得部、３１２…表示制御部、３１３…通信制御部、ＣＳ１、ＣＳ２…共有空間、ＰＲ１～ＰＲ３…制御プログラム、ＶＯ、ＶＯ１、ＶＯ２…仮想オブジェクト

Claims (4)

  1. 　第１端末装置によって第１表示装置に表示される第１仮想空間において、第２端末装置と仮想オブジェクトを共有するための共有空間の設定に関する第１操作情報、及び前記共有空間における前記仮想オブジェクトの配置に関する第２操作情報を、前記第１端末装置から取得する取得部と、
    　前記第１操作情報及び前記第２操作情報に基づいて、第２表示装置に表示される第２仮想空間内に、前記仮想オブジェクトが配置された前記共有空間を、前記第２端末装置によって表示させる表示制御部と、
    を備える表示制御装置。
  2. 　生成部を更に備え、
    　前記取得部は、前記第１端末装置から、前記仮想オブジェクトを示す画像情報を取得し、
    　前記生成部は、前記取得された画像情報を用いて、前記仮想オブジェクトが配置された前記共有空間を表す画像情報を生成する、
    請求項１に記載の表示制御装置。
  3. 　通信制御部を更に備え、
    　前記取得部は、更に、前記第２端末装置から前記仮想オブジェクトを変形させる操作を示す第３操作情報を取得し、
    　前記生成部は、前記第３操作情報に基づいて、前記仮想オブジェクトと変形された仮想オブジェクトとの差分を示す差分情報を生成し、
    　前記通信制御部は、通信装置に、前記差分情報を、前記第１端末装置に対して送信させる、請求項１又は請求項２に記載の表示制御装置。
  4. 　通信制御部を更に備え、
    　前記取得部は、更に、前記第２端末装置から前記仮想オブジェクトを移動させる操作を示す第４操作情報を取得し、
    　前記生成部は、前記第４操作情報に基づいて、前記共有空間における前記仮想オブジェクトの位置の変化を示す変化情報を生成し、
    　前記通信制御部は、通信装置に、前記変化情報を、前記第１端末装置に対して送信させる、請求項１又は請求項２に記載の表示制御装置。
PCT/JP2023/005985 2022-03-15 2023-02-20 表示制御装置 WO2023176317A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-040351 2022-03-15
JP2022040351 2022-03-15

Publications (1)

Publication Number Publication Date
WO2023176317A1 true WO2023176317A1 (ja) 2023-09-21

Family

ID=88023389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005985 WO2023176317A1 (ja) 2022-03-15 2023-02-20 表示制御装置

Country Status (1)

Country Link
WO (1) WO2023176317A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016515325A (ja) * 2013-02-20 2016-05-26 マイクロソフト テクノロジー ライセンシング，エルエルシー 鏡のメタファを使用した遠隔没入型体験の提供

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016515325A (ja) * 2013-02-20 2016-05-26 マイクロソフト テクノロジー ライセンシング，エルエルシー 鏡のメタファを使用した遠隔没入型体験の提供

Similar Documents

Publication Publication Date Title
CN112015314B (zh) 信息展示方法、装置、电子设备和介质
CN110954083A (zh) 移动设备的定位
US11800327B2 (en) Systems and methods for sharing information between augmented reality devices
US10635180B2 (en) Remote control of a desktop application via a mobile device
WO2017059144A1 (en) Dynamic sensor array for augmented reality system
CN113191726A (zh) 任务详情界面展示方法、装置、设备和计算机可读介质
EP3039556A1 (en) Method, apparatus, and recording medium for interworking with external terminal
CN111309416B (zh) 应用界面的信息显示方法、装置、设备及可读介质
CN110148224B (zh) Hud图像显示方法、装置及终端设备
CN109718554B (zh) 一种实时渲染方法、装置及终端
CN113989470A (zh) 画面的显示方法、装置、存储介质及电子设备
WO2023176317A1 (ja) 表示制御装置
WO2019089398A1 (en) Networked user interface back channel discovery via wired video connection
WO2023149255A1 (ja) 表示制御装置
CN115495169A (zh) 数据获取、页面生成方法、装置、设备及可读存储介质
WO2023149498A1 (ja) 表示制御装置
WO2023162499A1 (ja) 表示制御装置
WO2023149256A1 (ja) 表示制御装置
WO2023112838A1 (ja) 情報処理装置
JP2024004019A (ja) 制御装置及び制御システム
WO2023199627A1 (ja) ガイド画像管理装置
WO2023171341A1 (ja) 表示制御装置
WO2023176424A1 (ja) 表示制御装置
WO2023145265A1 (ja) メッセージ送信装置及びメッセージ受信装置
WO2023145273A1 (ja) 表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770276

Country of ref document: EP

Kind code of ref document: A1