WO2023149498A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2023149498A1
WO2023149498A1 PCT/JP2023/003371 JP2023003371W WO2023149498A1 WO 2023149498 A1 WO2023149498 A1 WO 2023149498A1 JP 2023003371 W JP2023003371 W JP 2023003371W WO 2023149498 A1 WO2023149498 A1 WO 2023149498A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
virtual object
virtual
user
appearance
Prior art date
Application number
PCT/JP2023/003371
Other languages
English (en)
French (fr)
Inventor
智仁 山▲崎▼
Original Assignee
株式会社Nttドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nttドコモ filed Critical 株式会社Nttドコモ
Publication of WO2023149498A1 publication Critical patent/WO2023149498A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Definitions

  • the present invention relates to a display control device.
  • the specifications for displaying virtual objects that indicate the message or content may be changed.
  • Patent Document 1 discloses a technology related to a content distribution server that provides educational content in a remote education system.
  • the material data distribution unit distributes first specification data indicating specifications of a plurality of virtual objects arranged in the virtual space and motion data indicating movements of the plurality of virtual objects to the educational terminal. do.
  • the material data changing unit changes the first specification data to the second specification data in response to a request received from the educational terminal.
  • the material data distribution unit distributes the second specification data to the educational terminal. That is, in the conventional remote education system, the appearance of the virtual object displayed on the destination educational terminal is changed in response to a request from the destination user of the virtual object.
  • a display control device is arranged in a first virtual space viewed by a user who is a sender of a message, and includes a generator that generates a virtual object related to the message, and a user who is the destination of the message.
  • a display control device comprising: a setting unit for setting whether or not to permit a change of the appearance of the virtual object displayed in a second virtual space to be viewed.
  • the transmission source can set whether or not the appearance of the virtual object displayed at the transmission destination can be changed.
  • FIG. 1 is a diagram showing the overall configuration of an information processing system 1;
  • FIG. FIG. 3 is a perspective view showing the appearance of a display device 30-K;
  • FIG. 4 is an explanatory diagram of a display method in the display device 30-K;
  • FIG. 3 is a block diagram showing a configuration example of a display device 30-K;
  • FIG. 3 is a block diagram showing a configuration example of a terminal device 20-K;
  • 2 is a block diagram showing a configuration example of the server 10;
  • FIG. 4 is a sequence diagram showing the operation of the information processing system 1;
  • FIG. FIG. 3 is a block diagram showing a configuration example of terminal devices 20A-K;
  • the block diagram which shows the structural example of server 10A. 4 is a sequence diagram showing the operation of the information processing system 1A;
  • FIG. FIG. 4 is a diagram showing an example of a virtual object VO2;
  • FIG. 1 First Embodiment
  • a server 10 as a display control device according to a first embodiment of the present invention
  • FIG. 1 shows the overall configuration of an information processing system 1 .
  • an information processing system 1 includes a server 10, terminal devices 20-1, 20-2, . . . 20-K, . Equipped with M.
  • J is an integer of 1 or more.
  • K is an integer of 1 or more and J or less.
  • M is 1 or more and J or less, and is an integer different from K.
  • the terminal devices 20-1 to 20-J have the same configuration. However, terminal devices having different configurations may be included.
  • the display devices 30-K and 30-M have the same configuration. However, display devices having different configurations may be included.
  • the server 10 and the terminal devices 20-1 to 20-J are communicably connected to each other via a communication network NET.
  • the terminal device 20-K and the display device 30-K are connected so as to be able to communicate with each other.
  • the terminal device 20-K and the display device 30-K are connected so as to be able to communicate with each other.
  • FIG. 1 it is assumed that user UK uses a set of terminal device 20-K and display device 30-K. It is also assumed that user UM uses a set of terminal device 20-M and display device 30-M.
  • the server 10 provides various data and cloud services to the terminal devices 20-1, 20-2, ... 20-K, ... 20-M, ... 20-J via the communication network NET.
  • the terminal device 20-K causes the display device 30-K worn on the head of the user UK to display the virtual object arranged in the virtual space.
  • the virtual space is, for example, a celestial space.
  • the virtual objects are, for example, virtual objects representing data such as still images, moving images, 3DCG models, HTML files, and text files, and virtual objects representing applications. Examples of text files include memos, source codes, diaries, and recipes. Examples of applications include browsers, applications for using SNS, and applications for generating document files.
  • the terminal device 20-K is preferably a mobile terminal device such as a smart phone and a tablet, for example.
  • the terminal device 20-M causes the display device 30-M worn on the head of the user UM to display a virtual object arranged in the virtual space.
  • the user U K wearing the display device 30-K on his head uses the terminal device 20-K to send a message to the other user U M.
  • the user UK installs a virtual object related to the message in the virtual space and designates the destination of the user UM , thereby transmitting the message to the user UM .
  • a display device similar to the display devices 30-K and 30-M may be connected to a terminal device other than the terminal devices 20-K and 20-M among the terminal devices 20-1 to 20-J. .
  • the display device 30-K is, as described above, a device that displays virtual objects arranged in the virtual space.
  • the display device 30-K may be VR glasses or VR goggles using VR (Virtual Reality) technology that provides a virtual reality space to the user UK .
  • the display device 30-K may be AR glasses or AR goggles using AR (Augmented Reality) technology that provides an augmented reality space to the user UK .
  • the display device 30-K may be MR glasses or MR goggles using MR (Mixed Reality) technology that provides a mixed reality space to the user UK .
  • the display device 30-K may be an HMD (Head Mounted Display) employing any one of VR technology, AR technology, or MR technology.
  • a single HMD may serve as two or more types of goggles among VR goggles, AR goggles, and MR goggles. The same applies to the display device 30-M.
  • FIG. 2 is a perspective view showing the appearance of the display device 30-K as an example of the display device 30-K when the display device 30-K is AR glasses.
  • the appearance of the display device 30-K has temples 91 and 92, a bridge 93, frames 94 and 95, and lenses 41L and 41R, like general spectacles.
  • An imaging device 36 is provided on the bridge 93 .
  • the imaging device 36 images the outside world.
  • the imaging device 36 also outputs imaging information indicating the captured image.
  • Each of the lenses 41L and 41R has a half mirror.
  • a frame 94 is provided with a liquid crystal panel or an organic EL panel for the left eye.
  • a liquid crystal panel or an organic EL panel is hereinafter generically referred to as a display panel.
  • the frame 94 is provided with an optical member that guides the light emitted from the display panel for the left eye to the lens 41L.
  • the half mirror provided in the lens 41L transmits external light and guides it to the left eye, and reflects the light guided by the optical member to enter the left eye.
  • the frame 95 is provided with a right-eye display panel and an optical member that guides light emitted from the right-eye display panel to the lens 41R.
  • the half mirror provided in the lens 41R transmits external light and guides it to the right eye, and reflects the light guided by the optical member to enter the right eye.
  • the display 39 which will be described later, includes a lens 41L, a left-eye display panel, a left-eye optical member, and a lens 41R, a right-eye display panel, and a right-eye optical member.
  • the user UK can observe the image displayed by the display panel in a see-through state in which the image is superimposed on the appearance of the outside world.
  • the display device 30-K causes the left-eye display panel to display the left-eye image and the right-eye display panel to display the right-eye image among the binocular images with parallax. Therefore, the display device 30-K allows the user UK to perceive the displayed image as if it had depth and stereoscopic effect.
  • FIG. 3 is an explanatory diagram of a display method in the display device 30-K realized in this embodiment.
  • a virtual reality space VS is provided to the user UK using the display device 30-K as VR glasses as an example.
  • an augmented reality space AS is provided to the user UM using the display device 30-M as AR glasses, for example.
  • the virtual reality space VS is an example of the first virtual space.
  • the augmented reality space AS is an example of the second virtual space.
  • the user UK places a virtual object VO1 regarding the message in the virtual reality space VS.
  • User UK then designates user UM as the destination.
  • a message corresponding to the virtual object VO1 is sent via the server 10 to the terminal device 20-M used by the user UM .
  • the virtual object VO1 related to the message is displayed as the virtual object VO2 in the augmented reality space AS.
  • the appearance of the virtual object VO2 is basically the same as that of the virtual object VO1.
  • the server 10 changes the appearance of the virtual object VO2 so that the appearance of the virtual object VO2 is optimal for the user UM according to the environment in the physical space included in the augmented reality space AS.
  • FIG. 4 is a block diagram showing a configuration example of the display device 30-K as an example of the display device 30-K when the display device 30-K is AR glasses.
  • the display device 30 -K includes a processing device 31 , a storage device 32 , a line-of-sight detection device 33 , a GPS device 34 , a motion detection device 35 , an imaging device 36 , an environment sensor 37 , a communication device 38 and a display 39 .
  • the elements of display device 30-K are interconnected using one or more buses for communicating information. Note that the term "apparatus" in this specification may be replaced with another term such as a circuit, a device, or a unit.
  • the processing device 31 is a processor that controls the entire display device 30-K.
  • the processing device 31 is configured using, for example, a single chip or multiple chips.
  • the processing device 31 is configured using, for example, a central processing unit (CPU) including an interface with peripheral devices, an arithmetic device, a register, and the like. Some or all of the functions of the processing device 31 are replaced by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). may be implemented using
  • the processing device 31 executes various processes in parallel or sequentially.
  • the storage device 32 is a recording medium that can be read and written by the processing device 31.
  • the storage device 32 also stores a plurality of programs including the control program PR3 executed by the processing device 31 .
  • the line of sight detection device 33 After detecting the line of sight of the user UK , the line of sight detection device 33 generates line of sight information indicating the detection result. Any method may be used for the line-of-sight detection device 33 to detect the line of sight.
  • the line-of-sight detection device 33 may detect line-of-sight information based on, for example, the position of the inner corner of the eye and the position of the iris.
  • the line-of-sight information indicates the line-of-sight direction of the user UK .
  • the line-of-sight detection device 33 supplies line-of-sight information to the processing device 31, which will be described later.
  • the line-of-sight information supplied to the processing device 31 is transmitted to the terminal device 20-K via the communication device .
  • the GPS device 34 receives radio waves from multiple satellites. Also, the GPS device 34 generates location information from the received radio waves.
  • the position information indicates the position of the display device 30-K.
  • the location information may be in any format as long as the location can be specified.
  • the position information indicates, for example, the latitude and longitude of the display device 30-K.
  • location information is obtained from GPS device 34 .
  • the display device 30-K may acquire the position information using any method.
  • the acquired position information is supplied to the processing device 31 .
  • the position information supplied to the processing device 31 is transmitted to the terminal device 20-K via the communication device 38.
  • the motion detection device 35 detects motion of the display device 30-K.
  • the motion detection device 35 corresponds to an inertial sensor such as an acceleration sensor that detects acceleration and a gyro sensor that detects angular acceleration.
  • the acceleration sensor detects acceleration in orthogonal X-, Y-, and Z-axes.
  • the gyro sensor detects angular acceleration around the X-, Y-, and Z-axes.
  • the motion detection device 35 can generate posture information indicating the posture of the display device 30-K based on the output information of the gyro sensor.
  • the motion information includes acceleration data indicating three-axis acceleration and angular acceleration data indicating three-axis angular acceleration.
  • the motion detection device 35 also supplies the processing device 31 with posture information indicating the posture of the display device 30-K and motion information related to the motion of the display device 30-K.
  • the posture information and motion information supplied to the processing device 31 are transmitted to the terminal device 20-K via the communication device 38.
  • the imaging device 36 outputs imaging information obtained by imaging the outside world.
  • the imaging device 36 includes, for example, a lens, an imaging element, an amplifier, and an AD converter.
  • the light condensed through the lens is converted into an image signal, which is an analog signal, by the image sensor.
  • the amplifier amplifies the imaging signal and outputs it to the AD converter.
  • the AD converter converts the amplified imaging signal, which is an analog signal, into imaging information, which is a digital signal.
  • the converted imaging information is supplied to the processing device 31 .
  • the imaging information supplied to the processing device 31 is transmitted to the terminal device 20 -K via the communication device 38 .
  • the environment sensor 37 senses the environment around the display device 30-K.
  • Environment sensor 37 includes an illuminance sensor that senses illuminance.
  • the environment sensor 37 may also sense temperature, humidity, atmospheric pressure, etc., as required.
  • the environmental sensor 37 generates environmental information based on sensing results.
  • the environment sensor 37 also supplies the generated environment information to the processing device 31 .
  • the environment information supplied to the processing device 31 is transmitted to the terminal device 20-K via the communication device 38.
  • the communication device 38 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 38 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 38 may include a connector for wired connection and an interface circuit corresponding to the connector.
  • Communication device 38 may also include a wireless communication interface.
  • Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection.
  • a wireless communication interface there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 39 is a device that displays images.
  • the display 39 displays various images under the control of the processing device 21 .
  • the display 39 includes the lens 41L, the left-eye display panel, the left-eye optical member, and the lens 41R, the right-eye display panel, and the right-eye optical member, as described above.
  • Various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display panel.
  • the processing device 31 reads the control program PR3 from the storage device 32 and executes it. As a result, the processing device 31 functions as an acquisition unit 311 and a display control unit 312 .
  • the acquisition unit 311 acquires image information indicating an image displayed on the display device 30-K from the terminal device 20-K.
  • the acquisition unit 311 also receives line-of-sight information input from the line-of-sight detection device 33 , position information input from the GPS device 34 , posture information and motion information input from the motion detection device 35 , and imaging information input from the imaging device 36 . Information and environment information input from the environment sensor 37 are acquired. After that, the acquisition unit 311 outputs the acquired line-of-sight information, position information, posture information, motion information, imaging information, and environment information to the communication device 38 .
  • the display control unit 312 Based on the image information acquired by the acquisition unit 311 from the terminal device 20-K, the display control unit 312 causes the display 39 to display an image indicated by the image information.
  • FIG. 5 is a block diagram showing a configuration example of the terminal device 20-K.
  • the terminal device 20-K includes a processing device 21, a storage device 22, a communication device 23, a display 24, an input device 25, and an inertial sensor 26.
  • FIG. Each element of the terminal device 20-K is interconnected using one or more buses for communicating information.
  • the processing device 21 is a processor that controls the entire terminal device 20-K. Also, the processing device 21 is configured using, for example, a single chip or a plurality of chips. The processing unit 21 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like. Some or all of the functions of the processing device 21 may be implemented using hardware such as DSP, ASIC, PLD, and FPGA. The processing device 21 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 22 is a recording medium that can be read and written by the processing device 21 .
  • the storage device 22 also stores a plurality of programs including the control program PR2 executed by the processing device 21 .
  • the storage device 22 may further store image information indicating an image displayed on the display device 30-K.
  • the communication device 23 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 23 is also called a network device, a network controller, a network card, a communication module, or the like, for example.
  • the communication device 23 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 23 may have a wireless communication interface. Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection. Also, as a wireless communication interface, there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 24 is a device that displays images and character information.
  • the display 24 displays various images under the control of the processing device 21 .
  • various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are preferably used as the display 24 .
  • the display 24 may not be an essential component.
  • the terminal device 20-K may be configured without the display 24.
  • the input device 25 receives an operation from the user UK who wears the display device 30-K on his head.
  • the input device 25 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 25 may also serve as the display 24 .
  • the inertial sensor 26 is a sensor that detects inertial force.
  • the inertial sensor 26 includes, for example, one or more sensors among an acceleration sensor, an angular velocity sensor, and a gyro sensor.
  • the processing device 21 detects the orientation of the terminal device 20-K based on the output information from the inertial sensor 26. FIG. Further, the processing device 21 receives selection of the virtual object VO1, input of characters, and input of instructions in the virtual reality space VS or the augmented reality space AS based on the orientation of the terminal device 20-K.
  • the virtual object VO1 arranged in the predetermined area is displayed. selected.
  • the user UK 's operation on the input device 25 is, for example, a double tap.
  • the processing device 21 reads the control program PR2 from the storage device 22 and executes it. As a result, the processing device 21 functions as an acquisition unit 211 , a display control unit 212 and an output unit 213 .
  • the acquisition unit 211 acquires a message created by the user UK and destination information indicating the destination of the message.
  • the message and the destination information indicating the destination of the message may be, for example, the message and the destination information input to the terminal device 20 -K by the user UK using the input device 25 .
  • the message and destination information of the message may be the message and destination information acquired by the processing device 21 from an external device via the communication device 23 .
  • the acquisition unit 211 also acquires operation information indicating an operation by the user UK .
  • the operation by the user UK may be an operation using the input device 25, or may be an operation on the virtual object VO1 in the first virtual space.
  • the acquisition unit 211 acquires line-of-sight information, position information, posture information, movement information, imaging information, and environment information from the display device 30-K.
  • the acquiring unit 211 acquires the message created by the user UK from the server 10 in the terminal device 20-M, not the terminal device 20-K. Also, in the terminal device 20-M, not the terminal device 20-K, the acquisition unit 211 acquires operation information indicating the operation of the user UM .
  • the operation by the user UM may be an operation using the input device 25, or may be an operation on the virtual object VO2 in the second virtual space.
  • the acquisition unit 211 acquires image information for displaying the virtual object on the display device 30 -K from the server 10 via the communication device 23 .
  • the acquisition unit 211 acquires image information for displaying the virtual object VO1 related to the message acquired by the acquisition unit 211 .
  • the acquisition unit 211 provided in the terminal device 20-M acquires image information for displaying the virtual object on the display device 30-M from the server 10 via the communication device 23. .
  • the acquisition unit 211 provided in the terminal device 20-M acquires image information for displaying the virtual object VO2 related to the message acquired by the acquisition unit 211.
  • the display control unit 212 uses the image information acquired by the acquisition unit 211 to display the virtual object on the display device 30-K. In particular, the display control unit 212 uses the image information to display the virtual object VO1 related to the message on the display device 30-K.
  • the display control unit 212 uses the image information acquired by the acquisition unit 211 to display the virtual object on the display device 30-M.
  • the display control unit 212 uses the image information to display the virtual object VO2 related to the message on the display device 30-M. Further, the display control unit 212 causes the display device 30-M to display a message corresponding to the virtual object VO2.
  • the output unit 213 transmits the message and destination information acquired by the acquisition unit 211 to the server 10 via the communication device 23 .
  • the output unit 213 provided in the terminal device 20-M, not the terminal device 20-K, outputs the environment information acquired by the acquisition unit 211 to the server 10.
  • FIG. 6 is a block diagram showing a configuration example of the server 10. As shown in FIG.
  • the server 10 comprises a processing device 11 , a storage device 12 , a communication device 13 , a display 14 and an input device 15 .
  • Each element of server 10 is interconnected using one or more buses for communicating information.
  • the processing device 11 is a processor that controls the server 10 as a whole. Also, the processing device 11 is configured using, for example, a single chip or a plurality of chips.
  • the processing unit 11 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like. Some or all of the functions of the processing device 11 may be implemented using hardware such as DSP, ASIC, PLD, and FPGA.
  • the processing device 11 executes various processes in parallel or sequentially.
  • the storage device 12 is a recording medium that can be read and written by the processing device 11.
  • the storage device 12 also stores a plurality of programs including the control program PR1 executed by the processing device 11 .
  • the storage device 12 also stores image information indicating images displayed on the display device 30-K and the display device 30-M.
  • the storage device 12 stores image information indicating virtual objects displayed on the display device 30-K and the display device 30-M.
  • the storage device 12 stores a registration information database RD.
  • the registration information database RD the user UK and the user UM using the terminal devices 20- K and 20-J connected to the server 10, and the user UK and user UM attached to the head of the user UK and user UM .
  • the types of the display devices 30-K and 30-J are stored in one-to-one correspondence.
  • each of the display devices 30-K and 30-J is VR glass, HMD to which VR technology is applied, AR glass, HMD to which AR technology is applied, MR glass, and MR technology is applied. Which of the HMDs is stored is associated with user UK and user UM on a one-to-one basis.
  • users UK and users UM and types of virtual spaces viewed by the users UK and users UM are stored in one-to-one correspondence.
  • the type of the virtual space viewed by the user UK and the user UM is a virtual reality space, an augmented reality space, or a mixed reality space . They are stored in a one-to-one correspondence.
  • the communication device 13 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 13 is also called a network device, a network controller, a network card, a communication module, or the like, for example.
  • the communication device 13 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 13 may have a wireless communication interface. Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection. Also, as a wireless communication interface, there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 14 is a device that displays images and character information.
  • the display 14 displays various images under the control of the processing device 11 .
  • various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display 14 .
  • the input device 15 is a device that receives operations from the administrator of the information processing system 1 .
  • the input device 15 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 15 may also serve as the display 14 .
  • the processing device 11 reads the control program PR1 from the storage device 12 and executes it. As a result, the processing device 11 functions as an acquisition unit 111 , a registration unit 112 , a generation unit 113 , a setting unit 114 , a change unit 115 and an output unit 116 .
  • the acquisition unit 111 obtains a one-to-one correspondence between the user UK and the type of the display device 30-K worn on the head of the user UK from the terminal device 20-K via the communication device 13. Get information. Further, the acquiring unit 111 acquires information in which the user U K and the type of virtual space viewed by the user U K are associated one-to-one from the terminal device 20-K via the communication device 13. do. Similarly, the acquiring unit 111 obtains a one-to-one correspondence between the user UM and the type of the display device 30-M worn on the head of the user UM from the terminal device 20-M via the communication device 13. Get attached information. In addition, the acquiring unit 111 acquires information in which the user U M and the type of virtual space viewed by the user U M are associated one-to-one from the terminal device 20-M via the communication device 13. do.
  • the acquisition unit 111 also acquires the message and the destination information indicating the destination of the message from the terminal device 20-K via the communication device 13.
  • the acquisition unit 111 also acquires various data from the terminal device 20 -K via the communication device 13 .
  • the data includes, for example, data indicating the details of the operation on the virtual object VO1 input to the terminal device 20-K by the user UK wearing the display device 30-K on the head. Further, the data may include at least one of line-of-sight information, position information, orientation information, movement information, and imaging information acquired by the terminal device 20-K from the display device 30-K.
  • the acquisition unit 111 also acquires various data from the terminal device 20-M via the communication device 13.
  • FIG. The data includes, for example, data indicating the operation content for the virtual object VO2 input to the terminal device 20-M by the user UM wearing the display device 30-M on the head.
  • the data also includes environment information acquired by the terminal device 20-M from the display device 30-M.
  • the data may include at least one of line-of-sight information, position information, orientation information, motion information, and imaging information acquired by the terminal device 20-M from the display device 30-M.
  • the registration unit 112 registers the user UK and the user U M acquired by the acquisition unit 111 with the types of the display devices 30- K and 30-M worn on the heads of the user UK and the user U M one-to-one. is stored in the registration information database RD. Further, the registration unit 112 stores the information obtained by the obtaining unit 111 in which the user UK and the user UM are associated one-to-one with the type of the virtual space viewed by the user UK and the user UM . , is stored in the registration information database RD.
  • the acquisition unit 111 After acquiring the destination information, the acquisition unit 111 refers to the registration information database RD to determine whether the second virtual space viewed by the user UM corresponding to the destination information is a virtual reality space. Acquire information that can distinguish between the real space and the mixed reality space.
  • information that can distinguish whether the second virtual space is a virtual reality space, an augmented reality space, or a mixed reality space is an example of virtual space information.
  • the virtual space information may be information indicating whether the second virtual space is an augmented reality space, an augmented reality space, or a mixed reality space.
  • the generation unit 113 uses the image information stored in the storage device 12 to generate a virtual object VO1 related to the message from the user UK , which is placed in the first virtual space and acquired by the acquisition unit 111 .
  • the generation unit 113 also uses the image information stored in the storage device 12 to generate a virtual object VO2 placed in the second virtual space and related to the message. It should be noted that the virtual object VO1 and the virtual object VO2 have the same appearance at the time of generation by the generation unit 113 .
  • the setting unit 114 sets whether or not to permit the change of the appearance of the virtual object VO2 in the second virtual space viewed by the user UM . More specifically, when the second virtual space is a virtual reality space, the setting unit 114 does not permit changing the appearance of the virtual object VO2. On the other hand, if the second virtual space is the augmented reality space or the mixed reality space, the setting unit 114 permits changing the appearance of the virtual object VO2.
  • the server 10 can set whether or not the external appearance of the virtual object VO2 indicating the message can be changed on the receiving side of the message. Furthermore, the user UM does not need to perform complicated operations in order to make the appearance of the virtual object VO2 optimal for the user. Further, on the side of the user UK sending the message, it is possible to manually change the appearance of the virtual object VO1 displayed as the virtual object VO2 in the second virtual space according to the situation of the user UM receiving the message. No need to set.
  • the server 10 changes the appearance of the virtual object VO2 according to which of the virtual reality space, the augmented reality space, and the mixed reality space is viewed by the user UM who receives the message. Whether or not the change is permitted can be set in the server 10 concerned.
  • the change unit 115 changes the appearance of the virtual object VO2 displayed in the second virtual space based on the environment information acquired by the acquisition unit 111 when the setting unit 114 sets that the change of the appearance of the virtual object VO2 is permitted. change. For example, when the environment information acquired by the acquisition unit 111 is illuminance information indicating the illuminance measured by the illuminance sensor, the change unit 115 adjusts the brightness, saturation, and hue.
  • the server 10 can make the appearance of the virtual object VO2 optimal for the user UM .
  • the server 10 performs virtual The appearance of the object VO2 can be optimized for the user UM .
  • the output unit 116 transmits image information indicating an image displayed on the display device 30-K to the terminal device 20-K via the communication device 13. In particular, the output unit 116 transmits image information indicating the virtual object VO1 to the terminal device 20-K. Further, the output unit 116 transmits image information indicating an image displayed on the display device 30-M to the terminal device 20-M via the communication device 13. FIG. In particular, the output unit 116 transmits image information indicating the virtual object VO2 to the terminal device 20-M.
  • the output unit 116 transmits image information indicating the virtual object VO2 as generated by the generation unit 113 to the terminal device 20-M.
  • the output unit 116 outputs the virtual object VO2 whose appearance has been changed. Image information indicating the object VO2 is transmitted to the terminal device 20-M.
  • the output unit 116 transmits the message to the terminal device 20-M.
  • the message is a message created by the user UK and addressed to the user UM , which is acquired by the acquisition unit 111 .
  • FIG. 7 is a sequence diagram showing the operation of the information processing system 1 according to the first embodiment. The operation of the information processing system 1 will be described below with reference to FIG.
  • step S 1 the processing device 21 provided in the terminal device 20 -K functions as the acquisition unit 211 .
  • the processor 21 retrieves the message created by the user UK .
  • step S 2 the processing device 21 provided in the terminal device 20 -K functions as the output section 213 .
  • the processing device 21 transmits to the server 10 the message created by the user UK .
  • the processing device 11 provided in the server 10 functions as an acquisition unit 111 .
  • the processing device 11 acquires the message created by the user UK from the terminal device 20-K.
  • step S ⁇ b>3 the processing device 11 provided in the server 10 functions as the generation unit 113 .
  • the processing unit 11 generates virtual objects VO1 and VO2 for messages created by user UK .
  • step S4 the processing device 11 provided in the server 10 functions as the output unit 116.
  • the processing device 11 outputs image information representing the virtual object VO1 to the terminal device 20-K.
  • the processing device 21 provided in the terminal device 20 -K functions as an acquisition unit 211 .
  • the processing device 21 acquires image information representing the virtual object VO1 from the server 10 .
  • step S5 the processing device 21 provided in the terminal device 20-K functions as the display control section 212.
  • the processing device 21 uses the image information acquired in step S4 to display the virtual object VO1 on the display device 30-K.
  • step S6 the processing device 21 provided in the terminal device 20-K functions as the acquisition unit 211.
  • FIG. The processing device 21 acquires destination information indicating the destination of the message input by the user UK using the input device 25, for example.
  • the processing device 21 also functions as an output unit 213 .
  • the processing device 21 transmits the acquired destination information to the server 10 .
  • the processing device 11 provided in the server 10 functions as an acquisition unit 111 .
  • the processing device 11 acquires destination information indicating the destination of the message acquired in step S2 from the terminal device 20-K.
  • the destination of the message is the user UM .
  • step S ⁇ b>7 the processing device 11 provided in the server 10 functions as the acquisition unit 111 .
  • the processing device 11 refers to the registration information database RD using the destination information acquired in step S6.
  • the processing device 11 acquires virtual space information indicating whether the second virtual space viewed by the user UM is a virtual reality space, an augmented reality space, or a mixed reality space.
  • step S8 the processing device 11 provided in the server 10 functions as the setting unit 114. Based on the virtual space information acquired in step S7, the processing device 11 sets whether or not to permit modification of the appearance of the virtual object VO2 displayed in the second virtual space.
  • the processing device 11 sets that the change of the appearance of the virtual object VO2 is not permitted. After that, the processing device 11 executes the operation of step S11.
  • the processing device 11 sets permission to change the appearance of the virtual object VO2. After that, the processing device 11 executes the operation of step S9.
  • step S9 the processing device 21 provided in the terminal device 20-M functions as the output unit 213.
  • the processing device 21 transmits environment information to the server 10 .
  • the processing device 11 provided in the server 10 functions as an acquisition unit 111 .
  • the processing device 11 acquires environmental information from the terminal device 20-M.
  • step S9 the processing device 11 provided in the server 10 outputs a request signal requesting environmental information to the terminal device 20-M, and the processing device 21 provided in the terminal device 20-M outputs the request signal.
  • the environment information may be transmitted to the server 10 in response to the request.
  • the processing device 21 provided in the terminal device 20-M may constantly or intermittently transmit environmental information to the server 10, and the processing device 11 provided in the server 10 may acquire the environmental information. .
  • step S ⁇ b>10 the processing device 11 provided in the server 10 functions as the changing unit 115 .
  • the processing device 11 changes the appearance of the virtual object VO2 displayed in the second virtual space based on the environment information acquired in step S9.
  • step S ⁇ b>11 the processing device 11 provided in the server 10 functions as the output unit 116 .
  • the processing device 11 transmits image information representing the virtual object VO2 to the terminal device 20-M.
  • the processing device 21 provided in the terminal device 20 -M functions as an acquisition unit 211 .
  • the processing device 21 acquires image information representing the virtual object VO2 from the server 10 .
  • step S12 the processing device 21 provided in the terminal device 20-M functions as the display control section 212.
  • the processing device 21 uses the image information acquired in step S4 to cause the display device 30-M to display the virtual object VO2.
  • the processing device 11 provided in the server 10 functions as the output unit 116 .
  • the processing device 11 transmits a message corresponding to the virtual object VO2 to the terminal device 20-M.
  • the processing device 11 acquires, from the terminal device 20-M, operation information indicating an operation for instructing display of a message regarding the virtual object VO2 as the operation of the user UM on the virtual object VO2, the processing device 11 receives the operation information from the terminal device 20-M. - send the message to M;
  • the processing device 21 provided in the terminal device 20 -M functions as an acquisition unit 211 .
  • the processing device 21 acquires the message from the server 10 .
  • the processing device 21 provided in the terminal device 20 -M functions as a display control unit 212 .
  • the processing device 21 causes the display device 30-M to display the message.
  • the processing device 21 provided in the terminal device 20-K, the processing device 11 provided in the server 10, and the processing device 21 provided in the terminal device 20-M complete all the processes shown in FIG.
  • the server 10 as the display control device includes the generation unit 113 and the setting unit 114 .
  • the generation unit 113 is placed in the first virtual space viewed by the user UK who is the source of the message, and generates a virtual object VO1 related to the message.
  • the setting unit 114 sets whether or not to permit modification of the appearance of the virtual object VO2 displayed in the second virtual space viewed by the user UM to whom the message is sent.
  • the server 10 can set whether or not to permit the modification of the appearance of the virtual object VO2 indicating the message on the receiving side of the message. More specifically, the appearance of the virtual object VO2 differs depending on the situation of the user UM who receives the message.
  • the server 10 can set whether or not to permit the modification of the appearance of the virtual object VO2
  • the user UM can make the appearance of the virtual object VO2 optimal for the user. There is no need to perform complicated operations.
  • whether or not the user UK who sends the message is permitted to change the appearance of the virtual object VO1 displayed as the virtual object VO2 in the second virtual space in accordance with the situation of the user UM who receives the message. need not be set manually.
  • the server 10 further includes an acquisition unit 111 .
  • the acquisition unit 111 acquires virtual space information that can distinguish whether the second virtual space is a virtual reality space, an augmented reality space, or a mixed reality space.
  • the setting unit 114 sets permission/prohibition of the change based on the above virtual space information.
  • the virtual object VO2 is displayed according to whether the user UM who receives the message is visually recognizing the virtual reality space, the augmented reality space, or the mixed reality space.
  • the server 10 can set whether or not to permit the change of the appearance of the . Also, after the user UK who sends the message grasps whether the user UM who receives the message is visually recognizing the virtual reality space, the augmented reality space, or the mixed reality space, It is not necessary to manually set whether or not to allow modification of the appearance of the virtual object VO1 displayed as the object VO2.
  • the acquisition unit 111 acquires environment information indicating the environment in the real space of the destination of the message.
  • the server 10 further includes a changing unit 115 .
  • the changing unit 115 changes the second virtual space based on the environment information. 2. Change the appearance of the virtual object VO2 in the virtual space.
  • the server 10 can make the appearance of the virtual object VO2 optimal for the user UM .
  • the server 10 performs virtual The appearance of the object VO2 can be optimized for the user UM .
  • FIG. 2 Second Embodiment
  • the configuration of an information processing system 1A including terminal devices 20A-K as display control devices according to a second embodiment of the present invention will be described with reference to FIGS. 8 to 10.
  • FIG. 8 for the purpose of simplifying the description, among the components provided in the information processing system 1A according to the second embodiment, the same components as those of the information processing system 1 according to the first embodiment are While using the same code
  • the information processing system 1A according to the second embodiment of the present invention has a server 10 , terminal devices 20A-K instead of terminal devices 20-K, and terminal devices 20A-M instead of terminal devices 20-M. Otherwise, the overall configuration of the information processing system 1A is the same as the overall configuration of the information processing system 1 according to the first embodiment shown in FIG. 1, so illustration and description thereof will be omitted.
  • the server 10 generates the virtual objects VO1 and VO2, and sets whether or not to permit the modification of the appearance of the virtual object VO2.
  • the terminal devices 20A-K generate the virtual object VO1.
  • the terminal device 20A-K sets whether or not to permit the change of the appearance of the virtual object VO1.
  • the terminal devices 20A-M generate virtual objects VO2. More specifically, when the virtual object VO1 is displayed as the virtual object VO2 in the second virtual space, the terminal device 20-K displays the virtual object VO1 as the virtual object VO2 in the second virtual space. Sets whether to allow changing the appearance of the .
  • the terminal device 20-K is an example of a display control device.
  • FIG. 8 is a block diagram showing a configuration example of the terminal device 20A-K.
  • the terminal devices 20A-K differ from the terminal device 20-K in that the processing device 21 is replaced with a processing device 21A, and the storage device 22 is replaced with a storage device 22A.
  • the storage device 22A stores the control program PR2A instead of the control program PR2.
  • the storage device 22A further stores image information indicating an image displayed on the display device 30-K.
  • the storage device 22A stores image information representing the virtual object VO1 displayed on the display device 30-K.
  • the storage device 22A stores image information indicating the virtual object VO2 displayed on the display device 30-M.
  • the processing device 21A includes an acquisition unit 211A instead of the acquisition unit 211 provided in the processing device 21, a display control unit 212A instead of the display control unit 212, and an output unit 213A instead of the output unit 213.
  • the processing device 21A further includes a generating unit 214, a receiving unit 215, and a setting unit 216, in addition to the constituent elements included in the processing device 21.
  • FIG. 1 A generating unit 214, a receiving unit 215, and a setting unit 216, in addition to the constituent elements included in the processing device 21.
  • the acquisition unit 211A has the same function as the acquisition unit 211 according to the first embodiment. Furthermore, in the terminal devices 20A-M, not the terminal devices 20A-K, the acquisition unit 211A acquires change information regarding the change of the virtual object VO2 from the server 10A.
  • the generation unit 214 uses the image information stored in the storage device 22A to generate a virtual object VO1 related to the message created by the user UK and placed in the first virtual space and acquired by the acquisition unit 211A.
  • the generation unit 214 uses the image information stored in the storage device 22A and the change information acquired by the acquisition unit 211A to arrange the images in the second virtual space. Then, a virtual object VO2 relating to the message from the user UK acquired by the acquisition unit 211A is generated.
  • the display control unit 212A displays the virtual object generated by the generation unit 214 on the display device 30-K. Particularly, in the terminal device 20A-K, the virtual object VO1 generated by the generation unit 214 is displayed on the display device 30-K. On the other hand, in the terminal devices 20A-M, the virtual object VO2 generated by the generation unit 214 is displayed on the display device 30-M.
  • the accepting unit 215 accepts an operation by the user UK regarding whether or not to permit the modification of the appearance of the virtual object VO1. Specifically, when the virtual object VO1 is displayed in the second virtual space as the virtual object VO2, the user UK does not want to change the appearance of the virtual object VO2 from the appearance of the virtual object VO1. Perform an operation that specifies that changes are not allowed. On the other hand, when the virtual object VO1 is displayed in the second virtual space as the virtual object VO2, the user UK may change the appearance of the virtual object VO2 from the appearance of the virtual object VO1. perform an operation that specifies to allow The operation may be an operation by the user UK using the input device 25, or an operation by the user UK on the virtual object VO1.
  • the accepting unit 215 also accepts the operation of the user UK on the virtual object VO1. In the terminal devices 20A-M, not in the terminal devices 20A-K, the receiving unit 215 receives the operation of the user UM on the virtual object VO2.
  • the setting unit 216 sets whether or not to permit the change of the appearance of the virtual object VO2 displayed in the second virtual space viewed by the user UM . Specifically, the setting unit 216 generates permission/prohibition information indicating whether or not to permit the modification of the appearance of the virtual object VO2 based on the above operation.
  • the terminal device 20A-K which is the transmitting side of the message, can set whether or not to allow the modification of the appearance of the virtual object VO2 indicating the message on the receiving side of the message.
  • the output unit 213A has the same function as the output unit 213 according to the first embodiment. Furthermore, the output unit 213 outputs the availability information generated by the setting unit 216 to the server 10A.
  • the storage device 12A stores a control program PR1A instead of the control program PR1.
  • the processing device 11A outputs the acquisition unit 111A instead of the acquisition unit 111 provided in the processing device 11, the generation unit 113A instead of the generation unit 113, the setting unit 114A instead of the setting unit 114, and the output unit 116.
  • a portion 116A is provided.
  • the processing device 11A does not use the changing unit 115 as an essential component among the components provided in the processing device 11 .
  • the acquisition unit 111A has the same function as the acquisition unit 111 according to the first embodiment. Furthermore, the acquiring unit 111A acquires the above-mentioned propriety information from the terminal device 20-K.
  • the setting unit 114A sets, based on the availability information and the virtual space information acquired by the acquisition unit 111, whether or not to permit the change of the appearance of the virtual object VO2 in the second virtual space viewed by the user UM . More specifically, when the permission information indicates that the user UK specifies disapproval of changing the appearance of the virtual object VO2, the setting unit 114A disallows changing the appearance of the virtual object VO2. Permit. In addition, although the permission information indicates that the user UK designates permission to change the appearance of the virtual object VO2, if the second virtual space is a virtual reality space, the setting unit 114A sets the virtual Disallow changing the appearance of object VO2.
  • the permission information indicates that the user UK specifies permission to change the appearance of the virtual object VO2
  • the second virtual space is an augmented reality space or a mixed reality space
  • setting The unit 114A permits modification of the appearance of the virtual object VO2.
  • the generation unit 113A changes the appearance of the virtual object VO2 displayed in the second virtual space based on the environment information acquired by the acquisition unit 111A. Generate such change information. For example, when the environment information acquired by the acquisition unit 111A is the illuminance information measured by the illuminance sensor, the generation unit 113A adjusts the brightness, saturation, and hue of the color of the virtual object VO2 according to the illuminance information. change information indicating the degree of change of at least one of them is generated;
  • the output unit 116A outputs the change information generated by the generation unit 113A to the terminal devices 20A-M.
  • FIG. 10 is a sequence diagram showing the operation of the information processing system 1A according to the second embodiment. The operation of the information processing system 1A will be described below with reference to FIG.
  • step S21 the processing device 21A provided in the terminal device 20A-K functions as an acquisition unit 211A.
  • the processing device 21A acquires the message created by the user UK and the destination information indicating the destination of the message.
  • the destination of the message is the user UM .
  • step S22 the processing device 21A provided in the terminal devices 20A-K functions as the generation unit 214.
  • the processing device 21A creates a virtual object VO1 related to the message obtained in step S21.
  • step S23 the processing device 21A provided in the terminal devices 20A-K functions as the display control section 212.
  • the processing device 21A causes the display device 30-K to display the virtual object VO1 generated in step S22.
  • step S24 the processing device 21A provided in the terminal device 20A-K functions as the setting unit 216.
  • the processing device 21A sets whether or not to permit the modification of the appearance of the virtual object VO2 displayed in the second virtual space viewed by the user UM .
  • the processing device 21A generates approval/denial information indicating whether or not the change is permitted.
  • step S25 the processing device 21A provided in the terminal device 20A-K functions as the output section 213A.
  • the processing device 21A outputs the message and destination information acquired in step S21 to the server 10A.
  • the processing device 11A provided in the server 10A functions as an acquisition unit 111A.
  • the processing device 11A acquires messages and destination information from the terminal devices 20A-K.
  • step S26 the processing device 21A provided in the terminal device 20A-K functions as the output unit 213A.
  • the processor 21A outputs the propriety information generated in step S24 to the server 10A.
  • the processing device 11A provided in the server 10A functions as an acquisition unit 111A.
  • the processing device 11A acquires the approval/disapproval information from the terminal devices 20A-K.
  • step S27 the processing device 11A provided in the server 10A functions as an acquisition unit 111A.
  • the processing device 11A refers to the registration information database RD using the destination information acquired in step S26.
  • the processing device 11A acquires virtual space information that can distinguish whether the second virtual space viewed by the user UM is a virtual reality space, an augmented reality space, or a mixed reality space.
  • step S28 the processing device 11A provided in the server 10A functions as the setting unit 114A.
  • the processing device 11A sets whether or not the appearance of the virtual object VO2 displayed in the second virtual space can be changed, based on the permission information obtained in step S26 and the virtual space information obtained in step S27. More specifically, when the permission information indicates that the user UK specifies disapproval of changing the appearance of the virtual object VO2, the processing device 11A disallows changing the appearance of the virtual object VO2. Permit. Also, although the permission information indicates that the user UK designates permission to change the appearance of the virtual object VO2, if the second virtual space is a virtual reality space, the processing device 11A Disallow changing the appearance of object VO2.
  • step S32 the processing device 11A executes the operation of step S32.
  • the permission information indicates that the user UK specifies permission to change the appearance of the virtual object VO2
  • the second virtual space is an augmented reality space or a mixed reality space
  • the process The device 11A allows modification of the appearance of the virtual object VO2.
  • the processing device 11 executes the operation of step S29.
  • step S29 the processing device 21A provided in the terminal devices 20A-M functions as the output unit 213A.
  • the processing device 21A outputs the environmental information to the server 10A.
  • the processing device 11A provided in the server 10A functions as an acquisition unit 111A.
  • the processing device 11A acquires environment information from the terminal devices 20A-M.
  • step S29 the processing device 11A provided in the server 10A outputs a request signal requesting environment information to the terminal devices 20A-M, and the processing device 21A provided in the terminal devices 20A-M outputs the request signal , the environment information may be output to the server 10A.
  • the processing device 21A provided in the terminal devices 20A-M may constantly or intermittently output environmental information to the server 10A, and the processing device 11A provided in the server 10A may acquire the environmental information. .
  • step S30 the processing device 11A provided in the server 10A functions as the generation unit 113A.
  • the processing device 11A generates change information for changing the appearance of the virtual object VO2 displayed in the second virtual space based on the environment information acquired in step S29.
  • step S31 the processing device 11A provided in the server 10A functions as the output section 116A.
  • the processing device 11A outputs the change information generated in step S30 to the terminal device 20-M.
  • the processing device 21A provided in the terminal devices 20A-M functions as an acquisition unit 211A.
  • the processing device 21A acquires the change information from the server 10A.
  • step S32 the processing device 11A provided in the server 10A functions as the output unit 116A.
  • the processing device 11A outputs the message obtained in step S25 to the terminal device 20-M.
  • the processing device 21A provided in the terminal devices 20A-M functions as an acquisition unit 211A.
  • the processing device 21A acquires the message from the server 10A.
  • step S33 the processing device 21A provided in the terminal devices 20A-M functions as the generation unit 214.
  • the processing device 21A uses the image information stored in the storage device 22A and the change information acquired in step S31 to generate a virtual object VO2 related to the message acquired in step S32.
  • step S34 the processing device 21A provided in the terminal devices 20A-M functions as the display control section 212A.
  • the processing device 21A causes the display device 30-M to display the virtual object VO2 generated in step S33.
  • the processing device 21A displays the message obtained in step S32.
  • the processing device 21A provided in the terminal devices 20A-M functions as the reception unit 215.
  • FIG. The processing device 21A accepts an operation of instructing display of a message regarding the virtual object VO2 as an operation of the user UM on the virtual object VO2.
  • the processing device 21A functions as a display control section 212A.
  • the processing device 21A causes the display device 30-M to display the message.
  • the processing device 21A provided in the terminal devices 20A-K, the processing device 11A provided in the server 10A, and the processing device 21A provided in the terminal devices 20A-M complete all the processing described in FIG.
  • the terminal devices 20A-K as the display control device include the generation unit 214 and the setting unit 216.
  • the generation unit 214 is placed in the virtual reality space VS as the first virtual space viewed by the user UK who sent the message, and generates a virtual object VO1 related to the message.
  • the setting unit 216 sets whether or not to permit modification of the appearance of the virtual object VO2 displayed in the augmented reality space AS as the second virtual space viewed by the user UM to whom the message is sent.
  • the terminal device 20A-K Since the terminal device 20A-K has the above configuration, the terminal device 20A-K, which is the transmitting side of the message, determines whether or not the modification of the appearance of the virtual object VO2 indicating the message is permitted on the receiving side of the message. can be set. More specifically, the appearance of the virtual object VO2 differs depending on the situation of the user UM who receives the message. By enabling the sender of the message to set whether or not the appearance of the virtual object VO2 can be changed, the user UM can perform complicated operations in order to optimize the appearance of the virtual object VO2 for the user. you don't have to
  • the setting unit 114 sets whether or not to permit modification of the appearance of the virtual object VO2. Also, in the terminal devices 20A-K according to the second embodiment, the setting unit 216 sets whether or not to permit the modification of the appearance of the virtual object VO2. The setting unit 114 and the setting unit 216 may further set whether to permit modification of the entire appearance of the virtual object VO2 or permit partial modification of the appearance of the virtual object VO2.
  • FIG. 11 shows an example of the virtual object VO2.
  • the virtual object VO2 shown in FIG. 11 is different in shape from the virtual object VO2 shown in FIG.
  • a virtual object VO2 shown in FIG. 11 has a protrusion P1 and a spherical portion P2.
  • the setting unit 114 and the setting unit 216 may set, for example, whether to permit modification of the entire appearance of the virtual object VO2, or permit modification of only one of the protrusion P1 and the sphere P2. .
  • the server 10 or the terminal devices 20A-K can change only part of the appearance of the virtual object VO2 to meet the needs of the user UM .
  • the server 10 according to the first embodiment includes a registration unit 112 and stores a registration information database RD.
  • the server 10 may not include the registration unit 112 and may not store the registration information database RD.
  • the acquiring unit 111 may directly acquire the virtual space information from the terminal device 20-M instead of referring to the registration information database RD to acquire the virtual space information.
  • the server 10A according to the second embodiment includes a registration unit 112 and stores a registration information database RD.
  • the above virtual space information is defined as "whether the second virtual space viewed by the user UM corresponding to the destination information is a virtual reality space, an augmented reality space, or a mixed reality space. information that can distinguish between
  • virtual space information is not limited to this information.
  • the registration information database RD a pair of user U K and user U M and the types of display devices 30-K and 30-M worn on the heads of user U K and user U M are stored. stored in association with one. Therefore, the virtual space information may be equipment information of the display device 30-M worn by the user UM .
  • the setting unit 114 provided in the server 10 sets whether or not to permit the modification of the appearance of the virtual object VO2 in the second virtual space viewed by the user UM based on the device information of the display device 30-M. do. More specifically, the display device 30-M worn by the user UM provides the virtual space to the user UM as a virtual reality space, an augmented reality space, or a mixed reality space, depending on the type of device. Whether it is space or not is different. Therefore, the setting unit 114 provided in the server 10 can set whether or not to permit the change based on the device information of the display device 30-M as the virtual space information.
  • the registration information database RD users UK and users UM are stored in one-to-one correspondence with the types of terminal devices 20- K and 20- M used by users UK and users UM. may Similarly in this case, the virtual space information may be equipment information of the terminal device 20-M used by the user UM .
  • the server 10A according to the second embodiment.
  • the acquisition unit 111A provided in the server 10A acquires the virtual space information by referring to the registration information database RD, and the setting unit 114A uses the virtual space information to It was set whether or not to permit the change of the appearance of the virtual object VO2 in the second virtual space visually recognized by the user UM .
  • the acquisition unit 211A provided in the terminal devices 20A-K reads the registration information database RD from the server 10A to acquire the virtual space information, and the setting unit 216 uses the virtual space information to obtain the virtual space information visually recognized by the user UM . 2 It may be set whether or not to permit the change of the appearance of the virtual object VO2 in the virtual space.
  • the server 10A does not use the setting unit 114A as an essential component.
  • the generation unit 113A provided in the server 10A generates the appearance of the virtual object VO2 displayed in the second virtual space based on the environment information acquired from the terminal devices 20A-M. Change information related to changes was generated.
  • the terminal devices 20A-M may generate the change information instead of the server 10A. More specifically, when the server 10A outputs permission information to the terminal devices 20A-M, and the permission information acquired by the terminal devices 20A-M indicates permission to change the appearance of the virtual object VO2, The terminal devices 20A-M may generate change information based on the environmental information.
  • the generation unit 214 provided in the terminal devices 20A-M generates the virtual object VO2 using the image information stored in the storage device 22A and the above change information.
  • the terminal device 20-M may generate change information based on environment information.
  • the terminal device 20-M displays the virtual object VO2 on the display device 30-M using the image information obtained from the server 10, and then applies the change information to the image information. changes the appearance of the virtual object VO2.
  • the accepting unit 215 provided in the terminal devices 20A-K accepts the user UK 's operation regarding whether or not to permit the modification of the appearance of the virtual object VO1.
  • the setting unit 216 provided in the terminal devices 20A-K permits the change of the appearance of the virtual object VO2 displayed in the second virtual space viewed by the user UM based on the operation accepted by the accepting unit 215. It was set whether or not However, the terminal devices 20A-K do not have to include the reception unit 215 and the setting unit 216 as essential components. In this case, the terminal devices 20A-K only generate the virtual object VO1, and the server 10A determines whether or not the appearance of the virtual object VO2 can be changed, as in the information processing system 1 according to the first embodiment. set.
  • the terminal devices 20A-K include the reception unit 215 and the setting unit 216, while in the information processing system 1 according to the first embodiment, the terminal devices 20-K , do not have components similar to these. However, the terminal device 20 -K may have components similar to the reception unit 215 and the setting unit 216 . As a result, also in the information processing system 1 according to the first embodiment, the terminal device 20-K can set whether or not to permit the change of the appearance of the virtual object VO2.
  • the server 10 takes the initiative and autonomously sets whether or not to permit the modification of the appearance of the virtual object VO2.
  • the terminal devices 20A-K include the reception unit 215 and the setting unit 216, so that the external appearance of the virtual object VO2 can be changed based on the operation of the user UK . was set whether to allow or not.
  • the server 10 or the terminal devices 20A-K may inquire of the user UK whether to permit or deny the change. In this case, the user UK performs an operation from the terminal device 20-K to specify whether or not to allow or disallow the change, and based on the operation, the server 10 or the terminal device 20-K Set whether changes are allowed or not.
  • the terminal device 20-K and the display device 30-K are implemented separately.
  • the method of realizing the terminal device 20-K and the display device 30-K in the embodiment of the present invention is not limited to this.
  • the display device 30-K may have the same functions as the terminal device 20-K.
  • the terminal device 20-K and the display device 30-K may be implemented within a single housing.
  • the storage devices 12 and 12A, the storage devices 22 and 22A, and the storage device 32 are ROMs and RAMs. , Digital Versatile Discs, Blu-ray Discs), Smart Cards, Flash Memory Devices (e.g. Cards, Sticks, Key Drives), CD-ROMs (Compact Disc-ROMs), Registers, Removable Discs, Hard Disks, Floppy disk, magnetic strip, database, server or other suitable storage medium.
  • the program may be transmitted from a network via an electric communication line.
  • the program may be transmitted from the communication network NET via an electric communication line.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. may be represented by a combination of
  • input/output information and the like may be stored in a specific location (for example, memory), or may be managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made by a value (0 or 1) represented using 1 bit, or by a true/false value (Boolean: true or false). Alternatively, it may be performed by numerical comparison (for example, comparison with a predetermined value).
  • each function illustrated in FIGS. 1 to 11 is realized by any combination of at least one of hardware and software.
  • the method of realizing each functional block is not particularly limited. That is, each functional block may be implemented using one device physically or logically coupled, or directly or indirectly using two or more physically or logically separated devices (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices.
  • a functional block may be implemented by combining software in the one device or the plurality of devices.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.) to website, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • system and “network” are used interchangeably.
  • Information, parameters, etc. described in this disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using corresponding other information. may be represented as
  • the terminal devices 20-1 to 20-J, 20A-K, and 20A-M, and the servers 10 and 10A may be mobile stations (MS).
  • a mobile station is defined by those skilled in the art as subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be called a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term.
  • terms such as “mobile station”, “user terminal”, “user equipment (UE)", “terminal”, etc. may be used interchangeably.
  • connection refers to any direct or indirect connection between two or more elements. Any connection or coupling is meant, including the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other. Couplings or connections between elements may be physical couplings or connections, logical couplings or connections, or a combination thereof. For example, “connection” may be replaced with "access.”
  • two elements are defined using at least one of one or more wires, cables, and printed electrical connections and, as some non-limiting and non-exhaustive examples, in the radio frequency domain. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) regions, and the like.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • determining and “determining” as used in this disclosure may encompass a wide variety of actions.
  • “Judgement” and “determination” are, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, inquiring (eg, lookup in a table, database, or other data structure);
  • "judgment” and “determination” are used for receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, access (accessing) (for example, accessing data in memory) may include deeming that a "judgment” or “decision” has been made.
  • judgment and “decision” are considered to be “judgment” and “decision” by resolving, selecting, choosing, establishing, comparing, etc. can contain.
  • judgment and “decision” may include considering that some action is “judgment” and “decision”.
  • judgment (decision) may be replaced by "assuming", “expecting”, “considering”, and the like.
  • the term "A and B are different” may mean “A and B are different from each other.” The term may also mean that "A and B are different from C”. Terms such as “separate,” “coupled,” etc. may also be interpreted in the same manner as “different.”
  • notification of predetermined information is not limited to explicit notification, but is performed implicitly (for example, not notification of the predetermined information). good too.
  • setting unit 115... change unit, 116, 116A... output unit, 211, 211A... acquisition unit
  • Reference numerals 212, 212A display control unit, 213, 213A: output unit, 214: generation unit, 215: reception unit, 216: setting unit, 311: acquisition unit, 312: display control unit, P1: protrusion, P2: sphere portion , PR1 to PR3A... control programs, VO1, VO2... virtual objects

Abstract

表示制御装置は、メッセージの送信元のユーザが視認する第1仮想空間に配置され、メッセージに関する仮想オブジェクトを生成する生成部と、メッセージの送信先のユーザが視認する第2仮想空間において表示される、仮想オブジェクトの外観について変更の可否を設定する設定部と、を備える。

Description

表示制御装置
 本発明は、表示制御装置に関する。
 仮想空間において、メッセージ又はコンテンツを配信する場合、当該メッセージ又はコンテンツを示す仮想オブジェクトの表示に係る仕様を変更することがある。
 例えば、特許文献1は、遠隔教育システムにおいて、教育コンテンツを提供するコンテンツ配信サーバに係る技術を開示している。当該コンテンツ配信サーバにおいて、素材データ配信部は、仮想空間内に配置される複数の仮想オブジェクトの仕様を示す第1の仕様データと、複数の仮想オブジェクトの動きを示すモーションデータとを教育端末に配信する。また、素材データ変更部は、教育端末から受信される要求に応じて、第1の仕様データを第2の仕様データに変更する。その後、素材データ配信部は、第2の仕様データを教育端末に配信する。即ち、従来の遠隔教育システムは、仮想オブジェクトの送信先のユーザからの要求に応じて、送信先の教育端末で表示される仮想オブジェクトの外観が変更される。
特開2021-006894号公報
 ところで、仮想オブジェクトの外観の変更を、送信先のユーザに委ねるのではなく、システムが制御したい場合がある。しかし、従来の技術では、仮想オブジェクトの送信先のユーザからの要求に応じて、送信先の教育端末に表示される仮想オブジェクトの外観が変更される。このため、仮想オブジェクトの送信元であるサーバ等において、仮想オブジェクトの外観を変更するか否かを決定できなかった。
 そこで、本発明は、送信先において表示される仮想オブジェクトの外観の変更の可否を、送信元が設定できる表示制御装置を提供することを目的とする。
 本発明の好適な態様に係る表示制御装置は、メッセージの送信元のユーザが視認する第1仮想空間に配置され、前記メッセージに関する仮想オブジェクトを生成する生成部と、前記メッセージの送信先のユーザが視認する第2仮想空間において表示される、前記仮想オブジェクトの外観の変更を許可するか否か設定する設定部と、を備える、表示制御装置である。
 本発明によれば、送信先において表示される仮想オブジェクトの外観の変更の可否を、送信元が設定できる。
情報処理システム1の全体構成を示す図。 表示装置30-Kの外観を示す斜視図。 表示装置30-Kにおける表示方法についての説明図。 表示装置30-Kの構成例を示すブロック図。 端末装置20-Kの構成例を示すブロック図。 サーバ10の構成例を示すブロック図。 情報処理システム1の動作を示すシーケンス図。 端末装置20A-Kの構成例を示すブロック図。 サーバ10Aの構成例を示すブロック図。 情報処理システム1Aの動作を示すシーケンス図。 仮想オブジェクトVO2の一例を示す図。
1:第1実施形態
 以下、図1~図7を参照しつつ、本発明の第1実施形態に係る表示制御装置としてのサーバ10を含む情報処理システム1の構成について説明する。
1-1:第1実施形態の構成
1-1-1:全体構成
 図1は、情報処理システム1の全体構成を示す。図1に示されるように、情報処理システム1は、サーバ10、端末装置20-1、20-2、…20-K、…20-M、…20-J、表示装置30-K及び30-Mを備える。Jは1以上の整数である。Kは1以上J以下の整数である。Mは1以上J以下であると共に、Kとは異なる整数である。本実施形態において、端末装置20-1~20-Jは同一の構成である。但し、構成が同一でない端末装置が含まれても良い。本実施形態において、表示装置30-K及び30-Mは同一の構成である。但し、構成が同一でない表示装置が含まれても良い。
 情報処理システム1において、サーバ10と端末装置20-1~20-Jとは、通信網NETを介して互いに通信可能に接続される。また、端末装置20-Kと表示装置30-Kとは互いに通信可能に接続される。同様に、端末装置20-Kと表示装置30-Kとは互いに通信可能に接続される。なお、図1において、ユーザUは、端末装置20-Kと表示装置30-Kとの組を利用するものとする。また、ユーザUは、端末装置20-Mと表示装置30-Mとの組を利用するものとする。
 サーバ10は、通信網NETを介して、端末装置20-1、20-2、…20-K、…20-M、…20-Jに対して各種データ及びクラウドサービスを提供する。
 端末装置20-Kは、ユーザUが頭部に装着する表示装置30-Kに対して、仮想空間に配置される仮想オブジェクトを表示させる。当該仮想空間は、一例として、天球型の空間である。また、仮想オブジェクトは、例として、静止画像、動画、3DCGモデル、HTMLファイル、及びテキストファイル等のデータを示す仮想オブジェクト、及びアプリケーションを示す仮想オブジェクトである。ここで、テキストファイルとしては、例として、メモ、ソースコード、日記、及びレシピが挙げられる。また、アプリケーションとしては、例として、ブラウザ、SNSを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置20-Kは、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。端末装置20-Mについても同様に、ユーザUが頭部に装着する表示装置30-Mに対して、仮想空間に配置される仮想オブジェクトを表示させる。
 とりわけ、本実施形態において、表示装置30-Kを頭部に装着したユーザUは、端末装置20-Kを用いて、他のユーザUに対して、メッセージを送信する。具体的には後述するように、ユーザUは、仮想空間において、当該メッセージに関する仮想オブジェクトを設置し、ユーザUの宛先を指定することで、ユーザUに対してメッセージを送信する。
 なお、端末装置20-1~20-Jのうち、端末装置20-K及び20-M以外の端末装置に、表示装置30-K及び30-Mと同様の表示装置が接続されていてもよい。
1-1-2:表示装置の構成
 表示装置30-Kは、上記のように、仮想空間に配置される仮想オブジェクトを表示する装置である。表示装置30-Kは、ユーザUに対して仮想現実空間を提供するVR(Virtual Reality)技術を用いたVRグラス又はVRゴーグルであってもよい。あるいは、表示装置30-Kは、ユーザUに対して拡張現実空間を提供するAR(Augmented Reality)技術を用いたARグラス又はARゴーグルであってもよい。あるいは、表示装置30-Kは、ユーザUに対して、複合現実空間を提供するMR(Mixed Reality)技術を用いたMRグラス又はMRゴーグルであってもよい。あるいは、表示装置30-Kは、VR技術、AR技術、又はMR技術のうちいずれかが採用されたHMD(Head Mounted Display)であってもよい。とりわけ、表示装置30-KがHMDである場合、1台で、VRゴーグル、ARゴーグル、及びMRゴーグルのうち2種以上のゴーグルを兼用するHMDであってもよい。表示装置30-Mについても同様である。
 図2は、表示装置30-Kの一例として、表示装置30-KがARグラスである場合の、当該表示装置30-Kの外観を示す斜視図である。図2に示されるように表示装置30-Kの外観は、一般的な眼鏡と同様にテンプル91及び92、ブリッジ93、フレーム94及び95、並びにレンズ41L及び41Rを有する。
 ブリッジ93には撮像装置36が設けられる。撮像装置36は外界を撮像する。また、撮像装置36は、撮像した画像を示す撮像情報を出力する。
 レンズ41L及び41Rの各々は、ハーフミラーを備えている。フレーム94には、左眼用の液晶パネル又は有機ELパネルが設けられる。液晶パネル又は有機ELパネルは、以下、表示パネルと総称する。また、フレーム94には、左眼用の表示パネルから射出された光をレンズ41Lに導光する光学部材が設けられる。レンズ41Lに設けられるハーフミラーは、外界の光を透過させて左眼に導くと共に、光学部材が導光した光を反射した後、左眼に入射させる。フレーム95には、右眼用の表示パネルと、右眼用の表示パネルから射出された光をレンズ41Rに導光する光学部材が設けられる。レンズ41Rに設けられるハーフミラーは、外界の光を透過させて右眼に導くと共に、光学部材が導光した光を反射した後、右眼に入射させる。
 後述するディスプレイ39は、レンズ41L、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ41R、右眼用の表示パネル、及び右眼用の光学部材を含む。
 以上の構成において、ユーザUは表示パネルが表示する画像を、外界の様子と重ね合わせたシースルーの状態で観察できる。また、表示装置30-Kは、視差を伴う両眼画像のうち、左眼用画像を左眼用の表示パネルに表示させ、右眼用画像を右眼用の表示パネルに表示させる。このため、表示装置30-Kは、ユーザUに対し、表示された画像があたかも奥行き、及び立体感を持つかのように知覚させる。
 図3は、本実施形態において実現される、表示装置30-Kにおける表示方法についての説明図である。図3において、例としてVRグラスとしての表示装置30-Kを用いるユーザUに対して、仮想現実空間VSが提供される。一方、例としてARグラスとしての表示装置30-Mを用いるユーザUに対して、拡張現実空間ASが提供される。なお、仮想現実空間VSは、第1仮想空間の一例である。また、拡張現実空間ASは、第2仮想空間の一例である。
 ユーザUは、仮想現実空間VSにおいて、メッセージに関する仮想オブジェクトVO1を設置する。その後、ユーザUは、宛先としてユーザUを指定する。すると、仮想オブジェクトVO1に対応するメッセージが、サーバ10を経由して、ユーザUが使用する端末装置20-Mに送信される。当該メッセージが端末装置20-Mに送信されると、当該メッセージに関する仮想オブジェクトVO1が、拡張現実空間ASにおいて、仮想オブジェクトVO2として表示される。仮想オブジェクトVO2の外観は、基本的には仮想オブジェクトVO1と同一である。しかし、仮想オブジェクトVO2は、拡張現実空間ASに表示されるので、拡張現実空間ASに含まれる現実空間における環境によって、ユーザUにとっての仮想オブジェクトVO2の見え方は変化する。そこで、サーバ10は、拡張現実空間ASに含まれる現実空間における環境に応じて、ユーザUにとって最適な見え方となるように、仮想オブジェクトVO2の外観を変更する。
 図4は、表示装置30-Kの一例として、表示装置30-KがARグラスである場合の、当該表示装置30-Kの構成例を示すブロック図である。表示装置30-Kは、処理装置31、記憶装置32、視線検出装置33、GPS装置34、動き検出装置35、撮像装置36、環境センサ37、通信装置38、及びディスプレイ39を備える。表示装置30-Kが有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。
 処理装置31は、表示装置30-Kの全体を制御するプロセッサである。処理装置31は、例えば、単数又は複数のチップを用いて構成される。また、処理装置31は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU:Central Processing Unit)を用いて構成される。なお、処理装置31が有する機能の一部又は全部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及びFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現してもよい。処理装置31は、各種の処理を並列的又は逐次的に実行する。
 記憶装置32は、処理装置31による読取及び書込が可能な記録媒体である。また、記憶装置32は、処理装置31が実行する制御プログラムPR3を含む複数のプログラムを記憶する。
 視線検出装置33は、ユーザUの視線を検出した後、検出結果を示す視線情報を生成する。視線検出装置33が視線を検出する方法としては、どのような方法を用いてもよい。視線検出装置33は、例えば、目頭の位置と虹彩の位置に基づいて視線情報を検出してもよい。視線情報はユーザUの視線の方向を示す。視線検出装置33は、視線情報を後述の処理装置31に供給する。処理装置31に供給された視線情報は、通信装置38を介して、端末装置20-Kに送信される。
 GPS装置34は、複数の衛星からの電波を受信する。また、GPS装置34は、受信した電波から位置情報を生成する。位置情報は、表示装置30-Kの位置を示す。位置情報は、位置を特定できるのであれば、どのような形式であってもよい。位置情報は、例えば、表示装置30-Kの緯度と経度とを示す。一例として、位置情報はGPS装置34から得られる。しかし、表示装置30-Kは、どのような方法を用いて位置情報を取得してもよい。取得された位置情報は、処理装置31に供給される。処理装置31に供給された位置情報は、通信装置38を介して、端末装置20-Kに送信される。
 動き検出装置35は、表示装置30-Kの動きを検出する。動き検出装置35としては、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサが該当する。加速度センサは、直交するX軸、Y軸、及びZ軸の加速度を検出する。ジャイロセンサは、X軸、Y軸、及びZ軸を回転の中心軸とする角加速度を検出する。動き検出装置35は、ジャイロセンサの出力情報に基づいて、表示装置30-Kの姿勢を示す姿勢情報を生成できる。動き情報は、3軸の加速度を各々示す加速度データ及び3軸の角加速度を各々示す角加速度データを含む。また、動き検出装置35は、表示装置30-Kの姿勢を示す姿勢情報、及び表示装置30-Kの動きに係る動き情報を処理装置31に供給する。処理装置31に供給された姿勢情報及び動き情報は、通信装置38を介して、端末装置20-Kに送信される。
 撮像装置36は、外界を撮像して得られた撮像情報を出力する。また、撮像装置36は、例えば、レンズ、撮像素子、増幅器、及びAD変換器を備える。レンズを介して集光された光は、撮像素子がアナログ信号である撮像信号に変換する。増幅器は撮像信号を増幅した上でAD変換器に出力する。AD変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置31に供給される。処理装置31に供給された撮像情報は、通信装置38を介して、端末装置20-Kに送信される。
 環境センサ37は、表示装置30-K周辺の環境をセンシングする。環境センサ37は、照度をセンシングする照度センサを含む。環境センサ37は、必要に応じて更に、温度、湿度、及び気圧等をセンシングしてもよい。環境センサ37は、センシングの結果を基に環境情報を生成する。また、環境センサ37は、生成した環境情報を処理装置31に供給する。処理装置31に供給された環境情報は、通信装置38を介して、端末装置20-Kに送信される。
 通信装置38は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置38は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置38は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置38は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、及びUSBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ39は、画像を表示するデバイスである。ディスプレイ39は、処理装置21の制御のもとで各種の画像を表示する。ディスプレイ39は、上記のように、レンズ41L、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ41R、右眼用の表示パネル、及び右眼用の光学部材を含む。表示パネルとしては、例えば、液晶表示パネル及び有機EL表示パネル等の各種の表示パネルが好適に利用される。
 処理装置31は、例えば、記憶装置32から制御プログラムPR3を読み出して実行する。その結果、処理装置31は、取得部311、及び表示制御部312として機能する。
 取得部311は、端末装置20-Kから表示装置30-Kに表示される画像を示す画像情報を取得する。
 また、取得部311は、視線検出装置33から入力される視線情報、GPS装置34から入力される位置情報、動き検出装置35から入力される姿勢情報及び動き情報、撮像装置36から入力される撮像情報、及び環境センサ37から入力される環境情報を取得する。その上で、取得部311は、取得した視線情報、位置情報、姿勢情報、動き情報、撮像情報、及び環境情報を、通信装置38に出力する。
 表示制御部312は、取得部311が端末装置20-Kから取得した画像情報に基づいて、ディスプレイ39に対して、当該画像情報が示す画像を表示させる。
1-1-3:端末装置の構成
 図5は、端末装置20-Kの構成例を示すブロック図である。端末装置20-Kは、処理装置21、記憶装置22、通信装置23、ディスプレイ24、入力装置25、及び慣性センサ26を備える。端末装置20-Kが有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。
 処理装置21は、端末装置20-Kの全体を制御するプロセッサである。また、処理装置21は、例えば、単数又は複数のチップを用いて構成される。処理装置21は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU)を用いて構成される。なお、処理装置21が有する機能の一部又は全部を、DSP、ASIC、PLD、及びFPGA等のハードウェアを用いて実現してもよい。処理装置21は、各種の処理を並列的又は逐次的に実行する。
 記憶装置22は、処理装置21による読取及び書込が可能な記録媒体である。また、記憶装置22は、処理装置21が実行する制御プログラムPR2を含む複数のプログラムを記憶する。また、記憶装置22は、表示装置30-Kに表示される画像を示す画像情報を更に記憶してもよい。
 通信装置23は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置23は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置23は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置23は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、及びUSBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ24は、画像及び文字情報を表示するデバイスである。ディスプレイ24は、処理装置21の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機EL(Electro Luminescence)表示パネル等の各種の表示パネルがディスプレイ24として好適に利用される。なお、端末装置20-Kに、表示装置30-Kが接続される場合、ディスプレイ24は必須の構成要素としなくてもよい。具体的には、表示装置30-Kをディスプレイ24として用いることで、端末装置20-Kにディスプレイ24が備わらない構成としてもよい。
 入力装置25は、表示装置30-Kを頭部に装着したユーザUからの操作を受け付ける。例えば、入力装置25は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置25は、タッチパネルを含んで構成される場合、ディスプレイ24を兼ねてもよい。
 慣性センサ26は、慣性力を検出するセンサである。慣性センサ26は、例えば、加速度センサ、角速度センサ、及びジャイロセンサのうち、1以上のセンサを含む。処理装置21は、慣性センサ26の出力情報に基づいて、端末装置20-Kの姿勢を検出する。更に、処理装置21は、端末装置20-Kの姿勢に基づいて、仮想現実空間VS又は拡張現実空間ASにおいて、仮想オブジェクトVO1の選択、文字の入力、及び指示の入力を受け付ける。例えば、ユーザUが端末装置20-Kの中心軸を仮想現実空間VS又は拡張現実空間ASの所定領域に向けた状態で、入力装置25を操作すると、所定領域に配置される仮想オブジェクトVO1が選択される。入力装置25に対するユーザUの操作は、例えば、ダブルタップである。このようにユーザUは端末装置20-Kを操作することで、端末装置20-Kの入力装置25を見なくても仮想オブジェクトVO1を選択できる。
 処理装置21は、記憶装置22から制御プログラムPR2を読み出して実行する。その結果、処理装置21は、取得部211、表示制御部212、及び出力部213として機能する。
 取得部211は、ユーザUが作成したメッセージ、及び当該メッセージの宛先を示す宛先情報を取得する。当該メッセージ及び当該メッセージの宛先を示す宛先情報は、例えば、ユーザUが入力装置25を用いて、端末装置20-Kに対して入力したメッセージ及び宛先情報であってもよい。あるいは、当該メッセージ及び当該メッセージの宛先情報は、処理装置21が、通信装置23を介して外部装置から取得したメッセージ及び宛先情報であってもよい。
 また、取得部211は、ユーザUの操作を示す操作情報を取得する。ユーザUの操作は、入力装置25を用いた操作であってもよく、第1仮想空間における仮想オブジェクトVO1に対する操作であって良い。また、取得部211は、表示装置30-Kから、視線情報、位置情報、姿勢情報、動き情報、撮像情報、及び環境情報を取得する。
 なお、端末装置20-Kではなく端末装置20-Mにおいては、取得部211は、サーバ10から、ユーザUが作成したメッセージを取得する。また、端末装置20-Kではなく端末装置20-Mにおいては、取得部211は、ユーザUの操作を示す操作情報を取得する。ユーザUの操作は、入力装置25を用いた操作であってもよく、第2仮想空間における仮想オブジェクトVO2に対する操作であって良い。
 また、取得部211は、通信装置23を介して、サーバ10から、表示装置30-Kに仮想オブジェクトを表示するための画像情報を取得する。とりわけ、取得部211は、当該取得部211が取得したメッセージに関する仮想オブジェクトVO1を表示するための画像情報を取得する。
 なお、端末装置20-Kではなく端末装置20-Mに備わる取得部211は、通信装置23を介して、サーバ10から、表示装置30-Mに仮想オブジェクトを表示するための画像情報を取得する。とりわけ、端末装置20-Mに備わる取得部211は、当該取得部211が取得したメッセージに関する仮想オブジェクトVO2を表示するための画像情報を取得する。
 表示制御部212は、取得部211が取得した画像情報を用いて、表示装置30-Kに仮想オブジェクトを表示させる。とりわけ表示制御部212は、当該画像情報を用いて、メッセージに関する仮想オブジェクトVO1を、表示装置30-Kに表示させる。
 なお、端末装置20-Kではなく端末装置20-Mにおいては、表示制御部212は、取得部211が取得した画像情報を用いて、仮想オブジェクトを表示装置30-Mに表示させる。とりわけ当該表示制御部212は、当該画像情報を用いて、メッセージに関する仮想オブジェクトVO2を表示装置30-Mに表示させる。また、当該表示制御部212は、仮想オブジェクトVO2に対応するメッセージを、表示装置30-Mに表示させる。
 出力部213は、取得部211が取得したメッセージ及び宛先情報を、サーバ10に対して、通信装置23を介して送信する。
 なお、端末装置20-Kではなく端末装置20-Mに備わる出力部213は、取得部211が取得した環境情報をサーバ10に対して出力する。
1-1-4:サーバの構成
 図6は、サーバ10の構成例を示すブロック図である。サーバ10は、処理装置11、記憶装置12、通信装置13、ディスプレイ14、及び入力装置15を備える。サーバ10が有する各要素は、情報を通信するための単体又は複数のバスを用いて相互に接続される。
 処理装置11は、サーバ10の全体を制御するプロセッサである。また、処理装置11は、例えば、単数又は複数のチップを用いて構成される。処理装置11は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU)を用いて構成される。なお、処理装置11の機能の一部又は全部を、DSP、ASIC、PLD、及びFPGA等のハードウェアを用いて実現してもよい。処理装置11は、各種の処理を並列的又は逐次的に実行する。
 記憶装置12は、処理装置11による読取及び書込が可能な記録媒体である。また、記憶装置12は、処理装置11が実行する制御プログラムPR1を含む複数のプログラムを記憶する。また、記憶装置12は、表示装置30-K及び表示装置30-Mに表示される画像を示す画像情報を記憶する。とりわけ、記憶装置12は、表示装置30-K及び表示装置30-Mに表示される仮想オブジェクトを示す画像情報を記憶する。
 更に、記憶装置12は、登録情報データベースRDを記憶する。登録情報データベースRDには、サーバ10に接続している端末装置20-K及び20-Jの各々を使用するユーザU及びユーザUと、ユーザU及びユーザUの頭部に装着される表示装置30-K及び30-Jの種別とが一対一に対応付けられて格納される。具体的には、表示装置30-K及び30-Jの各々が、VRグラス、VR技術が適用されたHMD、ARグラス、AR技術が適用されたHMD、MRグラス、及びMR技術が適用されたHMDのいずれであるかが、ユーザU及びユーザUと一対一に対応付けられて格納される。更に、記憶装置12には、ユーザU及びユーザUと、当該ユーザU及びユーザUが視認している仮想空間の種別とが、一対一に対応付けられて格納される。具体的には、ユーザU及びユーザUが視認している仮想空間の種別が、仮想現実空間、拡張現実空間、及び複合現実空間のいずれであるかが、ユーザU及びユーザUと一対一に対応付けられて格納される。
 通信装置13は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置13は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置13は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置13は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、及びUSBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ14は、画像及び文字情報を表示するデバイスである。ディスプレイ14は、処理装置11の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機EL表示パネル等の各種の表示パネルがディスプレイ14として好適に利用される。
 入力装置15は、情報処理システム1の管理者からの操作を受け付ける機器である。例えば、入力装置15は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置15は、タッチパネルを含んで構成される場合、ディスプレイ14を兼ねてもよい。
 処理装置11は、例えば、記憶装置12から制御プログラムPR1を読み出して実行する。その結果、処理装置11は、取得部111、登録部112、生成部113、設定部114、変更部115、及び出力部116として機能する。
 取得部111は、通信装置13を介して、端末装置20-Kから、ユーザUと、ユーザUの頭部に装着される表示装置30-Kの種別とが一対一に対応付けられた情報を取得する。また、取得部111は、通信装置13を介して、端末装置20-Kから、ユーザUと、ユーザUが視認している仮想空間の種別とが一対一に対応付けられた情報を取得する。同様に、取得部111は、通信装置13を介して、端末装置20-Mから、ユーザUと、ユーザUの頭部に装着される表示装置30-Mの種別とが一対一に対応付けられた情報を取得する。また、取得部111は、通信装置13を介して、端末装置20-Mから、ユーザUと、ユーザUが視認している仮想空間の種別とが一対一に対応付けられた情報を取得する。
 また取得部111は、通信装置13を介して、端末装置20-Kからメッセージ、及び当該メッセージの宛先を示す宛先情報を取得する。
 また取得部111は、通信装置13を介して、端末装置20-Kから各種のデータを取得する。当該データには、一例として、表示装置30-Kを頭部に装着したユーザUが端末装置20-Kに入力した、仮想オブジェクトVO1に対する操作内容を示すデータが含まれる。また、当該データには、端末装置20-Kが表示装置30-Kから取得した、視線情報、位置情報、姿勢情報、動き情報、撮像情報のうち少なくとも1つが含まれてもよい。
 また取得部111は、通信装置13を介して、端末装置20-Mから各種のデータを取得する。当該データには、一例として、表示装置30-Mを頭部に装着したユーザUが端末装置20-Mに入力した、仮想オブジェクトVO2に対する操作内容を示すデータが含まれる。また、当該データには、端末装置20-Mが表示装置30-Mから取得した環境情報が含まれる。更に、当該データには、端末装置20-Mが表示装置30-Mから取得した、視線情報、位置情報、姿勢情報、動き情報、撮像情報のうち少なくとも1つが含まれてもよい。
 登録部112は、取得部111が取得した、ユーザU及びユーザUと、ユーザU及びユーザUの頭部に装着される表示装置30-K及び30-Mの種別とが一対一に対応付けられた情報を、登録情報データベースRDに格納する。また登録部112は、取得部111が取得した、ユーザU及びユーザUと、当該ユーザU及びユーザUが視認している仮想空間の種別とが一対一に対応付けられた情報を、登録情報データベースRDに格納する。
 上記の取得部111は、宛先情報を取得した後、登録情報データベースRDを参照して、宛先情報に対応するユーザUが視認している第2仮想空間が、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかを区別できる情報を取得する。ここで、第2仮想空間が、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかを区別できる情報は、仮想空間情報の一例である。なお、当該仮想空間情報は、第2仮想空間が、拡張現実空間、拡張現実空間、又は複合現実空間のいずれであるかを示す情報であってもよい。
 生成部113は、記憶装置12に記憶される画像情報を用いて、第1仮想空間に配置され、取得部111が取得したユーザUからのメッセージに関する仮想オブジェクトVO1を生成する。また、生成部113は、記憶装置12に記憶される画像情報を用いて、第2仮想空間に配置され、上記のメッセージに関する仮想オブジェクトVO2を生成する。なお、生成部113が生成した時点では、仮想オブジェクトVO1と仮想オブジェクトVO2とは同一の外観である。
 設定部114は、取得部111が取得した仮想空間情報に基づいて、ユーザUが視認する第2仮想空間における仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。より詳細には、第2仮想空間が仮想現実空間である場合には、設定部114は、仮想オブジェクトVO2の外観の変更を許可しない。一方で、第2仮想空間が拡張現実空間又は複合現実空間である場合には、設定部114は、仮想オブジェクトVO2の外観の変更を許可する。
 この結果、サーバ10は、メッセージの受信側における当該メッセージを示す仮想オブジェクトVO2の外観の変更の可否を、当該サーバ10において設定できる。更には、当該仮想オブジェクトVO2の見え方を、当該ユーザにとって最適な見え方とするために、ユーザUが煩雑な操作をする必要はない。また、メッセージを送信するユーザU側で、メッセージを受信するユーザUの状況に合わせて、第2仮想空間において仮想オブジェクトVO2として表示される、仮想オブジェクトVO1の外観の変更の可否を手動で設定する必要はない。
 とりわけ、サーバ10は、メッセージを受信するユーザUが視認しているのが、仮想現実空間、拡張現実空間、及び複合現実空間のいずれの空間であるかに応じて、仮想オブジェクトVO2の外観の変更を許可するか否かを、当該サーバ10において設定できる。
 変更部115は、設定部114が仮想オブジェクトVO2の外観の変更を許可すると設定した場合に、取得部111が取得した環境情報に基づいて、第2仮想空間に表示される仮想オブジェクトVO2の外観を変更する。例えば、取得部111が取得した環境情報が、照度センサが測定した照度を示す照度情報である場合に、変更部115は、当該照度情報に合わせて、仮想オブジェクトVO2の色彩の明度、彩度、及び色相のうち少なくとも1つを変更する。
 この結果、サーバ10が、仮想オブジェクトVO2の見え方を、ユーザUにとって最適な見え方にできる。とりわけ、サーバ10は、ユーザUが視認する第2仮想空間が拡張現実空間又は複合現実空間である場合に、当該拡張現実空間又は当該複合現実空間に含まれる現実空間における環境に合わせて、仮想オブジェクトVO2の見え方を、ユーザUにとって最適な見え方にできる。
 出力部116は、通信装置13を介して、端末装置20-Kに対して、表示装置30-Kに表示される画像を示す画像情報を送信する。とりわけ出力部116は、端末装置20-Kに対して、仮想オブジェクトVO1を示す画像情報を送信する。また、出力部116は、通信装置13を介して、端末装置20-Mに対して、表示装置30-Mに表示される画像を示す画像情報を送信する。とりわけ出力部116は、端末装置20-Mに対して、仮想オブジェクトVO2を示す画像情報を送信する。
 より詳細には、設定部114が仮想オブジェクトVO2の外観の変更を許可しないと設定した場合、及び変更を許可すると設定したものの、変更部115が仮想オブジェクトVO2の外観を変更しなかった場合には、出力部116は、生成部113が生成したままの仮想オブジェクトVO2を示す画像情報を、端末装置20-Mに対して送信する。一方で、設定部114が仮想オブジェクトVO2の外観の変更を許可することを設定したと共に、変更部115が仮想オブジェクトVO2の外観を変更した場合には、出力部116は、外観が変更された仮想オブジェクトVO2を示す画像情報を、端末装置20-Mに対して送信する。
 更に、取得部111が、端末装置20-Mから、仮想オブジェクトVO2に対するユーザUの操作として、当該仮想オブジェクトVO2に関するメッセージの表示を指示する操作を示す操作情報を取得した場合に、出力部116は、端末装置20-Mに対し、当該メッセージを送信する。当該メッセージは、取得部111が取得した、ユーザUがユーザUに宛てて作成したメッセージである。
1-2:第1実施形態の動作
 図7は、第1実施形態に係る情報処理システム1の動作を示すシーケンス図である。以下、図7を参照しつつ、情報処理システム1の動作について説明する。
 ステップS1において、端末装置20-Kに備わる処理装置21は、取得部211として機能する。処理装置21は、ユーザUが作成したメッセージを取得する。
 ステップS2において、端末装置20-Kに備わる処理装置21は、出力部213として機能する。処理装置21は、サーバ10に対し、ユーザUが作成したメッセージを送信する。また、サーバ10に備わる処理装置11は、取得部111として機能する。処理装置11は、端末装置20-Kから、ユーザUが作成したメッセージを取得する。
 ステップS3において、サーバ10に備わる処理装置11は、生成部113として機能する。処理装置11は、ユーザUが作成したメッセージに関する仮想オブジェクトVO1及びVO2を生成する。
 ステップS4において、サーバ10に備わる処理装置11は、出力部116として機能する。処理装置11は、仮想オブジェクトVO1を示す画像情報を、端末装置20-Kに出力する。また、端末装置20-Kに備わる処理装置21は、取得部211として機能する。処理装置21は、サーバ10から、仮想オブジェクトVO1を示す画像情報を取得する。
 ステップS5において、端末装置20-Kに備わる処理装置21は、表示制御部212として機能する。処理装置21は、ステップS4において取得した画像情報を用いて、表示装置30-Kに、仮想オブジェクトVO1を表示させる。
 ステップS6において、端末装置20-Kに備わる処理装置21は、取得部211として機能する。処理装置21は、ユーザUが例えば入力装置25を用いて入力した、メッセージの宛先を示す宛先情報を取得する。また、処理装置21は、出力部213として機能する。処理装置21は、取得した宛先情報を、サーバ10に送信する。更に、サーバ10に備わる処理装置11は、取得部111として機能する。処理装置11は、端末装置20-Kから、ステップS2において取得されたメッセージの宛先を示す宛先情報を取得する。ここでは、メッセージの宛先がユーザUであるものとする。
 ステップS7において、サーバ10に備わる処理装置11は、取得部111として機能する。処理装置11は、ステップS6において取得した宛先情報を用いて、登録情報データベースRDを参照する。その結果、処理装置11は、ユーザUが視認している第2仮想空間が、仮想現実空間、拡張現実空間、及び複合現実空間のいずれであるかを示す仮想空間情報を取得する。
 ステップS8において、サーバ10に備わる処理装置11は、設定部114として機能する。処理装置11は、ステップS7において取得された仮想空間情報に基づいて、第2仮想空間において表示される、仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。第2仮想空間が仮想現実空間である場合には、処理装置11は、仮想オブジェクトVO2の外観の変更を許可しないことを設定する。その後、処理装置11は、ステップS11の動作を実行する。一方で、第2仮想空間が拡張現実空間又は複合現実空間である場合には、処理装置11は、仮想オブジェクトVO2の外観の変更を許可することを設定する。その後、処理装置11は、ステップS9の動作を実行する。
 ステップS9において、端末装置20-Mに備わる処理装置21は、出力部213として機能する。処理装置21は、環境情報をサーバ10に送信する。また、サーバ10に備わる処理装置11は、取得部111として機能する。処理装置11は、端末装置20-Mから、環境情報を取得する。
 なお、ステップS9において、サーバ10に備わる処理装置11は、端末装置20-Mに対して、環境情報を要求する要求信号を出力し、端末装置20-Mに備わる処理装置21は、当該要求信号に応じて、環境情報をサーバ10に送信してもよい。あるいは、端末装置20-Mに備わる処理装置21は、常時、又は間欠的に、サーバ10に対して環境情報を送信し、サーバ10に備わる処理装置11は、当該環境情報を取得してもよい。
 ステップS10において、サーバ10に備わる処理装置11は、変更部115として機能する。処理装置11は、ステップS9において取得された環境情報に基づいて、第2仮想空間に表示される仮想オブジェクトVO2の外観を変更する。
 ステップS11において、サーバ10に備わる処理装置11は、出力部116として機能する。処理装置11は、仮想オブジェクトVO2を示す画像情報を、端末装置20-Mに送信する。また、端末装置20-Mに備わる処理装置21は、取得部211として機能する。処理装置21は、仮想オブジェクトVO2を示す画像情報を、サーバ10から取得する。
 ステップS12において、端末装置20-Mに備わる処理装置21は、表示制御部212として機能する。処理装置21は、ステップS4において取得した画像情報を用いて、表示装置30-Mに、仮想オブジェクトVO2を表示させる。
 ステップS13において、サーバ10に備わる処理装置11は、出力部116として機能する。処理装置11は、仮想オブジェクトVO2に対応するメッセージを、端末装置20-Mに送信する。例えば、処理装置11は、端末装置20-Mから、仮想オブジェクトVO2に対するユーザUの操作として、当該仮想オブジェクトVO2に関するメッセージの表示を指示する操作を示す操作情報を取得した場合に、端末装置20-Mに対し、当該メッセージを送信する。端末装置20-Mに備わる処理装置21は、取得部211として機能する。処理装置21は、サーバ10から、当該メッセージを取得する。また、端末装置20-Mに備わる処理装置21は、表示制御部212として機能する。処理装置21は、当該メッセージを、表示装置30-Mに表示させる。
 その後、端末装置20-Kに備わる処理装置21、サーバ10に備わる処理装置11、及び端末装置20-Mに備わる処理装置21は、図7に記載の全ての処理を終了する。
1-3:第1実施形態が奏する効果
 以上の説明によれば、表示制御装置としてのサーバ10は、生成部113と、設定部114とを備える。生成部113は、メッセージの送信元のユーザUが視認する第1仮想空間に配置され、当該メッセージに関する仮想オブジェクトVO1を生成する。設定部114は、メッセージの送信先のユーザUが視認する第2仮想空間において表示される、仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。
 サーバ10は、上記の構成を備えるので、メッセージの受信側における当該メッセージを示す仮想オブジェクトVO2の外観の変更を許可するか否かを、サーバ10が設定できる。より詳細には、メッセージを受信するユーザUの状況によって、仮想オブジェクトVO2の見え方は異なる。仮想オブジェクトVO2の外観の変更を許可するか否かを、サーバ10が設定可能とすることで、当該仮想オブジェクトVO2の見え方を、当該ユーザにとって最適な見え方とするために、ユーザUが煩雑な操作をする必要はない。また、メッセージを送信するユーザUが、メッセージを受信するユーザUの状況に合わせて、第2仮想空間において仮想オブジェクトVO2として表示される、仮想オブジェクトVO1の外観の変更を許可するか否かを手動で設定する必要はない。
 また以上の説明によれば、サーバ10は、取得部111を更に備える。取得部111は、第2仮想空間が、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかを区別できる仮想空間情報を取得する。設定部114は、上記の仮想空間情報に基づいて、変更の可否を設定する。
 サーバ10は、上記の構成を備えるので、メッセージを受信するユーザUが視認しているのが、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかに応じて、仮想オブジェクトVO2の外観の変更を許可するか否かを、サーバ10で設定できる。また、メッセージを送信するユーザUが、メッセージを受信するユーザUが視認しているのが、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかを把握した上で、仮想オブジェクトVO2として表示される仮想オブジェクトVO1の外観の変更を許可するか否かを手動で設定する必要はない。
 また以上の説明によれば、取得部111は、メッセージの送信先の現実空間における環境を示す環境情報を取得する。また、サーバ10は、変更部115を更に備える。変更部115は、第2仮想空間が拡張現実空間又は複合現実空間であると共に、設定部114が、仮想オブジェクトVO2の外観の変更を許可することを設定した場合に、環境情報に基づいて、第2仮想空間における仮想オブジェクトVO2の外観を変更する。
 サーバ10は、上記の構成を備えるので、サーバ10が、仮想オブジェクトVO2の見え方を、ユーザUにとって最適な見え方にできる。とりわけ、サーバ10は、ユーザUが視認する第2仮想空間が拡張現実空間又は複合現実空間である場合に、当該拡張現実空間又は当該複合現実空間に含まれる現実空間における環境に合わせて、仮想オブジェクトVO2の見え方を、ユーザUにとって最適な見え方にできる。
2:第2実施形態
 以下、図8~図10を参照しつつ、本発明の第2実施形態に係る表示制御装置としての端末装置20A-Kを含む情報処理システム1Aの構成について説明する。なお、以下の説明では、説明の簡略化を目的に、第2実施形態に係る情報処理システム1Aが備える構成要素のうち、第1実施形態に係る情報処理システム1と同一の構成要素については、同一の符号を用いると共に、その説明を省略することがある。
2-1:第2実施形態の構成
2-1-1:全体構成
 本発明の第2実施形態に係る情報処理システム1Aは、第1実施形態に係る情報処理システム1に比較して、サーバ10の代わりにサーバ10Aを、端末装置20-Kの代わりに端末装置20A-Kを、端末装置20-Mの代わりに端末装置20A-Mを備える点で異なる。それ以外の点では、情報処理システム1Aの全体構成は、図1に示される第1実施形態に係る情報処理システム1の全体構成と同一であるので、その図示と説明を省略する。
 第1実施形態に係る情報処理システム1では、サーバ10が、仮想オブジェクトVO1及びVO2を生成し、仮想オブジェクトVO2の外観の変更を許可するか否かを設定していた。一方、第2実施形態に係る情報処理システム1Aにおいては、端末装置20A-Kが、仮想オブジェクトVO1を生成する。また、端末装置20A-Kが、仮想オブジェクトVO1の外観の変更を許可するか否かを設定する。更に、端末装置20A-Mが、仮想オブジェクトVO2を生成する。より詳細には、仮想オブジェクトVO1が、仮想オブジェクトVO2として第2仮想空間に表示される場合に、端末装置20-Kは、第2仮想空間において仮想オブジェクトVO2として表示された場合の、仮想オブジェクトVO1の外観の変更を許可するか否かを設定する。なお、第2実施形態において、端末装置20-Kは、表示制御装置の一例である。
2-1-2:端末装置の構成
 図8は、端末装置20A-Kの構成例を示すブロック図である。端末装置20A-Kは端末装置20-Kと異なり、処理装置21の代わりに処理装置21Aを、記憶装置22の代わりに記憶装置22Aを備える。
 記憶装置22Aは、記憶装置22と異なり、制御プログラムPR2の代わりに制御プログラムPR2Aを記憶する。また、記憶装置22Aは、更に、表示装置30-Kに表示される画像を示す画像情報を記憶する。とりわけ、記憶装置22Aは、表示装置30-Kに表示される仮想オブジェクトVO1を示す画像情報を記憶する。端末装置20A-Kではなく端末装置20A-Mにおいては、記憶装置22Aは、表示装置30-Mに表示される仮想オブジェクトVO2を示す画像情報を記憶する。
 処理装置21Aは、処理装置21に備わる取得部211の代わりに取得部211Aを、表示制御部212の代わりに表示制御部212Aを、出力部213の代わりに出力部213Aを備える。また、処理装置21Aは、処理装置21に備わる構成要素に加えて、更に、生成部214、受付部215、及び設定部216を備える。
 取得部211Aは、第1実施形態に係る取得部211と同様の機能を有する。更に、端末装置20A-Kではなく端末装置20A-Mにおいては、取得部211Aは、サーバ10Aから、仮想オブジェクトVO2の変更に関する変更情報を取得する。
 生成部214は、記憶装置22Aに記憶される画像情報を用いて、第1仮想空間に配置され、取得部211Aが取得したユーザUが作成したメッセージに関する仮想オブジェクトVO1を生成する。端末装置20A-Kではなく端末装置20A-Mにおいては、生成部214は、記憶装置22Aに記憶される画像情報と、取得部211Aが取得した変更情報とを用いて、第2仮想空間に配置され、取得部211Aが取得したユーザUからのメッセージに関する仮想オブジェクトVO2を生成する。
 表示制御部212Aは、生成部214が生成した仮想オブジェクトを表示装置30-Kに表示させる。とりわけ、端末装置20A-Kにおいては、生成部214が生成した仮想オブジェクトVO1を、表示装置30-Kに表示させる。一方で、端末装置20A-Mにおいては、生成部214が生成した仮想オブジェクトVO2を、表示装置30-Mに表示させる。
 受付部215は、仮想オブジェクトVO1の外観の変更を許可するか否かに関するユーザUの操作を受け付ける。具体的には、ユーザUは、仮想オブジェクトVO1が、仮想オブジェクトVO2として第2仮想空間に表示される場合に、仮想オブジェクトVO2の外観を仮想オブジェクトVO1の外観から変更したくない場合には、変更を許可しないことを指定する操作を実行する。一方で、ユーザUは、仮想オブジェクトVO1が、仮想オブジェクトVO2として第2仮想空間に表示される場合に、仮想オブジェクトVO2の外観を仮想オブジェクトVO1の外観から変更してもよい場合には、変更を許可することを指定する操作を実行する。当該操作は、ユーザUが入力装置25を用いる操作であってもよく、ユーザUからの仮想オブジェクトVO1に対する操作であってもよい。
 また受付部215は、仮想オブジェクトVO1に対するユーザUの操作を受け付ける。端末装置20A-Kではなく、端末装置20A-Mにおいては、受付部215は、仮想オブジェクトVO2に対するユーザUの操作を受け付ける。
 設定部216は、受付部215が受け付けた操作に基づいて、ユーザUが視認する第2仮想空間において表示される、仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。具体的には、設定部216は、上記の操作に基づいて、仮想オブジェクトVO2の外観の変更を許可するか否かを示す可否情報を生成する。
 この結果、端末装置20A-Kは、メッセージの受信側における当該メッセージを示す仮想オブジェクトVO2の外観の変更を許可するか否かを、メッセージの送信側である当該端末装置20-Kで設定できる。
 出力部213Aは、第1実施形態に係る出力部213と同様の機能を有する。更に、出力部213は、設定部216が生成した可否情報を、サーバ10Aに出力する。
2-1-3:サーバの構成
 図9は、サーバ10Aの構成例を示すブロック図である。サーバ10Aはサーバ10と異なり、処理装置11の代わりに処理装置11Aを、記憶装置12の代わりに記憶装置12Aを備える。
 記憶装置12Aは、記憶装置12と異なり、制御プログラムPR1の代わりに制御プログラムPR1Aを記憶する。
 処理装置11Aは、処理装置11に備わる取得部111の代わりに取得部111Aを、生成部113の代わりに生成部113Aを、設定部114の代わりに設定部114Aを、出力部116の代わりに出力部116Aを備える。また、処理装置11Aは、処理装置11に備わる構成要素のうち、変更部115を必須の構成要素とはしない。
 取得部111Aは、第1実施形態に係る取得部111と同様の機能を有する。更に、取得部111Aは、端末装置20-Kから、上記の可否情報を取得する。
 設定部114Aは、取得部111が取得した可否情報と仮想空間情報とに基づいて、ユーザUが視認する第2仮想空間における仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。より詳細には、上記の可否情報が、ユーザUが、仮想オブジェクトVO2の外観の変更の不許可を指定することを示す場合には、設定部114Aは、仮想オブジェクトVO2の外観の変更を不許可とする。また、上記の可否情報が、ユーザUが、仮想オブジェクトVO2の外観の変更の許可を指定することを示すものの、第2仮想空間が仮想現実空間である場合には、設定部114Aは、仮想オブジェクトVO2の外観の変更を不許可とする。一方で、上記の可否情報が、ユーザUが、仮想オブジェクトVO2の外観の変更の許可を指定することを示すと共に、第2仮想空間が拡張現実空間又は複合現実空間である場合には、設定部114Aは、仮想オブジェクトVO2の外観の変更を許可する。
 生成部113Aは、設定部114Aが仮想オブジェクトVO2の外観の変更を許可した場合に、取得部111Aが取得した環境情報に基づいて、第2仮想空間に表示される仮想オブジェクトVO2の外観の変更に係る変更情報を生成する。例えば、取得部111Aが取得した環境情報が、照度センサが測定した照度情報である場合に、生成部113Aは、当該照度情報に合わせて、仮想オブジェクトVO2の色彩の明度、彩度、及び色相のうち少なくとも1つの変更の度合いを示す変更情報を生成する。
 出力部116Aは、生成部113Aが生成した変更情報を、端末装置20A-Mに出力する。
2-2:第2実施形態の動作
 図10は、第2実施形態に係る情報処理システム1Aの動作を示すシーケンス図である。以下、図10を参照しつつ、情報処理システム1Aの動作について説明する。
 ステップS21において、端末装置20A-Kに備わる処理装置21Aは、取得部211Aとして機能する。処理装置21Aは、ユーザUが作成したメッセージと、当該メッセージの宛先を示す宛先情報とを取得する。ここでは、メッセージの宛先がユーザUであるものとする。
 ステップS22において、端末装置20A-Kに備わる処理装置21Aは、生成部214として機能する。処理装置21Aは、ステップS21において取得されたメッセージに関する仮想オブジェクトVO1を生成する。
 ステップS23において、端末装置20A-Kに備わる処理装置21Aは、表示制御部212として機能する。処理装置21Aは、ステップS22において生成された仮想オブジェクトVO1を、表示装置30-Kに表示させる。
 ステップS24において、端末装置20A-Kに備わる処理装置21Aは、設定部216として機能する。処理装置21Aは、ユーザUの操作に基づいて、ユーザUが視認する第2仮想空間において表示される、仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。具体的には、処理装置21Aは、当該変更を許可するか否かを示す可否情報を生成する。
 ステップS25において、端末装置20A-Kに備わる処理装置21Aは、出力部213Aとして機能する。処理装置21Aは、ステップS21において取得されたメッセージ及び宛先情報を、サーバ10Aに出力する。また、サーバ10Aに備わる処理装置11Aは、取得部111Aとして機能する。処理装置11Aは、端末装置20A-Kから、メッセージ及び宛先情報を取得する。
 ステップS26において、端末装置20A-Kに備わる処理装置21Aは、出力部213Aとして機能する。処理装置21Aは、ステップS24において生成された可否情報を、サーバ10Aに出力する。また、サーバ10Aに備わる処理装置11Aは、取得部111Aとして機能する。処理装置11Aは、端末装置20A-Kから、可否情報を取得する。
 ステップS27において、サーバ10Aに備わる処理装置11Aは、取得部111Aとして機能する。処理装置11Aは、ステップS26において取得した宛先情報を用いて、登録情報データベースRDを参照する。その結果、処理装置11Aは、ユーザUが視認している第2仮想空間が、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかを区別できる仮想空間情報を取得する。
 ステップS28において、サーバ10Aに備わる処理装置11Aは、設定部114Aとして機能する。処理装置11Aは、ステップS26において取得された可否情報、及びステップS27において取得された仮想空間情報に基づいて、第2仮想空間において表示される、仮想オブジェクトVO2の外観について変更の可否を設定する。より詳細には、上記の可否情報が、ユーザUが、仮想オブジェクトVO2の外観の変更の不許可を指定することを示す場合には、処理装置11Aは、仮想オブジェクトVO2の外観の変更を不許可とする。また、上記の可否情報が、ユーザUが、仮想オブジェクトVO2の外観の変更の許可を指定することを示すものの、第2仮想空間が仮想現実空間である場合には、処理装置11Aは、仮想オブジェクトVO2の外観の変更を不許可とする。その後、処理装置11Aは、ステップS32の動作を実行する。一方で、上記の可否情報が、ユーザUが、仮想オブジェクトVO2の外観の変更の許可を指定することを示すと共に、第2仮想空間が拡張現実空間又は複合現実空間である場合には、処理装置11Aは、仮想オブジェクトVO2の外観の変更を許可する。その後、処理装置11は、ステップS29の動作を実行する。
 ステップS29において、端末装置20A-Mに備わる処理装置21Aは、出力部213Aとして機能する。処理装置21Aは、環境情報をサーバ10Aに出力する。また、サーバ10Aに備わる処理装置11Aは、取得部111Aとして機能する。処理装置11Aは、端末装置20A-Mから、環境情報を取得する。
 なお、ステップS29において、サーバ10Aに備わる処理装置11Aは、端末装置20A-Mに対して、環境情報を要求する要求信号を出力し、端末装置20A-Mに備わる処理装置21Aは、当該要求信号に応じて、環境情報をサーバ10Aに出力してもよい。あるいは、端末装置20A-Mに備わる処理装置21Aは、常時、又は間欠的に、サーバ10Aに対して環境情報を出力し、サーバ10Aに備わる処理装置11Aは、当該環境情報を取得してもよい。
 ステップS30において、サーバ10Aに備わる処理装置11Aは、生成部113Aとして機能する。処理装置11Aは、ステップS29において取得した環境情報に基づいて、第2仮想空間に表示される仮想オブジェクトVO2の外観の変更に係る変更情報を生成する。
 ステップS31において、サーバ10Aに備わる処理装置11Aは、出力部116Aとして機能する。処理装置11Aは、ステップS30において生成した変更情報を、端末装置20-Mに出力する。また、端末装置20A-Mに備わる処理装置21Aは、取得部211Aとして機能する。処理装置21Aは、変更情報を、サーバ10Aから取得する。
 ステップS32において、サーバ10Aに備わる処理装置11Aは、出力部116Aとして機能する。処理装置11Aは、ステップS25において取得したメッセージを、端末装置20-Mに出力する。また、端末装置20A-Mに備わる処理装置21Aは、取得部211Aとして機能する。処理装置21Aは、当該メッセージを、サーバ10Aから取得する。
 ステップS33において、端末装置20A-Mに備わる処理装置21Aは、生成部214として機能する。処理装置21Aは、記憶装置22Aに記憶される画像情報と、ステップS31において取得した変更情報とを用いて、ステップS32において取得したメッセージに関する仮想オブジェクトVO2を生成する。
 ステップS34において、端末装置20A-Mに備わる処理装置21Aは、表示制御部212Aとして機能する。処理装置21Aは、表示装置30-Mに、ステップS33において生成した仮想オブジェクトVO2を表示させる。その後、処理装置21Aは、ステップS32において取得したメッセージを表示する。例えば、端末装置20A-Mに備わる処理装置21Aは、受付部215として機能する。処理装置21Aは、仮想オブジェクトVO2に対するユーザUの操作として、当該仮想オブジェクトVO2に関するメッセージの表示を指示する操作を受け付ける。更に、処理装置21Aは、表示制御部212Aとして機能する。処理装置21Aは、表示装置30-Mに当該メッセージを表示させる。
 その後、端末装置20A-Kに備わる処理装置21A、サーバ10Aに備わる処理装置11A、及び端末装置20A-Mに備わる処理装置21Aは、図10に記載の全ての処理を終了する。
2-3:第2実施形態が奏する効果
 以上の説明によれば、表示制御装置としての端末装置20A-Kは、生成部214と、設定部216とを備える。生成部214は、メッセージの送信元のユーザUが視認する第1仮想空間としての仮想現実空間VSに配置され、当該メッセージに関する仮想オブジェクトVO1を生成する。設定部216は、メッセージの送信先のユーザUが視認する第2仮想空間としての拡張現実空間ASにおいて表示される、仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。
 端末装置20A-Kは、上記の構成を備えるので、メッセージの受信側における当該メッセージを示す仮想オブジェクトVO2の外観の変更を許可するか否かを、メッセージの送信側である当該端末装置20A-Kが設定できる。より詳細には、メッセージを受信するユーザUの状況によって、仮想オブジェクトVO2の見え方は異なる。仮想オブジェクトVO2の外観の変更の可否を、メッセージの送信側が設定可能とすることで、当該仮想オブジェクトVO2の見え方を、当該ユーザにとって最適な見え方とするために、ユーザUが煩雑な操作をする必要はない。
3:変形例
 本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
3-1:変形例1
 第1実施形態に係るサーバ10において、設定部114は、仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。また、第2実施形態に係る端末装置20A-Kにおいて、設定部216は、仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。設定部114及び設定部216は、更に、仮想オブジェクトVO2の外観の全部の変更を許可するか、又は、仮想オブジェクトVO2の外観の一部の変更を許可するかを設定してもよい。
 図11は、仮想オブジェクトVO2の一例を示す。図11に示される仮想オブジェクトVO2は、図3に示される仮想オブジェクトVO2とは形状が異なる。図11に示される仮想オブジェクトVO2は、突起部P1と球体部P2とを有する。設定部114及び設定部216は、例えば、仮想オブジェクトVO2の外観の全部の変更を許可するか、あるいは、突起部P1及び球体部P2のうち一方のみの変更を許可するかを設定してもよい。
 この結果、サーバ10又は端末装置20A-Kは、ユーザUのニーズに合わせて、仮想オブジェクトVO2の外観の一部のみを変更できる。
3-2:変形例2
 第1実施形態に係るサーバ10は、登録部112を備えると共に、登録情報データベースRDを記憶する。しかし、サーバ10は、登録部112を備えないと共に、登録情報データベースRDを記憶しなくてもよい。この場合、取得部111は、登録情報データベースRDを参照して仮想空間情報を取得する代わりに、端末装置20-Mから直接、仮想空間情報を取得してもよい。第2実施形態に係るサーバ10Aにおいても同様である。
3-3:変形例3
 第1実施形態において、上記の仮想空間情報は、「宛先情報に対応するユーザUが視認している第2仮想空間が、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかを区別できる情報」であった。しかし、仮想空間情報は当該情報に限定されない。例えば上記のように、登録情報データベースRDには、ユーザU及びユーザUと、ユーザU及びユーザUの頭部に装着される表示装置30-K及び30-Mの種別とが一対一に対応付けられて格納される。このため、仮想空間情報は、ユーザUが装着している表示装置30-Mの機器情報であってもよい。この場合、サーバ10に備わる設定部114は、表示装置30-Mの機器情報に基づいて、ユーザUが視認する第2仮想空間における仮想オブジェクトVO2の外観の変更を許可するか否かを設定する。より詳細には、ユーザUが装着している表示装置30-Mは、機器の種類によって、ユーザUに提供する仮想空間が、仮想現実空間であるか、あるいは、拡張現実空間又は複合現実空間であるかが異なる。このため、サーバ10に備わる設定部114は、仮想空間情報としての表示装置30-Mの機器情報に基づいて、変更を許可するか否かを設定できる。また、登録情報データベースRDには、ユーザU及びユーザUと、ユーザU及びユーザUが使用する端末装置20-K及び20-Mの種別とが一対一に対応付けられて格納されてもよい。この場合も同様に、仮想空間情報は、ユーザUが使用している端末装置20-Mの機器情報であってもよい。また、第2実施形態に係るサーバ10Aにおいても同様である。
3-4:変形例4
 第2実施形態に係る情報処理システム1Aにおいては、サーバ10Aに備わる取得部111Aが、登録情報データベースRDを参照して仮想空間情報を取得し、設定部114Aが、当該仮想空間情報を用いて、ユーザUが視認する第2仮想空間における仮想オブジェクトVO2の外観の変更を許可するか否かを設定していた。しかし、端末装置20A-Kに備わる取得部211Aが、サーバ10Aから登録情報データベースRDを読み出して仮想空間情報を取得し、設定部216が当該仮想空間情報を用いて、ユーザUが視認する第2仮想空間における仮想オブジェクトVO2の外観の変更を許可するか否かを設定してもよい。この場合、サーバ10Aは、設定部114Aを必須の構成要素としない。
3-5:変形例5
 第2実施形態に係る情報処理システム1Aにおいては、サーバ10Aに備わる生成部113Aが、端末装置20A-Mから取得した環境情報に基づいて、第2仮想空間に表示される仮想オブジェクトVO2の外観の変更に係る変更情報を生成していた。しかし、サーバ10Aではなく、端末装置20A-Mが変更情報を生成してもよい。より詳細には、サーバ10Aが端末装置20A-Mに対して可否情報を出力し、端末装置20A-Mが取得した可否情報が、仮想オブジェクトVO2の外観の変更を許可することを示す場合に、端末装置20A-Mが環境情報に基づいて、変更情報を生成してもよい。その後、端末装置20A-Mに備わる生成部214は、記憶装置22Aに記憶される画像情報と、上記の変更情報とを用いて、仮想オブジェクトVO2を生成する。
 第1実施形態に係る情報処理システム1においても同様に、端末装置20-Mが環境情報に基づいて変更情報を生成してもよい。この場合、端末装置20-Mは、いったんサーバ10から取得した画像情報を用いて、表示装置30-Mに仮想オブジェクトVO2を表示させた後、当該画像情報に対して当該変更情報を適用することにより、仮想オブジェクトVO2の外観を変更する。
3-6:変形例6
 第2実施形態に係る情報処理システム1Aにおいては、端末装置20A-Kに備わる受付部215が、仮想オブジェクトVO1の外観の変更を許可するか否かに関するユーザUの操作を受け付けていた。また、端末装置20A-Kに備わる設定部216が、受付部215が受け付けた操作に基づいて、ユーザUが視認する第2仮想空間において表示される、仮想オブジェクトVO2の外観の変更を許可するか否かを設定していた。しかし、端末装置20A-Kは、受付部215及び設定部216を必須の構成要素としなくてもよい。この場合、端末装置20A-Kは、仮想オブジェクトVO1の生成をするにとどまり、第1実施形態に係る情報処理システム1と同様に、サーバ10Aが、仮想オブジェクトVO2の外観の変更について変更の可否を設定する。
3-7:変形例7
 第2実施形態に係る情報処理システム1Aにおいては、端末装置20A-Kが、受付部215及び設定部216を備える一方で、第1実施形態に係る情報処理システム1において、端末装置20-Kは、これらと同様の構成要素を備えない。しかし、端末装置20-Kは、受付部215及び設定部216と同様の構成要素を備えてもよい。この結果、第1実施形態に係る情報処理システム1においても、端末装置20-Kが、仮想オブジェクトVO2の外観の変更を許可するか否かを設定できる。
3-8:変形例8
 第1実施形態に係る情報処理システム1においては、サーバ10が主体となって自律的に、仮想オブジェクトVO2の外観の変更を許可するか否かを設定していた。また、第2実施形態に係る情報処理システム1Aにおいては、端末装置20A-Kが、受付部215及び設定部216を備えることで、ユーザUの操作に基づいて、仮想オブジェクトVO2の外観の変更を許可するか否かを設定していた。これらの処理に先立って、サーバ10又は端末装置20A-Kは、ユーザUに対して、変更の許可又は不許可の設定をするか否かを問い合わせてもよい。この場合、ユーザUは、端末装置20-Kから、変更の許可又は不許可の設定をするか否かを指定する操作をし、当該操作に基づいて、サーバ10又は端末装置20-Kが変更の許可又は不許可を設定する。
3-9:変形例9
 第1実施形態に係る情報処理システム1において、端末装置20-Kと表示装置30-Kとは別体として実現されている。しかし、本発明の実施形態における、端末装置20-Kと表示装置30-Kの実現方法は、これには限定されない。例えば、表示装置30-Kが、端末装置20-Kと同一の機能を備えてもよい。換言すれば、端末装置20-Kと表示装置30-Kとが単一の筐体内において実現されてもよい。端末装置20-Mと表示装置30-Mについても同様である。また、第2実施形態に係る情報処理システム1Aにおいても同様である。
4:その他
(1)上述した実施形態では、記憶装置12及び12A、記憶装置22及び22A、並びに記憶装置32は、ROM及びRAMなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網NETから送信されてもよい。
(2)上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
(3)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
(4)上述した実施形態において、判定は、1ビットを用いて表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
(5)上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
(6)図1~図11に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
(7)上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
 また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
(8)前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
(9)本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
(10)上述した実施形態において、端末装置20-1~20-J、20A-K、及び20A-M、並びにサーバ10及び10Aは、移動局(MS:Mobile Station)である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語によって呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」等の用語は、互換的に使用され得る。
(11)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含められる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えられる。
(12)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
(13)本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などによって読み替えられてもよい。
(14)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
(15)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
(16)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
(17)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行う通知に限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
 以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
1、1A…情報処理システム、10、10A…サーバ、11、11A…処理装置、12、12A…記憶装置、13…通信装置、14…ディスプレイ、15…入力装置、20、20A…端末装置、21、21A…処理装置、22、22A…記憶装置、23…通信装置、24…ディスプレイ、25…入力装置、26…慣性センサ、30…表示装置、31…処理装置、32…記憶装置、33…視線検出装置、34…GPS装置、35…動き検出装置、36…撮像装置、37…環境センサ、38…通信装置、39…ディスプレイ、41L、41R…レンズ、91、92…テンプル、93…ブリッジ、94、95…フレーム、111、111A…取得部、112…登録部、113、113A…生成部、114、114A…設定部、115…変更部、116、116A…出力部、211、211A…取得部、212、212A…表示制御部、213、213A…出力部、214…生成部、215…受付部、216…設定部、311…取得部、312…表示制御部、P1…突起部、P2…球体部、PR1~PR3A…制御プログラム、VO1、VO2…仮想オブジェクト

Claims (4)

  1.  メッセージの送信元のユーザが視認する第1仮想空間に配置され、前記メッセージに関する仮想オブジェクトを生成する生成部と、
     前記メッセージの送信先のユーザが視認する第2仮想空間において表示される、前記仮想オブジェクトの外観の変更を許可するか否かを設定する設定部と、
    を備える、表示制御装置。
  2.  前記第2仮想空間が、仮想現実空間であるか、拡張現実空間又は複合現実空間であるかを区別できる仮想空間情報を取得する取得部を更に備え、
     前記設定部は、前記仮想空間情報に基づいて前記仮想オブジェクトの外観の変更を許可するか否かを設定する、請求項1に記載の表示制御装置。
  3.  変更部を更に備え、
     前記取得部は、前記メッセージの送信先の現実空間における環境を示す環境情報を取得し、
     前記変更部は、前記第2仮想空間が拡張現実空間又は複合現実空間であると共に、前記設定部によって前記外観の変更が許可されている場合に、前記環境情報に基づいて、前記第2仮想空間における前記仮想オブジェクトの外観を変更する、請求項2に記載の表示制御装置。
  4.  前記設定部は、前記外観の変更が可である場合、更に、前記仮想オブジェクトの外観の全部の変更を許可するかどうか、または、前記仮想オブジェクトの外観の一部の変更を許可するかどうかを設定する、請求項1から請求項3のいずれか1項に記載の表示制御装置。
PCT/JP2023/003371 2022-02-04 2023-02-02 表示制御装置 WO2023149498A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022016231 2022-02-04
JP2022-016231 2022-02-04

Publications (1)

Publication Number Publication Date
WO2023149498A1 true WO2023149498A1 (ja) 2023-08-10

Family

ID=87552530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003371 WO2023149498A1 (ja) 2022-02-04 2023-02-02 表示制御装置

Country Status (1)

Country Link
WO (1) WO2023149498A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6739611B1 (ja) * 2019-11-28 2020-08-12 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム
JP2021030887A (ja) * 2019-08-23 2021-03-01 株式会社デンソー 表示制御装置及び表示制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021030887A (ja) * 2019-08-23 2021-03-01 株式会社デンソー 表示制御装置及び表示制御プログラム
JP6739611B1 (ja) * 2019-11-28 2020-08-12 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US9418481B2 (en) Visual overlay for augmenting reality
CN104469464B (zh) 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
KR20160145976A (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
US11532227B2 (en) Discovery of and connection to remote devices
WO2013106128A1 (en) Method and apparatus for enabling real-time product and vendor identification
CN103970258B (zh) 穿戴式电子设备以及显示方法
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
US10521013B2 (en) High-speed staggered binocular eye tracking systems
US20100283711A1 (en) An integrated computation and communication system, a framed interface therefor and a method of operating thereof
WO2023149498A1 (ja) 表示制御装置
CN104062758B (zh) 图像显示的方法和显示设备
WO2023149255A1 (ja) 表示制御装置
US20230021286A1 (en) Voice-controlled settings and navigation
WO2023162499A1 (ja) 表示制御装置
WO2023112838A1 (ja) 情報処理装置
WO2021137586A1 (en) Electronic device and method for providing position of user
WO2023149256A1 (ja) 表示制御装置
WO2023176317A1 (ja) 表示制御装置
WO2023074852A1 (ja) 情報処理装置
WO2023145265A1 (ja) メッセージ送信装置及びメッセージ受信装置
WO2023149379A1 (ja) 情報処理装置
WO2023079875A1 (ja) 情報処理装置
WO2023120472A1 (ja) アバター生成装置
WO2023210195A1 (ja) 特定システム
WO2023145892A1 (ja) 表示制御装置及びサーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23749814

Country of ref document: EP

Kind code of ref document: A1