WO2021085320A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2021085320A1
WO2021085320A1 PCT/JP2020/039847 JP2020039847W WO2021085320A1 WO 2021085320 A1 WO2021085320 A1 WO 2021085320A1 JP 2020039847 W JP2020039847 W JP 2020039847W WO 2021085320 A1 WO2021085320 A1 WO 2021085320A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
tag
user
information
communication partner
Prior art date
Application number
PCT/JP2020/039847
Other languages
English (en)
French (fr)
Inventor
祐介 阪井
毅一 小林
洋祐 関
一隆 石崎
啓 堤
綾子 對馬
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021553551A priority Critical patent/JPWO2021085320A1/ja
Priority to US17/755,096 priority patent/US11740773B2/en
Publication of WO2021085320A1 publication Critical patent/WO2021085320A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to information processing devices and methods, and more particularly to information processing devices and methods that enable more diverse communication to be realized.
  • This disclosure was made in view of such a situation, and makes it possible to realize more diverse communication.
  • the information processing device of one aspect of the present technology uses an input unit that accepts information input by the user in the user's space and the information received by the input unit to generate an event for the user's communication partner. It is an information processing device including a generation unit that generates tag information that associates control information to be controlled with the space of the communication partner.
  • the information processing method of one aspect of the present technology accepts the input of information by the user in the user's space, and uses the received information to transmit control information for controlling the occurrence of an event for the user's communication partner. This is an information processing method that generates tag information associated with the space of the other party.
  • the information processing device of another aspect of the present technology is tag information that associates control information for controlling the occurrence of an event with respect to the communication partner with the space of the communication partner, and is designated by the tag information associated with the user's space.
  • a determination unit that determines whether or not the occurrence condition of the event is satisfied, and an event generation unit that generates the event specified by the tag information when the determination unit determines that the occurrence condition is satisfied. It is an information processing device equipped with.
  • the information processing method of another aspect of the present technology is tag information that associates control information for controlling the occurrence of an event with respect to the communication partner with the space of the communication partner, and is designated by the tag information associated with the user's space.
  • This is an information processing method for determining whether or not the event occurrence condition is satisfied, and if it is determined that the occurrence condition is satisfied, the event is generated, which is specified by the tag information.
  • control information that accepts the input of information by the user in the space of the user and controls the occurrence of an event for the communication partner of the user by using the received information. Generates tag information that corresponds to the space of the communication partner.
  • the tag information that associates the control information for controlling the occurrence of an event with respect to the communication partner with the space of the communication partner, and is the tag information associated with the user's space. It is determined whether or not the event occurrence condition specified by is satisfied, and if it is determined that the occurrence condition is satisfied, the event specified by the tag information is generated.
  • FIG. 1 is a diagram illustrating an outline of a telepresence system which is an embodiment of a communication system (information processing system) to which the present technology is applied.
  • the telepresence system 100 is a communication system for users who are remote from each other to communicate with each other.
  • the telepresence system 100 has a plurality of telepresence devices as terminal devices.
  • the telepresence system 100 has a telepresence device 110A and a telepresence device 110B.
  • the telepresence device 110A and the telepresence device 110B are installed at remote locations from each other.
  • a remote location refers to a point at a different position with respect to a certain reference point. Then, it is assumed that the spaces at the plurality of points that are remote from each other are in a state where they can be said to be independent of each other. For example, the space at each point may be partially or wholly blocked from the space at another point by obstacles such as ceilings, floors, walls, or some object (including the telepresence device itself). It shall be sufficiently far from the space at other points. Then, users in remote locations communicate with each other via the telepresence system 100, and do not communicate directly by voice, gesture, or the like.
  • the telepresence device 110A includes a display 111A with a touch panel and a camera 112A.
  • the telepresence device 110A also includes a microphone, a speaker, and the like, but the illustration is omitted.
  • the telepresence device 110B includes a display 111B with a touch panel and a camera 112B.
  • the telepresence device 110B also includes a microphone, a speaker, and the like, but the illustration is omitted.
  • the camera 112A images the space in front of the telepresence device 110A, for example, the user 121A of the telepresence device 110A and its surroundings.
  • the camera 112B images the space in front of the telepresence device 110B, for example, the user 121B of the telepresence device 110B and its surroundings.
  • the telepresence device 110A and the telepresence device 110B communicate with each other and exchange data of the captured image generated by the camera 112A and data of the captured image generated by the camera 112B.
  • the image captured by the camera 112B that is, the image captured in the space in front of the telepresence device 110B is displayed on the display 111A with a touch panel.
  • the touch panel-equipped display 111B displays the captured image generated by the camera 112A, that is, the captured image of the space in front of the telepresence device 110A.
  • the telepresence device 110A and the telepresence device 110B also exchange audio data collected by each other's microphones by this communication, and output audio from each other's speakers.
  • the telepresence device 110A and the telepresence device 110B exchange images and sounds (for example, images and sounds of each user) in the space in which the devices are arranged, so that the users 121A and the users 121A and the telepresence devices 110B are remote from each other.
  • User 121B can communicate via this telepresence system.
  • the touch panel is superimposed on the display that displays the image.
  • This touch panel detects a position on the display surface of the display 111A with a touch panel that the user 121A or the like comes into contact with.
  • the user 121A can perform an input operation such as an instruction or information through the touch panel by touching the display surface of the display 111A with a touch panel.
  • the touch panel is superimposed on the display displaying the image.
  • This touch panel detects a position on the display surface of the display 111B with a touch panel that the user 121B or the like comes into contact with.
  • the user 121B can perform an input operation such as an instruction or information via the touch panel by touching the display surface of the display 111B with a touch panel.
  • the telepresence device 110 when it is not necessary to distinguish between the telepresence device 110A and the telepresence device 110B, the telepresence device 110 is referred to as a telepresence device 110.
  • the display 111 with a touch panel is referred to.
  • the camera 112A and the camera 112B are referred to as the camera 112.
  • the user 121A is referred to as the user 121.
  • the telepresence system 100 provides natural communication between remote users "as if they were in the same space", for example, a team or community composed of users in both spaces without any particular purpose or time frame. With the intention of improving the quality of the relationship between the two, high-presence communication is always performed.
  • the display 111 with a touch panel always displays an image of the space on the communication partner side (also referred to as the partner space) captured by the camera 112 on the communication partner side.
  • the touch panel-equipped display 111A installed in the space 130 on the user 121A side constantly displays the captured image of the space 140 on the user 121B side captured by the camera 112B. That is, the images of the user 121B, the object 141, the object 142, and the like in the space 140 are displayed on the display 111A with a touch panel.
  • the user 121A in the space 130 feels as if the space 140'corresponding to the space 140 exists behind the display 111A with the touch panel.
  • the user 121A feels that the user 121B'corresponding to the user 121B, the object 141'corresponding to the object 141, the object 142' corresponding to the object 142, and the like exist behind the display 111A with a touch panel.
  • the captured image of the space 130 on the user 121A side captured by the camera 112A is always displayed. That is, the images of the user 121A, the object 131, the object 132, the object 133, and the like in the space 130 are displayed on the display 111B with a touch panel.
  • the user 121B in the space 140 feels as if the space 130'corresponding to the space 130 exists behind the display 111B with the touch panel.
  • the user 121B has a user 121A'corresponding to the user 121A, an object 131' corresponding to the object 131, an object 132' corresponding to the object 132, an object 133' corresponding to the object 133, and the like at the back of the display 111B with a touch panel. It feels like it's on the side.
  • the user 121A and the user 121B can obtain the feeling that each other (that is, the user 121 of the communication partner) is "as if they are in the same space (one space consisting of the space 130 and the space 140)". You can communicate more naturally.
  • the quality of trust and relationships between users 121 in remote locations can be improved, and the teams within the community and organization can be strengthened.
  • Tag information For example, an input of information by the user is accepted in the user's space, and the received information is used to generate tag information that associates control information for controlling the occurrence of an event with the communication partner of the user with the space of the communication partner. To do.
  • an input unit that accepts information input by the user in the user's space and control information that controls the occurrence of an event for the user's communication partner by using the information received by the input unit are used. It is provided with a generation unit that generates tag information associated with the space of the communication partner.
  • the tag information that associates the control information that controls the occurrence of an event with respect to the communication partner with the space of the communication partner, and the event occurrence condition specified by the tag information associated with the user's space It is determined whether or not the conditions are satisfied, and if it is determined that the occurrence condition is satisfied, the event specified by the tag information is generated.
  • control information for controlling the occurrence of an event for a communication partner is tag information associated with the space of the communication partner, and is specified by the tag information associated with the user's space. It is provided with a determination unit for determining whether or not the occurrence condition is satisfied, and an event generation unit for generating the event specified by the tag information when the determination unit determines that the occurrence condition is satisfied. ..
  • Tag information (additional information) for communication can be easily arranged through the display boundary surface.
  • Tag information can be set by a natural and simple method such as touch operation and voice input.
  • the user who receives the information is guided to a new next action, so that more effective activation of mutual interaction can be realized.
  • tag information (also referred to as a tag) is a function of associating control information for controlling the occurrence of an event with respect to a communication partner with the space of the communication partner.
  • tag information also referred to as a tag
  • the user 121A causes the telepresence device 110 to generate a tag associated with the partner space displayed on the display 111A with a touch panel, and the tag is used to control information for controlling the occurrence of an event for the communication partner.
  • the user 121 specifies the target to which the tag is associated (the target to which the tag is attached) from the partner space displayed on the display 111 with the touch panel.
  • the user 121 operates the display 111 with a touch panel (the touch panel), that is, touches the display 111 with a touch panel, or the like to specify a target to be associated with the tag.
  • the telepresence device 110 receives the designation by the touch panel and generates a tag to be given to the designated target.
  • the sensor (touch panel, etc.) of the telepresence device 110 recognizes the context (state, situation) information of the user who suddenly tries to add a message tag, and the touch input operation, and tags the other party's space. Select a desired target from the target candidates.
  • the target to which the tag is associated may be a predetermined object in the partner space.
  • the user 121A generates tags 151-1 to 151-4 and associates them with the mating space.
  • the tag 151-1 is attached to the display 111B with a touch panel.
  • the tag 151-2 is attached to the object 141.
  • Tags 151-3 are attached to user 121B.
  • the tag 151-4 is attached to the object 142.
  • the tags 151 are referred to as tags 151.
  • the tag 151 input and generated by the user 121 is registered in the tag database of the server described later as multidimensional information such as spatial coordinates, creating user, destination user, and event occurrence condition.
  • the tag 151 can be attached to any object in the partner space. In this case, the tag 151 remains attached to the object no matter where the object moves. That is, the tag 151 moves with the movement of the object. As an additional note, the tag 151 can also be attached to a moving object, such as the user 121B.
  • the tag 151 may be attached only while the object (user 121B) is located in the partner space. ..
  • the tag 151 is removed from the user 121B, and the event by the tag 151 does not occur regardless of the occurrence condition.
  • the tag 151 is attached to the user 121B again, and an event can be generated by the tag 151.
  • Such control may be performed.
  • the target to which the tag 151 is associated can be a predetermined position in the partner space. That is, a tag may be attached to an arbitrary position in the partner space. In this case, for example, even if the object is moved, the tag 151 does not move. Further, in this case, the tag 151 can be attached to a place where the object does not exist, for example, in the air.
  • the target to which the tag 151 is associated is specified when the user 121 contacts the display 111 with a touch panel. That is, when the user 121 comes into contact with a predetermined position (x, y) of the display 111 with a touch panel, the telepresence device 110 detects the position (x, y) by the touch panel and corresponds to the position. Generates tag information to be added to the position and object of.
  • the tags 151-11 are attached to the display 111B with a touch panel at the position (x, y) specified by the user 121A.
  • the tags 151-12 are attached to the object 161 displayed at the position (x, y) specified by the user 121A on the display 111A with a touch panel.
  • the tags 151-13 are attached to the object 162 displayed at the position (x, y) specified by the user 121A on the display 111A with a touch panel.
  • These tags 151-11 to 151-13 are also referred to as tags 151 when it is not necessary to explain them separately from each other.
  • a target position or object in the depth direction it is possible to select a target position or object in the depth direction. That is, it can be set in association with an arbitrary part (x, y) on the display surface, a space in the back (x, y, z), a dynamically changing object or a person.
  • SLAM Simultaneous Localization and Mapping
  • the position to which the tag 151 is to be attached and the depth direction (z) of the object may be specified according to the length of time that the user 121 touches the display 111 with the touch panel with his / her hand or the like. That is, the telepresence device 110 measures the time of contact with the display 111 with the touch panel when the user 121 specifies the target to which the tag 151 is attached, and the telepresence device 110 measures the time of contact with the display 111 with a touch panel, and the telepresence device 110 determines the depth direction (z) according to the length of the time.
  • the target specified by the user 121 may be specified.
  • the tag 151-14 is a display with a touch panel by the user 121A among the objects 162 and the objects 163 corresponding to the positions (x, y). It is given to the object according to the length of time that the hand or the like is brought into contact with 111A.
  • the object 162 is selected as the target for attaching the tags 151-14, and if the contact time is longer than the threshold, the object 163 is selected as the target for attaching the tags 151-14. You may do so.
  • the contact time is equal to or less than a predetermined threshold value
  • the object 163 is selected as the attachment target of the tag 151-14
  • the contact time is longer than the threshold value
  • the object 162 is the attachment target of the tag 151-14. It may be selected.
  • the target of tag 151-14 may be switched at predetermined time intervals. Then, the objects (object 162 and the object) selected at the time when the user 121A stops the contact with the display 111A with the touch panel (when the hand or the like in contact with the display 111A with the touch panel is separated from the display 111A with the touch panel). (Any of 163) may be specified as the target of attachment of the tags 151-14.
  • the tag 151 is attached to the position in the depth direction according to the length of time that the user 121 touches the display 111 with the touch panel with his / her hand or the like. May be good. For example, the shorter the contact time, the closer the tag 151 is attached, and the longer the contact time, the deeper the tag 151 is attached. On the contrary, the longer the contact time, the closer the tag 151 is attached, and the shorter the contact time, the deeper the tag 151 is attached. Further, while the user 121 is in contact with the display 111 with the touch panel, the position of the tag 151 designated as the target of attachment may be repeatedly changed, such as from front to back and from back to front. You may go back and forth.
  • This tag information generates an event when a predetermined condition is satisfied in the partner space.
  • the user 121 can specify the event occurrence condition (trigger for invoking the event). For example, the user 121 specifies an event occurrence condition by touching the display 111 with a touch panel (touch panel).
  • the telepresence device 110 receives the designation by the touch panel and generates a tag including information on the designated generation condition.
  • This occurrence condition is arbitrary. For example, it occurs when the user of the communication partner touches the tag 151 (or the target to which the tag 151 is attached), or when the user of the communication partner is located in the vicinity of the tag 151 (or the target to which the tag 151 is attached). It may be a condition. Further, for example, the occurrence condition may be that a specific user appears in the other party's space.
  • a condition related to the environment in the space of the communication partner may be used as the generation condition.
  • a change in environmental information (darkening, noise, temperature drop, etc.) in the partner space may be a generation condition.
  • a condition related to time may be used as an occurrence condition.
  • a predetermined time zone or time may be set as the generation condition.
  • the user 121 can specify an event generated by the tag 151.
  • the user 121 specifies an event to be generated by touching the display 111 with a touch panel (touch panel) or the like.
  • the telepresence device 110 accepts the designation on the touch panel and generates a tag 151 containing information about the designated event.
  • the content of the event is arbitrary. For example, it may be a display of a message (which may include text and an image), or may be a reading of a message (voice output). Further, it may be lighting control of the partner space (for example, on / off, change of brightness, change of color, etc.), or BGM (Back Ground Music) control in the partner space (for example, BGM output start or output stop). , Song selection, volume adjustment, etc.). Further, it may be air conditioning control (on / off, temperature setting change, operation type (heating / cooling / blowing / drying, etc.) switching, wind direction setting change, air volume setting change, etc.) of the partner space. Further, vibration control of an object (for example, vibration according to a message) may be used. Of course, a plurality of events may be combined.
  • the method of input operation related to the generation of such tag 151 is arbitrary.
  • the user 121 may operate the touch panel of the display 111 with a touch panel to input information and instructions.
  • the user operates other input devices (for example, keyboard, mouse, other touch panel, image sensor, motion sensor, button, switch, lever, microphone, etc.) included in the telepresence device 110 to input information and instructions. You may try to do it.
  • the tag 151 generated as described above and attached to the partner space is displayed on the display 111 with a touch panel of the telepresence device 110 that generated the tag 151 as an image captured in the partner space. It is displayed superimposed on. That is, in the user's space (also referred to as own space), the tag 151 attached to the partner space can be seen.
  • the tag 151 is basically not displayed on the display 111 with a touch panel of the telepresence device 110 in the partner space to which the tag 151 is attached. That is, the tag 151 cannot be seen basically in the partner space.
  • the event set in the tag 151 occurs.
  • the event occurrence condition of the tag 151-13 is satisfied, and the tag 151-13 is contacted.
  • the set event in this case, the voice that reads out the message "Hello ! Tom! Is output from the speaker 171 of the telepresence device 110B.
  • the event may be generated by a device other than the telepresence device 110.
  • an event may be generated (for example, reading a message or information) by a speaker, an indicator, an actuator, or the like provided in the object to be tagged.
  • drive control of lighting and air conditioning (on / off, setting change, etc.) may be an event.
  • an event can be generated based on the generation condition, and non-real-time communication can be realized.
  • the user in the own space attaches the tag 151 as shown in the example of FIG. 5 to the partner space, and then the user of the communication partner enters the partner space and an event occurs.
  • a message can be output when the conditions are met. Therefore, more diverse communication can be realized.
  • the user 121 may be able to visually recognize the tag 151 attached to the own space by the communication partner.
  • the tag 151 may be displayed on the object to which the tag 151 is attached by using a projector or the like.
  • only the tag 151 attached to the touch panel display 111 may be displayed on the touch panel display 111.
  • only the tag 151-1 may be displayed on the display 111B with a touch panel.
  • the tag 151 is a place where the display is installed in the space, an arbitrary point (x, y) on the display surface, and an arbitrary point in both spaces having a 3D depth and an object arrangement. (X, y, z) and areas can be set by natural and simple methods such as touch operation and voice input on the display.
  • the telepresence device 110 of the telepresence system 100 described above can be installed so as to blend into the space (for example, as if it were a window), and no special equipment specifications or installation are required for operation. , Can be realized only by natural methods such as touch operation and voice input.
  • FIG. 6 is a diagram showing a main configuration example of the telepresence system 100. As shown in FIG. 6, the telepresence system 100 has a plurality of telepresence devices 110 and a server 201.
  • the number of the telepresence devices 110 constituting the telepresence system 100 is arbitrary as long as it is two or more. That is, the telepresence system 100 may have three or more telepresence devices 110.
  • Each telepresence device 110 is installed at each point of communication (remote from each other).
  • the telepresence devices 110 and the server 201 are communicably connected to each other via the network 202.
  • the server 201 provides a service related to tag information in communication between the telepresence devices 110. More specifically, the server 201 manages the tag information generated by each telepresence device 110.
  • the network 202 is a communication network composed of any communication medium.
  • the communication performed via the network 202 may be wired communication, wireless communication, or both. That is, the network 202 may be a communication network for wired communication, a communication network for wireless communication, or a communication network composed of both of them. Further, the network 202 may be composed of a single communication network or may be composed of a plurality of communication networks.
  • the Internet may be included in this network 202.
  • the public telephone network may be included in the network 202.
  • a wide area communication network for wireless mobiles such as a so-called 3G line or 4G line may be included in the network 202.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the network 202 may include a wireless communication network that performs communication conforming to the Bluetooth (registered trademark) standard.
  • a communication path for short-range wireless communication such as NFC (Near Field Communication) may be included in the network 202.
  • the communication path for infrared communication may be included in the network 202.
  • the network 202 may include a communication network for wired communication conforming to standards such as HDMI (registered trademark) (High-Definition Multimedia Interface) and USB (Universal Serial Bus) (registered trademark).
  • HDMI registered trademark
  • USB Universal Serial Bus
  • the network 202 may include a communication network or communication path of any communication standard.
  • Each telepresence device 110 and server 201 are connected to the network 202 by wired communication, wireless communication, or both.
  • a message output (display, voice output, etc.) will be used as an example of the event.
  • FIG. 7 is a block diagram showing a main configuration example of the telepresence device 110.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • the input / output interface 310 is also connected to the bus 304.
  • An input unit 311, an output unit 312, a storage unit 313, a communication unit 314, and a drive 315 are connected to the input / output interface 310.
  • the input unit 311 may include any input device such as a keyboard, a mouse, a microphone, a touch panel, an image sensor (for example, a camera 112, etc.), a motion sensor, and various other sensors. Further, the input unit 311 may include an input terminal.
  • the output unit 312 may include any output device such as, for example, a display (for example, a display 111 with a touch panel), a projector, a speaker (for example, a speaker 171), and the like. Further, the output unit 312 may include an output terminal.
  • the storage unit 313 includes, for example, an arbitrary storage medium such as a hard disk, a RAM disk, or a non-volatile memory, and a storage control unit that writes or reads information from the storage medium.
  • the communication unit 314 is composed of, for example, a network interface.
  • the drive 315 drives an arbitrary removable media 321 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and writes or reads information from the removable media.
  • the CPU 301 loads and executes the program stored in the storage unit 313 into the RAM 303 via the input / output interface 310 and the bus 304, for example. It realizes various functions shown in the function blocks described later.
  • the RAM 303 also appropriately stores data and the like necessary for the CPU 301 to execute various processes of the program.
  • the program executed by the computer can be recorded and applied to the removable media 321 as a package media or the like, for example.
  • the program can be installed in the storage unit 313 via the input / output interface 310 by mounting the removable media 321 in the drive 315.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 314 and installed in the storage unit 313.
  • this program can be installed in advance in ROM 302 or storage unit 313.
  • the CPU 301 executes the program to realize the function shown by the functional block as shown in FIG. 8, for example. That is, the telepresence device 110 includes a tag input processing unit 351 and a tag output processing unit 352 as functional blocks.
  • the tag input processing unit 351 performs processing related to acceptance of input such as information related to the generation of tag 151.
  • the tag output processing unit 352 performs processing related to the output of the tag 151, that is, the occurrence of the event indicated by the tag 151.
  • the tag input processing unit 351 has a tag generation unit 361, a tag registration unit 362, a tag icon output unit 363, and a tag deletion unit 364.
  • the tag generation unit 361 performs processing related to the generation of the tag 151.
  • the tag registration unit 362 performs processing related to registration of the tag 151 in the server 201 (tag database 431 described later).
  • the tag icon output unit 363 performs processing related to output of the icon of the tag 151 (display image showing the tag 151).
  • the tag deletion unit 364 performs processing related to deletion of the registered tag 151 from the server 201 (tag database 431 described later).
  • the tag output processing unit 352 has a condition determination unit 371, a tag message output unit 372, and a tag deletion unit 373.
  • the condition determination unit 371 performs processing related to determination of the condition regarding the output of the tag message (that is, the occurrence of an event).
  • the tag message output unit 372 performs processing related to the output of the tag message (that is, the occurrence of the event), which is the event specified by the tag 151.
  • the tag deletion unit 364 performs processing related to deletion of the registered tag 151 from the server 201 (tag database 431 described later).
  • FIG. 9 is a diagram illustrating a main configuration example of data (also referred to as tag data) of the tag 151 generated by the tag generation unit 361 of FIG.
  • the tag data 390 is the data of the tag 151, and includes, for example, an ID 391, a tag addition target 392, a tag message output condition 393, a tag message 394, and a tag icon 395.
  • ID 391 is identification information that identifies the tag data 390.
  • the ID 391 may include information of the user who created this tag.
  • the tag assignment target 392 is information for designating the target to which the tag 151 is attached.
  • the tagging target 392 may include information such as a space associated with this tag (or a telepresence device 110 located in the space), identification information of a target object, and target coordinates. ..
  • the tag message output condition 393 is information that specifies an output condition of a message (also referred to as a tag message) output as an event by the tag 151.
  • the tag message output condition 393 may include information such as a phenomenon that is a occurrence condition, an environment, a time, and identification information of a user that is a tag destination (target of an event that occurs).
  • the tag message 394 is information that specifies a tag message output as an event by the tag 151.
  • the tag message 394 may include text data, audio data, image data, and the like of the tag message.
  • the tag icon 395 is information for designating the tag icon.
  • the tag icon 395 may include an image of the tag icon. This information is set by the tag generation unit 361.
  • FIG. 10 is a block diagram showing a main configuration example of the server 201.
  • the CPU 401, ROM 402, and RAM 403 are connected to each other via the bus 404.
  • the input / output interface 410 is also connected to the bus 404.
  • An input unit 411, an output unit 412, a storage unit 413, a communication unit 414, and a drive 415 are connected to the input / output interface 410.
  • a tag database 431 is connected to the input / output interface 410.
  • the input unit 411 may include any input device such as a keyboard, a mouse, a microphone, a touch panel, a camera (image sensor), a motion sensor, and various other sensors. Further, the input unit 411 may include an input terminal.
  • the output unit 412 may include any output device such as a display, a projector, a speaker, and the like. Further, the output unit 412 may include an output terminal.
  • the storage unit 413 includes, for example, an arbitrary storage medium such as a hard disk, a RAM disk, or a non-volatile memory, and a storage control unit that writes or reads information from the storage medium.
  • the communication unit 414 includes, for example, a network interface.
  • the drive 415 drives an arbitrary removable media 421 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and writes or reads information from the removable media.
  • the tag database 431 stores and manages information related to the tag 151.
  • the telepresence system 100 may be able to recognize the user 121 and the context (situation / state) of the space.
  • the tag database 431 can record and manage the information as multidimensional meta information in association with additional information such as the tag 151, and integrate and reproduce a plurality of information as needed. ..
  • the CPU 401 loads the program stored in the storage unit 413 into the RAM 403 via the input / output interface 410 and the bus 404 and executes the program, which will be described later. Realize various functions indicated by function blocks.
  • the RAM 403 also appropriately stores data and the like necessary for the CPU 401 to execute various processes of the program.
  • the program executed by the computer can be recorded and applied to the removable media 421 as a package media or the like, for example.
  • the program can be installed in the storage unit 413 via the input / output interface 410 by mounting the removable media 421 in the drive 415.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 414 and installed in the storage unit 413.
  • this program can be installed in advance in ROM 402 or storage unit 413.
  • the CPU 401 executes the program to realize the function shown by the functional block as shown in FIG. 11, for example. That is, the server 201 includes a tag management unit 451, a tag acquisition unit 452, a tag supply unit 453, and a tag deletion request acquisition unit 454 as functional blocks.
  • the tag management unit 451 manages the tags generated in the telepresence device 110 by using the tag database 431.
  • the tag acquisition unit 452 performs processing related to acquisition of the tag 151 supplied from the telepresence device 110.
  • the tag supply unit 453 performs processing related to the supply of the tag 151 to the telepresence device 110.
  • the tag deletion request acquisition unit 454 performs processing related to acquisition of the tag 151 deletion request supplied from the telepresence device 110.
  • the user 121 displays an area for writing a tag message while touching, for example, the display surface of the display 111 with a touch panel (the other party's space reflected within the angle of view of the camera 112), and writes the tag message in the area by voice input or the like. be able to.
  • the tag generation unit 361 of the telepresence device 110 sets the target to be attached with the tag 151 in step S101.
  • the user 121 can specify the tag 151 to be attached by touching the position where the tag 151 of the other space is attached or the position corresponding to the object on the display 111 with a touch panel on which the other space is displayed with a finger. input.
  • the tag generation unit 361 accepts the designation via the input unit 311 and sets the designated position or object as the tag 151 attachment target. As a result, for example, the tagging target 392 (FIG. 9) of the tag data 390 is generated.
  • step S102 the tag generation unit 361 sets the output condition of the tag message.
  • the user 121 operates the display 111 with a touch panel or inputs voice to specify the output condition of the tag message.
  • the tag generation unit 361 accepts the designation via the input unit 311 and sets the output condition of the tag message based on the designation. As a result, for example, the tag message output condition 393 (FIG. 9) of the tag data 390 is generated.
  • step S103 the tag generation unit 361 sets a tag message.
  • the user 121 operates the display 111 with a touch panel or inputs voice to specify a tag message as an event.
  • the tag generation unit 361 accepts the designation via the input unit 311 and sets a tag message based on the designation.
  • the tag message 394 (FIG. 9) of the tag data 390 is generated.
  • the tag generation unit 361 sets the tag icon.
  • This tag icon is, for example, an image showing the tag 151 attached to the partner space, which is displayed on the display 111 with a touch panel on the side (own space) to which the tag 151 is attached.
  • a predetermined image may be set as the tag icon, but the user 121 or the like may be able to specify the image of the tag icon. In that case, for example, the user 121 operates the display 111 with a touch panel or the like to specify an image to be a tag icon.
  • the tag generation unit 361 accepts the designation via the input unit 311 and sets a tag message based on the designation. As a result, for example, the tag icon 395 (FIG. 9) of the tag data 390 is generated.
  • step S105 the tag generation unit 361 sets the identification information (ID) for identifying the tag data 390 composed of the above various information. As a result, for example, ID 391 of tag data 390 is generated.
  • step S106 the tag registration unit 362 transmits the tag data 390 generated by the tag generation unit 361 as described above to the server 201 via the communication unit 314 and registers it in the tag database 431.
  • step S121 the tag acquisition unit 452 of the server 201 receives the tag data 390 transmitted from the telepresence device 110 via the communication unit 414.
  • step S122 the tag management unit 451 registers and manages the tag data 390 (that is, tag 151) received in step S121 in the tag database 431.
  • step S107 the tag icon output unit 363 displays the tag icon of the tag 151 registered in the tag database 431 as described above on the output unit 312 (display 111 with touch panel, etc.).
  • the user can easily generate and register the tag 151 by a general UI (User Interface) operation without the need for a dedicated tool or the like.
  • UI User Interface
  • step S141 the tag management unit 451 of the server 201 reads the tag 151 (tag data 390) assigned to the space of the telepresence device 110 to be processed from the tag database 431. Then, the tag supply unit 453 transmits information other than the tag message 394 included in the read tag data 390 to the telepresence device 110 to be processed via the communication unit 414.
  • the condition determination unit 371 of the telepresence device 110 receives the tag data 390 (other than the tag message 394) transmitted from the server 201 via the communication unit 314 in step S131.
  • step S132 the condition determination unit 371 refers to the tag message output condition 393 of the received tag data 390, and waits until the output condition is satisfied. If it is determined that the output conditions are satisfied, the process proceeds to the next step.
  • step S133 the condition determination unit 371 requests the server 201 for the tag message 394 of the tag data 390 via the communication unit 314.
  • step S142 the tag management unit 451 receives the request via the communication unit 414. Based on the request, the tag management unit 451 reads the tag message 394 of the requested tag data 390 from the tag database 431, and sends the tag message 394 via the communication unit 414 to the telepresence device 110 which is the request source. Send to.
  • step S134 the tag message output unit 372 receives the tag message 394 transmitted from the server 201 via the communication unit 314.
  • step S135 the tag message output unit 372 outputs a tag message via the output device of the output unit 312 (for example, a display 111 with a touch panel, a speaker 171 or the like).
  • the output device of the output unit 312 for example, a display 111 with a touch panel, a speaker 171 or the like.
  • step S136 the tag deletion unit 373 requests the server 201 to delete the tag 151 that outputs the tag message via the communication unit 314.
  • step S144 the tag deletion request acquisition unit 454 of the server 201 receives the deletion request via the communication unit 414.
  • step S145 the tag management unit 451 deletes the tag data 390 of the requested tag 151 from the tag database 431.
  • the user 121 When deleting the tag once set, the user 121 inputs an instruction to delete the tag 151, for example, by operating the display 111 with a touch panel.
  • the tag deletion unit 364 of the telepresence device 110 receives the designation of the tag 151 to be deleted (which tag 151 is to be deleted) via the input unit 311.
  • the tag deletion unit 364 requests the server 201 to delete the designated tag 151 via the communication unit 314 in step S152.
  • the tag deletion request acquisition unit 454 of the server 201 receives the request via the communication unit 414 in step S161.
  • the tag management unit 451 deletes the tag 151 requested to be deleted from the tag database 431.
  • the user can easily delete the tag 151 by a general UI operation without the need for a dedicated tool or the like.
  • Second Embodiment> ⁇ Visualization of tags in your own space> ⁇ Superimposed display>
  • the tag associated with the own space may be visually recognized (visualized) by a communication partner or the like.
  • the display 111 with a touch panel may display the tagged image of its own space in a semi-transparent state by superimposing it on the image of the other space.
  • FIG. 15 is a diagram illustrating a display example in that case.
  • the image of the partner space 510 is displayed on the display 111A with a touch panel. From this image, the user 121A visually recognizes that the tag 521 is attached to the object 511, the tag 522 is attached to the communication partner user 121B, and the tag 523 is attached to the object 512 in the other party space 510. can do.
  • the image of the own space 530 is displayed in a semi-transparent state by superimposing it on the image of the partner space 520.
  • the user 121A is given the tag 541 to the object 531 and the tag 542 to the object 532, the tag 543 is given to the user 121A itself, and the tag 544 is given to the object 533 in the own space 530. You can see that you are there.
  • the image of the own space can be visually recognized while visually recognizing the image of the partner space. Further, since the image of the own space and the image of the partner space can be superimposed and displayed on one display, it is possible to suppress an increase in cost as compared with the case of using a plurality of displays. In addition, the image in the own space can be displayed larger than the case where the display area is divided and displayed.
  • the image of the own space may be a composite of a tag with the captured image, or may be a left-right inverted version of the captured image in which the tag is synthesized.
  • the user 121 can visually recognize the image of his / her own space (user 121 itself or behind it) with the same feeling as when looking at the "mirror", and suppresses the sense of discomfort. Can be done.
  • the image in the own space may be displayed without being superimposed on the image in the other space.
  • the image of the own space may be displayed on a display different from the display displaying the image of the other space.
  • the image of the own space and the image of the partner space may be displayed in different display areas of the display.
  • the display may be time-divided so that the image in the own space and the image in the partner space are alternately displayed.
  • the tag associated with the own space by the communication partner may be superimposed and displayed on the actual own space.
  • AR Augmented Reality
  • the tag associated with the own space by the communication partner may be superimposed and displayed on the target of the tag in the actual own space. ..
  • FIG. 16 is a diagram illustrating a display example in that case.
  • the tag 541 is attached to the object 531.
  • the tag 542 is attached to the object 532.
  • the tag 543 is attached to the user 121A itself.
  • the tag 544 is attached to the object 533.
  • these tags are displayed using AR technology and cannot be visually recognized without using AR technology.
  • User 121A wears an AR glass 561 corresponding to AR and looks at his / her own space through the AR glass 561.
  • the AR glass 561 uses AR technology to superimpose and display a tag associated with its own space by a communication partner on an actual tag assignment target in its own space. Therefore, the user 121A can visually recognize these tags (tags 541 to 544) attached to the own space through the AR glass 561.
  • the tag can be displayed only to those who are wearing AR glasses.
  • the specifications of the telepresence device are arbitrary and are not limited to the above example (telepresence device 110).
  • it may be a telepresence device that shares a desktop area (work area) as shown in FIG.
  • the telepresence device 710A shown in FIG. 17 includes a display 711A for displaying an image of the partner space, a desktop area 712A shared with a communication partner, and a camera 713A for capturing an image of the own space.
  • the telepresence device 710B includes a display 711B that displays an image of the other party's space, a desktop area 712B that is shared with the communication partner, and a camera 713B that images the own space.
  • the telepresence device 710A and the telepresence device 710B when it is not necessary to distinguish the telepresence device 710A and the telepresence device 710B from each other, they are referred to as the telepresence device 710.
  • the display 711A and the display 711B are referred to as a display 711.
  • the desktop area 712A and the desktop area 712B are referred to as a desktop area 712.
  • the camera 713A and the camera 713B are referred to as a camera 713.
  • the telepresence device 710A and the telepresence device 710B have a communication function similar to the telepresence device 110, and can communicate with a communication partner.
  • the display 711A displays an image of the partner space captured by the camera 713B.
  • the display 711B displays an image of the partner space captured by the camera 713A.
  • the desktop area 712 can display an image and project an image. Further, in the desktop area 712, operations by the user 121 and the like are detected by various sensors. That is, the desktop area 712 is an area where input and output are possible, and substantially functions as an input device and an output device.
  • the information of the desktop area 712 is shared with the telepresence device 710 of the communication partner. That is, for example, the result for the input made in the desktop area 712A is not only displayed in the desktop area 712A but also reflected in the desktop area 712B. The reverse is also true. As a result, the user 121A and the user 121B can easily collaborate using the desktop area 712.
  • the telepresence system 700 using such a telepresence device 710 may also be capable of communicating using tags, as in the case of the telepresence system 100 described above.
  • the tag management is performed by the server 201, but the tag management may be performed by the telepresence device. That is, the tag database 431 may be provided in the telepresence device, and the telepresence device may realize the function of the tag management unit 451.
  • this technology is a transmitter or receiver (for example, a television receiver or mobile phone) for satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, or It can be applied to various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • devices for example, hard disk recorders and cameras
  • a processor as a system LSI (Large Scale Integration) or the like (for example, a video processor), a module using a plurality of processors (for example, a video module), a unit using a plurality of modules (for example, a video unit)
  • a processor as a system LSI (Large Scale Integration) or the like
  • a module using a plurality of processors for example, a video module
  • a unit using a plurality of modules for example, a video unit
  • it can be implemented as a configuration of a part of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the above-mentioned series of processes can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and may be executed in parallel or in calls. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • An input unit that accepts information input by the user in the user's space, and An information processing device including a generation unit that uses the information received by the input unit to generate tag information that associates control information for controlling the occurrence of an event with respect to the communication partner of the user with the space of the communication partner.
  • the input unit receives the designation of the target to which the tag information is associated, and receives the designation.
  • the information processing device according to (1), wherein the generation unit generates the tag information associated with the target received by the input unit.
  • the information processing device according to (2), wherein the target is a predetermined place in the space of the communication partner.
  • the information processing device according to (2), wherein the target is a predetermined object in the space of the communication partner.
  • the input unit is A display that displays the space of the communication partner in the space of the user, and A touch panel that is superimposed on the display and detects a contact position in the space of the communication partner displayed on the display in order to specify the target is provided.
  • the information processing device according to (2), wherein the generation unit generates the tag information corresponding to the target in the space of the communication partner corresponding to the position of contact with the user detected by the touch panel.
  • the input unit specifies a position in the depth direction of the target communication partner designated by the user according to the length of time that the user touches the touch panel (5).
  • the input unit accepts the designation of the event occurrence condition and receives it.
  • the information processing device wherein the generation unit generates the tag information that associates the control information including the generation condition received by the input unit with the space of the communication partner.
  • the input unit receives the designation of the event and receives the designation.
  • the information processing device wherein the generation unit generates the tag information that associates the control information including the designation of the event received by the input unit with the space of the communication partner.
  • An imaging unit that images the user's space and generates an image of the user's space.
  • a display unit that displays an image captured in the space of the communication partner in the space of the user, and The information processing apparatus according to (1), further comprising a communication unit that supplies an image captured in the space of the user generated by the image capturing unit and acquires an image captured in the space of the communication partner. (10) Accepting the input of information by the user in the user's space, An information processing method that uses the received information to generate tag information that associates control information that controls the occurrence of an event with respect to the communication partner of the user with the space of the communication partner.
  • Tag information that associates control information for controlling the occurrence of an event with respect to the communication partner with the space of the communication partner, and specifies the event occurrence condition specified by the tag information associated with the user's space.
  • a judgment unit that determines whether or not the information is satisfied, and
  • the occurrence condition is that the communication partner is located in the vicinity of the place associated with the tag, or that the communication partner comes into contact with an object associated with the tag (11).
  • (13) The information processing apparatus according to (11), wherein the generation condition is a condition relating to the environment in the space of the communication partner.
  • the information processing apparatus wherein the generation condition is a condition related to time.
  • the event is a display of a message to the communication partner or an audio output.
  • An imaging unit that images the user's space and generates an image of the user's space.
  • a display unit that displays an image captured in the space of the communication partner in the space of the user, and
  • the information processing apparatus according to (11), further including a communication unit that supplies an image captured in the space of the user generated by the image capturing unit and acquires an image captured in the space of the communication partner.
  • the information processing device wherein the display unit further displays the tag information associated with the user's space by the communication partner.
  • 100 telepresence system 110 telepresence device, 111 display with touch panel, 112 camera, 121 user, 130 space, 131 to 133 objects, 140 space, 141 and 142 objects, 151 tags, 161 to 163 objects, 171 speakers, 201 servers , 202 network, 351 tag input processing unit, 352 tag output processing unit, 361 tag generation unit, 362 tag registration unit, 363 tag icon output unit, 364 tag deletion unit, 371 condition judgment unit, 372 tag message output unit, 373 tag Delete part, 390 tag data, 391 ID, 392 tag addition target, 393 tag message output condition, 394 tag message, 395 tag icon, 431 tag database, 451 tag management part, 452 tag acquisition part, 453 tag supply part, 454 tag Deletion request acquisition unit, 510 partner space, 511 and 512 objects, 521 to 523 tags, 530 own space, 531 to 533 objects, 541 to 544 tags, 561 AR glasses, 700 telepresence system, 710 telepresence device,

Abstract

本開示は、より多様なコミュニケーションを実現することができるようにする情報処理装置および方法に関する。 ユーザの空間においてそのユーザによる情報の入力を受け付け、その受け付けられた情報を用いて、そのユーザの通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報を生成する。また、通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられたタグ情報により指定される、そのイベントの発生条件を満たすか否かを判定し、その発生条件を満たすと判定された場合、そのタグ情報により指定されるイベントを発生させる。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、より多様なコミュニケーションを実現することができるようにした情報処理装置および方法に関する。
　従来、互いに遠隔地に居るユーザ同士がコミュニケーションをとるためのテレプレゼンスシステムが考えられた（例えば特許文献１参照）。
特開２００２－３００６０２号公報
　しかしながら、従来のテレプレゼンスシステムにおいては、互いの画像および音声を授受し合うのみであり、リアルタイムのコミュニケーションを行うことしかできなかった。そのため、より多様なコミュニケーション手法が求められていた。
　本開示は、このような状況に鑑みてなされたものであり、より多様なコミュニケーションを実現することができるようにするものである。
　本技術の一側面の情報処理装置は、ユーザの空間において前記ユーザによる情報の入力を受け付ける入力部と、前記入力部により受け付けられた前記情報を用いて、前記ユーザの通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報を生成する生成部とを備える情報処理装置である。
　本技術の一側面の情報処理方法は、ユーザの空間において前記ユーザによる情報の入力を受け付け、受け付けられた前記情報を用いて、前記ユーザの通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報を生成する情報処理方法である。
　本技術の他の側面の情報処理装置は、通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられた前記タグ情報により指定される、前記イベントの発生条件を満たすか否かを判定する判定部と、前記判定部により前記発生条件を満たすと判定された場合、前記タグ情報により指定される前記イベントを発生させるイベント発生部とを備える情報処理装置である。
　本技術の他の側面の情報処理方法は、通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられた前記タグ情報により指定される、前記イベントの発生条件を満たすか否かを判定し、前記発生条件を満たすと判定された場合、前記タグ情報により指定される前記イベントを発生させる情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、ユーザの空間においてそのユーザによる情報の入力を受け付け、その受け付けられた情報を用いて、そのユーザの通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報を生成する。
　本技術の他の側面の情報処理装置および方法においては、通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられたタグ情報により指定される、イベントの発生条件を満たすか否かを判定し、その発生条件を満たすと判定された場合、そのタグ情報により指定されるイベントを発生させる。
テレプレゼンスシステムの概要を説明する図である。 テレプレゼンスシステムの概要を説明する図である。 タグの概要を説明する図である。 タグ生成の例を説明する図である。 イベント発生の例を説明する図である。 テレプレゼンスシステムの主な構成例を示すブロック図である。 テレプレゼンス装置の主な構成例を示すブロック図である。 テレプレゼンス装置が実現する主な機能例を示す機能ブロック図である。 タグの主な構成例を示す図である。 サーバの主な構成例を示すブロック図である。 サーバが実現する主な機能例を示す機能ブロック図である。 タグ登録処理の流れの例を説明するフローチャートである。 イベント発生処理の流れの例を説明するフローチャートである。 タグ削除処理の流れの例を説明するフローチャートである。 タグの表示例を説明する図である。 タグの表示例を説明する図である。 テレプレゼンスシステムの他の例を説明する図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（テレプレゼンスシステム）
　２．第２の実施の形態（その他の例）
　３．付記
　＜１．第１の実施の形態＞
　　＜テレプレゼンスシステム＞
　図１は、本技術を適用した通信システム（情報処理システム）の一実施の形態であるテレプレゼンスシステムの概要を説明する図である。
　テレプレゼンスシステム１００は、互いに遠隔地にいるユーザ同士がコミュニケーションとるための通信システムである。テレプレゼンスシステム１００は、端末装置として複数のテレプレゼンス装置を有する。例えば、図１の場合、テレプレゼンスシステム１００は、テレプレゼンス装置１１０Ａおよびテレプレゼンス装置１１０Ｂを有する。このテレプレゼンス装置１１０Ａおよびテレプレゼンス装置１１０Ｂは、互いに遠隔地に設置されている。
　本明細書において、遠隔地とは、ある基準地点に対して異なる位置の地点を示す。そして、互いに遠隔地となる複数の地点の各空間は、互いに独立しているといえる状態にあるものとする。例えば、各地点の空間は、天井、床、壁、何らかのオブジェクト（例えばテレプレゼンス装置自身も含む）等の障害物により、その一部または全部が他の地点の空間から物理的に遮られたり、他の地点の空間から十分に離れていたりするものとする。そして、互いに遠隔地のユーザ同士は、テレプレゼンスシステム１００を介してコミュニケーションをとるものとし、直接声や身振り等でコミュニケーションをとることをしないものとする。
　テレプレゼンス装置１１０Ａは、タッチパネル付きディスプレイ１１１Ａおよびカメラ１１２Ａを備える。テレプレゼンス装置１１０Ａは、その他、マイクロホンやスピーカ等も備えるが図示は省略する。同様に、テレプレゼンス装置１１０Ｂは、タッチパネル付きディスプレイ１１１Ｂおよびカメラ１１２Ｂを備える。テレプレゼンス装置１１０Ｂは、その他、マイクロホンやスピーカ等も備えるが図示は省略する。
　カメラ１１２Ａは、テレプレゼンス装置１１０Ａの前方の空間、例えばテレプレゼンス装置１１０Ａのユーザ１２１Ａやその周辺等を撮像する。同様に、カメラ１１２Ｂは、テレプレゼンス装置１１０Ｂの前方の空間、例えばテレプレゼンス装置１１０Ｂのユーザ１２１Ｂやその周辺等を撮像する。テレプレゼンス装置１１０Ａおよびテレプレゼンス装置１１０Ｂは、互いに通信を行い、カメラ１１２Ａにおいて生成された撮像画像のデータや、カメラ１１２Ｂにおいて生成された撮像画像のデータを授受する。
　そして、タッチパネル付きディスプレイ１１１Ａには、カメラ１１２Ｂにおいて生成された撮像画像、すなわち、テレプレゼンス装置１１０Ｂの前方の空間の撮像画像が表示される。タッチパネル付きディスプレイ１１１Ｂには、カメラ１１２Ａにおいて生成された撮像画像、すなわち、テレプレゼンス装置１１０Ａの前方の空間の撮像画像が表示される。
　なお、テレプレゼンス装置１１０Ａおよびテレプレゼンス装置１１０Ｂは、この通信により、互いのマイクロホンで集音した音声データも交換し、互いのスピーカより音声出力する。
　このように、テレプレゼンス装置１１０Ａおよびテレプレゼンス装置１１０Ｂが、各装置が配置された空間の画像や音声（例えば各ユーザの画像や音声）を授受し合うことにより、互いに遠隔地に居るユーザ１２１Ａおよびユーザ１２１Ｂは、このテレプレゼンスシステムを介して、コミュニケーションをとることができる。
　なお、タッチパネル付きディスプレイ１１１Ａは、画像を表示するディスプレイにタッチパネルが重畳されている。このタッチパネルは、タッチパネル付きディスプレイ１１１Ａの表示面の、ユーザ１２１Ａ等が接触した位置を検出する。換言するに、ユーザ１２１Ａは、タッチパネル付きディスプレイ１１１Ａの表示面に接触することにより、このタッチパネルを介して、指示や情報等の入力操作を行うことができる。
　同様に、タッチパネル付きディスプレイ１１１Ｂは、画像を表示するディスプレイにタッチパネルが重畳されている。このタッチパネルは、タッチパネル付きディスプレイ１１１Ｂの表示面の、ユーザ１２１Ｂ等が接触した位置を検出する。換言するに、ユーザ１２１Ｂは、タッチパネル付きディスプレイ１１１Ｂの表示面に接触することにより、このタッチパネルを介して、指示や情報等の入力操作を行うことができる。
　以下において、テレプレゼンス装置１１０Ａとテレプレゼンス装置１１０Ｂとを互いに区別して説明する必要がない場合、テレプレゼンス装置１１０と称する。同様に、タッチパネル付きディスプレイ１１１Ａとタッチパネル付きディスプレイ１１１Ｂとを互いに区別して説明する必要がない場合、タッチパネル付きディスプレイ１１１と称する。また、カメラ１１２Ａおよびカメラ１１２Ｂを互いに区別して説明する必要がない場合、カメラ１１２と称する。そして、ユーザ１２１Ａとユーザ１２１Ｂとを互いに区別して説明する必要がない場合、ユーザ１２１と称する。
　テレプレゼンスシステム１００は、遠隔地ユーザ同士を「あたかも同じ空間にいるかのような」自然なコミュニケーション、例えば、特段の目的や時間枠等を持たず、双方の空間にいるユーザで構成するチームやコミュニティの関係性の質を向上させることを意図して、常時、高臨場感通信を行うものである。
　タッチパネル付きディスプレイ１１１には、テレプレゼンス装置１１０同士が接続している間、通信相手側のカメラ１１２が撮像した通信相手側の空間（相手空間とも称する）の画像が常時表示される。
　例えば、図２に示されるように、ユーザ１２１Ａ側の空間１３０に設置されたタッチパネル付きディスプレイ１１１Ａには、カメラ１１２Ｂにより撮像されたユーザ１２１Ｂ側の空間１４０の撮像画像が常時表示される。つまり、その空間１４０内のユーザ１２１Ｂ、オブジェクト１４１、オブジェクト１４２等の画像が、タッチパネル付きディスプレイ１１１Ａに表示される。
　これにより、空間１３０に居るユーザ１２１Ａには、あたかも、タッチパネル付きディスプレイ１１１Ａの奥側に、空間１４０に対応する空間１４０’が存在するように感じられる。例えば、ユーザ１２１Ａには、ユーザ１２１Ｂに対応するユーザ１２１Ｂ’、オブジェクト１４１に対応するオブジェクト１４１’、オブジェクト１４２に対応するオブジェクト１４２’等がタッチパネル付きディスプレイ１１１Ａの奥側に存在するように感じられる。
　同様に、ユーザ１２１Ｂ側の空間１４０に設置されたタッチパネル付きディスプレイ１１１Ｂには、カメラ１１２Ａにより撮像されたユーザ１２１Ａ側の空間１３０の撮像画像が常時表示される。つまり、その空間１３０内のユーザ１２１Ａ、オブジェクト１３１、オブジェクト１３２、オブジェクト１３３等の画像が、タッチパネル付きディスプレイ１１１Ｂに表示される。
　これにより、空間１４０に居るユーザ１２１Ｂには、あたかも、タッチパネル付きディスプレイ１１１Ｂの奥側に、空間１３０に対応する空間１３０’が存在するように感じられる。例えば、ユーザ１２１Ｂには、ユーザ１２１Ａに対応するユーザ１２１Ａ’、オブジェクト１３１に対応するオブジェクト１３１’、オブジェクト１３２に対応するオブジェクト１３２’、オブジェクト１３３に対応するオブジェクト１３３’等がタッチパネル付きディスプレイ１１１Ｂの奥側に存在するように感じられる。
　つまり、ユーザ１２１Ａおよびユーザ１２１Ｂは、互いが（つまり、通信相手のユーザ１２１が）「あたかも同じ空間（空間１３０および空間１４０からなる１つの空間）にいるかのような」感覚を得ることができ、より自然なコミュニケーションをとることができる。
　これにより、遠隔地にいるユーザ１２１同士の信頼感や関係性の質を向上させることができ、コミュニティや組織内のチームを強化していくことができる。
　　＜撮像画像によるコミュニケーション＞
　しかしながら、このような互いの撮像画像や音声の授受では、リアルタイムな（即時的な）コミュニケーションを行うことは容易に可能であるが、各地点のユーザ同士が同時刻に対面してやりとりを行う必要があった。そのため、非リアルタイムな（非即時的な）コミュニケーションを実現することは困難であった。例えば、ある時刻に一方のユーザが他方のユーザに対するメッセージを残し、その他方のユーザがその後の時刻にそのメッセージを受け取る等といった情報の授受を実現することが困難であった。
　　＜デジタル付箋＞
　従来、個人での作業やToDo整理を目的として、２Ｄのデスクトップ領域（x,y）に対してマウス操作等で任意のメモを付与する「デジタル付箋」があった。また、このようなデジタル付箋を複数ユーザで編集できるサービスもあった。さらに、仮想ホワイトボード領域にデジタル付箋を配置し、記録や再呼び出しができるものもあった。
　しかしながら、このようなデジタル付箋は、複数のユーザが共通に作業する領域が必要であり、テレプレゼンスシステム１００のような、互いの空間の撮像画像を表示し合うようなシステムにおける実現方法は考えられていなかった。
　なお、専用のゴーグルやグローブ等を用いて３次元空間にタグを配置する方法もあるが、コストが増大するおそれがあるだけでなく、道具の装着によりユーザに不自然な感覚や不快感を与えてしまうおそれがあった。また、通信相手に対しても視覚的に違和感を与えてしまうおそれがあった。
　　＜タグ情報を用いたコミュニケーション＞
　そこで、タグ情報を用いてコミュニケーションをとることができるようにする。例えば、ユーザの空間においてそのユーザによる情報の入力を受け付け、その受け付けられた情報を用いて、そのユーザの通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報を生成する。
　例えば、情報処理装置において、ユーザの空間においてそのユーザによる情報の入力を受け付ける入力部と、その入力部により受け付けられた情報を用いて、そのユーザの通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報を生成する生成部とを備えるようにする。
　また、例えば、通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられたタグ情報により指定される、そのイベントの発生条件を満たすか否かを判定し、その発生条件を満たすと判定された場合、そのタグ情報により指定されるイベントを発生させる。
　例えば、情報処理装置において、通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられたタグ情報により指定される、そのイベントの発生条件を満たすか否かを判定する判定部と、その判定部によりその発生条件を満たすと判定された場合、そのタグ情報により指定される前記イベントを発生させるイベント発生部とを備えるようにする。
　このようにすることにより、ユーザは、常時接続による様々な人と人の組み合わせや偶発的コミュニケーションが生まれる一方で、合いたい人、話したい人に、伝えたいこと、伝えたいものを効率的、効果的に伝達するためのタグ情報（付加情報）を、ディスプレイ境界面を通じて、簡易に配置することができる。
　例えば、遠隔地に居るユーザ同士が、常時、特定の目的や時間的制約を持たずに、お互いの生活／オフィス空間を接続しているシーンにおいて、空間内でディスプレイが設置されている場所、さらにはそのディスプレイ面上の任意の点（x,y）や、３Ｄの奥行や物体配置を持つ双方の空間内の任意の点（x,y,z）や領域に対して、そのディスプレイ上へのタッチ操作および音声入力といった、自然かつ簡易な手法でタグ情報（付加情報）を設定することができる。また、その情報を受け取ったユーザが新たな次の行動を誘導されることによって、より効果的な相互インタラクションの活性化を実現できる。
　　＜タグ情報入力＞
　タグ情報（タグとも称する）は、上述のように、通信相手に対するイベントの発生を制御する制御情報をその通信相手の空間に対応付ける機能である。例えば、図３のＡの場合、ユーザ１２１Ａは、タッチパネル付きディスプレイ１１１Ａに表示される相手空間に対応付けるタグをテレプレゼンス装置１１０に生成させ、そのタグに、通信相手に対するイベントの発生を制御する制御情報を含める。
　　　＜付与対象指定＞
　ユーザ１２１は、タグを対応付ける対象（タグを付与する対象）を、タッチパネル付きディスプレイ１１１に表示される相手空間の中から指定する。例えば、ユーザ１２１は、タッチパネル付きディスプレイ１１１（のタッチパネル）を操作して、つまり、タッチパネル付きディスプレイ１１１に接触する等して、タグを対応付ける対象を指定する。
　テレプレゼンス装置１１０は、タッチパネルによりその指定を受け付け、その指定された対象に付与するタグを生成する。例えば、テレプレゼンス装置１１０が有するセンサ（タッチパネル等）は、ふと思い立ってメッセージタグを付与しようとするユーザのコンテキスト（状態、状況）情報、および、タッチ入力操作を認識し、相手側空間のタグ付け対象候補より所望の対象を選択する。
　この対象は、相手空間内であれば任意である。例えば、タグを対応付ける対象を、相手空間内の所定の物体をとしてもよい。例えば、図３のＡの場合、ユーザ１２１Ａは、タグ１５１－１乃至タグ１５１－４を生成し、それらを相手空間に対応付ける。図３のＢに示されるように、タグ１５１－１は、タッチパネル付きディスプレイ１１１Ｂに付与されている。タグ１５１－２は、オブジェクト１４１に付与されている。タグ１５１－３は、ユーザ１２１Ｂに付与されている。また、タグ１５１－４は、オブジェクト１４２に付与されている。なお、タグ１５１－１乃至タグ１５１－４を互いに区別して説明する必要がない場合、タグ１５１と称する。
　ユーザ１２１によって入力、生成されたタグ１５１は、空間座標、作成ユーザ、宛先ユーザ、イベントの発生条件、といった多次元的な情報として、後述するサーバのタグデータベースに登録される。
　このように、相手空間の任意の物体にタグ１５１を付与することができる。この場合、物体がどの位置に移動しても、タグ１５１はその物体に付与されたままとなる。つまりその物体の移動とともにタグ１５１も移動する。付言するに、タグ１５１は、ユーザ１２１Ｂのように、動体に付与することもできる。
　なお、このユーザ１２１Ｂのように、相手空間の外に出ることが可能な物体の場合、タグ１５１は、その物体（ユーザ１２１Ｂ）が相手空間内に位置する間のみ付与されるようにしてもよい。例えば、タグ１５１が付与されたユーザ１２１Ｂが相手空間の外に出ると、そのタグ１５１がユーザ１２１Ｂから外された状態となり、発生条件に関わらずそのタグ１５１によるイベントは発生しない状態となる。そして、ユーザ１２１Ｂが相手空間内に再入場した場合、そのユーザ１２１Ｂにそのタグ１５１が再度付与され、そのタグ１５１によるイベントの発生が可能な状態となる。このような制御を行うようにしてもよい。
　なお、タグ１５１を対応付ける対象を、相手空間内の所定の位置とすることもできる。つまり、相手空間の任意の位置にタグを付与することができるようにしてもよい。この場合、例えばオブジェクトを移動させたとしても、タグ１５１は移動しない。また、この場合、タグ１５１は、オブジェクトが存在しない場所、例えば空中等にも付与することができる。
　上述のように、タグ１５１を対応付ける対象は、ユーザ１２１がタッチパネル付きディスプレイ１１１に接触することにより指定される。つまり、ユーザ１２１は、タッチパネル付きディスプレイ１１１の所定の位置（x,y）に接触すると、テレプレゼンス装置１１０は、タッチパネルによりその位置（x,y）を検出し、その位置に対応する、相手空間の位置や物体に付与するタグ情報を生成する。
　例えば、図４の場合、タグ１５１－１１は、ユーザ１２１Ａが指定した位置（x,y）のタッチパネル付きディスプレイ１１１Ｂに付与される。また、タグ１５１－１２は、タッチパネル付きディスプレイ１１１Ａの、ユーザ１２１Ａが指定した位置（x,y）に表示されるオブジェクト１６１に付与される。さらに、タグ１５１－１３は、タッチパネル付きディスプレイ１１１Ａの、ユーザ１２１Ａが指定した位置（x,y）に表示されるオブジェクト１６２に付与される。これらのタグ１５１－１１乃至タグ１５１－１３も、互いに区別して説明する必要がない場合、タグ１５１と称する。
　例えば、３Ｄデプスセンサや画像内SLAM（Simultaneous Localization and Mapping）技術等によって空間の奥行や物体配置を認識することにより、奥行き方向について、対象となる位置や物体を選択することができる。つまり、ディスプレイ面上の任意の箇所（x,y）はもちろん、奥にある空間（x,y,z）や動的に変動する物体や人物に関連付けて設定することができる。
　タグ１５１を付与する対象とする位置や物体の奥行き方向（ｚ）についての指定は、ユーザ１２１がタッチパネル付きディスプレイ１１１に手などを接触させる時間の長さに応じて行われるようにしてもよい。つまり、テレプレゼンス装置１１０は、ユーザ１２１がタグ１５１を付与する対象を指定する際にタッチパネル付きディスプレイ１１１に接触する時間を計測し、その時間の長さに応じて、奥行き方向（ｚ）について、ユーザ１２１が指定する対象を特定するようにしてもよい。
　例えば、図４のようにタグ１５１を付与する対象として物体を指定する場合、タグ１５１－１４は、その位置（x,y）に対応するオブジェクト１６２およびオブジェクト１６３の内、ユーザ１２１Ａがタッチパネル付きディスプレイ１１１Ａに手等を接触させた時間の長さに応じた方のオブジェクトに付与される。
　例えば、この接触時間が所定の閾値以下の場合、オブジェクト１６２がタグ１５１－１４の付与対象として選択され、その接触時間がその閾値より長い場合、オブジェクト１６３がタグ１５１－１４の付与対象として選択されるようにしてもよい。また、逆に、この接触時間が所定の閾値以下の場合、オブジェクト１６３がタグ１５１－１４の付与対象として選択され、接触時間がその閾値より長い場合、オブジェクト１６２がタグ１５１－１４の付与対象として選択されるようにしてもよい。
　さらに、ユーザ１２１Ａがタッチパネル付きディスプレイ１１１Ａに接触している間、タグ１５１－１４の付与対象が所定の時間毎に切り替わるようにしてもよい。そして、ユーザ１２１Ａがタッチパネル付きディスプレイ１１１との接触を止めた時点（タッチパネル付きディスプレイ１１１Ａに接触させていた手等をそのタッチパネル付きディスプレイ１１１Ａから離した時点）において選択されているオブジェクト（オブジェクト１６２およびオブジェクト１６３のいずれか）が、タグ１５１－１４の付与対象として特定されるようにしてもよい。
　また、タグ１５１を付与する対象として位置を指定する場合、ユーザ１２１がタッチパネル付きディスプレイ１１１に手等を接触させた時間の長さに応じた奥行き方向の位置にタグ１５１が付与されるようにしてもよい。例えば、接触時間が短い程、より手前にタグ１５１が付与され、接触時間が長い程、より奥にタグ１５１が付与されるようにしてもよい。逆に、接触時間が長い程、より手前にタグ１５１が付与され、接触時間が短い程、より奥にタグ１５１が付与されるようにしてもよい。また、ユーザ１２１がタッチパネル付きディスプレイ１１１に接触している間、このようなタグ１５１の付与対象として指定される位置の変動を繰り返すようにしてもよいし、手前から奥、奥から手前のように往復してもよい。
　　　＜イベント発生条件指定＞
　このタグ情報は、相手空間において、所定の条件が満たされる場合にイベントを発生させる。ユーザ１２１は、そのイベントの発生条件（イベントを発動させるきっかけ）を指定することができる。例えば、ユーザ１２１は、タッチパネル付きディスプレイ１１１（のタッチパネル）に接触する等して、イベントの発生条件を指定する。テレプレゼンス装置１１０は、タッチパネルによりその指定を受け付け、その指定された発生条件に関する情報を含むタグを生成する。
　この発生条件（きっかけ）は任意である。例えば、通信相手のユーザがタグ１５１（または、タグ１５１を付与した対象）に触れた場合や、通信相手のユーザがタグ１５１（または、タグ１５１を付与した対象）の近傍に位置した場合を発生条件としてもよい。また、例えば、特定のユーザが相手空間に現れることを発生条件としてもよい。
　また、例えば、通信相手の空間内の環境に関する条件を発生条件としてもよい。例えば、相手空間内の環境情報（暗くなる、物音がする、気温が下がる等）の変化等を発生条件としてもよい。
　さらに、例えば、時刻に関する条件を発生条件としてもよい。例えば、所定の時間帯や時刻を発生条件としてもよい。
　　　＜イベント指定＞
　また、ユーザ１２１は、タグ１５１により発生させるイベントを指定することができる。例えば、ユーザ１２１は、タッチパネル付きディスプレイ１１１（のタッチパネル）に接触する等して、発生させるイベントを指定する。テレプレゼンス装置１１０は、タッチパネルによりその指定を受け付け、その指定されたイベントに関する情報を含むタグ１５１を生成する。
　イベントの内容は任意である。例えば、メッセージ（テキストおよび画像を含み得る）の表示であってもよいし、メッセージの読み上げ（音声出力）であってもよい。また、相手空間の照明制御（例えばオン・オフ、明るさの変更、色の変更等）であってもよいし、相手空間におけるBGM（Back Ground Music）制御（例えば、BGMの出力開始や出力停止、曲選択、音量調整等）であってもよい。さらに、相手空間の空調制御（オン・オフ、温度設定変更、動作種類（暖房・冷房・送風・乾燥等）の切り替え、風向き設定変更、風量設定変更等）であってもよい。また、物体の振動制御（例えば、メッセージに応じた振動等）であってもよい。もちろん、複数のイベントを組み合わせてもよい。
　　　＜複数タグ指定＞
　なお、相手空間内の複数の対象物（ディスプレイ（x,y）、空間（x,y,z）、物体、領域、人物等）を選択するには、例えば、タッチした座標で一定時間長押ししてタグ１５１を作成した後に、その指を上下左右に動かすことで、候補となる対象物が推薦され、所望の選択物が設定できたところで指（タッチ）を離すなどの操作により行うことができるようにしてもよい。
　　＜情報入力方法＞
　なお、このようなタグ１５１の生成に関する入力操作の方法は任意である。上述のようにユーザ１２１がタッチパネル付きディスプレイ１１１のタッチパネルを操作して情報や指示を入力するようにしてもよい。また、ユーザが、テレプレゼンス装置１１０が備えるその他の入力デバイス（例えば、キーボード、マウス、その他のタッチパネル、イメージセンサ、モーションセンサ、ボタン、スイッチ、レバー、マイクロホン等）を操作して情報や指示を入力するようにしてもよい。
　　＜イベント発生＞
　以上のように生成され、相手空間に付与されたタグ１５１は、図３のＡに示されるように、そのタグ１５１を生成したテレプレゼンス装置１１０のタッチパネル付きディスプレイ１１１には、相手空間の撮像画像に重畳して表示される。つまり、そのユーザの空間（自空間とも称する）においては、相手空間に付与されたタグ１５１を見ることができる。
　ただし、タグ１５１が付与された相手空間のテレプレゼンス装置１１０のタッチパネル付きディスプレイ１１１には、そのタグ１５１は基本的に表示されない。つまり、相手空間においては、基本的にそのタグ１５１が見ることができない。
　しかしながら、上述のように、タグ１５１に設定された発生条件を満たすと、そのタグ１５１に設定されたイベントが発生する。例えば、図５の場合、ユーザ１２１Ｂがタグ１５１－１３（ユーザ１２１Ｂには見えない）が付与されたオブジェクト１６２に接触すると、そのタグ１５１－１３のイベント発生条件を満たし、そのタグ１５１－１３に設定されたイベント、この場合、「Hello!! Tom!」のメッセージを読み上げる音声が、テレプレゼンス装置１１０Ｂのスピーカ１７１より出力される。
　なお、イベントの発生は、テレプレゼンス装置１１０以外において行われてもよい。例えば、タグの付与対象となるオブジェクトに具備されたスピーカ、インジケータ、アクチュエータ等により、イベントを発生させる（例えばメッセージや情報の読み上げ等）ようにしてもよい。また、例えば、照明や空調の駆動制御等（オン・オフ、設定変更等）をイベントとしてもよい。
　このように、タグ１５１を付与することにより、発生条件に基づいてイベントを発生させることができ、非リアルタイムなコミュニケーションを実現することができる。例えば、通信相手のユーザが相手空間に不在の時に、自空間のユーザが図５の例のようなタグ１５１を相手空間に付与し、その後、通信相手のユーザが相手空間に入場し、イベント発生条件が満たされた時に、メッセージを出力することができる。したがって、より多様なコミュニケーションを実現することができる。
　　＜タグの視認＞
　なお、図５の例の場合、上述したように、ユーザ１２１Ｂは、タグ１５１－１３が見えておらず、イベントの発生条件は勿論のこと、タグ１５１－１３の存在すら把握していない状態でイベントを発生させている。つまり、ユーザ１２１Ｂにとっては、意図せず、メッセージの音声出力が行われることになる。このように、タグ１５１を用いることにより、サプライズ性等のエンターテインメント性を持たせたコミュニケーションを実現することができる。
　なお、通信相手により自空間に付与されたタグ１５１をユーザ１２１が視認することができるようにしてもよい。例えば、プロジェクタ等を用いて、タグ１５１の付与対象とされるオブジェクトにそのタグ１５１を表示するようにしてもよい。また、タッチパネル付きディスプレイ１１１に付与されているタグ１５１のみ、タッチパネル付きディスプレイ１１１に表示するようにしてもよい。例えば、図３のＡの場合、タグ１５１－１のみが、タッチパネル付きディスプレイ１１１Ｂに表示されるようにしてもよい。
　　＜タグ情報を用いたコミュニケーションの特徴＞
　以上のように、タグ１５１を用いたコミュニケーションは、遠隔地にいるユーザ（含む同一空間にいるユーザ）同士が、常時、特定の目的や時間的制約を持たずに、お互いの生活空間やオフィス空間を接続しているシーンにおいて、利用することができる。
　また、タグ１５１は、空間内でディスプレイが設置されている場所、さらにはそのディスプレイ面上の任意の点（x,y）や、３Ｄの奥行や物体配置を持つ双方の空間内の任意の点（x,y,z）や領域に対して、そのディスプレイ上へのタッチ操作および音声入力といった自然かつ簡易な手法で設定することができる。
　さらに、その情報を受け取ったユーザが新たな次の行動を誘導されることによって、より効果的な相互インタラクションの活性化を実現できる。
　上述したテレプレゼンスシステム１００のテレプレゼンス装置１１０は、空間に溶け込むように（例えば、あたかも窓であるかのように）設置することができ、操作の際も特殊な機材の仕様や装着が不要で、タッチ操作や音声入力といった自然な手法のみで実現できる。
　　＜テレプレゼンスシステム構成＞
　図６は、テレプレゼンスシステム１００の主な構成例を示す図である。図６に示されるように、テレプレゼンスシステム１００は、複数のテレプレゼンス装置１１０とサーバ２０１を有する。
　図６においては、テレプレゼンス装置１１０Ａおよびテレプレゼンス装置１１０Ｂが示されているが、テレプレゼンスシステム１００を構成するテレプレゼンス装置１１０の数は、２台以上であれば任意である。つまり、テレプレゼンスシステム１００が、テレプレゼンス装置１１０を３台以上有するようにしてもよい。
　各テレプレゼンス装置１１０は、通信を行う各地点（互いに遠隔地）に設置される。各テレプレゼンス装置１１０およびサーバ２０１は、互いにネットワーク２０２を介して通信可能に接続される。
　サーバ２０１は、テレプレゼンス装置１１０間の通信におけるタグ情報に関するサービスを提供する。より具体的には、サーバ２０１は、各テレプレゼンス装置１１０において生成されるタグ情報の管理を行う。
　ネットワーク２０２は、任意の通信媒体により構成される通信網である。ネットワーク２０２を介して行われる通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。つまり、ネットワーク２０２が、有線通信用の通信網であってもよいし、無線通信用の通信網であってもよいし、それらの両方により構成される通信網であってもよい。また、ネットワーク２０２が、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。
　例えば、インターネットがこのネットワーク２０２に含まれるようにしてもよい。また、公衆電話回線網がこのネットワーク２０２に含まれるようにしてもよい。さらに、所謂3G回線や4G回線等の無線移動体用の広域通信網がこのネットワーク２０２に含まれるようにしてもよい。また、WAN（Wide Area Network）やLAN（Local Area Network）等がこのネットワーク２０２に含まれるようにしてもよい。さらに、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網がこのネットワーク２０２に含まれるようにしてもよい。また、NFC（Near Field Communication）等の近距離無線通信の通信路がこのネットワーク２０２に含まれるようにしてもよい。さらに、赤外線通信の通信路がこのネットワーク２０２に含まれるようにしてもよい。また、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）（登録商標）等の規格に準拠した有線通信の通信網がこのネットワーク２０２に含まれるようにしてもよい。このようにネットワーク２０２は、任意の通信規格の通信網や通信路を含み得る。
　各テレプレゼンス装置１１０およびサーバ２０１は、それぞれ、有線通信若しくは無線通信、またはその両方によりネットワーク２０２に接続される。
　以下においては、イベントの一例としてメッセージの出力（表示や音声出力等）を用いて説明する。
　　＜テレプレゼンス装置の構成＞
　図７は、テレプレゼンス装置１１０の主な構成例を示すブロック図である。図７に示されるテレプレゼンス装置１１０において、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４を介して相互に接続されている。
　バス３０４にはまた、入出力インタフェース３１０も接続されている。入出力インタフェース３１０には、入力部３１１、出力部３１２、記憶部３１３、通信部３１４、およびドライブ３１５が接続されている。
　入力部３１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、イメージセンサ（例えば、カメラ１１２等）、モーションセンサ、その他各種センサ等、任意の入力デバイスを含み得る。また、入力部３１１が入力端子を含むようにしてもよい。出力部３１２は、例えば、ディスプレイ（例えば、タッチパネル付きディスプレイ１１１）、プロジェクタ、スピーカ（例えばスピーカ１７１）等、任意の出力デバイスを含み得る。また、出力部３１２が出力端子を含むようにしてもよい。
　記憶部３１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等、任意の記憶媒体と、その記憶媒体に対する情報の書き込みや読み出しを行う記憶制御部を備える。通信部３１４は、例えば、ネットワークインタフェースよりなる。ドライブ３１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等、任意のリムーバブルメディア３２１を駆動し、そのリムーバブルメディアに対する情報の書き込みや読み出しを行う。
　以上のように構成されるテレプレゼンス装置１１０では、CPU３０１が、例えば、記憶部３１３に記憶されているプログラムを、入出力インタフェース３１０およびバス３０４を介して、RAM３０３にロードして実行することにより、後述する機能ブロックで示される各種機能を実現する。RAM３０３にはまた、CPU３０１がプログラムの各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア３２１をドライブ３１５に装着することにより、入出力インタフェース３１０を介して、記憶部３１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部３１４で受信し、記憶部３１３にインストールすることができる。
　その他、このプログラムは、ROM３０２や記憶部３１３に、あらかじめインストールしておくこともできる。
　　＜テレプレゼンス装置の機能ブロック＞
　以上のようなテレプレゼンス装置１１０において、CPU３０１がプログラムを実行することにより、例えば図８に示されるような機能ブロックで示される機能を実現する。つまり、テレプレゼンス装置１１０は、機能ブロックとして、タグ入力処理部３５１およびタグ出力処理部３５２を備える。
　タグ入力処理部３５１は、タグ１５１の生成に関する情報等の入力の受け付けに関する処理を行う。タグ出力処理部３５２は、タグ１５１の出力、すなわち、タグ１５１により示されるイベントの発生に関する処理を行う。
　タグ入力処理部３５１は、タグ生成部３６１、タグ登録部３６２、タグアイコン出力部３６３、およびタグ削除部３６４を有する。
　タグ生成部３６１は、タグ１５１の生成に関する処理を行う。タグ登録部３６２は、タグ１５１のサーバ２０１（後述するタグデータベース４３１）への登録に関する処理を行う。タグアイコン出力部３６３は、タグ１５１のアイコン（タグ１５１を示す表示用画像）の出力に関する処理を行う。タグ削除部３６４は、登録済みのタグ１５１のサーバ２０１（後述するタグデータベース４３１）からの削除に関する処理を行う。
　タグ出力処理部３５２は、条件判定部３７１、タグメッセージ出力部３７２、およびタグ削除部３７３を有する。
　条件判定部３７１は、タグメッセージの出力（つまりイベントの発生）についての条件の判定に関する処理を行う。タグメッセージ出力部３７２は、タグ１５１により指定されるイベントであるタグメッセージの出力（つまりイベントの発生）に関する処理を行う。タグ削除部３６４は、登録済みのタグ１５１のサーバ２０１（後述するタグデータベース４３１）からの削除に関する処理を行う。
　　＜タグデータの構成＞
　図９は、図８のタグ生成部３６１により生成されるタグ１５１のデータ（タグデータとも称する）の主な構成例を説明する図である。図９に示されるように、タグデータ３９０は、タグ１５１のデータであり、例えば、ID３９１、タグ付与対象３９２、タグメッセージ出力条件３９３、タグメッセージ３９４、およびタグアイコン３９５を含む。
　ID３９１は、タグデータ３９０を識別する識別情報である。例えば、ID３９１に、このタグを作成したユーザの情報等が含まれてもよい。タグ付与対象３９２は、タグ１５１を付与する対象を指定する情報である。例えば、タグ付与対象３９２に、このタグに対応付けられる空間（またはその空間に位置するテレプレゼンス装置１１０）、対象となるオブジェクトの識別情報や、対象となる座標等の情報が含まれてもよい。タグメッセージ出力条件３９３は、タグ１５１によりイベントとして出力されるメッセージ（タグメッセージとも称する）の出力条件を指定する情報である。例えば、このタグメッセージ出力条件３９３に、発生条件となる現象、環境、時刻、タグの宛先（発生するイベントの対象）となるユーザの識別情報等の情報が含まれてもよい。タグメッセージ３９４は、タグ１５１によりイベントとして出力されるタグメッセージを指定する情報である。例えば、タグメッセージ３９４に、タグメッセージのテキストデータ、音声データ、画像データ等が含まれてもよい。タグアイコン３９５は、タグアイコンを指定する情報である。例えば、タグアイコン３９５に、タグアイコンの画像が含まれていてもよい。これらの情報は、タグ生成部３６１により設定される。
　　＜サーバの構成＞
　図１０は、サーバ２０１の主な構成例を示すブロック図である。図１０に示されるサーバ２０１において、CPU４０１、ROM４０２、RAM４０３は、バス４０４を介して相互に接続されている。
　バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。さらに、入出力インタフェース４１０には、タグデータベース４３１が接続されている。
　入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、カメラ（イメージセンサ）、モーションセンサ、その他各種センサ等、任意の入力デバイスを含み得る。また、入力部４１１が入力端子を含むようにしてもよい。出力部４１２は、例えば、ディスプレイ、プロジェクタ、スピーカ等、任意の出力デバイスを含み得る。また、出力部４１２が出力端子を含むようにしてもよい。
　記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等、任意の記憶媒体と、その記憶媒体に対する情報の書き込みや読み出しを行う記憶制御部を備える。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等、任意のリムーバブルメディア４２１を駆動し、そのリムーバブルメディアに対する情報の書き込みや読み出しを行う。
　タグデータベース４３１は、タグ１５１に関する情報を記憶し、管理する。テレプレゼンスシステム１００においては、ユーザ１２１や空間のコンテキスト（状況・状態）を認識することができるようにしてもよい。その場合、タグデータベース４３１は、その情報をタグ１５１のような付加情報と関連付けて多次元的なメタ情報として記録して管理し、必要に応じて複数の情報を統合し、再生することができる。
　以上のように構成されるサーバ２０１では、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、後述する機能ブロックで示される各種機能を実現する。RAM４０３にはまた、CPU４０１がプログラムの各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
　その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。
　　＜サーバの機能ブロック＞
　以上のようなサーバ２０１において、CPU４０１がプログラムを実行することにより、例えば図１１に示されるような機能ブロックで示される機能を実現する。つまり、サーバ２０１は、機能ブロックとして、タグ管理部４５１、タグ取得部４５２、タグ供給部４５３、およびタグ削除要求取得部４５４を備える。
　タグ管理部４５１は、タグデータベース４３１を用いて、テレプレゼンス装置１１０において生成されたタグの管理を行う。タグ取得部４５２は、テレプレゼンス装置１１０から供給されるタグ１５１の取得に関する処理を行う。タグ供給部４５３は、タグ１５１のテレプレゼンス装置１１０への供給に関する処理を行う。タグ削除要求取得部４５４は、テレプレゼンス装置１１０から供給されるタグ１５１の削除要求の取得に関する処理を行う。
　　＜タグの生成・登録に関する処理の流れ＞
　次に、テレプレゼンス装置１１０において、相手空間に付与するタグ１５１（タグデータ３９０）を生成し、サーバ２０１のタグデータベース４３１にそのタグ１５１を登録するまでの処理の流れの例を、図１２のフローチャートを参照して説明する。
　ユーザ１２１は、例えばタッチパネル付きディスプレイ１１１の表示面内（カメラ１１２の画角内に映る相手空間）をタッチしながらタグメッセージを書き込む領域を表示させ、音声入力等でその領域内にタグメッセージを書き込むことができる。
　処理が開始されると、テレプレゼンス装置１１０のタグ生成部３６１は、ステップＳ１０１において、タグ１５１の付与対象を設定する。例えば、ユーザ１２１が、相手空間が表示されているタッチパネル付きディスプレイ１１１の、相手空間のタグ１５１を付与する位置または物体に対応する位置に指で触れる等して、タグ１５１の付与対象の指定を入力する。タグ生成部３６１は、入力部３１１を介してその指定を受け付け、指定された位置または物体をタグ１５１の付与対象として設定する。これにより、例えば、タグデータ３９０のタグ付与対象３９２（図９）が生成される。
　ステップＳ１０２において、タグ生成部３６１は、タグメッセージの出力条件を設定する。例えば、ユーザ１２１が、タッチパネル付きディスプレイ１１１を操作したり、音声を入力したりして、タグメッセージの出力条件を指定する。タグ生成部３６１は、入力部３１１を介してその指定を受け付け、その指定に基づいてタグメッセージの出力条件を設定する。これにより、例えば、タグデータ３９０のタグメッセージ出力条件３９３（図９）が生成される。
　ステップＳ１０３において、タグ生成部３６１は、タグメッセージを設定する。例えば、ユーザ１２１が、タッチパネル付きディスプレイ１１１を操作したり、音声を入力したりして、イベントとしてのタグメッセージを指定する。タグ生成部３６１は、入力部３１１を介してその指定を受け付け、その指定に基づいてタグメッセージを設定する。これにより、例えば、タグデータ３９０のタグメッセージ３９４（図９）が生成される。
　ステップＳ１０４において、タグ生成部３６１は、タグアイコンを設定する。このタグアイコンは、例えば、タグ１５１を付与した側（自空間）において、タッチパネル付きディスプレイ１１１に表示される、相手空間に付与されたタグ１５１を示す画像である。所定の画像がこのタグアイコンとして設定されるようにしてもよいが、ユーザ１２１等がこのタグアイコンの画像を指定することができるようにしてもよい。その場合、例えば、ユーザ１２１が、タッチパネル付きディスプレイ１１１等を操作して、タグアイコンとする画像を指定する。タグ生成部３６１は、入力部３１１を介してその指定を受け付け、その指定に基づいてタグメッセージを設定する。これにより、例えば、タグデータ３９０のタグアイコン３９５（図９）が生成される。
　ステップＳ１０５において、タグ生成部３６１は、以上の各種情報で構成されるタグデータ３９０を識別するための識別情報（ID）を設定する。これにより、例えば、タグデータ３９０のID３９１が生成される。
　ステップＳ１０６において、タグ登録部３６２は、以上のようにタグ生成部３６１により生成されたタグデータ３９０を、通信部３１４を介してサーバ２０１へ送信し、タグデータベース４３１に登録させる。
　サーバ２０１のタグ取得部４５２は、ステップＳ１２１において、このテレプレゼンス装置１１０から送信されたタグデータ３９０を、通信部４１４を介して受信する。
　ステップＳ１２２において、タグ管理部４５１は、ステップＳ１２１において受信されたタグデータ３９０（つまりタグ１５１）をタグデータベース４３１に登録し、管理する。
　また、ステップＳ１０７において、タグアイコン出力部３６３は、以上のようにタグデータベース４３１に登録したタグ１５１のタグアイコンを出力部３１２（のタッチパネル付きディスプレイ１１１等）に表示させる。
　このような各処理を実行することにより、ユーザは、専用の道具等を必要とせずに、一般的なUI（User Interface）操作により、容易にタグ１５１を生成・登録することができる。
　　＜タグの出力に関する処理の流れ＞
　次に、通信相手より付与された自空間のタグの制御（イベントの発生等）に関する処理の流れの例を、図１３のフローチャートを参照して説明する。
　処理が開始されると、ステップＳ１４１において、サーバ２０１のタグ管理部４５１は、タグデータベース４３１から、処理対象のテレプレゼンス装置１１０の空間に対して付与されたタグ１５１（タグデータ３９０）を読み出す。そして、タグ供給部４５３は、その読み出されたタグデータ３９０に含まれるタグメッセージ３９４以外の情報を、通信部４１４を介して処理対象のテレプレゼンス装置１１０に送信する。
　テレプレゼンス装置１１０の条件判定部３７１は、ステップＳ１３１において、通信部３１４を介して、そのサーバ２０１から送信されたタグデータ３９０（タグメッセージ３９４以外）を受信する。
　ステップＳ１３２において、条件判定部３７１は、受信したタグデータ３９０のタグメッセージ出力条件３９３を参照し、その出力条件が満たされるまで待機する。出力条件が満たされたと判定された場合、処理は次のステップに進む。
　ステップＳ１３３において、条件判定部３７１は、通信部３１４を介して、サーバ２０１に対して、そのタグデータ３９０のタグメッセージ３９４を要求する。
　ステップＳ１４２において、タグ管理部４５１は、通信部４１４を介してその要求を受信する。タグ管理部４５１は、その要求に基づいて、要求されたタグデータ３９０のタグメッセージ３９４をタグデータベース４３１から読み出し、通信部４１４を介して、そのタグメッセージ３９４を、要求元であるテレプレゼンス装置１１０に送信する。
　ステップＳ１３４において、タグメッセージ出力部３７２は、通信部３１４を介して、そのサーバ２０１から送信されたタグメッセージ３９４を受信する。
　ステップＳ１３５において、タグメッセージ出力部３７２は、出力部３１２の出力デバイス（例えば、タッチパネル付きディスプレイ１１１やスピーカ１７１等）を介して、タグメッセージを出力する。
　ステップＳ１３６において、タグ削除部３７３は、通信部３１４を介して、サーバ２０１に対して、タグメッセージを出力したタグ１５１の削除を要求する。
　ステップＳ１４４において、サーバ２０１のタグ削除要求取得部４５４は、通信部４１４を介して、その削除要求を受信する。
　ステップＳ１４５において、タグ管理部４５１は、タグデータベース４３１から、その要求されたタグ１５１のタグデータ３９０を削除する。
　このような各処理を実行することにより、発生条件に基づいてタグメッセージを出力することができる。したがって、より多様なコミュニケーションを実現することができる。
　　＜タグの削除に関する処理の流れ＞
　次に、タグ１５１の削除に関する処理の流れの例を、図１４のフローチャートを参照して説明する。
　一度設定したタグを削除する場合、ユーザ１２１は、例えばタッチパネル付きディスプレイ１１１を操作する等して、タグ１５１の削除の指示を入力する。ステップＳ１５１において、テレプレゼンス装置１１０のタグ削除部３６４は、入力部３１１を介して、削除するタグ１５１の指定（どのタグ１５１を削除するか）を受け付ける。
　削除するタグ１５１の指定が受け付けられると、タグ削除部３６４は、ステップＳ１５２において、通信部３１４を介して、サーバ２０１に対して、その指定されたタグ１５１の削除を要求する。
　サーバ２０１のタグ削除要求取得部４５４は、ステップＳ１６１において、通信部４１４を介してその要求を受信する。
　タグ管理部４５１は、その要求に基づいて、削除を要求されたタグ１５１をタグデータベース４３１から削除する。
　このような各処理を実行することにより、ユーザは、専用の道具等を必要とせずに、一般的なUI操作により、容易にタグ１５１を削除することができる。
　＜２．第２の実施の形態＞
　　＜自空間のタグの可視化＞
　　　＜重畳表示＞
　通信相手等により自空間に対応付けられたタグを視認することができる（可視化する）ようにしてもよい。例えば、タッチパネル付きディスプレイ１１１が、タグが付与された自空間の画像を、半透過状態として、相手空間の画像に重畳して表示するようにしてもよい。
　図１５は、その場合の表示例を説明する図である。図１５において、タッチパネル付きディスプレイ１１１Ａには、相手空間５１０の画像が表示されている。この画像により、ユーザ１２１Ａは、相手空間５１０において、オブジェクト５１１にタグ５２１が付与され、通信相手のユーザ１２１Ｂにはタグ５２２が付与され、オブジェクト５１２には、タグ５２３が付与されていることを視認することができる。
　また、タッチパネル付きディスプレイ１１１には、この相手空間５２０の画像に重畳して、自空間５３０の画像が半透過状態で表示される。この画像により、ユーザ１２１Ａは、自空間５３０において、オブジェクト５３１にタグ５４１が付与され、オブジェクト５３２にタグ５４２が付与され、ユーザ１２１Ａ自身にタグ５４３が付与され、オブジェクト５３３にタグ５４４が付与されていることを視認することができる。
　このように、自空間の画像を半透過状態とすることにより、相手空間の画像を視認しながら自空間の画像を視認することができる。また、１つのディスプレイにおいて、自空間の画像と相手空間の画像とを重畳して表示させることができるので、複数のディスプレイを用いる場合よりもコストの増大を抑制することができる。また、表示領域を分割して表示させる場合よりも自空間の画像をより大きく表示させることができる。
　また、その際、自空間の画像は、撮像画像にタグを合成したものとしてもよいし、そのタグが合成された撮像画像を左右反転させたものとしてもよい。撮像画像を左右反転させて表示させることにより、ユーザ１２１にとって「鏡」を見る場合と同様の感覚で自空間の画像（ユーザ１２１自身やその後方）を視認することができ、違和感を抑制することができる。
　　　＜非重畳表示＞
　もちろん、自空間の画像は、相手空間の画像と重畳せずに表示されるようにしてもよい。例えば、自空間の画像を相手空間の画像を表示するディスプレイと異なるディスプレイに表示させるようにしてもよい。また、自空間の画像と相手空間の画像とを、ディスプレイの互いに異なる表示領域に表示させるようにしてもよい。さらに、ディスプレイの表示を時分割して、自空間の画像と相手空間の画像とを交互に表示させるようにしてもよい。
　　　＜AR表示＞
　例えば、通信相手により自空間に対応付けられたタグを、実際の自空間に重畳して表示するようにしてもよい。例えば、AR（Augmented Reality）拡張現実の技術を用いて、通信相手により自空間に対応付けられたタグを、実際の自空間の、そのタグの付与対象に重畳して表示するようにしてもよい。
　図１６は、その場合の表示例を説明する図である。図１６に示されるように、自空間において、オブジェクト５３１にはタグ５４１が付与されている。また、オブジェクト５３２にはタグ５４２が付与されている。さらに、ユーザ１２１Ａ自身にはタグ５４３が付与されている。また、オブジェクト５３３にはタグ５４４が付与されている。自空間において、これらのタグは、AR技術を用いて表示されており、AR技術を用いずに視認することはできない。
　ユーザ１２１Ａは、ARに対応したARグラス５６１を装着し、そのARグラス５６１を介して自空間等を見ている。このARグラス５６１は、AR技術を用いて、通信相手により自空間に対応付けられたタグを、実際の自空間の、そのタグの付与対象に重畳して表示する。したがって、ユーザ１２１Ａは、そのARグラス５６１を介して、自空間に付与されたこれらのタグ（タグ５４１乃至タグ５４４）を視認することができる。
　このようにすることにより、ARグラスを装着している者にだけタグを表示させることができる。この技術を用いて例えば、タグを視認させるユーザを制御することができる。つまり、特定のユーザに対してのみタグを表示したり、ユーザ毎に視認可能なタグを制限したりすることができる。例えば、タグの宛先となるユーザにのみ、そのタグを可視化するようにしてもよい。
　　＜テレプレゼンス装置の他の例＞
　テレプレゼンス装置の仕様は任意であり、上述の例（テレプレゼンス装置１１０）に限定されない。例えば、図１７に示されるような、デスクトップ領域（作業領域）を共有するテレプレゼンス装置であってもよい。
　図１７に示されるテレプレゼンス装置７１０Ａは、相手空間の画像を表示するディスプレイ７１１Ａ、通信相手と共有するデスクトップ領域７１２Ａ、および自空間を撮像するカメラ７１３Ａを備える。同様に、テレプレゼンス装置７１０Ｂは、相手空間の画像を表示するディスプレイ７１１Ｂ、通信相手と共有するデスクトップ領域７１２Ｂ、および自空間を撮像するカメラ７１３Ｂを備える。
　以下において、テレプレゼンス装置７１０Ａおよびテレプレゼンス装置７１０Ｂを互いに区別して説明する必要がない場合、テレプレゼンス装置７１０と称する。また、ディスプレイ７１１Ａおよびディスプレイ７１１Ｂを互いに区別して説明する必要がない場合、ディスプレイ７１１と称する。さらに、デスクトップ領域７１２Ａおよびデスクトップ領域７１２Ｂを互いに区別して説明する必要がない場合、デスクトップ領域７１２と称する。また、カメラ７１３Ａおよびカメラ７１３Ｂを互いに区別して説明する必要がない場合、カメラ７１３と称する。
　テレプレゼンス装置７１０Ａとテレプレゼンス装置７１０Ｂは、テレプレゼンス装置１１０と同様に通信機能を有しており、通信相手と通信を行うことができる。ディスプレイ７１１Ａには、カメラ７１３Ｂにより撮像した相手空間の画像が表示される。ディスプレイ７１１Ｂには、カメラ７１３Ａにより撮像した相手空間の画像が表示される。
　また、デスクトップ領域７１２は、画像表示や画像投影が可能である。また、デスクトップ領域７１２は、各種センサにより、ユーザ１２１等による操作が検出される。つまり、デスクトップ領域７１２は、入力や出力が可能な領域であり、実質的に、入力デバイスおよび出力デバイスとして機能する。
　また、このデスクトップ領域７１２の情報は、通信相手のテレプレゼンス装置７１０と共有される。つまり、例えば、デスクトップ領域７１２Ａにおいて行われた入力に対する結果は、デスクトップ領域７１２Ａにおいて表示されるだけでなく、デスクトップ領域７１２Ｂに反映される。逆もまた同様である。これにより、ユーザ１２１Ａおよびユーザ１２１Ｂは、このデスクトップ領域７１２を用いて、容易に共同作業を行うことができる。
　このようなテレプレゼンス装置７１０を用いるテレプレゼンスシステム７００においても、上述のテレプレゼンスシステム１００の場合と同様に、タグを用いたコミュニケーションをとることができるようにしてもよい。
　　＜テレプレゼンス装置によるタグの管理＞
　以上においては、タグの管理をサーバ２０１において行うように説明したが、このタグの管理をテレプレゼンス装置において行うようにしてもよい。つまり、タグデータベース４３１をテレプレゼンス装置が備え、テレプレゼンス装置がタグ管理部４５１の機能を実現するようにしてもよい。
　＜３．付記＞
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　ユーザの空間において前記ユーザによる情報の入力を受け付ける入力部と、
　前記入力部により受け付けられた前記情報を用いて、前記ユーザの通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報を生成する生成部と
　を備える情報処理装置。
　（２）　前記入力部は、前記タグ情報を対応付ける対象の指定を受け付け、
　前記生成部は、前記入力部により受け付けられた前記対象に対応付ける前記タグ情報を生成する
　（１）に記載の情報処理装置。
　（３）　前記対象は、前記通信相手の空間内の所定の場所である
　（２）に記載の情報処理装置。
　（４）　前記対象は、前記通信相手の空間内の所定の物体である
　（２）に記載の情報処理装置。
　（５）　前記入力部は、
　　前記通信相手の空間を前記ユーザの空間内において表示するディスプレイと、
　　前記ディスプレイ上に重畳され、前記ユーザが前記ディスプレイに表示された前記通信相手の空間内の前記対象を指定するために接触した位置を検出するタッチパネルと
　を備え、
　前記生成部は、前記タッチパネルにより検出された前記ユーザが接触した位置に対応する前記通信相手の空間内の前記対象に対応付ける前記タグ情報を生成する
　（２）に記載の情報処理装置。
　（６）　前記入力部は、前記ユーザが前記タッチパネルに接触する時間の長さに応じて、前記ユーザが指定する前記対象の前記通信相手の空間内の奥行き方向の位置を特定する
　（５）に記載の情報処理装置。
　（７）　前記入力部は、前記イベントの発生条件の指定を受け付け、
　前記生成部は、前記入力部により受け付けられた前記発生条件を含む前記制御情報を前記通信相手の空間に対応付ける前記タグ情報を生成する
　（１）に記載の情報処理装置。
　（８）　前記入力部は、前記イベントの指定を受け付け、
　前記生成部は、前記入力部により受け付けられた前記イベントの指定を含む前記制御情報を前記通信相手の空間に対応付ける前記タグ情報を生成する
　（１）に記載の情報処理装置。
　（９）　前記ユーザの空間を撮像し、前記ユーザの空間の撮像画像を生成する撮像部と、
　前記通信相手の空間の撮像画像を前記ユーザの空間内において表示する表示部と、
　前記撮像部により生成された前記ユーザの空間の撮像画像を供給し、前記通信相手の空間内の撮像画像を取得する通信部と
　をさらに備える（１）に記載の情報処理装置。
　（１０）　ユーザの空間において前記ユーザによる情報の入力を受け付け、
　受け付けられた前記情報を用いて、前記ユーザの通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報を生成する
　情報処理方法。
　（１１）　通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられた前記タグ情報により指定される、前記イベントの発生条件を満たすか否かを判定する判定部と、
　前記判定部により前記発生条件を満たすと判定された場合、前記タグ情報により指定される前記イベントを発生させるイベント発生部と
　を備える情報処理装置。
　（１２）　前記発生条件は、前記通信相手が前記タグに対応付けられた場所の近傍に位置すること、または、前記通信相手が前記タグに対応付けられた物体に接触することである
　（１１）に記載の情報処理装置。
　（１３）　前記発生条件は、前記通信相手の空間内の環境に関する条件である
　（１１）に記載の情報処理装置。
　（１４）　前記発生条件は、時刻に関する条件である
　（１１）に記載の情報処理装置。
　（１５）　前記イベントは、前記通信相手に対するメッセージの表示、または、音声出力である
　（１１）に記載の情報処理装置。
　（１６）　前記ユーザの空間を撮像し、前記ユーザの空間の撮像画像を生成する撮像部と、
　前記通信相手の空間の撮像画像を前記ユーザの空間内において表示する表示部と、
　前記撮像部により生成された前記ユーザの空間の撮像画像を供給し、前記通信相手の空間内の撮像画像を取得する通信部と
　をさらに備える（１１）に記載の情報処理装置。
　（１７）　前記表示部は、さらに、前記通信相手により前記ユーザの空間に対応付けられた前記タグ情報を表示する
　（１６）に記載の情報処理装置。
　（１８）　前記表示部は、前記ユーザの空間に対応付けられた前記タグ情報を、前記通信相手の空間の撮像画像に重畳して表示する
　（１７）に記載の情報処理装置。
　（１９）　前記通信相手により前記ユーザの空間に対応付けられた前記タグ情報を、前記ユーザの空間に重畳して表示する拡張現実表示部をさらに備える
　（１６）に記載の情報処理装置。
　（２０）　通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられた前記タグ情報により指定される、前記イベントの発生条件を満たすか否かを判定し、
　前記発生条件を満たすと判定された場合、前記タグ情報により指定される前記イベントを発生させる
　情報処理方法。
　１００　テレプレゼンスシステム，　１１０　テレプレゼンス装置，　１１１　タッチパネル付きディスプレイ，　１１２　カメラ，　１２１　ユーザ，　１３０　空間，　１３１乃至１３３　オブジェクト，　１４０　空間，　１４１および１４２　オブジェクト，　１５１　タグ，　１６１乃至１６３　オブジェクト，　１７１　スピーカ，　２０１　サーバ，　２０２　ネットワーク，　３５１　タグ入力処理部，　３５２　タグ出力処理部，　３６１　タグ生成部，　３６２　タグ登録部，　３６３　タグアイコン出力部，　３６４　タグ削除部，　３７１　条件判定部，　３７２　タグメッセージ出力部，　３７３　タグ削除部，　３９０　タグデータ，　３９１　ID，　３９２　タグ付与対象，　３９３　タグメッセージ出力条件，　３９４　タグメッセージ，　３９５　タグアイコン，　４３１　タグデータベース，　４５１　タグ管理部，　４５２　タグ取得部，　４５３　タグ供給部，　４５４　タグ削除要求取得部，　５１０　相手空間，　５１１および５１２　オブジェクト，　５２１乃至５２３　タグ，　５３０　自空間，　５３１乃至５３３　オブジェクト，　５４１乃至５４４　タグ，　５６１　ARグラス，　７００　テレプレゼンスシステム，　７１０　テレプレゼンス装置，　７１１　ディスプレイ，　７１２　デスクトップ領域，　７１３　カメラ

Claims (20)

  1. 　ユーザの空間において前記ユーザによる情報の入力を受け付ける入力部と、
    　前記入力部により受け付けられた前記情報を用いて、前記ユーザの通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報を生成する生成部と
    　を備える情報処理装置。
  2. 　前記入力部は、前記タグ情報を対応付ける対象の指定を受け付け、
    　前記生成部は、前記入力部により受け付けられた前記対象に対応付ける前記タグ情報を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記対象は、前記通信相手の空間内の所定の場所である
    　請求項２に記載の情報処理装置。
  4. 　前記対象は、前記通信相手の空間内の所定の物体である
    　請求項２に記載の情報処理装置。
  5. 　前記入力部は、
    　　前記通信相手の空間を前記ユーザの空間内において表示するディスプレイと、
    　　前記ディスプレイ上に重畳され、前記ユーザが前記ディスプレイに表示された前記通信相手の空間内の前記対象を指定するために接触した位置を検出するタッチパネルと
    　を備え、
    　前記生成部は、前記タッチパネルにより検出された前記ユーザが接触した位置に対応する前記通信相手の空間内の前記対象に対応付ける前記タグ情報を生成する
    　請求項２に記載の情報処理装置。
  6. 　前記入力部は、前記ユーザが前記タッチパネルに接触する時間の長さに応じて、前記ユーザが指定する前記対象の前記通信相手の空間内の奥行き方向の位置を特定する
    　請求項５に記載の情報処理装置。
  7. 　前記入力部は、前記イベントの発生条件の指定を受け付け、
    　前記生成部は、前記入力部により受け付けられた前記発生条件を含む前記制御情報を前記通信相手の空間に対応付ける前記タグ情報を生成する
    　請求項１に記載の情報処理装置。
  8. 　前記入力部は、前記イベントの指定を受け付け、
    　前記生成部は、前記入力部により受け付けられた前記イベントの指定を含む前記制御情報を前記通信相手の空間に対応付ける前記タグ情報を生成する
    　請求項１に記載の情報処理装置。
  9. 　前記ユーザの空間を撮像し、前記ユーザの空間の撮像画像を生成する撮像部と、
    　前記通信相手の空間の撮像画像を前記ユーザの空間内において表示する表示部と、
    　前記撮像部により生成された前記ユーザの空間の撮像画像を供給し、前記通信相手の空間内の撮像画像を取得する通信部と
    　をさらに備える請求項１に記載の情報処理装置。
  10. 　ユーザの空間において前記ユーザによる情報の入力を受け付け、
    　受け付けられた前記情報を用いて、前記ユーザの通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報を生成する
    　情報処理方法。
  11. 　通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられた前記タグ情報により指定される、前記イベントの発生条件を満たすか否かを判定する判定部と、
    　前記判定部により前記発生条件を満たすと判定された場合、前記タグ情報により指定される前記イベントを発生させるイベント発生部と
    　を備える情報処理装置。
  12. 　前記発生条件は、前記通信相手が前記タグに対応付けられた場所の近傍に位置すること、または、前記通信相手が前記タグに対応付けられた物体に接触することである
    　請求項１１に記載の情報処理装置。
  13. 　前記発生条件は、前記通信相手の空間内の環境に関する条件である
    　請求項１１に記載の情報処理装置。
  14. 　前記発生条件は、時刻に関する条件である
    　請求項１１に記載の情報処理装置。
  15. 　前記イベントは、前記通信相手に対するメッセージの表示、または、音声出力である
    　請求項１１に記載の情報処理装置。
  16. 　前記ユーザの空間を撮像し、前記ユーザの空間の撮像画像を生成する撮像部と、
    　前記通信相手の空間の撮像画像を前記ユーザの空間内において表示する表示部と、
    　前記撮像部により生成された前記ユーザの空間の撮像画像を供給し、前記通信相手の空間内の撮像画像を取得する通信部と
    　をさらに備える請求項１１に記載の情報処理装置。
  17. 　前記表示部は、さらに、前記通信相手により前記ユーザの空間に対応付けられた前記タグ情報を表示する
    　請求項１６に記載の情報処理装置。
  18. 　前記表示部は、前記ユーザの空間に対応付けられた前記タグ情報を、前記通信相手の空間の撮像画像に重畳して表示する
    　請求項１７に記載の情報処理装置。
  19. 　前記通信相手により前記ユーザの空間に対応付けられた前記タグ情報を、前記ユーザの空間に重畳して表示する拡張現実表示部をさらに備える
    　請求項１６に記載の情報処理装置。
  20. 　通信相手に対するイベントの発生を制御する制御情報を前記通信相手の空間に対応付けるタグ情報であって、ユーザの空間に対応付けられた前記タグ情報により指定される、前記イベントの発生条件を満たすか否かを判定し、
    　前記発生条件を満たすと判定された場合、前記タグ情報により指定される前記イベントを発生させる
    　情報処理方法。
PCT/JP2020/039847 2019-10-31 2020-10-23 情報処理装置および方法 WO2021085320A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021553551A JPWO2021085320A1 (ja) 2019-10-31 2020-10-23
US17/755,096 US11740773B2 (en) 2019-10-31 2020-10-23 Information processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019198780 2019-10-31
JP2019-198780 2019-10-31

Publications (1)

Publication Number Publication Date
WO2021085320A1 true WO2021085320A1 (ja) 2021-05-06

Family

ID=75715156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039847 WO2021085320A1 (ja) 2019-10-31 2020-10-23 情報処理装置および方法

Country Status (3)

Country Link
US (1) US11740773B2 (ja)
JP (1) JPWO2021085320A1 (ja)
WO (1) WO2021085320A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244670A (ja) * 2002-02-19 2003-08-29 Ricoh Co Ltd 画像通信装置
JP2004056161A (ja) * 2002-05-28 2004-02-19 Matsushita Electric Works Ltd マルチメディア通信システム
US20100049702A1 (en) * 2008-08-21 2010-02-25 Yahoo! Inc. System and method for context enhanced messaging
WO2016072118A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 情報処理システム、記憶媒体、および制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4576740B2 (ja) 2001-04-02 2010-11-10 ソニー株式会社 窓状撮像表示装置及びそれを使う双方向通信方法
JP2014219762A (ja) * 2013-05-02 2014-11-20 株式会社リコー データ共有システム、データ共有方法および情報処理装置
US9348411B2 (en) * 2013-05-24 2016-05-24 Microsoft Technology Licensing, Llc Object display with visual verisimilitude

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244670A (ja) * 2002-02-19 2003-08-29 Ricoh Co Ltd 画像通信装置
JP2004056161A (ja) * 2002-05-28 2004-02-19 Matsushita Electric Works Ltd マルチメディア通信システム
US20100049702A1 (en) * 2008-08-21 2010-02-25 Yahoo! Inc. System and method for context enhanced messaging
WO2016072118A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 情報処理システム、記憶媒体、および制御方法

Also Published As

Publication number Publication date
US11740773B2 (en) 2023-08-29
JPWO2021085320A1 (ja) 2021-05-06
US20220374117A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
US11803055B2 (en) Sedentary virtual reality method and systems
US10567449B2 (en) Apparatuses, methods and systems for sharing virtual elements
KR101918262B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
US20210311558A1 (en) Mixed reality display system and mixed reality display terminal
US20140152869A1 (en) Methods and Systems for Social Overlay Visualization
CN112534394A (zh) 在混合现实场景中共享虚拟内容
WO2013016165A1 (en) Communicating between a virtual area and a physical space
CN111566596A (zh) 用于虚拟现实显示器的真实世界门户
WO2016194441A1 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
US10493360B2 (en) Image display device and image display system
CN109496293A (zh) 扩展内容显示方法、装置、系统及存储介质
US20190250805A1 (en) Systems and methods for managing collaboration options that are available for virtual reality and augmented reality users
WO2019138661A1 (ja) 情報処理装置および情報処理方法
WO2021085320A1 (ja) 情報処理装置および方法
WO2021090741A1 (ja) 情報処理システム、情報処理方法、情報処理装置及びプログラム
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
JP2947108B2 (ja) 協同作業インタフェース制御装置
CN111344744A (zh) 用于展示三维物体的方法以及相关计算机程序产品、数字存储介质和计算机系统
US20220345678A1 (en) Distributed Virtual Reality
WO2024057650A1 (ja) 電子機器
US20230325047A1 (en) Merging Computer-Generated Objects
US11449192B2 (en) Apparatus, method, computer program for enabling access to mediated reality content by a remote user
WO2022003912A1 (ja) 情報処理システムおよび情報処理端末
JP2010098421A (ja) 表示制御装置、表示制御方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20880665

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021553551

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20880665

Country of ref document: EP

Kind code of ref document: A1