WO2019198542A1 - 多方向通信装置、多方向通信方法、およびプログラム - Google Patents

多方向通信装置、多方向通信方法、およびプログラム Download PDF

Info

Publication number
WO2019198542A1
WO2019198542A1 PCT/JP2019/013934 JP2019013934W WO2019198542A1 WO 2019198542 A1 WO2019198542 A1 WO 2019198542A1 JP 2019013934 W JP2019013934 W JP 2019013934W WO 2019198542 A1 WO2019198542 A1 WO 2019198542A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
virtual space
processing apparatus
user
information processing
Prior art date
Application number
PCT/JP2019/013934
Other languages
English (en)
French (fr)
Inventor
義純 田中
祐介 阪井
哲博 内田
勝也 福屋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112019001945.7T priority Critical patent/DE112019001945T5/de
Priority to US17/045,591 priority patent/US11140357B2/en
Priority to JP2020513203A priority patent/JPWO2019198542A1/ja
Publication of WO2019198542A1 publication Critical patent/WO2019198542A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present technology relates to a multi-directional communication device, a multi-directional communication method, and a program, and in particular, can suppress giving a sense of incongruity to a user who feels that space is connected in a multi-directional communication system.
  • the present invention relates to a multidirectional communication device, a multidirectional communication method, and a program.
  • Patent Document 1 by recognizing a target user and the state of an environment in a three-dimensional space to be imaged, and mosaicing a specific user part from within the video, a video different from actual data, a similar video, Alternatively, a method for generating a virtual video has been proposed.
  • the present technology has been made in view of such a situation, and it is possible to suppress giving a sense of incongruity to a user who feels that a space is connected in a multidirectional communication system.
  • a multidirectional communication device includes a receiving unit that receives real space information that is information representing a state of a real space of a first user, and a virtual unit based on the received real space information.
  • a generation unit that generates virtual space information that is information representing a state of a simple space, and a second user's device in the virtual space represented by the generated virtual space information instead of the real space represented by the real space information
  • a display control unit for controlling display on the display.
  • real space information that is information representing the state of the real space of the first user is received, and information representing the state of the virtual space is received based on the received real space information
  • the virtual space information is generated. Then, the display of the virtual space represented by the generated virtual space information on the second user's device is controlled instead of the real space represented by the real space information.
  • FIG. 1 is a diagram illustrating a multidirectional communication system to which the present technology is applied. It is a figure which shows an example of output information. It is a figure which shows an example of output information. It is a block diagram which shows the hardware structural example of information processing apparatus. It is a block diagram which shows the function structural example of information processing apparatus. It is a figure which shows an example of output information. It is a figure which shows an example of output information. It is a figure which shows an example of output information. It is a figure explaining switching operation of an output object. It is a figure explaining switching operation of an output object. It is a flowchart explaining the space connection process of a multidirectional communication system. It is a flowchart following FIG. 11 explaining the spatial connection processing of the multidirectional communication system.
  • FIG. 1 is a diagram illustrating a multidirectional communication system to which the present technology is applied.
  • the multidirectional communication system 1 is configured by connecting information processing apparatuses 11A to 11C and a server 12 via a network 13 such as the Internet.
  • the information processing apparatus 11A, the information processing apparatus 11B, and the information processing apparatus 11C are arranged at a point A that is the space of the user A, a point B that is the space of the user B, and a point C that is the space of the user C, respectively.
  • the information processing apparatus 11A, the information processing apparatus 11B, and the information processing apparatus 11C connect each user's space with an image, sound, or other information channel, as if each space is connected to the user. It is a device that makes you feel.
  • the information processing apparatus 11A, the information processing apparatus 11B, and the information processing apparatus 11C seem to be connected to a parent and a child who live apart from each other through a display device corresponding to a window or a door. Can show. By making it appear that the living rooms are connected to each other, the users A to C can live while grasping the state of other users (for example, the state of a child or the state of a parent).
  • Such a sense of connection is performed by transmitting and receiving spatial information, which is information representing the state of each space, between the information processing apparatus 11A, the information processing apparatus 11B, and the information processing apparatus 11C.
  • the spatial information is information including spatial image information obtained by photographing with a camera, spatial audio information obtained by collecting sound with a microphone, and the like.
  • the information processing apparatus 11A, the information processing apparatus 11B, and the information processing apparatus 11C function as a spatial information sharing apparatus that shares spatial information.
  • virtual space information representing the state of a virtual space is generated using the accumulated data of the spatial information, and the virtual space is displayed by the virtual space information. Processing is performed. Thereby, instead of the actual space display, the approximate space display can be continued.
  • the virtual space information is information including virtual space image information that virtually represents the state of the space that can be recognized visually, virtual space audio information that virtually represents the state of the space that can be recognized by hearing, and the like.
  • the generation of virtual space information is performed by using context information that can be acquired in real time or that can be predicted as the near future in combination with stored data.
  • the context information is information representing the state of the user obtained by performing sensing.
  • the state of the user includes the state of the user's space.
  • each of the information processing apparatuses 11A to 11C performs multi-directional communication synchronization processing, spatial information transmission / reception processing, virtual space information generation processing, switching presentation processing, and the like. At least a part of these processes may be performed by the server 12.
  • the multidirectional communication system 1 includes the server 12, but may be configured not to include the server 12.
  • a sense of connection is a sense of space being connected, and can be rephrased as a sense of security or a sense of mutual presence.
  • the multidirectional communication system 1 can connect two points, and may perform multipoint connection of three or more points.
  • the information processing apparatus 11 when it is not necessary to distinguish the information processing apparatuses 11A to 11C as appropriate, they are referred to as the information processing apparatus 11.
  • FIG. 2 is a diagram illustrating an example of output information.
  • the spatial image information representing the state of the space at the communication destination point A is displayed as the output information 31 at the point B which is the space of the user B1.
  • the display of the output information 31 is performed by the information processing apparatus 11B arranged at the point B. It is assumed that there are users A1 to A3 at the point A. Note that the aspect ratio of the spatial image information is arbitrary.
  • the user A1 shown in the output information 31 is a mother of a child-rearing generation, and the user A2 and the user A3 are children.
  • the user A1 is interested in the point B where the user B1 is located and is viewing the spatial image information of the point B displayed on the display device in front of the user A1.
  • the spatial image information displayed on the display device in front of the user A1 is information representing the state of the point B.
  • the user B1 is shown as described later.
  • the user A2 and the user A3 are not interested in the spatial image information of the point B and are playing.
  • FIG. 3 is a diagram showing an example of output information.
  • the spatial image information representing the state of the space at the point B of the communication destination is displayed as the output information 41 at the point A which is the space of the user A1.
  • the display of the output information 41 is performed by the information processing apparatus 11A arranged at the point A. It is assumed that there are a user B1 and a user B2 at the point B.
  • the user B1 is the mother of the user A1, and the grandmother of the user A2 and the user A3.
  • User B2 is the father of user A1 and the grandfather of user A2 and user A3.
  • the user B1 is interested in the point A, and is viewing the spatial image information of the point A (the output information 31 in FIG. 2) displayed on the display device in front of the user B1. It is supposed to be.
  • User B2 has just entered the space where user B1 is located from the door.
  • Such display of output information is continued in real time, so that users at remote locations can feel as if they are in the next room.
  • FIG. 4 is a block diagram illustrating a hardware configuration example of the information processing apparatus 11.
  • the CPU 51, ROM 52, and RAM 53 are connected to each other by a bus 54.
  • An input / output interface 55 is further connected to the bus 54.
  • An input unit 56, an output unit 57, a storage unit 58, a communication unit 59, and a drive 60 are connected to the input / output interface 55.
  • the input unit 56 acquires spatial information.
  • the spatial information acquired by the input unit 56 includes, for example, information such as an image of the user's space, sound, environmental data, text, touch, and smell.
  • the user's space includes not only a space where the user is present but also a space such as a room associated with the user (which may be absent).
  • the spatial information includes information indicating the state of the space such as the brightness of the space, the width of the space, the height of the space, the airflow, the temperature, the humidity, the environmental sound, and the state of the information processing apparatus 11.
  • Spatial information includes information indicating the user's state, such as the user's position, the distance between the user and the display area of the output information, the user's movement, the user's point of interest, the number and configuration of users in the same space, and the user's posture. Is included.
  • the input unit 56 includes a camera that captures surrounding conditions, a microphone that detects ambient sounds, a sensor, and the like.
  • the sensor detects various information in and around the space. Sensors are installed in physical sensors such as temperature sensors, humidity sensors, illuminance sensors, odor sensors, human sensors, vibration sensors, air flow sensors, and door opening / closing sensors, home automation systems, buildings, and urban infrastructure systems. It is composed of IoT sensors.
  • the number of cameras, microphones, and sensors is not limited to one and may be plural.
  • the combination of sensors provided in the information processing apparatus 11 can be arbitrarily changed.
  • the camera, microphone, and sensor are not provided as the configuration of the information processing apparatus 11, but information obtained by an external camera, microphone, and sensor may be acquired by the input unit 56.
  • the output unit 57 includes a display device such as a display or a projector, an audio output device such as a speaker, and a notification device such as an LED lamp or an indicator.
  • the storage unit 58 is configured by a hard disk, a nonvolatile memory, or the like.
  • the storage unit 58 stores various data such as context information and space information in addition to the program executed by the CPU 51.
  • the communication unit 59 includes a network interface.
  • the communication unit 59 is connected to the network 13 via wireless or wired communication, and communicates with other information processing apparatuses 11 via P2P or the server 12.
  • the drive 60 drives the removable medium 61 to read data stored in the removable medium 61 or write data to the removable medium 61.
  • the server 12 also has the same configuration as that shown in FIG.
  • FIG. 5 is a block diagram illustrating a functional configuration example of the information processing apparatus 11.
  • FIG. 5 is realized by a predetermined program being executed by the CPU 51 of FIG. 5 corresponding to those in FIG. 4 are denoted by the same reference numerals. The overlapping description will be omitted as appropriate.
  • the communication unit 59 includes a transmission unit 101 and a reception unit 102.
  • the context analysis unit 81 analyzes using image information, audio information, physical sensor information, IoT sensor information, or at least any combination thereof supplied from the input unit 56, and the context information that is the analysis result is analyzed. Generate.
  • Image information is information obtained by the camera, such as face, person, movement, environment, and state.
  • the voice information is information obtained by a microphone, such as voice, conversation, sound, environment, and sound field.
  • the information of the physical sensor is information such as vibration, airflow, heat, and illuminance.
  • IoT sensor information is information detected by sensors installed in home automation systems, buildings, and urban infrastructure systems.
  • Context information is information representing a user state obtained by performing sensing as described above.
  • the context information obtained by the context analysis unit 81 by performing the analysis is supplied to the control unit 83.
  • the UI unit 82 includes a remote controller, a controller, and the like, and outputs operation information corresponding to a user operation to the control unit 83.
  • the control unit 83 functions as an arithmetic processing unit and a control unit, and controls the overall operation of the information processing apparatus 11 according to various programs.
  • the control unit 83 causes the accumulation unit 84 to accumulate the communication destination spatial information supplied from the reception unit 102.
  • the control unit 83 determines whether or not presentation of spatial information is no longer desired based on communication, equipment, user status, and the like. When the presentation of the spatial information is no longer desired, the control unit 83 outputs the virtual space information generated by the virtual data generation unit 85 to the display device constituting the output unit 57 instead of the spatial information. Display.
  • the control unit 83 determines whether or not the communication state has deteriorated based on the communication, device, user state, and the like.
  • the control unit 83 determines the absence state or the approaching state of the user based on the communication, the device, the state of the user, and the like.
  • the control unit 83 displays the generated virtual space information instead of the space information according to the determination result.
  • control unit 83 When the actual space information can be presented again because the communication state has been recovered, the control unit 83 outputs the space information transmitted from the communication destination instead of the virtual space information, to the output unit 57. Is output and displayed on a display device.
  • the storage unit 84 is configured by a hard disk, a nonvolatile memory, or the like.
  • the storage unit 84 stores the spatial information transmitted from the communication destination.
  • the virtual data generation unit 85 generates virtual space information using the spatial information stored in the storage unit 84, and outputs the generated virtual space information to the control unit 83.
  • space model information such as date and time, location (location), user information, environment (weather, topography, structure, arrangement, equipment) included in the spatial information accumulated in the accumulation unit 84 is used. Is done. Learning data associated with variable parameters such as the environment may be used for generating virtual space information.
  • the context information of itself or the communication destination may be used for generating the virtual space information.
  • metadata representing a state such as time, weather, and brightness that is included in the context information, acquired in real time, or predictable as the near future is used for generating virtual space information.
  • the transmission unit 101 transmits the spatial information and context information supplied from the control unit 83 to the information processing apparatus 11 that is the communication destination.
  • the receiving unit 102 receives the spatial information and context information transmitted from the information processing apparatus 11 that is the communication destination, and outputs it to the control unit 83.
  • the spatial information received by the receiving unit 102 represents the state of the space where the information processing apparatus 11 that is the communication destination is installed, and the context information represents the state of the user obtained by performing sensing.
  • FIG. 6 is a diagram showing an example of output information.
  • spatial image information representing the state of the space of the communication destination point B is displayed as the output information 121 at the point A which is the space of the user A1. It is assumed that the user B1 is present at the point B.
  • the resolution of the spatial image information is lowered due to a communication failure or the like, and the image is blurred as shown in FIG.
  • the user A1 who looks at such blurred spatial image information feels uncomfortable.
  • the information processing apparatus 11A uses the accumulated data accumulated in the accumulation unit 84. To generate virtual space information. For the generation of the virtual space information, the context information of the point B obtained by requesting the information processing apparatus 11B may be used.
  • the information processing apparatus 11A displays virtual space information as shown in FIG. 7 instead of the space information actually transmitted from the information processing apparatus 11B.
  • FIG. 7 is a diagram showing an example of output information.
  • the virtual space image information of the communication destination point B is displayed as the output information 131 at the point A which is the space of the user A1.
  • the output information 131 illustrated in FIG. 7 is not based on information displayed based on the spatial information actually transmitted from the information processing apparatus 11B, but based on information generated as an image that virtually represents the state of the point B. Information to be displayed.
  • the virtual space image information is information generated using stored data in which the transmitted space image information of the point B is stored.
  • the state of the user B1 reflected in the virtual space image information is a state in which the user sits on the sofa and looks at the space image information including the point A, as before the communication situation deteriorates (similar to FIG. 6).
  • the virtual space image information is displayed instead of the actual space image information of the point B, thereby giving the user A1 a sense of connection without giving a sense of incongruity. It is possible to continue to provide.
  • the information processing apparatus 11A determines that it is possible to re-present the spatial information transmitted in real time because the communication status has been recovered, the information processing apparatus replaces the virtual space information.
  • the spatial information actually transmitted from 11B is displayed.
  • FIG. 8 is a diagram showing an example of output information.
  • spatial image information representing the state of the space of the communication destination point B is displayed as output information 141 at the point A which is the space of the user A1.
  • the output information 141 shown in FIG. 8 is information displayed based on the spatial information actually transmitted from the information processing apparatus 11B.
  • the user B1 and the user B2 are reflected in the output information 141.
  • the state of the user B1 is a state in which the user sits on the sofa and looks at the spatial image information including the point A, as in FIG.
  • the uncomfortable feeling is reduced by performing the operation of FIG.
  • FIG. 9 is a diagram for explaining the switching operation of the output target.
  • the determination result (YES or NO) in the predetermined determination process of the information processing apparatus 11 is used as a trigger 1 for the virtual space image information.
  • the virtual space image information is faded in.
  • the space image information is faded out, and the virtual space image information is presented after the fade-out of the space image information is completed.
  • the determination result in the predetermined determination process of the information processing apparatus 11 is used as a trigger 2 to fade out the virtual space image. Is done.
  • the space image information is faded in. After the virtual space image information is faded out, the generation of the virtual space image information is finished and the space image information is presented. Is done.
  • FIG. 9 shows a switching operation of spatial image information, but switching of other spatial information such as spatial audio information may be performed in the same manner.
  • the switching operation in FIG. 9 is an example in the case where the user feels uncomfortable at the time of switching to virtual space image information due to degradation of the communication quality of the space image information.
  • FIG. 10 is a diagram for explaining another example of the output target switching operation.
  • the presentation of the space image information is temporarily stopped by using the determination result in the predetermined determination process of the information processing apparatus 11 as a trigger 1.
  • the information processing apparatus 11 enters a state in which no image information is presented.
  • generation of virtual space image information is started from the trigger 3, and at the same time, virtual space image information is presented.
  • the fade-out and fade-in periods may be omitted.
  • FIG. 11 and FIG. 12 are flowcharts for explaining the spatial connection process of the multidirectional communication system 1. 11 and 12 show an example of the switching operation of FIG.
  • the information processing apparatus 11 and 12 show the spatial connection processing performed by the information processing apparatus 11A and the information processing apparatus 11B.
  • the information processing apparatus 11A and the information processing apparatus 11B are information processing apparatuses provided at different points.
  • the user of the information processing apparatus 11A is the user A
  • the user of the information processing apparatus 11B is the user B.
  • step S11 the transmission unit 101 of the information processing apparatus 11A transmits a connection request to the information processing apparatus 11B.
  • step S51 the receiving unit 102 of the information processing apparatus 11B accepts the connection request from the information processing apparatus 11A.
  • a session between the information processing apparatus 11A and the information processing apparatus 11B is started by the processes of steps S11 and S51.
  • step S12 the transmission unit 101 of the information processing apparatus 11A transmits the spatial information of the point A, which is the space of the user A, to the information processing apparatus 11B.
  • step S52 the transmission unit 101 of the information processing apparatus 11B transmits the spatial information of the point B, which is the space of the user B, to the information processing apparatus 11A.
  • step S13 the receiving unit 102 of the information processing apparatus 11A receives the spatial information of the point B, which is the space of the user B, transmitted from the information processing apparatus 11B.
  • step S53 the receiving unit 102 of the information processing apparatus 11B receives the spatial information of the point A, which is the space of the user A, transmitted from the information processing apparatus 11A.
  • step S54 the output unit 57 of the information processing apparatus 11B presents the spatial information of the point A.
  • the spatial information of the point A received by the receiving unit 102 is supplied to the output unit 57 via the control unit 83.
  • the display device of the output unit 57 presents an image corresponding to the spatial image information of the point A
  • the speaker of the output unit 57 presents sound corresponding to the spatial audio information of the point A.
  • step S14 the control unit 83 of the information processing apparatus 11A determines whether or not the presentation of the spatial information of the point B is no longer desired. If it is determined in step S14 that the presentation of the spatial information of the point B is desired, the process proceeds to step S15.
  • step S15 the output unit 57 of the information processing apparatus 11A presents the spatial information of the point B. Thereafter, the process returns to step S12, and the subsequent processing is repeated.
  • the user A at the point A and the user B at the point B are adjacent to each other. It is possible to obtain a feeling of connection between adjacent spaces, which is a feeling of connection.
  • the transmission / reception of the spatial information as described above is continued until the session ends.
  • step S14 determines whether the presentation of the spatial information of the point B is no longer desired. If it is determined in step S14 that the presentation of the spatial information of the point B is no longer desired, the process proceeds to step S16.
  • the YES determination in the determination process of step S14 is the trigger 1 described above with reference to FIG.
  • step S16 the control unit 83 of the information processing apparatus 11A temporarily stops the presentation of the spatial information of the point B because seamless switching is not necessary. That is, with the YES determination in the determination process of step S14 as a trigger 1, in step S16, the presentation of the spatial image information is temporarily stopped and no image is presented.
  • step S17 the control unit 83 of the information processing apparatus 11A requests the information processing apparatus 11B to pause real-time transmission. Thereby, in the information processing apparatus 11B, real-time transmission is suspended (step S56 described later).
  • step S18 the context analysis unit 81 of the information processing apparatus 11A analyzes the context information of the point A.
  • step S19 the control unit 83 of the information processing apparatus 11A determines based on the analysis result of the context analysis unit 81 whether the presentation of the spatial information of the point B is desired.
  • step S19 If it is determined in step S19 that presentation of the spatial information of the point B is not in a desired state, the process returns to step S18 and the subsequent processing is repeated.
  • step S19 If it is determined in step S19 that presentation of the spatial information of the point B is desired, the process proceeds to step S20 in FIG.
  • the YES determination in the determination process of step S19 is the trigger 3 described above with reference to FIG.
  • step S20 the control unit 83 of the information processing apparatus 11A requests the information processing apparatus 11B to resume real-time transmission.
  • step S21 the control unit 83 of the information processing apparatus 11A requests the context information of the point B.
  • the information processing apparatus 11B transmits the context information of the point B (step S57 described later).
  • step S22 the virtual data generation unit 85 of the information processing apparatus 11A generates virtual space information using the spatial information that is the storage data of the storage unit 84.
  • the context information of the point B may be used.
  • step S23 the control unit 83 of the information processing apparatus 11A determines whether or not virtual space information is generated for the first time. If it is determined in step S23 that virtual space information is generated for the first time, the process proceeds to step S24.
  • step S24 the control unit 83 of the information processing apparatus 11A switches the space information output from the output unit 57 to the virtual space information and presents it.
  • step S18 uses the YES determination in the determination process of step S18 as a trigger 3, generation of virtual space image information is started in step S22.
  • step S24 uses the YES determination in the determination process of step S18 as a trigger 3.
  • seamless switching is possible as necessary.
  • step S23 If it is determined in step S23 that the generation of virtual space information is not the first time, the process proceeds to step S25.
  • step S25 the control unit 83 of the information processing apparatus 11A updates and presents the virtual space information output from the output unit 57.
  • step S26 the transmission unit 101 of the information processing apparatus 11A transmits the spatial information of the point A to the information processing apparatus 11B.
  • the spatial information of the point B is transmitted from the information processing apparatus 11B (step S59 described later).
  • the receiving unit 102 of the information processing apparatus 11A receives the spatial information of the point B transmitted from the information processing apparatus 11B.
  • step S28 the control unit 83 of the information processing apparatus 11A determines whether or not the spatial information of the point B can be presented.
  • step S28 If it is determined in step S28 that the spatial information of the point B cannot be presented, the process returns to step S21 and the subsequent processing is repeated.
  • step S28 If it is determined in step S28 that the spatial information of the point B can be presented, the process proceeds to step S29.
  • the YES determination in the determination process of step S28 is the trigger 2 described above with reference to FIG.
  • step S29 the control unit 83 of the information processing apparatus 11A switches the virtual space information output from the output unit 57 to the spatial information of the point B and presents it. That is, using the YES determination in the determination process in step S28 as a trigger 2, in step S29, the virtual space information is faded out. Thereby, seamless switching between the virtual space information and the space information of the point B is performed.
  • step S29 the process returns to step S12, and the subsequent processing is repeated.
  • step S55 the processing of the information processing apparatus 11B proceeds to step S55 after step S54.
  • step S55 the control unit 83 of the information processing apparatus 11B determines whether or not a request for temporary stop of real-time transmission has been received. If it is determined in step S55 that a request for temporary stop of real-time transmission has not been received, the process returns to step S52, and the subsequent processing is repeated.
  • step S55 If it is determined in step S55 that a request for temporary stop of real-time transmission has been received, the process proceeds to step S56.
  • step S56 the control unit 83 of the information processing apparatus 11B temporarily stops real-time transmission.
  • step S56 the process proceeds to step S57 in FIG.
  • step S57 the control unit 83 of the information processing apparatus 11B transmits the context information of the point B to the information processing apparatus 11A.
  • step S58 the control unit 83 of the information processing apparatus 11B determines whether or not a real-time transmission restart request has been received. If it is determined in step S58 that the real-time transmission restart request has not been received, the process returns to step S57, and the subsequent processing is repeated.
  • the information processing device 11A transmits the spatial information of the point A even while the real time transmission of the information processing device 11B is temporarily stopped.
  • the information processing device 11A transmits the spatial information of the point A even while the real time transmission of the information processing device 11B is temporarily stopped.
  • the spatial information of point A is received and presented.
  • step S58 If it is determined in step S58 that a real-time transmission restart request has been received, the process proceeds to step S59.
  • step S59 the transmission unit 101 of the information processing apparatus 11B transmits the spatial information of the point B to the information processing apparatus 11A.
  • the spatial information of the point A is transmitted from the information processing apparatus 11A (step S26 described above).
  • the receiving unit 102 of the information processing apparatus 11B receives the spatial information of the point A transmitted from the information processing apparatus 11A.
  • step S61 the output unit 57 of the information processing apparatus 11B presents the spatial information of the point A supplied from the reception unit 102 via the control unit 83.
  • step S61 the process returns to step S52, and the subsequent processing is repeated.
  • step S14 when it was determined in step S14 that the presentation of the spatial information is no longer desired, the example in which real-time transmission is paused has been described.
  • the information processing apparatus 11B temporarily stopping the real-time transmission, the information processing apparatus 11A may not be in a state where presentation of spatial information is desired.
  • steps S16 to S20, S55, S56, and S58 may be performed as options.
  • the generation of virtual space image information is started with the YES determination of step S ⁇ b> 14 as a trigger 1, and the virtual space image information is faded. In is given. Therefore, each process of steps S16 to S20, S55, S56, and S58 is an unnecessary process when presenting virtual space information.
  • FIG. 13 and FIG. 14 are flowcharts for explaining another example of the spatial connection processing of the multidirectional communication system 1.
  • FIGS. 13 and 14 an example in the case of communication deterioration is shown.
  • step S111 the transmission unit 101 of the information processing apparatus 11A transmits a connection request to the information processing apparatus 11B.
  • step S151 the receiving unit 102 of the information processing apparatus 11B accepts the connection request from the information processing apparatus 11A.
  • a session between the information processing apparatus 11A and the information processing apparatus 11B is started by the processes of steps S111 and S151.
  • step S112 the transmission unit 101 of the information processing apparatus 11A transmits the spatial information of the point A, which is the space of the user A, to the information processing apparatus 11B.
  • step S152 the transmission unit 101 of the information processing apparatus 11B transmits the spatial information of the point B that is the space of the user B to the information processing apparatus 11A.
  • step S113 the receiving unit 102 of the information processing apparatus 11A receives the spatial information of the point B transmitted from the information processing apparatus 11B.
  • step S153 the receiving unit 102 of the information processing apparatus 11B receives the spatial information of the point A transmitted from the information processing apparatus 11A.
  • step S154 the output unit 57 of the information processing apparatus 11B presents the spatial information of the point A.
  • step S114 the control unit 83 of the information processing apparatus 11A determines whether or not the data having the expected image quality has arrived. If it is determined in step S114 that data having the expected image quality has arrived, the process proceeds to step S115.
  • step S115 the output unit 57 of the information processing apparatus 11A presents the spatial information of the point B supplied from the receiving unit 102 via the control unit 83. Thereafter, the process returns to step S112, and the subsequent processing is repeated.
  • the user A at the point A and the user B at the point B are adjacent to each other. It is possible to obtain a feeling of connection between adjacent spaces, which is a feeling of connection.
  • the transmission / reception of the spatial information as described above is continued until the session ends.
  • step S114 If it is determined in step S114 that the data having the expected image quality has not arrived, the process proceeds to step S116 in FIG.
  • the YES determination in the determination process of step S114 is the trigger 1 described above with reference to FIG.
  • step S116 the control unit 83 of the information processing apparatus 11A requests the context information of the point B.
  • the information processing apparatus 11B transmits the context information of the point B (step S155 described later).
  • step S117 the virtual data generation unit 85 of the information processing apparatus 11A generates virtual space information using the spatial information that is the storage data of the storage unit 84.
  • the context information of the point B may be used.
  • step S118 the control unit 83 of the information processing apparatus 11A determines whether or not virtual space information is generated for the first time. If it is determined in step S118 that virtual space information is generated for the first time, the process proceeds to step S119.
  • step S119 the control unit 83 of the information processing apparatus 11A causes the spatial information output from the output unit 57 to be switched to virtual space information and presented.
  • step S114 uses the YES determination in the determination process of step S114 as a trigger 1, generation of virtual space image information is started in step S117.
  • step S119 using YES determination in the determination process of step S114 as a trigger 1, in step S119, the virtual space image information is faded in.
  • step S118 If it is determined in step S118 that the generation of virtual space information is not the first time, the process proceeds to step S120.
  • step S120 the control unit 83 of the information processing apparatus 11A updates and presents the virtual space information output from the output unit 57.
  • step S121 the transmission unit 101 of the information processing apparatus 11A transmits the spatial information of the point A to the information processing apparatus 11B.
  • the spatial information of the point B is transmitted from the information processing apparatus 11B (step S156 described later).
  • the receiving unit 102 of the information processing apparatus 11A receives the spatial information of the point B transmitted from the information processing apparatus 11B.
  • step S123 the control unit 83 of the information processing apparatus 11A determines whether or not the communication quality has been recovered.
  • step S123 If it is determined in step S123 that the communication quality has not recovered, the process returns to step S116, and the subsequent processing is repeated.
  • step S123 If it is determined in step S123 that the communication quality has been recovered, the process proceeds to step S124.
  • the YES determination in the determination process in step S123 is the trigger 2 described above with reference to FIG.
  • step S124 the control unit 83 of the information processing apparatus 11A switches the virtual space information output from the output unit 57 to the spatial information of the point B and presents it. That is, using the YES determination in the determination process in step S123 as a trigger 2, in step S124, the virtual space information is faded out. Thereby, seamless switching is performed between the virtual space information and the space information of the point B.
  • step S124 the process returns to step S112, and the subsequent processing is repeated.
  • step S154 the information processing apparatus 11B proceeds to step S155 in FIG.
  • step S116 the context information of the point B is requested from the information processing apparatus 11A (step S116 described above).
  • the control unit 83 of the information processing apparatus 11B transmits the context information of the point B to the information processing apparatus 11A.
  • step S156 the transmission unit 101 of the information processing apparatus 11B transmits the spatial information of the point B to the information processing apparatus 11A.
  • the spatial information of the point A is transmitted from the information processing apparatus 11A (step S121 described above).
  • the receiving unit 102 of the information processing apparatus 11B receives the spatial information of the point A transmitted from the information processing apparatus 11A.
  • step S158 the output unit 57 of the information processing apparatus 11B presents the spatial information of the point A supplied from the receiving unit 102 via the control unit 83.
  • step S158 the process returns to step S152, and the subsequent processing is repeated.
  • the present technology provides a sense of connection by reproducing a clear image from past accumulated data. be able to.
  • FIGS. 15 and 16 are flowcharts illustrating still another example of the spatial connection process of the multidirectional communication system 1.
  • FIG. 15 and FIG. 16 an example in the case of energy saving and band saving is shown.
  • step S211 the transmission unit 101 of the information processing apparatus 11A transmits a connection request to the information processing apparatus 11B.
  • step S251 the receiving unit 102 of the information processing apparatus 11B accepts the connection request from the information processing apparatus 11A.
  • a session between the information processing apparatus 11A and the information processing apparatus 11B is started by the processes of steps S211 and S251.
  • step S212 the transmission unit 101 of the information processing apparatus 11A transmits the spatial information of the point A, which is the space of the user A, to the information processing apparatus 11B.
  • step S252 the transmission unit 101 of the information processing apparatus 11B transmits the spatial information of the point B, which is the space of the user B, to the information processing apparatus 11A.
  • step S213 the receiving unit 102 of the information processing apparatus 11A receives the spatial information of the point B transmitted from the information processing apparatus 11B.
  • step S253 the receiving unit 102 of the information processing apparatus 11B receives the spatial information of the point A transmitted from the information processing apparatus 11A.
  • step S254 the output unit 57 of the information processing apparatus 11B presents the spatial information of the point A.
  • step S214 the control unit 83 of the information processing apparatus 11A determines whether or not the user A is absent. If it is determined in step S214 that the user A exists, the process proceeds to step S215.
  • step S215 the output unit 57 of the information processing apparatus 11A presents the spatial information of the point B. Thereafter, the process returns to step S212, and the subsequent processing is repeated.
  • the user A at the point A and the user B at the point B are adjacent to each other. It is possible to obtain a feeling of connection between adjacent spaces, which is a feeling of connection.
  • the transmission / reception of the spatial information as described above is continued until the session ends.
  • step S214 when it is determined in step S214 that the user A is absent, the process proceeds to step S216.
  • the YES determination in the determination process of step S214 is the trigger 1 described above with reference to FIG.
  • step S216 the control unit 83 of the information processing apparatus 11A temporarily stops the presentation of the spatial information of the point B because seamless switching is not necessary. That is, with the YES determination in the determination process in step S214 as a trigger 1, in step S216, the presentation of the spatial image information is temporarily stopped and no image is presented.
  • step S217 the control unit 83 of the information processing apparatus 11A requests the information processing apparatus 11B to pause real-time transmission. Thereby, in the information processing apparatus 11B, real-time transmission is temporarily stopped (step S256 described later).
  • step S219 the control unit 83 of the information processing apparatus 11A determines whether or not the user A is approaching. If it is determined in step S219 that the user A is not approaching, the process returns to step S218, and the subsequent processing is repeated.
  • step S219 If it is determined in step S219 that the user A is approaching, the process proceeds to step S220 in FIG.
  • the YES determination in the determination process of step S219 is the trigger 3 described above with reference to FIG.
  • step S220 the control unit 83 of the information processing apparatus 11A requests the information processing apparatus 11B to resume real-time transmission.
  • step S221 the control unit 83 of the information processing apparatus 11A requests the context information of the point B.
  • the information processing apparatus 11B transmits the context information of the point B (step S257 described later).
  • step S222 the virtual data generation unit 85 of the information processing apparatus 11A generates virtual space information using the spatial information that is the storage data of the storage unit 84.
  • the context information of the point B may be used.
  • step S223 the control unit 83 of the information processing apparatus 11A determines whether or not virtual space information is generated for the first time. If it is determined in step S223 that virtual space information is generated for the first time, the process proceeds to step S224.
  • step S224 the control unit 83 of the information processing apparatus 11A causes the spatial information output from the output unit 57 to be switched to virtual space information and presented.
  • step S222 using the YES determination in the determination process of step S219 as a trigger 3, in step S222, generation of virtual space image information is started.
  • step S224 using the YES determination in the determination process of step S219 as a trigger 3, in step S224, the virtual space image information is presented. In the presentation in step S224, seamless switching is not necessary.
  • step S223 If it is determined in step S223 that virtual space information is not generated for the first time, the process proceeds to step S225.
  • step S225 the control unit 83 of the information processing apparatus 11A updates and presents the virtual space information output from the output unit 57.
  • step S226 the transmission unit 101 of the information processing apparatus 11A transmits the spatial information of the point A to the information processing apparatus 11B.
  • the spatial information of the point B is transmitted from the information processing apparatus 11B (step S259 described later).
  • the receiving unit 102 of the information processing apparatus 11A receives the spatial information of the point B transmitted from the information processing apparatus 11B.
  • step S228 If it is determined in step S228 that the spatial information of point B has not arrived, the process returns to step S221 and the subsequent processing is repeated.
  • step S228 If it is determined in step S228 that the spatial information of point B has arrived, the process proceeds to step S229.
  • the YES determination in the determination processing in step S228 is the trigger 2 described above with reference to FIG.
  • step S229 the control unit 83 of the information processing apparatus 11A switches the virtual space information output from the output unit 57 to the spatial information of the point B and presents it. That is, using the YES determination in the determination process in step S228 as a trigger 2, in step S229, the virtual space information is faded out. Thereby, seamless switching between the virtual space information and the space information of the point B is performed.
  • step S229 the process returns to step S212, and the subsequent processing is repeated.
  • step S255 after the process of step S254.
  • the processes in subsequent steps S255 to S261 are basically the same as the processes in steps S55 to S61 in FIGS. Therefore, those descriptions are omitted because they are repeated.
  • the present technology generates an image close to the current state of the connection destination. By presenting them and smoothly transitioning to the current image, it is possible to continue providing a sense of connection.
  • the virtual space information is smoothly switched to the space information.
  • This technology is not limited to real-time transmission, but can be applied to time-shifting, recording, or unidirectional systems.
  • the series of processes of the server described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed from a program recording medium into a computer incorporated in dedicated hardware or a general-purpose personal computer.
  • the installed program is provided by being recorded on a removable medium 61 such as an optical disc (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.) or semiconductor memory driven by the drive 60.
  • a removable medium 61 such as an optical disc (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.) or semiconductor memory driven by the drive 60.
  • CD-ROM Compact Disc-Read Disc Only
  • DVD Digital Versatile Disc
  • semiconductor memory driven by the drive 60.
  • the program can be installed in advance in the ROM 52 or the storage unit 58.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a receiving unit that receives real space information that is information representing the state of the real space of the first user; Based on the received real space information, a generation unit that generates virtual space information that is information representing the state of a virtual space;
  • a multidirectional communication device comprising: a display control unit that controls display of the virtual space represented by the generated virtual space information on the second user's device instead of the real space represented by the real space information.
  • the display control unit controls display of the virtual space based on sensing information that is information representing a state of the second user.
  • the multi-directional communication device controls display of the virtual space when the presentation of the real space information is no longer desired.
  • the said display control part controls the display of the said virtual space, when the fall of the image quality contained in the said real space information is detected when the state of a network has deteriorated.
  • the said (1) or (2) Multi-directional communication device controls the display of the said virtual space, when the approach of the said 2nd user is detected when the said 2nd user is absent.
  • the display control unit smoothly switches to the generated virtual space information while fading out the real space represented by the real space information, and controls display of the virtual space represented by the virtual space information.
  • the multidirectional communication device according to any one of (5). (7) When the real space information is available again, the display control unit smoothly switches to the real space information while fading out the virtual space information, and controls display of the virtual space corresponding to the real space information The multidirectional communication device according to (6). (8) The multi-directional communication device according to (3), wherein the display control unit controls display of the virtual space when the real space information is not available when the presentation of the real space information is not desired. .
  • Multi-directional communication device Receiving real space information which is information representing the state of the real space of the first user; Based on the received real space information, generate virtual space information that is information representing the state of the virtual space, A multi-directional communication method for controlling display of a virtual space represented by the generated virtual space information on a second user's device instead of the real space represented by the real space information.
  • a receiving unit that receives real space information that is information representing the state of the real space of the first user; Based on the received real space information, a generation unit that generates virtual space information that is information representing the state of a virtual space; A program that causes a computer to function as a display control unit that controls display of the virtual space represented by the generated virtual space information on the second user's device instead of the real space represented by the real space information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Digital Computer Display Output (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術は、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制することができるようにする多方向通信装置、多方向通信方法、およびプログラムに関する。 受信部は、ユーザＢの現実の空間の様子を表す情報である現実空間情報を受信する。仮想データ生成部は、受信された現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する。制御部は、現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、ユーザＡの情報処理装置への表示を制御する。本技術は、多方向通信システムに適用することができる。

Description

多方向通信装置、多方向通信方法、およびプログラム
　本技術は、多方向通信装置、多方向通信方法、およびプログラムに関し、特に、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制することができるようにした多方向通信装置、多方向通信方法、およびプログラムに関する。
　特許文献１においては、撮像する３次元空間内において、対象となるユーザや環境の状態を認識し、映像内から特定ユーザ部分をモザイク処理することにより、実際のデータと異なる映像、類似する映像、または仮想の映像の生成を行う手法が提案されている。
　一方、近年、通信技術の発達により、遠隔地で映像を介して会話を行うリアルタイム双方向通信が行われている。
特開２００５－２５８６７９号公報
　リアルタイム双方向通信において、通信が遮断され、映像が途切れてしまった場合に、途切れてしまった相手側の映像を仮想的に生成することは、特許文献１の技術では困難である。
　本技術はこのような状況に鑑みてなされたものであり、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制することができるようにするものである。
　本技術の一側面の多方向通信装置は、第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部とを備える。
　本技術の一側面においては、第１のユーザの現実の空間の様子を表す情報である現実空間情報が受信され、受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報が生成される。そして、前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示が制御される。
　本技術によれば、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制するようにすることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した多方向通信システムを示す図である。 出力情報の一例を示す図である。 出力情報の一例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 出力情報の一例を示す図である。 出力情報の一例を示す図である。 出力情報の一例を示す図である。 出力対象の切り替え動作について説明する図である。 出力対象の切り替え動作について説明する図である。 多方向通信システムの空間接続処理を説明するフローチャートである。 多方向通信システムの空間接続処理を説明する、図１１に続くフローチャートである。 多方向通信システムの空間接続処理の他の例を説明するフローチャートである。 多方向通信システムの空間接続処理を説明する、図１３に続くフローチャートである。 多方向通信システムの空間接続処理のさらに他の例を説明するフローチャートである。 多方向通信システムの空間接続処理を説明する、図１５に続くフローチャートである。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．システムの概要
　２．情報処理装置の構成
　３．動作
　４．まとめ
　５．その他
＜１．システムの概要＞
　＜多方向通信システムの構成例＞
　図１は、本技術を適用した多方向通信システムを示す図である。
　図１に示すように、多方向通信システム１は、情報処理装置１１Ａ乃至１１Ｃ、およびサーバ１２が、インターネットなどのネットワーク１３を介して接続されることによって構成される。
　情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、それぞれユーザＡの空間である地点Ａ、ユーザＢの空間である地点Ｂ、およびユーザＣの空間である地点Ｃに配置される。情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、各ユーザの空間を、画像、音声、その他の情報チャンネルで接続し、ユーザに対して、あたかも各空間がつながっているかのように感じさせる装置である。
　例えば、情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、離れて暮らしている親と子に、互いの家のリビングが窓やドアに相当する表示装置を介してつながっているように見せることができる。互いのリビングがつながっているように見せることにより、ユーザＡ乃至Ｃは、他のユーザの様子（例えば、子どもの様子や親の様子など）を把握しながら生活することができる。
　このようなつながり感の演出は、情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃのそれぞれの間で、各空間の様子を表す情報である空間情報を送受信することによって行われる。空間情報は、カメラにより撮影して得られた空間画像情報、マイクロホンなどにより集音して得られた空間音声情報などを含む情報である。このように、情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、空間情報を共有する空間情報共有装置として機能する。
　このような構成を有する多方向通信システム１においては、通信、機器、ユーザの状態に起因して、空間情報のリアルタイム伝送が困難な場合があり得る。
　空間情報のリアルタイム伝送が困難な場合、多方向通信システム１においては、空間情報の蓄積データを用いて仮想的な空間の様子を表す仮想空間情報を生成し、仮想空間情報によって仮想空間を表示させる処理が行われる。これにより、実際の空間の表示に代えて、近似した空間の表示を続けることができるようになされている。
　仮想空間情報は、視覚により認知できる空間の様子を仮想的に表す仮想空間画像情報、聴覚により認知できる空間の様子を仮想的に表す仮想空間音声情報などを含む情報である。
　仮想空間情報の生成は、リアルタイムに取得可能な、または、近い未来のこととして予測可能なコンテキスト情報を蓄積データと組み合わせて用いることによって行われる。コンテキスト情報は、センシングを行うことによって得られた、ユーザの状態を表す情報である。ユーザの状態には、ユーザの空間の状態も含まれる。
　蓄積データだけでなくコンテキスト情報をメタデータとして用いることにより、実際の空間により近い仮想空間を表現することが可能な仮想空間情報を生成することが可能となる。
　例えば、情報処理装置１１Ａ乃至１１Ｃは、それぞれ、多方向通信の同期処理、空間情報の送受信処理、仮想空間情報生成処理、および切り替え提示処理などを行う。これらの処理の少なくとも一部が、サーバ１２により行われるようにしてもよい。図１に示す例では、多方向通信システム１がサーバ１２を含む構成となっているが、サーバ１２を含まない構成としてもよい。
　これにより、接続を途切れさせることがなく、ユーザにとって、違和感のない、心地よい空間のつながり感を提供することができる。つながり感とは、空間がつながっているような感覚であり、安心感や互いの存在感と言い換えることも可能である。
　なお、多方向通信システム１は、２地点間を接続することも可能であるし、３地点以上の多地点接続を行ってもよい。
　以下、適宜、情報処理装置１１Ａ乃至１１Ｃを区別する必要がない場合、情報処理装置１１と称する。
　＜出力情報の例＞
　図２は、出力情報の一例を示す図である。
　図２の例においては、ユーザＢ１の空間である地点Ｂにおいて、通信先の地点Ａの空間の様子を表す空間画像情報が出力情報３１として表示されている。出力情報３１の表示は、地点Ｂに配置されている情報処理装置１１Ｂにより行われる。地点ＡにはユーザＡ１乃至Ａ３がいるものとされている。なお、空間画像情報のアスペクト比は任意である。
　例えば、出力情報３１に映っているユーザＡ１は、子育て世代の母であり、ユーザＡ２およびユーザＡ３は、子どもたちである。図２の例においては、ユーザＡ１は、ユーザＢ１がいる地点Ｂに興味があり、ユーザＡ１の正面にある表示装置に表示されている、地点Ｂの空間画像情報を見ているものとされている。ユーザＡ１の正面にある表示装置に表示されている空間画像情報は、地点Ｂの様子を表す情報である。地点Ｂの様子を表す空間画像情報には、後述するようにユーザＢ１が映っている。なお、図２の例においては、ユーザＡ２およびユーザＡ３は、地点Ｂの空間画像情報に興味がなく、遊んでいるものとされている。
　図３は、出力情報の一例を示す図である。
　図３の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの空間の様子を表す空間画像情報が出力情報４１として表示されている。出力情報４１の表示は、地点Ａに配置されている情報処理装置１１Ａにより行われる。地点ＢにはユーザＢ１およびユーザＢ２がいるものとされている。
　例えば、ユーザＢ１は、ユーザＡ１の母であり、ユーザＡ２およびユーザＡ３の祖母である。ユーザＢ２は、ユーザＡ１の父であり、ユーザＡ２およびユーザＡ３の祖父である。図３の例においては、ユーザＢ１は、地点Ａに興味があり、ユーザＢ１の正面にある表示装置に表示されている、地点Ａの空間画像情報（図２の出力情報３１）を見ているものとされている。ユーザＢ２は、ドアからユーザＢ１がいる空間に入ってきたところである。
　このような出力情報の表示がリアルタイムで続けられることにより、遠隔地にいるユーザは、お互いが、あたかも隣の部屋にいるような感覚を得ることが可能となる。
＜２．情報処理装置の構成＞
　＜情報処理装置の構成＞
　図４は、情報処理装置１１のハードウェア構成例を示すブロック図である。
　CPU５１、ROM５２、RAM５３は、バス５４により相互に接続される。バス５４には、さらに、入出力インタフェース５５が接続される。
　入出力インタフェース５５には、入力部５６、出力部５７、記憶部５８、通信部５９、およびドライブ６０が接続される。
　入力部５６は、空間情報を取得する。入力部５６が取得する空間情報には、例えば、ユーザの空間の画像、音声、環境データ、テキスト、触覚、および匂いなどの情報が含まれる。ユーザの空間は、ユーザがいる空間だけではなく、ユーザに関連付けられた部屋などの空間（不在でもよい）も含まれる。
　また、空間情報には、空間の明るさ、空間の広さ、空間の高さ、気流、温度、湿度、環境音、および情報処理装置１１の状態などの空間の様子を示す情報が含まれる。空間情報には、ユーザの位置、ユーザと出力情報の表示領域との距離、ユーザの動き、ユーザの注視点、同一空間にいるユーザの人数および構成、ユーザの姿勢などのユーザの状態を示す情報が含まれる。
　入力部５６は、周囲の状況を撮影するカメラ、周囲の音を検出するマイク、およびセンサなどで構成される。センサは、空間内や空間周辺の各種情報を検知する。センサは、例えば、温度センサ、湿度センサ、照度センサ、匂いセンサ、人感センサ、振動センサ、気流センサ、およびドア開閉センサなどの物理センサや、ホームオートメーションシステム、建築物、および都市インフラシステムに設置されたIoTセンサにより構成される。
　カメラ、マイク、センサは１台に限らず、複数であってもよい。情報処理装置１１に設けられるセンサの組み合わせについては任意に変更可能である。カメラ、マイク、センサが情報処理装置１１の構成として設けられるのではなく、外部のカメラ、マイク、センサにより得られた情報が入力部５６において取得されるようにしてもよい。
　出力部５７は、ディスプレイやプロジェクタなどの表示装置、スピーカなどの音声出力装置、およびLEDランプまたはインジケータなどの通知装置よりなる。
　記憶部５８は、ハードディスクや不揮発性のメモリなどにより構成される。記憶部５８には、CPU５１が実行するプログラムの他に、コンテキスト情報および空間情報などの各種のデータが記憶される。
　通信部５９は、ネットワークインタフェースにより構成される。通信部５９は、無線や有線による通信を介してネットワーク１３に接続し、P2Pまたはサーバ１２経由で、他の情報処理装置１１と相互に通信を行う。
　ドライブ６０は、リムーバブルメディア６１を駆動し、リムーバブルメディア６１に記憶されたデータの読み出し、または、リムーバブルメディア６１に対するデータの書き込みを行う。
　図４に示す構成と同じ構成をサーバ１２も有している。
　＜情報処理装置の機能構成＞
　図５は、情報処理装置１１の機能構成例を示すブロック図である。
　図５に示す機能構成のうちの少なくとも一部は、図４のCPU５１により所定のプログラムが実行されることによって実現される。図５の構成のうち、図４の構成と対応する部分には同じ符号が付されている。重複する説明については適宜省略する。
　図５に示すように、情報処理装置１１においては、コンテキスト分析部８１、ＵＩ(User Interface)部８２、制御部８３、蓄積部８４、および仮想データ生成部８５が実現される。通信部５９は、送信部１０１および受信部１０２から構成される。
　コンテキスト分析部８１は、入力部５６から供給された画像情報、音声情報、物理センサの情報、IoTセンサの情報またはそれらの少なくともいずれかの組み合わせを利用して分析し、分析結果であるコンテキスト情報を生成する。
　画像情報は、顔、人物、動き、環境、状態などの、カメラにより得られた情報である。音声情報は、声、会話、物音、環境、音場などの、マイクにより得られた情報である。物理センサの情報は、振動、気流、熱、照度などの情報である。IoTセンサの情報は、ホームオートメーションシステム、建築物、および都市インフラシステムなどに設置されたセンサにより検出された情報である。
　コンテキスト情報は、上述したように、センシングを行うことによって得られた、ユーザの状態を表す情報である。分析を行うことによってコンテキスト分析部８１により得られたコンテキスト情報は、制御部８３に供給される。
　ＵＩ部８２は、リモートコントローラやコントローラなどからなり、ユーザの操作に対応する操作情報を制御部８３に出力する。
　制御部８３は、演算処理装置および制御装置として機能し、各種プログラムに従って、情報処理装置１１の動作全般を制御する。制御部８３は、受信部１０２から供給された通信先の空間情報を蓄積部８４に蓄積させる。
　制御部８３は、通信、機器、ユーザの状態などに基づいて、空間情報の提示が望まれる状態ではなくなったか否かを判定する。制御部８３は、空間情報の提示が望まれる状態ではなくなった場合、空間情報に代えて、仮想データ生成部８５により生成された仮想空間情報を、出力部５７を構成する表示装置に出力し、表示させる。
　制御部８３は、通信、機器、ユーザの状態などに基づいて、通信の状態が悪化したか否かを判定する。制御部８３は、通信、機器、ユーザの状態などに基づいて、ユーザの不在状態または接近状態を判定する。制御部８３は、判定結果に応じて、空間情報に代えて、生成された仮想空間情報を表示させる。
　制御部８３は、通信の状態などが回復したことから、実際の空間情報を再度提示できるようになった場合、仮想空間情報に代えて、通信先から伝送されてきた空間情報を、出力部５７を構成する表示装置に出力し、表示させる。
　蓄積部８４は、ハードディスクや不揮発性のメモリなどにより構成される。蓄積部８４は、通信先から送信されてきた空間情報を蓄積する。
　仮想データ生成部８５は、蓄積部８４に蓄積された空間情報を用いて仮想空間情報を生成し、生成した仮想空間情報を制御部８３に出力する。
　仮想空間情報の生成には、蓄積部８４に蓄積された空間情報に含まれる、日時、地点（場所）、ユーザ情報、環境（天候、地形、構造、配置、設備）などの空間モデル情報が利用される。環境などの変動パラメータに紐付いた学習データが仮想空間情報の生成に利用されるようにしてもよい。
　また、仮想空間情報の生成に、自己または通信先のコンテキスト情報が利用されるようにしてもよい。例えば、コンテキスト情報に含まれる、リアルタイムに取得される、または、近い未来のこととして予測可能な、時刻、天候、明るさ、などの状態を表すメタデータが仮想空間情報の生成に利用される。
　送信部１０１は、制御部８３から供給された空間情報とコンテキスト情報を通信先の情報処理装置１１に送信する。
　受信部１０２は、通信先の情報処理装置１１から送信されてきた空間情報とコンテキスト情報を受信し、制御部８３に出力する。受信部１０２により受信された空間情報は、通信先の情報処理装置１１が設置されている空間の様子を表し、コンテキスト情報は、センシングを行うことによって得られたユーザの状態を表す。
　＜仮想空間情報の生成＞
　次に、図６乃至図８を参照して、仮想空間情報の生成について説明する。
　図６は、出力情報の一例を示す図である。
　図６の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの空間の様子を表す空間画像情報が出力情報１２１として表示されている。地点ＢにはユーザＢ１がいるものとされている。
　例えば、通信の不具合などにより空間画像情報の解像度が低くなり、図６に示されるように、画像がぼやけてしまっているものとする。このような、ぼやけている空間画像情報を見ている、ユーザＡ１は、違和感を覚えることになる。
　情報処理装置１１Ａは、地点Ａのコンテキスト情報に基づいて、ユーザＡ１の状態が、空間情報に違和感を覚えている状態にあると判断した場合、蓄積部８４に蓄積させておいた蓄積データを用いて仮想空間情報を生成する。仮想空間情報の生成には、情報処理装置１１Ｂに要求して得られる、地点Ｂのコンテキスト情報が用いられるようにしてもよい。
　情報処理装置１１Ａは、情報処理装置１１Ｂから実際に伝送されてきた空間情報に代えて、図７に示されるように、仮想空間情報を表示させる。
　図７は、出力情報の一例を示す図である。
　図７の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの仮想空間画像情報が出力情報１３１として表示されている。図７に示す出力情報１３１は、情報処理装置１１Ｂから実際に伝送されてきた空間情報に基づいて表示される情報ではなく、地点Ｂの様子を仮想的に表す画像として生成された情報に基づいて表示される情報である。
　仮想空間画像情報は、伝送された地点Ｂの空間画像情報が蓄積していた蓄積データを用いて生成された情報である。
　仮想空間画像情報に映るユーザＢ１の状態は、通信の状況が悪くなる前と同様に（図６と同様に）、ソファに座り、地点Ａが含まれる空間画像情報を見ている状態である。
　このように、通信の状況が悪くなった場合に、地点Ｂの実際の空間画像情報に代えて仮想空間画像情報を表示させることにより、ユーザＡ１に対して、違和感を与えることなく、接続感を提供し続けることが可能となる。
　また、情報処理装置１１Ａは、通信の状況が回復したことなどから、リアルタイムに伝送されてきた空間情報を再度提示することが可能になったと判断した場合、仮想空間情報に代えて、情報処理装置１１Ｂから実際に伝送されてきた空間情報を表示させる。
　図８は、出力情報の一例を示す図である。
　図８の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの空間の様子を表す空間画像情報が出力情報１４１として表示されている。図８に示す出力情報１４１は、情報処理装置１１Ｂから実際に伝送されてきた空間情報に基づいて表示される情報である。
　出力情報１４１には、ユーザＢ１とユーザＢ２が映っている。ユーザＢ１の状態は、図７と同様に、ソファに座り、地点Ａが含まれる空間画像情報を見ている状態である。
　このように、通信の状況が回復した場合、仮想空間情報に代えて、地点Ｂの実際の空間情報を表示させることにより、ユーザＡ１に対して接続感を提供し続けることが可能となる。
　ここで、図６の空間画像情報と図７の仮想空間画像情報には差分がある。また、図７の仮想空間画像情報と図８の空間画像情報にも差分がある。
　このように、差分のある画像情報に表示が切り替わるとユーザに違和感を与えてしまう。情報処理装置１１Ａにおいては、図９の動作が行われることにより、違和感の軽減が図られる。
　図９は、出力対象の切り替え動作について説明する図である。
　例えば、図６の空間画像情報に代えて図７の仮想空間画像情報を提示させる場合、情報処理装置１１の所定の判定処理における判定結果（YES or NO）をトリガー１として、仮想空間画像情報の生成が開始されると同時に、仮想空間画像情報に対してフェードインが施される。また、仮想空間画像情報のフェードインとともに、空間画像情報に対しては、フェードアウトが施され、空間画像情報のフェードアウトの終了後、仮想空間画像情報が提示される。
　次に、図７の仮想空間画像情報に代えて図８の空間画像情報を提示させる場合、情報処理装置１１の所定の判定処理における判定結果をトリガー２として、仮想空間画像に対してフェードアウトが施される。また、仮想空間画像情報のフェードアウトとともに、空間画像情報に対してはフェードインが施され、仮想空間画像情報のフェードアウトの終了後、仮想空間画像情報の生成が終了されるとともに、空間画像情報が提示される。
　なお、図９には、空間画像情報の切り替え動作が示されているが、空間音声情報などの他の空間情報の切り替えについても同様にして行われてもよい。
　以上のように、フェードアウトおよびフェードインの期間を設けて出力対象を切り替えることにより、違和感を軽減させることが可能となる。
　なお、図９の切り替え動作は、空間画像情報の通信品質の劣化などで、仮想空間画像情報への切り替え時にユーザに違和感を与える場合の例である。
　これに対して、省エネ・省帯域のために、仮想空間画像情報への切り替え時にユーザに違和感を与えない場合について、図１０を参照して説明する。
　図１０は、出力対象の切り替え動作の他の例について説明する図である。
　例えば、図６の空間画像情報に代えて図７の仮想空間画像情報を提示させる場合、情報処理装置１１の所定の判定処理における判定結果をトリガー１として、空間画像情報の提示を一時停止させる。これにより、情報処理装置１１は、画像情報の提示なしの状態になる。その後、情報処理装置１１の所定の判定処理における判定結果をトリガー３として、トリガー３から、仮想空間画像情報の生成が開始されると同時に、仮想空間画像情報が提示される。
　次に、図１０における、図７の仮想空間画像情報に代えて図８の空間画像情報を提示させる場合については、図９の場合と同様のため、説明を省略する。
　以上のように、違和感を軽減させる必要がない場合、フェードアウトおよびフェードインの期間は省略されてもよい。
＜３．動作＞
　＜多方向通信システムの処理例１＞
　図１１および図１２は、多方向通信システム１の空間接続処理を説明するフローチャートである。図１１および図１２では、図１０の切り替え動作の例が示されている。
　図１１および図１２には、情報処理装置１１Ａおよび情報処理装置１１Ｂで行う空間接続処理が示されている。情報処理装置１１Ａおよび情報処理装置１１Ｂは、異なる地点に設けられた情報処理装置である。情報処理装置１１ＡのユーザはユーザＡであり、情報処理装置１１ＢのユーザはユーザＢである。
　ステップＳ１１において、情報処理装置１１Ａの送信部１０１は、接続要求を情報処理装置１１Ｂに送信する。
　これに対して、ステップＳ５１において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａからの接続要求を受諾する。ステップＳ１１およびＳ５１の処理により、情報処理装置１１Ａと情報処理装置１１Ｂ間のセッションが開始される。
　ステップＳ１２において、情報処理装置１１Ａの送信部１０１は、ユーザＡの空間である地点Ａの空間情報を情報処理装置１１Ｂに送信する。
　一方、ステップＳ５２において、情報処理装置１１Ｂの送信部１０１は、ユーザＢの空間である地点Ｂの空間情報を情報処理装置１１Ａに送信する。
　ステップＳ１３において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきたユーザＢの空間である地点Ｂの空間情報を受信する。
　ステップＳ５３において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきたユーザＡの空間である地点Ａの空間情報を受信する。
　ステップＳ５４において、情報処理装置１１Ｂの出力部５７は、地点Ａの空間情報を提示する。受信部１０２により受信された地点Ａの空間情報は、制御部８３を介して出力部５７に対して供給されてくる。具体的には、出力部５７の表示装置は、地点Ａの空間画像情報に対応する画像を提示し、出力部５７のスピーカは、地点Ａの空間音声情報に対応する音声を提示する。
　また、ステップＳ１４において、情報処理装置１１Ａの制御部８３は、地点Ｂの空間情報の提示が望まれる状態でなくなったか否かを判定する。ステップＳ１４において、地点Ｂの空間情報の提示が望まれる状態であると判定された場合、処理は、ステップＳ１５に進む。
　ステップＳ１５において、情報処理装置１１Ａの出力部５７は、地点Ｂの空間情報を提示する。その後、ステップＳ１２に戻り、それ以降の処理が繰り返される。
　地点Ａにおいて地点Ｂの空間情報が提示され、地点Ｂにおいて地点Ａの空間情報が提示されることにより、地点ＡにいるユーザＡと地点ＢにいるユーザＢは、それぞれ、お互いの空間が隣接しているようなつながり感である空間隣接つながり感を得ることができる。以上のような空間情報の送受信はセッションが終了するまで継続される。
　一方、ステップＳ１４において、地点Ｂの空間情報の提示が望まれる状態でなくなったと判定された場合、処理は、ステップＳ１６に進む。ステップＳ１４の判定処理におけるYES判定が、図１０で上述したトリガー１である。
　ステップＳ１６において、情報処理装置１１Ａの制御部８３は、シームレスな切り替えが必要ないため、地点Ｂの空間情報の提示を一時停止させる。すなわち、ステップＳ１４の判定処理におけるYES判定をトリガー１として、ステップＳ１６では、空間画像情報の提示が一時停止され、画像提示がない状態になる。
　ステップＳ１７において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の一時停止を要求する。これにより、情報処理装置１１Ｂでは、リアルタイム伝送が一時停止される（後述するステップＳ５６）。
　ステップＳ１８において、情報処理装置１１Ａのコンテキスト分析部８１は、地点Ａのコンテキスト情報を分析する。
　ステップＳ１９において、情報処理装置１１Ａの制御部８３は、コンテキスト分析部８１の分析結果に基づいて、地点Ｂの空間情報の提示が望まれる状態になったか否かを判定する。
　ステップＳ１９において、地点Ｂの空間情報の提示が望まれる状態になっていないと判定された場合、ステップＳ１８に戻り、それ以降の処理が繰り返される。
　ステップＳ１９において、地点Ｂの空間情報の提示が望まれる状態になったと判定された場合、処理は、図１２のステップＳ２０に進む。ステップＳ１９の判定処理におけるYES判定が、図１０で上述したトリガー３である。
　ステップＳ２０において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の再開を要求する。
　ステップＳ２１において、情報処理装置１１Ａの制御部８３は、地点Ｂのコンテキスト情報を要求する。これに対して、情報処理装置１１Ｂは、地点Ｂのコンテキスト情報を送信する（後述するステップＳ５７）。
　ステップＳ２２において、情報処理装置１１Ａの仮想データ生成部８５は、蓄積部８４の蓄積データである空間情報を用いて、仮想空間情報を生成する。このとき、地点Ｂのコンテキスト情報が用いられてもよい。
　ステップＳ２３において、情報処理装置１１Ａの制御部８３は、仮想空間情報の生成が初めてであるか否かを判定する。ステップＳ２３において、仮想空間情報の生成が初めてであると判定された場合、処理は、ステップＳ２４に進む。
　ステップＳ２４において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている空間情報を、仮想空間情報に切り替えさせ、提示させる。
　すなわち、ステップＳ１８の判定処理におけるYES判定をトリガー３として、ステップＳ２２では、仮想空間画像情報の生成が開始される。また、ステップＳ１８の判定処理におけるYES判定をトリガー３として、ステップＳ２４では、仮想空間画像情報が提示される。ステップＳ２４における提示では、必要に応じて、シームレスな切り替えが可能である。
　ステップＳ２３において、仮想空間情報の生成が初めてではないと判定された場合、処理は、ステップＳ２５に進む。
　ステップＳ２５において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を更新させ、提示させる。
　ステップＳ２６において、情報処理装置１１Ａの送信部１０１は、地点Ａの空間情報を情報処理装置１１Ｂに送信する。
　情報処理装置１１Ｂより、地点Ｂの空間情報が送信されてくる（後述するステップＳ５９）。ステップＳ２７において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
　ステップＳ２８において、情報処理装置１１Ａの制御部８３は、地点Ｂの空間情報を提示できる状態であるか否かを判定する。
　ステップＳ２８において、地点Ｂの空間情報を提示できる状態ではないと判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。
　ステップＳ２８において、地点Ｂの空間情報を提示できる状態であると判定された場合、処理は、ステップＳ２９に進む。ステップＳ２８の判定処理におけるYES判定が、図１０で上述したトリガー２である。
　ステップＳ２９において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を、地点Ｂの空間情報に切り替えて、提示させる。すなわち、ステップＳ２８の判定処理におけるYES判定をトリガー２として、ステップＳ２９では、仮想空間情報に対してフェードアウトが施される。これにより、仮想空間情報と地点Ｂの空間情報とのシームレスな切り替えが行われる。
　ステップＳ２９の処理の後、ステップＳ１２に戻り、それ以降の処理が繰り返される。
　一方、情報処理装置１１Ｂの処理は、ステップＳ５４の後、ステップＳ５５に進む。
　ステップＳ５５において、情報処理装置１１Ｂの制御部８３は、リアルタイム伝送の一時停止の要求を受けたか否かを判定する。ステップＳ５５において、リアルタイム伝送の一時停止の要求を受けていないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。
　ステップＳ５５において、リアルタイム伝送の一時停止の要求を受けたと判定された場合、処理は、ステップＳ５６に進む。
　ステップＳ５６において、情報処理装置１１Ｂの制御部８３は、リアルタイム伝送を一時停止する。
　ステップＳ５６の後、処理は、図１２のステップＳ５７に進む。
　また、情報処理装置１１Ａより、地点Ｂのコンテキスト情報が要求される（上述したステップＳ２１）。これに対して、ステップＳ５７において、情報処理装置１１Ｂの制御部８３は、地点Ｂのコンテキスト情報を情報処理装置１１Ａに送信する。
　一方、情報処理装置１１Ａより、リアルタイム伝送の再開が要求される（上述したステップＳ２０）。これに対して、ステップＳ５８において、情報処理装置１１Ｂの制御部８３は、リアルタイム伝送の再開要求を受けたか否かを判定する。ステップＳ５８において、リアルタイム伝送の再開要求を受けていないと判定された場合、ステップＳ５７に戻り、それ以降の処理が繰り返される。
　なお、図１１および図１２には示されていないが、実際には、情報処理装置１１Ｂのリアルタイム伝送の一時停止中も、情報処理装置１１Ａでは、地点Ａの空間情報が送信され、情報処理装置１１Ｂにおいて、地点Ａの空間情報が受信され、提示されている。
　ステップＳ５８において、リアルタイム伝送の再開要求を受けたと判定された場合、処理は、ステップＳ５９に進む。
　ステップＳ５９において、情報処理装置１１Ｂの送信部１０１は、情報処理装置１１Ａに地点Ｂの空間情報を送信する。
　情報処理装置１１Ａより、地点Ａの空間情報が送信されてくる（上述したステップＳ２６）。ステップＳ６０において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
　ステップＳ６１において、情報処理装置１１Ｂの出力部５７は、受信部１０２から制御部８３を介して供給された地点Ａの空間情報を提示する。
　ステップＳ６１の処理の後、ステップＳ５２に戻り、それ以降の処理が繰り返される。
　なお、図１１および図１２では、ステップＳ１４において空間情報の提示が望まれる状態ではなくなったと判定された場合に、リアルタイム伝送を一時停止する例を説明した。これに対して、情報処理装置１１Ｂがリアルタイム伝送を一時停止した結果、情報処理装置１１Ａにおいて、空間情報の提示が望まれる状態ではなくなる場合もある。
　また、図１１および図１２において、ユーザＡに対して何も提示しない場合、ステップＳ１６乃至Ｓ２０、Ｓ５５、Ｓ５６、Ｓ５８の各処理は、オプションとして実施されるようにしてもよい。図９を参照して上述したように、仮想空間情報を提示する場合、ステップＳ１４のYES判定をトリガー１として、仮想空間画像情報の生成が開始されると同時に、仮想空間画像情報に対してフェードインが施される。したがって、ステップＳ１６乃至Ｓ２０、Ｓ５５、Ｓ５６、Ｓ５８の各処理は、仮想空間情報を提示する場合、不要な処理となる。
　＜多方向通信システムの処理例２＞
　図１３および図１４は、多方向通信システム１の空間接続処理の他の例を説明するフローチャートである。図１３および図１４の例においては、通信劣化の場合の例が示されている。
　ステップＳ１１１において、情報処理装置１１Ａの送信部１０１は、接続要求を情報処理装置１１Ｂに送信する。
　これに対して、ステップＳ１５１において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａからの接続要求を受諾する。ステップＳ１１１およびＳ１５１の処理により情報処理装置１１Ａと情報処理装置１１Ｂとのセッションが開始される。
　次に、ステップＳ１１２において、情報処理装置１１Ａの送信部１０１は、ユーザＡの空間である地点Ａの空間情報を情報処理装置１１Ｂに送信する。
　一方、ステップＳ１５２において、情報処理装置１１Ｂの送信部１０１は、ユーザＢの空間である地点Ｂの空間情報を情報処理装置１１Ａに送信する。
　ステップＳ１１３において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
　ステップＳ１５３において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
　ステップＳ１５４において、情報処理装置１１Ｂの出力部５７は、地点Ａの空間情報を提示する。
　また、ステップＳ１１４において、情報処理装置１１Ａの制御部８３は、期待する画質のデータが届かないか否かを判定する。ステップＳ１１４において、期待する画質のデータが届いていると判定された場合、処理は、ステップＳ１１５に進む。
　ステップＳ１１５において、情報処理装置１１Ａの出力部５７は、受信部１０２から制御部８３を介して供給された地点Ｂの空間情報を提示する。その後、ステップＳ１１２に戻り、それ以降の処理が繰り返される。
　地点Ａにおいて地点Ｂの空間情報が提示され、地点Ｂにおいて地点Ａの空間情報が提示されることにより、地点ＡにいるユーザＡと地点ＢにいるユーザＢは、それぞれ、お互いの空間が隣接しているようなつながり感である空間隣接つながり感を得ることができる。以上のような空間情報の送受信はセッションが終了するまで継続される。
　ステップＳ１１４において、期待する画質のデータが届かないと判定された場合、処理は、図１４のステップＳ１１６に進む。ステップＳ１１４の判定処理におけるYES判定が、図９で上述したトリガー１である。
　ステップＳ１１６において、情報処理装置１１Ａの制御部８３は、地点Ｂのコンテキスト情報を要求する。これに対して、情報処理装置１１Ｂは、地点Ｂのコンテキスト情報を送信する（後述するステップＳ１５５）。
　ステップＳ１１７において、情報処理装置１１Ａの仮想データ生成部８５は、蓄積部８４の蓄積データである空間情報を用いて、仮想空間情報を生成する。このとき、地点Ｂのコンテキスト情報が用いられてもよい。
　ステップＳ１１８において、情報処理装置１１Ａの制御部８３は、仮想空間情報の生成が初めてであるか否かを判定する。ステップＳ１１８において、仮想空間情報の生成が初めてであると判定された場合、処理は、ステップＳ１１９に進む。
　ステップＳ１１９において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている空間情報を、仮想空間情報に切り替えさせ、提示させる。
　すなわち、ステップＳ１１４の判定処理におけるYES判定をトリガー１として、ステップＳ１１７では、仮想空間画像情報の生成が開始される。また、ステップＳ１１４の判定処理におけるYES判定をトリガー１として、ステップＳ１１９では、仮想空間画像情報に対してフェードインが施される。
　ステップＳ１１８において、仮想空間情報の生成が初めてではないと判定された場合、処理は、ステップＳ１２０に進む。
　ステップＳ１２０において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を更新させ、提示させる。
　ステップＳ１２１において、情報処理装置１１Ａの送信部１０１は、地点Ａの空間情報を情報処理装置１１Ｂに送信する。
　情報処理装置１１Ｂより、地点Ｂの空間情報が送信されてくる（後述するステップＳ１５６）。ステップＳ１２２において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
　ステップＳ１２３において、情報処理装置１１Ａの制御部８３は、通信品質が回復したか否かを判定する。
　ステップＳ１２３において、通信品質が回復していないと判定された場合、ステップＳ１１６に戻り、それ以降の処理が繰り返される。
　ステップＳ１２３において、通信品質が回復したと判定された場合、処理は、ステップＳ１２４に進む。ステップＳ１２３の判定処理におけるYES判定が、図１０で上述したトリガー２である。
　ステップＳ１２４において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を、地点Ｂの空間情報に切り替えて、提示させる。すなわち、ステップＳ１２３の判定処理におけるYES判定をトリガー２として、ステップＳ１２４では、仮想空間情報に対してフェードアウトが施される。これにより、仮想空間情報と、地点Ｂの空間情報とにおいて、シームレスな切り替えが行われる。
　ステップＳ１２４の処理の後、ステップＳ１１２に戻り、それ以降の処理が繰り返される。
　一方、情報処理装置１１Ｂは、ステップＳ１５４の処理の後、処理は、図１４のステップＳ１５５に進む。
　また、情報処理装置１１Ａより、地点Ｂのコンテキスト情報が要求される（上述したステップＳ１１６）。これに対して、ステップＳ１５５において、情報処理装置１１Ｂの制御部８３は、地点Ｂのコンテキスト情報を情報処理装置１１Ａに送信する。
　ステップＳ１５６において、情報処理装置１１Ｂの送信部１０１は、情報処理装置１１Ａに地点Ｂの空間情報を送信する。
　情報処理装置１１Ａより、地点Ａの空間情報が送信されてくる（上述したステップＳ１２１）。ステップＳ１５７において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
　ステップＳ１５８において、情報処理装置１１Ｂの出力部５７は、受信部１０２から制御部８３を介して供給された地点Ａの空間情報を提示する。
　ステップＳ１５８の処理の後、ステップＳ１５２に戻り、それ以降の処理が繰り返される。
　以上のように、通信先から送信されてくる空間情報の通信品質が低下してしまった場合にも、リアルタイムに送信されてくる空間情報の代わりに、蓄積された空間情報を用いて生成された仮想空間情報が提示される。
　これにより、通信品質の低下により、ユーザに対して、違和感を生じさせるのを抑制し、接続感を提供し続けることができる。
　すなわち、ネットワーク状態の悪化のために、クリアな画質で一時的にリアルタイム伝送ができない状態においても、本技術によれば、過去の蓄積データからクリアな画像を再現することによって、接続感を提供することができる。
　＜多方向通信システムの処理例３＞
　図１５および図１６は、多方向通信システム１の空間接続処理のさらに他の例を説明するフローチャートである。図１５および図１６の例においては、省エネ・省帯域化の場合の例が示されている。
　ステップＳ２１１において、情報処理装置１１Ａの送信部１０１は、接続要求を情報処理装置１１Ｂに送信する。
　これに対して、ステップＳ２５１において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａからの接続要求を受諾する。ステップＳ２１１およびＳ２５１の処理により情報処理装置１１Ａと情報処理装置１１Ｂとのセッションが開始される。
　次に、ステップＳ２１２において、情報処理装置１１Ａの送信部１０１は、ユーザＡの空間である地点Ａの空間情報を情報処理装置１１Ｂに送信する。
　一方、ステップＳ２５２において、情報処理装置１１Ｂの送信部１０１は、ユーザＢの空間である地点Ｂの空間情報を情報処理装置１１Ａに送信する。
　ステップＳ２１３において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
　ステップＳ２５３において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
　ステップＳ２５４において、情報処理装置１１Ｂの出力部５７は、地点Ａの空間情報を提示する。
　また、ステップＳ２１４において、情報処理装置１１Ａの制御部８３は、ユーザＡが不在になったか否かを判定する。ステップＳ２１４において、ユーザＡが存在すると判定された場合、処理は、ステップＳ２１５に進む。
　ステップＳ２１５において、情報処理装置１１Ａの出力部５７は、地点Ｂの空間情報を提示する。その後、ステップＳ２１２に戻り、それ以降の処理が繰り返される。
　地点Ａにおいて地点Ｂの空間情報が提示され、地点Ｂにおいて地点Ａの空間情報が提示されることにより、地点ＡにいるユーザＡと地点ＢにいるユーザＢは、それぞれ、お互いの空間が隣接しているようなつながり感である空間隣接つながり感を得ることができる。以上のような空間情報の送受信はセッションが終了するまで継続される。
　一方、ステップＳ２１４において、ユーザＡが不在になったと判定された場合、処理は、ステップＳ２１６に進む。ステップＳ２１４の判定処理におけるYES判定が、図１０で上述したトリガー１である。
　ステップＳ２１６において、情報処理装置１１Ａの制御部８３は、シームレスな切り替えが必要ないため、地点Ｂの空間情報の提示を一時停止させる。すなわち、ステップＳ２１４の判定処理におけるYES判定をトリガー１として、ステップＳ２１６では、空間画像情報の提示が一時停止され、画像提示がない状態になる。
　ステップＳ２１７において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の一時停止を要求する。これにより、情報処理装置１１Ｂでは、リアルタイム伝送が一時停止される（後述するステップＳ２５６）。
　ステップＳ２１８において、情報処理装置１１Ａの制御部８３は、ユーザＡの接近を検知する。
　ステップＳ２１９において、情報処理装置１１Ａの制御部８３は、ユーザＡが接近しているか否かを判定する。ステップＳ２１９において、ユーザＡが接近していないと判定された場合、ステップＳ２１８に戻り、それ以降の処理が繰り返される。
　ステップＳ２１９において、ユーザＡが接近していると判定された場合、処理は、図１６のステップＳ２２０に進む。ステップＳ２１９の判定処理におけるYES判定が、図１０で上述したトリガー３である。
　ステップＳ２２０において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の再開を要求する。
　ステップＳ２２１において、情報処理装置１１Ａの制御部８３は、地点Ｂのコンテキスト情報を要求する。これに対して、情報処理装置１１Ｂは、地点Ｂのコンテキスト情報を送信する（後述するステップＳ２５７）。
　ステップＳ２２２において、情報処理装置１１Ａの仮想データ生成部８５は、蓄積部８４の蓄積データである空間情報を用いて、仮想空間情報を生成する。このとき、地点Ｂのコンテキスト情報が用いられてもよい。
　ステップＳ２２３において、情報処理装置１１Ａの制御部８３は、仮想空間情報の生成が初めてであるか否かを判定する。ステップＳ２２３において、仮想空間情報の生成が初めてであると判定された場合、処理は、ステップＳ２２４に進む。
　ステップＳ２２４において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている空間情報を、仮想空間情報に切り替えさせ、提示させる。
　すなわち、ステップＳ２１９の判定処理におけるYES判定をトリガー３として、ステップＳ２２２では、仮想空間画像情報の生成が開始される。また、ステップＳ２１９の判定処理におけるYES判定をトリガー３として、ステップＳ２２４では、仮想空間画像情報が提示される状態になる。なお、ステップＳ２２４における提示では、シームレスな切り替えは必要ない。
　ステップＳ２２３において、仮想空間情報の生成が初めてではないと判定された場合、処理は、ステップＳ２２５に進む。
　ステップＳ２２５において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を更新させ、提示させる。
　ステップＳ２２６において、情報処理装置１１Ａの送信部１０１は、地点Ａの空間情報を情報処理装置１１Ｂに送信する。
　情報処理装置１１Ｂより、地点Ｂの空間情報が送信されてくる（後述するステップＳ２５９）。ステップＳ２２７において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
　ステップＳ２２８において、情報処理装置１１Ａの制御部８３は、地点Ｂの空間情報が到達したか否かを判定する。
　ステップＳ２２８において、点Ｂの空間情報が到達していないと判定された場合、ステップＳ２２１に戻り、それ以降の処理が繰り返される。
　ステップＳ２２８において、点Ｂの空間情報が到達したと判定された場合、処理は、ステップＳ２２９に進む。ステップＳ２２８の判定処理におけるYES判定が、図１０で上述したトリガー２である。
　ステップＳ２２９において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を、地点Ｂの空間情報に切り替えて、提示させる。すなわち、ステップＳ２２８の判定処理におけるYES判定をトリガー２として、ステップＳ２２９では、仮想空間情報に対してフェードアウトが施される。これにより、仮想空間情報と地点Ｂの空間情報とのシームレスな切り替えが行われる。
　ステップＳ２２９の処理の後、ステップＳ２１２に戻り、それ以降の処理が繰り返される。
　一方、情報処理装置１１Ｂは、ステップＳ２５４の処理の後、処理は、ステップＳ２５５に進む。なお、これ以降のステップＳ２５５乃至Ｓ２６１の処理は、図１１および図１２のステップＳ５５乃至Ｓ６１の処理と基本的に同様の処理を行っている。したがって、それらの説明は繰り返しになるため省略される。
　以上のように、ユーザが不在になったために、リアルタイム伝送を停止していたが、ユーザが再度接近してくる場合に、送信されてくる空間情報がないことから何も表示されない状態の代わりに、蓄積された空間情報を用いて生成された仮想空間情報が提示される。
　これにより、ユーザに対して、違和感を生じさせるのを抑制し、接続感を提供し続けることができる。
　すなわち、省エネ・省帯域のために、リアルタイム伝送を一時的に中断している状態から、接続状態に復帰するまでにおいても、本技術によれば、接続先の現在の状態に近い画像を生成して提示し、スムーズに現在の画像に移行させることにより、接続感を提供し続けることができる。
　なお、上記３つの動作例においては、リアルタイム伝送を停止する例が示されていたが、上述したような省エネ・省帯域の目的がなければ、必ずしも、リアルタイム伝送を停止する必要はない。
＜４．まとめ＞
　以上のように、本技術においては、リアルタイム伝送ができない場合においても、接続感を感じているそれぞれのユーザに対して、できる限り違和感なく、それぞれの場所や端末に対応した、仮想空間情報を生成し、提示するようにした。
　また、本技術においては、現実の空間情報を提示する場合に、仮想空間情報から空間情報にスムーズに切り替えるようにした。
　したがって、ユーザに違和感を与えることなく、接続感を提供し続けることができる。
　なお、本技術を適用することにより、例えば、どうしても開示したくない情報がある空間情報に対しても、仮想空間情報をダミーで生成させて提示することで、対応することができる。
　また、上記説明においては、空間情報を相互に送る例を説明したが、空間情報の差分を相互に送るようにしてもよい。
　さらに、上記説明においては、空間音声情報と空間画像情報を共に仮想空間情報に置き換えている例を説明したが、仮想空間画像情報のみを提示し、実空間音声情報を提供する例や、実空間画像情報を提示し、仮想空間音声情報を提示することも可能である。
　本技術は、リアルタイム伝送に限定せず、タイムシフト、録画、または、単方向のシステムにも適用される。
＜５．その他＞
　上述したサーバの一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　インストールされるプログラムは、ドライブ６０によって駆動される、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなるリムーバブルメディア６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM５２や記憶部５８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
　受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
　前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
　を備える多方向通信装置。
（２）
　前記表示制御部は、前記第２のユーザの状態を表す情報であるセンシング情報に基づいて、前記仮想空間の表示を制御する
　前記（１）に記載の多方向通信装置。
（３）
　前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記仮想空間の表示を制御する
　前記（１）または（２）に記載の多方向通信装置。
（４）
　前記表示制御部は、ネットワークの状態が悪化している場合に、前記現実空間情報に含まれる画質の低下を検出したとき、前記仮想空間の表示を制御する
　前記（１）または（２）に記載の多方向通信装置。
（５）
　前記表示制御部は、前記第２のユーザが不在であった場合に、前記第２のユーザの接近を検出したとき、前記仮想空間の表示を制御する
　前記（１）または（２）に記載の多方向通信装置。
（６）
　前記表示制御部は、前記現実空間情報が表す現実空間をフェードアウトさせながら、生成された前記仮想空間情報にスムーズに切り替えて、前記仮想空間情報が表す仮想空間の表示を制御する
　前記（１）乃至（５）のいずれかに記載の多方向通信装置。
（７）
　前記表示制御部は、前記現実空間情報が再度利用可能である場合、前記仮想空間情報をフェードアウトさせながら、前記現実空間情報にスムーズに切り替えて、前記現実空間情報に対応する仮想空間の表示を制御する
　前記（６）に記載の多方向通信装置。
（８）
　前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記現実空間情報の利用できないとき、前記仮想空間の表示を制御する
　前記（３）に記載の多方向通信装置。
（９）
　多方向通信装置が、
　第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信し、
　受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成し、
　前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する
　多方向通信方法。
（１０）
　第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
　受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
　前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
　して、コンピュータを機能させるプログラム。
　１　多方向通信システム，　１１，１１Ａ乃至１１Ｃ　情報処理装置，　１２　サーバ，　１３　ネットワーク，　５１　CPU，　５６　入力部，　５７　出力部，　５８　記憶部，　５９　通信部，　８１　コンテキスト分析部，　８２　ＵＩ部，　８３　制御部，　８４　蓄積部，　８５　仮想データ生成部，　１０１　送信部，　１０２　受信部

Claims (10)

  1. 　第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
    　受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
    　前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
    　を備える多方向通信装置。
  2. 　前記表示制御部は、前記第２のユーザの状態を表す情報であるセンシング情報に基づいて、前記仮想空間の表示を制御する
    　請求項１に記載の多方向通信装置。
  3. 　前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記仮想空間の表示を制御する
    　請求項１に記載の多方向通信装置。
  4. 　前記表示制御部は、ネットワークの状態が悪化している場合に、前記仮想空間の表示を制御する
    　請求項１に記載の多方向通信装置。
  5. 　前記表示制御部は、前記第２のユーザが不在であった場合に、前記第２のユーザの接近を検出したとき、前記仮想空間の表示を制御する
    　請求項１に記載の多方向通信装置。
  6. 　前記表示制御部は、前記現実空間情報が表す現実空間をフェードアウトさせながら、生成された前記仮想空間情報にスムーズに切り替えて、前記仮想空間情報が表す仮想空間の表示を制御する
    　請求項１に記載の多方向通信装置。
  7. 　前記表示制御部は、前記現実空間情報が再度利用可能である場合、前記仮想空間情報をフェードアウトさせながら、前記現実空間情報にスムーズに切り替えて、前記現実空間情報に対応する仮想空間の表示を制御する
    　請求項６に記載の多方向通信装置。
  8. 　前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記現実空間情報の利用できないとき、前記仮想空間の表示を制御する
    　請求項３に記載の多方向通信装置。
  9. 　多方向通信装置が、
    　第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信し、
    　受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成し、
    　前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する
    　多方向通信方法。
  10. 　第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
    　受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
    　前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
    　して、コンピュータを機能させるプログラム。
PCT/JP2019/013934 2018-04-13 2019-03-29 多方向通信装置、多方向通信方法、およびプログラム WO2019198542A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112019001945.7T DE112019001945T5 (de) 2018-04-13 2019-03-29 Multidirektionale kommunikationsvorrichtung, multidirektionales kommunikationsverfahren und programm
US17/045,591 US11140357B2 (en) 2018-04-13 2019-03-29 Multi-direction communication apparatus and multi-direction communication method
JP2020513203A JPWO2019198542A1 (ja) 2018-04-13 2019-03-29 多方向通信装置、多方向通信方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-077480 2018-04-13
JP2018077480 2018-04-13

Publications (1)

Publication Number Publication Date
WO2019198542A1 true WO2019198542A1 (ja) 2019-10-17

Family

ID=68162937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013934 WO2019198542A1 (ja) 2018-04-13 2019-03-29 多方向通信装置、多方向通信方法、およびプログラム

Country Status (4)

Country Link
US (1) US11140357B2 (ja)
JP (1) JPWO2019198542A1 (ja)
DE (1) DE112019001945T5 (ja)
WO (1) WO2019198542A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998428A (ja) * 1995-09-29 1997-04-08 Denso Corp 画像信号の復号化装置
JP2000078116A (ja) * 1998-08-31 2000-03-14 Fujitsu Ltd ディジタル放送用送信・受信再生方法及びディジタル放送用送信・受信再生システム並びにディジタル放送用送信装置及びディジタル放送用受信再生装置
JP2002149316A (ja) * 2000-11-06 2002-05-24 Sony Corp データ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体
JP2002320209A (ja) * 2001-01-30 2002-10-31 Canon Inc 画像処理装置、画像処理方法、記録媒体及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959672A (en) 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
US7154906B2 (en) 2001-01-30 2006-12-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code
JP4446114B2 (ja) 2004-03-10 2010-04-07 株式会社国際電気通信基礎技術研究所 画像撮影装置
WO2017222408A1 (en) * 2016-06-23 2017-12-28 Ringcentral, Inc., (A Delaware Corporation) Conferencing system and method implementing video quasi-muting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998428A (ja) * 1995-09-29 1997-04-08 Denso Corp 画像信号の復号化装置
JP2000078116A (ja) * 1998-08-31 2000-03-14 Fujitsu Ltd ディジタル放送用送信・受信再生方法及びディジタル放送用送信・受信再生システム並びにディジタル放送用送信装置及びディジタル放送用受信再生装置
JP2002149316A (ja) * 2000-11-06 2002-05-24 Sony Corp データ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体
JP2002320209A (ja) * 2001-01-30 2002-10-31 Canon Inc 画像処理装置、画像処理方法、記録媒体及びプログラム

Also Published As

Publication number Publication date
DE112019001945T5 (de) 2021-01-21
US11140357B2 (en) 2021-10-05
JPWO2019198542A1 (ja) 2021-05-27
US20210029325A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN112166350B (zh) 智能设备中的超声感测的系统和方法
US20220174357A1 (en) Simulating audience feedback in remote broadcast events
US11113884B2 (en) Techniques for immersive virtual reality experiences
US20130201345A1 (en) Method and apparatus for controlling video device and video system
JP7163908B2 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2017098772A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220225050A1 (en) Head tracked spatial audio and/or video rendering
WO2016013409A1 (ja) 制御装置、制御方法、プログラム、および制御システム
US20210072378A1 (en) Systems and methods of ultrasonic sensing in smart devices
WO2015186387A1 (ja) 情報処理装置、制御方法、およびプログラム
US20240077941A1 (en) Information processing system, information processing method, and program
WO2019142659A1 (ja) 情報処理装置および方法、並びにプログラム
WO2019198542A1 (ja) 多方向通信装置、多方向通信方法、およびプログラム
US11803245B2 (en) Scalable distributed data architecture
US20230254660A1 (en) Head tracking and hrtf prediction
US20230283976A1 (en) Device and rendering environment tracking
JPWO2020095714A1 (ja) 情報処理装置および方法、並びに、プログラム
WO2019198541A1 (ja) 空間情報共有装置、空間情報共有方法、およびプログラム
WO2021090702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体
JP6570290B2 (ja) 映像表示システム及び映像表示方法
WO2024135328A1 (ja) 情報処理装置、制御方法、およびプログラム
WO2023150486A1 (en) Gesture controlled audio and/or visual rendering
Bourdot et al. The Use of 3D-Audio in a Multi-Modal Teleoperation Platform for Remote Driving/Supervision
JP2001034787A (ja) 分身コミュニケーションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19786147

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020513203

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19786147

Country of ref document: EP

Kind code of ref document: A1