WO2018020766A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2018020766A1 WO2018020766A1 PCT/JP2017/016544 JP2017016544W WO2018020766A1 WO 2018020766 A1 WO2018020766 A1 WO 2018020766A1 JP 2017016544 W JP2017016544 W JP 2017016544W WO 2018020766 A1 WO2018020766 A1 WO 2018020766A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- communication
- information processing
- space
- processing apparatus
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000006854 communication Effects 0.000 claims abstract description 175
- 238000004891 communication Methods 0.000 claims abstract description 175
- 230000000694 effects Effects 0.000 claims description 63
- 238000012800 visualization Methods 0.000 claims description 55
- 230000036651 mood Effects 0.000 claims description 36
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003760 hair shine Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Definitions
- the present disclosure relates to an information processing apparatus, an information processing method, and a program.
- a display device in which a display device, a camera, a microphone, and a speaker are provided in each space, and an image captured in one space and collected sound data are installed in another space in real time. And output from the speaker.
- Patent Document 2 it is proposed that the degree of request for communication between the user and the communication partner can be determined based on the user's status information so that comfortable communication without inconvenience can be performed. Yes.
- Patent Document 1 there is an effect that the spaces separated by using the window-shaped imaging display device are connected through one window, while the distance between the spaces is in contact with zero, There may be resistance when the opponent is nearby.
- an information processing apparatus capable of producing a more comfortable communication by producing a distance with a large number of communication partners by using a three-dimensional expression for connection of spaces. Propose.
- a reception unit that receives data from a communication destination, a generation unit that generates spatial image information arranged at a predetermined position in a three-dimensional space using a plurality of captured images of the communication destination,
- An information processing apparatus comprising: a display control unit that controls to display the generated spatial image information on a display unit.
- the processor receives data from a communication destination, and generates spatial image information arranged at a predetermined position in a three-dimensional space using a plurality of captured images of the communication destination. Proposing an information processing method including controlling the generated spatial image information to be displayed on a display unit.
- a computer generates a spatial image information arranged at a predetermined position in a three-dimensional space using a reception unit that receives data from a communication destination and a plurality of captured images of the communication destination. And a display control unit that controls to display the generated spatial image information on a display unit.
- FIG. 1 is a diagram illustrating an overall configuration of a communication system 1 according to an embodiment of the present disclosure.
- information processing apparatuses 10 ⁇ / b> A, 10 ⁇ / b> B, and 10 ⁇ / b> C are connected via a network 20.
- the information processing apparatuses 10A, 10B, and 10C are arranged in the space A, the space B, and the space C, respectively, and connect the spaces with video / audio / other information channels to make it feel as if the spaces are connected. be able to.
- a parent and a child are living apart from each other, it is possible to make it appear as if the living space of each other is connected via a display device corresponding to a window or a door.
- the living spaces are connected to each other, the user can live while roughly grasping the state of the partner space (for example, the state of a child or the state of a parent).
- the information processing apparatuses 10A to 10C perform two-way communication synchronization processing, calculation / control of a spatial distance, and the like.
- the calculation / control of the separation distance may be performed by the processing server 30.
- the communication system 1 includes the processing server 30.
- the present disclosure is not limited to this, and the configuration may not include the processing server 30.
- connection with the communication partner is controlled by switching between 0 and 1 such as display / non-display of the image and ON / OFF of the sound, and the degree of connection can be finely adjusted. There wasn't. Therefore, a high sense of realism has always occurred, and it has not been possible to meet the needs of users who want to feel the state of the other party. None of the above-mentioned patent documents describes controlling the distance between connected spaces.
- a number of communication destination images (image 81 in space B and image image 82 in space C) are simply divided into screens. If displayed, the sense of life and scale are lost, and the virtual cohabitation experience cannot be fully expressed.
- FIG. 3 is a diagram illustrating a display example of a multipoint video according to an embodiment of the present disclosure.
- a three-dimensional space is displayed on a display 1091 and virtual house objects 21B and 21C corresponding to each space are arranged in the three-dimensional space.
- the display 1091 is a large screen display device, and is installed on a wall or the like as if it were a window or a doorway.
- a display example will be described using a display 1091 installed in the space A, for example.
- the camera 1011, the microphone 1012, the sensor 1013, the speaker 1092, and the indicator 1093 are also installed in the space A such as the periphery of the display 1091.
- the installation location and the number of installations are not particularly limited.
- the virtual house objects 21B and 21C arranged in the three-dimensional space correspond to the communication destination space B and space C, respectively, and the communication destination video is embedded in a window or doorway. That is, the image 22B embedded in the window of the house object 21B is an image captured in the space B, and the image 22C embedded in the house object 21C is an image captured in the space C. . Thereby, even if it is a little away, the state of the other party's house can be grasped through the window of each other's house. Since the distance from the other party's house is kept somewhat, even if it is always connected, there is no high sense of realism and it is possible to obtain a virtual cohabitation experience as if you were spending time in the same space.
- the sound may be heard at a volume corresponding to the distance from the other party's house, for example.
- sound from each house may be localized with stereo sound according to the position of each house in the three-dimensional space.
- a house object is used as a virtual object for fitting a video of a communication destination, but this embodiment is not limited to this, for example, a vehicle such as a car or a train, a building other than a house, a structure, a natural object, etc. You may make it insert the image
- a stage 24 may be provided near the center of the three-dimensional space image, thereby enabling communication via a virtual object on the stage 24 in the virtual space.
- the shape and position of the stage 24 are not particularly limited.
- a range surrounded by each house may be used as a virtual courtyard space.
- the communication system 1 controls the degree of connection between connected spaces by moving the distance between houses in a three-dimensional space displayed on the display 1091 closer to each other. This makes it possible to realize more comfortable communication without losing a feeling.
- FIG. 4 is a block diagram illustrating an example of the configuration of the information processing apparatus 10 according to the present embodiment.
- the information processing apparatus 10 includes an input unit 101, a spatial information acquisition unit 102, a state determination unit 103, a spatial distance control unit 104, an operation I / F (interface) 105, a 3D space generation unit 106, a communication Unit 107, spatial information generation unit 108, output unit 109, and storage unit 110.
- the input unit 101 has a function of inputting spatial information.
- the input unit 101 is realized by a camera 1011, a microphone (abbreviation of microphone) 1012, and a sensor 1013.
- the camera 1011 captures an image of a space (for example, a living room) and acquires a captured image.
- the sensor 1013 has a function of detecting various information in and around the space. For example, a temperature sensor, a humidity sensor, an illuminance sensor, a human sensor, and a door opening / closing sensor are assumed.
- the spatial information acquisition unit 102 acquires various spatial information from the input unit 101, prepares and outputs data so that the state determination unit 103 can use it as a material for state determination. Examples of data preparation include noise processing, image analysis, object recognition, and voice analysis. Furthermore, the spatial information acquisition unit 102 performs user recognition based on the acquired spatial information. User recognition is the personal identification of the user in the space, the user's position (where in the room, etc.), posture (standing, sitting, sleeping, etc.), emotion (enjoying, sad , Etc.), behavior (preparing for dinner, watching TV, reading a book, etc.), recognition of busyness (whether moving around, etc.). Further, the spatial information acquisition unit 102 performs environment recognition based on the acquired spatial information.
- Environment awareness refers to the current time of the space (morning, noon, evening, midnight), brightness (room brightness, light from windows), temperature, sound (sound collected in the space), Recognition of the region (where the space exists), the degree of order (room cleanup), etc. are assumed.
- the state determination unit 103 determines the state of the space and the state of the user (that is, the context of the communication source space) based on the information acquired and output by the spatial information acquisition unit 102. For example, the state determination unit 103 determines the state of the space and the state of the user based on the user recognition result and the environment recognition result by the spatial information acquisition unit 102.
- the context of the communication source space may include the state of the user, the state of the real space in which the user is present, time, season, weather, place, or relationship with the other user.
- the spatial distance control unit 104 has a function of controlling the distance (depth separation distance) in the three-dimensional space between connected spaces.
- information acquired from each communication destination space for example, the house object 21 in which the video 22 shown in FIG. 3 is inserted
- the depth is shown in the connection. Realize a comfortable connection. It is assumed that the psychological resistance of the user decreases as the distance from the partner space increases, and the psychological resistance of the user increases as the distance from the partner space decreases. In other words, if the distance between the spaces is short, the other party's image looks clear and the connection is made with a high sense of reality. On the other hand, if the distance between the spaces is long, the other party's video is not clearly visible and the connection is made with a low sense of presence.
- the distance to the partner space may be controlled according to the degree of disclosure calculated based on the determination result (context of the communication source space) output from the state determination unit 103, for example, or may be manually set by the user. It may be controlled based on the degree of disclosure.
- the spatial distance control unit 104 increases the distance to the partner space when the user is doing housework, is busy, or is relaxing watching TV. For example, when the user approaches the display 1091, the spatial distance control unit 104 may reduce the distance from the partner space.
- the distance to the partner space is transmitted from the communication unit 107 to the information processing apparatus 10 of each communication destination as the degree of disclosure, and is synchronized.
- the degree of disclosure may be adjusted in the information processing apparatus 10 or the processing server 30. For example, it may be adjusted to the optimum degree of disclosure based on the degree of disclosure desired in the user side space and the degree of disclosure desired in the partner space.
- the operation I / F (interface) 105 receives an operation input from the user and outputs it to the spatial distance control unit 104 and the 3D space generation unit 106. Thereby, for example, the user can arbitrarily set the “distance to the partner space”. In addition, operation input to various objects (virtual objects) arranged in a three-dimensional space is also possible.
- the 3D space generation unit 106 generates a 3D space to be displayed on the display 1091. Specifically, for example, the 3D space generation unit 106 generates a 3D space image in which houses corresponding to the communication destination space are arranged according to the distance to each communication partner set by the space distance control unit 104. Further, the 3D space generation unit 106 may reflect information from the communication source or the communication destination in the 3D space in real time, or place a specified object (virtual object).
- Various scenes such as a background in 3D space can also be applied automatically or by user settings. For example, various scenes can be set, such as in the forest, in the city, in space, on the seabed, and so on.
- the 3D space generation unit 106 can also visualize the communication state between communication partners in the 3D space.
- the communication state By visualizing the communication status between participants other than the user when connected to multiple spaces at all times, it is possible to understand the feeling of communication that has already occurred, and the user can participate in or not participate in the communication. Judgment can be made appropriately. For example, even when a plurality of opponent's houses are arranged far away and the appearance is unclear and the conversation cannot be heard well, the situation can be appropriately determined by visualizing the communication state. As a result, communication problems can be prevented, and on the contrary, active communication participation is possible, and as a result, a comfortable multipoint connection can be realized.
- Visualization of communication is performed according to, for example, the activity of conversation between communication partners (rising, conversation density, story development, etc.) and mood (emotion: emotion).
- the 3D space generation unit 106 calculates the conversation activity and mood based on the conversation voice and video transmitted from each communication destination via the communication unit 107. For example, the 3D space generation unit 106 determines the volume of the voice, the duration of the voice, the number of exchanged words, the size / frequency of the speaker's gesture nodding, the distance from the display 1091, and the number of people facing the display 1091. Or, the activity level of conversation is calculated from the speed and frequency of conversation development.
- the 3D space generation unit 106 can be used for the volume of the voice, the duration of the voice, the speed of the utterance, the words / words used, the strength of the vocabulary, the facial expression, the line of sight (turning back or staring), or the speaker
- the mood is estimated from the size and frequency of gesture gestures.
- the activity calculation algorithm and the mood estimation algorithm are not particularly limited, and an existing algorithm may be used.
- the 3D space generation unit 106 performs visualization expression according to the calculated activity and the estimated mood.
- the communication state is not limited to analyzing and acquiring the received data (voice, video) from the communication partner by the 3D space generation unit 106, and the communication partner or processing server 30 side.
- the result analyzed in (1) may be received.
- the communication unit 107 is connected to another information processing apparatus 10 or the processing server 30 via the network 20, and transmits and receives data.
- the communication unit 107 uses the spatial information output from the spatial information acquisition unit 102, the spatial distance output from the spatial distance control unit 104, and the 3D space information output from the 3D space generation unit 106 as a communication destination information processing apparatus. 10 or processing server 30.
- the communication unit 107 receives spatial information, spatial distance, 3D space information, and the like received from the information processing apparatus 10 or the processing server 30 that is the communication destination.
- the distance to the other party in the 3D space and the 3D space is synchronized at the communication source and the communication destination.
- the communication unit 107 can also receive information (weather information, news, schedule information, etc.) acquired by the processing server 30 from the related service server on the network, or the information directly from the related service server on the network. It is.
- the spatial information generation unit 108 generates spatial information based on the 3D spatial image generated by the 3D space generation unit 106 and the video of the communication destination space received via the communication unit 107.
- the generated spatial information is sent to the output unit 109.
- the spatial information generation unit 108 combines the virtual house image of the 3D space image generated by the 3D space generation unit 106 with the video of the communication destination space received via the communication unit 107. Generate image information.
- the spatial information generation unit 108 generates spatial audio information based on the generated voice generated in the 3D space and the voice of the communication destination space received via the communication unit 107.
- the spatial audio information may be information in which the communication destination audio is localized according to the arrangement of each house in the 3D space.
- the output unit 109 functions as an output control unit that controls the spatial information generated by the spatial information generation unit 108 to be output from each device to the user.
- the output unit 109 includes a display 1091, a speaker 1092, or an indicator 1093 (such as an LED lamp), and performs display output, audio output, and notification output.
- the display 1091 the spatial image information generated by the spatial information generation unit 108 is displayed.
- spatial audio information generated by the spatial information generation unit 108 is displayed on the speaker 1092.
- the storage unit 110 stores data transmitted / received via the communication unit 107.
- the communication unit 107 is connected.
- the present embodiment is not limited to this, and may be used as a storage area of each component included in the information processing apparatus 10.
- the configuration of the information processing apparatus 10 according to the present embodiment has been specifically described above.
- the configuration of the information processing apparatus 10 is not limited to the example illustrated in FIG. 4.
- a part of the configuration may be realized by an external device and may be connected to the information processing apparatus 10 by wireless / wired.
- FIG. 5 is a flowchart illustrating the communication control process according to the present embodiment. In each of the connected spaces A to C, the operation process shown in FIG. 5 is performed in the same manner. Here, the operation process of the information processing apparatus 10A in the space A will be described as an example.
- the information processing apparatus 10A performs a connection process on the space B and the space C (step S103). Specifically, for example, the information processing apparatus 10A calls the information processing apparatuses 10B and 10C, and establishes a session when connection permission is received from the other party.
- the information processing apparatus 10A acquires the space information (video, audio, sensor data) of the space A by the space information acquisition unit 102 (step S106).
- the information processing apparatus 10A determines the state of the user A and the state of the space A by the state determination unit 103 (step S109).
- the status information may be manually input from the operation I / F 105 by the user A.
- the information processing apparatus 10A transmits the space information and the state information to the information processing apparatus 10B in the space B and the information processing apparatus 10C in the space C that are connected for communication (step S112).
- the information processing apparatus 10A receives the real-time spatial information and state information of the space B and the space C acquired in the same manner in the space B and the space C from the information processing apparatus 10B and the information processing apparatus 10C (step S115).
- the information processing apparatus 10A generates a 3D space by the 3D space generation unit 106 (step S118).
- the 3D space generation unit 106 generates a 3D space in which virtual house objects corresponding to each space are arranged according to the distance controlled by the spatial distance control unit 104.
- the 3D space generation unit 106 visualizes the communication state in real time based on conversation voice and video between communication partners. The communication state visualization process will be described next with reference to FIG.
- the information processing apparatus 10A outputs the spatial information generated by the spatial information generation unit 108 from the output unit 109.
- the spatial information generation unit 108 combines spatial image information obtained by synthesizing real-time videos of the space B and the space C received via the communication unit 107 with each house object in the 3D space generated by the 3D space generation unit 106. Generate and output to the display 1091.
- FIG. 6 is a flowchart showing communication state visualization processing according to this embodiment. As shown in FIG. 6, first, the 3D space generation unit 106 of the information processing apparatus 10A analyzes conversation voices and videos of each communication partner (step S203).
- the 3D space generation unit 106 calculates conversation activity as a communication state (step S206) and estimates the conversation mood (step S209).
- the 3D space generation unit 106 visualizes the communication state in the 3D space according to the calculated conversation activity and conversation mood (step S212). Specific examples of the visualization expression will be described later with reference to FIGS.
- FIG. 7 is a diagram illustrating a display example of a 3D space in which house objects are arranged at a medium distance according to the present embodiment.
- a window frame image 40 and a 3D space image 41 visible through a window are displayed on a large display 1091 installed on a wall or the like.
- a house object 21B corresponding to the communication-connected space B and a house object 21C corresponding to the space C are arranged.
- the distance between the house object 21B and the house object 21C from the window frame image 40 as shown in FIG. 7 may be defined as “medium distance”, and this may be in a normal state.
- the normal state is a normal state when always connected, and the information processing apparatus 10 always controls at a medium distance unless there is any trigger.
- the “medium distance” is a distance that can be seen roughly so that the other party's space can be grasped.
- the psychological load is not large, and each user does not care that they are being seen. It is a sense of distance.
- the information processing apparatus 10A controls the volume of the partner space to a modest volume.
- the “medium distance” shown in FIG. 7 is an example, but the “medium distance” may be set in advance, or may be arbitrarily input and adjusted by each user at the time of initial connection, and the state of each user Based on the above, the system side may make appropriate adjustments.
- the information processing apparatus 10 can make the display difficult for the other party to see and the user can intuitively understand that it is difficult for the other party to see.
- the virtual window of the house object 21 ⁇ / b> C is represented by frosted glass, and the image 22 ⁇ / b> C of the space C is in a blurred state. This is because the user C in the space C is arbitrarily controlled to shut off.
- FIG. 8 is a diagram illustrating an example of privacy protection according to the present embodiment.
- a blind image 42 is displayed on the display 1091 so that the user can intuitively understand that it is difficult to see from the other party.
- the blind image is also superimposed and displayed on the video of the space A embedded in the house object corresponding to the own space arranged in the 3D space displayed on the display 1091 of the partner space, Be synchronized.
- the lowering of the blinds and how they are seen may be controlled by a user operation (for example, a touch operation on the display 1091). Virtually opening the blinds in this way can also be an indication that you don't want to be seen or talked to.
- the example of the blind shown in FIG. 8 is an example of an expression method for privacy protection (shielding), and other expression methods such as providing a screen door on the display 1091 or closing the curtain are also conceivable. Further, when the display 1091 is regarded as a virtual door, an expression such as closing the door a little is also possible.
- FIG. 9 is a diagram illustrating a display example of a 3D space in which house objects are arranged at a short distance according to the present embodiment.
- the distance from the window frame image 40 as shown in FIG. 9 to the house object 21B or the house object 21C may be defined as a “short distance” range, and this may be in a conversation enabled state. As shown in FIG. 9, at “short distance”, the image is clearly visible to the extent that the state of the partner space can be sufficiently grasped.
- the information processing apparatus 10 performs output control so that the voice in the other party's space can be sufficiently heard, thereby enabling conversation.
- the distance to each house object 21 can be controlled individually (for example, it is possible to approach only the house object 21B).
- a virtual pet object 25 can be displayed and fed with food according to a user operation.
- the user A in the space A can operate and give the food 26A
- the user B in the space B can also give the food 26B.
- mutual communication can be realized through objects displayed in the 3D space. That is, various objects arranged in the 3D space can be influenced from each space, and communication through the objects becomes possible.
- -Virtual flowers and plants can be placed in 3D space, and each user can give water and grow together.
- -A bay window may be displayed and virtual plants may be arranged in the bay window.
- Each user can purchase and arrange a virtual plant or give it to a partner.
- -A fire may be arranged in the center of the 3D space so that a flame is generated when the user throws a fire.
- -A specific object extracted from the video of the partner space may be placed in the 3D space. For example, it is possible to extract only children appearing in the image of the partner space and arrange them in the 3D space. This makes it possible to show only the children playing in the room even if the room is messy and you do not want to see much.
- information from each space may be reflected in real time in the 3D space.
- illumination color temperature, brightness, fluctuation
- room temperature room temperature
- environmental information weather etc.
- each space may be rained around the house object 21B of the space B arranged in the 3D space. Thereby, each user can grasp
- a virtual bulletin board that each user can write freely may be set up.
- the digest of the day may be automatically displayed on the virtual bulletin board based on, for example, the action information of each user for one day.
- FIG. 10 is a diagram illustrating an example of zero distance display.
- the image 22B of the space B and the image 22C of the space C are displayed side by side in parallel. In this case, the sound and information in the 3D space are blocked and the user can concentrate on communication.
- FIG. 11 is a diagram illustrating a display example of a 3D space in which house objects are arranged at a long distance according to the present embodiment.
- the user when the user wants to actively leave the opponent's space, for example, the user can arbitrarily perform an operation of setting the degree of openness to “low” to be far away from the house objects 21B and 21C.
- the distance (openness) is synchronized so that the house object corresponding to its own space arranged in the 3D space displayed on the display 1091 of the partner space is displayed far away.
- FIG. 12 is a diagram showing an example of visualizing the occurrence of communication according to the present embodiment.
- the information processing apparatus 10 A visualization display 50 that connects the virtual windows of the house object is displayed.
- the visualization display 50 is expressed by a simple linear shape, for example. Thereby, when the user looks at the display 1091, the user can intuitively understand that communication has already occurred between the communication partners (user B and user C).
- variations of such visualization expression will be described using a plurality of specific examples.
- Types of visualization expression 13 to 15 are diagrams for explaining types of visualization expression according to the present embodiment.
- the information processing apparatus 10 does not perform visualization display in a state where no communication occurs between the partner spaces, and the communication between the partner spaces occurs as shown on the right of FIG.
- a display that connects the virtual windows of the house objects 21 ⁇ / b> B and 21 ⁇ / b> C is performed by a visualization display 51 that expresses the activity of conversation in a waveform-like design.
- the information processing apparatus 10 displays a visual display 52 that expresses, for example, the activity of conversation as a comic balloon when communication is occurring between partner spaces. A display floating above the objects 21B and 21C may be performed.
- the information processing apparatus 10 displays a visualization display 53 that represents that the virtual windows of the house objects 21 ⁇ / b> B and 21 ⁇ / b> C are connected when communication is occurring between the partner spaces. May be displayed.
- the information processing apparatus 10 displays a visualization display 54 that is simply connected with a line when communication between partner spaces occurs, or displays the right side of FIG. 15.
- a virtual display 55 that expresses the activity of conversation with a broken line may be displayed to connect virtual windows.
- the visualization expression of the communication state includes various types such as a simple line, a broken line, a wavy line, and a balloon.
- a simple line such as a simple line, a broken line, a wavy line, and a balloon.
- 16 to 20 are diagrams for explaining each expression method of conversation activity according to the present embodiment.
- the conversation activity can be expressed by the intensity of the wave.
- the information processing apparatus 10 displays a gentle waveform visualization display 51-1 when the conversation activity is moderate, and a slightly intense waveform visualization display 51 when the conversation activity becomes a little active. -2 is displayed, and when the conversation activity becomes active, a vivid waveform visualization display 51-3 is displayed. As a result, the user can intuitively grasp the conversation activity.
- the conversation activity can be expressed by the size and number of wipes.
- the information processing apparatus 10 displays a small and small visualization display 52-1, when the conversation activity is moderate, and when the conversation activity becomes a little active, a medium-sized speech balloon is displayed. Is displayed, and when the conversation activity becomes active, a balloon display 52-3 with a larger number of balloons including a large balloon is displayed. As a result, the user can intuitively grasp the conversation activity.
- the information processing apparatus 10 displays the visual display 53-1 in a light color when the conversation activity is moderate, and in a medium dark color when the conversation activity becomes a little active.
- a visualization display 53-2 is displayed, and when the conversation activity becomes active, a dark color visualization display 53-3 is displayed. As a result, the user can intuitively grasp the conversation activity.
- the conversation activity can be expressed by the density of the broken line.
- the information processing apparatus 10 displays the visualization display 55-1 in which the broken line density is reduced, and when the conversation activity becomes a little active, the broken line density is slightly reduced.
- the increased visualization display 55-2 is displayed, and when the conversation activity becomes active, the visualization display 55-3 with the increased density of broken lines is displayed. As a result, the user can intuitively grasp the conversation activity.
- a visualization display 56 that shines around a virtual window in the same way it is possible to express the conversation activity by the intensity of light.
- the information processing apparatus 10 displays the visualization display 56-1 that weakly shines around the virtual window in each partner space, and the conversation activity is slightly active.
- a visualization display 56-2 that shines a little intensely is displayed, and when the conversation activity level becomes active, a visualization display 56-3 that shines strongly is displayed.
- the user can intuitively grasp the conversation activity.
- FIG. 21 and FIG. 22 are diagrams for explaining the conversation mood expression method according to the present embodiment.
- the information processing apparatus 10 displays the visualization display 51a having a low (smooth) waveform with a curve shown in the upper part of FIG.
- the sharp waveform visualization display 51b shown in the middle of FIG. 21 is displayed.
- the waveform visualization display 51c having a high mountain (curve) is shown in the lower curve of FIG. indicate.
- the background color of the waveform image having a color such as a cold color or a warm color
- the information processing apparatus 10 includes both the conversation activity and the conversation mood, including the above-described expression of the conversation activity due to the intensity of the wavy line, such as being active in a dull mood or calm in a fun mood. Can also be expressed.
- the information processing apparatus 10 displays the visualization display 52a using a circular speech balloon shown in the upper part of FIG. 22 when the conversation mood is gentle, and when the conversation mood is harsh, When the conversation mood is enjoyable, the star-shaped visualization display 52c shown in the lower part of FIG. 22 is displayed. Thereby, the user can grasp the conversation mood intuitively.
- participant who has started communication explicitly shows the display of “participation refusal” in the 3D space, and refuses the participation of a third party or does not want to participate in the third party. Is possible.
- the display of “participation refusal” can be actively selected and canceled by the user. It is also possible for the system side to grasp the communication state and automatically display “participation refusal”. For example, when a predetermined keyword such as “secret” or “secret” is extracted from the conversation, “participation refusal” for refusing the participation of others may be automatically displayed.
- FIG. 23 is a diagram showing an example of a participation refusal display according to this embodiment.
- the house object 21B the house object is illustrated in a simplified manner in FIG. 24
- 21C are covered with a dome-shaped enclosure display 60, so that the user B and the user C do not intervene in communication. This is expressed explicitly.
- FIG. 24 is a diagram showing another example of the participation refusal display according to the present embodiment.
- the fence display 61 is displayed on the front side of the house objects 21B and 21C, thereby explicitly expressing that the user B and the user C should not intervene in communication.
- FIG. 25 is a diagram showing another example of the participation refusal display according to the present embodiment.
- the curtain display 62 is displayed on the front side of the house objects 21B and 21C, and the prohibition mark 63 is added to the curtain display 62 to further prevent the user B and the user C from intervening in communication. Expressed explicitly.
- the present embodiment it is possible to display intention to refuse to enter a third party or not to participate by a third party by showing a participation rejection display.
- a multipoint always-on connection where a mother, daughter, and son participate is realized, for example, when a woman wants to talk with each other, the participation refusal display is temporarily displayed to the son.
- Use cases such as doing
- a multipoint always-on connection where a single father, his / her parents and their grandparents participate is realized, for example, when the father wants to preach the son, There may be a use case such as displaying a refusal to join.
- participant who has started communication can explicitly display a “participation request” display in the 3D space and request the participation of a third party.
- the display of the “participation request” can be actively selected and canceled by the user.
- By displaying the participation request display it is possible to determine whether or not the requested participant can participate freely. This also makes it easier for participants with a low participation rate to participate.
- FIG. 26 is a diagram showing an example of a participation request display according to this embodiment.
- an icon 64 that moves beckoning is displayed above the house objects 21B and 21C to express explicitly that the user B and the user C want to participate in communication. is doing.
- FIG. 27 is a diagram showing another example of the participation request display according to the present embodiment.
- an icon 65 that moves like a ringing bell is displayed above the house objects 21B and 21C to clearly indicate that the user B and the user C are to participate in communication. Expressively.
- the present embodiment it is possible to request the participation of a third party by displaying the participation request display.
- a use case may be considered in which a request for participation is displayed to the older brother.
- FIG. 28 is an explanatory diagram showing a hardware configuration of the information processing apparatus 100 according to the present disclosure.
- the information processing apparatus 100 includes a CPU (Central Processing Unit) 142, a ROM (Read Only Memory) 144, a RAM (Random Access Memory) 146, a bridge 148, a bus 150, and an interface. 152, an input device 154, an output device 156, a storage device 158, a drive 160, a connection port 162, and a communication device 164.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 142 functions as an arithmetic processing device and a control device, and in cooperation with various programs, the spatial information acquisition unit 102, the state determination unit 103, the spatial distance control unit 104, the 3D space generation unit 106, and the space of the information processing device 10
- the operation of the information generation unit 108 is realized.
- the CPU 142 may be a microprocessor.
- the ROM 144 stores programs or calculation parameters used by the CPU 142.
- the RAM 146 temporarily stores programs used in the execution of the CPU 142 or parameters that change as appropriate during the execution.
- a part of the storage unit 17 in the information processing system is realized by the ROM 144 and the RAM 146.
- the CPU 142, the ROM 144, and the RAM 146 are connected to each other by an internal bus including a CPU bus.
- the input device 154 includes a camera 1011, a microphone 1012, a sensor 1013, and an operation I / F 1015 of the information processing device 10, and includes an input control circuit that outputs an input signal to the CPU 142.
- the output device 156 implements, for example, the display 1091, the speaker 1092, and the indicator 1093 of the information processing device 10.
- the display 1091 a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and the like are assumed.
- LCD liquid crystal display
- OLED Organic Light Emitting Diode
- the storage device 158 is a data storage device that implements the storage unit 110 of the information processing device 10, for example.
- the storage device 158 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
- the storage device 158 stores programs executed by the CPU 142 and various data.
- the drive 160 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 100.
- the drive 160 reads information recorded on a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 144.
- the drive 160 can also write information to a removable storage medium.
- connection port 162 is, for example, a bus for connecting to an information processing apparatus outside the information processing apparatus 100 or a peripheral device.
- the connection port 162 may be a USB (Universal Serial Bus).
- the communication device 164 is, for example, a communication interface configured by a communication device for connecting to a network as an example of the communication unit 107 of the information processing device 10. Further, the communication device 164 performs wired communication regardless of whether it is an infrared communication compatible device, a wireless LAN (Local Area Network) compatible communication device, or an LTE (Long Term Evolution) compatible communication device. It may be a wire communication device.
- a wireless LAN Local Area Network
- LTE Long Term Evolution
- a large display installed on a wall or the like is viewed as a window or doorway to display a 3D space, and images of multiple communication partners are placed in a virtual object such as a house in the 3D space. By doing so, the distance to the communication partner can be visually represented.
- the aspect ratio of the display installed on the wall surface may be realized in accordance with the dimensions used in actual windows and doors. Moreover, it arrange
- the video of the communication partner placed in the 3D space is placed in a virtual object such as a house, and is displayed in an enlarged / reduced manner as the distance approaches or moves away in the 3D space. Not lost.
- the information processing apparatus 10 or the hardware (CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory)) incorporated in the information processing apparatus 10 or the processing server 30 described above, or A computer program for demonstrating the function of the processing server 30 can also be created.
- a computer-readable storage medium storing the computer program is also provided.
- the present embodiment is not limited to this, and a display unit provided in the information processing terminal may be used as the display 1091. . Further, for example, a transmissive or non-transmissive HMD (Head-Mounted-Display) display unit may be used as the display 1091.
- a transmissive or non-transmissive HMD Head-Mounted-Display
- such a small display may be divided into a screen instead of the 3D space display as shown in FIG.
- the communication system 1 cuts out the face image of the user and synthesizes it with a body image generated from a past video or the like, and generates a video that does not lose its life-size and is not unnatural when it is fitted into the house object 21. You may make it do.
- the image of the other party space is fitted in a virtual object such as a house.
- this embodiment is not limited to this, and a window (an image of the other party space) is floating in the abstract. It may be expressed.
- an image obtained by performing motion capture and displaying the other party's movement with an avatar may be used as the other party's image.
- this technique can also take the following structures.
- An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the generation unit visualizes communication occurring between the plurality of communication destinations on the three-dimensional space. (3) The information processing apparatus according to (2), wherein the generation unit visualizes the communication state. (4) The information processing apparatus according to (3), wherein the generation unit calculates an activity level of conversation in the communication and performs a visualization display according to the activity level.
- the information processing apparatus calculates the degree of activity based on at least one of conversation voice and a video during conversation.
- the information processing apparatus estimates the mood based on at least one of conversation voice and a video during conversation.
- the information processing apparatus calculates a conversation activity level in the communication and estimates a mood, and performs visualization display according to the activity level and the mood.
- the generation unit according to any one of (1) to (8), wherein the generation unit places the captured image of the communication destination in a predetermined position in the three-dimensional space by inserting the image into the opening of the virtual object.
- Information processing device (10) The information processing apparatus according to (9), wherein the generation unit controls a distance from each virtual object arranged in the three-dimensional space according to a degree of disclosure.
- (11) Processor Receiving data from the destination, Generating spatial image information arranged at a predetermined position in a three-dimensional space using a plurality of captured images of the communication destination; Controlling the generated spatial image information to be displayed on a display unit; Including an information processing method.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】通信先からデータを受信する受信部と、複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、を備える、情報処理装置。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、通信技術の発達により、遠隔地で映像を介して会話を行うTV電話会議システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各空間に設けられ、ある空間で撮影された映像および収音された音声データが、リアルタイムで、他の空間に設置された表示装置およびスピーカから出力される。
このような双方向通信技術に関し、例えば下記特許文献１では、窓状撮像表示装置を用いて双方向通信を行う際に見る側の人間の位置や角度が変化に応じた映像が見えるようにする技術が提案されている。
また、下記特許文献２では、ユーザの状態情報に基づいて、自分と通信相手の通信に対する要求の度合いを判断し、相互に不都合のない快適なコミュニケーションを行うようにすることができることが提案されている。
しかしながら、上述した特許文献１では、窓状撮像表示装置を用いて離れた空間同士が一つの窓を通してつながっているように感じさせる効果がある一方、空間同士の距離はゼロで接しているため、相手がすぐそばに居ることに抵抗が生じてしまう場合もある。
また、上述した特許文献２においても、空間同士をつなげるタイミング（すなわち呼び出しタイミング）について善処されているが、空間同士の距離については何ら言及されていない。
そこで、本開示では、空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、通信先からデータを受信する受信部と、複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、通信先からデータを受信することと、複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、前記生成された空間画像情報を表示部に表示するよう制御することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、通信先からデータを受信する受信部と、複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、として機能させるプログラムを提案する。
以上説明したように本開示によれば、空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるコミュニケーションシステムの概要
２．情報処理装置の構成
３．動作処理
４．空間情報の表示例
４－１．中距離表示
４－２．近距離表示
４－３．ゼロ距離表示
４－４．遠距離表示
４－５．コミュニケーション状態の可視化）
（４－５－１．可視化表現の種類）
（４－５－２．会話活性度の表現）
（４－５－３．会話ムードの表現）
（４－５－４．参加拒否表示）
（４－５－５．参加要請表示）
５．ハードウェア構成
６．まとめ
１．本開示の一実施形態によるコミュニケーションシステムの概要
２．情報処理装置の構成
３．動作処理
４．空間情報の表示例
４－１．中距離表示
４－２．近距離表示
４－３．ゼロ距離表示
４－４．遠距離表示
４－５．コミュニケーション状態の可視化）
（４－５－１．可視化表現の種類）
（４－５－２．会話活性度の表現）
（４－５－３．会話ムードの表現）
（４－５－４．参加拒否表示）
（４－５－５．参加要請表示）
５．ハードウェア構成
６．まとめ
＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
本開示の一実施形態によるコミュニケーションシステム１の概要について図１を参照して説明する。図１は、本開示の一実施形態によるコミュニケーションシステム１の全体構成を示す図である。
本開示の一実施形態によるコミュニケーションシステム１の概要について図１を参照して説明する。図１は、本開示の一実施形態によるコミュニケーションシステム１の全体構成を示す図である。
図１に示すように、本実施形態によるコミュニケーションシステム１では、情報処理装置１０Ａ、１０Ｂ、１０Ｃがネットワーク２０を介して接続されている。各情報処理装置１０Ａ、１０Ｂ、１０Ｃは、空間Ａ、空間Ｂ、空間Ｃにそれぞれ配置され、各空間を映像・音声・その他の情報チャンネルによって接続し、あたかも各空間がつながっているように感じさせることができる。例えば親と子供が離れて暮らしている際に、互いのリビング空間が窓やドアに相当する表示装置を介してつながっているように見せることを可能とする。互いのリビング空間が接続する場合、ユーザは、相手空間の様子（例えば、子供の様子や親の様子等）を大まかに把握しながら生活することができる。
情報処理装置１０Ａ～１０Ｃは、双方向通信の同期処理や、空間距離の算出・制御等を行うが、これらの離隔距離の算出・制御等は、処理サーバ３０で行われてもよい。また、図１に示す例ではコミュニケーションシステム１が処理サーバ３０を含む構成となっているが、本開示はこれに限定されず、処理サーバ３０を含まない構成としてもよい。
（背景）
ここで、一般的なビデオチャット技術では、通信相手との接続は、映像の表示／非表示や音声のON／OFFといった、０か１かの切替えで制御され、つながり度合いの細かな調整はできなかった。したがって、常に高臨場感が生じ、相手の様子を感じていたいといったユーザのニーズに応えられていなかった。接続する空間同士の距離を制御することについては、上記いずれの特許文献にも記載されていない。
ここで、一般的なビデオチャット技術では、通信相手との接続は、映像の表示／非表示や音声のON／OFFといった、０か１かの切替えで制御され、つながり度合いの細かな調整はできなかった。したがって、常に高臨場感が生じ、相手の様子を感じていたいといったユーザのニーズに応えられていなかった。接続する空間同士の距離を制御することについては、上記いずれの特許文献にも記載されていない。
また、大画面で窓のようなデバイスを用いた仮想的な同居体験システムでは、相手と一対一（一地点対一地点）で接続する場合、１つの映像を出すというシンプルな制御で可能であるが、多数の空間とつながる場合、単純な画面分割ではスケール感が失われたり、各相手とのコミュニケーションの強度の調整が難しくなるという問題がある。
例えば図２に示すように、壁等に設置された窓のような大画面デバイス８０において、多数の通信先の映像（空間Ｂの映像８１、空間Ｃの映像映像８２）が単純に画面分割で表示されると、等身大感やスケール感が失われてしまい、仮想的な同居体験を十分に表現できない。
そこで、本実施形態では、空間のつながりに３次元的表現を用いて、等身大感やスケール感を失わずに、より快適なコミュニケーションを実現することを可能とする。具体的な表示例について図３を参照して説明する。図３は、本開示の一実施形態による多数地点映像の表示例について説明する図である。図３に示すように、例えばディスプレイ１０９１に３次元空間を表示し、３次元空間において、各空間に対応する仮想的な家オブジェクト２１Ｂ、２１Ｃを配置する。ディスプレイ１０９１は、大画面表示装置であって、窓や戸口に見立てて壁等に設置される。ここでは、例えば空間Ａに設置されているディスプレイ１０９１を用いて表示例について説明する。なお図３には図示していないが、カメラ１０１１、マイク１０１２、センサ１０１３、スピーカ１０９２、およびインジケータ１０９３（ＬＥＤ等）も、ディスプレイ１０９１の周辺等、空間Ａ内に設置される。設置場所や設置数は特に限定しない。
３次元空間に配置されている仮想的な家オブジェクト２１Ｂ、２１Ｃは、それぞれ通信先の空間Ｂ、空間Ｃに対応するものであって、通信先の映像が窓や戸口にはめこまれている。すなわち、家オブジェクト２１Ｂの窓にはめこまれた映像２２Ｂは、空間Ｂで撮像された映像であって、また、家オブジェクト２１Ｃにはめこまれた映像２２Ｃは、空間Ｃで撮像された映像である。これにより、少し離れた状態であっても、互いの家の窓越しに相手の家の様子が把握できる。相手の家との距離が多少保たれるため、常に接続していても高臨場感が生じることなく、同じ空間で過ごしているような仮想的な同居体験を得ることができる。また、音声は、例えば相手の家との距離に応じた音量で聞こえるようにしてもよい。また、３次元空間内の各家の位置に応じて、各家からの音声をステレオ音声により音像定位してもよい。なおここでは一例として通信先の映像をはめ込む仮想オブジェクトとして家オブジェクトを用いたが、本実施形態はこれに限定されず、例えば車や電車等の乗り物、家以外の建物、構造物、自然物等の仮想オブジェクトを用いて、窓やドア等の開口部に通信先の映像をはめ込むようにしてもよい。
また、図３に示すように、３次元空間映像の中央付近には舞台２４を設けてもよく、これにより、仮想空間内において舞台２４上で仮想物体を介したコミュニケーションを行うことができる。舞台２４の形状、位置は特に限定せず、例えば舞台２４に代えて、各家で囲む範囲を仮想中庭空間として利用してもよい。
そして、本実施形態によるコミュニケーションシステム１は、ディスプレイ１０９１に表示する３次元空間内の家同士の距離を離したり近付けたりすることで、接続する空間同士のつながり度合いを制御し、等身大感やスケール感を失わずに、より快適なコミュニケーションを実現することを可能とする。
以上、本開示の一実施形態によるコミュニケーションシステム１の概要について説明した。続いて、コミュニケーションシステム１で用いられる情報処理装置１０の構成について図４を参照して説明する。
＜＜２．情報処理装置の構成＞＞
図４は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図４に示すように、情報処理装置１０は、入力部１０１、空間情報取得部１０２、状態判定部１０３、空間距離制御部１０４、操作Ｉ／Ｆ（インタフェース）１０５、３Ｄ空間生成部１０６、通信部１０７、空間情報生成部１０８、出力部１０９、および記憶部１１０を有する。
図４は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図４に示すように、情報処理装置１０は、入力部１０１、空間情報取得部１０２、状態判定部１０３、空間距離制御部１０４、操作Ｉ／Ｆ（インタフェース）１０５、３Ｄ空間生成部１０６、通信部１０７、空間情報生成部１０８、出力部１０９、および記憶部１１０を有する。
入力部１０１は、空間情報を入力する機能を有する。例えば入力部１０１は、カメラ１０１１、マイク（マイクロホンの略称）１０１２、およびセンサ１０１３により実現される。カメラ１０１１は、複数であってもよく、空間内（例えばリビング）を撮像し、撮像画像を取得する。また、マイク１０１２は、複数であってもよく、空間内の音声や、空間周辺（例えば隣の部屋、廊下、家の外等）の環境音を集音し、音声データを取得する。また、センサ１０１３は、空間内や空間周辺の各種情報を検知する機能を有し、例えば、温度センサ、湿度センサ、照度センサ、人感センサ、およびドア開閉センサ等が想定される。
空間情報取得部１０２は、入力部１０１から様々な空間情報を取得し、状態判定部１０３により状態判定の素材として用いることができるようデータを準備し、出力する。データの準備とは、例えばノイズ処理、画像解析、物体認識、音声解析等である。さらに、空間情報取得部１０２は、取得した空間情報に基づいて、ユーザ認識を行う。ユーザ認識とは、その空間に居るユーザの個人識別、ユーザの位置（部屋のどこに居るか等）、姿勢（立っているか、座っているか、寝ているか等）、感情（楽しんでいるか、悲しんでいるか等）、行動（夕飯の準備をしている、テレビを見ている、本を読んでいる等）、繁忙度（忙しそうに動き回っているか等）の認識が想定される。また、空間情報取得部１０２は、取得した空間情報に基づいて、環境認識を行う。環境認識とは、その空間の現在の時間帯（朝方、昼、夕方、深夜）、明るさ（部屋の明るさ、窓からの光）、温度、音響（空間内で収音された音）、地域（その空間が存在する場所）、整頓度（部屋の片づけ具合）等の認識が想定される。
状態判定部１０３は、空間情報取得部１０２により取得され、出力された情報に基づいて、空間の状態やユーザの状態（すなわち、通信元の空間のコンテキスト）を判定する。例えば状態判定部１０３は、空間情報取得部１０２によるユーザ認識結果および環境認識結果に基づいて、空間の状態やユーザの状態を判定する。なお、通信元の空間のコンテキストには、ユーザの状態、ユーザが居る実空間の状態、時間、季節、天候、場所、または相手ユーザとの関係性が含まれ得る。
空間距離制御部１０４は、接続された空間同士の３次元空間上の距離（奥行きの離隔距離）を制御する機能を有する。本実施形態では、３次元空間上の適切な距離に、各通信先の空間から取得した情報（例えば図３に示す映像２２をはめ込んだ家オブジェクト２１）を配置し、つながりに奥行きを見せることで、心地よいつながり状態を実現する。相手空間との距離が遠い程、ユーザの心理的抵抗が減り、相手空間との距離が短い程、ユーザの心理的抵抗が増すことが想定される。すなわち、空間同士の距離は短いと、相手映像が鮮明に見え、高臨場感で接続する。一方、空間同士の距離が長いと、相手映像が鮮明に見えず、低臨場感で接続する。
相手空間との距離は、例えば状態判定部１０３から出力された判定結果（通信元の空間のコンテキスト）に基づいて算出された公開度に応じて制御されてもよいし、ユーザにより手動で設定された公開度に基づいて制御されてもよい。例えば空間距離制御部１０４は、ユーザが家事を行っていたり忙しく動いていたり、テレビを見てリラックスしている場合は相手空間との距離を遠くする。また、例えば空間距離制御部１０４は、ユーザがディスプレイ１０９１に近付いた場合は相手空間との距離を近くしてもよい。相手空間との距離は、公開度として、通信部１０７から各通信先の情報処理装置１０に送信され、同期される。公開度は、情報処理装置１０または処理サーバ３０において調整されてもよい。例えばユーザ側空間で希望する公開度と相手空間で希望する公開度とに基づいて、最適な公開度に調整されてもよい。
操作Ｉ／Ｆ（インタフェース）１０５は、ユーザからの操作入力を受け付け、空間距離制御部１０４や３Ｄ空間生成部１０６へ出力する。これにより、例えば、ユーザが任意に「相手空間との距離」を設定することが可能となる。また、３次元空間に配置された各種オブジェクト（仮想物体）に対する操作入力も可能となる。
３Ｄ空間生成部１０６は、ディスプレイ１０９１に表示する３Ｄ空間の生成を行う。具体的には、例えば３Ｄ空間生成部１０６は、空間距離制御部１０４により設定された各通信相手との距離に応じて、通信先の空間に対応する家を配置した３Ｄ空間画像を生成する。また、３Ｄ空間生成部１０６は、３Ｄ空間に、通信元または通信先からの情報をリアルタイムで反映したり、指定されたオブジェクト（仮想物体）を配置したりしてもよい。また、３Ｄ空間の背景等のシーンも自動またはユーザによる設定により様々適用され得る。例えば森の中、街中、宇宙、海底等々、様々なシーンの設定が可能である。
また、本実施形態による３Ｄ空間生成部１０６は、３Ｄ空間において通信相手同士のコミュニケーション状態を可視化することも可能である。複数の空間と常時接続している際に、ユーザ以外の参加者間のコミュニケーション状態を可視化することで、先に発生しているコミュニケーションの空気感が分かり、ユーザがそのコミュニケーションへの参加、不参加を適切に判断することができる。例えば複数の相手の家が遠くに配置され様子が不鮮明で会話がよく聞こえない状態であっても、コミュニケーション状態が可視化されることで、状況を適切に判断することができる。これによりコミュニケーション上の問題発生を防いだり、逆に積極的なコミュニケーション参加が可能となり、結果として心地よい多地点常時接続を実現することができる。例えば母と妹がなにやら重苦しい雰囲気で話していることがわかったので参加しないことにしたり、母と弟が楽しそうに会話をしていることがわかったので自分も少し忙しかったが短時間だけ参加することにしたり等の判断を行うことができる。
コミュニケーションの可視化は、例えば通信相手同士の会話の活性度（盛り上がり、会話の密度、話の展開等）やムード（感情：喜怒哀楽）に応じて行われる。３Ｄ空間生成部１０６は、通信部１０７を介して各通信先から送信される会話の音声や映像に基づいて会話の活性度やムードを算出する。例えば、３Ｄ空間生成部１０６は、音声の大きさ、音声の継続時間、やりとりされた単語数、話者の身振り手振りうなずきの大きさ・頻度、ディスプレイ１０９１からの距離、ディスプレイ１０９１に向かっている人数、または会話の展開の速さ・頻度等から、会話の活性度を算出する。また、３Ｄ空間生成部１０６は、音声の大きさ、音声の継続時間、発話のスピード、用いられる言葉・言葉遣い、語気の強さ、表情、視線（背けたり、にらんだり）、または話者の身振り手振りの大きさ・頻度等から、ムードを推定する。活性度の算出アルゴリズムや、ムードの推定アルゴリズムについては特に限定せず、既存のアルゴリズムを利用してもよい。３Ｄ空間生成部１０６は、算出された活性度や推定されたムードに応じて可視化表現を行う。
なお、コミュニケーション状態（会話活性度、会話ムード）は、３Ｄ空間生成部１０６で通信相手からの受信データ（音声、映像）を解析して取得することに限定されず、通信相手や処理サーバ３０側で解析された結果を受信するようにしてもよい。
通信部１０７は、ネットワーク２０を介して他の情報処理装置１０や処理サーバ３０と接続し、データの送受信を行う。例えば通信部１０７は、空間情報取得部１０２から出力された空間情報、空間距離制御部１０４から出力された空間距離、３Ｄ空間生成部１０６から出力された３Ｄ空間の情報を通信先の情報処理装置１０または処理サーバ３０へ送信する。また、通信部１０７は、通信先の情報処理装置１０または処理サーバ３０から受信した空間情報、空間距離、３Ｄ空間の情報等を受信する。本実施形態では、通信元および通信先において、３Ｄ空間および３次元空間上の相手との距離が同期される。また、通信部１０７は、処理サーバ３０がネットワーク上の関連サービスサーバから取得した情報（天候情報、ニュース、スケジュール情報等）、またはネットワーク上の関連サービスサーバから当該情報を直接、受信することも可能である。
空間情報生成部１０８は、３Ｄ空間生成部１０６により生成された３Ｄ空間画像と、通信部１０７を介して受信した通信先の空間の映像に基づいて、空間情報を生成する。生成した空間情報は出力部１０９に送出される。具体的には、空間情報生成部１０８は、３Ｄ空間生成部１０６により生成した３Ｄ空間画像の仮想的な家画像に、通信部１０７を介して受信した通信先の空間の映像を合成して空間画像情報を生成する。また、空間情報生成部１０８は、生成された３Ｄ空間で発生する音声や、通信部１０７を介して受信した通信先の空間の音声に基づいて、空間音声情報を生成する。この際、空間音声情報は、３Ｄ空間の各家の配置に応じて通信先音声が音像定位されたものであってもよい。
出力部１０９は、空間情報生成部１０８により生成された空間情報を、各デバイスからユーザに出力するよう制御する出力制御部として機能する。例えば出力部１０９は、ディスプレイ１０９１、スピーカ１０９２、またはインジケータ１０９３（ＬＥＤランプ等）を含み、表示出力、音声出力、通知出力を行う。ディスプレイ１０９１には、空間情報生成部１０８により生成された空間画像情報が表示される。また、スピーカ１０９２には、空間情報生成部１０８により生成された空間音声情報が表示される。
記憶部１１０は、通信部１０７を介して送受信されるデータを記憶する。また、図４に示す例では、通信部１０７に接続しているが、本実施形態はこれに限定されず、情報処理装置１０に含まれる各構成の記憶領域として用いられてもよい。
以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお情報処理装置１０の構成は図４に示した例に限定されず、例えば一部の構成が外部装置により実現され、情報処理装置１０と無線／有線により接続するようにしてもよい。
＜＜３．動作処理＞＞
＜３－１．通信制御処理＞
図５は、本実施形態による通信制御処理について説明するフローチャートである。接続する各空間Ａ～空間Ｃでは、それぞれ同様に図５に示す動作処理が行われるが、ここでは一例として空間Ａの情報処理装置１０Ａの動作処理について説明する。
＜３－１．通信制御処理＞
図５は、本実施形態による通信制御処理について説明するフローチャートである。接続する各空間Ａ～空間Ｃでは、それぞれ同様に図５に示す動作処理が行われるが、ここでは一例として空間Ａの情報処理装置１０Ａの動作処理について説明する。
図５に示すように、まず、情報処理装置１０Ａは、空間Ｂ、空間Ｃに対して接続処理を行う（ステップＳ１０３）。具体的には、例えば情報処理装置１０Ａは、情報処理装置１０Ｂ、１０Ｃに対して呼び出しを行い、相手から接続許可を受信した場合に、セッションを確立する。
次に、情報処理装置１０Ａは、空間情報取得部１０２により空間Ａの空間情報（映像、音声、センサデータ）を取得する（ステップＳ１０６）。
次いで、情報処理装置１０Ａは、状態判定部１０３によりユーザＡの状態および空間Ａの状態を判別する（ステップＳ１０９）。状態情報は、ユーザＡにより操作Ｉ／Ｆ１０５から手動で入力されてもよい。
次に、情報処理装置１０Ａは、空間情報および状態情報を、通信接続する空間Ｂの情報処理装置１０Ｂおよび空間Ｃの情報処理装置１０Ｃに送信する（ステップＳ１１２）。
次いで、情報処理装置１０Ａは、空間Ｂ、空間Ｃで同様に取得された空間Ｂ、空間Ｃのリアルタイムの空間情報および状態情報を情報処理装置１０Ｂ、情報処理装置１０Ｃから受信する（ステップＳ１１５）。
次に、情報処理装置１０Ａは、３Ｄ空間生成部１０６により３Ｄ空間の生成を行う（ステップＳ１１８）。例えば３Ｄ空間生成部１０６は、空間距離制御部１０４により制御された距離に応じて、各空間に対応する仮想的な家オブジェクトを配置した３Ｄ空間を生成する。また、３Ｄ空間生成部１０６は、通信相手間の会話音声、映像に基づいて、リアルタイムでコミュニケーション状態の可視化を行う。コミュニケーション状態の可視化処理については、図６を参照して次に説明する。
そして、情報処理装置１０Ａは、空間情報生成部１０８で生成された空間情報を出力部１０９から出力する。空間情報生成部１０８は、例えば３Ｄ空間生成部１０６で生成された３Ｄ空間の各家オブジェクトに、通信部１０７を介して受信した空間Ｂ、空間Ｃのリアルタイムの映像をそれぞれ合成した空間画像情報を生成し、ディスプレイ１０９１に出力する。
＜３－２．可視化処理＞
図６は、本実施形態によるコミュニケーション状態の可視化処理を示すフローチャートである。図６に示すように、まず、情報処理装置１０Ａの３Ｄ空間生成部１０６は、各通信相手の会話音声および映像の解析を行う（ステップＳ２０３）。
図６は、本実施形態によるコミュニケーション状態の可視化処理を示すフローチャートである。図６に示すように、まず、情報処理装置１０Ａの３Ｄ空間生成部１０６は、各通信相手の会話音声および映像の解析を行う（ステップＳ２０３）。
次に、３Ｄ空間生成部１０６は、コミュニケーション状態として会話活性度の算出（ステップＳ２０６）や、会話ムードの推定（ステップＳ２０９）を行う。
そして、３Ｄ空間生成部１０６は、算出した会話活性度や会話ムードに応じて、コミュニケーション状態を３Ｄ空間において可視化する（ステップＳ２１２）。可視化表現の具体例については、図１２～図２７を参照して後述する。
以上、本実施形態による動作処理について具体的に説明した。続いて、本実施形態による具体的な空間情報の表示例について図面を用いて説明する。
＜＜４．空間情報の表示例＞＞
＜４－１．中距離表示＞
まず、公開度「中」の中距離表示について図７を参照して説明する。図７は、本実施形態による中距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。図示された例では、壁等に設置された大型のディスプレイ１０９１に窓枠画像４０と、窓を介して見える３Ｄ空間画像４１が表示されている。
＜４－１．中距離表示＞
まず、公開度「中」の中距離表示について図７を参照して説明する。図７は、本実施形態による中距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。図示された例では、壁等に設置された大型のディスプレイ１０９１に窓枠画像４０と、窓を介して見える３Ｄ空間画像４１が表示されている。
３Ｄ空間画像４１には、通信接続する空間Ｂに対応する家オブジェクト２１Ｂと、空間Ｃに対応する家オブジェクト２１Ｃが配置されている。本実施形態では、一例として図７で示すような窓枠画像４０から家オブジェクト２１Ｂおよび家オブジェクト２１Ｃとの距離を「中距離」と定義し、これを平常状態としてもよい。平常状態とは、常時接続している際における通常の状態であって、情報処理装置１０は、何らかのトリガーがない限り常に中距離で制御する。「中距離」は、相手空間の様子が大よそ把握できる程度に見える距離であって、心理的負荷が大きくなく、各ユーザは自分が見られていることが気にならない程度で相手の様子も分かる距離感である。また、「中距離」の場合、情報処理装置１０Ａは相手空間の音声は控えめの音量に制御する。図７に示す「中距離」は一例であるが、「中距離」は予め設定されていてもよいし、接続初期時に各ユーザにより任意に入力して調整してもよいし、各ユーザの状態に基づいてシステム側で適宜調整してもよい。
なお、「中距離」で常時接続されている場合、一時的に相手に見られたくないような状況が発生することも考えられる。この場合、情報処理装置１０は、ユーザのプライバシーを守るため、相手から見え難くすると共に、相手に見え難くなっていることをユーザも直感的に分かるような表示を行うことが可能である。図７に示す例では、家オブジェクト２１Ｃの仮想的な窓が擦りガラスで表現され、空間Ｃの映像２２Ｃがぼんやりとした状態になっている。これは、空間ＣのユーザＣにより任意に遮断制御されているためである。
また、プライバシー保護の他の例について図８を参照して説明する。図８は、本実施形態によるプライバシー保護の一例を示す図である。図８に示すように、例えばブラインド画像４２をディスプレイ１０９１に表示し、相手から見え難くなっていることをユーザが直感的に把握できるようにする。この場合、当然に、相手空間のディスプレイ１０９１に表示されている３Ｄ空間に配置された自身の空間に対応する家オブジェクトにはめこまれた空間Ａの映像にも同様にブラインド画像が重畳表示され、同期される。
ブラインドの下ろし具合や見え方は、ユーザ操作（例えばディスプレイ１０９１へのタッチ操作）により制御されててもよい。このように仮想的にブラインドを下ろすことは、今は見られたくない、話し掛けられたくないといった意思表示にもなる。
なお、図８に示すブラインドの例は、プライバシー保護（遮蔽）の表現方法の一例であって、他には例えばディスプレイ１０９１に網戸を設けたり、カーテンを閉めたりといった表現方法も考えられる。また、ディスプレイ１０９１を仮想的なドアに見立てた場合、ドアを少し閉じるといった表現も可能である。
＜４－２．近距離表示＞
次に、公開度「高」の近距離表示について図９を参照して説明する。図９は、本実施形態による近距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。
次に、公開度「高」の近距離表示について図９を参照して説明する。図９は、本実施形態による近距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。
本実施形態では、一例として図９で示すような窓枠画像４０から家オブジェクト２１Ｂや家オブジェクト２１Ｃとの距離を「近距離」の範囲と定義し、これを会話可能状態としてもよい。図９に示すように、「近距離」では相手空間の様子が十分に把握できる程度に映像も鮮明に見える。また、情報処理装置１０は、相手空間の音声が十分に聞こえるよう出力制御し、会話を可能とする。各家オブジェクト２１との距離はそれぞれ制御することが可能である（例えば、家オブジェクト２１Ｂとだけ近付くことも可能である）。
また、「近距離」では、各家オブジェクトの間に設置された舞台２４を活用して多人数での共同作業や情報交換が可能である。例えば図９に示すように、仮想のペットオブジェクト２５を表示して、ユーザ操作に応じてエサを与えて飼育することが可能である。例えば図９に示すように、空間ＡのユーザＡが操作してエサ２６Ａを与え、空間ＢのユーザＢも同様にエサ２６Ｂを与えることが可能である。このように、３Ｄ空間に表示したオブジェクトを介して相互コミュニケーションを実現することが可能となる。すなわち、３Ｄ空間に配置された様々なオブジェクトに対して、各空間から影響を及ぼすことができ、オブジェクトを通じたコミュニケーションが可能となる。
このような３Ｄ空間の利用は図９に示す例に限定されず、他にも様々考えられる。以下、具体例を挙げる。
・仮想の花や植物を３Ｄ空間配置し、各ユーザが水を与えたりして一緒に育てることができる。
・出窓を表示し、出窓に仮想の植物を並べてもよい。各ユーザは仮想植物を購入して配置したり、相手にプレゼントしたりすることができる。
・３Ｄ空間の中央に焚火を配置し、ユーザが薪を投げ入れた場合に炎があがるようにしてもよい。
・相手空間の映像から抽出した特定物を３Ｄ空間に配置してもよい。例えば相手空間の映像に映る子供だけを抽出して３Ｄ空間に配置し得る。これにより、部屋の中が散らかっていてあまり見られたくない場合でも、部屋で遊んでいる子供だけを見せることが可能となる。
・出窓を表示し、出窓に仮想の植物を並べてもよい。各ユーザは仮想植物を購入して配置したり、相手にプレゼントしたりすることができる。
・３Ｄ空間の中央に焚火を配置し、ユーザが薪を投げ入れた場合に炎があがるようにしてもよい。
・相手空間の映像から抽出した特定物を３Ｄ空間に配置してもよい。例えば相手空間の映像に映る子供だけを抽出して３Ｄ空間に配置し得る。これにより、部屋の中が散らかっていてあまり見られたくない場合でも、部屋で遊んでいる子供だけを見せることが可能となる。
また、３Ｄ空間には、各空間からの情報がリアルタイムに反映されてもよい。例えば、各空間内の照明（色温度、明るさ、揺らぎ）や室温、環境情報（天候等）を３Ｄ空間に反映させてもよい。各空間の天候を反映させる場合、例えば空間Ｂの地域で実際に雨が降っている場合、３Ｄ空間に配置された空間Ｂの家オブジェクト２１Ｂの周辺に雨を降らせてもよい。これにより、各ユーザはリアルタイムに相手の空間の気象状況を把握することができる。
また、３Ｄ空間には、各ユーザが自由に書き込める仮想的な掲示板を立ててもよい。また、仮想的な掲示板には、例えば各ユーザの一日の行動情報に基づいてその日のダイジェストが自動的に表示されるようにしてもよい。
＜４－３．ゼロ距離表示＞
また、近距離からさらに近付くと、仮想的な窓同士が接合した状態、すなわちゼロ距離表示となる。この場合、より鮮明な映像が表示され得る。図１０は、ゼロ距離表示の一例を示す図である。
また、近距離からさらに近付くと、仮想的な窓同士が接合した状態、すなわちゼロ距離表示となる。この場合、より鮮明な映像が表示され得る。図１０は、ゼロ距離表示の一例を示す図である。
図１０の左に示すように、相手の家オブジェクト２１Ｂ、２１Ｃとさらに近付いていくと、仮想的な窓同士が接合し、図１０の右に示すようなゼロ距離表示となる。ゼロ距離表示では、例えば空間Ｂの映像２２Ｂと、空間Ｃの映像２２Ｃが横に並列して表示される。この場合、３Ｄ空間の音や情報は遮断され、コミュニケーションに集中できる。
＜４－４．遠距離表示＞
次に、公開度「低」の遠距離表示について図１１を参照して説明する。図１１は、本実施形態による遠距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。
次に、公開度「低」の遠距離表示について図１１を参照して説明する。図１１は、本実施形態による遠距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。
図１１に示すように、相手空間と積極的に離れたい場合、例えばユーザは任意に公開度「低」とする操作を行い、家オブジェクト２１Ｂ、２１Ｃと遠く離れることも可能である。この場合、当然に、相手空間のディスプレイ１０９１に表示されている３Ｄ空間に配置された自身の空間に対応する家オブジェクトが遠くに表示されるよう、距離（公開度）が同期される。
＜４－５．コミュニケーション状態の可視化＞
続いて、本実施形態によるコミュニケーション状態の可視化について具体例を説明する。上述したように、本実施形態では、通信相手同士で既にコミュニケーションが発生している場合（会話を行っている場合）、かかるコミュニケーションの状態を可視化することで、ユーザがそのコミュニケーションに積極的に参加するか否かを適切に判断することを可能とする。
続いて、本実施形態によるコミュニケーション状態の可視化について具体例を説明する。上述したように、本実施形態では、通信相手同士で既にコミュニケーションが発生している場合（会話を行っている場合）、かかるコミュニケーションの状態を可視化することで、ユーザがそのコミュニケーションに積極的に参加するか否かを適切に判断することを可能とする。
図１２は、本実施形態によるコミュニケーションの発生を可視化した一例を示す図である。図１２に示すように、ディスプレイ１０９１に表示された３Ｄ空間に、家オブジェクト２１Ｂ、２１Ｃが例えば近距離で配置され、家オブジェクト２１Ｂ、２１Ｃ間でコミュニケーションが発生した場合、情報処理装置１０は、各家オブジェクトの仮想的な窓同士を繋ぐ可視化表示５０を表示する。可視化表示５０は、例えばシンプルな線状で表現される。これにより、ユーザは、ディスプレイ１０９１を見た際に、通信相手間（ユーザＢとユーザＣ）で既にコミュニケーションが発生していることを直感的に把握することができる。以下、このような可視化表現のバリエーションについて複数の具体例を用いて説明する。
（４－５－１．可視化表現の種類）
図１３～図１５は、本実施形態による可視化表現の種類について説明する図である。情報処理装置１０は、図１３の左に示すように、相手空間間で何らコミュニケーションが起きていない状態では可視化表示を行わず、図１３の右に示すように、相手空間間でコミュニケーションが起きている場合に、例えば会話の活性度を波形のようなデザインで表現した可視化表示５１で家オブジェクト２１Ｂと２１Ｃの仮想的な窓を繋ぐ表示を行う。
図１３～図１５は、本実施形態による可視化表現の種類について説明する図である。情報処理装置１０は、図１３の左に示すように、相手空間間で何らコミュニケーションが起きていない状態では可視化表示を行わず、図１３の右に示すように、相手空間間でコミュニケーションが起きている場合に、例えば会話の活性度を波形のようなデザインで表現した可視化表示５１で家オブジェクト２１Ｂと２１Ｃの仮想的な窓を繋ぐ表示を行う。
また、情報処理装置１０は、図１４の左に示すように、相手空間間でコミュニケーションが起きている場合に、例えば会話の活性度をマンガの吹き出しのようなもので表現した可視化表示５２を家オブジェクト２１Ｂと２１Ｃの上空に浮かべる表示を行ってもよい。また、情報処理装置１０は、図１４の右に示すように、相手空間間でコミュニケーションが起きている場合に、家オブジェクト２１Ｂと２１Ｃの仮想的な窓が繋がっているように表現する可視化表示５３を表示してもよい。
また、情報処理装置１０は、図１５の左に示すように、相手空間間でコミュニケーションが起きている場合に、例えばシンプルに線で繋いで表現する可視化表示５４を表示したり、図１５の右に示すように、さらに会話の活性度を破線で表現する可視化表示５５で仮想的な窓同士を繋げる表示をしてもよい。
このように、本実施形態によるコミュニケーション状態の可視化表現は、シンプルな線、破線、波線、または吹き出し等、様々な種類が挙げられる。いずれも、相手空間同士を繋げた表現とすることで、相手空間間でコミュニケーションが発生していることを表している。
続いて、このような可視化表現の種類ごとの会話活性度や会話ムードの表現方法について、以下具体例を挙げる。
（４－５－２．会話活性度の表現）
図１６～図２０は、本実施形態による会話活性度の各表現方法について説明する図である。
図１６～図２０は、本実施形態による会話活性度の各表現方法について説明する図である。
図１６に示すように、例えば波形による可視化表示５１を用いる場合、会話活性度を波の激しさで表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、穏やかな波形の可視化表示５１－１を表示し、会話活性度が少し活発になると、少し激しい波形の可視化表示５１－２を表示し、会話活性度が活発になると、激しい波形の可視化表示５１－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。
また、図１７に示すように、例えばマンガの吹き出しによる可視化表示５２を用いる場合、会話活性度を拭き出しの大きさや数で表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、小さく少ない吹き出しの可視化表示５２－１を表示し、会話活性度が少し活発になると、中程度の大きさの吹き出しを増やした可視化表示５２－２を表示し、会話活性度が活発になると、大きい吹き出しを含めて数を増やした吹き出しの可視化表示５２－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。
また、図１８に示すように、例えば仮想的な窓を繋げた可視化表示５３を用いる場合、会話活性度を可視化表示５３の色の濃さで表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、薄い色で可視化表示５３－１を表示し、会話活性度が少し活発になると、中程度の濃さの色で可視化表示５３－２を表示し、会話活性度が活発になると、濃い色の可視化表示５３－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。
また、図１９に示すように、例えば破線による可視化表示５５を用いる場合、会話活性度を破線の密度で表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、破線の密度を少なくした可視化表示５５－１を表示し、会話活性度が少し活発になると、破線の密度を少し増やした可視化表示５５－２を表示し、会話活性度が活発になると、破線の密度を増やした可視化表示５５－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。
また、図２０に示すように、例えば仮想的な窓の周囲を同じように光らせる可視化表示５６を用いる場合、会話活性度を光の強さで表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、各相手空間の仮想的な窓の周囲を弱く光らせる可視化表示５６－１を表示し、会話活性度が少し活発になると、少し強く光らせる可視化表示５６－２を表示し、会話活性度が活発になると、強く光らせる可視化表示５６－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。
このように、会話活性度の活発さ（激しさ）に応じて、波線の激しさや、破線の密度、吹き出しの大きさや数、色の濃さ、光の強さ等で表現することが可能である。
（４－５－３．会話ムードの表現）
続いて、会話ムードの表現方法について説明する。図２１および図２２は、本実施形態による会話ムードの表現方法について説明する図である。
続いて、会話ムードの表現方法について説明する。図２１および図２２は、本実施形態による会話ムードの表現方法について説明する図である。
情報処理装置１０は、例えば波形による可視化表示５１を用いる場合、会話ムードが穏やかな場合は、図２１上段に示す曲線で山が低い（滑らかな）波形の可視化表示５１ａを表示し、会話ムードがとげとげしい場合は、図２１中段に示す鋭角な波形の可視化表示５１ｂを表示し、会話ムードが楽しげな場合は、図２１下段に示す曲線で山が高い（激しめの）波形の可視化表示５１ｃを表示する。また、さらに波形の背景色（寒色、暖色等、色の持つイメージ）をムードに応じた色にしてもよい。これにより、ユーザは直感的に会話ムードを把握することができる。
なお、情報処理装置１０は、上述した波線の激しさによる会話活性度の表現も含め、例えばとげとげしいムードで活発であることや、楽しいムードで穏やかである等の、会話活性度と会話ムードの両方を表現することも可能である。
また、情報処理装置１０は、例えば吹き出しによる可視化表示５２を用いる場合、会話ムードが穏やかな場合は、図２２上段に示す円形の吹き出しによる可視化表示５２ａを表示し、会話ムードがとげとげしい場合は、図２２中段に示す爆発型の吹き出しの可視化表示５２ｂを表示し、会話ムードが楽しげな場合は、図２２下段に示す星型の可視化表示５２ｃを表示する。これにより、ユーザは直感的に会話ムードを把握することができる。
（４－５－４．参加拒否表示）
また、多人数常時接続のコミュニケーションシステム１では、「特定の誰かに参加されたくない」という状況も起こり得る。本実施形態では、先にコミュニケーションを始めた参加者が明示的に３Ｄ空間に「参加拒否」の表示を示し、第三者の参入を拒否する、若しくは第三者に参加されたくない意思表示を行うことが可能である。
また、多人数常時接続のコミュニケーションシステム１では、「特定の誰かに参加されたくない」という状況も起こり得る。本実施形態では、先にコミュニケーションを始めた参加者が明示的に３Ｄ空間に「参加拒否」の表示を示し、第三者の参入を拒否する、若しくは第三者に参加されたくない意思表示を行うことが可能である。
「参加拒否」の表示は、ユーザが能動的に選択、解除することができる。また、システム側でコミュニケーション状態を把握して自動的に「参加拒否」の表示を示すことも可能である。例えば、会話から「内緒ね」「秘密だよ」といった所定のキーワードが抽出された場合に、他者の参入を拒む「参加拒否」の表示を自動的に行うようにしてもよい。
ここで、「参加拒否」の表示例を図２３および図２４を参照して説明する。図２３は、本実施形態による参加拒否表示の一例を示す図である。図示された例では、家オブジェクト２１Ｂ（図２４では家オブジェクトが簡略化して図示されている）、２１Ｃをドーム状の囲い表示６０で覆うことで、ユーザＢとユーザＣのコミュニケーションに介入しないで欲しいことを明示的に表現している。
図２４は、本実施形態による参加拒否表示の他の例を示す図である。図示された例では、家オブジェクト２１Ｂ、２１Ｃの手前側に柵表示６１を表示することで、ユーザＢとユーザＣのコミュニケーションに介入しないで欲しいことを明示的に表現している。
図２５は、本実施形態による参加拒否表示の他の例を示す図である。図示された例では、家オブジェクト２１Ｂ、２１Ｃの手前側に幕表示６２を表示すると共に、幕表示６２に禁止マーク６３を加えることで、ユーザＢとユーザＣのコミュニケーションに介入しないで欲しいことを更に明示的に表現している。
以上説明したように、本実施形態によれば、参加拒否表示を示すことで、第三者の参入を拒否する、若しくは第三者に参加されたくない意思表示を行うことが可能である。これにより、例えば本コミュニケーションシステム１において、母と娘と息子が参加する多地点常時接続を実現している場合に、例えば女性同士で話がしたいときは、息子に対して一時的に参加拒否表示をするといったユースケースが考えられる。また、本コミュニケーションシステム１において、単身赴任の父と、実家と、その祖父母が参加する多地点常時接続を実現している場合に、例えば父が息子を説教したいときは、祖父母に対して一時的に参加拒否表示をするといったユースケースも考えられる。
（４－５－５．参加要請表示）
また、多人数常時接続のコミュニケーションシステム１では、「特定の誰かに参加してほしい」という状況も起こり得る。本実施形態では、先にコミュニケーションを始めた参加者が明示的に３Ｄ空間に「参加要請」の表示を示し、第三者の参入を要請することが可能である。
また、多人数常時接続のコミュニケーションシステム１では、「特定の誰かに参加してほしい」という状況も起こり得る。本実施形態では、先にコミュニケーションを始めた参加者が明示的に３Ｄ空間に「参加要請」の表示を示し、第三者の参入を要請することが可能である。
「参加要請」の表示は、ユーザが能動的に選択、解除することができる。参加要請の表示を出しておくことで、要請された参加者が自由に参加するか否かを判断することができる。また、これにより参加率の低い参加者も参加し易くなる。
ここで、「参加要請」の表示例を図２６および図２７を参照して説明する。図２６は、本実施形態による参加要請表示の一例を示す図である。図示された例では、３Ｄ空間において、家オブジェクト２１Ｂ、２１Ｃの上空に、手招きの動きをするアイコン６４を表示することで、ユーザＢとユーザＣのコミュニケーションに参加して欲しいことを明示的に表現している。
図２７は、本実施形態による参加要請表示の他の例を示す図である。図示された例では、家オブジェクト２１Ｂ、２１Ｃの上空に、ベルが揺れて鳴っているような動きのするアイコン６５を表示することで、ユーザＢとユーザＣのコミュニケーションに参加して欲しいことを明示的に表現している。
以上説明したように、本実施形態によれば、参加要請表示を行うことで、第三者の参入を要請することが可能である。これにより、例えば本コミュニケーションシステム１において、母と娘が先に話していたが、兄がなかなか話に参加してくれない場合、兄に対して参加要請表示を行うといったユースケースが考えられる。
＜＜５．ハードウェア構成＞＞
以上、本開示の実施形態を説明した。上述した情報処理装置１０の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現されてもよい。
以上、本開示の実施形態を説明した。上述した情報処理装置１０の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現されてもよい。
図２８は、本開示に係る情報処理装置１００のハードウェア構成を示した説明図である。図２８に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インターフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。
ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置１０の空間情報取得部１０２、状態判定部１０３、空間距離制御部１０４、３Ｄ空間生成部１０６、および空間情報生成部１０８の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１４４およびＲＡＭ１４６により、情報処理システム内の記憶部１７の一部を実現する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
入力装置１５４は、情報処理装置１０のカメラ１０１１、マイク１０１２、センサ１０１３、および操作Ｉ／Ｆ１０１５を実現し、入力信号をＣＰＵ１４２に出力する入力制御回路などから構成されている。
出力装置１５６は、例えば、情報処理装置１０のディスプレイ１０９１、スピーカ１０９２、およびインジケータ１０９３を実現する。ディスプレイ１０９１の一例としては、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などが想定される。
ストレージ装置１５８は、例えば情報処理装置１０の記憶部１１０を実現するデータ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。
ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。
接続ポート１６２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。
通信装置１６４は、情報処理装置１０の通信部１０７の一例として、例えば、ネットワークに接続するための通信デバイスで構成された通信インタフェースである。また、通信装置１６４は、赤外線通信対応装置であっても、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
＜＜６．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することを可能とする。
上述したように、本開示の実施形態による情報処理システムでは、空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することを可能とする。
具体的には、壁等に設置された大型のディスプレイを窓や戸口に見立てて、３Ｄ空間を表示し、３Ｄ空間内に、複数の通信相手の映像を家等の仮想オブジェクトにはめこんで配置することで、通信相手との距離を視覚的に表現することができる。なお、壁面に設置されるディスプレイの縦横比は、実際の窓やドアで用いられている寸法に合わせて実現されてもよい。また、ディスプレイの下辺が床面付近に位置するよう配置し、３Ｄ空間の地面と地続きになっているように表示し、よりリアルに、３Ｄ空間と実空間の繋がりを表現することができる。
また、３Ｄ空間内に配置する通信相手の映像は、家等の仮想オブジェクトにはめこんで配置され、３Ｄ空間内で距離が近付いたり離れたりすると共に拡大／縮小表示されるので、等身大感は失われない。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置１０、または処理サーバ３０に内蔵されるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等のハードウェアに、情報処理装置１０、または処理サーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態では、ディスプレイ１０９１が壁に設置されている場合について説明したが、本実施形態はこれに限定されず、情報処理端末に設けられた表示部をディスプレイ１０９１として用いてもよい。また、例えば透過型または非透過型のＨＭＤ（Head Mounted Display）の表示部をディスプレイ１０９１として用いてもよい。
なおスマートフォン等の小型ディスプレイが設けられた情報処理端末を用いる場合、かかる小型ディスプレイには図３に示すような３Ｄ空間表示ではなく、画面分割して通常のビデオチャット的表示を行ってもよい。
また、上述した実施形態は、３Ｄ空間に通信相手の空間を２つ配置して三者が参加するコミュニケーションシステムを用いて説明したが、本実施形態はこれに限定されず、二者や四者以上が参加するコミュニケーションシステムであってもよい。
また、ユーザがカメラ１０１１に近過ぎてアップの映像になると、家オブジェクト２１にはめ込まれた際に等身大感が失われてしまう。この際、コミュニケーションシステム１は、例えばユーザの顔画像を切り出して過去の映像等から生成した身体画像に合成し、家オブジェクト２１にはめ込んだ際に等身大感が失われず不自然にならない映像を生成するようにしてもよい。
また、上述した実施形態では、家等の仮想オブジェクトに相手空間の映像をはめ込んでいるが、本実施形態はこれに限定されず、さらにアブストラクトに窓（相手空間の映像）が浮いているような表現にしてもよい。
また、モーションキャプチャを行って相手の動きをアバターで表示した映像を相手空間の映像として用いてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
を備える、情報処理装置。
（２）
前記生成部は、複数の前記通信先の間で発生しているコミュニケーションを前記３次元空間上で可視化する、前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記コミュニケーションの状態を可視化する、前記（２）に記載の情報処理装置。
（４）
前記生成部は、前記コミュニケーションにおける会話の活性度を算出し、活性度に応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（５）
前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記活性度を算出する、前記（４）に記載の情報処理装置。
（６）
前記生成部は、前記コミュニケーションにおける会話のムードを推定し、ムードに応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（７）
前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記ムードを推定する、前記（６）に記載の情報処理装置。
（８）
前記生成部は、前記コミュニケーションにおける会話の活性度の算出およびムードの推定を行い、活性度とムードに応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（９）
前記生成部は、前記通信先の撮像画像を、仮想オブジェクトの開口部にはめ込んで前記３次元空間上の所定の位置に配置する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記生成部は、前記３次元空間に配置された各仮想オブジェクトとの距離を、公開度に応じて制御する、前記（９）に記載の情報処理装置。
（１１）
プロセッサが、
通信先からデータを受信することと、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、
前記生成された空間画像情報を表示部に表示するよう制御することと、
を含む、情報処理方法。
（１２）
コンピュータを、
通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
として機能させるプログラム。
（１）
通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
を備える、情報処理装置。
（２）
前記生成部は、複数の前記通信先の間で発生しているコミュニケーションを前記３次元空間上で可視化する、前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記コミュニケーションの状態を可視化する、前記（２）に記載の情報処理装置。
（４）
前記生成部は、前記コミュニケーションにおける会話の活性度を算出し、活性度に応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（５）
前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記活性度を算出する、前記（４）に記載の情報処理装置。
（６）
前記生成部は、前記コミュニケーションにおける会話のムードを推定し、ムードに応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（７）
前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記ムードを推定する、前記（６）に記載の情報処理装置。
（８）
前記生成部は、前記コミュニケーションにおける会話の活性度の算出およびムードの推定を行い、活性度とムードに応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（９）
前記生成部は、前記通信先の撮像画像を、仮想オブジェクトの開口部にはめ込んで前記３次元空間上の所定の位置に配置する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記生成部は、前記３次元空間に配置された各仮想オブジェクトとの距離を、公開度に応じて制御する、前記（９）に記載の情報処理装置。
（１１）
プロセッサが、
通信先からデータを受信することと、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、
前記生成された空間画像情報を表示部に表示するよう制御することと、
を含む、情報処理方法。
（１２）
コンピュータを、
通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
として機能させるプログラム。
１ コミュニケーションシステム
１０（１０Ａ～１０Ｃ） 情報処理装置
２０ ネットワーク
３０ 処理サーバ
１０１ 入力部
１０１１ カメラ
１０１２ マイク
１０１３ センサ
１０２ 空間情報取得部
１０３ 状態判定部
１０４ 空間距離制御部
１０５ 操作Ｉ／Ｆ
１０６ ３Ｄ空間生成部
１０７ 通信部
１０８ 空間情報生成部
１０９ 出力部
１０９１ ディスプレイ
１０９２ スピーカ
１０９３ インジケータ
１１０ 記憶部
１０（１０Ａ～１０Ｃ） 情報処理装置
２０ ネットワーク
３０ 処理サーバ
１０１ 入力部
１０１１ カメラ
１０１２ マイク
１０１３ センサ
１０２ 空間情報取得部
１０３ 状態判定部
１０４ 空間距離制御部
１０５ 操作Ｉ／Ｆ
１０６ ３Ｄ空間生成部
１０７ 通信部
１０８ 空間情報生成部
１０９ 出力部
１０９１ ディスプレイ
１０９２ スピーカ
１０９３ インジケータ
１１０ 記憶部
Claims (12)
- 通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
を備える、情報処理装置。 - 前記生成部は、複数の前記通信先の間で発生しているコミュニケーションを前記３次元空間上で可視化する、請求項１に記載の情報処理装置。
- 前記生成部は、前記コミュニケーションの状態を可視化する、請求項２に記載の情報処理装置。
- 前記生成部は、前記コミュニケーションにおける会話の活性度を算出し、活性度に応じた可視化表示を行う、請求項３に記載の情報処理装置。
- 前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記活性度を算出する、請求項４に記載の情報処理装置。
- 前記生成部は、前記コミュニケーションにおける会話のムードを推定し、ムードに応じた可視化表示を行う、請求項３に記載の情報処理装置。
- 前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記ムードを推定する、請求項６に記載の情報処理装置。
- 前記生成部は、前記コミュニケーションにおける会話の活性度の算出およびムードの推定を行い、活性度とムードに応じた可視化表示を行う、請求項３に記載の情報処理装置。
- 前記生成部は、前記通信先の撮像画像を、仮想オブジェクトの開口部にはめ込んで前記３次元空間上の所定の位置に配置する、請求項１に記載の情報処理装置。
- 前記生成部は、前記３次元空間に配置された各仮想オブジェクトとの距離を、公開度に応じて制御する、請求項９に記載の情報処理装置。
- プロセッサが、
通信先からデータを受信することと、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、
前記生成された空間画像情報を表示部に表示するよう制御することと、
を含む、情報処理方法。 - コンピュータを、
通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
として機能させるプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/315,449 US10638091B2 (en) | 2016-07-28 | 2017-04-26 | Information processing device and information processing method |
| JP2018529366A JP7020411B2 (ja) | 2016-07-28 | 2017-04-26 | 情報処理装置、情報処理方法、およびプログラム |
| EP17833777.0A EP3493534B1 (en) | 2016-07-28 | 2017-04-26 | Information processing device, information processing method, and program |
| CN201780044471.4A CN109479116B (zh) | 2016-07-28 | 2017-04-26 | 信息处理设备、信息处理方法、以及存储介质 |
| US16/855,291 US11343471B2 (en) | 2016-07-28 | 2020-04-22 | Information processing device and information processing method for communication using three-dimensional space |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016148671 | 2016-07-28 | ||
| JP2016-148671 | 2016-07-28 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/315,449 A-371-Of-International US10638091B2 (en) | 2016-07-28 | 2017-04-26 | Information processing device and information processing method |
| US16/855,291 Continuation US11343471B2 (en) | 2016-07-28 | 2020-04-22 | Information processing device and information processing method for communication using three-dimensional space |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018020766A1 true WO2018020766A1 (ja) | 2018-02-01 |
Family
ID=61015822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/016544 WO2018020766A1 (ja) | 2016-07-28 | 2017-04-26 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10638091B2 (ja) |
| EP (1) | EP3493534B1 (ja) |
| JP (1) | JP7020411B2 (ja) |
| CN (1) | CN109479116B (ja) |
| WO (1) | WO2018020766A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2018168247A1 (ja) * | 2017-03-15 | 2020-01-23 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2020095714A1 (ja) * | 2018-11-09 | 2020-05-14 | ソニー株式会社 | 情報処理装置および方法、並びに、プログラム |
| WO2024075344A1 (ja) * | 2022-10-05 | 2024-04-11 | パナソニックＩｐマネジメント株式会社 | 映像出力方法、映像出力システム及びプログラム |
| WO2024080135A1 (ja) * | 2022-10-13 | 2024-04-18 | ソニーグループ株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
| WO2024084737A1 (ja) * | 2022-10-19 | 2024-04-25 | パナソニックＩｐマネジメント株式会社 | 映像出力方法、映像出力システム及びプログラム |
| WO2024084736A1 (ja) * | 2022-10-18 | 2024-04-25 | パナソニックＩｐマネジメント株式会社 | 映像出力方法、映像出力システム及びプログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6993314B2 (ja) * | 2018-11-09 | 2022-01-13 | 株式会社日立製作所 | 対話システム、装置、及びプログラム |
| US10846898B2 (en) * | 2019-03-28 | 2020-11-24 | Nanning Fugui Precision Industrial Co., Ltd. | Method and device for setting a multi-user virtual reality chat environment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002183762A (ja) * | 2000-12-15 | 2002-06-28 | Softbank Investment Kk | オブジェクト制御装置、オブジェクト制御方法およびオブジェクト制御システムならびに情報記録媒体 |
| JP2014056308A (ja) * | 2012-09-11 | 2014-03-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム、および映像コミュニケーション方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6559863B1 (en) * | 2000-02-11 | 2003-05-06 | International Business Machines Corporation | System and methodology for video conferencing and internet chatting in a cocktail party style |
| JP4576740B2 (ja) | 2001-04-02 | 2010-11-10 | ソニー株式会社 | 窓状撮像表示装置及びそれを使う双方向通信方法 |
| US6909453B2 (en) * | 2001-12-20 | 2005-06-21 | Matsushita Electric Industrial Co., Ltd. | Virtual television phone apparatus |
| JP4645355B2 (ja) | 2005-08-11 | 2011-03-09 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| CN101459857B (zh) * | 2007-12-10 | 2012-09-05 | 华为终端有限公司 | 通信终端 |
| JP5625882B2 (ja) * | 2010-03-17 | 2014-11-19 | 株式会社リコー | 情報管理装置 |
| US8963987B2 (en) * | 2010-05-27 | 2015-02-24 | Microsoft Corporation | Non-linguistic signal detection and feedback |
| US8340258B2 (en) * | 2010-07-30 | 2012-12-25 | Hewlett-Packard Development Company, L.P. | System, method and apparatus for controlling image access in a video collaboration system |
| US8675067B2 (en) * | 2011-05-04 | 2014-03-18 | Microsoft Corporation | Immersive remote conferencing |
| US9053750B2 (en) * | 2011-06-17 | 2015-06-09 | At&T Intellectual Property I, L.P. | Speaker association with a visual representation of spoken content |
| US9100544B2 (en) * | 2012-06-11 | 2015-08-04 | Intel Corporation | Providing spontaneous connection and interaction between local and remote interaction devices |
| US9425974B2 (en) * | 2012-08-15 | 2016-08-23 | Imvu, Inc. | System and method for increasing clarity and expressiveness in network communications |
| EP2713593B1 (en) * | 2012-09-28 | 2015-08-19 | Alcatel Lucent, S.A. | Immersive videoconference method and system |
| JP5833526B2 (ja) * | 2012-10-19 | 2015-12-16 | 日本電信電話株式会社 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
| KR101988279B1 (ko) * | 2013-01-07 | 2019-06-12 | 삼성전자 주식회사 | 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
| KR102050897B1 (ko) * | 2013-02-07 | 2019-12-02 | 삼성전자주식회사 | 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 |
| CN104935860A (zh) * | 2014-03-18 | 2015-09-23 | 北京三星通信技术研究有限公司 | 视频通话实现方法及装置 |
| JP6468712B2 (ja) * | 2014-03-28 | 2019-02-13 | 大和ハウス工業株式会社 | 通信ユニット |
| US9794511B1 (en) * | 2014-08-06 | 2017-10-17 | Amazon Technologies, Inc. | Automatically staged video conversations |
| JP6958360B2 (ja) * | 2015-12-11 | 2021-11-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10250848B2 (en) * | 2016-06-03 | 2019-04-02 | Avaya Inc. | Positional controlled muting |
-
2017
- 2017-04-26 EP EP17833777.0A patent/EP3493534B1/en active Active
- 2017-04-26 JP JP2018529366A patent/JP7020411B2/ja active Active
- 2017-04-26 US US16/315,449 patent/US10638091B2/en active Active
- 2017-04-26 CN CN201780044471.4A patent/CN109479116B/zh active Active
- 2017-04-26 WO PCT/JP2017/016544 patent/WO2018020766A1/ja unknown
-
2020
- 2020-04-22 US US16/855,291 patent/US11343471B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002183762A (ja) * | 2000-12-15 | 2002-06-28 | Softbank Investment Kk | オブジェクト制御装置、オブジェクト制御方法およびオブジェクト制御システムならびに情報記録媒体 |
| JP2014056308A (ja) * | 2012-09-11 | 2014-03-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム、および映像コミュニケーション方法 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3493534A4 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2018168247A1 (ja) * | 2017-03-15 | 2020-01-23 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US11244510B2 (en) | 2017-03-15 | 2022-02-08 | Sony Corporation | Information processing apparatus and method capable of flexibility setting virtual objects in a virtual space |
| JP7131542B2 (ja) | 2017-03-15 | 2022-09-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2020095714A1 (ja) * | 2018-11-09 | 2020-05-14 | ソニー株式会社 | 情報処理装置および方法、並びに、プログラム |
| CN113170023A (zh) * | 2018-11-09 | 2021-07-23 | 索尼集团公司 | 信息处理装置和方法以及程序 |
| DE112019005601T5 (de) | 2018-11-09 | 2021-07-29 | Sony Group Corporation | Informationsverarbeitungsvorrichtung und -verfahren und programm |
| US11553158B2 (en) | 2018-11-09 | 2023-01-10 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
| JP7415940B2 (ja) | 2018-11-09 | 2024-01-17 | ソニーグループ株式会社 | 情報処理装置および方法、並びに、プログラム |
| WO2024075344A1 (ja) * | 2022-10-05 | 2024-04-11 | パナソニックＩｐマネジメント株式会社 | 映像出力方法、映像出力システム及びプログラム |
| WO2024080135A1 (ja) * | 2022-10-13 | 2024-04-18 | ソニーグループ株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
| WO2024084736A1 (ja) * | 2022-10-18 | 2024-04-25 | パナソニックＩｐマネジメント株式会社 | 映像出力方法、映像出力システム及びプログラム |
| WO2024084737A1 (ja) * | 2022-10-19 | 2024-04-25 | パナソニックＩｐマネジメント株式会社 | 映像出力方法、映像出力システム及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190320143A1 (en) | 2019-10-17 |
| JPWO2018020766A1 (ja) | 2019-05-09 |
| JP7020411B2 (ja) | 2022-02-16 |
| US10638091B2 (en) | 2020-04-28 |
| EP3493534B1 (en) | 2023-04-05 |
| US20200252586A1 (en) | 2020-08-06 |
| CN109479116B (zh) | 2021-06-18 |
| CN109479116A (zh) | 2019-03-15 |
| EP3493534A1 (en) | 2019-06-05 |
| EP3493534A4 (en) | 2019-07-10 |
| US11343471B2 (en) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018020766A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6798502B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| KR102014623B1 (ko) | 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램 | |
| WO2017098780A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6165302B1 (ja) | 画像表示装置、話題選択方法、話題選択プログラム | |
| US11184362B1 (en) | Securing private audio in a virtual conference, and applications thereof | |
| JP2016045814A (ja) | 仮想現実サービス提供システム、仮想現実サービス提供方法 | |
| JP6682475B2 (ja) | 画像表示装置、話題選択方法、話題選択プログラム | |
| US11743430B2 (en) | Providing awareness of who can hear audio in a virtual conference, and applications thereof | |
| CN103533445A (zh) | 一种基于主动交互的飞翔影院播放系统 | |
| KR20220160699A (ko) | 내비게이션 가능한 아바타들이 있는 웹 기반 화상 회의 가상 환경 및 그 응용들 | |
| WO2020158440A1 (ja) | 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体 | |
| US20230412766A1 (en) | Information processing system, information processing method, and computer program | |
| Wang et al. | Co-Presence in mixed reality-mediated collaborative design space | |
| Donath | Technological interventions in everyday interaction | |
| EP4309361A1 (en) | Securing private audio in a virtual conference, and applications thereof | |
| Donath | Technological Interventions in Everyday Interaction (draft) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2018529366 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17833777 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2017833777 Country of ref document: EP Effective date: 20190228 |