WO2021117504A1 - テレプレゼンスシステム - Google Patents

テレプレゼンスシステム Download PDF

Info

Publication number
WO2021117504A1
WO2021117504A1 PCT/JP2020/044183 JP2020044183W WO2021117504A1 WO 2021117504 A1 WO2021117504 A1 WO 2021117504A1 JP 2020044183 W JP2020044183 W JP 2020044183W WO 2021117504 A1 WO2021117504 A1 WO 2021117504A1
Authority
WO
WIPO (PCT)
Prior art keywords
users
telepresence
layout
telepresence system
communication
Prior art date
Application number
PCT/JP2020/044183
Other languages
English (en)
French (fr)
Inventor
祐介 阪井
昌浩 山口
洋介 藤本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2021563850A priority Critical patent/JPWO2021117504A1/ja
Publication of WO2021117504A1 publication Critical patent/WO2021117504A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • This disclosure relates to a telepresence system, and more particularly to a telepresence system that enables better communication.
  • a telepresence system that connects distant spaces with video, audio, and other information channels, and makes it possible to connect the places and make the other person feel as if they exist. ..
  • a telepresence system when parents and children live apart, it is possible to make it appear that the living spaces of each other are connected through windows and doors. Further, when the living spaces are connected to each other by the telepresence system, the user can live while roughly grasping the state of the other space (for example, the state of the child, the state of the parent, etc.).
  • Patent Documents 1 and 2 a telepresence system capable of producing a distance from a communication partner and realizing more comfortable communication by using a three-dimensional expression for connecting spaces. Has been proposed.
  • the telepresence system as described above has various possibilities, and various ingenuity is required to enable better communication.
  • This disclosure was made in view of such a situation, and is intended to enable better communication.
  • the telepresence system of one aspect of the present disclosure includes a network connecting a plurality of bases and a plurality of telepresence devices that transmit and receive video and audio via the network and share the video and audio at each other's bases.
  • Each of the telepresence devices has a control unit that controls the arrangement of a plurality of users in a shared communication space in which users at different bases communicate with each other by selecting from a plurality of layouts.
  • the telepresence system includes a network connecting a plurality of bases and a plurality of telepresences that transmit and receive video and audio via the network and share the video and audio at each other's bases.
  • a device is provided. Then, each telepresence device is controlled to switch the arrangement of a plurality of users in a shared communication space in which users at different bases communicate with each other by selecting from a plurality of layouts.
  • FIG. 1 is a diagram showing a configuration example of an embodiment of a telepresence system to which the present technology is applied.
  • the telepresence system 11 shown in FIG. 1 is configured by connecting three bases 31-1 to 31-3 via a network 32.
  • the telepresence system 11 may be configured such that two bases 31 or three or more bases 31 are connected.
  • bases 31-1 and 31-2 are outdoor environments such as camping grounds, and are provided with telepresence devices 51-1 and 51-2, respectively.
  • the base 31-3 is an indoor environment such as an office building 71, and a telepresence device 51-3 is provided.
  • the bases 31 and the telepresence devices 51 are simply referred to, and other configurations are also referred to in the same manner.
  • a plurality of telepresence devices 51 may be provided at one base 31.
  • video and audio are transmitted and received via the network 32 by providing telepresence devices 51 having the same configuration at a plurality of bases 31.
  • video and audio are shared at each other's bases 31, and users who use the respective telepresence devices 51 can experience telepresence.
  • telepresence is realized in which users at different bases 31 interact with each other as if they were in the same place.
  • the telepresence device 51-3 of the base 31-3 provided in the office building 71 telepresences the outdoor environment (including images) of the base 31-1 or 31-2. Share with 51-1 or 51-2. Therefore, for example, a user using the telepresence device 51-3 can experience telepresence as if he / she is in an outdoor environment such as a base 31-1 or 31-2.
  • the telepresence system 11 may be configured so that video and audio are shared between indoor bases 31 or outdoor bases 31.
  • the user who uses the telepresence system 11 communicates with the user who is spatially separated from the base 31 via the network 32 as if sharing the same space. You can experience your presence.
  • a virtual space for communicating as if the users are sharing, and the entire space over the network 32 is referred to as a communication space.
  • a configuration example of the telepresence device 51 will be described with reference to FIG.
  • the telepresence device 51 includes an information processing device 91, a display device 92, a sensing unit 93, an antenna 94, and a central presentation device 95.
  • the information processing device 91 is composed of, for example, a personal computer or the like, and controls each unit constituting the telepresence device 51 to realize the telepresence in the telepresence system 11.
  • the display device 92 is composed of, for example, an LCD (Light Emitting Diode), an organic EL (Electro-Luminescence), a projector, or the like, and displays an image supplied via the information processing device 91.
  • the display device 92 displays an image captured by a user who uses another telepresence device 51 transmitted from another base 31.
  • the display device 92 has a built-in imaging unit 92a, images a user using the telepresence device 51, and transmits the image obtained by the imaging to another base 31 via the information processing device 91. Let me.
  • the display device 92 has a built-in speaker (not shown), and can output the sound transmitted from the other base 31 so that it can be heard from the position of the user who emitted the sound.
  • the sensing unit 93 senses the emotions, biological information, various states, etc. of the user who is experiencing telepresence using the telepresence system 11. Further, the sensing unit 93 senses the context of communication between a plurality of users using the telepresence system 11 and various situations. Then, the sensing unit 93 supplies the information processing device 91 with sensing information indicating the result of performing those sensing.
  • the antenna 94 is connected to the communication unit 112 (FIG. 9 described later) of the information processing device 91, and transmits / receives radio waves for wireless communication via the network 32, for example.
  • the central presentation device 95 is arranged at a position central to the communication space in the telepresence realized by the telepresence system 11.
  • the central presentation device 95 is not arranged in the realistic center of a plurality of users in one base 31, but is virtual including a plurality of users in other bases 31 displayed on the display device 92. Placed in the center of the world.
  • the dialogue is generally performed so as to face each other, and as the number of users increases, the seats are generally arranged in a circular shape.
  • a plurality of users who use the telepresence system 11 are expected to be seated when a plurality of users at different bases 31 interact with each other. That is, even if the users do not exist in the same space, it is considered that the feeling of being in a wheelchair occurs when the user interacts with each other, and the recognition of the existence of such a space or the user occurs.
  • the center of the wheelchair composed of a plurality of users at different bases 31 is generated in the vicinity of the display device 92 which is a boundary that virtually connects the respective spaces, and the central presentation device 95 Is preferably arranged in the vicinity (front) of the display device 92.
  • the central presentation device 95 makes various presentations so that all users using the telepresence system 11 share a communication space and encourage good communication.
  • the central presentation device 95 can present a virtual bonfire, for example, output an image, sound, light, heat, scent, etc. of the bonfire.
  • the base 31 where the users A to C surrounded by the alternate long and short dash line in FIG. 3 are located is also referred to as another base 31, and the base 31 where the other users D to G are located is the own base 31. Also called.
  • users A to C of the other base 31 are displayed life-size on the display device 92 of the own base 31.
  • the display device 92 uses an arc-shaped display (for example, a projector that projects an image on an arc-shaped screen) as shown by the alternate long and short dash line, so that the users A to G at the two bases 31 are present.
  • the display device 92 adopts a transmissive type or semi-transparent type display so that users A to C of the other base 31 are displayed so as to be raised, and the scenery of the own base 31 can be seen behind the display device 92. Suitable.
  • the central presentation device 95 outputs the image of the bonfire in three dimensions, and the users D to G of the own base 31 can see the bonfire from anywhere around the central presentation device 95. Further, the central presentation device 95 can output the sound, heat, light, scent, etc. that are experienced in an actual bonfire. As a result, it is possible to emphasize that users A to C and users D to G in different bases 31 share the same communication space and enhance the sense of presence.
  • the communication space can be freely viewed and returned to the communication space from a distance away from the position surrounding the central presentation device 95.
  • the central presentation device 95 is arranged so as not to be imaged by the imaging unit 92a, and is not displayed on the display device 92 of the base 31 on the other side. As a result, the user of each base 31 can feel that one bonfire presented by the central presentation device 95 of each base 31 is arranged in the center of the communication space.
  • communication can be further activated by connecting the bases 31 in remote locations and connecting the users in the respective bases 31 centering on the bonfire presented by the central presentation device 95. That is, the user who uses the telepresence system 11 can obtain an experience that enhances the creativity of a more cohesive team as if surrounding the same bonfire, and aims for multi-modal two-way communication. be able to.
  • the telepresence system 11 by using the telepresence system 11, it is possible to obtain the effect that the conversation becomes easier to bounce by arranging the bonfire in the center and surrounded by a plurality of users.
  • due to the effect of such a bonfire even in a situation where two users face each other on a one-to-one basis, it becomes easier for them to express their abilities as human beings, and as conversation progresses, psychological safety can be enhanced. ..
  • the user can be more relaxed and can communicate with a flexible idea.
  • the telepresence system 11 for example, even with a colleague who works in a remote place, it is possible to immediately achieve intimate communication without worrying about the hierarchical relationship.
  • the telepresence system 11 implements functions such as sign-in by face recognition using the user's image captured by the imaging unit 92a, device control by voice recognition, and device cooperation using a terminal such as a so-called smartphone. be able to.
  • bases 31-1 and 31-2 such as a campground and bases 31-3 such as an office building 71 can always be connected via a network 32. Then, in the telepresence system 11, the connection condition and display balance between the bases 31 are adjusted so that the users of the other bases 31 are displayed in life size at each base 31. Further, in the telepresence system 11, the arrangement of the imaging unit 92a of each base 31 is designed so that the lines of sight of the users match each other in the communication space.
  • users A to E at two bases 31 experience telepresence sharing a communication space so as to surround a round table 97 on which the central presentation device 95 is placed.
  • the central presentation device 95 may be configured by a mechanism that rotates at the center of the round table type table 97, a mechanism that raises from the inside of the round table type table 97, or the like.
  • personal computers 96A to E are arranged on a round table type table 97 for each user A to E.
  • the base 31 where one of the users A to C, which is separated by the alternate long and short dash line in FIG. 4, is also referred to as the other base 31, and the base 31 where the other users D and E are located is self. Also referred to as base 31.
  • the layout (hereinafter referred to as the round table layout) in which the users A to E are arranged so as to surround the central presentation device 95 provided in the center of the round table type table 97 by using the telepresence system 11.
  • the users A to C and users D and E in different bases 31 can communicate with each other.
  • the central presentation device 95 by displaying the information shared by all users on the central presentation device 95, the central presentation device is used as a means for sharing information like a whiteboard used in a general conference, for example. 95 can be used.
  • the telepresence system 11 can be used, for example, so that all the users participating in the conference are facing each other at the same time and the information displayed on the central presentation device 95 is visually recognized and shared. it can.
  • the telepresence system 11 can be used such that information that each user sees personally is displayed on the personal computer 96, and information that should be shared by all users is displayed on the central presentation device 95. For example, by making the central presentation device 95 rotatable, each user can easily write or browse information.
  • the telepresence system 11 when information is not shared by the central presentation device 95, a plurality of images of a bonfire as described above may be displayed or other purposeless images may be displayed. Users can work while sharing those videos.
  • the round table type table 97 is a space shared for interaction by a plurality of users, for example, a work space. Further, the round table type table 97 is a space in which the user of each base 31 can work, and the round table type table 97 of the other base 31 is continuous so that the own base 31 and the other base 31 are continuous. It is displayed on the display device 92 of the own base 31. In addition, by presenting the same vibration on the round table 97 of each base 31, it is emphasized that even users at different bases 31 share the same communication space, and the sense of presence is enhanced. Can be done.
  • the central presentation device 95 at each base 31 presents common contents, and physically presents them fairly from multiple viewpoints or in a time-division manner so that they can be shared by all users at each base 31. I do. Further, as the central presentation device 95, in addition to using a stereoscopic display that can be viewed from a plurality of angles, a projector that projects an image stereoscopically or the like can be used.
  • the central presentation device 95 in the communication space is arranged equidistant from a plurality of users.
  • the distance between adjacent users in the communication space is approximately equal. It is preferable that the user is placed at a position that becomes the apex of the square. In addition, it is preferable that the arrangement is made so as to be substantially evenly spaced even for users who have a diagonal positional relationship.
  • the central presentation device 95 is preferably arranged at the center of gravity of a figure formed by the outer shape of a straight line connecting the users A to F surrounding the central presentation device 95 in the communication space, and is equidistant from each of the users A to F. Is. With such a sense of distance, users A to F can achieve better communication.
  • B in FIG. 5 shows the arrangement of users when seven users A to G use the telepresence system 11, and the users are located at the vertices of a regular heptagon. It is preferably arranged. Then, the central presentation device 95 is arranged so as to be equidistant from each of the users A to G.
  • the personal space of users A to D (for example, within reach) is represented by a broken line.
  • the central presentation device 95 is arranged on the boundary of the personal spaces of the users A to D, and the distances such that the personal spaces of adjacent users overlap in the communication space. It is a feeling. With such a sense of distance, users A to D can achieve better communication.
  • the distances between users are the distant phase of individual distance in proximity science (for example, the distance at which the other person can be touched by hand: 0.75 to 1.2 m) and the close phase of social distance (for example).
  • the distance between the users is set to be about 1 to 2 m, or set to a distance longer than that. Therefore, the telepresence system 11 is optimally used for communication in which about 6 to 8 people surround the central presentation device 95.
  • the ratio of the area where the plurality of bases 31 occupy the communication space can be changed.
  • the area occupied by the first base 31 is indicated by the white arrow.
  • the area occupied by the second base 31 can be set.
  • the first base 31 and the second base 31 and the second base are moved by moving the division (two-dot chain line) between the area occupied by the first base 31 and the area occupied by the second base 31. 31 can change the proportion of the area that occupies the communication space.
  • the ratio of the area occupied by the first base 31, the second base 31, and the third base 31 can be changed.
  • the telepresence system 11 can change the ratio of the area occupied by each base 31 according to the number of users in a plurality of bases 31. That is, the telepresence system 11 can be changed so that as the number of users in a certain base 31 increases, the proportion of the area occupied by the base 31 in the communication space increases.
  • the ratio of the area for displaying each image is dynamically changed. can do.
  • FIG. 7 shows a state in which the images of users A to C at the three other bases 31 are displayed on the display device 92 of the own base 31. Although not shown, it is assumed that the user is also present at the own base 31 as shown in FIG.
  • the images of users A to C of each of the other bases 31 are set to be displayed evenly. Then, in the telepresence system 11, for example, the ratio of the area for displaying each image is dynamically changed so that the image of the user of the other base 31 who is talking more is displayed in a large size.
  • the round table type table 97 (FIG. 4) of the other base 31 is fixed. It is displayed on the display device 92 so as to be. Alternatively, the round table type table 97 of the other base 31 may be displayed on the display device 92 so as to be changed according to the ratio of the area for displaying the image of the user of each other base 31. ..
  • the image after cropping is displayed so as to be vertically long. At this time, the image is not enlarged or reduced so that the life-size (actual size) display is maintained. Further, the image may be moved laterally along the circumference. Further, the arrangement of the images of the users of the other bases 31 may be dynamically changed. Further, only the area in which the user is photographed may be cut out and combined with a common background.
  • the layout can be switched.
  • FIG. 8 shows a state in which the round table layout in which the user surrounds the round table type table 97-1 is viewed from above. Further, on the lower side of FIG. 8, a layout (hereinafter referred to as an alignment layout) arranged so that users are aligned at one end and both sides of a long desk type table 97-2 used in a general meeting is shown above. The state seen from is shown.
  • an alignment layout a layout (hereinafter referred to as an alignment layout) arranged so that users are aligned at one end and both sides of a long desk type table 97-2 used in a general meeting is shown above. The state seen from is shown.
  • users A to J at the two bases 31 communicate so as to surround the round table 97-1 or to be aligned along the long table 97-2. You can experience the telepresence of sharing a space. Further, although not shown in FIG. 8, personal computers 96A to 96J are arranged for each user A to J as shown in FIG.
  • the base 31 where one of the users A to E, which is separated by the alternate long and short dash line in FIG. 8, is also referred to as the other base 31, and the base 31 where the other users F to J are located is self. Also referred to as base 31.
  • the round table layout is selected. For example, in the case of a round table layout, users A to E of the other base 31 and users F to J of the own base 31 are arranged along the round table type table 97-1 so as to surround the central presentation device 95 in the center. Will be done.
  • the round table layout is suitable for sharing visions and is more useful when used by teams with no upper limit or with 6 or more users.
  • the aligned layout is selected.
  • the users A and B of the other base 31, the users H and J of the own base 31, and the users D and E of the other base 31 and the users F and G of the own base 31 are long desk type. It is arranged so as to face each other along both sides of the table 97-2, and the user C is arranged at one end of the long desk type table 97-2.
  • an aligned layout is suitable for efficiency.
  • switching between the round table layout and the aligned layout is performed in terms of hardware by changing the arrangement of the round table type table 97-1 and the long desk type table 97-2 prepared at each base 31. be able to.
  • it is virtually performed by changing the display (representation of the user interface) of the round table type table 97-1 and the long desk type table 97-2 on the image of the other base 31 displayed on the display device 92. Can be done.
  • the arrangement may be randomly changed.
  • the round table layout is based on the sensing information (user's emotions, biological information, various states, etc., communication context, various situations, etc.) obtained by sensing by the sensing unit 93. You can switch between the aligned layout.
  • the telepresence system 11 recognizes the context and determines switching from the user's actions, utterances, nods, body movements, etc., synchronizes biological information between users (breathing, heartbeat, brain waves, prosody), and smiles. It is possible to judge the switching based on the degree of. For example, when the degree of smiles of relaxed and grouped users increases, it is judged that the atmosphere has become a communication atmosphere, and the round table layout is started. In addition, if the degree of smile of the user is reduced during a meeting or a meeting in the aligned layout, it is judged that communication needs to be smooth, and the layout is switched to the round table layout.
  • the sensing unit 93 may target all users in the communication space for sensing, and may, for example, target the facilitator who facilitates the discussion. Then, when a certain number of those users or the state of a specific user exceeds a preset threshold value, it is determined that communication is active or in a creative state. , You can switch the layout.
  • the layout may be switched based on a preset scenario (meeting progress program, etc.).
  • the telepresence system 11 when switching the layout, for example, by changing the height of the line of sight of the user at each base 31, the environment becomes visually different from usual, and the user can change his / her mood. Can be planned.
  • the height of the line of sight may be changed by switching the position of the chair used in the telepresence system 11 to a normal position in the aligned layout and a low position in the round table layout.
  • the viewpoint at which the imaging unit 92a performs imaging may be lowered. In this way, by combining the change of the line of sight with the switching of the layout, it is possible to make the connection between the users at different bases 31 more efficient.
  • the telepresence system 11 can recognize users who have more intimate communication by using, for example, face authentication and smile determination. In addition, by using voice recognition, it is possible to mine words or sentences used in meetings and meetings (for example, analyze the frequency and number of times a word appears). Further, the telepresence system 11 can be provided with a function of analyzing a base 31 where conversations are frequently exchanged, a base 31 where conversations are few, and the like.
  • the layout can be easily switched by using camping equipment, and a space of a new concept can be created.
  • the telepresence system 11 has an aligned layout shown at the lower side of FIG. 8, and is suitable for a situation where, for example, user C gives a presentation in which information is unilaterally presented to the entire communication space. ..
  • the round table layout shown on the upper side of FIG. 8 is suitable for a situation in which all users A to J in the communication space have a discussion or discourse to talk with each other and co-create.
  • the facilitator also a mere speaker
  • a user interface in which the central presenter 95 presents to clearly indicate which user is the facilitator may be used. ..
  • the telepresence system 11 can use a layout that is used in situations where people simply relax or gather, without even aiming for communication.
  • a user interface for instructing the layout switching is presented so that the user changes the arrangement of the round table type table 97-1 and the long desk type table 97-2. You may do it.
  • a mechanism may be introduced in which the round table type table 97-1 and the long desk type table 97-2 are automatically changed.
  • the telepresence system 11 provides the facilitator with optimal auxiliary information so that it can be deformed into a specific desired shape. The user may change the shape of the table at the instruction.
  • a chair whose height is changed by power from a drive unit may be used, or the user may change the height of the chair at the instruction of the facilitator.
  • the round table type or long desk type can be easily changed depending on the combination of parts, and these layouts can be switched. be able to.
  • Other layouts include a layout in which two users have face-to-face conversations, a layout in which four users have a dialogue around a round table, and four to five users have a dialogue on the inside as a representative, and the outside is A layout that surrounds a large number of users and a layout in which about 10 users form a circle and perform brainstorming can be considered.
  • the facilitator sets a rough layout pattern in advance according to the scale of the number of users, the type of facilitation method to be performed, and the like, and based on the recognition of the context in the telepresence system 11. ,
  • the layout can be controlled so that it is automatically optimized from those patterns.
  • the user at each base 31 surrounds the round table type or long desk type table 97 as the user's recognition through the display device 92 and the device such as VR (Virtual Reality) goggles. Or, visual information or acoustic information (for example, layout adjustment of the sound source position) that changes the height of the user's line of sight may be presented.
  • VR Virtual Reality
  • acoustic information for example, layout adjustment of the sound source position
  • FIG. 9 is a block diagram showing a configuration example of the telepresence device 51.
  • the telepresence device 51 includes an information processing device 91, a display device 92, a sensing unit 93, an antenna 94, and a central presentation device 95.
  • the information processing device 91 includes a control unit 111, a communication unit 112, and a storage unit 113.
  • the control unit 111 is a telepresence device 51 using various programs and data stored in a storage unit 113 composed of a processor, a memory, and the like, and is composed of an HDD (Hard Disc Drive), an SSD (Solid State Drive), and the like. Controls the overall operation of. Further, the control unit 111 communicates through the network 32 via the communication unit 112, and transmits / receives information to / from the telepresence device 51 of another base 31.
  • a storage unit 113 composed of a processor, a memory, and the like
  • an HDD Hard Disc Drive
  • SSD Solid State Drive
  • the control unit 111 supplies the video to the display device 92 for display. , Output sound from a speaker (not shown).
  • control unit 111 supplies the video captured by the imaging unit 92a of the display device 92 and the sound collected by the microphone (not shown) to the communication unit 112 and transmits the sound to the telepresence device 51 of another base 31. .. Further, the control unit 111 can share the sensing information supplied from the sensing unit 93 with the telepresence device 51 of another base 31.
  • the central presentation device 95 includes a video output unit 121, an acoustic output unit 122, a light emitting / radiating unit 123, and a scent output unit 124.
  • the video output unit 121 outputs a three-dimensional image so that it can be visually recognized from anywhere around the central presentation device 95, and the sound output unit 122 produces sound that matches the image output by the video output unit 121. Is output.
  • the light emitting / radiating unit 123 outputs light and heat
  • the scent output unit 124 outputs the scent in accordance with the image output by the video output unit 121.
  • the images of the users A to C of the other base 31 are displayed on the display device 92, and the communication shared with the users D to G of the own base 31 is displayed.
  • the central presentation device 95 is arranged in the center of the space. Then, the control unit 111 outputs the image of the bonfire by the image output unit 121, the sound output of the bonfire by the sound output unit 12, the light emission and heat generation output of the bonfire by the light emitting and radiating unit 123, and the scent of the bonfire by the scent output unit 124. Control the output of.
  • the control unit 111 selects whether to make the layout of the communication space a round table layout or an aligned layout as described above with reference to FIG. 8, and sets the layout of the selected one. Take control.
  • control unit 111 controls so that the round table type table 97 is used in the round table layout and the long desk type table 97-2 is used in the aligned layout. Further, when switching between the layouts, the control unit 111 changes the height of the line of sight of the user at each base 31, and the user in the round table layout rather than the line of sight of the user in the aligned layout. Control so that the line of sight of is low.
  • ⁇ Telepresence processing> The telepresence process executed by the telepresence device 51 will be described with reference to the flowchart of FIG. Note that this process is premised on the premise that communication between the telepresence devices 51 that intend to mutually realize the telepresence process has been established.
  • step S11 the control unit 111 receives the video transmitted from the telepresence device 51 of the other base 31 via the communication unit 112, and displays the video on the display device 92. At the same time, the control unit 111 transmits the image captured by the imaging unit 92a to the telepresence device 51 of another base 31 via the communication unit 112.
  • step S12 the sensing unit 93 senses the user of the own base 31, and supplies the sensing information indicating the sensing result to the control unit 111. Then, the control unit 111 shares the sensing information with the control unit 111 of the other base 31.
  • step S13 the control unit 111 controls the output of the video to the video output unit 121 of the central presentation device 95, and for example, the video output unit 121 controls to output the video of the bonfire.
  • step S14 the control unit 111 controls the sound output to the sound output unit 122 of the central presentation device 95, for example, the sound output unit 122 is controlled to output the sound of the bonfire.
  • step S15 the control unit 111 controls the light emission and heat dissipation output to the light emission and heat dissipation unit 123 of the central presentation device 95, and controls, for example, the light emission and heat dissipation unit 123 to output the light and heat of the bonfire.
  • step S16 the control unit 111 controls the output of the scent to the scent output unit 124 of the central presentation device 95, and for example, the scent output unit 124 controls to output the scent of the bonfire.
  • step S17 the control unit 111 determines whether or not the end of the process is instructed, and if not, the process returns to step S11. That is, the processes of steps S11 to S17 are repeated until the end is instructed.
  • step S17 when it is determined that the end is instructed, the process ends.
  • the telepresence device 51 performs presentation for promoting communication by the central presentation device 95 arranged in the center of the communication space, for example, outputs a bonfire image, sound, light, heat, and scent. can do.
  • the telepresence device 51 can share a communication space that surrounds a bonfire among users at different bases 31, and can achieve better communication.
  • the layout selection process in the telepresence process executed by the telepresence device 51 will be described with reference to the flowchart of FIG. Note that this process is premised on the premise that communication between the telepresence devices 51 that intend to mutually realize the telepresence process has been established.
  • steps S21 and S22 the same processing as in steps S11 and S12 of FIG. 10 is performed.
  • step S23 the control unit 111 selects a round table layout or an aligned layout as the layout of the communication space based on the sensing information supplied from the sensing unit 93 in step S22. For example, the control unit 111 selects the round table layout when it is necessary to perform relaxed communication based on the user's emotions, biological information, various states, etc., or the communication context and various situations. If you need to communicate intensively, choose an aligned layout.
  • step S24 the control unit 111 determines whether the layout selected in step S23 is a round table layout or an aligned layout.
  • step S24 determines in step S24 that the round table layout has been selected
  • the process proceeds to step S25, and control for the round table layout is performed. That is, as shown in the upper side of FIG. 8, the control unit 111 uses a round table type table 97-1 and controls to arrange the user so as to surround the central presentation device 95 at the center thereof.
  • step S24 determines in step S24 that the alignment layout has been selected
  • the process proceeds to step S26, and control for the alignment layout is performed. That is, as shown on the lower side of FIG. 8, the control unit 111 uses a long desk type table 97-2 and controls to arrange users so as to be aligned along the long desk type table 97-2. I do.
  • step S27 the control unit 111 determines whether or not the end of the process is instructed, and if not, the process returns to step S21. That is, the processes of steps S21 to S27 are repeated until the end is instructed.
  • step S27 when it is determined that the end is instructed, the process ends.
  • the telepresence device 51 can switch between the round table layout and the aligned layout based on the sensing information, so that users in different bases 31 can communicate better with each other.
  • FIG. 12 shows a configuration example of a general-purpose computer.
  • This personal computer has a built-in CPU (Central Processing Unit) 1001.
  • the input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 composed of input devices such as a keyboard and a mouse for which the user inputs operation commands, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, a program, and various data.
  • a storage unit 1008 consisting of a hard disk drive or the like for storing, a LAN (Local Area Network) adapter or the like, and a communication unit 1009 for executing communication processing via a network represented by the Internet are connected.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)
  • optical magnetic disks including MD (Mini Disc)
  • a drive 1010 that reads and writes data to and from a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data and the like necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-described series. Is processed.
  • the program executed by the computer (CPU1001) can be recorded and provided on the removable storage medium 1011 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable storage medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a network that connects multiple bases and It is equipped with a plurality of telepresence devices that transmit and receive video and audio via the network and share the video and audio at each other's bases.
  • Each of the telepresence devices is a telepresence system having a control unit that controls the arrangement of a plurality of users in a shared communication space in which users at different bases communicate with each other by selecting from a plurality of layouts.
  • the first layout is arranged at a position surrounded by a plurality of users so that the presentation device is in the center.
  • the telepresence system according to (2) above wherein in the communication space, a second layout arranged at a position where a plurality of users are arranged facing each other can be switched.
  • Each of the telepresence devices further includes a sensing unit that senses the emotion or biometric information of an individual user or the context of communication by a plurality of users.
  • the control unit controls switching of the layout based on the sensing information obtained by sensing by the sensing unit.
  • the telepresence system according to (4) above wherein the control unit selects the first layout when it determines that it is necessary to perform relaxed communication based on the sensing information.
  • the telepresence according to (4) or (5) above selects the second layout when the control unit determines that it is necessary to perform concentrated communication based on the sensing information. system.
  • the control unit controls so that a round table type table is used in the first layout and a long desk type table is used in the second layout. Any one of the above (3) to (6).
  • (8) The telepresence system according to any one of (3) to (7) above, wherein the control unit changes the height of the line of sight of a user at each of the bases when switching the layout.
  • 11 Telepresence system 31 bases, 32 networks, 51 telepresence devices, 71 office buildings, 91 information processing devices, 92 display devices, 93 sensing units, 94 antennas, 95 central presentation devices, 96 personal computers 96, 97 tables, 111 Control unit, 112 communication unit, 113 storage unit, 121 video output unit, 122 sound output unit, 123 light emitting and radiating unit, 124 fragrance output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、より良好なコミュニケーションを図ることができるようにするテレプレゼンスシステムに関する。 テレプレゼンスシステムは、複数の拠点を接続するネットワークと、ネットワークを介して映像および音声を送受信して、互いの拠点で映像および音声を共有する複数のテレプレゼンス装置とを備える。そして、それぞれのテレプレゼンス装置は、異なる拠点のユーザどうしがコミュニケーションを図る共有のコミュニケーション空間における複数のユーザの配置を、複数のレイアウトの中から選択して切り替える制御を行う。本技術は、例えば、テレプレゼンスシステムに適用できる。

Description

テレプレゼンスシステム
　本開示は、テレプレゼンスシステムに関し、特に、より良好なコミュニケーションを図ることができるようにしたテレプレゼンスシステムに関する。
　従来、離れた空間どうしを映像・音声・その他の情報チャンネルによって接続し、あたかもその場所がつながって相手が存在しているように感じさせることを可能とするテレプレゼンスシステムの開発が行われている。
　例えば、テレプレゼンスシステムでは、親と子供が離れて暮らしている際に、互いのリビング空間が窓やドアを介してつながっているように見せることを可能とする。また、テレプレゼンスシステムによって互いのリビング空間が接続する場合、ユーザは、相手空間の様子（例えば、子供の様子、親の様子等）を大まかに把握しながら生活することができる。
　例えば、特許文献１および２に開示されているように、空間のつながりに３次元的表現を用いることで通信相手との距離を演出し、より快適なコミュニケーションを実現することが可能なテレプレゼンスシステムが提案されている。
国際公開第２０１７／０９８７７２号 国際公開第２０１７／０９８７８０号
　ところで、上述したようなテレプレゼンスシステムには、様々な可能性があり、より良好なコミュニケーションを図れるようにする様々な工夫が必要とされている。
　本開示は、このような状況に鑑みてなされたものであり、より良好なコミュニケーションを図ることができるようにするものである。
　本開示の一側面のテレプレゼンスシステムは、複数の拠点を接続するネットワークと、前記ネットワークを介して映像および音声を送受信して、互いの拠点で映像および音声を共有する複数のテレプレゼンス装置とを備え、それぞれの前記テレプレゼンス装置は、異なる拠点のユーザどうしがコミュニケーションを図る共有のコミュニケーション空間における複数のユーザの配置を、複数のレイアウトの中から選択して切り替える制御を行う制御部を有する。
　本開示の一側面においては、テレプレゼンスシステムには、複数の拠点を接続するネットワークと、前記ネットワークを介して映像および音声を送受信して、互いの拠点で映像および音声を共有する複数のテレプレゼンス装置とが備えられる。そして、それぞれのテレプレゼンス装置は、異なる拠点のユーザどうしがコミュニケーションを図る共有のコミュニケーション空間における複数のユーザの配置が、複数のレイアウトの中から選択して切り替える制御が行われる。
本技術を適用したテレプレゼンスシステムの一実施の形態の構成例を示す図である。 テレプレゼンス装置の構成例を示す図である。 コミュニケーション空間における第１のシチュエーションを説明する図である。 コミュニケーション空間における第２のシチュエーションを説明する図である。 コミュニケーション空間におけるユーザどうしの距離感の設定について説明する図である。 複数の拠点がコミュニケーション空間を占有する領域の割合の変更について説明する図である。 複数の他拠の映像を表示する領域の割合の変更について説明する図である。 レイアウトの切り替えについて説明する図である。 テレプレゼンス装置の構成例を示すブロック図である。 テレプレゼンス処理を説明するフローチャートである。 レイアウト切り替え処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜テレプレゼンスシステムの構成例＞
　図１は、本技術を適用したテレプレゼンスシステムの一実施の形態の構成例を示す図である。
　図１に示すテレプレゼンスシステム１１は、３カ所の拠点３１－１乃至３１－３がネットワーク３２を介して接続されて構成される。なお、テレプレゼンスシステム１１は、２カ所の拠点３１、または、３カ所以上の拠点３１が接続されるような構成でもよい。
　例えば、拠点３１－１および３１－２は、キャンピング場などのような屋外の環境であり、それぞれテレプレゼンス装置５１－１および５１－２が設けられている。また、拠点３１－３は、オフィスビル７１などのような屋内の環境であり、テレプレゼンス装置５１－３が設けられている。なお、拠点３１－１乃至３１－３およびテレプレゼンス装置５１－１乃至５１－３を区別する必要がない場合、単に、拠点３１およびテレプレゼンス装置５１と称し、その他の構成についても同様に称する。また、１カ所の拠点３１に複数のテレプレゼンス装置５１が設けられていてもよい。
　そして、テレプレゼンスシステム１１では、複数の拠点３１に、同様に構成されたテレプレゼンス装置５１を設け、ネットワーク３２を介して映像および音声を送受信する。これにより、互いの拠点３１で映像および音声が共有され、それぞれのテレプレゼンス装置５１を利用するユーザどうしがテレプレゼンスを体験することができる。例えば、あたかも同じ場所にいるように、異なる拠点３１に居るユーザどうしが対話するようなテレプレゼンスが実現される。
　また、テレプレゼンスシステム１１では、オフィスビル７１に設けられた拠点３１－３のテレプレゼンス装置５１－３は、拠点３１－１または３１－２の屋外の環境（映像などを含む）をテレプレゼンス装置５１－１または５１－２と共有する。従って、例えば、テレプレゼンス装置５１－３を利用しているユーザは、拠点３１－１または３１－２のような屋外の環境に居るかのようなテレプレゼンスを体験することができる。その他、テレプレゼンスシステム１１は、屋内どうしの拠点３１、または、屋外どうしの拠点３１で映像および音声が共有されるように構成してもよい。
　このように、テレプレゼンスシステム１１を利用するユーザは、ネットワーク３２を介して空間的に離れた拠点３１に居るユーザとの間で、あたかも同じ空間を共有してコミュニケーションを図っているかのようなテレプレゼンスを体験することができる。以下、適宜、テレプレゼンスシステム１１で実現されるテレプレゼンスにおいて、ユーザどうしが共有しているかのようにコミュニケーションを図る仮想的な空間であって、ネットワーク３２越しの全体的な空間を、コミュニケーション空間と称する。
　図２を参照して、テレプレゼンス装置５１の構成例について説明する。
　図２に示すように、テレプレゼンス装置５１は、情報処理装置９１、表示装置９２、センシング部９３、アンテナ９４、および中央提示装置９５を備えて構成される。
　情報処理装置９１は、例えば、パーソナルコンピュータなどからなり、テレプレゼンス装置５１を構成する各部に対する制御を行って、テレプレゼンスシステム１１におけるテレプレゼンスを実現する。
　表示装置９２は、例えば、LCD（Light Emitting Diode）や、有機EL（Electro-Luminescence）、プロジェクタなどにより構成され、情報処理装置９１を介して供給される映像を表示する。例えば、表示装置９２は、他の拠点３１から送信されてくる他のテレプレゼンス装置５１を利用するユーザが撮像された映像を表示する。さらに、表示装置９２は、撮像部９２ａを内蔵しており、テレプレゼンス装置５１を利用するユーザを撮像して、その撮像により得られる映像を、情報処理装置９１を介して他の拠点３１へ送信させる。なお、表示装置９２は、図示しないスピーカーを内蔵しており、他の拠点３１から送信されてくる音声を、その音声を発したユーザの位置から聞こえるように出力することができる。
　センシング部９３は、テレプレゼンスシステム１１を利用してテレプレゼンスを体験しているユーザの感情や生体情報、各種の状態などをセンシングする。また、センシング部９３は、テレプレゼンスシステム１１を利用した複数のユーザどうしのコミュニケーションのコンテキストや各種の状況などをセンシングする。そして、センシング部９３は、それらのセンシングを行った結果を示すセンシング情報を情報処理装置９１に供給する。
　アンテナ９４は、情報処理装置９１の通信部１１２（後述の図９）に接続されており、例えば、ネットワーク３２を介した無線通信を行うための電波を送受信する。
　中央提示装置９５は、テレプレゼンスシステム１１で実現されるテレプレゼンスにおけるコミュニケーション空間の中央となる位置に配置される。例えば、中央提示装置９５は、１つの拠点３１にいる複数のユーザの現実的な中央に配置されるのではなく、表示装置９２に表示される他の拠点３１にいる複数のユーザも含めた仮想的な中央に配置される。
　例えば、複数のユーザが対話する際には、互いに向かい合うように対話が行われ、人数が増えるのに従って次第に、ユーザが円形に配置されるような車座になるのが一般的である。テレプレゼンスシステム１１を利用する複数のユーザも同様に、異なる拠点３１にいる複数のユーザが対話する際には、車座になることが想定される。即ち、ユーザどうしが同じ空間に存在しなくても、対話する際には車座になるという感覚が発生し、そのような空間やユーザの存在の認知が発生すると考えられる。そして、テレプレゼンスシステム１１では、異なる拠点３１にいる複数のユーザからなる車座の中央は、それぞれの空間を仮想的に繋ぐ境界となる表示装置９２の近傍に発生することになり、中央提示装置９５は、表示装置９２の近傍（前方）に配置することが好ましい。
　そして、中央提示装置９５は、テレプレゼンスシステム１１を利用している全体のユーザが、コミュニケーション空間を共有して良好なコミュニケーションを促すような各種の提示を行う。例えば、中央提示装置９５は、仮想的な焚き火を提示すること、例えば、焚き火の映像や音響、光、熱、香りなどを出力することができる。
　図３を参照して、テレプレゼンスシステム１１により実現されるコミュニケーション空間における第１のシチュエーションについて説明する。
　図３に示すように、例えば、中央提示装置９５により提示される焚き火を中央に、２つの拠点３１に居るユーザＡ乃至Ｇは、距離を超えて１つの焚き火を囲んでいるかのようにコミュニケーション空間を共有するテレプレゼンスを体験することができる。
　ここでは、ユーザＡ乃至Ｇのうち、図３において二点鎖線で囲われているユーザＡ乃至Ｃが居る拠点３１を他拠点３１とも称し、その他のユーザＤ乃至Ｇが居る拠点３１を自拠点３１とも称する。例えば、他拠点３１のユーザＡ乃至Ｃは、自拠点３１の表示装置９２に等身大に表示される。このとき、表示装置９２は、二点鎖線で図示するような円弧形状のディスプレイ（例えば、円弧形状のスクリーンに映像を投影するプロジェクタなど）を用いることで、２つの拠点３１に居るユーザＡ乃至Ｇが、中央にある中央提示装置９５を囲むようなコミュニケーション空間を作り出すことができる。また、表示装置９２は、透過型または半透過型のディスプレイを採用し、他拠点３１のユーザＡ乃至Ｃが浮き上がるように表示され、その背後に自拠点３１の風景が見えるようにすることがより好適である。
　また、中央提示装置９５は、焚き火の映像を立体的に出力し、自拠点３１のユーザＤ乃至Ｇは、中央提示装置９５の周囲のどこからでも焚き火を見ることができる。さらに、中央提示装置９５は、実際の焚き火で体験されるような音響や、熱、光、香りなどを出力することができる。これにより、異なる拠点３１に居るユーザＡ乃至ＣとユーザＤ乃至Ｇとの間で、同じコミュニケーション空間を共有していることを強調し、臨場感を高めることができる。
　また、図３に示すユーザＧのように、中央提示装置９５を囲うような位置から離れて遠くからコミュニケーション空間を眺めたり、コミュニケーション空間に戻ったりすることを自由に行うことができる。
　なお、中央提示装置９５は、撮像部９２ａにより撮像されないように配置され、互いに相手側の拠点３１の表示装置９２には表示されない。これにより、それぞれの拠点３１のユーザは、各自の拠点３１の中央提示装置９５により提示される１つの焚き火がコミュニケーション空間の中央に配置されているように感じることができる。
　このように、中央提示装置９５により提示される焚き火を中心として、遠隔地の拠点３１どうしを繋げるとともに、それぞれの拠点３１にいるユーザどうしを繋げることによって、よりコミュニケーションを活発化することができる。即ち、テレプレゼンスシステム１１を利用するユーザは、あたかも同じ焚き火を囲んでいるような感覚で、より結束したチームとしての創造性を高めるような体験を得ることができ、マルチモーダルな双方向コミュニケーションを図ることができる。
　つまり、テレプレゼンスシステム１１を利用することで、焚き火を中央にして複数のユーザが囲む配置になることにより会話が弾みやすくなるという効果を得ることができる。また、このような焚き火による効果によって、２人のユーザが一対一で向かいあうような状況であっても人間としての素を出しやすくなり、会話が進むとともに、心理的な安全性を高めることができる。さらに、焚き火の熱や光、香りを感じすことで、ユーザは、よりリラックスすることができ、柔軟な発想でコミュニケーションを図ることができる。
　また、テレプレゼンスシステム１１を利用することで、例えば、離れた場所で働くような同僚とでも、上下関係などを気にすることなく、すぐに親密なコミュニケーションを図ることができる。このとき、例えば、従来あるような一般的な会議システムでは、ユーザが緊張して円滑なコミュニケーションを図ることができないと想定されるが、テレプレゼンスシステム１１では、よりリラックスしたコミュニケーションを図ることができる。
　なお、テレプレゼンスシステム１１では、撮像部９２ａにより撮像されるユーザの画像を用いた顔認証によるサインインや、音声認識による機器制御、いわゆるスマートフォンなどの端末を利用した機器連携などの機能を実装することができる。
　また、テレプレゼンスシステム１１では、キャンピング場などの拠点３１－１および３１－２と、オフィスビル７１などの拠点３１－３とを、ネットワーク３２を介して常時接続することができる。そして、テレプレゼンスシステム１１では、それぞれの拠点３１において、他の拠点３１のユーザが等身大で表示されるように、拠点３１どうしのつながり具合や表示バランスなどが調整される。さらに、テレプレゼンスシステム１１では、コミュニケーション空間においてユーザどうしの視線が合うように、それぞれの拠点３１の撮像部９２ａの配置が設計される。
　図４を参照して、テレプレゼンスシステム１１により実現されるコミュニケーション空間における第２のシチュエーションについて説明する。
　図４に示すように、例えば、中央提示装置９５が載置される円卓型のテーブル９７を囲うように、２つの拠点３１に居るユーザＡ乃至Ｅは、コミュニケーション空間を共有するテレプレゼンスを体験することができる。例えば、中央提示装置９５は、円卓型のテーブル９７の中央で回転するような機構や、円卓型のテーブル９７の内部から上昇するような機構などで構成されていてもよい。また、テレプレゼンスシステム１１では、ユーザＡ乃至Ｅごとに、円卓型のテーブル９７上にパーソナルコンピュータ９６Ａ乃至Ｅが配置されている。
　ここでは、ユーザＡ乃至Ｅのうち、図４において二点鎖線で区切られている一方のユーザＡ乃至Ｃが居る拠点３１を他拠点３１とも称し、他方のユーザＤおよびＥが居る拠点３１を自拠点３１とも称する。
　このように、テレプレゼンスシステム１１を利用して、円卓型のテーブル９７の中央に設けられた中央提示装置９５を囲うようにユーザＡ乃至Ｅが配置されるレイアウト（以下、円卓レイアウトと称する）となるコミュニケーション空間において、異なる拠点３１に居るユーザＡ乃至ＣとユーザＤおよびＥとの間で、コミュニケーションを図ることができる。
　例えば、テレプレゼンスシステム１１において円卓レイアウトのテレプレゼンスを利用することで、会話やアイデア出しなどがスムーズとなり、会議などの打ち合わせを良好に行うことができる。さらに、円卓レイアウトの会議では、ユーザは、より主体的に会議に参加するようになる効果がある。
　また、テレプレゼンスシステム１１では、全員のユーザにより共有される情報を中央提示装置９５に表示することで、例えば、一般的な会議で用いられるホワイトボードのように情報を共有する手段として中央提示装置９５を利用することができる。これにより、テレプレゼンスシステム１１は、例えば、会議に参加している全員のユーザが同時に向かい合っていて、かつ、中央提示装置９５に表示される情報を視認して共有するような使い方をすることができる。
　例えば、テレプレゼンスシステム１１は、各ユーザが個人的に見る情報はパーソナルコンピュータ９６に表示し、全てのユーザで共有すべき情報は中央提示装置９５に表示するような使い方をすることができる。例えば、中央提示装置９５を回転可能にすることで、それぞれのユーザは、情報の書き込みまたは閲覧を容易に行うことができる。なお、テレプレゼンスシステム１１では、中央提示装置９５により情報の共有が行われない場合には、上述したような焚き火の映像を表示したり、その他の無目的の映像を表示したりして、複数のユーザで、それらの映像を共有しながら仕事を行うことができる。
　ここで、円卓型のテーブル９７は、複数のユーザによるインタラクション用に共有されるスペースであり、例えば、作業用のスペースである。また、円卓型のテーブル９７は、それぞれの拠点３１のユーザが作業可能なスペースであって、自拠点３１と他拠点３１とで連続しているように、他拠点３１の円卓型のテーブル９７が自拠点３１の表示装置９２に表示される。また、それぞれの拠点３１の円卓型のテーブル９７において同じ振動を提示することによって、異なる拠点３１に居るユーザであっても、同じコミュニケーション空間を共有していることが強調され、臨場感を高めることができる。
　また、それぞれの拠点３１にある中央提示装置９５は、共通の内容を提示し、それぞれの拠点３１に居る全てのユーザによって共有可能となるように、物理的に多視点または時分割で公平な提示を行う。また、中央提示装置９５は、複数の角度から見ることができる立体ディスプレイを用いる他、立体的に映像を投影するプロジェクタなどを用いることができる。
　また、テレプレゼンスシステム１１では、コミュニケーション空間における中央提示装置９５が、複数のユーザから等距離に配置されることが望ましい。
　図５を参照して、テレプレゼンスシステム１１により実現されるコミュニケーション空間における距離感の設定について説明する。
　例えば、図５のＡに示すように、６人のユーザＡ乃至Ｆがテレプレゼンスシステム１１を利用する場合、コミュニケーション空間において隣り合う位置関係のユーザどうしの距離が略等間隔となるように、正六角形の頂点となる位置にユーザが配置されることが好ましい。また、対角となる位置関係のユーザに対しても略等間隔となるような配置とすることが好ましい。
　そして、中央提示装置９５は、コミュニケーション空間において中央提示装置９５を囲っているユーザＡ乃至Ｆを結ぶ直線の外形からなる図形の重心に配置され、ユーザＡ乃至Ｆそれぞれから等距離となることが好適である。このような距離感とすることで、ユーザＡ乃至Ｆは、より良好なコミュニケーションを図ることができる。
　図５のＢには、図５のＡと同様に、７人のユーザＡ乃至Ｇがテレプレゼンスシステム１１利用する場合におけるユーザの配置が示されており、正七角形の頂点となる位置にユーザが配置されることが好ましい。そして、ユーザＡ乃至Ｇそれぞれから等距離となるように中央提示装置９５が配置される。
　また、図５のＣでは、ユーザＡ乃至Ｄのパーソナルスペース（例えば、手の届く範囲）が破線で表されている。図５のＣに示すように、テレプレゼンスシステム１１では、ユーザＡ乃至Ｄそれぞれのパーソナルスペースの境界上に中央提示装置９５が配置され、コミュニケーション空間において隣り合うユーザどうしのパーソナルスペースが重なるような距離感となっている。このような距離感とすることで、ユーザＡ乃至Ｄは、より良好なコミュニケーションを図ることができる。
　ここで、テレプレゼンスシステム１１では、ユーザどうしの距離は、近接学における個体距離の遠方相（例えば、手で相手を触れることができる距離：0.75～1.2ｍ）と、社会距離の近接相（例えば、対面する相手に手は届かないが容易に会話ができる距離：1.2～2ｍ）との間に設定することが好適である。具体的には、テレプレゼンスシステム１１では、ユーザどうしの距離は、１～２ｍ程度に感じるように設定したり、それ以上の距離に設定したりすることが好ましい。従って、テレプレゼンスシステム１１は、６～８人程度で中央提示装置９５を囲むようなコミュニケーションに用いるのが最適である。
　また、図６を参照して説明するように、テレプレゼンスシステム１１では、複数の拠点３１がコミュニケーション空間を占有する領域の割合を変更することができる。
　例えば、図６のＡに示すように、第１の拠点３１および第２の拠点３１によりコミュニケーション空間が実現される場合、白抜きの矢印で表すように、第１の拠点３１が占有さする領域と、第２の拠点３１が占有する領域とを設定することができる。そして、テレプレゼンスシステム１１では、第１の拠点３１が占有する領域と第２の拠点３１が占有する領域との区切り（二点鎖線）を動かすことで、第１の拠点３１および第２の拠点３１が、コミュニケーション空間を占有する領域の割合を変更することができる。
　同様に、図６のＢに示すように、第１の拠点３１、第２の拠点３１、および第３の拠点３１が、コミュニケーション空間を占有する領域の割合を変更することができる。
　例えば、テレプレゼンスシステム１１は、複数の拠点３１に居るユーザの人数に応じて、それぞれの拠点３１がコミュニケーション空間を占有する領域の割合を変更することができる。つまり、テレプレゼンスシステム１１は、ある拠点３１に居るユーザの人数が多くなると、その拠点３１がコミュニケーション空間を占有する領域の割合が大きくなるように変更することができる。
　また、図７を参照して説明するように、テレプレゼンスシステム１１では、複数の他拠点３１の映像を表示装置９２に表示する際に、それぞれの映像を表示する領域の割合を動的に変更することができる。
　図７には、３つの他拠点３１に居るユーザＡ乃至Ｃの映像が、自拠点３１の表示装置９２に表示されている状態が示されている。なお、図示しないが、図３に示したように、自拠点３１にもユーザが居るものとする。
　例えば、図７の上側に示すように、テレプレゼンスシステム１１の初期状態では、それぞれの他拠点３１のユーザＡ乃至Ｃの映像は、均等に表示されるように設定されている。そして、テレプレゼンスシステム１１では、例えば、より多く話している他拠点３１のユーザの映像が大きく表示されるように、それぞれの映像を表示する領域の割合が動的に変更される。
　例えば、ユーザＣが話をしている場合には、図７の下側に示すように、ユーザＣの映像を表示する領域が、ユーザＡおよびＢの映像を表示する領域よりも大きくなるように、それぞれの領域の割合が自動的に変更される。その後、ユーザＣが話し終わると、図７の上側に示すように、ユーザＡ乃至Ｃの映像が均等に戻るように自動的に表示される。
　このように映像を表示するユーザインタフェースにおいて、それぞれの他拠点３１のユーザの映像を表示する領域の割合が変更される際に、他拠点３１の円卓型のテーブル９７（図４）は固定的となるように表示装置９２に表示される。または、それぞれの他拠点３１のユーザの映像を表示する領域の割合が変更されるのに応じて、他拠点３１の円卓型のテーブル９７も変更されるように表示装置９２に表示してもよい。
　また、それぞれの他拠点３１のユーザの映像を表示する領域の割合の変更に応じて、映像をクロップする必要がある場合には、クロップ後の映像が縦長となるように表示される。このとき、等身大（実寸大）の表示が維持されるように、映像の拡大または縮小は行われない。さらに、円周上を沿うように横方向に映像を移動させてもよい。また、それぞれの他拠点３１のユーザの映像の配置を動的に変更してもよい。また、ユーザが写されている領域だけを切り出して、共通の背景に合成してもよい。
　また、図８を参照して説明するように、テレプレゼンスシステム１１では、レイアウトを切り替えることができる。
　図８の上側には、図４に示したように、円卓型のテーブル９７－１をユーザが囲うように配置される円卓レイアウトを上から見た状態が示されている。また、図８の下側には、一般的な会議で用いられる長机型のテーブル９７－２の一端および両側にユーザが整列するように配置されるレイアウト（以下、整列レイアウトと称する）を上から見た状態が示されている。
　図８に示すように、２つの拠点３１に居るユーザＡ乃至Ｊは、円卓型のテーブル９７－１を囲うように、または、長机型のテーブル９７－２に沿って整列するように、コミュニケーション空間を共有するテレプレゼンスを体験することができる。また、図８では図示しないが、図４に示したのと同様に、ユーザＡ乃至Ｊごとにパーソナルコンピュータ９６Ａ乃至９６Ｊが配置されている。
　ここでは、ユーザＡ乃至Ｊのうち、図８において二点鎖線で区切られている一方のユーザＡ乃至Ｅが居る拠点３１を他拠点３１とも称し、他方のユーザＦ乃至Ｊが居る拠点３１を自拠点３１とも称する。
　そして、テレプレゼンスシステム１１では、センシング情報に基づいてリラックスしたコミュニケーションを行うことが必要であると判断した場合には、円卓レイアウトが選択される。例えば、円卓レイアウトの場合、他拠点３１のユーザＡ乃至Ｅと自拠点３１のユーザＦ乃至Ｊとが、中央提示装置９５を中央にして囲うように、円卓型のテーブル９７－１に沿って配置される。例えば、円卓レイアウトは、ビジョンの共有を行うのに適しており、上限関係のないチームや６人以上のユーザで利用する際に、より有益である。
　一方、テレプレゼンスシステム１１では、集中したコミュニケーションを行うことが必要であると判断した場合には、整列レイアウトが選択される。例えば、整列レイアウトの場合、他拠点３１のユーザＡおよびＢ並びに自拠点３１のユーザＨおよびＪと、他拠点３１のユーザＤおよびＥ並びに自拠点３１のユーザＦおよびＧとが、長机型のテーブル９７－２の両側に沿って向かい合うように配置され、ユーザＣが長机型のテーブル９７－２の一方の端部に配置される。例えば、整列レイアウトは、効率を求めるのに適している。
　例えば、円卓レイアウトと整列レイアウトとの切り替えは、それぞれの拠点３１で用意されている、円卓型のテーブル９７－１および長机型のテーブル９７－２の配置を変更することでハードウェア的に行うことができる。または、表示装置９２に表示される他拠点３１の映像上で円卓型のテーブル９７－１および長机型のテーブル９７－２の表示（ユーザインタフェースの表現）を変更することで仮想的に行うことができる。また、それぞれのユーザの位置を囲みから整列に変更する際に、ランダムに配置を変更してもよい。
　そして、テレプレゼンスシステム１１では、センシング部９３によるセンシングにより得られたセンシング情報（ユーザの感情や生体情報、各種の状態など、または、コミュニケーションのコンテキストや各種の状況など）に基づいて、円卓レイアウトと整列レイアウトとを切り替えることができる。
　例えば、テレプレゼンスシステム１１では、コンテキストを認識して、ユーザの行動や発話、うなずき、体動などから切り替えを判断したり、ユーザ間の生体情報の同期（呼吸・心拍・脳波・韻律）や笑顔の度合いなどに基づいて切り替えを判断したりすることができる。例えば、リラックスして団らんしているユーザの笑顔の度合いが増加すると、コミュニケーションを図る雰囲気となってきたと判断し、円卓レイアウトが開始される。また、整列レイアウトで会議や打ち合わせが行われているときにユーザの笑顔の度合いが低減すると、コミュニケーションを円滑にする必要があると判断し、円卓レイアウトに切り替えられる。
　また、センシング部９３は、コミュニケーション空間の全てのユーザをセンシングの対象とする他、例えば、ディスカッションの進行役となるファシリテータをセンシングの対象としてもよい。そして、それらのユーザの内の一定数、または、特定のユーザの状態が、予め設定されている閾値を超えた場合に、コミュニケーションが盛り上がっている、または、創造的な状態にあると判断して、レイアウトを切り替えることができる。
　なお、予め設定されているシナリオ（会議の進行プログラムなど）に基づいて、レイアウトを切り替えるようにしてもよい。
　このように、テレプレゼンスシステム１１が円卓レイアウトと整列レイアウトとを切り替える機能を備えることで、会議や打ち合わせなどに参加する全てのユーザが議題に対して主体的に楽しんで参加することができ、より発想が豊かになるようにすることができる。また、それぞれの拠点３１に居るユーザどうしで、同じコミュニケーション空間で会議や打ち合わせなどに参加しているという認識を強くすることができる。
　さらに、テレプレゼンスシステム１１では、レイアウトを切り替える際に、例えば、それぞれの拠点３１に居るユーザの視線の高さを変化させることで、視覚的に普段とは違った環境となり、ユーザは気分転換を図ることができる。例えば、テレプレゼンスシステム１１で用いる椅子のポジションを、整列レイアウトでは通常ポジションとなり、円卓レイアウトではローポジションとなるように切り替えることで、視線の高さを変化させてもよい。このとき、他拠点３１側においては、撮像部９２ａによる撮像を行う視点を低くしてもよい。このように、レイアウトの切り替えに視線の変化を組み合わせることで、異なる拠点３１に居るユーザどうしのつながりをより効率良くすることができる。
　なお、テレプレゼンスシステム１１では、例えば、顔認証や笑顔判定などを利用することで、より親密なコミュニケーションが取れているユーザを認識することができる。また、音声認識を利用することで、会議や打ち合わせなどで用いられている言葉または文章をマイニング（例えば、単語が出現する頻度や回数などの解析）することができる。さらに、テレプレゼンスシステム１１は、会話が頻繁に交わされる拠点３１や、会話の少ない拠点３１などの分析を行う機能を備えることができる。
　また、テレプレゼンスシステム１１を利用して円卓レイアウトと整列レイアウトとを切り替えることで、例えば、それぞれのレイアウトの会議室などを用意するような場合と比較して、より省スペースとすることができる。また、テレプレゼンスシステム１１では、例えば、キャンプ用品を用いることで容易にレイアウトを切り替えることができ、新しい概念のスペースを創出することができる。
　ここで、テレプレゼンスシステム１１は、図８の下側に示す整列レイアウトで、例えば、ユーザＣが、コミュニケーション空間の全体に対して一方的に情報を提示するようなプレゼンテーションを行うシチュエーションに適している。
　また、図８の上側に示す円卓レイアウトは、コミュニケーション空間に居る全員のユーザＡ乃至Ｊで互いに会話するようなディスカッションまたは談話を行って、共創するようなシチュエーションに適している。この場合、例えば、ファシリテータ（また、単なる発話者）が移っていくことになるが、どのユーザがファシリテータであるかを明示するように中央提示装置９５による提示が行われるユーザインタフェースを用いてもよい。
　その他、テレプレゼンスシステム１１は、コミュニケーションすらも目的とせずに、単にリラックスするだけや団らんするだけのシチュエーションで利用するレイアウトを用いることができる。
　なお、これらのレイアウトを切り替える方法としては、例えば、レイアウトの切り替えを指示するユーザインタフェースを提示し、ユーザが、円卓型のテーブル９７－１および長机型のテーブル９７－２の配置を変更するようにしてもよい。その他、円卓型のテーブル９７－１および長机型のテーブル９７－２の変更が自動的に行われるような仕組みを導入してもよい。例えば、メカニカルに変形をするテーブルを用いて駆動部による動力でテーブルの形状を変更する他、テレプレゼンスシステム１１では、特定の望ましい形状に変形させるように最適な補助情報をファシリテータに与え、ファシリテータの指示で、ユーザがテーブルの形状を変更してもよい。同様に、ユーザの視線の高さを変化させるために、例えば、駆動部による動力で高さが変化するチェアを用いる他、ファシリテータの指示で、ユーザがチェアの高さを変更してもよい。
　また、例えば、あらかじめ規格化された寸法による共通設計の複数のパーツを組み合わせて構成されるテーブルを用い、パーツの組み合わせによって円卓型または長机型の形態を簡易に変更し、これらのレイアウトを切り替えることができる。その他のレイアウトとして、２人ずつのユーザにより対面会話を行うレイアウト、４人ずつのユーザで丸テーブルを囲んで対話するレイアウト、４～５人のユーザが代表として内側で対話を行い、その外側を多数のユーザで囲むようなレイアウト、１０人程度のユーザで円形になってブレストを行うレイアウトなどが考えられる。そして、それらのレイアウトを、ユーザの人数規模や、実施するファシリテーション手法の種類などに応じて、あらかじめファシリテータが大枠のレイアウトのパターンを設定しておき、テレプレゼンスシステム１１におけるコンテキストの認識に基づいて、それらのパターンの中から自動で最適化されるようにレイアウトの制御を行うことができる。
　ここで、テレプレゼンスシステム１１では、表示装置９２や、VR（Virtual Reality）ゴーグルなどの装置を通じたユーザの認知として、それぞれの拠点３１のユーザで円卓型または長机型のテーブル９７を囲んでいるような、または、ユーザの視線の高さが変化するような視覚情報や音響情報（例えば、音源位置のレイアウト調整）を提示してもよい。これにより、ユーザの感覚として、最適な相互空間およびユーザ配置となるテレプレゼンスを提供することができる。
　＜テレプレゼンス装置の構成例＞
　次に、図９は、テレプレゼンス装置５１の構成例を示すブロック図である。
　図９に示すように、テレプレゼンス装置５１は、情報処理装置９１、表示装置９２、センシング部９３、アンテナ９４、および中央提示装置９５を備えて構成される。そして、情報処理装置９１は、制御部１１１、通信部１１２、および記憶部１１３を備えている。
　制御部１１１は、プロセッサやメモリなどからなり、HDD（Hard Disc Drive）やSSD（Solid State Drive）などから構成される記憶部１１３に記憶された各種のプログラムやデータを利用してテレプレゼンス装置５１の動作の全体を制御する。また、制御部１１１は、通信部１１２を介して、ネットワーク３２を通じた通信を行い、他の拠点３１のテレプレゼンス装置５１との間で情報を送受信する。
　例えば、テレプレゼンス装置５１では、他の拠点３１のテレプレゼンス装置５１から送信されてくる映像および音声を通信部１１２が受信すると、制御部１１１は、その映像を表示装置９２に供給して表示させ、図示しないスピーカーから音声を出力させる。
　そして、制御部１１１は、表示装置９２の撮像部９２ａにより撮像された映像、および、図示しないマイクが集音した音声を通信部１１２に供給し、他の拠点３１のテレプレゼンス装置５１へ送信させる。また、制御部１１１は、センシング部９３から供給されるセンシング情報を、他の拠点３１のテレプレゼンス装置５１との間で共有することができる。
　中央提示装置９５は、映像出力部１２１、音響出力部１２２、発光放熱部１２３、および、香り出力部１２４を備えて構成される。映像出力部１２１は、中央提示装置９５の周囲のどこからでも視認することができるように立体的な映像を出力し、音響出力部１２２は、映像出力部１２１により出力されている映像に合わせた音響を出力する。同様に、映像出力部１２１により出力されている映像に合わせて、発光放熱部１２３が光および熱を出力し、香り出力部１２４が香りを出力する。
　例えば、テレプレゼンス装置５１では、図３を参照して説明したように、他拠点３１のユーザＡ乃至Ｃの映像を表示装置９２に表示し、自拠点３１のユーザＤ乃至Ｇとともに共有されるコミュニケーション空間の中央に中央提示装置９５が配置される。そして、制御部１１１が、映像出力部１２１による焚き火の映像の出力、音響出力部１２による焚き火の音響の出力、発光放熱部１２３による焚き火の発光および発熱の出力、香り出力部１２４による焚き火の香りの出力を制御する。
　さらに、テレプレゼンス装置５１では、他拠点３１のセンシング部９３によりユーザＡ乃至Ｃがセンシングされるとともに、自拠点３１のセンシング部９３によりユーザＤ乃至Ｇがセンシングされ、それらのセンシング情報が共有される。そして、制御部１１１は、センシング情報に基づいて、図８を参照して上述したように、コミュニケーション空間のレイアウトを円卓レイアウトおよび整列レイアウトのどちらにするか選択し、その選択した方のレイアウトとする制御を行う。
　また、制御部１１１は、図８を参照して説明したように、円卓レイアウトでは円卓型のテーブル９７が用いられ、整列レイアウトでは長机型のテーブル９７－２が用いられるように制御を行う。また、制御部１１１は、それらのレイアウトを切り替える際に、それぞれの拠点３１に居るユーザの視線の高さを変化させ、整列レイアウトであるときのユーザの視線よりも、円卓レイアウトであるときのユーザの視線が低くなるように制御を行う。
　＜テレプレゼンス処理＞
　図１０のフローチャートを参照して、テレプレゼンス装置５１において実行されるテレプレゼンス処理について説明する。なお、この処理は、テレプレゼンス処理を相互に実現しようとするテレプレゼンス装置５１どうしの通信が事前に確立されていることが前提とされる。
　ステップＳ１１において、制御部１１１は、通信部１１２を介して他の拠点３１のテレプレゼンス装置５１から送信されてくる映像を受信し、その映像を表示装置９２に表示させる。それと並行して、制御部１１１は、撮像部９２ａにより撮像された映像を、通信部１１２を介して他の拠点３１のテレプレゼンス装置５１へ送信する。
　ステップＳ１２において、センシング部９３は、自拠点３１のユーザをセンシングし、そのセンシングの結果を示すセンシング情報を制御部１１１に供給する。そして、制御部１１１は、他拠点３１の制御部１１１との間でセンシング情報を共有する。
　ステップＳ１３において、制御部１１１は、中央提示装置９５の映像出力部１２１に対する映像の出力を制御し、例えば、映像出力部１２１が焚き火の映像を出力するように制御する。
　ステップＳ１４において、制御部１１１は、中央提示装置９５の音響出力部１２２に対する音響の出力を制御し、例えば、音響出力部１２２が焚き火の音響を出力するように制御する。
　ステップＳ１５において、制御部１１１は、中央提示装置９５の発光放熱部１２３に対する発光および放熱の出力を制御し、例えば、発光放熱部１２３が焚き火の光および熱を出力するように制御する。
　ステップＳ１６において、制御部１１１は、中央提示装置９５の香り出力部１２４に対する香りの出力を制御し、例えば、香り出力部１２４が焚き火の香りを出力するように制御する。
　ステップＳ１７において、制御部１１１は、処理の終了が指示されたか否かを判定し、指示されていない場合、処理は、ステップＳ１１に戻る。すなわち、終了が指示されるまで、ステップＳ１１乃至Ｓ１７の処理が繰り返される。
　そして、ステップＳ１７において、終了が指示されたと判定された場合、処理は、終了する。
　以上のように、テレプレゼンス装置５１は、コミュニケーション空間の中央に配置される中央提示装置９５によってコミュニケーションを促すための提示を行うこと、例えば、焚き火の映像、音響、光、熱、および香りを出力することができる。これにより、テレプレゼンス装置５１は、異なる拠点３１に居るユーザどうしで、例えば、焚き火を囲うようなコミュニケーション空間を共有することができ、より良好なコミュニケーションを図ることができる。
　図１１のフローチャートを参照して、テレプレゼンス装置５１において実行されるテレプレゼンス処理におけるレイアウト選択処理について説明する。なお、この処理は、テレプレゼンス処理を相互に実現しようとするテレプレゼンス装置５１どうしの通信が事前に確立されていることが前提とされる。
　ステップＳ２１およびＳ２２において、図１０のステップＳ１１およびＳ１２と同様の処理が行われる。
　ステップＳ２３において、制御部１１１は、ステップＳ２２でセンシング部９３から供給されるセンシング情報に基づいて、コミュニケーション空間のレイアウトとして円卓レイアウトまたは整列レイアウトを選択する。例えば、制御部１１１は、ユーザの感情や生体情報、各種の状態など、または、コミュニケーションのコンテキストや各種の状況などに基づいて、リラックスしたコミュニケーションを行うことが必要である場合、円卓レイアウトを選択し、集中したコミュニケーションを行うことが必要である場合、整列レイアウトを選択する。
　ステップＳ２４において、制御部１１１は、ステップＳ２３で選択されたレイアウトが、円卓レイアウトおよび整列レイアウトのどちらであるかを判定する。
　ステップＳ２４において、制御部１１１が、円卓レイアウトが選択されたと判定した場合、処理はステップＳ２５に進み、円卓レイアウトとする制御が行われる。即ち、制御部１１１は、図８の上側に示したように、円卓型のテーブル９７－１が用いられ、その中央の中央提示装置９５を囲うようにユーザを配置させる制御を行う。
　一方、ステップＳ２４において、制御部１１１が、整列レイアウトが選択されたと判定した場合、処理はステップＳ２６に進み、整列レイアウトとする制御が行われる。即ち、制御部１１１は、図８の下側に示したように、長机型のテーブル９７－２が用いられ、長机型のテーブル９７－２に沿って整列するようにユーザを配置させる制御を行う。
　ステップＳ２７において、制御部１１１は、処理の終了が指示されたか否かを判定し、指示されていない場合、処理は、ステップＳ２１に戻る。すなわち、終了が指示されるまで、ステップＳ２１乃至Ｓ２７の処理が繰り返される。
　そして、ステップＳ２７において、終了が指示されたと判定された場合、処理は、終了する。
　以上のように、テレプレゼンス装置５１は、センシング情報に基づいて、円卓レイアウトと整列レイアウトとを切り替えることで、異なる拠点３１に居るユーザどうしで、より良好なコミュニケーションを図ることができる。
　＜ソフトウェアにより実行させる例＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１２は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図１２におけるCPU１００１が、図９の制御部１１１の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の拠点を接続するネットワークと、
　前記ネットワークを介して映像および音声を送受信して、互いの拠点で映像および音声を共有する複数のテレプレゼンス装置と
　を備え、
　それぞれの前記テレプレゼンス装置は、異なる拠点のユーザどうしがコミュニケーションを図る共有のコミュニケーション空間における複数のユーザの配置を、複数のレイアウトの中から選択して切り替える制御を行う制御部を有する
　テレプレゼンスシステム。
（２）
　それぞれの前記テレプレゼンス装置は、異なる拠点のユーザによるコミュニケーションを促すための提示を行う提示装置をさらに有する
　上記（１）に記載のテレプレゼンスシステム。
（３）
　前記レイアウトとして、
　　前記コミュニケーション空間において、前記提示装置が中央となるように複数のユーザが囲う位置に配置される第１のレイアウトと、
　　前記コミュニケーション空間において、複数のユーザが向かい合って整列する位置に配置される第２のレイアウトと
　が切り替えられる
　上記（２）に記載のテレプレゼンスシステム。
（４）
　それぞれの前記テレプレゼンス装置は、個々のユーザの感情または生体情報、或いは、複数のユーザによるコミュニケーションのコンテキストをセンシングするセンシング部をさらに有し、
　前記制御部は、前記センシング部によるセンシングにより得られたセンシング情報に基づいて、前記レイアウトを切り替える制御を行う
　上記（３）に記載のテレプレゼンスシステム。
（５）
　前記制御部は、前記センシング情報に基づいて、リラックスしたコミュニケーションを行うことが必要であると判断した場合には、前記第１のレイアウトを選択する
　上記（４）に記載のテレプレゼンスシステム。
（６）
　前記制御部は、前記センシング情報に基づいて、集中したコミュニケーションを行うことが必要であると判断した場合には、前記第２のレイアウトを選択する
　上記（４）または（５）に記載のテレプレゼンスシステム。
（７）
　前記制御部は、前記第１のレイアウトでは円卓型のテーブルが用いられ、前記第２のレイアウトでは長机型のテーブルが用いられるように制御を行う
　上記（３）から（６）までのいずれかに記載のテレプレゼンスシステム。
（８）
　前記制御部は、前記レイアウトを切り替える際に、それぞれの前記拠点に居るユーザの視線の高さを変化させる
　上記（３）から（７）までのいずれかに記載のテレプレゼンスシステム。
（９）
　前記制御部は、前記第２のレイアウトであるときのユーザの視線よりも、前記第１のレイアウトであるときのユーザの視線が低くなるように制御を行う
　上記（８）に記載のテレプレゼンスシステム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　テレプレゼンスシステム，　３１　拠点，　３２　ネットワーク，　５１　テレプレゼンス装置，　７１　オフィスビル，　９１　情報処理装置，　９２　表示装置，　９３　センシング部，　９４　アンテナ，　９５　中央提示装置，　９６　パーソナルコンピュータ９６，　９７　テーブル，　１１１　制御部，　１１２　通信部，　１１３　記憶部，　１２１　映像出力部，　１２２　音響出力部，　１２３　発光放熱部，　１２４　香り出力部

Claims (9)

  1. 　複数の拠点を接続するネットワークと、
    　前記ネットワークを介して映像および音声を送受信して、互いの拠点で映像および音声を共有する複数のテレプレゼンス装置と
    　を備え、
    　それぞれの前記テレプレゼンス装置は、異なる拠点のユーザどうしがコミュニケーションを図る共有のコミュニケーション空間における複数のユーザの配置を、複数のレイアウトの中から選択して切り替える制御を行う制御部を有する
    　テレプレゼンスシステム。
  2. 　それぞれの前記テレプレゼンス装置は、異なる拠点のユーザによるコミュニケーションを促すための提示を行う提示装置をさらに有する
    　請求項１に記載のテレプレゼンスシステム。
  3. 　前記レイアウトとして、
    　　前記コミュニケーション空間において、前記提示装置が中央となるように複数のユーザが囲う位置に配置される第１のレイアウトと、
    　　前記コミュニケーション空間において、複数のユーザが向かい合って整列する位置に配置される第２のレイアウトと
    　が切り替えられる
    　請求項２に記載のテレプレゼンスシステム。
  4. 　それぞれの前記テレプレゼンス装置は、個々のユーザの感情または生体情報、或いは、複数のユーザによるコミュニケーションのコンテキストをセンシングするセンシング部をさらに有し、
    　前記制御部は、前記センシング部によるセンシングにより得られたセンシング情報に基づいて、前記レイアウトを切り替える制御を行う
    　請求項３に記載のテレプレゼンスシステム。
  5. 　前記制御部は、前記センシング情報に基づいて、リラックスしたコミュニケーションを行うことが必要であると判断した場合には、前記第１のレイアウトを選択する
    　請求項４に記載のテレプレゼンスシステム。
  6. 　前記制御部は、前記センシング情報に基づいて、集中したコミュニケーションを行うことが必要であると判断した場合には、前記第２のレイアウトを選択する
    　請求項４に記載のテレプレゼンスシステム。
  7. 　前記制御部は、前記第１のレイアウトでは円卓型のテーブルが用いられ、前記第２のレイアウトでは長机型のテーブルが用いられるように制御を行う
    　請求項３に記載のテレプレゼンスシステム。
  8. 　前記制御部は、前記レイアウトを切り替える際に、それぞれの前記拠点に居るユーザの視線の高さが変化するように制御を行う
    　請求項３に記載のテレプレゼンスシステム。
  9. 　前記制御部は、前記第２のレイアウトであるときのユーザの視線よりも、前記第１のレイアウトであるときのユーザの視線が低くなるように制御を行う
    　請求項８に記載のテレプレゼンスシステム。
PCT/JP2020/044183 2019-12-13 2020-11-27 テレプレゼンスシステム WO2021117504A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021563850A JPWO2021117504A1 (ja) 2019-12-13 2020-11-27

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-225444 2019-12-13
JP2019225444 2019-12-13

Publications (1)

Publication Number Publication Date
WO2021117504A1 true WO2021117504A1 (ja) 2021-06-17

Family

ID=76330187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044183 WO2021117504A1 (ja) 2019-12-13 2020-11-27 テレプレゼンスシステム

Country Status (2)

Country Link
JP (1) JPWO2021117504A1 (ja)
WO (1) WO2021117504A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
JP2001339799A (ja) * 2000-05-29 2001-12-07 Alpine Electronics Inc 仮想会議装置
JP2007274463A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 遠隔会議装置
JP2009239762A (ja) * 2008-03-28 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> テレビ会議システム、テレビ会議方法
JP2017022661A (ja) * 2015-07-14 2017-01-26 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
JP2001339799A (ja) * 2000-05-29 2001-12-07 Alpine Electronics Inc 仮想会議装置
JP2007274463A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 遠隔会議装置
JP2009239762A (ja) * 2008-03-28 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> テレビ会議システム、テレビ会議方法
JP2017022661A (ja) * 2015-07-14 2017-01-26 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
JPWO2021117504A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
CN115698818B (zh) 会话管理器
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
CN1849628A (zh) 三维虚拟空间模拟器、三维虚拟空间模拟程序及其计算机可读取的记录媒体
US11184362B1 (en) Securing private audio in a virtual conference, and applications thereof
US9438859B2 (en) Method and device for controlling a conference
US20220407902A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
Steptoe et al. Acting rehearsal in collaborative multimodal mixed reality environments
US20230353710A1 (en) Providing awareness of who can hear audio in a virtual conference, and applications thereof
US10700883B2 (en) Method and apparatus for teleconferencing with multiple participants
Ursu et al. Orchestration: Tv-like mixing grammars applied to video-communication for social groups
US20240087236A1 (en) Navigating a virtual camera to a video avatar in a three-dimensional virtual environment, and applications thereof
WO2021117504A1 (ja) テレプレゼンスシステム
WO2021117503A1 (ja) テレプレゼンスシステム
US11700354B1 (en) Resituating avatars in a virtual environment
Cohen et al. Requirements and design considerations for a fully immersive robotic telepresence system
US11107286B2 (en) Synchronized effects for multi-user mixed reality experiences
Villegas et al. The Owl: Virtual Teleportation Through XR
US12010153B1 (en) Method and apparatus for displaying video feeds in an online meeting user interface in a manner that visually distinguishes a first subset of participants from a second subset of participants
Izumi et al. Practical use of a remote movable avatar robot with an immersive interface for seniors
US11741664B1 (en) Resituating virtual cameras and avatars in a virtual environment
US11748939B1 (en) Selecting a point to navigate video avatars in a three-dimensional environment
US11979448B1 (en) Systems and methods for creating interactive shared playgrounds
WO2022190917A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US20240007593A1 (en) Session transfer in a virtual videoconferencing environment
US20240031531A1 (en) Two-dimensional view of a presentation in a three-dimensional videoconferencing environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20898134

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563850

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20898134

Country of ref document: EP

Kind code of ref document: A1