WO2022113307A1 - データ処理装置、データ処理方法およびデータ処理プログラム - Google Patents

データ処理装置、データ処理方法およびデータ処理プログラム Download PDF

Info

Publication number
WO2022113307A1
WO2022113307A1 PCT/JP2020/044380 JP2020044380W WO2022113307A1 WO 2022113307 A1 WO2022113307 A1 WO 2022113307A1 JP 2020044380 W JP2020044380 W JP 2020044380W WO 2022113307 A1 WO2022113307 A1 WO 2022113307A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
unit
data processing
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/044380
Other languages
English (en)
French (fr)
Inventor
美沙 深井
将志 田所
晴夫 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2022564968A priority Critical patent/JP7533618B2/ja
Priority to US18/038,946 priority patent/US12500998B2/en
Priority to PCT/JP2020/044380 priority patent/WO2022113307A1/ja
Publication of WO2022113307A1 publication Critical patent/WO2022113307A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Definitions

  • the present invention relates to a data processing apparatus, a data processing method and a data processing program.
  • Non-Patent Document 1 a system that realizes conversation with a small number of people (see Non-Patent Document 1) and a system that represents participants with icons on the GUI, and the sound is loud when the icons are close to each other and small when the icons are far away (non-patent).
  • Reference 2 exists.
  • the information for determining the user's status is only audio, video, and text, so the difference in information that can be acquired and communication. It is difficult to reproduce the office environment because the problem of the call environment due to the influence of delay cannot be solved. Therefore, there will inevitably be a gap in the communication environment between office work and telework, such as the difference in the information that can be obtained and the call environment.
  • the present invention has been made in view of the above, and is a data processing device, a data processing method, and a data processing program capable of performing realistic communication simulating an environment in which a plurality of users work in the same office.
  • the purpose is to provide.
  • the data processing device is a creating unit that creates spatial information imitating an office environment having a plurality of rooms and each terminal device used by a plurality of users.
  • a display unit that displays spatial information in which a plurality of icons corresponding to a plurality of users are arranged in the plurality of rooms based on the instruction information from, and each room in which the plurality of icons are displayed in the spatial information.
  • It is provided with a call unit for connecting a plurality of terminal devices corresponding to a plurality of icons displayed in the same room to establish a call.
  • FIG. 1 is a diagram showing a configuration of a system according to the first embodiment.
  • FIG. 2 is a functional block diagram showing the configuration of the data processing apparatus according to the first embodiment.
  • FIG. 3 is a diagram showing an example of an office UI.
  • FIG. 4 is a diagram (1) for explaining the processing of the creating unit.
  • FIG. 5 is a diagram (2) for explaining the processing of the creating unit.
  • FIG. 6 is a diagram (1) for explaining an example of the movement of the icon.
  • FIG. 7 is a diagram (2) for explaining an example of the movement of the icon.
  • FIG. 8 is a diagram for explaining the processing of the call unit according to the first embodiment.
  • FIG. 9 is a flowchart showing a processing procedure of the data processing apparatus according to the first embodiment.
  • FIG. 9 is a flowchart showing a processing procedure of the data processing apparatus according to the first embodiment.
  • FIG. 10 is a flowchart showing a processing procedure of the spatial information creation process.
  • FIG. 11 is a flowchart showing a processing procedure of call processing.
  • FIG. 12 is a diagram showing a configuration of the system according to the second embodiment.
  • FIG. 13 is a functional block diagram showing the configuration of the data processing apparatus according to the second embodiment.
  • FIG. 14 is a diagram showing an example of an icon representing the state of the user.
  • FIG. 15 is a diagram for explaining the processing of the display unit according to the second embodiment.
  • FIG. 16 is a flowchart showing a processing procedure of the analysis unit according to the second embodiment.
  • FIG. 17 is a diagram showing a configuration of the system according to the third embodiment.
  • FIG. 18 is a functional block diagram showing the configuration of the data processing apparatus according to the third embodiment.
  • FIG. 19 is a diagram showing an example of visualization of conversation content on the office UI.
  • FIG. 20 is a flowchart showing a processing procedure of the data processing apparatus according to the third embodiment.
  • FIG. 21 is a diagram showing a configuration of the system according to the fourth embodiment.
  • FIG. 22 is a functional block diagram showing the configuration of the data processing apparatus according to the fourth embodiment.
  • FIG. 23 is a diagram for explaining the processing of the display unit according to the fourth embodiment.
  • FIG. 24 is a flowchart showing a processing procedure of the data processing apparatus according to the fourth embodiment.
  • FIG. 25 is a diagram showing an example of a computer that executes a data processing program.
  • FIG. 1 is a diagram showing a configuration of a system according to the first embodiment. As shown in FIG. 1, this system 1A includes terminal devices 10a, 10b, 10c and a data processing device 100. In the system 1A, the terminal devices 10a to 10c and the data processing device 100 are shown, but the system 1A may further have another terminal device and another data terminal device.
  • the terminal devices 10a to 10c and other terminal devices are collectively referred to as the terminal device 10 unless otherwise specified.
  • the data processing device 100 does not have to be a device physically different from the terminal device 10, and may be a part of the terminal device 10. Further, the functional unit in the data processing device 100 does not have to be physically in the same device, and in particular, a part thereof may be arranged as a part of the terminal device 10.
  • the terminal device 10 and the data processing device 100 are connected to each other via the network 2.
  • the terminal device 10 is a terminal device used by the user to execute communication, and corresponds to a smartphone, a tablet terminal, a notebook PC (Personal Computer), or the like.
  • the terminal device 10 executes data communication with the data processing device 100 and another terminal device 10 for which a call has been established via the network 2.
  • the data processing device 100 creates spatial information simulating an office environment having a plurality of rooms, and based on instruction information received from each terminal device 10 used by the plurality of users, a plurality of users in the plurality of rooms. Display spatial information (office UI ⁇ User Interface>) with multiple icons corresponding to.
  • the data processing device 100 connects a plurality of terminal devices corresponding to the plurality of icons displayed in the same room to each room in which the plurality of icons are displayed in the office UI to establish a call.
  • the terminal device 10a and the terminal device 10b Establish a call.
  • the data processing device 100 displays the office UI in which the icons corresponding to a plurality of users are arranged, so that the users who are actually separated from each other virtually provide the same space in which they exist together. can do.
  • a call is established based on the icons arranged in the same room, it is possible to perform realistic communication simulating an environment in which a plurality of users work in the same office.
  • FIG. 2 is a functional block diagram showing the configuration of the data processing apparatus according to the first embodiment.
  • the data processing device 100 includes an input unit 110, an output unit 120, a communication unit 130, an information acquisition unit 140, a storage unit 150, and a control unit 160.
  • the input unit 110 is an input interface that receives various operations from the operator of the data processing device 100.
  • it is composed of an input device such as a keyboard and a mouse.
  • the output unit 120 is an output device that outputs information acquired from the control unit 160, and is realized by a display device such as a liquid crystal display, a printing device such as a printer, or the like.
  • the communication unit 130 is a communication interface for transmitting and receiving various information between the terminal device 10 and other devices connected via the network 1 and the like.
  • the communication unit 130 is realized by a NIC (Network Interface Card) or the like, and communicates between the terminal device 10 and other devices and the control unit 160 via a telecommunication line such as a LAN (Local Area Network) or the Internet. ..
  • the communication unit 130 receives information on the operation performed by the user on the terminal device 10 and information on the user's status via the network, and outputs the information to the control unit 160.
  • the information acquisition unit 140 acquires video information taken by the camera of the terminal device 10 and audio information picked up by the microphone of the terminal device 10 from the terminal device 10 and outputs the information to the control unit 160.
  • the storage unit 150 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. In the first embodiment, the storage unit 150 stores the spatial information 151.
  • a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 150 stores the spatial information 151.
  • the spatial information 151 is information related to the office UI created by the creation unit 161 that receives the input operation of the administrator of the data processing device 100, and is the number and size of office rooms, chairs, desks, etc. arranged in the rooms. Information (positional relationship, etc.) is included. Further, as will be described later, various functions are set in the room, desk, and chair.
  • the spatial information 151 may hold information about a plurality of types of office UIs. The information of each office UI is identified by an office ID or the like.
  • FIG. 3 is a diagram showing an example of an office UI.
  • the office UI 151a includes rooms r1, r2, r3, and r4, and desks and chairs are arranged in each of the rooms r1 to r4.
  • room r1 corresponds to a break room.
  • Chairs c1 and c2 are arranged in room r1.
  • Room r2 corresponds to the first conference room.
  • chairs c3, c4, c5, c6, c7 and a desk d1 are arranged.
  • Room r3 corresponds to the office.
  • chairs c8, c9, c10, c11, c12, c13, c14, c15, c16, c17, c18, c19, c20, c21, c22, c23 are arranged.
  • desks d2, d3, d4, d5, d6, d7, d8, d9, d10, d11, d12, d13, d14, d15, d16, d17 are arranged.
  • Room r4 corresponds to the second conference room.
  • chairs c24, c25, c26, 27, c28 and a desk d18 are arranged.
  • rooms r1 to r4 included in the office UI 151a are referred to as “rooms”.
  • Chairs c1 to c28 are referred to as “chairs”.
  • Desks d1 to d18 are referred to as “desks”.
  • the control unit 160 is realized by using a CPU (Central Processing Unit) or the like, and executes a processing program stored in a memory. As a result, the control unit 160 functions as a creation unit 161, a display unit 162, and a call unit 163.
  • a CPU Central Processing Unit
  • the control unit 160 functions as a creation unit 161, a display unit 162, and a call unit 163.
  • the creation unit 161 executes a process of creating spatial information 151. For example, the creation unit 161 creates the spatial information 151 based on the input information of the administrator who operates the input unit 110.
  • FIG. 4 and 5 are diagrams for explaining the processing of the creating unit.
  • the administrator uses the input unit 110 to perform a click operation and a drag operation with the pointer p1 to indicate the size of the office room.
  • the creating unit 161 generates the rooms r2, r3, and r4 based on the instruction via the input unit 110.
  • FIG. 5 will be described.
  • the administrator uses the input unit 110 to perform a drag-and-drop operation with the pointer p1 to arrange a chair and a desk in the office room.
  • the creation unit 161 displays the chair and desk icons on the display (output unit 120), and the administrator uses the input unit 110 to drag the chair and desk icons to the chair and desk icons. Perform an and drop operation.
  • the creation unit 161 assigns functions and roles to rooms and objects based on the input from the administrator who operates the input unit 110. For example, the creation unit 161 gives each room a role such as a conference room and a break room. By giving these roles, the current situation of the user can be easily determined according to the room in which the user's icon is arranged.
  • the creation unit 161 grants a function to lock each room and allow entry. This makes it possible to prevent information leakage.
  • the creation unit 161 assigns one or a plurality of users to the desks arranged in the room, and imparts a function of setting a fixed position of the users. This makes it possible to easily determine whether each user is out of the office such as absenteeism or absenteeism.
  • Creation unit 161 may create a temporary room. As a result, it is possible to temporarily create a pseudo-meeting room that does not exist in an actual office, and to cope with a shortage of meeting rooms.
  • the creation unit 161 creates the spatial information 151 based on the input information of the administrator who operates the input unit 110, and stores the spatial information 151 in the storage unit 150.
  • the creation unit 161 may automatically create the spatial information 151 based on the layout information and the image information of the actual office. For example, the creation unit 161 uses object detection technology to read information (positional relations, etc.) on the size, number, and arranged objects (desks, chairs) of office rooms from office layout information and image information. .. The creation unit 161 creates spatial information 151 based on the read office information.
  • the creating unit 161 may generate the spatial information 151 by using the trained generation model.
  • the administrator uses the input unit 110 to input characteristic information such as the number of office rooms and the number of objects.
  • the creation unit 161 inputs the input feature information to the generative model, and obtains an output result (spatial information 151) from the generative model.
  • the generative model corresponds to GAN (Generative Adversarial Network) and the like.
  • the display unit 162 generates the office UI 151a described with reference to FIG. 3 based on the spatial information 151, and transmits the information of the office UI 151a to the terminal device 10 for display.
  • the user of the terminal device 10 refers to the office UI 151a displayed on the terminal device 10 and operates the terminal device 10 to indicate his / her position.
  • the terminal device 10 transmits the instruction information instructed by the user to the data processing device 100.
  • the instruction information includes identification information that identifies the terminal device and the user, and location information of the user in the office UI 151a.
  • the display unit 162 When the display unit 162 receives the instruction information from the terminal device 10, the display unit 162 arranges the icon corresponding to the user on the office UI 151a based on the instruction information, and transfers the information of the office UI 151a on which the icon is arranged to the terminal device 10. Send and display. The display unit 162 updates the office UI 151a and the icon in real time based on the instruction information transmitted from the terminal device 10.
  • the user of the terminal device 10 moves the icon representing himself / herself to a desired position on the office UI 151a by a click operation or the like.
  • 6 and 7 are diagrams for explaining an example of the movement of the icon.
  • FIG. 6 will be described.
  • the icon corresponding to the user A of the terminal device 10a is referred to as the icon 11a
  • the icon corresponding to the user B of the terminal device 10b is referred to as the icon 11b.
  • the user A performs a click operation on the desk d4 by using the terminal device 10a.
  • the display unit 162 receives the instruction information regarding the click operation from the terminal device 10a, the display unit 162 shifts the icon 11a to the desk d4.
  • FIG. 7 will be described.
  • the icon corresponding to the user A of the terminal device 10a is the icon 11a
  • the icon corresponding to the user B of the terminal device 10b is the icon 11b
  • the icon corresponding to the user C of the terminal device 10c is the icon 11c.
  • the user A performs a drag-and-drop operation on the icons 11b and 11c by using the terminal device 10a.
  • the display unit 162 receives the instruction information regarding the drag-and-drop operation from the terminal device 10a, the display unit 162 shifts the icons 11b and 11c to the desk d2.
  • the display unit 162 outputs the information regarding the position of the user's icon on the office UI 151a to the call unit 163 while executing the above processing according to the instruction information from the terminal device 10. For example, it is assumed that the icon is associated with the identification information of the user and the terminal device.
  • the call unit 163 identifies a set of terminal devices 10 for establishing a call based on the information acquired from the display unit 162, and establishes a call between the specified terminal devices 10. For example, the call unit 163 scans each room, identifies a room in which a plurality of icons are arranged, and launches a call for each room in which the plurality of icons are arranged.
  • FIG. 8 is a diagram for explaining the processing of the call unit according to the first embodiment.
  • the icons 11a and 11b are arranged in the room r1.
  • the icon 11d is arranged in the room r2.
  • the icon 11c is arranged in the room r3.
  • the user of the icon 11a is the user of the terminal device 10a.
  • the user of the icon 11b is defined as the user of the terminal device 10b.
  • the user of the icon 11c is defined as the user of the terminal device 10c.
  • the user of the icon 11d is the user of the terminal device 10d.
  • the user of the icon 11e is defined as the user of the terminal device 10e. In FIG. 1, the terminal devices 10d and 10e are not shown.
  • the call unit 163 since the call unit 163 has a plurality of icons 11a and 11b arranged in the room r1, a call between the terminal device 10a and the terminal device 10b is established.
  • the call unit 163 transmits video information and audio information acquired from the terminal device 10a to the terminal device 10b, and transmits video information and audio information acquired from the terminal device 10b to the terminal device 10a to make a call. To establish.
  • the call unit 163 Since the call unit 163 has a plurality of icons 11d and 11e arranged in the room r2, the call unit 163 establishes a call between the terminal device 10d and the terminal device 10e. For example, the call unit 163 transmits video information and audio information acquired from the terminal device 10d to the terminal device 10e, and transmits video information and audio information acquired from the terminal device 10e to the terminal device 10d to make a call. To establish.
  • FIG. 9 is a flowchart showing a processing procedure of the data processing apparatus according to the first embodiment.
  • step S101 when the spatial information 151 exists (step S101, Yes), the data processing apparatus 100 shifts to step S103.
  • step S101, No when the spatial information 151 does not exist (step S101, No), the data processing apparatus 100 shifts to step S102.
  • the creation unit 161 of the data processing device 100 executes the spatial information creation process (step S102).
  • the display unit 162 of the data processing device 100 reads the office UI information from the spatial information 151 (step S103). If the information in the office UI is not correctly read (step S104, No), the display unit 162 accepts another office ID (step S105) and proceeds to step S103.
  • step S104 When the display unit 162 correctly reads the office UI information (steps S104, Yes), the display unit 162 proceeds to step S106.
  • the display unit 162 causes the terminal device 10 to display the office UI (step S106).
  • the display unit 162 starts receiving the instruction information of the instruction information from the terminal device 10 (step S107).
  • the call unit 163 of the data processing device 100 executes call processing (step S108).
  • FIG. 10 is a flowchart showing a processing procedure of the spatial information creation process.
  • the creation unit 161 of the data processing device 100 creates an office UI in response to an input operation input from the input unit 110 (step S201, Yes).
  • Step S202 the process proceeds to step S205.
  • step S201 if the creation unit 161 is not created manually (step S201, No), the office layout information (or image information) is read (step S203). The creation unit 161 creates an office UI based on the layout information (step S204), and proceeds to step S205.
  • the creation unit 161 accepts customization for the office UI and updates the office UI (step S205).
  • the customization received by the creation unit 161 in step S206 corresponds to the arrangement or deletion of a room or an object (desk, chair, etc.).
  • Creation unit 161 assigns functions and roles to office UI rooms and objects (step S206).
  • the creation unit 161 registers the office UI information in the spatial information 151 (step S207).
  • FIG. 11 is a flowchart showing a processing procedure of call processing.
  • the call unit 163 of the data processing device 100 launches a call in a room in which a plurality of icons are arranged (step S301).
  • the call unit 163 establishes a call for each terminal device according to the room in which the plurality of icons are arranged (step S302).
  • the call unit 163 proceeds to step S305 (steps S303, Yes). If the icon has not moved to another room on the office UI (steps S303, No), the call unit 163 proceeds to step S304.
  • the call unit 163 ends the call process when the icon arranged on the office UI disappears (step S304, Yes). If the icon arranged in the office UI has not disappeared (step S304, No), the call unit 163 proceeds to step S303.
  • step S305, Yes If there are a plurality of icons in the room before the movement (steps S305, Yes), the call unit 163 shifts to step S307. On the other hand, if the call unit 163 does not have a plurality of icons in the room before the move (step S305, No), the call unit 163 ends the call in the room before the move (step S306) and proceeds to step S307.
  • step S307 When the call is set up in the room after the movement (step S307, Yes), the call unit 163 shifts to step S302. On the other hand, when the call is not started in the room after the movement (step S307, No), the call unit 163 shifts to step S301.
  • the data processing device 100 creates spatial information 151 that imitates an office environment having a plurality of rooms, and based on instruction information received from each terminal device 10 used by the plurality of users, a plurality of rooms are in a plurality of rooms. Display the office UI with multiple icons corresponding to the user. Then, the data processing device 100 connects a plurality of terminal devices 10 corresponding to the plurality of icons displayed in the same room to each room in which the plurality of icons are displayed in the office UI to establish a call.
  • the data processing device 100 displays the office UI in which the icons corresponding to the plurality of users are arranged, so that the users who are actually separated from each other virtually provide the same space in which they exist together. be able to.
  • a call is established based on the icons arranged in the same room, it is possible to perform realistic communication simulating an environment in which a plurality of users work in the same office.
  • the data processing device 100 simply expresses the office space using the office UI, it is possible to realize a space in which the existence of others can be recognized and the space is not too conscious. This makes it possible to improve concentration while creating a sense of unity that everyone is working together.
  • FIG. 12 is a diagram showing a configuration of the system according to the second embodiment.
  • this system 1B includes terminal devices 10a, 10b, 10c and a data processing device 200.
  • the terminal devices 10a to 10c and the data processing device 200 are shown, but the system 1B may further have another terminal device and another data terminal device.
  • terminal devices 10a to 10c The description of the terminal devices 10a to 10c is the same as the description of the first embodiment. Unless otherwise specified, the terminal devices 10a to 10c and other terminal devices are collectively referred to as the terminal device 10.
  • the terminal device 10 and the data processing device 100 are connected to each other via the network 2.
  • the data processing device 200 acquires user information using a device such as a camera or a microphone provided in the terminal device 10 and identifies the current state of the user. By displaying the state of the specified user on the office UI and reflecting it in real time, the data processing device 200 can provide the user with information equivalent to that of a real office in a virtual space called the office UI.
  • FIG. 13 is a functional block diagram showing the configuration of the data processing device according to the second embodiment.
  • the data processing device 200 includes an input unit 210, an output unit 220, a communication unit 230, an information acquisition unit 240, a storage unit 250, and a control unit 260.
  • the description of the input unit 210, the output unit 220, and the communication unit 230 is the same as the description of the input unit 110, the output unit 120, and the communication unit 130 described in the first embodiment.
  • the information acquisition unit 240 acquires video information taken by the camera of the terminal device 10 and audio information picked up by the microphone of the terminal device 10 from the terminal device 10. Further, the information acquisition unit 240 further acquires information on the operation status of the terminal device 10 by the user from the terminal device 10. The information acquisition unit 240 outputs video information, audio information, and operation status information to the control unit 260. It is assumed that the video information, the audio information, and the operation status information are given identification information for identifying the terminal device and the user.
  • the storage unit 250 is realized by a semiconductor memory element such as RAM or flash memory, or a storage device such as a hard disk or an optical disk. In the second embodiment, the storage unit 250 stores the spatial information 251.
  • the description of the spatial information 251 is the same as the description of the spatial information 151 described in the first embodiment.
  • the office UI 151a described with reference to FIG. 3 is displayed based on the spatial information 251.
  • the control unit 260 is realized by using a CPU or the like and executes a processing program stored in a memory. As a result, the control unit 260 functions as a creation unit 261, an analysis unit 262, a display unit 263, and a call unit 264.
  • the creation unit 261 executes a process of creating spatial information 251. For example, the creation unit 261 creates the spatial information 251 based on the input information of the administrator who operates the input unit 210. Other explanations regarding the preparation unit 261 are the same as those of the preparation unit 161 of the first embodiment.
  • the analysis unit 262 analyzes the user's situation based on the video information, the audio information, and the operation status information received from the terminal device 10, and shifts to some states (while present, away from the seat, talking, etc.). Classify as. For example, the analysis unit 262 uses image recognition technology to identify in real time whether the user is present or absent from the video information. The analysis unit 262 uses voice recognition technology to identify in real time during a call, a meeting, a conversation, etc. from voice information. The analysis unit 262 identifies whether or not the user is engaged in business based on the information on the operation status.
  • the analysis unit 262 classifies the user's situation into several states by performing the above analysis with respect to the user who is in the office, and also from the user's terminal device 10 to the user's current position. Get information.
  • the analysis unit 262 is a pedometer of the terminal device 10, a link state of wireless communication installed between the terminal device 10 and the office desk (Wifi, Bluetooth, other wireless devices, etc.), the strength of radio waves, and the quality of signals and links. Etc.), it is determined whether or not the user is in the office, and when the user is in the office, the moving position of the user is estimated and the current position of the user is specified.
  • the user may wear a sensor that can specify the position by video, radio waves, or the like, and the analysis unit 262 may acquire information from the sensor to specify the user's current position.
  • the analysis unit 262 further identifies not only the user of the terminal device 10 but also the states of other users based on the video information and the audio information transmitted from the terminal device 10. You may. For example, the analysis unit 262 can acquire the user's state more accurately by specifying the user's state and the current position with respect to another user included in the video information.
  • the process of identifying the user's state by the analysis unit 262 described above is an example, and the user's state may be specified by another technique.
  • the analysis unit 262 outputs the user status information in which the user status and the identification information are associated with the user who is not in the office to the display unit 263.
  • the analysis unit 262 outputs the user state information in which the user's state, the user's current position, and the identification information are associated with each other to the display unit 263 for the user who is in the office.
  • the display unit 263 When the display unit 263 receives the instruction information from the terminal device 10 in the same manner as the display unit 162 described in the first embodiment, the display unit 263 displays an icon corresponding to the user (telework user) based on the instruction information in the office UI 151a. Place on top. Further, the display unit 263 arranges the icon of the user (the user who is in the office) on the office UI 151a based on the current position included in the user status information. The display unit 263 transmits the information of the office UI 151a in which the icon is arranged to the terminal device 10 to display the information.
  • the display unit 263 displays the user status by the color and mark of the icon, blinking, movement, voice, etc., based on the user status information acquired from the analysis unit 262.
  • FIG. 14 is a diagram showing an example of an icon representing the state of the user. Here, the description will be given using the icon 11a of the user A of the terminal device 10a.
  • the display unit 263 changes the color of the frame 12 of the icon 11a based on the state of the user A. For example, when the user A is present, the color of the frame 12 is displayed in the first color, when the user A is away, the color is displayed in the second color, and when the user is in a conversation. Is displayed in the third color.
  • the display unit 263 assigns the mark 13 to the icon 11a based on whether or not the user A is in the office. For example, the display unit 263 adds the mark 13 when the user A is at work.
  • the display unit 263 classifies the user into an attendance group and a telework group according to the attendance status of the user of each icon arranged on the office UI 151a, and assigns a mark 13 when the user A belongs to the minority group. You may.
  • the display unit 263 may display the user's name, image, illustration, etc. in the icon 11a. It is assumed that the user's name, image, illustration, etc. are stored in the storage unit 250 in association with the identification information.
  • FIG. 15 is a diagram for explaining the processing of the display unit according to the second embodiment.
  • icons 11a to 11q are arranged on the office UI 151b.
  • the icons 11a, 11b, 11c, 11d, 11h, 11i, 11k, and 11m indicate that the user corresponding to the icon is present because the color of the frame is the first color. Since the color of the frame of the icons 11l, 11p, and 11q is the second color, it indicates that the user corresponding to the icon is away from the desk. Since the color of the frame of the icons 11e, 11f, 11g, 11j, 11n, and 11p is the third color, it indicates that the user corresponding to the icon is away from the desk.
  • the display unit 263 assigns marks to the icons 11a, 11g, 11h, 11i, 11l, 11n, and 11p. For example, if the user of the icon 11a is teleworking, it means that the user of each icon 11a, 11g, 11h, 11i, 11l, 11n, 11p to which the mark is given is teleworking.
  • the display unit 263 may display the attendance and absence of the user in a distinguishable manner by changing the color of the chair. Further, the display unit 263 may indicate that the room is in use by highlighting the color of the room.
  • the display unit 263 outputs the information regarding the position of the user's icon on the office UI 151b to the call unit 264 while executing the above processing according to the instruction information from the terminal device 10. For example, it is assumed that the icon is associated with the identification information of the user and the terminal device.
  • the call unit 264 identifies a set of terminal devices 10 for establishing a call based on the information acquired from the display unit 263, and establishes a call between the specified terminal devices 10. For example, the call unit 264 scans each room, identifies a room in which a plurality of icons are arranged, and launches a call for each room in which the plurality of icons are arranged.
  • the other description of the call unit 264 is the same as the description of the call unit 163 described in the first embodiment.
  • FIG. 16 is a flowchart showing a processing procedure of the analysis unit according to the second embodiment.
  • the analysis unit 262 of the data processing device 200 acquires video information, audio information, and operation status information from the terminal device 10 via the information acquisition unit 240 (step S401).
  • the analysis unit 262 analyzes the user's state based on the video information, the audio information, and the operation status information (step S402). If the user's state cannot be specified (step S403, No), the analysis unit 262 ends the process.
  • step S403 determines whether or not the user exists in the office (step S404). If the user does not exist in the office (steps S404, No), the analysis unit 262 proceeds to step S406.
  • the analysis unit 262 identifies the current position of the user from the information of the terminal device 10 obtained via the information acquisition unit 240 (step S405). .. The analysis unit 262 outputs the user status information to the display unit 263 (step S406).
  • the analysis unit 262 may fix the user's current position to a fixed position set for each user when the user is not in the office. Further, the analysis unit 262 may be fixed at a position on the office UI of a place where the user may perform business, assuming an actual office such as in front of a desk to which the user is not assigned. The user may specify the current position on the office UI in the same manner as in the first embodiment.
  • the display unit 263 displays the office UI based on the user status information, but does not reflect the user's current position except for the movement by the user's operation, the movement in the meeting, and the conversation, and the user. Only the state of may be reflected in the icon.
  • the display unit 263 may estimate the location corresponding to the case of being in the office from the information specified by the analysis unit 262 and reflect it on the office UI.
  • the data processing device 200 acquires video information, audio information, and operation status information from the terminal device 10, identifies the user's state, and displays an icon with a color, a mark, or the like corresponding to the specified state. Also, the current position of the user is estimated and placed on the office UI. As a result, the user can easily grasp the state and the current position of another user on the office UI.
  • information such as the position and state of another person, which can be acquired in the real space, can be acquired in the virtual space as well.
  • the stress of the user can be reduced by not displaying the image of the user himself or the image of the user's home.
  • FIG. 17 is a diagram showing a configuration of the system according to the third embodiment.
  • this system 1C includes terminal devices 10a, 10b, 10c and a data processing device 300.
  • the terminal devices 10a to 10c and the data processing device 300 are shown, but the system 1C may further have another terminal device and another data terminal device.
  • terminal devices 10a to 10c The description of the terminal devices 10a to 10c is the same as the description of the first embodiment. Unless otherwise specified, the terminal devices 10a to 10c and other terminal devices are collectively referred to as the terminal device 10.
  • the terminal device 10 and the data processing device 300 are connected to each other via the network 2.
  • the data processing device 300 analyzes voice information in addition to the processing of the data processing device 200 of the second embodiment, and enhances communication in the virtual space by truncating and visualizing the information based on the analyzed voice content. Allows you to.
  • FIG. 18 is a functional block diagram showing the configuration of the data processing device according to the third embodiment.
  • the data processing device 300 includes an input unit 310, an output unit 320, a communication unit 330, an information acquisition unit 340, a storage unit 350, and a control unit 360.
  • the description of the input unit 310, the output unit 320, and the communication unit 330 is the same as the description of the input unit 110, the output unit 120, and the communication unit 130 described in the first embodiment.
  • the information acquisition unit 340 acquires video information taken by the camera of the terminal device 10 and audio information picked up by the microphone of the terminal device 10 from the terminal device 10. Further, the information acquisition unit 340 further acquires information on the operation status of the terminal device 10 by the user from the terminal device 10. The information acquisition unit 340 outputs video information, audio information, and operation status information to the control unit 360. It is assumed that the video information, the audio information, and the operation status information are given identification information for identifying the terminal device and the user.
  • the storage unit 350 is realized by a semiconductor memory element such as RAM or flash memory, or a storage device such as a hard disk or an optical disk. In the third embodiment, the storage unit 350 stores the spatial information 251.
  • the description of the spatial information 351 is the same as the description of the spatial information 151 described in the first embodiment.
  • the office UIs 151a and 151b described with reference to FIGS. 3 and 15 are displayed based on the spatial information 351.
  • the control unit 360 is realized by using a CPU or the like and executes a processing program stored in a memory. As a result, the control unit 360 functions as a creation unit 361, an analysis unit 362, a display unit 363, and a call unit 364.
  • the creation unit 361 executes a process of creating spatial information 351. For example, the creation unit 361 creates spatial information 351 based on the input information of the administrator who operates the input unit 310. Other explanations regarding the preparation unit 361 are the same as those of the preparation unit 161 of the first embodiment.
  • the analysis unit 362 analyzes the contents of utterances and conversations using voice and conversation analysis technology for the voice information acquired by the information acquisition unit 240.
  • the analysis unit 362 identifies utterances, conversation contents, and extracts characteristic words based on the analysis results of utterances and conversations. Further, the analysis unit 362 determines whether or not to convey to another user from the specified utterances and conversation contents. For example, the analysis unit 362 determines that when the utterance content is a soliloquy, a telephone call with a person outside the company, a conversation with a person unrelated to the business, or the like, the voice is not transmitted to surrounding users. Further, when the conversation by a plurality of users is the content of the business related to only a part of the users, the analysis unit 362 determines that the voice is transmitted only to the users involved in the business.
  • the analysis unit 362 determines whether or not to convey to other users from the utterances and conversation contents based on the table that defines the utterances and conversation contents that are not transmitted to other users.
  • the analysis unit 362 uses a table that defines the user's identification information, the relationship with the department to which the user belongs, and the content of the utterance peculiar to the department, and identifies the voice that is not transmitted to anyone other than the user involved in the business.
  • the analysis unit 362 outputs the content of the analyzed voice information and the determination result (determination result of whether or not to convey to another user) to the display unit 363 and the call unit 364. Although the description is omitted, the analysis unit 362 identifies the user's state based on the information of the video information, the audio information, and the operation information in the same manner as the analysis unit 262 of the second embodiment, and outputs the user's state to the display unit 363. You may.
  • the display unit 363 adjusts the position of the icon on the office UI based on the content of the voice information acquired from the analysis unit 362 and the determination result. For example, when the voice information received from the terminal device 10 is a conversation about a business involving only some users, the display unit 363 moves the position of the icon of the user during the conversation to another room. Let me. As a result, the rooms are separated, so that the voice is not heard by users who are not related to business conversations (the call unit 364 described later makes a call between terminal devices corresponding to the icons in the same room. To establish).
  • the display unit 363 automatically generates a temporary room when the icon of the user who is talking about another business is arranged in the room to which the user's icon is moved and the remaining room does not exist. Then move the user's icon to that room. Further, when only a part of the users in conversation are using the conference room or the like in the actual office, the display unit 363 may move the other users to the automatically generated room.
  • the display unit 363 When the user who is having a conversation is actually in the office, the display unit 363 temporarily ignores the user's actual position and moves the current position on the office UI. You may return the icon to the actual current position.
  • FIG. 19 is a diagram showing an example of visualization of conversation content on the office UI. As shown in FIG. 19, the content of the conversation is shown by a balloon or the like near the user in the conversation.
  • the display unit 363 displays the topic genre (topic related to business, topic related to general news) and the like in a distinguishable manner according to the color and shape of the balloon.
  • the display unit 363 expresses the characteristic words in the conversation by the words in the balloon.
  • balloons b1-1, b1-2, and b-3 are balloons related to business
  • balloons b2-1, b2-2, and b2-3 are balloons related to characteristic words.
  • the display unit 353 does not display all the voice information as a balloon, but displays only the topics related to business, the topics related to news, and the characteristic words, so that the discomfort related to listening to the conversation can be reduced. Will be possible.
  • the display unit 363 may visually reflect the user's state on the icon in the same manner as the display unit 263 of the second embodiment.
  • the call unit 364 identifies a set of terminal devices 10 for establishing a call based on the information acquired from the display unit 363, and establishes a call between the specified terminal devices 10. For example, the call unit 364 scans each room, identifies a room in which a plurality of icons are arranged, and launches a call for each room in which the plurality of icons are arranged.
  • the call unit 364 controls the transmission / reception of voice information between the terminal devices based on the information acquired from the analysis unit 362. For example, in the case where a call is established with the terminal devices 10a and 10b, while the voice information of the terminal device 10a is determined to be voice information that is not transmitted to other users, the call unit 364 uses the terminal device 364. The transmission of voice information from 10a to the terminal device 10b is temporarily stopped. After that, when the voice information of the terminal device 10a is determined to be the voice information to be transmitted to another user, the call unit 364 resumes the transmission of the voice information.
  • FIG. 20 is a flowchart showing a processing procedure of the data processing apparatus according to the third embodiment.
  • the analysis unit 362 of the data processing device 300 acquires voice information (step S501).
  • the analysis unit 362 analyzes the voice information (step S502). If the acquired voice information is voice information to be transmitted to surrounding users (steps S503 and Yes), the analysis unit 362 shifts to step S504. On the other hand, if the analysis unit 362 is not voice information to be transmitted to surrounding users (steps S503 and No), the analysis unit 362 shifts to step S506.
  • the analysis unit 362 ends the process when the conversation content and the characteristic word cannot be extracted (steps S504 and No). On the other hand, the analysis unit 362 shifts to step S505 when the conversation content and characteristic words can be extracted (steps S504 and Yes).
  • the display unit 363 of the data processing device 300 displays a balloon on the icon (step S505).
  • the display unit 363 moves the position of the icon so that it cannot be heard by surrounding users (step S506).
  • the data processing device 300 analyzes voice information, determines whether or not the information is necessary for other users, and adjusts so that the voice information determined to be unnecessary is not transmitted, thereby eliminating factors that hinder concentration. Can be done.
  • the data processing device 300 analyzes voice information and extracts information such as conversation contents and characteristic words. Then, by visualizing this information on the office UI, it is possible to acquire information about the conversation being held at a place away from the user. This makes it easier to enter into conversations that are taking place at remote locations and increases communication opportunities.
  • FIG. 21 is a diagram showing a configuration of the system according to the fourth embodiment.
  • this system 1D includes terminal devices 10a, 10b, 10c and a data processing device 400.
  • the terminal devices 10a to 10c and the data processing device 400 are shown, but the system 1D may further have another terminal device and another data terminal device.
  • terminal devices 10a to 10c The description of the terminal devices 10a to 10c is the same as the description of the first embodiment. Unless otherwise specified, the terminal devices 10a to 10c and other terminal devices are collectively referred to as the terminal device 10.
  • the terminal device 10 and the data processing device 400 are connected to each other via the network 2.
  • the data processing device 400 realizes a realistic conversation environment in a virtual space by adjusting how the voice is heard during a call based on the distance between the icons on the office UI and the volume of the speaker. .. Further, the data processing device 400 makes it possible to provide a more comfortable conversation environment by visualizing the voice environment at the time of a call on the office UI.
  • FIG. 22 is a functional block diagram showing the configuration of the data processing device according to the fourth embodiment.
  • the data processing device 400 includes an input unit 410, an output unit 420, a communication unit 430, an information acquisition unit 440, a storage unit 450, and a control unit 460.
  • the description of the input unit 410, the output unit 420, and the communication unit 430 is the same as the description of the input unit 110, the output unit 120, and the communication unit 130 described in the first embodiment.
  • the information acquisition unit 440 acquires video information taken by the camera of the terminal device 10 and audio information picked up by the microphone of the terminal device 10 from the terminal device 10. Further, the information acquisition unit 440 further acquires information on the operation status of the terminal device 10 by the user from the terminal device 10. The information acquisition unit 440 outputs video information, audio information, and operation status information to the control unit 460. It is assumed that the video information, the audio information, and the operation status information are given identification information for identifying the terminal device and the user.
  • the storage unit 450 is realized by a semiconductor memory element such as RAM or flash memory, or a storage device such as a hard disk or an optical disk. In the fourth embodiment, the storage unit 450 stores the spatial information 451 and the user voice information 452.
  • the description of the spatial information 451 is the same as the description of the spatial information 151 described in the first embodiment.
  • the office UIs 151a and 151b described with reference to FIGS. 3 and 15 are displayed based on the spatial information 451.
  • the user voice information 452 includes pre-registered volume of each user during normal conversation, information of attributes given according to the business content of the user, and the like. For example, the user voice information 452 associates the volume during conversation with the attribute with respect to the identification information of each user.
  • the attributes correspond to the department to which they belong.
  • the control unit 460 is realized by using a CPU or the like and executes a processing program stored in the memory. As a result, the control unit 460 functions as a creation unit 461, an analysis unit 462, a display unit 463, and a call unit 464.
  • the creation unit 461 executes a process of creating spatial information 451. For example, the creation unit 461 creates spatial information 451 based on the input information of the administrator who operates the input unit 410. Other explanations regarding the preparation unit 461 are the same as those of the preparation unit 161 of the first embodiment.
  • the analysis unit 462 analyzes the contents of the utterance and conversation based on the voice information acquired by the information acquisition unit 440 and the user voice information 452. For example, the analysis unit 462 specifies the difference between the volume during normal conversation and the volume of voice information, and the attributes of each user. For example, the analysis unit 462 may analyze the closeness of each user's attributes based on a table that defines the closeness of one attribute to another.
  • the analysis unit 462 outputs the analysis result to the display unit 463 and the call unit 464.
  • the analysis results include the user's identification information, the difference between the volume during normal conversation and the volume of voice information, and the closeness of the user's attributes.
  • the display unit 463 When the display unit 463 receives the instruction information from the terminal device 10 in the same manner as the display unit 162 described in the first embodiment, the display unit 463 displays an icon corresponding to the user (telework user) based on the instruction information in the office UI 151a. Place on top. Further, the display unit 463 may arrange an icon of a user (a user who is in the office) on the office UI 151a based on the current position included in the user status information. The display unit 463 transmits the information of the office UI 151a in which the icon is arranged to the terminal device 10 to display the information.
  • the display unit 463 outputs the distance information between the icons on the office UI 151a to the call unit 464.
  • the distance information includes the identification information of the target user and the information of the distance between the users.
  • the call unit 464 adjusts the volume between the terminal devices for which a call has been established based on the analysis result acquired from the analysis unit 462 and the distance information acquired from the display unit 463.
  • the call unit 464 when a call is established between the terminal device 10a of the user A and the terminal device 10b of the user B, the distance of the icon of the user A and the distance of the icon of the user B are separated (threshold). In the above case), control is performed to reduce the voice of the user A output from the terminal device 10b.
  • the call unit controls to reduce the voice of the user B output from the terminal device 10a.
  • the distance between the user A icon and the user B icon is less than the threshold value
  • the distance between the user A icon and the user C icon is greater than or equal to the threshold value
  • the user A voice information is lower than the volume of a normal conversation.
  • the call unit 464 makes adjustments to reduce the range in which the user's voice can be heard. For example, in the call unit 464, when the icon of the user B is included in the adjusted range based on the position of the icon of the user A and the icon of the user C is not included, the volume of the voice information of the user A is included. Is output from the terminal device 10b of the user B while maintaining the normal volume, and the voice information of the user A is not output from the terminal device 10c of the user C.
  • the call unit 464 is a terminal device.
  • the voice of user A and the voice of user B output from 10 may be adjusted to the same volume. That is, the call unit 464 outputs the voice from the terminal device 10 at a constant volume regardless of the individual difference in the volume of the voice.
  • the call unit 464 may adjust the volume or cut the voice according to the work related to the user. For example, assign attributes to the user according to the user's business content, turn down the volume a little if the attributes of other users who are having a conversation nearby are slightly different, and cut the voice if the attributes are significantly different. ..
  • the call unit 464 may acquire information on the closeness of each user's attributes from the analysis unit 462, the combination of the user's attributes, and the control content of the call (lowering the volume, cutting the voice, etc.). You may control the call based on the table associated with.
  • the call unit 464 outputs information about the voice received by the other party of the call to the analysis unit 462.
  • the analysis unit 462 acquires information about the voice received by the other party of the call from the call unit 464, and based on the acquired information, the intelligibility, the degree of understanding, and the delay. Quality such as presence / absence is analyzed using voice quality evaluation technique and conversation analysis technique, and the analysis result is output to the display unit 463.
  • FIG. 23 is a diagram for explaining the processing of the display unit according to the fourth embodiment.
  • the display unit 463 draws concentric circles when the user is generated, and displays the audible range and size.
  • FIG. 23 shows an icon 11a corresponding to the user A, an icon 11b corresponding to the user B, and an icon 11c corresponding to the user C.
  • the range in which the user B is speaking and the voice information by the user B can be heard is indicated by the concentric circles 16b.
  • the volume of the user B output from the terminal device 10b of the user A is indicated by the bar 15a
  • the volume of the user B output from the terminal device 10c of the user C is indicated by the bar 15c. Since the distance between the icon 11b and the icon 11c is smaller than the distance between the icon 11b and the icon 11a, the display unit 463 displays the volume indicated by the bar 15c higher than the volume indicated by the bar 15a.
  • FIG. 24 is a flowchart showing a processing procedure of the data processing apparatus according to the fourth embodiment.
  • the analysis unit 462 of the data processing device 400 acquires voice information by using the information acquisition unit 440 (step S601).
  • the analysis unit 462 compares and analyzes the voice information and the user voice information 452, and outputs the analysis result to the call unit 464 (step S602).
  • the display unit 463 of the data processing device 400 compares the distance and attributes of each icon on the office UI, and outputs the distance information and the attribute information to the call unit 464 (step S603).
  • the call unit 464 of the data processing device 400 adjusts the volume of the voice output from the terminal device that establishes the call based on the analysis result, the distance information, and the attribute information (step S604).
  • the display unit 463 displays the utterance status on the office UI (step S605).
  • the analysis unit 462 acquires information about how the other party of the call sounds from the call unit 464 (step S606). If the analysis unit 462 does not acquire the way the other party hears the call (step S607, No), the analysis unit 462 ends the process.
  • step S607 When the analysis unit 462 acquires the way the other party hears the call (step S607, Yes), the analysis unit 462 proceeds to step S608.
  • the display unit 463 displays how the voice is heard on the office UI (step S608).
  • the data processing device 400 adjusts the range in which the voice can be heard and the loudness of the volume based on the positions of the users in the UI and the volume of the user's voice. This brings the conversation environment in the virtual space closer to the real conversation environment and realizes comfortable communication.
  • the data processing device 400 registers normal voice and voice volume during normal conversation for each user. Based on the registered information, the data processing device 400 can make a call at a constant volume regardless of individual differences in volume and visualize the voice quality during conversation on the office UI. This will provide a comfortable conversation environment.
  • FIG. 25 is a diagram showing an example of a computer that executes a data processing program.
  • the computer 1000 has, for example, a memory 1010, a CPU 1020, a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1031.
  • the disk drive interface 1040 is connected to the disk drive 1041.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1041.
  • a mouse 1051 and a keyboard 1052 are connected to the serial port interface 1050.
  • a display 1061 is connected to the video adapter 1060, for example.
  • the hard disk drive 1031 stores, for example, the OS 1091, the application program 1092, the program module 1093, and the program data 1094. Each piece of information described in the above embodiment is stored in, for example, the hard disk drive 1031 or the memory 1010.
  • the data processing program is stored in the hard disk drive 1031 as, for example, a program module 1093 in which a command executed by the computer 1000 is described.
  • the program module 1093 in which each process executed by the data processing apparatus 100 (200, 300, 400) described in the above embodiment is described is stored in the hard disk drive 1031.
  • the data used for information processing by the data processing program is stored as program data 1094 in, for example, the hard disk drive 1031.
  • the CPU 1020 reads the program module 1093 and the program data 1094 stored in the hard disk drive 1031 into the RAM 1012 as needed, and executes each of the above-mentioned procedures.
  • the program module 1093 and the program data 1094 related to the data processing program are not limited to the case where they are stored in the hard disk drive 1031. For example, they are stored in a removable storage medium and read by the CPU 1020 via the disk drive 1041 or the like. It may be issued. Alternatively, the program module 1093 and the program data 1094 related to the data processing program are stored in another computer connected via a network such as a LAN or WAN (Wide Area Network), and read by the CPU 1020 via the network interface 1070. May be done.
  • a network such as a LAN or WAN (Wide Area Network)
  • Data processing device 110 110,210,310,410 Input unit 120,220,320,420 Output unit 130,230,330,430 Communication unit 140,240,340,440 Information acquisition unit 150,250 , 350, 450 Storage unit 151,251,351,451 Spatial information 160,260,360,460 Control unit 161,261,361,461 Creation unit 162,263,363,463 Display unit 163,264,364,464 Calls Department 262,362,462 Analysis Department 452 User voice information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

データ処理装置（１００）は、複数の部屋を有するオフィス環境を模した空間情報を作成する。データ処理装置（１００）は、複数のユーザが利用する各端末装置からの指示情報を基にして、複数の部屋に、複数のユーザに対応する複数のアイコンを配置した空間情報を表示させる。データ処理装置は、空間情報において複数のアイコンが表示された部屋毎に、同一の部屋に表示されている複数のアイコンに対応する複数の端末装置を接続して通話を確立させる。

Description

データ処理装置、データ処理方法およびデータ処理プログラム
　本発明は、データ処理装置、データ処理方法およびデータ処理プログラムに関する。
　感染症対策のため、テレワークの普及が拡大した。テレワークでは、コミュニケーションツールとしてチャット・電話・ｗｅｂ会議システムが用いられる。しかし、これらのツールを用いたコミュニケーションでは、他人の様子を目視で確認することができないため、他人の状況を把握することが困難である。また、同じ空間（オフィス）にいる場合に比べ、話しかけるという行為のハードルが上がる、会話が始まるきっかけがないといった課題がある。これらの課題により、非対面のコミュニケーションでは、対面でのコミュニケーションに比べコミュニケーション量が低下する場合が多く、信頼関係の希薄化、生産性の低下を招くことがある。
　ここで、テレワークにおけるコミュニケーションの充実のため、ＧＵＩ（Graphical　User　Interface）上で、複数の部屋からなるＷｅｂ会議会場を作成し、それぞれの部屋ごとに会話を行うことにより、大人数が参加するＷｅｂ会議においても少人数での会話を実現するシステム（非特許文献１参照）や、ＧＵＩ上で参加者をアイコンで表し、アイコン同士の距離が近ければ音声が大きく聞こえ、遠くなると小さく聞こえるシステム（非特許文献２参照）が存在する。
"remo"，[online]、２０２０年、［２０２０年９月２９日検索]、インターネット＜URL:https://remo.co/＞ "Spatial　Chat"，[online]、２０２０年、［２０２０年９月２９日検索]、インターネット＜URL:https://spatial.chat/＞
　テレワーク環境において、オフィス環境と同等のコミュニケーションを行うためには、周囲の人の状況を把握でき、気軽に話しかけられるというオフィス環境を再現することが最適である。しかし、ｗｅｂ会議システムやオンラインワークスペース、チャットツールなどを用いてコミュニケーションを行う場合、ユーザの状態を判断するための情報が音声と映像、文字のみであることによる、取得できる情報の違いや、通信遅延の影響による通話環境の課題が解決できないため、オフィス環境の再現は達成困難である。ゆえにオフィスワークとテレワークのコミュニケーション環境における、取得可能な情報や通話環境の違いといったギャップはどうしても発生する。
　すなわち、複数のユーザが同じオフィスで勤務する環境を模した臨場感のあるコミュニケーションを行うことが求められている。
　本発明は、上記に鑑みてなされたものであって、複数のユーザが同じオフィスで勤務する環境を模した臨場感のあるコミュニケーションを行うことができるデータ処理装置、データ処理方法およびデータ処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係るデータ処理装置は、複数の部屋を有するオフィス環境を模した空間情報を作成する作成部と複数のユーザが利用する各端末装置からの指示情報を基にして、前記複数の部屋に、複数のユーザに対応する複数のアイコンを配置した空間情報を表示させる表示部と、前記空間情報において複数のアイコンが表示された部屋毎に、同一の部屋に表示されている複数のアイコンに対応する複数の端末装置を接続して通話を確立させる通話部とを備える。
　本発明によれば、複数のユーザが同じオフィスで勤務する環境を模した臨場感のあるコミュニケーションを行うことができる。
図１は、本実施例１に係るシステムの構成を示す図である。 図２は、本実施例１に係るデータ処理装置の構成を示す機能ブロック図である。 図３は、オフィスＵＩの一例を示す図である。 図４は、作成部の処理を説明するための図（１）である。 図５は、作成部の処理を説明するための図（２）である。 図６は、アイコンの移動の一例を説明するための図（１）である。 図７は、アイコンの移動の一例を説明するための図（２）である。 図８は、本実施例１に係る通話部の処理を説明するための図である。 図９は、本実施例１に係るデータ処理装置の処理手順を示すフローチャートである。 図１０は、空間情報作成処理の処理手順を示すフローチャートである。 図１１は、通話処理の処理手順を示すフローチャートである。 図１２は、本実施例２に係るシステムの構成を示す図である。 図１３は、本実施例２に係るデータ処理装置の構成を示す機能ブロック図である。 図１４は、ユーザの状態を表すアイコンの一例を示す図である。 図１５は、本実施例２に係る表示部の処理を説明するための図である。 図１６は、本実施例２に係る分析部の処理手順を示すフローチャートである。 図１７は、本実施例３に係るシステムの構成を示す図である。 図１８は、本実施例３に係るデータ処理装置の構成を示す機能ブロック図である。 図１９は、オフィスＵＩ上での会話内容の可視化の一例を示す図である。 図２０は、本実施例３に係るデータ処理装置の処理手順を示すフローチャートである。 図２１は、本実施例４に係るシステムの構成を示す図である。 図２２は、本実施例４に係るデータ処理装置の構成を示す機能ブロック図である。 図２３は、本実施例４に係る表示部の処理を説明するための図である。 図２４は、本実施例４に係るデータ処理装置の処理手順を示すフローチャートである。 図２５は、データ処理プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願の開示するデータ処理装置、データ処理方法およびデータ処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　図１は、本実施例１に係るシステムの構成を示す図である。図１に示すように、このシステム１Ａは、端末装置１０ａ，１０ｂ，１０ｃと、データ処理装置１００とを有する。システム１Ａでは、端末装置１０ａ～１０ｃおよびデータ処理装置１００を示すが、システム１Ａは、他の端末装置、他のデータ端末装置を更に有していてもよい。
　以下の説明では、特に区別する場合を除いて、端末装置１０ａ～１０ｃ、他の端末装置をまとめて、端末装置１０と表記する。なお、データ処理装置１００は、端末装置１０と物理的に別の装置である必要はなく、端末装置１０の一部であってもよい。また、データ処理装置１００内の機能部が、物理的に同じ装置内になくてもよく、特に、その一部が端末装置１０の一部として配置されていてもよい。
　端末装置１０と、データ処理装置１００とは、ネットワーク２を介して、相互に接続される。
　端末装置１０は、ユーザがコミュニケーションを実行するために利用する端末装置であり、スマートフォン、タブレット端末、ノートＰＣ（Personal　Computer）等に対応する。端末装置１０は、ネットワーク２を介して、データ処理装置１００および通話の確立した他の端末装置１０とデータ通信を実行する。
　データ処理装置１００は、複数の部屋を有するオフィス環境を模した空間情報を作成し、複数のユーザが利用する各端末装置１０から受信する指示情報を基にして、複数の部屋に、複数のユーザに対応する複数のアイコンを配置した空間情報（オフィスＵＩ＜User　Interface＞）を表示する。ここで、データ処理装置１００は、オフィスＵＩにおいて複数のアイコンが表示された部屋毎に、同一の部屋に表示されている複数のアイコンに対応する複数の端末装置を接続して通話を確立させる。
　たとえば、データ処理装置１００は、オフィスＵＩにおいて、端末装置１０ａのユーザのアイコンと、端末装置１０ｂのユーザのアイコンとが、同一の部屋に配置されている場合、端末装置１０ａと、端末装置１０ｂとの通話を確立する。
　上記のように、データ処理装置１００が、複数のユーザに対応する各アイコンを配置したオフィスＵＩを表示することによって、リアルでは隔たれた空間にいるユーザが、ともに存在する同一の空間をバーチャルで提供することができる。また、同一の部屋に配置されたアイコンを基にして、通話を確立するため、複数のユーザが同じオフィスで勤務する環境を模した臨場感のあるコミュニケーションを行うことができる。
　次に、本実施例１に係るデータ処理装置の構成例について説明する。図２は、本実施例１に係るデータ処理装置の構成を示す機能ブロック図である。図２に示すように、このデータ処理装置１００は、入力部１１０、出力部１２０、通信部１３０、情報取得部１４０、記憶部１５０、制御部１６０を有する。
　入力部１１０は、データ処理装置１００の操作者からの各種操作を受け付ける入力インタフェースである。例えば、キーボードやマウス等の入力デバイスによって構成される。
　出力部１２０は、制御部１６０から取得した情報を出力する出力デバイスであり、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。
　通信部１３０は、ネットワーク１等を介して接続された端末装置１０および他の装置との間で、各種情報を送受信する通信インタフェースである。通信部１３０は、ＮＩＣ（Network　Interface　Card）等で実現され、ＬＡＮ（Local　Area　Network）やインターネットなどの電気通信回線を介した端末装置１０および他の装置と制御部１６０との間の通信を行う。
　通信部１３０は、ネットワークを介して、端末装置１０に対してユーザが行った操作に関する情報、ユーザの状態に関する情報を受信し、制御部１６０に出力する。
　情報取得部１４０は、端末装置１０のカメラによって撮影されて映像情報、端末装置１０のマイクによって収音された音声情報を、端末装置１０から取得し、制御部１６０に出力する。
　記憶部１５０は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。本実施例１では、記憶部１５０は空間情報１５１を記憶する。
　空間情報１５１は、データ処理装置１００の管理者等の入力操作を受け付けた作成部１６１が作成するオフィスＵＩに関する情報であり、オフィスの部屋の数や大きさ、部屋に配置された椅子、机等の情報（位置関係等）を含む。また、後述するように、部屋、机、椅子には、各種の機能が設定される。なお、空間情報１５１は、複数種類のオフィスＵＩに関する情報を保持していてもよい。各オフィスＵＩの情報は、オフィスＩＤ等によって識別される。
　図３は、オフィスＵＩの一例を示す図である。図３に示すように、オフィスＵＩ１５１ａは、部屋ｒ１，ｒ２，ｒ３，ｒ４が含まれ、各部屋ｒ１～ｒ４には、机、椅子が配置されている。
　たとえば、部屋ｒ１は、休憩室に対応する。部屋ｒ１には、椅子ｃ１，ｃ２が配置されている。部屋ｒ２は、第１会議室に対応する。部屋ｒ２には、椅子ｃ３，ｃ４，ｃ５，ｃ６，ｃ７、机ｄ１が配置されている。
　部屋ｒ３は、オフィスに対応する。部屋ｒ３には、椅子ｃ８，ｃ９，ｃ１０，ｃ１１，ｃ１２，ｃ１３，ｃ１４，ｃ１５，ｃ１６，ｃ１７，ｃ１８，ｃ１９，ｃ２０，ｃ２１，ｃ２２，ｃ２３が配置されている。また、部屋ｒ３には、机ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７，ｄ８，ｄ９，ｄ１０，ｄ１１，ｄ１２，ｄ１３，ｄ１４，ｄ１５，ｄ１６，ｄ１７が配置されている。
　部屋ｒ４は、第２会議室に対応する。部屋ｒ４には、椅子ｃ２４，ｃ２５，ｃ２６，２７，ｃ２８、机ｄ１８が配置されている。
　以下の説明では、特に区別しない場合、オフィスＵＩ１５１ａに含まれる部屋ｒ１～ｒ４を「部屋」と表記する。椅子ｃ１～ｃ２８を「椅子」と表記する。机ｄ１～ｄ１８を「机」と表記する。
　図２の説明に戻る。制御部１６０は、ＣＰＵ（Central　Processing　Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１６０は、作成部１６１、表示部１６２、通話部１６３として機能する。
　作成部１６１は、空間情報１５１を作成する処理を実行する。たとえば、作成部１６１は、入力部１１０を操作する管理者の入力情報を基にして、空間情報１５１を作成する。
　図４及び図５は、作成部の処理を説明するための図である。図４について説明する。管理者は、入力部１１０を用いて、ポインタｐ１によるクリック操作、ドラッグ操作を行い、オフィスの部屋の大きさを指示する。図４に示す例では、作成部１６１は、入力部１１０を介した指示を基にして、部屋ｒ２，ｒ３，ｒ４を生成する。
　図５について説明する。管理者は、入力部１１０を用いて、ポインタｐ１によるドラッグアンドドロップ操作を行い、オフィスの部屋に椅子、机を配置する。図５に示す例では、作成部１６１は、椅子、机のアイコンをディスプレイ（出力部１２０）に表示させ、管理者は、入力部１１０を用いて、かかる椅子、机のアイコンに対して、ドラックアンドドロップ操作を行う。
　作成部１６１は、入力部１１０を操作する管理者からの入力を基にして、部屋、物に機能と役割を付与する。たとえば、作成部１６１は、各々の部屋に会議室、休憩室といった役割を与える。これらの役割を与えることで、ユーザのアイコンが配置された部屋に応じて、ユーザの現在の状況を容易に判別することができる。
　作成部１６１は、各部屋に鍵をかけて入室を許可制にする機能を付与する。これにより、情報漏洩を防止することができる。
　作成部１６１は、部屋に配置された机に、一人、または、複数のユーザを割り当て、ユーザの定位置を設定する機能を付与する。これによって、各々のユーザの欠勤や離席などの場外を簡易的に判別することが可能となる。
　作成部１６１は、一時的な部屋を作成してもよい。これにより、現実のオフィスには存在しない、疑似的な会議室を一時的に作成し、会議室が不足した場合にも対応することができる。
　上記のように、作成部１６１は、入力部１１０を操作する管理者の入力情報を基にして、空間情報１５１を作成し、空間情報１５１を、記憶部１５０に格納する。
　ところで、作成部１６１は、現実のオフィスのレイアウト情報や画像情報を基にして、自動で、空間情報１５１を作成してもよい。たとえば、作成部１６１は、物体検知技術を用いて、オフィスのレイアウト情報、画像情報からオフィスの部屋の大きさ、数、配置されている物（机、椅子）の情報（位置関係等）を読み取る。作成部１６１は、読み取ったオフィスの情報に基づき、空間情報１５１を作成する。
　また、作成部１６１は、学習済みの生成モデルを用いて、空間情報１５１を生成してもよい。管理者は、入力部１１０を用いて、オフィスの部屋数、物の数等の特徴情報を入力する。作成部１６１は、入力された特徴情報を、生成モデルに入力し、生成モデルからの出力結果（空間情報１５１）を得る。たとえば、生成モデルは、ＧＡＮ（Generative　Adversarial　Network）等に対応する。
　表示部１６２は、空間情報１５１を基にして、図３で説明したオフィスＵＩ１５１ａを生成し、オフィスＵＩ１５１ａの情報を、端末装置１０に送信して表示させる。端末装置１０のユーザは、端末装置１０に表示されるオフィスＵＩ１５１ａを参照し、端末装置１０を操作することで、自身の位置を指示する。端末装置１０は、ユーザに指示された指示情報を、データ処理装置１００に送信する。指示情報には、端末装置およびユーザを識別する識別情報と、オフィスＵＩ１５１ａにおけるユーザの位置情報が含まれる。
　表示部１６２は、端末装置１０から指示情報を受信すると、指示情報を基にして、ユーザに対応するアイコンを、オフィスＵＩ１５１ａ上に配置し、アイコンを配置したオフィスＵＩ１５１ａの情報を、端末装置１０に送信して表示させる。表示部１６２は、端末装置１０から送信される指示情報を基にして、オフィスＵＩ１５１ａおよびアイコンをリアルタイムに更新する。
　ここで、端末装置１０のユーザは、クリック操作等によって、自身を表すアイコンを、オフィスＵＩ１５１ａ上の所望の位置に移動させる。図６及び図７は、アイコンの移動の一例を説明するための図である。
　図６について説明する。たとえば、端末装置１０ａのユーザＡに対応するアイコンをアイコン１１ａとし、端末装置１０ｂのユーザＢに対応するアイコンをアイコン１１ｂとする。ユーザＡは、端末装置１０ａを用いて、机ｄ４に対するクリック操作を行う。表示部１６２は、端末装置１０ａから、かかるクリック操作に関する指示情報を受信すると、アイコン１１ａを、机ｄ４に移行させる。
　図７について説明する。たとえば、端末装置１０ａのユーザＡに対応するアイコンをアイコン１１ａとし、端末装置１０ｂのユーザＢに対応するアイコンをアイコン１１ｂとし、端末装置１０ｃのユーザＣに対応するアイコンをアイコン１１ｃとする。ユーザＡは、端末装置１０ａを用いて、アイコン１１ｂ，１１ｃに対して、ドラックアンドドロップ操作を行う。表示部１６２は、端末装置１０ａから、かかるドラッグアンドドロップ操作に関する指示情報を受信すると、アイコン１１ｂ，１１ｃを、机ｄ２に移行させる。
　表示部１６２は、端末装置１０からの指示情報に応じて上記処理を実行しつつ、オフィスＵＩ１５１ａ上におけるユーザのアイコンの位置に関する情報を、通話部１６３に出力する。たとえば、アイコンには、ユーザおよび端末装置の識別情報が対応付けられているものとする。
　通話部１６３は、表示部１６２から取得した情報を基にして、通話を確立させる端末装置１０の組を特定し、特定した端末装置１０間の通話を確立させる。たとえば、通話部１６３は、各部屋を走査し、複数のアイコンが配置された部屋を特定し、複数のアイコンが配置された部屋毎に、通話を立ち上げる。
　図８は、本実施例１に係る通話部の処理を説明するための図である。図８に示す例では、部屋ｒ１に、アイコン１１ａ，１１ｂが配置されている。部屋ｒ２には、アイコン１１ｄが配置されている。部屋ｒ３には、アイコン１１ｃが配置されている。
　アイコン１１ａのユーザを、端末装置１０ａのユーザとする。アイコン１１ｂのユーザを、端末装置１０ｂのユーザとする。アイコン１１ｃのユーザを、端末装置１０ｃのユーザとする。アイコン１１ｄのユーザを、端末装置１０ｄのユーザとする。アイコン１１ｅのユーザを、端末装置１０ｅのユーザとする。図１では、端末装置１０ｄ，１０ｅの図示を省略した。
　図８において、通話部１６３は、部屋ｒ１に、複数のアイコン１１ａ，１１ｂが配置されているため、端末装置１０ａと端末装置１０ｂとの通話を確立する。たとえば、通話部１６３は、端末装置１０ａから取得する映像情報、音声情報を、端末装置１０ｂに送信し、端末装置１０ｂから取得する映像情報、音声情報を、端末装置１０ａに送信することで、通話を確立する。
　通話部１６３は、部屋ｒ２に、複数のアイコン１１ｄ，１１ｅが配置されているため、端末装置１０ｄと端末装置１０ｅとの通話を確立する。たとえば、通話部１６３は、端末装置１０ｄから取得する映像情報、音声情報を、端末装置１０ｅに送信し、端末装置１０ｅから取得する映像情報、音声情報を、端末装置１０ｄに送信することで、通話を確立する。
　次に、本実施例１に係るデータ処理装置１００の処理手順の一例について説明する。図９は、本実施例１に係るデータ処理装置の処理手順を示すフローチャートである。図９に示すように、データ処理装置１００は、空間情報１５１が存在する場合には（ステップＳ１０１，Ｙｅｓ）、ステップＳ１０３に移行する。一方、データ処理装置１００は、空間情報１５１が存在しない場合には（ステップＳ１０１，Ｎｏ）、ステップＳ１０２に移行する。
　データ処理装置１００の作成部１６１は、空間情報作成処理を実行する（ステップＳ１０２）。データ処理装置１００の表示部１６２は、空間情報１５１からオフィスＵＩの情報を読み込む（ステップＳ１０３）。表示部１６２は、オフィスＵＩの情報を正しく読み込んでいない場合には（ステップＳ１０４，Ｎｏ）、他のオフィスＩＤを受け付け（ステップＳ１０５）、ステップＳ１０３に移行する。
　表示部１６２は、オフィスＵＩの情報を正しく読み込んだ場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０６に移行する。表示部１６２は、端末装置１０にオフィスＵＩを表示させる（ステップＳ１０６）。表示部１６２は、端末装置１０から指示情報の指示情報の受信を開始する（ステップＳ１０７）。データ処理装置１００の通話部１６３は、通話処理を実行する（ステップＳ１０８）。
　次に、図９のステップＳ１０２で説明した空間情報作成処理の処理手順の一例について説明する。図１０は、空間情報作成処理の処理手順を示すフローチャートである。図１０に示すように、データ処理装置１００の作成部１６１は、手動で作成する場合には（ステップＳ２０１，Ｙｅｓ）、入力部１１０から入力される入力操作に応じて、オフィスＵＩを作成し（ステップＳ２０２）、ステップＳ２０５に移行する。
　一方、作成部１６１は、手動で作成しない場合には（ステップＳ２０１，Ｎｏ）、オフィスのレイアウト情報（あるいは、画像情報）を読み込む（ステップＳ２０３）。作成部１６１は、レイアウト情報を基にしてオフィスＵＩを作成し（ステップＳ２０４）、ステップＳ２０５に移行する。
　作成部１６１は、オフィスＵＩに対するカスタマイズを受け付け、オフィスＵＩを更新する（ステップＳ２０５）。ステップＳ２０６において、作成部１６１は受け付けるカスタマイズは、部屋や物（机、椅子等）の配置または削除に対応する。
　作成部１６１は、オフィスＵＩの部屋、物に対して、機能と役割を付与する（ステップＳ２０６）。作成部１６１は、オフィスＵＩの情報を、空間情報１５１に登録する（ステップＳ２０７）。
　次に、図９のステップＳ１０８で説明した通話処理の処理手順の一例について説明する。図１１は、通話処理の処理手順を示すフローチャートである。図１１に示すように、データ処理装置１００の通話部１６３は、複数のアイコンが配置された部屋で通話を立ち上げる（ステップＳ３０１）。
　通話部１６３は、複数のアイコンが配置された部屋に応じて、各端末装置の通話を確立する（ステップＳ３０２）。通話部１６３は、オフィスＵＩ上において、アイコンが別の部屋に移動した場合には（ステップＳ３０３，Ｙｅｓ）、ステップＳ３０５に移行する。通話部１６３は、オフィスＵＩ上において、アイコンが別の部屋に移動していない場合には（ステップＳ３０３，Ｎｏ）、ステップＳ３０４に移行する。
　通話部１６３は、オフィスＵＩに配置されるアイコンが無くなった場合には（ステップＳ３０４，Ｙｅｓ）、通話処理を終了する。通話部１６３は、オフィスＵＩに配置されるアイコンが無くなっていない場合には（ステップＳ３０４，Ｎｏ）、ステップＳ３０３に移行する。
　通話部１６３は、移動前の部屋に複数のアイコンが存在する場合には（ステップＳ３０５，Ｙｅｓ）、ステップＳ３０７に移行する。一方、通話部１６３は、移動前の部屋に複数のアイコンが存在しない場合には（ステップＳ３０５，Ｎｏ）、移動前の部屋の通話を終了し（ステップＳ３０６）、ステップＳ３０７に移行する。
　通話部１６３は、移動後の部屋で通話が立ち上がっている場合には（ステップＳ３０７，Ｙｅｓ）、ステップＳ３０２に移行する。一方、通話部１６３は、移動後の部屋で通話が立ち上がっていない場合には（ステップＳ３０７，Ｎｏ）、ステップＳ３０１に移行する。
　次に、本実施例１に係るデータ処理装置１００の効果について説明する。データ処理装置１００は、複数の部屋を有するオフィス環境を模した空間情報１５１を作成し、複数のユーザが利用する各端末装置１０から受信する指示情報を基にして、複数の部屋に、複数のユーザに対応する複数のアイコンを配置したオフィスＵＩを表示する。そして、データ処理装置１００は、オフィスＵＩにおいて複数のアイコンが表示された部屋毎に、同一の部屋に表示されている複数のアイコンに対応する複数の端末装置１０を接続して通話を確立させる。
　このように、データ処理装置１００が、複数のユーザに対応する各アイコンを配置したオフィスＵＩを表示することによって、リアルでは隔たれた空間にいるユーザが、ともに存在する同一の空間をバーチャルで提供することができる。また、同一の部屋に配置されたアイコンを基にして、通話を確立するため、複数のユーザが同じオフィスで勤務する環境を模した臨場感のあるコミュニケーションを行うことができる。
　また、データ処理装置１００は、オフィスＵＩを用いてシンプルにオフィス空間を表現するため、他者の存在を認識でき、かつ意識しすぎない空間が実現できる。これにより、皆で仕事をしているという一体感を生みつつ、集中力を向上させることができる。
　続いて、実施例２について説明する。図１２は、本実施例２に係るシステムの構成を示す図である。図１２に示すように、このシステム１Ｂは、端末装置１０ａ，１０ｂ，１０ｃと、データ処理装置２００とを有する。システム１Ｂでは、端末装置１０ａ～１０ｃおよびデータ処理装置２００を示すが、システム１Ｂは、他の端末装置、他のデータ端末装置を更に有していてもよい。
　端末装置１０ａ～１０ｃに関する説明は、実施例１の説明と同様である。特に区別する場合を除いて、端末装置１０ａ～１０ｃ、他の端末装置をまとめて、端末装置１０と表記する。
　端末装置１０と、データ処理装置１００とは、ネットワーク２を介して、相互に接続される。
　データ処理装置２００は、端末装置１０に備えられたカメラやマイク等のデバイスを用いてユーザの情報を取得し、ユーザの現在の状態を特定する。データ処理装置２００は、特定したユーザの状態をオフィスＵＩ上に表示し、リアルタイムに反映させることで、オフィスＵＩというバーチャル空間上でリアルなオフィスと同等の情報をユーザに提供することができる。
　図１３は、本実施例２に係るデータ処理装置の構成を示す機能ブロック図である。図１３に示すように、このデータ処理装置２００は、入力部２１０、出力部２２０、通信部２３０、情報取得部２４０、記憶部２５０、制御部２６０を有する。
　入力部２１０、出力部２２０、通信部２３０に関する説明は、実施例１で説明した入力部１１０、出力部１２０、通信部１３０に関する説明と同様である。
　情報取得部２４０は、端末装置１０のカメラによって撮影されて映像情報、端末装置１０のマイクによって収音された音声情報を、端末装置１０から取得する。また、情報取得部２４０は、端末装置１０から、ユーザによる端末装置１０の操作状況の情報を更に取得する。情報取得部２４０は、映像情報、音声情報、操作状況の情報を、制御部２６０に出力する。映像情報、音声情報、操作状況の情報には、端末装置およびユーザを識別する識別情報が付与されているものとする。
　記憶部２５０は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。本実施例２では、記憶部２５０は空間情報２５１を記憶する。
　空間情報２５１に関する説明は、実施例１で説明した空間情報１５１に関する説明と同様である。たとえば、空間情報２５１に基づいて、図３で説明したオフィスＵＩ１５１ａが表示される。
　制御部２６０は、ＣＰＵ等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部２６０は、作成部２６１、分析部２６２、表示部２６３、通話部２６４として機能する。
　作成部２６１は、空間情報２５１を作成する処理を実行する。たとえば、作成部２６１は、入力部２１０を操作する管理者の入力情報を基にして、空間情報２５１を作成する。作成部２６１に関するその他の説明は、実施例１の作成部１６１の説明と同様である。
　分析部２６２は、端末装置１０から受信する映像情報、音声情報、操作状況の情報を基にして、ユーザの状況を分析し、いくつかの状態（在席中、離席中、会話中等）へと分類する。たとえば、分析部２６２は、画像認識技術を用いて、映像情報からユーザが在席中か、離席中かをリアルタイムに特定する。分析部２６２は、音声認識技術を用いて、音声情報から、電話中、会議中、会話中等をリアルタイムに特定する。分析部２６２は、操作状況の情報を基にして、ユーザが業務を行っているか否かを特定する。
　ところで、分析部２６２は、オフィスに出社しているユーザに関して、上記の分析を行うことで、ユーザの状況をいくつかの状態へと分類するとともに、ユーザの端末装置１０から、ユーザの現在位置の情報を取得する。分析部２６２は、端末装置１０の歩数計、端末装置１０とオフィスの机に設置された無線通信のリンク状態（Ｗｉｆｉ、Bluetooth、その他の無線デバイスなどと通信する電波の強度、信号やリンクの品質等）の情報を用いて、オフィスに出社しているか否かを判定し、オフィスに出社している場合において、ユーザの移動位置を推定し、ユーザの現在位置を特定する。
　ユーザが、必要に応じて、映像や電波等により位置を特定できるセンサを身に着け、かかるセンサから分析部２６２が情報を取得して、ユーザの現在位置を特定してもよい。
　分析部２６２は、複数のユーザが同じ空間にいる場合に、端末装置１０から送信される映像情報、音声情報を基にして、端末装置１０のユーザだけではなく、他のユーザの状態を更に特定してもよい。たとえば、分析部２６２は、映像情報に含まれる他のユーザに関して、かかるユーザの状態と現在位置とを特定することで、ユーザの状態をより正確に取得することができる。
　上述した分析部２６２が、ユーザの状態を特定する処理は、一例であり、ほかの技術によって、ユーザの状態を特定してもよい。
　分析部２６２は、上記の処理を実行することで、オフィスに出社していないユーザに関しては、ユーザの状態と、識別情報とを対応付けたユーザ状態情報を、表示部２６３に出力する。一方、分析部２６２は、オフィスに出社しているユーザに関しては、ユーザの状態と、ユーザの現在位置と、識別情報とを対応付けたユーザ状態情報を、表示部２６３に出力する。
　表示部２６３は、実施例１で説明した表示部１６２と同様にして、端末装置１０から指示情報を受信すると、指示情報を基にして、ユーザ（テレワークのユーザ）に対応するアイコンを、オフィスＵＩ１５１ａ上に配置する。また、表示部２６３は、ユーザ状態情報に含まれる現在位置を基にして、ユーザ（オフィスに出社しているユーザ）のアイコンを、オフィスＵＩ１５１ａ上に配置する。表示部２６３は、アイコンを配置したオフィスＵＩ１５１ａの情報を、端末装置１０に送信して表示させる。
　ここで、表示部２６３は、分析部２６２から取得したユーザ状態情報を基にして、ユーザの状態を、アイコンの色やマーク、点滅、動き、音声等により表示する。図１４は、ユーザの状態を表すアイコンの一例を示す図である。ここでは、端末装置１０ａのユーザＡのアイコン１１ａを用いて説明を行う。表示部２６３は、ユーザＡの状態を基にして、アイコン１１ａの枠１２の色を変化させる。たとえば、ユーザＡが在席中である場合には、枠１２の色を第１の色で表示し、離席中である場合には、第２の色で表示し、会話中である場合には、第３の色で表示する。
　また、表示部２６３は、ユーザＡがオフィスに出社しているか否かを基にして、マーク１３をアイコン１１ａに付与する。たとえば、表示部２６３は、ユーザＡが出社している場合に、マーク１３を付与する。なお、表示部２６３は、オフィスＵＩ１５１ａ上に配置した各アイコンのユーザの出社状況に応じて、出社グループ、テレワークグループに分類し、少数派のグループにユーザＡが属する場合に、マーク１３を付与してもよい。
　更に、表示部２６３は、アイコン１１ａの中に、ユーザの名前、画像、イラスト等を表示させてもよい。ユーザの名前、画像、イラスト等は、識別情報と対応付けられて、記憶部２５０に格納されているものとする。
　図１５は、本実施例２に係る表示部の処理を説明するための図である。図１５に示すように、オフィスＵＩ１５１ｂには、アイコン１１ａ～１１ｑが配置されている。たとえば、アイコン１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｈ，１１ｉ，１１ｋ，１１ｍは、枠の色が第１の色であるため、かかるアイコンに対応するユーザが在席中であることを示す。アイコン１１ｌ，１１ｐ，１１ｑの枠の色が第２の色であるため、かかるアイコンに対応するユーザが離席中であることを示す。アイコン１１ｅ，１１ｆ，１１ｇ，１１ｊ，１１ｎ，１１ｐの枠の色が第３の色であるため、かかるアイコンに対応するユーザが離席中であることを示す。
　また、表示部２６３は、アイコン１１ａ，１１ｇ，１１ｈ，１１ｉ，１１ｌ，１１ｎ，１１ｐにマークを付与する。たとえば、アイコン１１ａのユーザがテレワーク中であるとすると、マークが付与された各アイコン１１ａ，１１ｇ，１１ｈ，１１ｉ，１１ｌ，１１ｎ，１１ｐのユーザは、テレワークであることを意味する。
　表示部２６３は、椅子の色を変更することで、ユーザの出席、欠席を区別可能に表示してもよい。また、表示部２６３は、部屋の色を強調表示することで、使用中であることを示してもよい。
　表示部２６３は、端末装置１０からの指示情報に応じて上記処理を実行しつつ、オフィスＵＩ１５１ｂ上におけるユーザのアイコンの位置に関する情報を、通話部２６４に出力する。たとえば、アイコンには、ユーザおよび端末装置の識別情報が対応付けられているものとする。
　図１３の説明に戻る。通話部２６４は、表示部２６３から取得した情報を基にして、通話を確立させる端末装置１０の組を特定し、特定した端末装置１０間の通話を確立させる。たとえば、通話部２６４は、各部屋を走査し、複数のアイコンが配置された部屋を特定し、複数のアイコンが配置された部屋毎に、通話を立ち上げる。通話部２６４に関するその他の説明は、実施例１で説明した通話部１６３に関する説明と同様である。
　次に、本実施例２に係る分析部２６２の処理手順の一例について説明する。図１６は、本実施例２に係る分析部の処理手順を示すフローチャートである。図１６に示すように、データ処理装置２００の分析部２６２は、情報取得部２４０を介して、端末装置１０から映像情報、音声情報、操作状況の情報を取得する（ステップＳ４０１）。
　分析部２６２は、映像情報、音声情報、操作状況の情報を基にして、ユーザの状態を分析する（ステップＳ４０２）。分析部２６２は、ユーザの状態を特定できなかった場合には（ステップＳ４０３，Ｎｏ）、処理を終了する。
　一方、分析部２６２は、ユーザの状態を特定できた場合には（ステップＳ４０３，Ｙｅｓ）、ユーザがオフィスに存在するか否かを判定する（ステップＳ４０４）。分析部２６２は、ユーザがオフィスに存在しない場合には（ステップＳ４０４，Ｎｏ）、ステップＳ４０６に移行する。
　一方、分析部２６２は、ユーザがオフィスに存在する場合には（ステップＳ４０４，Ｙｅｓ）、情報取得部２４０を介して得られる端末装置１０の情報から、ユーザの現在位置を特定する（ステップＳ４０５）。分析部２６２は、ユーザ状態情報を表示部２６３に出力する（ステップＳ４０６）。
　ところで、図１６で説明した分析部２６２の処理は一例である。分析部２６２は、ユーザがオフィスにいない場合に、ユーザの現在位置を、各ユーザに設定した定位置に固定としてもよい。また、分析部２６２は、ユーザの割り当てられていない机の前など、実際のオフィスを想定した場合に、かかるユーザが業務を行う可能性のある場所のオフィスＵＩ上の位置に固定としてもよい。実施例１と同様にして、ユーザがオフィスＵＩ上の現在位置を指定してもよい。
　ここで、表示部２６３は、ユーザ状態情報を基にして、オフィスＵＩを表示させるが、ユーザの操作による移動や、会議、会話での移動以外は、ユーザの現在位置の反映を行わず、ユーザの状態のみをアイコンに反映させてもよい。表示部２６３は、分析部２６２で特定された情報から、オフィスにいる場合に対応する居場所を推定し、オフィスＵＩ上に反映させてもよい。
　次に、本実施例２に係るデータ処理装置２００の効果について説明する。データ処理装置２００は、端末装置１０から、映像情報、音声情報、操作状況の情報を取得し、ユーザの状態を特定し、特定した状態に応じた色、マーク等によって、アイコンを表示させる。また、ユーザの現在位置を推定し、オフィスＵＩ上に配置する。これによって、ユーザは、他のユーザの状態や現在位置をオフィスＵＩ上で簡易に把握することができる。
　また、データ処理装置２００によれば、リアル空間で取得できる、他人の位置や状態といった情報をバーチャル空間でも取得することができる。また、ユーザ自身の姿や、ユーザの自宅の映像を映さないことにより、ユーザのストレスを軽減することができる。
　続いて、実施例３について説明する。図１７は、本実施例３に係るシステムの構成を示す図である。図１７に示すように、このシステム１Ｃは、端末装置１０ａ，１０ｂ，１０ｃと、データ処理装置３００とを有する。システム１Ｃでは、端末装置１０ａ～１０ｃおよびデータ処理装置３００を示すが、システム１Ｃは、他の端末装置、他のデータ端末装置を更に有していてもよい。
　端末装置１０ａ～１０ｃに関する説明は、実施例１の説明と同様である。特に区別する場合を除いて、端末装置１０ａ～１０ｃ、他の端末装置をまとめて、端末装置１０と表記する。
　端末装置１０と、データ処理装置３００とは、ネットワーク２を介して、相互に接続される。
　データ処理装置３００は、実施例２のデータ処理装置２００の処理に加えて、音声情報を分析し、分析した音声内容に基づいて、情報の切り捨て、可視化を行うことで、バーチャル空間のコミュニケーションを充実させることを可能にする。
　図１８は、本実施例３に係るデータ処理装置の構成を示す機能ブロック図である。図１８に示すように、このデータ処理装置３００は、入力部３１０、出力部３２０、通信部３３０、情報取得部３４０、記憶部３５０、制御部３６０を有する。
　入力部３１０、出力部３２０、通信部３３０に関する説明は、実施例１で説明した入力部１１０、出力部１２０、通信部１３０に関する説明と同様である。
　情報取得部３４０は、端末装置１０のカメラによって撮影されて映像情報、端末装置１０のマイクによって収音された音声情報を、端末装置１０から取得する。また、情報取得部３４０は、端末装置１０から、ユーザによる端末装置１０の操作状況の情報を更に取得する。情報取得部３４０は、映像情報、音声情報、操作状況の情報を、制御部３６０に出力する。映像情報、音声情報、操作状況の情報には、端末装置およびユーザを識別する識別情報が付与されているものとする。
　記憶部３５０は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。本実施例３では、記憶部３５０は空間情報２５１を記憶する。
　空間情報３５１に関する説明は、実施例１で説明した空間情報１５１に関する説明と同様である。たとえば、空間情報３５１に基づいて、図３、図１５で説明したオフィスＵＩ１５１ａ，１５１ｂが表示される。
　制御部３６０は、ＣＰＵ等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部３６０は、作成部３６１、分析部３６２、表示部３６３、通話部３６４として機能する。
　作成部３６１は、空間情報３５１を作成する処理を実行する。たとえば、作成部３６１は、入力部３１０を操作する管理者の入力情報を基にして、空間情報３５１を作成する。作成部３６１に関するその他の説明は、実施例１の作成部１６１の説明と同様である。
　分析部３６２は、情報取得部２４０で取得された音声情報について、音声、会話分析技術を用いて、発話、会話の内容を分析する。
　分析部３６２は、発話、会話の分析結果を基にして、発話、会話内容の特定、特徴的な単語の抽出を行う。また、分析部３６２は、特定した発話、会話の内容から、他のユーザに伝えるか否かを判定する。たとえば、分析部３６２は、発話内容が独り言や社外の人物との電話、または業務に関係のない人物との会話等の場合、周りのユーザに伝えない音声であると判定する。また、分析部３６２は、複数のユーザによる会話が、一部のユーザのみに関与する業務についての内容であった場合、業務に関与するユーザ以外には伝えない音声と判定する。
　分析部３６２は、他のユーザに伝えない発話、会話の内容を定義したテーブルを基にして、発話、会話の内容から、他のユーザに伝えるか否かを判定する。分析部３６２は、ユーザの識別情報と、所属部署との関係と、部署固有の発話の内容とを定義したテーブルを用いて、業務に関与するユーザ以外には伝えない音声を特定する。
　分析部３６２は、分析した音声情報の内容と、判定結果（他のユーザに伝えるか否かの判定結果）を、表示部３６３、通話部３６４に出力する。説明を省略するが、分析部３６２は、実施例２の分析部２６２と同様にして、映像情報、音声情報、操作情報の情報を基にして、ユーザの状態を特定し、表示部３６３に出力してもよい。
　表示部３６３は、分析部３６２から取得する音声情報の内容と、判定結果とを基にして、オフィスＵＩ上のアイコンの位置を調整する。たとえば、表示部３６３は、端末装置１０から受信した音声情報が、一部のユーザのみに関与する業務についての会話である場合には、会話中のユーザのアイコンの位置を別の部屋へと移動させる。これによって、部屋が別々となるため、業務に関する会話と関係のないユーザに音声が聞こえないように調整される（後述の通話部３６４は、同一の部屋のアイコンに対応する端末装置同士で通話を確立するため）。
　表示部３６３は、ユーザのアイコンを移動させた先の部屋に、他の業務に関する会話中のユーザのアイコンが配置されており、残りの部屋が存在しない場合には、一時的な部屋を自動生成し、かかる部屋にユーザのアイコンを移動させる。また、表示部３６３は、会話中のユーザのうち一部のみが、実際のオフィスの会議室等を利用している場合、その他のユーザを、自動生成した部屋に移動させてもよい。
　表示部３６３は、会話を行っているユーザが実際にオフィスにいる場合には、ユーザの実際の位置を一時的に無視してオフィスＵＩ上の現在位置を移動させ、会話の終了とともに、ユーザの実際の現在位置にアイコンを戻してもよい。
　更に、表示部３６３は、分析部３６２から取得した会話の内容、特徴的な単語をオフィスＵＩ上で可視化する。図１９は、オフィスＵＩ上での会話内容の可視化の一例を示す図である。図１９に示すように、会話内容は、会話中のユーザの近くに吹き出し等で示される。表示部３６３は、吹き出しの色や形等によって、話題のジャンル（業務に関する話題、一般のニュースに関する話題）等を区別可能に表示させる。
　表示部３６３は、会話中の特徴的な単語は、吹き出し内の単語により表す。図１９において、たとえば、吹き出しｂ１－１、ｂ１－２、ｂ－３は、業務に関する吹き出しであり、吹き出しｂ２－１、ｂ２－２、ｂ２－３は、特徴的な単語に関する吹き出しである。表示部３６３がかかる処理を実行することで、遠く離れた場所で行われている会話について、聞き耳を立てて情報を取得すること（実際に音声情報として聞き取れなくても、オフィスＵＩの吹き出しによって、会話の内容を理解すること）が可能となる。また、表示部３５３は、全ての音声情報を吹き出しとして表示しておらず、業務に関する話題、ニュースに関する話題、特徴的な単語のみを表示するため、会話を聞かれることに関する不快感を軽減することが可能になる。
　説明を省略するが、表示部３６３は、実施例２の表示部２６３と同様にして、ユーザの状態を視覚可能に、アイコンに反映させてもよい。
　通話部３６４は、表示部３６３から取得した情報を基にして、通話を確立させる端末装置１０の組を特定し、特定した端末装置１０間の通話を確立させる。たとえば、通話部３６４は、各部屋を走査し、複数のアイコンが配置された部屋を特定し、複数のアイコンが配置された部屋毎に、通話を立ち上げる。
　ここで、通話部３６４は、分析部３６２から取得した情報を基にして、端末装置間の音声情報の送受信を制御する。たとえば、端末装置１０ａ，１０ｂとの間で通話が確立されている場合において、端末装置１０ａの音声情報が、他のユーザに伝えない音声情報と判定されている間、通話部３６４は、端末装置１０ａから端末装置１０ｂへの音声情報の送信を一時的に停止させる。その後、通話部３６４は、端末装置１０ａの音声情報が、他のユーザに伝える音声情報と判定された場合、音声情報の送信を再開する。
　次に、本実施例３に係るデータ処理装置３００の処理手順の一例について説明する。図２０は、本実施例３に係るデータ処理装置の処理手順を示すフローチャートである。図２０に示すように、データ処理装置３００の分析部３６２は、音声情報を取得する（ステップＳ５０１）。
　分析部３６２は、音声情報を分析する（ステップＳ５０２）。分析部３６２は、取得した音声情報が、周りのユーザに伝える音声情報である場合には（ステップＳ５０３，Ｙｅｓ）、ステップＳ５０４に移行する。一方、分析部３６２は、周りのユーザに伝える音声情報でない場合には（ステップＳ５０３，Ｎｏ）、ステップＳ５０６に移行する。
　分析部３６２は、会話内容、特徴的な単語を抽出できなかった場合には（ステップＳ５０４，Ｎｏ）、処理を終了する。一方、分析部３６２は、会話内容、特徴的な単語を抽出できた場合には（ステップＳ５０４，Ｙｅｓ）、ステップＳ５０５に移行する。
　データ処理装置３００の表示部３６３は、アイコンに吹き出しを表示する（ステップＳ５０５）。なお、表示部３６３は、周りのユーザに聞こえないように、アイコンの位置を移動させる（ステップＳ５０６）。
　次に、本実施例３に係るデータ処理装置３００の効果について説明する。データ処理装置３００は、音声情報を分析し、他のユーザにとって必要な情報か否かを判断し、不要と判断した音声情報は伝達されないよう調整することで、集中を阻害する要因を排除することができる。
　また、データ処理装置３００では、音声情報を分析し、会話内容や特徴的な単語などの情報を抽出する。そして、これらの情報をオフィスＵＩ上で可視化することで、ユーザから離れた場所で行われている会話についての情報を取得可能とする。これにより、離れた場所で行われている会話に入りやすくなり、コミュニケーションの機会を増加させることができる。
　続いて、実施例４について説明する。図２１は、本実施例４に係るシステムの構成を示す図である。図２１に示すように、このシステム１Ｄは、端末装置１０ａ，１０ｂ，１０ｃと、データ処理装置４００とを有する。システム１Ｄでは、端末装置１０ａ～１０ｃおよびデータ処理装置４００を示すが、システム１Ｄは、他の端末装置、他のデータ端末装置を更に有していてもよい。
　端末装置１０ａ～１０ｃに関する説明は、実施例１の説明と同様である。特に区別する場合を除いて、端末装置１０ａ～１０ｃ、他の端末装置をまとめて、端末装置１０と表記する。
　端末装置１０と、データ処理装置４００とは、ネットワーク２を介して、相互に接続される。
　データ処理装置４００は、オフィスＵＩ上のアイコン間の距離や発話者の音量に基づいて、通話時の音声の聞こえ方を調整することにより、バーチャル空間上の会話環境をリアルに近づけることを実現する。また、データ処理装置４００は、通話時の音声環境をオフィスＵＩ上で可視化することで、より快適な会話環境の提供を可能にする。
　図２２は、本実施例４に係るデータ処理装置の構成を示す機能ブロック図である。図２２に示すように、このデータ処理装置４００は、入力部４１０、出力部４２０、通信部４３０、情報取得部４４０、記憶部４５０、制御部４６０を有する。
　入力部４１０、出力部４２０、通信部４３０に関する説明は、実施例１で説明した入力部１１０、出力部１２０、通信部１３０に関する説明と同様である。
　情報取得部４４０は、端末装置１０のカメラによって撮影されて映像情報、端末装置１０のマイクによって収音された音声情報を、端末装置１０から取得する。また、情報取得部４４０は、端末装置１０から、ユーザによる端末装置１０の操作状況の情報を更に取得する。情報取得部４４０は、映像情報、音声情報、操作状況の情報を、制御部４６０に出力する。映像情報、音声情報、操作状況の情報には、端末装置およびユーザを識別する識別情報が付与されているものとする。
　記憶部４５０は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。本実施例４では、記憶部４５０は空間情報４５１と、ユーザ音声情報４５２とを記憶する。
　空間情報４５１に関する説明は、実施例１で説明した空間情報１５１に関する説明と同様である。たとえば、空間情報４５１に基づいて、図３、図１５で説明したオフィスＵＩ１５１ａ，１５１ｂが表示される。
　ユーザ音声情報４５２は、予め登録された、各々のユーザの通常の会話中の音量、ユーザの業務内容に応じて付与された属性の情報等を含む。たとえば、ユーザ音声情報４５２は、各ユーザの識別情報に関して、会話中の音量と、属性とを対応付ける。属性は、所属部署等に対応する。
　制御部４６０は、ＣＰＵ等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部４６０は、作成部４６１、分析部４６２、表示部４６３、通話部４６４として機能する。
　作成部４６１は、空間情報４５１を作成する処理を実行する。たとえば、作成部４６１は、入力部４１０を操作する管理者の入力情報を基にして、空間情報４５１を作成する。作成部４６１に関するその他の説明は、実施例１の作成部１６１の説明と同様である。
　分析部４６２は、情報取得部４４０で取得された音声情報と、ユーザ音声情報４５２とを基にして、発話、会話の内容を分析する。たとえば、分析部４６２は、通常の会話中の音量と音声情報の音量との違い、また、各ユーザの属性を特定する。たとえば、分析部４６２は、ある属性と、他の属性との近さとを定義したテーブルを基にして、各ユーザの属性の近さを分析してもよい。
　分析部４６２は、分析結果を、表示部４６３、通話部４６４に出力する。分析結果には、ユーザの識別情報、通常の会話中の音量と音声情報の音量との違い、ユーザの属性の近さが含まれる。
　表示部４６３は、実施例１で説明した表示部１６２と同様にして、端末装置１０から指示情報を受信すると、指示情報を基にして、ユーザ（テレワークのユーザ）に対応するアイコンを、オフィスＵＩ１５１ａ上に配置する。また、表示部４６３は、ユーザ状態情報に含まれる現在位置を基にして、ユーザ（オフィスに出社しているユーザ）のアイコンを、オフィスＵＩ１５１ａ上に配置してもよい。表示部４６３は、アイコンを配置したオフィスＵＩ１５１ａの情報を、端末装置１０に送信して表示させる。
　表示部４６３は、オフィスＵＩ１５１ａ上のアイコン同士の距離情報を通話部４６４に出力する。たとえば、距離情報には、対象となるユーザの識別情報と、ユーザ間の距離の情報が含まれる。
　通話部４６４は、分析部４６２から取得した分析結果と、表示部４６３から取得した距離情報とを基にして、通話の確立した端末装置間における音量を調整する。
　通話部４６４は、ユーザＡの端末装置１０ａと、ユーザＢの端末装置１０ｂとで、通話が確立しており、ユーザＡのアイコンの距離と、ユーザＢのアイコンの距離が離れている場合（閾値以上の場合）には、端末装置１０ｂから出力されるユーザＡの音声を小さくする制御を行う。通話部は、端末装置１０ａから出力されるユーザＢの音声を小さくする制御を行う。
　通話部４６４は、ユーザＡのアイコンと、ユーザＢのアイコンとの距離が閾値未満であり、ユーザＡのアイコンと、ユーザＣのアイコンとの距離が閾値以上であり、かつ、ユーザＡの音声情報の音量が、通常の会話の音量よりも小さい場合、次のように通話の音量を制御する。通話部４６４は、ユーザの音声の聞こえる範囲を小さくする調整を行う。たとえば、通話部４６４は、ユーザＡのアイコンの位置を基準とする調整後の範囲に、ユーザＢのアイコンが含まれ、ユーザＣのアイコンが含まれない場合には、ユーザＡの音声情報の音量を通常の音量のまま、ユーザＢの端末装置１０ｂから出力させ、ユーザＣの端末装置１０ｃからユーザＡの音声情報を出力しない。
　また、通話部４６４は、ユーザＡの音声情報の音量と通常の会話の音量との違いが小さく、ユーザＢの音声情報の音量と通常の会話の音量との違いが小さい場合には、端末装置１０から出力するユーザＡの音声と、ユーザＢの音声とを同一の音量に調整してもよい。すなわち、通話部４６４は、音声の音量の個人差によらず、一定の大きさで音声を端末装置１０から出力させる。
　通話部４６４は、ユーザに関する業務に応じて、音量の調整や音声のカットを行ってもよい。たとえば、ユーザの業務内容に応じてユーザに属性を付与し、近くで会話を行っている他のユーザの属性が少し違う場合には音量を少し下げ、属性が大きく異なる場合には音声をカットする。通話部４６４は、各ユーザの属性の近さに関する情報を、分析部４６２から取得してもよいし、ユーザの属性の組み合わせと、通話の制御内容（音量を下げる、音声をカットする等）とを対応付けたテーブルを基にして、通話の制御を行ってもよい。
　通話部４６４は、通話の相手が受信した音声についての情報を、分析部４６２に出力する。
　ここで、分析部４６２は、上記の処理に加えて、通話部４６４から、通話の相手が受信した音声についての情報を取得し、取得した情報を基にして、明瞭度や了解度、遅延の有無といった品質を音声品質評価技術や会話分析技術を用いて分析し、分析結果を、表示部４６３に出力する。
　表示部４６３は、上記の処理に加えて、分析部４６２から通知された分析結果（音声の品質）、ユーザに関する情報を基にして、オフィスＵＩ上に通話状況を視覚可能に表示する。図２３は、本実施例４に係る表示部の処理を説明するための図である。
　図２３に示すように、表示部４６３は、ユーザが発生しているときには、同心円を描画し、聞こえる範囲と大きさを表示する。図２３では、ユーザＡに対応するアイコン１１ａ、ユーザＢに対応するアイコン１１ｂ、ユーザＣに対応するアイコン１１ｃを示す。ここでは、ユーザＢが発話しており、ユーザＢによる音声情報を聞き取り可能な範囲が同心円１６ｂによって示される。また、ユーザＡの端末装置１０ｂから出力されるユーザＢの音量をバー１５ａで示し、ユーザＣの端末装置１０ｃから出力されるユーザＢの音量をバー１５ｃで示す。表示部４６３は、アイコン１１ｂとアイコン１１ｃとの距離が、アイコン１１ｂとアイコン１１ａとの距離より小さいため、バー１５ｃに示される音量が、バー１５ａに示される音量よりも大きく表示する。
　次に、本実施例４に係るデータ処理装置４００の処理手順の一例について説明する。図２４は、本実施例４に係るデータ処理装置の処理手順を示すフローチャートである。図２４に示すように、データ処理装置４００の分析部４６２は、情報取得部４４０を用いて、音声情報を取得する（ステップＳ６０１）。
　分析部４６２は、音声情報とユーザ音声情報４５２とを比較して分析を行い、分析結果を通話部４６４に出力する（ステップＳ６０２）。データ処理装置４００の表示部４６３は、オフィスＵＩ上の各アイコンの距離、属性を比較し、距離情報、属性の情報を通話部４６４に出力する（ステップＳ６０３）。
　データ処理装置４００の通話部４６４は、分析結果、距離情報、属性の情報を基にして、通話を確立する端末装置から出力される音声の音量を調整する（ステップＳ６０４）。表示部４６３は、発声状況をオフィスＵＩ上に表示する（ステップＳ６０５）。
　分析部４６２は、通話部４６４から通話の相手がどのように聞こえるかについての情報を取得する（ステップＳ６０６）。分析部４６２は、通話の相手の聞こえ方を取得しない場合には（ステップＳ６０７，Ｎｏ）、処理を終了する。
　分析部４６２は、通話の相手の聞こえ方を取得した場合には（ステップＳ６０７，Ｙｅｓ）、ステップＳ６０８に移行する。表示部４６３は、音声の聞こえ方をオフィスＵＩ上に表示する（ステップＳ６０８）。
　次に、本実施例４に係るデータ処理装置４００の効果について説明する。データ処理装置４００は、通話を確立する際に、ＵＩにおけるユーザ同士の位置と、ユーザの音声の音量に基づいて、音声の聞こえる範囲と音量の大きさを調整する。これにより、バーチャル空間上の会話環境をリアルの会話環境に近づけ、快適なコミュニケーションを実現する。
　データ処理装置４００は、各々のユーザについて、正常な音声や通常の会話時の声量の登録を行っておく。データ処理装置４００は、登録された情報に基づいて、音量の個人差によらない一定の音量での通話や、会話中の音声品質のオフィスＵＩ上での可視化を行うことができる。これにより、快適な会話環境の提供を実現する。
　図２５は、データ処理プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、たとえば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、たとえば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、たとえば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、たとえば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、たとえば、ディスプレイ１０６１が接続される。
　ここで、ハードディスクドライブ１０３１は、たとえば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、たとえばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
　また、データ処理プログラムは、たとえば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明したデータ処理装置１００（２００，３００，４００）が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
　また、データ処理プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、たとえば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
　なお、データ処理プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、たとえば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、データ処理プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide　Area　Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
　１００，２００，３００，４００　　データ処理装置
　１１０，２１０，３１０，４１０　　入力部
　１２０，２２０，３２０，４２０　　出力部
　１３０，２３０，３３０，４３０　　通信部
　１４０，２４０，３４０，４４０　　情報取得部
　１５０，２５０，３５０，４５０　　記憶部
　１５１，２５１，３５１，４５１　　空間情報
　１６０，２６０，３６０，４６０　　制御部
　１６１，２６１，３６１，４６１　　作成部
　１６２，２６３，３６３，４６３　　表示部
　１６３，２６４，３６４，４６４　　通話部
　２６２，３６２，４６２　　分析部
　４５２　　ユーザ音声情報

Claims (8)

  1. 　複数の部屋を有するオフィス環境を模した空間情報を作成する作成部と
    　複数のユーザが利用する各端末装置からの指示情報を基にして、前記複数の部屋に、複数のユーザに対応する複数のアイコンを配置した空間情報を表示させる表示部と、
    　前記空間情報において複数のアイコンが表示された部屋毎に、同一の部屋に表示されている複数のアイコンに対応する複数の端末装置を接続して通話を確立させる通話部と
    　を備えることを特徴とするデータ処理装置。
  2. 　前記ユーザの映像情報、前記ユーザの音声情報と、前記端末装置に対する操作状況の情報を含むユーザ情報を基にして、前記ユーザの状態を特定する分析部を更に備え、前記表示部は、前記ユーザ情報に対応するユーザのアイコンについて、前記ユーザの状態を視覚可能に表示することを特徴とする請求項１に記載のデータ処理装置。
  3. 　前記分析部は、前記ユーザの音声情報を基にして、所定の会話内容に対応するか否かを分析し、前記表示部は、前記分析部の分析結果を基にして、前記アイコンの位置を調整することを特徴とする請求項２に記載のデータ処理装置。
  4. 　前記表示部は、オフィスに存在するユーザの位置情報を取得し、取得した位置情報を基にして、前記オフィスに存在するユーザに対応するアイコンを、空間情報に配置することを特徴とする請求項１に記載のデータ処理装置。
  5. 　前記通話部は、通話を確立させた複数の端末装置に対応する各ユーザのアイコン間の距離を基にして、各ユーザの音声の音量を調整する処理を更に実行することを特徴とする請求項１に記載のデータ処理装置。
  6. 　前記表示部は、前記通話部による音量の調整結果を視覚可能に前記アイコンに表示させる処理を更に実行することを特徴とする請求項５に記載のデータ処理装置。
  7. 　複数の部屋を有するオフィス環境を模した空間情報を作成する作成工程と
    　複数のユーザが利用する各端末装置からの指示情報を基にして、前記複数の部屋に、複数のユーザに対応する複数のアイコンを配置した空間情報を表示させる表示工程と、
    　前記空間情報において複数のアイコンが表示された部屋毎に、同一の部屋に表示されている複数のアイコンに対応する複数の端末装置を接続して通話を確立させる通話工程と
    　を含んだことを特徴とするデータ処理方法。
  8. 　コンピュータを請求項１～６に記載のデータ処理装置として機能させるためのデータ処理プログラム。
PCT/JP2020/044380 2020-11-27 2020-11-27 データ処理装置、データ処理方法およびデータ処理プログラム Ceased WO2022113307A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022564968A JP7533618B2 (ja) 2020-11-27 2020-11-27 データ処理装置、データ処理方法およびデータ処理プログラム
US18/038,946 US12500998B2 (en) 2020-11-27 2020-11-27 Data processing device, data processing method, and data processing program
PCT/JP2020/044380 WO2022113307A1 (ja) 2020-11-27 2020-11-27 データ処理装置、データ処理方法およびデータ処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/044380 WO2022113307A1 (ja) 2020-11-27 2020-11-27 データ処理装置、データ処理方法およびデータ処理プログラム

Publications (1)

Publication Number Publication Date
WO2022113307A1 true WO2022113307A1 (ja) 2022-06-02

Family

ID=81755430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044380 Ceased WO2022113307A1 (ja) 2020-11-27 2020-11-27 データ処理装置、データ処理方法およびデータ処理プログラム

Country Status (3)

Country Link
US (1) US12500998B2 (ja)
JP (1) JP7533618B2 (ja)
WO (1) WO2022113307A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024024879A (ja) * 2022-08-10 2024-02-26 シャープ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024010792A (ja) * 2022-07-13 2024-01-25 シャープ株式会社 音声制御システム、音声制御方法、及び音声制御プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2954673A2 (en) * 2013-02-07 2015-12-16 Bansal, Sanjay A graphical user interface (gui) for a conference call
JP6729193B2 (ja) * 2016-08-31 2020-07-22 沖電気工業株式会社 情報処理サーバ、情報処理システム、端末装置、及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Zoom SpatialChat", 15 May 2020 (2020-05-15), pages 1 - 10, XP055941298, Retrieved from the Internet <URL:https://internet.watch.impress.co.jp/docs/review/1252198.html> [retrieved on 20220712] *
HIRATA, TOSHIYUKI ET AL.: "Development and Evaluation of Situation Information Sharing System Based on User's Permission-based Privacy", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 48, no. 1, 15 January 2007 (2007-01-15), pages 189 - 199 *
MURAKAMI, MARIKO: "Part 3 A new way of work style next to telework, To the era of 'attendance' in virtual space", TELECOMMUNICATION JUNE 2020, vol. 37, no. 6, 25 May 2020 (2020-05-25), pages 16 - 19 *
YATSUNAMI, SHIHO: "Visualize presence with 'Remo' Eliminate loneliness in the remote work", WEB DESIGNING AUGUST 2020, vol. 20, no. 4, 23 June 2020 (2020-06-23), pages 50 - 53 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024024879A (ja) * 2022-08-10 2024-02-26 シャープ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
JP7847058B2 (ja) 2022-08-10 2026-04-16 シャープ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム

Also Published As

Publication number Publication date
JP7533618B2 (ja) 2024-08-14
US12500998B2 (en) 2025-12-16
US20230421724A1 (en) 2023-12-28
JPWO2022113307A1 (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
EP2962423B1 (en) Controlling an electronic conference based on detection of intended versus unintended sound
EP2016705B1 (en) Managing conference call participants in a roster
CN103534689B (zh) 存在的展示或共享状态
US8744065B2 (en) Method and system for monitoring contact center transactions
US20040064322A1 (en) Automatic consolidation of voice enabled multi-user meeting minutes
WO2018183020A1 (en) Headset with multiple microphone booms
EP4248645A2 (en) Spatial audio in video conference calls based on content type or participant role
TW202119392A (zh) 支援人機協作的即時簡訊機器人的系統及方法
JP2539153B2 (ja) 仮想会議システム用端末装置及び仮想会議システム
KR102178174B1 (ko) 사용자 단말, 방송 장치, 이를 포함하는 방송 시스템 및 그 제어방법
JP7533618B2 (ja) データ処理装置、データ処理方法およびデータ処理プログラム
JP2023506186A (ja) 使用者端末、ビデオ通話装置、ビデオ通話システム、及びその制御方法
US9369587B2 (en) System and method for software turret phone capabilities
WO2023087287A1 (zh) 一种会议内容显示的方法、会议系统及会议设备
US20230262169A1 (en) Core Sound Manager
KR101577144B1 (ko) 디스플레이부의 화면공유를 통한 원격회의시스템 및 방법
CN114520950B (zh) 音频输出方法、装置、电子设备及可读存储介质
JP2009253625A (ja) 情報収集・テレビ会議実施制御装置、情報収集・テレビ会議実施制御方法、情報収集・テレビ会議実施制御プログラムおよびテレビ会議システム
WO2022215361A1 (ja) 情報処理装置及び情報処理方法
US12413928B2 (en) Voice processing system, voice processing method, and recording medium having voice processing program recorded thereon
US20230379435A1 (en) Meeting management apparatus, meeting management method, and non-transitory computer-readable medium
WO2019176010A1 (ja) 情報提供装置
US12095829B2 (en) Method for managing communication channel for each of a plurality of participants of online meeting room and system using the same
JP2021022911A (ja) 電話営業用ｃｔｉシステム
JP7584996B2 (ja) 仮想イベントシステム、情報処理装置、出力制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20963571

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022564968

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18038946

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20963571

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18038946

Country of ref document: US