WO2022029859A1 - コミュニケーション支援装置、コミュニケーション支援方法およびプログラム - Google Patents

コミュニケーション支援装置、コミュニケーション支援方法およびプログラム Download PDF

Info

Publication number
WO2022029859A1
WO2022029859A1 PCT/JP2020/029737 JP2020029737W WO2022029859A1 WO 2022029859 A1 WO2022029859 A1 WO 2022029859A1 JP 2020029737 W JP2020029737 W JP 2020029737W WO 2022029859 A1 WO2022029859 A1 WO 2022029859A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
worker
response
request
Prior art date
Application number
PCT/JP2020/029737
Other languages
English (en)
French (fr)
Inventor
充 望月
真一郎 永徳
仁志 瀬下
治 松田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/029737 priority Critical patent/WO2022029859A1/ja
Publication of WO2022029859A1 publication Critical patent/WO2022029859A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general

Definitions

  • An embodiment of the present invention relates to a communication support device, a communication support method, and a program that support communication between workers.
  • Non-Patent Document 1 In order to support collaborative work between remote locations, a system has been proposed that obtains feature information around users in remote locations by performing image processing on images captured from a fixed video camera and determines the work status.
  • the busyness of the user is determined from the frequency of input by the mouse and the keyboard for the work mode using the computer.
  • the system also attempts to prompt the user to select the current situation by displaying a list showing the user's current situation based on the feature information around the user.
  • Non-Patent Document 1 it is difficult to grasp the work status in the work mode using a computer because the feature information around the user is acquired and the work status is determined. As described above, the user needs to select and input his / her own situation from the given list each time, which may give a load or stress to the user.
  • the remote work work is mainly office work
  • the input work is the main work
  • the stress state tends to be high, for example, based on the increase in the pulse rate.
  • the remote work work is mainly intellectual production work
  • the burden of intervention from others is greater in the concentrated state than in the stress state of simple work such as input work. Guessed. That is, the timing at which intervention from another person becomes a burden may differ depending on the worker and its main work mode.
  • the present invention has been made by paying attention to the above circumstances, and the purpose of the present invention is to generate information useful for other workers to infer the situation of a worker without requiring the worker to input each time. It is to provide communication support technology that can be done.
  • a first aspect of the present invention relates to a first user in a communication support device, which includes an image of the first user and identification information of the first user.
  • the first acquisition unit for acquiring the user information of 1
  • the second acquisition unit for acquiring the identification information of the second user requesting access to the first user, and the access request from the second user.
  • a model using a third acquisition unit that acquires response information representing the result of the response of the first user, the first user information, the identification information of the second user, and teacher data based on the response information. It is provided with a learning unit for learning.
  • a first aspect including an image of a first user who is a worker of a request destination (target of an access request) of an access request and identification information of the first user.
  • Teacher data based on first user information about a user, identification information of a second user who is the worker requesting access to the first user, and the result of a response to the access request.
  • the model is trained using.
  • the communication support device includes not only the image of the first user who is the request destination of the access request but also the identification information of the first user and the identification information of the second user who is the request source of the access request. It is possible to perform learning in consideration of the distinction between users or the relationship between users.
  • a communication assisting technique capable of generating information useful for other workers to infer the situation of a worker without requiring the worker to input each time. Can be done.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a communication support device according to an embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the communication support device according to the embodiment.
  • FIG. 3 is a flowchart showing an example of learning processing by the communication support device shown in FIG.
  • FIG. 4 is a flowchart showing an example of estimation processing by the communication support device shown in FIG.
  • FIG. 1 is a diagram showing an example of the functional configuration of the communication support device 100 according to the embodiment of the present invention.
  • the communication support device 100 has a function of supporting communication between team members (workers, users) who perform collaborative work.
  • Each member uses an information processing terminal (for example, a personal computer, smartphone, tablet terminal, etc.) (not shown) to perform their own work, communicate with other members, or provide information indicating the status of other members. You can browse.
  • an information processing terminal for example, a personal computer, smartphone, tablet terminal, etc.
  • the terms member, user, and worker are used interchangeably unless otherwise specified.
  • the communication support device 100 may be an information processing terminal used by each of the above members, or may be a separate device capable of exchanging information with a terminal used by each member.
  • the communication support device 100 will be described as a server computer capable of communicating with an information processing terminal owned by each member via a network.
  • the network may be any network that can communicate with each other, such as a LAN, the Internet, and a telephone communication network.
  • the communication support device 100 shown in FIG. 1 includes a worker information acquisition unit 1, an access information acquisition unit 2, a learning unit 3, a display generation unit 4, an estimation unit 5, an organization information storage unit 10, and a model storage. It has a part 20 and.
  • the worker information acquisition unit 1 captures an image of the worker (first user) who is the request destination of the access request, and the identification information of the worker (hereinafter, "worker ID"). Alternatively, it has a function of acquiring worker information (first user information) related to the worker, including the "request destination ID").
  • the image is, for example, an image of a worker sitting at a work desk.
  • the worker information may further include biometric information of the worker.
  • the biometric information may include, for example, a pulse rate or a blink rate.
  • the biometric information may additionally or optionally include an electrocardiogram, heart rate, respiration, body temperature, blood pressure, and the like.
  • the worker information acquisition unit 1 passes the worker information including the acquired image and the worker ID to the learning unit 3 or the estimation unit 5.
  • the access information acquisition unit 2 starts operation at the timing when the worker (first user) who is the request destination of the access request returns a response (accept, reject, etc.) to the access request, and responds to the response. It has a function to acquire related information.
  • the access information acquisition unit 2 requests an access request as a second acquisition unit from the response information, for example, by receiving the response information from the information processing terminal of the worker to the information processing terminal of the requesting member in some form.
  • the identification information (hereinafter referred to as "request source ID") of the former member (second user) is acquired, and how the worker responds to the access request as the third acquisition unit. Get the response information to represent.
  • the response information includes the worker ID that is the request destination of the access request, and the access information acquisition unit 2 can also acquire the worker ID.
  • the access information acquisition unit 2 passes the acquired information to the learning unit 3.
  • the learning unit 3 reads out the machine learning model stored in the model storage unit 20 using the teacher data based on the worker information received from the worker information acquisition unit 1 and the information received from the access information acquisition unit 2. , Learn the model. More specifically, the learning unit 3 extracts information representing the relationship between the worker ID and the request source ID as the first feature amount, and extracts the information representing the worker's state from the worker information as the second feature. It is extracted as a quantity, and the model is trained so that the result of the above response is output when the first feature quantity and the second feature quantity are input.
  • the learning unit 3 uses the organization information stored in the organization information storage unit 10 to obtain the relationship between the worker and the requesting member from the worker ID and the requesting source ID (for example, a boss, a subordinate, a colleague, etc.). Relationship) can be determined and used as the first feature quantity.
  • the second feature amount may include a feature amount representing the pulse rate, emotion or concentration of the first user.
  • the learning unit 3 can estimate the degree of concentration of the worker based on the number of blinks of the worker and use it as the second feature amount.
  • the learning unit 3 can also estimate the emotions (emotions, emotions, etc.) of the current worker based on, for example, an image of the worker, and use it as a second feature quantity.
  • the learning unit 3 learns using a combination of the worker's emotion, the worker's pulse rate, the worker's concentration, the relationship between the worker and the requesting member of the access request, and the response result as teacher data. I do.
  • the model is generated by using a known machine learning algorithm such as a neural network, and is stored in the model storage unit 20 in advance.
  • the learning unit 3 updates the information stored in the model storage unit 20 with the learned model.
  • the display generation unit 4 has a function of generating display information for displaying information that supports communication and outputting (transmitting) it to an information processing terminal used by each member.
  • the display information generated and output by the display generation unit 4 may differ depending on the member who uses the information processing terminal of the output destination. Specifically, the display generation unit 4 generates display information including information representing the result of estimation by the estimation unit 5, which will be described later.
  • the display generation unit 4 generates display information including information representing the result of estimation by the estimation unit 5, which will be described later.
  • the request destination ID and the entered member's own ID (request) are input.
  • a display request including the original ID) is sent to the communication support device 100 via the network, and the display generation unit 4 may start processing by receiving the display request.
  • the display generation unit 4 passes the request destination ID and the request source ID included in the display request to the estimation unit 5, receives the estimation result from the estimation unit 5, and generates and outputs display information based on the estimation result.
  • the display information output from the display generation unit 4 is received by the information processing terminal that issued the display request and is displayed on the display or the like of the information processing terminal.
  • the display information is obtained by superimposing the estimation result by the estimation unit 5 on the image taken by the worker related to the request destination ID.
  • the estimation result represents the degree of response (probability that the access request is accepted, / or is denied), and is superimposed and displayed as an "aura" on the background portion in the image, for example.
  • the "aura” indicates the status information of the worker (that is, information indicating whether or not communication can be performed immediately).
  • the aura can include colors, images, letters, and the like.
  • the estimation unit 5 receives the request destination ID and the request source ID from the display generation unit 4, the estimation unit 5 receives the worker information (first) including an image of the request destination member (first user) taken from the worker information acquisition unit 1. It has a function of acquiring user information) and estimating the degree of response to the access request when the requesting member (second user) requests access to the requesting member.
  • the degree of response includes the probability that an access request will be accepted, the probability that it will be denied, or both.
  • the estimation unit 5 estimates the degree of response using the model learned by the learning unit 3.
  • the estimation unit 5 uses the organization information stored in the organization information storage unit 10 from the request destination ID and the request source ID, and the relationship between the request destination member and the request source member (for example, the boss). , Subordinates, business associates, etc.) are extracted. Similar to the learning unit 3, the estimation unit 5 also estimates the concentration level of the request destination member from the number of blinks acquired as worker information, and estimates the current emotions (emotions, emotions, etc.) of the request destination member from the image. do. Then, the estimation unit 5 learns by inputting information representing the current emotion, pulse rate, concentration, and relationship with the request source member of the request destination member into the trained model stored in the model storage unit 20. As an output from the completed model, it is possible to obtain an estimation result of the degree of response according to the latest learning situation.
  • the organization information storage unit 10 stores organization information created in advance, which indicates the relationship between team members. By using the organization information, it is possible to determine the relationship between the request destination ID (or worker ID) of the access request and the request source ID.
  • the model storage unit 20 stores a learning model generated in advance.
  • the information stored in the model storage unit 20 is updated each time the learning unit 3 learns.
  • the communication support device 100 has the first user information including the image of the first user and the identification information of the first user, and the first user. It has a function of learning a model by using the identification information of the second user requesting access and the teacher data based on the response information representing the result of the response of the first user to the access request from the second user. More specifically, the communication support device 100 extracts from the first user information and the second user's identification information, the relationship between the first user and the second user, the emotion of the first user, and the first.
  • the model can be trained using a combination of the pulse rate of one user, the concentration of the first user, and the result of the response by the first user to the access request from the second user as teacher data. ..
  • the teacher data may be based on the information collected for all members of the collaborative team. Each member can be an access request source and an access request destination.
  • the communication support device 100 can request access to the first user information including the image of the first user and the identification information of the first user. Based on the identification information of the second user, the degree of response of the first user to the request when the second user requests access to the first user is estimated, and the estimated degree of response is estimated. It has a function to generate display information for displaying information representing. More specifically, the communication support device 100 includes a first feature amount representing the relationship between the requesting user requesting access and the requesting user of the access, and a second feature amount representing the state of the requesting user. From the first user information and the identification information of the second user for the trained model trained to output the result of the response of the request destination user to the access request from the request source user when is input.
  • the degree of response of the first user is estimated and the display information is generated.
  • the display information may be such that information indicating the degree of response is superimposed and displayed on the image taken by the first user.
  • the display information is displayed on the display unit of the information processing terminal used by each member, for example.
  • the member viewing this display is the estimated degree of response for the other member, in other words, whether the other member accepts the access request if the viewing member requests access, in other words, the other. Members can know "whether they can communicate immediately”.
  • the image of the face of the remote worker to be accessed only shows the reality itself, but as AI learns, the image of the remote worker is accepted by the request.
  • the background will change depending on whether it is easy to be rejected or rejected.
  • the request is easy to be accepted and when it is easy to be rejected, the background looks different when different people see the video for the same person because they are learning including their relationship with the other person. I can see it.
  • access or “access request” is used synonymously unless otherwise specified, and is used as an indication that one member wants to start communication with another member via an information processing terminal.
  • the response request may be, for example, in the form of a telephone, video conference, web conference, chat, email, or any other message requesting a response.
  • “communication” may include any form of communication, such as telephone, video conference, web conferencing, chat, email, face-to-face visits, and the like. The communication may use the above-mentioned information processing terminal or may not use the information processing terminal.
  • FIG. 2 shows an example of the hardware configuration of the communication support device 100.
  • the communication support device 100 includes a CPU (Central Processing Unit) 1001, a RAM (Random Access Memory) 1002, a ROM (Read Only Memory) 1003, an auxiliary storage device 1004, an input device 1005, an output device 1006, and a communication device 1007.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the CPU 1001 is a processor that controls the overall operation of the communication support device 100.
  • the CPU 1001 expands the program stored in the ROM 1003 or the auxiliary storage device 1004 into the RAM 1002, and by executing this program, the worker information acquisition unit 1, the access information acquisition unit 2, the learning unit 3, and the display generation unit described above are executed. 4 and can operate as an estimation unit 5.
  • the CPU 1001 may be realized in various other formats including integrated circuits such as ASIC (Application Specific Integrated Circuit) and FPGA (field-programmable gate array). Further, the CPU 1001 may include a plurality of processors.
  • the auxiliary storage device 1004 may be, for example, an HDD (Hard Disk Drive) or an SDD (Solid State Drive).
  • the auxiliary storage device 1004 non-temporarily stores a program executed by the CPU 1001 and setting data necessary for executing the program.
  • the auxiliary storage device 1004 can also function as a storage unit including the above-mentioned tissue information storage unit 10 and the model storage unit 20.
  • the input device 1005 accepts input from a user such as a touch screen, a keyboard, and a mouse.
  • the output device 1006 is a device for outputting, for example, a display or a speaker.
  • the communication device 1007 is a device for communicating with an external device, and includes, for example, an interface for wireless or wired LAN (Local Area Network) communication.
  • the communication device 1007 can communicate with an external device via a network such as the Internet.
  • the communication support device 100 can exchange information with the information processing terminal used by each member by the communication device 1007.
  • the operation of the communication support device 100 includes an operation related to learning processing and an operation related to estimation processing.
  • a camera capable of photographing each member (worker) and a sensor for measuring the pulse rate and the number of blinks as biological information of each member (worker) are appropriately installed in advance.
  • the initial settings of the camera have been made in advance.
  • a camera is installed at the top of the main display where the worker is working so that the worker can take a picture while sitting on the work desk, and the upper body of the worker is installed at a position where it does not protrude from the camera image. That is, the resolution is not extremely low, and so on.
  • the pulse rate is acquired in real time via a wearable device such as a smartwatch.
  • the number of blinks is measured by, for example, a commercially available eyeglass device, and is also acquired in real time.
  • the image of the worker, the pulse rate of the worker, and the number of blinks are transmitted to the communication support device 100 together with the information for identifying the worker (worker ID), for example, via the information processing terminal used by the worker. It is output.
  • the communication support device 100 will be described as being capable of mediating information transmitted and received between information processing terminals used by each worker.
  • the communication support device 100 receives an access request or a response to an access request transmitted by each worker from its own information processing terminal to another worker's information processing terminal, and transmits the response to the destination information processing terminal. (Intermediary).
  • the communication support device 100 and the information processing terminal may be integrated.
  • FIG. 3 is a flowchart illustrating the flow of learning process by the communication support device 100. Each step in FIG. 3 schematically shows the flow of processing, and not all steps need to be performed continuously in time.
  • the communication support device 100 starts the operation related to the learning process at the timing when any member returns a response (accept, reject, etc.) to the access request from the other member. obtain.
  • the communication support device 100 performs the following operations by receiving response information indicating acceptance or denial of an access request addressed to an information processing terminal of another member, for example, from any of the information processing terminals used by each member. Start.
  • step S101 the communication support device 100 acquires access information by the access information acquisition unit 2.
  • the access information is acquired from the above response information, and includes a request source ID of the access request, a worker ID of the request destination, and response information representing a response result (accepted, rejected, etc.) to the access request.
  • the communication support device 100 also acquires the worker information of the corresponding worker by the worker information acquisition unit 1 based on the worker ID acquired by the access information acquisition unit 2.
  • the worker information includes an image of the worker and a worker ID.
  • the worker information may further include a pulse rate and a blink number as the worker's biometric information.
  • the worker information acquisition unit 1 and the access information acquisition unit 2 pass the acquired information to the learning unit 3.
  • the worker information acquisition unit 1 can acquire the above-mentioned worker information by requesting necessary information from the corresponding information processing terminal when the worker ID is acquired from the response information.
  • the worker information acquisition unit 1 collects data such as images, pulse counts, and blink counts of each member from each information processing terminal or each sensor (camera, wearable device, glasses device, etc.) at any time, and is a storage unit (not shown). It may be stored in a certain amount or for a certain period of time, and necessary data may be read out from the storage unit when the worker ID is acquired from the response information.
  • the acquired worker information is preferably information taken or measured within a certain time from the request time or the response time of the access request.
  • the communication support device 100 generates teacher data based on the information acquired by the learning unit 3.
  • the teacher data includes the result of the response to the access request, the first feature amount representing the relationship between the worker and the requesting member related to the access request, and the second feature amount representing the state of the worker.
  • the second feature quantity may include the worker's emotion, the worker's pulse rate, and the worker's concentration. Therefore, according to one embodiment, the learning unit 3 uses a combination of the worker's emotion, the worker's pulse rate, the worker's concentration, the relationship between the worker and the requesting member, and the response result as teacher data. Subsequent learning is performed.
  • the learning unit 3 uses the organization information stored in the organization information storage unit 10, and based on the worker ID and the request source ID, the relationship between the worker and the request source member (boss, subordinate, colleague, etc.) ) Can be extracted.
  • the learning unit 3 can also analyze the input situation of the number of blinks to estimate the concentration of the worker. Estimating the degree of concentration based on the number of blinks may be performed using publicly available techniques (for example, Wu Sword et al., "A study on Analysis Method for Concentration", FIT2018. (17th Information Science and Technology Forum), pp. 159-160, etc.).
  • the learning unit 3 can also estimate the emotions (emotions, emotions, etc.) of the current worker from the input image by machine learning.
  • Emotion estimation from images may also be performed using published techniques (eg, Daiki Nishimei et al., "Acquisition of facial expression expression and analysis of facial features using convolutional neural network", Japanese Society for Artificial Intelligence. Journal, Vol. 32, No. 5, 2017, p.F-H34_1-8, etc.).
  • the learning unit 3 reads out the model stored in the model storage unit 20 and performs learning using the teacher data.
  • the model is pre-generated using a known machine learning algorithm such as a neural network.
  • the learning unit 3 has a first feature amount representing the relationship between the worker and the requesting source member determined from the worker ID and the requesting source ID, and a second representing the state of the worker extracted from the worker information.
  • the model is trained so that the result of the response is output when the feature amount of is input.
  • the second feature quantity may include the worker's emotion, the worker's pulse rate, and the worker's concentration.
  • the learning unit 3 outputs a response result when the worker's emotion, the worker's pulse rate, the worker's concentration, and the relationship between the worker and the requesting member are input.
  • the above model can be trained so as to be performed.
  • Other features may be used for learning.
  • personal information such as the age and gender of the worker may be used. Age and gender may be estimated from the image. Emotions or concentration may be estimated from other biometric information such as electrocardiogram, heart rate, respiration, body temperature, blood pressure, and the like. Alternatively, the measured value of the biological information of the worker may be used as it is as a feature amount.
  • the learning process itself may be performed at any time.
  • the learning process may be performed each time a response to an access request is returned from any member and new teacher data is acquired.
  • the teacher data may be accumulated, and the learning process may be performed using the accumulated teacher data every time a certain time elapses or a certain amount of data is accumulated. In this case, only the data newly acquired after the previous learning may be used for the learning process, or all the data including the newly acquired data or a certain amount of data may be used for the learning process.
  • step S104 the communication support device 100 updates the learned model.
  • the communication support device 100 can generate a model that finely reflects the relationship between the information of the request destination user and the request source user of the access request and the response result in the learning process.
  • FIG. 4 is a flowchart illustrating the flow of estimation processing by the communication support device 100.
  • the estimation process may also be performed at any timing.
  • the information processing terminal When the ID (request destination ID) of another member is input, the information processing terminal generates a display request including the request destination ID and the request source ID, and transmits the display request to the communication support device 100.
  • the communication support device 100 can start the estimation process by using the reception of this display request as a trigger.
  • the present invention is not limited to this, and for example, the estimation process may be automatically performed at regular time intervals to update the display on the information processing terminal of each member.
  • the communication support device 100 When the communication support device 100 receives a display request from the information processing terminal, the communication support device 100 passes the received information to the display generation unit 4.
  • the display request includes a request destination ID and a request source ID.
  • step S201 the display generation unit 4 passes the request source ID to the estimation unit 5. Further, the display generation unit 4 passes the request destination ID to the worker information acquisition unit 1 to acquire the worker information.
  • the worker information acquisition unit 1 acquires the worker information based on the received request destination ID, and passes the acquired worker information to the estimation unit 5.
  • the worker information includes identification information (request destination ID) regarding the requested worker of the access request, an image of the worker, the pulse rate of the worker, and the blinking number of the worker. including.
  • the worker information acquisition unit 1 passes the acquired worker information to the estimation unit 5.
  • the worker information acquisition unit 1 when the worker information acquisition unit 1 receives the request destination ID from the display generation unit 4, the worker information acquisition unit 1 requests the corresponding information processing terminal to transmit the necessary information, thereby performing the above. Worker information may be acquired. Alternatively, the worker information acquisition unit 1 collects data of each member's image, pulse rate, and blink number at any time, stores the data in the storage unit, and receives the request destination ID from the display generation unit 4 from the storage unit. You may want to read out the required data.
  • the estimation unit 5 generates input data to be used for the estimation process based on the acquired information in the same manner as the teacher data is generated in the learning process.
  • the input data includes a first feature amount representing the relationship between the request destination member and the request source member, and a second feature amount representing the state of the request destination member.
  • the second feature quantity may include the emotion of the requested member, the pulse rate of the requested member, and the concentration ratio of the requested member. Therefore, according to one embodiment, the estimation unit 5 uses the emotion of the request destination member, the pulse rate of the request destination member, the concentration ratio of the request destination member, and the relationship between the request destination member and the request source member as input data. ..
  • the estimation unit 5 uses the organization information stored in the organization information storage unit 10 and uses the request destination ID and the request source ID to base the request destination member and the request source member. Information that represents the relationship with (boss, subordinates, colleagues, etc.) can be extracted.
  • the estimation unit 5 also analyzes the state of the input blinking number and estimates the concentration degree of the requested member. The estimation of the degree of concentration based on the number of blinks may be performed using a published technique as in the case of the learning process.
  • the estimation unit 5 can also estimate the emotions (emotions, emotions, etc.) of the current requested member from the input image by machine learning. Emotion estimation from images may also be performed using published techniques, as in the case of learning processing.
  • the input data used by the estimation unit 5 may be arbitrary as long as it has the same feature amount as that used for learning the model.
  • the estimation unit 5 performs estimation processing using the generated input data. That is, the estimation unit 5 inputs input data to the latest trained model read from the model storage unit 20, and acquires the output from the model as an estimation result. According to the embodiment, the estimation unit 5 inputs a first feature amount representing the relationship between the requesting member and the requesting destination member requesting access, and a second feature amount representing the state of the requesting member. Sometimes, for a trained model trained to output the result of the requesting member's response to an access request from the requesting member, the same requesting member and requesting member used for training. By inputting the first feature amount representing the relationship and the second feature amount representing the state of the worker into the model, the estimation result is obtained as the output from the model.
  • the estimation unit 5 represents the emotion of the worker, the pulse rate of the worker, the concentration of the worker, and the relationship between the worker and the requesting member with respect to the trained model learned by the learning unit 3. By inputting the information, the estimation result is obtained as the output.
  • the estimation result includes information indicating the degree of response, and is obtained, for example, as a numerical value of the probability that an access request is accepted or denied.
  • the estimation unit 5 passes the estimation result to the display generation unit 4.
  • step S104 the display generation unit 4 generates display information based on the estimation result, and transmits the display information to the information processing terminal that has sent the display request.
  • the display generation unit 4 acquires an image of the worker from the worker information acquisition unit 1 based on the request destination ID, and generates display information for superimposing and displaying information based on the estimation result on the image. .. More specifically, the display information superimposes an "aura" according to the high probability that the access request is accepted on the background portion of the worker's image.
  • the communication support device 100 performs estimation processing based on the current situation of the other party to be accessed and the relationship with the other party. Further, the communication support device 100 automatically creates display information that can estimate the situation of the other party to be accessed based on the estimation result.
  • the communication support device 100 uses the worker when there is a response from the requesting worker in response to an access request from another member.
  • Worker information including the captured image and the worker ID, the ID of the requesting member, and the response information representing the result of the above response to the access request are acquired, and the information extracted from these is used as teacher data. And learn the model.
  • the model is trained to output the result of the above response.
  • the worker information may include the biometric information of the worker.
  • the biological information of the worker may include information representing the pulse rate and the blink rate.
  • the second feature quantity may be a feature quantity representing the pulse rate, emotion or concentration of the worker.
  • a combination of the worker's emotion, the worker's pulse rate, the worker's concentration, the information representing the relationship between the worker and the requesting member of the access request, and the response result is used as the teacher data.
  • the resulting machine learning model also takes into account the distinction between individual members or even the relationships between members.
  • the communication support device 100 further uses the above-mentioned learned model to provide identification information of a requesting member who intends to make an access request, and information including an image and identification information of the requesting member of the access request.
  • the information entered into the model includes information representing the emotions of the requested member, the pulse rate of the requested member, the concentration of the requested member, and the relationship between the requested member and the requesting member.
  • the communication support device 100 further generates display information for displaying information representing the estimated degree of response. As an example, as the display information, the status information (aura) that reflects the estimation result is superimposed and displayed on the image of the request destination member.
  • the member who intends to request access to another member can confirm the estimation result of what kind of response can be obtained based on the above display information in advance. For example, the member who sees the display can request access immediately if the probability of being accepted is high, and can take measures such as confirming the estimation result again after a while if the probability of being rejected is high.
  • the communication support device 100 Since the estimation result is visually displayed by the communication support device 100 as described above, what kind of situation is the person who wants to communicate with each other who are working remotely (immediate communication is possible). It is possible to grasp the state) more than just the information obtained from the video or image, and to access the other party with peace of mind. Further, the communication support device 100 can perform learning and estimation processing without requiring a special input from the worker. Therefore, when the ID of another member is received as a display request from any member, the current situation of the other member can be automatically determined and reflected, and the burden on the worker can be reduced. .. Furthermore, it becomes possible to prevent communication loss due to forgetting to set the work status and communication inconsistency.
  • the present invention is not limited to the above embodiment.
  • both the learning process and the estimation process are performed based on the information obtained from the members of the collaborative team, but the present invention is not necessarily limited to this.
  • the target member of the learning process and the target member of the estimation process may be the same, may partially overlap, or may be different.
  • learning may be performed based on the information obtained from one team, and the trained model may be used for another team to perform estimation.
  • the response result used as the teacher data may be binary whether the access request is accepted or rejected, or multi-valued information, for example, the elapsed time of how many seconds it took to respond may be used.
  • the learning process and the estimation process may be performed by separate devices.
  • the server computer executes learning processing and each information processing.
  • the terminal may perform estimation processing using the trained model.
  • each functional unit and each storage unit described as being provided in the communication support device 100 may be distributed and arranged in a plurality of devices, and the processing may be performed by coordinating these devices with each other.
  • the communication support device 100 may perform up to estimation processing, output the estimation result to another device, and the other device may perform display information generation processing based on the estimation result.
  • each functional unit may be realized by using a circuit.
  • the circuit may be a dedicated circuit that realizes a specific function, or may be a general-purpose circuit such as a processor.
  • each process described above is not limited to the procedure described above, and the order of some steps may be changed, or some steps may be performed in parallel. .. Further, the series of processes described above need not be continuously executed in time, and each step may be executed at any timing.
  • the worker information and access information acquisition process of step S101, the teacher data generation process of step S102, and the learning process of step S103, which have been described with respect to the learning process do not necessarily have to be continuously executed.
  • the acquired worker information and access information may be accumulated, and after a certain period of time has elapsed or a certain amount has been accumulated, subsequent teacher data generation processing or learning processing may be executed.
  • the method described above is a program (software means) that can be executed by a computer (computer), for example, a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, MO, etc.). , It can be stored in a recording medium (storage medium) such as a semiconductor memory (ROM, RAM, flash memory, etc.), and can also be transmitted and distributed by a communication medium.
  • the program stored on the medium side also includes a setting program for configuring the software means (including not only the execution program but also the table and the data structure) to be executed by the computer in the computer.
  • a computer that realizes the above-mentioned apparatus reads a program recorded on a recording medium, constructs software means by a setting program in some cases, and executes the above-mentioned processing by controlling the operation by the software means.
  • the recording medium referred to in the present specification is not limited to distribution, and includes storage media such as magnetic disks and semiconductor memories provided in devices connected inside a computer or via a network.
  • the present invention is not limited to the above embodiment, and can be variously modified at the implementation stage without departing from the gist thereof.
  • each embodiment may be carried out in combination as appropriate, in which case the combined effect can be obtained.
  • the above-described embodiment includes various inventions, and various inventions can be extracted by a combination selected from a plurality of disclosed constituent requirements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, if the problem can be solved and the effect is obtained, the configuration in which the constituent elements are deleted can be extracted as an invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一実施形態に係るコミュニケーション支援装置は、第１のユーザを撮影した画像と第１のユーザの識別情報とを含む、第１のユーザに関する第１のユーザ情報を取得する第１の取得部と、第１のユーザへのアクセスを要求する第２のユーザの識別情報を取得する第２の取得部と、第２のユーザからのアクセス要求に対する第１のユーザの応答の結果を表す応答情報を取得する第３の取得部と、第１のユーザ情報、第２のユーザの識別情報および応答情報に基づく教師データを用いてモデルの学習を行う学習部とを備える。

Description

コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
　本発明の実施形態は、作業者間のコミュニケーションを支援するコミュニケーション支援装置、コミュニケーション支援方法およびプログラムに関する。
　近年、情報通信技術の発展により、地理的な場所にとらわれない多様な働き方が可能となってきた。リモートワークのように、遠隔地にいる作業者どうしが協調して作業を行う場合、効率的な協調作業のためには作業者間の円滑なコミュニケーションが必要である。
　ここで、作業者が遠隔地にいる他の作業者と意思疎通を行おうとする場合、相手の状況、例えば、相手がただちにコミュニケーションをとれる状態にあるかどうか、わからないことが多い。そのため、遠隔地の相手にコミュニケーションを直接取ること（例えば、電話やＴＶ会議など）に躊躇してしまうことも多い。あるいは逆に、コミュニケーションを直接取ることによって、相手にストレスを与えてしまうこともある。
　遠隔地間での協調作業を支援するため、固定したビデオカメラから取り込まれる画像に画像処理を施すことによって、遠隔地のユーザの周辺の特徴情報を獲得し、作業状況を判断するシステムが提案されている（例えば、非特許文献１参照）。このシステムでは、コンピュータを利用した作業形態については、マウスとキーボードによる入力頻度からユーザの忙しさが判断される。このシステムではまた、ユーザ周辺の特徴情報に基づいてユーザの現在の状況を示す一覧を表示し、ユーザに現在の状況の選択を促す試みも行われている。
室田 将司ほか、"コミュニケーション支援のための作業状況の認識と利用"、映像情報メディア学会技術報告、１９９９、２３．１４巻、インターネット＜https://www.jstage.jst.go.jp/article/itetr/23.14/0/23.14_69/_pdf/-char/ja＞
　しかし、非特許文献１に記載されているシステムでは、ユーザ周辺の特徴情報を獲得して作業状況を判断するため、コンピュータを利用した作業形態では作業状況の把握が困難である。上記のように、ユーザは、都度、与えられた一覧から、自身の状況を選択し入力を行う必要があり、ユーザに負荷やストレスを与えるおそれがある。
　また、リモートワークの作業が主に事務作業である場合、入力作業が中心のため、例えば脈拍数が上がることに基づいてストレス状態が高い傾向を推測することができる。しかし、リモートワークの作業が主に知的生産作業である場合は、入力作業のような単純作業のストレスの状態よりも、集中状態にある場合の方が他者からの介入の負担が大きいと推測される。すなわち、作業者とその主な作業形態に応じて、他者からの介入が負担となるタイミングは異なるものとなり得る。
　この発明は上記事情に着目してなされたもので、その目的とするところは、作業者に都度入力を要求することなく、作業者の状況を他の作業者が推測するのに役立つ情報を生成できる、コミュニケーション支援技術を提供することにある。
　上記課題を解決するために、この発明の第１の態様は、コミュニケーション支援装置にあって、第１のユーザを撮影した画像と第１のユーザの識別情報とを含む、第１のユーザに関する第１のユーザ情報を取得する第１の取得部と、第１のユーザへのアクセスを要求する第２のユーザの識別情報を取得する第２の取得部と、第２のユーザからのアクセス要求に対する第１のユーザの応答の結果を表す応答情報を取得する第３の取得部と、上記第１のユーザ情報、上記第２のユーザの識別情報、および上記応答情報に基づく教師データを用いてモデルの学習を行う学習部とを備えるようにしたものである。
　この発明の第１の態様によれば、アクセス要求の要求先（アクセス要求の対象）の作業者である第１のユーザを撮影した画像と第１のユーザの識別情報とを含む、第１のユーザに関する第１のユーザ情報と、当該第１のユーザへのアクセスを要求するアクセス要求の要求元の作業者である第２のユーザの識別情報と、アクセス要求に対する応答の結果とに基づく教師データを用いて、モデルの学習が行われる。上記コミュニケーション支援装置は、アクセス要求の要求先である第１のユーザの画像だけでなく、第１のユーザの識別情報とアクセス要求の要求元である第２のユーザの識別情報も含むので、個々のユーザの区別またはユーザ間の関係までも考慮した学習を行うことができる。このような学習により、アクセス要求の要求先ユーザおよび要求元ユーザの情報と応答結果との関係を細やかに反映したモデルを生成することができる。生成されるモデルを用いれば、アクセス要求に対してどのように応答されるかを個々の状況に応じて精度良く推定することができる。
　すなわちこの発明の第１の態様によれば、作業者に都度入力を要求することなく、作業者の状況を他の作業者が推測するのに役立つ情報を生成できる、コミュニケーション支援技術を提供することができる。
図１は、一実施形態に係るコミュニケーション支援装置の機能構成の一例を示すブロック図である。 図２は、一実施形態に係るコミュニケーション支援装置のハードウェア構成の一例を示すブロック図である。 図３は、図１に示したコミュニケーション支援装置による学習処理の一例を示すフローチャートである。 図４は、図１に示したコミュニケーション支援装置による推定処理の一例を示すフローチャートである。
　［一実施形態］
　以下、図面を参照してこの発明の一実施形態について説明する。
　（１）構成
　（１－１）機能構成
　図１は、この発明の一実施形態に係るコミュニケーション支援装置１００の機能構成の一例を示す図である。
　一実施形態に係るコミュニケーション支援装置１００は、協調作業を行うチームのメンバー（作業者、ユーザ）間のコミュニケーションを支援する機能を有する。各メンバーは、図示しない情報処理端末（例えば、パーソナルコンピュータ、スマートフォン、タブレット端末など）を使用して、各自の作業をし、他のメンバーとコミュニケーションをとり、または他のメンバーの状況を表す情報を閲覧することができる。なお、ここでは、メンバー、ユーザ、作業者という用語は、特に指定のない限り、同義で使用されている。
　コミュニケーション支援装置１００は、上記の各メンバーが使用する情報処理端末であってもよいし、各メンバーが使用する端末との間で情報のやり取りが可能な別個の装置であってもよい。以下では一例として、コミュニケーション支援装置１００が、各メンバーが所有する情報処理端末との間でネットワークを介して通信可能なサーバコンピュータであるものとして説明する。なお、ネットワークは、ＬＡＮ、インターネット、電話通信網など、相互に通信可能な任意のものであってよい。
　図１に示すコミュニケーション支援装置１００は、作業者情報取得部１と、アクセス情報取得部２と、学習部３と、表示生成部４と、推定部５と、組織情報記憶部１０と、モデル記憶部２０とを有する。
　作業者情報取得部１は、第１の取得部として、アクセス要求の要求先である作業者（第１のユーザ）を撮影した画像と、当該作業者の識別情報（以下、「作業者ＩＤ」または「要求先ＩＤ」と言う。）とを含む、当該作業者に関する作業者情報（第１のユーザ情報）を取得する機能を有する。画像は、一例として、作業デスクに着座した作業者を撮影した画像である。作業者情報はさらに、当該作業者の生体情報を含み得る。生体情報は、例えば、脈拍数やまばたき数を含み得る。生体情報は、追加的に、または代替的に、心電図、心拍数、呼吸、体温、血圧などを含んでもよい。作業者情報取得部１は、取得した画像と作業者ＩＤとを含む作業者情報を、学習部３または推定部５に渡す。
　アクセス情報取得部２は、アクセス要求の要求先である作業者（第１のユーザ）がアクセス要求に対して応答（受け入れる、拒否する、など）を返したタイミングで動作を開始し、当該応答に関わる情報を取得する機能を有する。アクセス情報取得部２は、例えば、作業者の情報処理端末から要求元メンバーの情報処理端末への応答情報を何らかの形で受信することにより、応答情報から、第２の取得部としてアクセス要求の要求元メンバー（第２のユーザ）の識別情報（以下、「要求元ＩＤ」と言う。）を取得し、第３の取得部として上記アクセス要求に対して上記作業者がどのように応答したかを表す応答情報を取得する。応答情報はアクセス要求の要求先である作業者ＩＤも含み、アクセス情報取得部２は、作業者ＩＤも取得し得る。アクセス情報取得部２は、取得した情報を学習部３に渡す。
　学習部３は、作業者情報取得部１から受け取った作業者情報と、アクセス情報取得部２から受け取った情報とに基づく教師データを用いて、モデル記憶部２０に記憶された機械学習モデルを読み出し、当該モデルの学習を行う。より詳細には、学習部３は、作業者ＩＤと要求元ＩＤから両者の関係を表す情報を第１の特徴量として抽出し、作業者情報から作業者の状態を表す情報を第２の特徴量として抽出し、第１の特徴量と第２の特徴量を入力したときに上記の応答の結果を出力するようにモデルの学習を行う。学習部３は、組織情報記憶部１０に記憶された組織情報を用いて、作業者ＩＤと要求元ＩＤから作業者と要求元メンバーとの関係（例えば、上司、部下、仕事仲間など、仕事上の関係）を判定し、第１の特徴量として用いることができる。第２の特徴量は、第１のユーザの脈拍数、感情または集中度を表す特徴量を含み得る。学習部３は、作業者のまばたき数に基づき、作業者の集中度を推定し、第２の特徴量とすることができる。学習部３はまた、例えば作業者を撮影した画像に基づいて現在の作業者の感情（喜怒哀楽など）を推定し、第２の特徴量とすることができる。一例では、学習部３は、作業者の感情、作業者の脈拍数、作業者の集中度、作業者とアクセス要求の要求元メンバーとの関係、および応答結果の組合せを教師データとして用いて学習を行う。なお、モデルは、ニューラルネットワークなど公知の機械学習アルゴリズムを利用して生成され、あらかじめモデル記憶部２０に記憶される。学習部３は、モデル記憶部２０に記憶された情報を学習済みモデルで更新する。
　表示生成部４は、コミュニケーションを支援する情報を表示するための表示情報を生成し、各メンバーが使用する情報処理端末に出力（送信）する機能を有する。表示生成部４によって生成され出力される表示情報は、出力先の情報処理端末を使用するメンバーごとに異なり得る。詳細には、表示生成部４は、後述する推定部５による推定の結果を表す情報を含む表示情報を生成する。一例として、いずれかのメンバーが他のメンバーとコミュニケーションをとろうとして自身の情報処理端末に当該他のメンバーのＩＤ（要求先ＩＤ）を入力すると、要求先ＩＤと入力したメンバー自身のＩＤ（要求元ＩＤ）とを含む表示要求がネットワークを介してコミュニケーション支援装置１００に送られ、表示生成部４は、この表示要求を受け取ることによって処理を開始し得る。表示生成部４は、表示要求に含まれる要求先ＩＤと要求元ＩＤを推定部５に渡し、推定部５から推定結果を受け取り、推定結果に基づいて表示情報を生成し出力する。表示生成部４から出力される表示情報は、表示要求を発した情報処理端末により受信され、情報処理端末のディスプレイ等に表示される。実施形態によれば、表示情報は、要求先ＩＤに係る作業者を撮影した画像に、推定部５による推定結果を重畳させたものである。推定結果は、応答の度合い（アクセス要求が受け入れられる確率、拒否される確率、またはその両方）を表しており、例えば、画像内の背景部分に「オーラ」として重畳表示される。ここでは「オーラ」とは、作業者のステータス情報（すなわち、ただちにコミュニケーションがとれる状態かどうかを表す情報）を示すものである。オーラは、色、画像、文字などを含み得る。
　推定部５は、表示生成部４から要求先ＩＤおよび要求元ＩＤを受け取ると、作業者情報取得部１から要求先メンバー（第１のユーザ）を撮影した画像を含む作業者情報（第１のユーザ情報）を取得して、要求元メンバー（第２のユーザ）が要求先メンバーへのアクセスを要求する場合の当該アクセス要求に対する応答の度合いを推定する機能を有する。応答の度合いは、アクセス要求が受け入れられる確率、拒否される確率、またはその両方を含む。一実施形態によれば、推定部５は、上記学習部３によって学習されたモデルを用いて応答の度合いを推定する。推定部５は、学習部３と同様に、要求先ＩＤおよび要求元ＩＤから、組織情報記憶部１０に記憶された組織情報を用いて、要求先メンバーと要求元メンバーとの関係（例えば、上司、部下、仕事仲間など、仕事上の関係）を抽出する。推定部５はまた、学習部３と同様に、作業者情報として取得されるまばたき数から要求先メンバーの集中度を推定し、画像から要求先メンバーの現在の感情（喜怒哀楽など）を推定する。そして、推定部５は、要求先メンバーの現在の感情、脈拍数、集中度、および要求元メンバーとの関係を表す情報、モデル記憶部２０に記憶された学習済みモデルに入力することによって、学習済みモデルからの出力として、最新の学習状況に応じた応答の度合いの推定結果を得ることができる。
　組織情報記憶部１０は、あらかじめ作成された、チームのメンバーの関係を示す組織情報を記憶する。組織情報を用いることで、アクセス要求の要求先ＩＤ（または作業者ＩＤ）と要求元ＩＤから両者の関係を判定することができる。
　モデル記憶部２０は、あらかじめ生成された学習モデルを記憶する。モデル記憶部２０に記憶された情報は、学習部３による学習の都度、更新される。
　以上のような構成により、一実施形態に係るコミュニケーション支援装置１００は、第１のユーザを撮影した画像と第１のユーザの識別情報とを含む第１のユーザ情報と、第１のユーザへのアクセスを要求する第２のユーザの識別情報と、第２のユーザからのアクセス要求に対する第１のユーザの応答の結果を表す応答情報に基づく教師データを用いてモデルの学習を行う機能を有する。より詳細には、コミュニケーション支援装置１００は、第１のユーザ情報と第２のユーザの識別情報とから抽出される、第１のユーザと第２のユーザの関係、第１のユーザの感情、第１のユーザの脈拍数、第１のユーザの集中度、および第２のユーザからのアクセス要求に対する第１のユーザによる応答の結果の組合せを教師データとして用いて、モデルの学習を行うことができる。
　なお、教師データは、協調作業を行うチームの全メンバーについて収集される情報に基づくものであってよい。各メンバーは、アクセスの要求元にもなり得るし、アクセスの要求先にもなり得る。
　あるいは、一実施形態に係るコミュニケーション支援装置１００は、第１のユーザを撮影した画像と第１のユーザの識別情報とを含む第１のユーザ情報と、第１のユーザへのアクセスを要求可能な第２のユーザの識別情報とに基づいて、第２のユーザが第１のユーザへのアクセスを要求する場合の当該要求に対する第１のユーザの応答の度合いを推定し、推定された応答の度合いを表す情報を表示するための表示情報を生成する機能を有する。より詳細には、コミュニケーション支援装置１００は、アクセスを要求する要求元ユーザと当該アクセスの要求先ユーザとの関係を表す第１の特徴量と、要求先ユーザの状態を表す第２の特徴量とを入力したときに、要求元ユーザからのアクセス要求に対する要求先ユーザの応答の結果を出力するように学習された学習済みモデルに対し、第１のユーザ情報および前記第２のユーザの識別情報から抽出される第１の特徴量および第２の特徴量を入力し、学習済みモデルからの出力を得ることによって、第１のユーザの応答の度合いを推定し、表示情報を生成する。表示情報は、第１のユーザを撮影した画像に、応答の度合いを表す情報を重畳表示させるものであってよい。
　表示情報は、例えば、各メンバーが使用する情報処理端末の表示部に表示される。この表示を閲覧するメンバーは、他のメンバーについて推定された応答の度合い、言い換えれば、閲覧しているメンバーがアクセスを要求した場合に他のメンバーがアクセス要求を受け入れるかどうか、さらに言い換えれば、他のメンバーが「ただちにコミュニケーションがとれる状態かどうか」を知ることができる。
　はじめのうちは、アクセスしようとする対象の遠隔作業者の顔の映像は、現実そのものが映っているだけであるが、ＡＩが学習していくにつれて遠隔作業者を撮影した映像が、要求が受け入れられやすい場合と、拒否されやすい場合とで、背景が変わって見えるようになっていく。ここで、要求が受け入れられやすい場合と、拒否されやすい場合は、相手と自分の関係を含めて学習させているため、同じ相手に対して異なる人が映像を見ると、背景の見え方が変わって見える。
　これにより、遠隔で作業している人同士が、相手が現在どのような状況であるか（ただちにコミュニケーションがとれる状態であるか）を理解することができ、安心して相手にアクセスすることができる。また、作業者の現在の状況が自動的に判断され表示に反映されるので、作業者自身に現在の状況の入力を要求する必要がなく、作業者の負担を軽減することができる。さらに、作業ステータスの設定し忘れによるコミュニケーション・ロスや、意思疎通の齟齬を防止することができるようになる。
　なお、協調作業に係るチームのメンバーすべてが互いに遠隔地にいる必要はなく、コミュニケーション支援装置１００は、同じ場所で作業しているメンバーが含まれる状況で、上記のような学習および推定を行ってもよい。
　ここでは、「アクセス」または「アクセス要求」は、特に指定のない限り、同義で使用され、いずれかのメンバーが他のメンバーに対し、コミュニケーションを開始したいという意思表示として、情報処理端末を介して応答要求を送ることを指す。応答要求は、例えば、電話、テレビ会議、Ｗｅｂ会議、チャット、電子メール、その他応答を求める任意のメッセージの形態であってよい。
　同様に、「コミュニケーション」には、電話、テレビ会議、Ｗｅｂ会議、チャット、電子メール、対面での面会など、あらゆるコミュニケーション形式が含まれてよい。コミュニケーションは、上記の情報処理端末を用いるものであってもよいし、情報処理端末を用いないものであってもよい。
　（１－２）ハードウェア構成
　図２は、コミュニケーション支援装置１００のハードウェア構成の一例を示す。コミュニケーション支援装置１００は、ＣＰＵ（Central Processing Unit）１００１、ＲＡＭ（Random Access Memory）１００２、ＲＯＭ（Read Only Memory）１００３、補助記憶装置１００４、入力装置１００５、出力装置１００６、および通信装置１００７を備える。
　ＣＰＵ１００１は、コミュニケーション支援装置１００の全体的な動作を制御するプロセッサである。ＣＰＵ１００１は、ＲＯＭ１００３または補助記憶装置１００４に記憶されたプログラムをＲＡＭ１００２に展開し、このプログラムを実行することによって、上述した作業者情報取得部１、アクセス情報取得部２、学習部３、表示生成部４、および推定部５として動作し得る。ＣＰＵ１００１は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（field-programmable gate array）などの集積回路を含む、他の多様な形式で実現されてもよい。またＣＰＵ１００１は、複数のプロセッサを含んでもよい。
　補助記憶装置１００４は、例えば、ＨＤＤ（Hard Disk Drive）またはＳＤＤ（Solid State Drive）であり得る。補助記憶装置１００４は、ＣＰＵ１００１により実行されるプログラムや、プログラムを実行するために必要な設定データなどを非一時的に記憶する。補助記憶装置１００４は、上述した組織情報記憶部１０およびモデル記憶部２０を含む記憶部としても機能し得る。
　入力装置１００５は、例えば、タッチスクリーン、キーボード、マウスなど、ユーザからの入力を受け付ける。出力装置１００６は、例えば、ディスプレイやスピーカなど、出力を行うための装置である。
　通信装置１００７は、外部の装置と通信するための装置であり、例えば無線または有線ＬＡＮ（Local Area Network）通信のためのインタフェースを備える。通信装置１００７は、インターネットなどのネットワークを介して外部の装置と通信可能である。コミュニケーション支援装置１００は、通信装置１００７によって、各メンバーが使用する情報処理端末との間で情報のやり取りを行うことができる。
　（２）動作
　次に、以上のように構成されたコミュニケーション支援装置１００の動作について説明する。コミュニケーション支援装置１００の動作は、学習処理に係る動作と、推定処理に係る動作を含む。
　なお、以下の説明の前提として、各メンバー（作業者）を撮影可能なカメラ、各メンバー（作業者）の生体情報としての脈拍数およびまばたき数を計測するセンサがあらかじめ適切に設置されているものとする。また、カメラの初期設定はあらかじめ行われているものとする。初期設定としては、例えば、作業者が作業デスクに着座した状態を撮影できるよう、作業するメインディスプレイの上部にカメラを設置し、作業者の上半身がカメラ画像からはみ出さない位置に設置されていることや、解像度が著しく低いものでないことなどがあげられる。脈拍数は、例えばスマートウォッチなどのウェアラブルデバイスを介してリアルタイムに取得される。まばたき数は、例えば市販のメガネデバイスにより計測され、やはりリアルタイムに取得される。作業者を撮影した画像、作業者の脈拍数およびまばたき数は、作業者を識別する情報（作業者ＩＤ）とともに、例えば当該作業者が使用する情報処理端末を介してコミュニケーション支援装置１００に送信または出力される。あるいは、各センサ（カメラ、ウェアラブルデバイス、メガネデバイスなど）からＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信によりコミュニケーション支援装置１００に直接送信可能としてもよい。
　また、コミュニケーション支援装置１００は、各作業者が使用する情報処理端末間で送受信される情報を仲介可能なものとして説明する。例えば、コミュニケーション支援装置１００は、各作業者が自身の情報処理端末から他の作業者の情報処理端末に宛てて送信したアクセス要求またはアクセス要求に対する応答を受信し、宛先の情報処理端末へと送信（仲介）する。あるいは上述したように、コミュニケーション支援装置１００と情報処理端末とは一体であってもよい。
　（２－１）学習処理
　図３は、コミュニケーション支援装置１００による学習処理の流れを例示するフローチャートである。図３の各ステップは、処理の流れを概略的に示すものであり、必ずしもすべてのステップが時間的に連続して行われる必要はない。
　一実施形態によれば、コミュニケーション支援装置１００は、いずれかのメンバーが他のメンバーからのアクセス要求に対して応答（受け入れる、拒否する、など）を返したタイミングで学習処理に係る動作を開始し得る。コミュニケーション支援装置１００は、例えば各メンバーが使用する情報処理端末のいずれかから、他のメンバーの情報処理端末に宛てたアクセス要求の受け入れまたは拒否を表す応答情報を受信することによって、以下の動作を開始する。
　ステップＳ１０１において、コミュニケーション支援装置１００は、アクセス情報取得部２によりアクセス情報を取得する。アクセス情報は、上記応答情報から取得され、アクセス要求の要求元ＩＤと、要求先の作業者ＩＤと、当該アクセス要求に対する応答結果（受け入れた、拒否した、など）を表す応答情報を含む。ステップＳ１０１において、コミュニケーション支援装置１００はまた、アクセス情報取得部２により取得された作業者ＩＤに基づき、作業者情報取得部１により、該当する作業者の作業者情報を取得する。作業者情報は、作業者を撮影した画像と作業者ＩＤを含む。作業者情報はさらに、作業者の生体情報として、脈拍数およびまばたき数を含み得る。作業者情報取得部１およびアクセス情報取得部２は、取得した情報を学習部３に渡す。
　作業者情報取得部１は、応答情報から作業者ＩＤが取得されたときに、対応する情報処理端末に対して必要な情報を要求することによって、上記の作業者情報を取得することができる。あるいは作業者情報取得部１は、各情報処理端末または各センサ（カメラ、ウェアラブルデバイス、メガネデバイスなど）から、各メンバーの画像、脈拍数およびまばたき数などのデータを随時収集し、図示しない記憶部に一定量または一定期間蓄積しておき、応答情報から作業者ＩＤが取得されたときに記憶部から必要なデータを読み出すようにしてもよい。いずれの場合にも、取得される作業者情報は、アクセス要求の要求時点または応答時点から一定時間内に撮影または計測された情報であることが好ましい。
　次いで、ステップＳ１０２において、コミュニケーション支援装置１００は、学習部３により、取得された情報に基づき教師データを生成する。教師データは、アクセス要求に対する応答の結果と、当該アクセス要求に係る作業者と要求元メンバーとの関係を表す第１の特徴量と、作業者の状態を表す第２の特徴量とを含む。第２の特徴量は、作業者の感情、作業者の脈拍数および作業者の集中度を含み得る。したがって、一実施形態によれば、学習部３は、作業者の感情、作業者の脈拍数、作業者の集中度、作業者と要求元メンバーとの関係、および応答結果の組合せを教師データとして後続の学習を行う。
　ここで、学習部３は、組織情報記憶部１０に記憶された組織情報を用いて、作業者ＩＤと要求元ＩＤに基づき、作業者と要求元メンバーとの関係（上司、部下、仕事仲間など）を表す情報を抽出することができる。学習部３はまた、入力されたまばたき数の状況を解析して、作業者の集中度を推定することができる。まばたき数に基づく集中度の推定は、公開されている技術を用いて行われてよい（例えば、呉 剣ほか、「集中力の分析法の一考察（A study on Analysis Method for Concentration）」、ＦＩＴ２０１８（第１７回情報科学技術フォーラム）、１５９～１６０頁、など）。学習部３はまた、入力された画像から現在の作業者の感情（喜怒哀楽など）を機械学習によって推定することができる。画像からの感情の推定もまた、公開されている技術を用いて行われてよい（例えば、西銘 大喜ほか、「畳み込みニューラルネットワークを用いた表情表現の獲得と顔特徴量の分析」、人工知能学会論文誌、２０１７年３２巻５号、ｐ．Ｆ－Ｈ３４＿１－８、など）。
　次いでステップＳ１０３において、学習部３は、モデル記憶部２０に記憶されたモデルを読み出し、上記教師データを用いて学習を行う。上述したように、モデルは、ニューラルネットワークなど公知の機械学習アルゴリズムを利用してあらかじめ生成される。学習部３は、作業者ＩＤと要求元ＩＤとから決定される作業者と要求元メンバーとの関係を表す第１の特徴量と、作業者情報から抽出される作業者の状態を表す第２の特徴量とを入力したときに、応答の結果を出力するようにモデルの学習を行う。第２の特徴量は、作業者の感情、作業者の脈拍数および作業者の集中度を含み得る。言い換えれば、一実施形態では、学習部３は、作業者の感情、作業者の脈拍数、作業者の集中度、および作業者と要求元メンバーとの関係を入力したときに、応答結果が出力されるように、上記モデルの学習を行うことができる。
　学習には、他の特徴量が用いられてもよい。例えば、作業者の年齢や性別等の個人情報が用いられてもよい。年齢や性別は画像から推定されてもよい。他の生体情報、例えば心電図、心拍数、呼吸、体温、血圧などから、感情または集中度が推定されてもよい。あるいは、作業者の生体情報の計測値がそのまま特徴量として用いられてもよい。
　また学習処理自体は任意のタイミングで行われてよい。例えば、学習処理は、いずれかのメンバーからアクセス要求に対する応答が返され、新しい教師データが取得されるたびに実施されてもよい。あるいは、教師データを蓄積しておき、一定時間経過するたびにまたは一定量のデータが蓄積されるたびに、蓄積した教師データを用いて学習処理が実施されてもよい。この場合、前回の学習後新たに取得されたデータのみを学習処理に用いてもよいし、新たに取得されたデータを含む全データまたは一定量のデータを学習処理に用いてもよい。
　学習部３による学習の後、ステップＳ１０４において、コミュニケーション支援装置１００は、学習済みモデルを更新する。
　以上のように、コミュニケーション支援装置１００は、学習処理において、アクセス要求の要求先ユーザおよび要求元ユーザの情報と応答結果との関係を細やかに反映したモデルを生成することができる。
　（２－２）推定処理
　図４は、コミュニケーション支援装置１００による推定処理の流れを例示するフローチャートである。推定処理もまた任意のタイミングで行われてよい。ここでは、いずれかのメンバーが他のメンバーとコミュニケーションをとろうとし、自身の情報処理端末に当該他のメンバーのＩＤを入力して応答の度合いの推定値を表示させようとする状況を想定する。他のメンバーのＩＤ（要求先ＩＤ）が入力されると、情報処理端末は、要求先ＩＤと要求元ＩＤを含む表示要求を生成し、コミュニケーション支援装置１００に対して送信する。コミュニケーション支援装置１００は、この表示要求の受信をトリガとして、推定処理を開始することができる。ただし、これに限定されるものではなく、例えば一定時間ごとに自動的に推定処理が実施され、各メンバーの情報処理端末上の表示を更新するようにしてもよい。
　コミュニケーション支援装置１００は、情報処理端末から表示要求を受信すると、受信した情報を表示生成部４に渡す。表示要求は、要求先ＩＤと、要求元ＩＤとを含む。
　ステップＳ２０１において、表示生成部４は、要求元ＩＤを推定部５に渡す。また表示生成部４は、要求先ＩＤを作業者情報取得部１に渡して作業者情報を取得させる。作業者情報取得部１は、受け取った要求先ＩＤに基づいて作業者情報を取得し、取得した作業者情報を推定部５に渡す。作業者情報は、学習処理の場合と同様に、アクセス要求の要求先作業者に関する識別情報（要求先ＩＤ）、当該作業者を撮影した画像、当該作業者の脈拍数および当該作業者のまばたき数を含む。作業者情報取得部１は、取得した作業者情報を推定部５に渡す。
　学習処理の場合と同様に、作業者情報取得部１は、表示生成部４から要求先ＩＤを受け取ったときに、対応する情報処理端末に対して必要な情報の送信を要求することによって、上記作業者情報を取得してもよい。あるいは作業者情報取得部１は、各メンバーの画像、脈拍数およびまばたき数のデータを随時収集し、記憶部に蓄積しておき、表示生成部４から要求先ＩＤを受け取ったときに記憶部から必要なデータを読み出すようにしてもよい。
　次いで、ステップＳ２０２において、推定部５は、取得された情報に基づき、学習処理で教師データを生成したのと同様に、推定処理に用いる入力データを生成する。入力データは、要求先メンバーと要求元メンバーとの関係を表す第１の特徴量と、要求先メンバーの状態を表す第２の特徴量とを含む。第２の特徴量は、要求先メンバーの感情、要求先メンバーの脈拍数および要求先メンバーの集中度を含み得る。したがって、一実施形態によれば、推定部５は、要求先メンバーの感情、要求先メンバーの脈拍数、要求先メンバーの集中度、および要求先メンバーと要求元メンバーとの関係を入力データとして用いる。
　学習処理で教師データを生成したのと同様に、推定部５は、組織情報記憶部１０に記憶された組織情報を用いて、要求先ＩＤと要求元ＩＤに基づき、要求先メンバーと要求元メンバーとの関係（上司、部下、仕事仲間など）を表す情報を抽出することができる。推定部５はまた、入力されたまばたき数の状況を解析して、要求先メンバーの集中度を推定する。まばたき数に基づく集中度の推定は、学習処理の場合と同様に、公開されている技術を用いて行われてよい。推定部５はまた、入力された画像から現在の要求先メンバーの感情（喜怒哀楽など）を機械学習によって推定することができる。画像からの感情の推定もまた、学習処理の場合と同様に、公開されている技術を用いて行われてよい。なお、推定部５によって用いられる入力データは、モデルの学習に用いられたのと同じ特徴量であれば任意のものでよい。
　ステップＳ２０３において、推定部５は、生成された入力データを用いて推定処理を行う。すなわち、推定部５は、モデル記憶部２０から読み出した最新の学習済みモデルに対し、入力データを入力し、モデルからの出力を推定結果として取得する。実施形態によれば、推定部５は、アクセスを要求する要求元メンバーと要求先メンバーとの関係を表す第１の特徴量と、要求先メンバーの状態を表す第２の特徴量とを入力したときに、要求元メンバーからのアクセス要求に対する要求先メンバーの応答の結果を出力するように学習された学習済みモデルに対し、学習に用いられたのと同じ、要求先メンバーと要求元メンバーとの関係を表す第１の特徴量と、作業者の状態を表す第２の特徴量とをモデルに入力することによって、モデルからの出力として推定結果を得る。言い換えれば、推定部５は、学習部３によって学習された学習済みモデルに対し、作業者の感情、作業者の脈拍数、作業者の集中度、および作業者と要求元メンバーとの関係を表す情報を入力することによって、出力として推定結果を得る。推定結果は、応答の度合いを表す情報を含み、例えば、アクセス要求が受け入れられる確率または拒否される確率を数値化したものとして得られる。推定部５は、推定結果を表示生成部４に渡す。
　ステップＳ１０４において、表示生成部４は、推定結果をもとに表示情報を生成し、表示要求を発信した情報処理端末に表示情報を送信する。一実施形態によれば、表示生成部４は、要求先ＩＤに基づき作業者情報取得部１から作業者の画像を取得し、その画像に推定結果に基づく情報を重畳表示させる表示情報を生成する。より詳細には、表示情報は、作業者の画像の背景部分にアクセス要求が受け入れられる確率の高さに応じた「オーラ」を重畳表示させる。
　以上のように、コミュニケーション支援装置１００は、アクセスしようとする相手の現在の状況と相手との関係に基づいて推定処理を行う。さらにコミュニケーション支援装置１００は、推定結果に基づいて、アクセスしようとする相手の状況を推測できる表示情報を自動的に作成する。
　（３）効果
　以上詳述したように、一実施形態に係るコミュニケーション支援装置１００は、他のメンバーからのアクセス要求に対して要求先の作業者からの応答があった場合に、当該作業者を撮影した画像と作業者のＩＤとを含む作業者情報と、要求元メンバーのＩＤと、アクセス要求に対する上記応答の結果を表す応答情報とを取得し、これらから抽出される情報を教師データとして用いて、モデルの学習を行う。一実施形態では、上記の情報から抽出される、作業者と要求元メンバーとの間の関係を表す第１の特徴量と、作業者の状態を表す第２の特徴量とを入力したときに、上記の応答の結果を出力するように、モデルの学習が行われる。作業者情報は、作業者の生体情報を含み得る。作業者の生体情報は、脈拍数およびまばたき数を表す情報を含み得る。第２の特徴量は、作業者の脈拍数、感情または集中度を表す特徴量であり得る。一例として、作業者の感情、作業者の脈拍数、作業者の集中度、作業者とアクセス要求の要求元メンバーとの関係を表す情報、および応答結果の組合せが教師データとして用いられる。
　これにより、アクセス要求の要求先メンバーの画像および識別情報を含む情報ならびに要求元メンバーの識別情報と、アクセス要求に対する応答の結果との関係を反映する機械学習モデルを得ることができる。得られる機械学習モデルは、個々のメンバーの区別またはメンバー間の関係までも考慮したものとなる。
　一実施形態に係るコミュニケーション支援装置１００は、さらに、上記の学習済みモデルを用いて、アクセス要求をしようとする要求元メンバーの識別情報と、アクセス要求の要求先メンバーの画像および識別情報を含む情報とから抽出される情報を入力することによって、要求元メンバーが要求先メンバーに対してアクセス要求をする場合の応答の度合いを推定する。一例として、モデルに入力される情報は、要求先メンバーの感情、要求先メンバーの脈拍数、要求先メンバーの集中度、要求先メンバーと要求元メンバーとの関係を表す情報を含む。コミュニケーション支援装置１００はさらに、推定された応答の度合いを表す情報を表示するための表示情報を生成する。一例として、表示情報は、要求先メンバーの画像に、推定結果を反映するステータス情報（オーラ）を重畳表示させる。
　これにより、他のメンバーにアクセスを要求しようとするメンバーは、あらかじめ上記表示情報をもとにどのような応答が得られるかの推定結果を確認することができる。例えば、表示を見たメンバーは、受け入れられる確率が高ければすぐにアクセスを要求し、拒絶される確率が高ければ時間をおいて再度推定結果を確認するなどの対応をとることができる。
　以上のようなコミュニケーション支援装置１００により、推定結果が視覚的に表示されるので、遠隔で作業している人同士が、コミュニケーションをとりたい相手が現在どのような状況であるか（ただちにコミュニケーションがとれる状態であるか）を、単なる映像または画像から得られる情報以上に掌握でき、安心して相手にアクセスすることができる。また、コミュニケーション支援装置１００は、作業者に特別な入力を要求することなく学習および推定処理を行うことができる。したがって、いずれかのメンバーから表示要求として他のメンバーのＩＤを受け付けたときに、当該他のメンバーの現在の状況を自動で判断し反映することができ、作業者の負担を軽減することができる。さらに、作業ステータスの設定し忘れによるコミュニケーション・ロスや、意思疎通の齟齬を防止することができるようになる。
　すなわち、上記実施形態のコミュニケーション支援装置１００によれば、個々の作業者が自身の状況を都度入力する必要なしに、作業者の状況、例えばコミュニケーションに応じられるかどうか、を他の作業者が推測するのに役立つ情報を生成できる、コミュニケーション支援技術が提供される。
　［他の実施形態］
　なお、この発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、協調作業をするチームのメンバーから得られる情報に基づいて学習処理および推定処理の両方を行うものとして説明したが、必ずしもこれに限られない。学習処理の対象メンバーと、推定処理の対象メンバーは、同一でもよいし、一部が重複してもよいし、異なるものでもよい。例えば、あるチームから得られた情報に基づき学習を行い、学習済みのモデルを別のチームに対して用いて推定を行ってもよい。
　教師データとして使用する応答結果は、アクセス要求を受け入れたか拒否したかの二値であってもよいし、多値の情報、例えば、応答までに何秒かかったかの経過時間などを用いてもよい。
　また、学習処理と推定処理は、別個の装置によって行われてもよい。例えば、チームのメンバーが使用する複数の情報処理端末と、各情報処理端末と通信可能なサーバコンピュータとを含む、コミュニケーション支援システムを想定する場合に、サーバコンピュータが学習処理を実行し、各情報処理端末が学習済みモデルを用いて推定処理を実行してもよい。
　さらに、コミュニケーション支援装置１００が備えるものとして説明した各機能部および各記憶部を、複数の装置に分散配置し、これらの装置が互いに連携することにより処理を行うようにしてもよい。例えば、コミュニケーション支援装置１００は推定処理までを実施し、推定結果を他の装置に出力して、他の装置が推定結果に基づき表示情報の生成処理を行うことも可能である。また各機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
　さらに、以上で説明した各処理の流れは、説明した手順に限定されるものではなく、いくつかのステップの順序が入れ替えられてもよいし、いくつかのステップが同時並行で実施されてもよい。また、以上で説明した一連の処理は、時間的に連続して実行される必要はなく、各ステップは任意のタイミングで実行されてもよい。例えば、学習処理に関して説明した、ステップＳ１０１の作業者情報およびアクセス情報の取得処理、ステップＳ１０２の教師データ生成処理、ステップＳ１０３の学習処理は、必ずしも連続的に実行される必要はない。取得した作業者情報およびアクセス情報を蓄積し、一定時間の経過後、または一定量蓄積されてから、後続の教師データ生成処理や学習処理を実行してもよい。
　以上で記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体（記憶媒体）に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。上記装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　なお、この発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　１００…コミュニケーション支援装置
　１…作業者情報取得部
　２…アクセス情報取得部
　３…学習部
　４…表示生成部
　５…推定部
　１０…組織情報記憶部
　２０…モデル記憶部

Claims (8)

  1. 　第１のユーザを撮影した画像と前記第１のユーザの識別情報とを含む、前記第１のユーザに関する第１のユーザ情報を取得する、第１の取得部と、
    　前記第１のユーザへのアクセスを要求する第２のユーザの識別情報を取得する、第２の取得部と、
    　前記第２のユーザからのアクセス要求に対する前記第１のユーザの応答の結果を表す応答情報を取得する、第３の取得部と、
    　前記第１のユーザ情報、前記第２のユーザの識別情報および前記応答情報に基づく教師データを用いてモデルの学習を行う、学習部と
    　を備える、コミュニケーション支援装置。
  2. 　前記学習部は、前記第１のユーザの識別情報と前記第２のユーザの識別情報とから決定される前記第１のユーザと前記第２のユーザの関係を表す第１の特徴量と、前記第１のユーザ情報から抽出される前記第１のユーザの状態を表す第２の特徴量とを入力したときに、前記応答の結果を出力するように前記モデルの学習を行う、
    　請求項１に記載のコミュニケーション支援装置。
  3. 　前記第１のユーザ情報は、前記第１のユーザの生体情報をさらに含み、
    　前記学習部は、前記第２の特徴量として、前記第１のユーザを撮影した画像または前記第１のユーザの生体情報から、前記第１のユーザの脈拍数、感情または集中度を表す特徴量を抽出し、前記モデルの学習を行う、
    　請求項２に記載のコミュニケーション支援装置。
  4. 　第１のユーザを撮影した画像と前記第１のユーザの識別情報とを含む、前記第１のユーザに関する第１のユーザ情報を取得する、第１の取得部と、
    　前記第１のユーザへのアクセスを要求可能な第２のユーザの識別情報を取得する、第２の取得部と、
    　前記第１のユーザ情報および前記第２のユーザの識別情報に基づいて、前記第２のユーザが前記第１のユーザへのアクセスを要求する場合の当該要求に対する前記第１のユーザの応答の度合いを推定する、推定部と、
    　推定された前記応答の度合いを表す情報を表示するための表示情報を生成する、表示生成部と
    　を備えるコミュニケーション支援装置。
  5. 　前記推定部は、アクセスを要求する要求元ユーザと当該アクセスの要求先ユーザとの関係を表す第１の特徴量と、前記要求先ユーザの状態を表す第２の特徴量とを入力したときに、前記要求元ユーザからのアクセス要求に対する前記要求先ユーザの応答の結果を出力するように学習された学習済みモデルに対し、前記第１のユーザ情報および前記第２のユーザの識別情報から抽出される前記第１の特徴量および前記第２の特徴量を入力し、前記学習済みモデルからの出力を得ることによって、前記第１のユーザの応答の度合いを推定する、
    　請求項４に記載のコミュニケーション支援装置。
  6. 　第１のユーザを撮影した画像と前記第１のユーザの識別情報とを含む、前記第１のユーザに関する第１のユーザ情報を取得することと、
    　前記第１のユーザへのアクセスを要求する第２のユーザの識別情報を取得することと、
    　前記第２のユーザからのアクセス要求に対する前記第１のユーザの応答の結果を表す応答情報を取得することと、
    　前記第１のユーザ情報、前記第２のユーザの識別情報および前記応答情報に基づく教師データを用いてモデルの学習を行うことと
    　を備えるコミュニケーション支援方法。
  7. 　第１のユーザを撮影した画像と前記第１のユーザの識別情報とを含む、前記第１のユーザに関する第１のユーザ情報を取得することと、
    　前記第１のユーザへのアクセスを要求可能な第２のユーザの識別情報を取得することと、
    　前記第１のユーザ情報および前記第２のユーザの識別情報に基づいて、前記第２のユーザが前記第１のユーザへのアクセスを要求する場合の当該要求に対する前記第１のユーザの応答の度合いを推定することと、
    　推定された前記応答の度合いを表す情報を表示するための表示情報を生成することと
    　を備えるコミュニケーション支援方法。
  8. 　請求項１乃至５のいずれか一項に記載のコミュニケーション支援装置の各部による処理をコンピュータに実行させるプログラム。
PCT/JP2020/029737 2020-08-04 2020-08-04 コミュニケーション支援装置、コミュニケーション支援方法およびプログラム WO2022029859A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029737 WO2022029859A1 (ja) 2020-08-04 2020-08-04 コミュニケーション支援装置、コミュニケーション支援方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029737 WO2022029859A1 (ja) 2020-08-04 2020-08-04 コミュニケーション支援装置、コミュニケーション支援方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2022029859A1 true WO2022029859A1 (ja) 2022-02-10

Family

ID=80117877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029737 WO2022029859A1 (ja) 2020-08-04 2020-08-04 コミュニケーション支援装置、コミュニケーション支援方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2022029859A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031965A (ja) * 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> プレゼンス情報利用方法、情報利用者側端末装置、情報提供者側端末装置およびサーバ装置
JP2005115912A (ja) * 2003-06-30 2005-04-28 Microsoft Corp ユーザの存在および可用性の状況および予想を提供するための、デバイス間アクティビティ監視、推論および視覚化のための方法およびアーキテクチャ
JP2012043284A (ja) * 2010-08-20 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> プレゼンス情報管理装置、プレゼンス情報管理方法及びプレゼンス情報管理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115912A (ja) * 2003-06-30 2005-04-28 Microsoft Corp ユーザの存在および可用性の状況および予想を提供するための、デバイス間アクティビティ監視、推論および視覚化のための方法およびアーキテクチャ
JP2005031965A (ja) * 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> プレゼンス情報利用方法、情報利用者側端末装置、情報提供者側端末装置およびサーバ装置
JP2012043284A (ja) * 2010-08-20 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> プレゼンス情報管理装置、プレゼンス情報管理方法及びプレゼンス情報管理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MURAKAMI, MARIKO: "Business frontline Utilizing ICT solutions to reduce overtime hours: Work style reforms along with improving productivity", TELECOMMUNICATIONS, vol. 34, no. 8 (397), 25 July 2017 (2017-07-25), JP , pages 38 - 41, XP009534671, ISSN: 0910-7576 *

Similar Documents

Publication Publication Date Title
US9674485B1 (en) System and method for image processing
JP6952257B2 (ja) コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム
JP2019029984A (ja) 情報処理装置、情報処理方法、映像データ、プログラム、及び情報処理システム
JP6965525B2 (ja) 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
JP6082832B1 (ja) メッセージ管理装置及びメッセージ管理方法
JP2017188075A (ja) メッセージ管理装置及びメッセージ管理方法
JPWO2018105171A1 (ja) 画像認識システム及び画像認識方法
CN108140149A (zh) 角色特定设备行为
JP2016152020A (ja) 情報処理装置、制御方法、およびプログラム
CN112152903A (zh) 通过即时通信应用进行的信息提供方法及系统
JP2019133271A (ja) 遠隔診療端末装置、コンピュータプログラム及びサーバ
JP2014115897A (ja) 情報処理装置、管理装置、情報処理方法、管理方法、情報処理プログラム、管理プログラム及びコンテンツ提供システム
EP3270263A1 (en) Information processing apparatus for presenting content, method for controlling the same, and control program
JP6145230B1 (ja) 画面共有遠隔診察システム、画面共有遠隔診察方法、および画面共有遠隔診察プログラム
WO2022029859A1 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
JP2018032097A (ja) 情報処理装置、会議システム、方法およびプログラム
US20220351855A1 (en) Systems and methods for machine learning-based predictive matching
JP7307576B2 (ja) プログラム及び情報処理装置
JP2008306586A (ja) 情況推定方法、情況推定プログラム及びネットワークシステム
US20140304001A1 (en) Apparatus and method for patient care documentation
JP7297355B1 (ja) パーソナライゼーション方法、コンピュータプログラム及びパーソナライゼーションシステム
JP7290977B2 (ja) プログラム及び情報処理装置
JP5965057B2 (ja) 属性推定装置
WO2023149562A1 (ja) 仮想空間もしくはオンラインミーティングシステムの作動システムおよび作動方法
JP6921436B2 (ja) 診察手帳システム、患者端末及び制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20948304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20948304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP