WO2023223498A1 - 会議評価システム - Google Patents

会議評価システム Download PDF

Info

Publication number
WO2023223498A1
WO2023223498A1 PCT/JP2022/020823 JP2022020823W WO2023223498A1 WO 2023223498 A1 WO2023223498 A1 WO 2023223498A1 JP 2022020823 W JP2022020823 W JP 2022020823W WO 2023223498 A1 WO2023223498 A1 WO 2023223498A1
Authority
WO
WIPO (PCT)
Prior art keywords
conference
participants
participant
concentration
information
Prior art date
Application number
PCT/JP2022/020823
Other languages
English (en)
French (fr)
Inventor
雄次郎 田中
一善 小野
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/020823 priority Critical patent/WO2023223498A1/ja
Publication of WO2023223498A1 publication Critical patent/WO2023223498A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Definitions

  • the present invention relates to a technique for quantitatively evaluating the quality of a meeting.
  • Seminar organizers can analyze what kind of participants are interested in the seminar, consider how to proceed with the seminar, and analyze what speakers and themes attract attention. It is necessary to optimize the In addition, participants or organizations such as companies to which they belong need to improve the efficiency of information gathering and optimize the number of human resources to participate.
  • Non-Patent Document 1 there are ways to analyze and score meetings based on things like how quickly or slowly materials are shared, whether the meeting progresses on time, etc. Until now, it has not been possible to evaluate whether efforts are being made to collect information. In addition, as a method for organizers and participants to evaluate a conference or seminar, there are subjective evaluation methods such as questionnaires, but a method for quantitative evaluation has not been realized (see Non-Patent Document 1).
  • the present invention was made to solve the above problems, and an object of the present invention is to provide a conference evaluation system and method that can quantitatively evaluate the quality of a conference.
  • the conference evaluation system of the present invention includes a data acquisition unit configured to acquire data regarding the status of conference participants, and a data acquisition unit configured to extract biometric information of the participants from the data acquired by the data acquisition unit. a biometric information extraction unit configured to calculate the concentration level of participants in the conference based on the biometric information; and a report information creation section configured to create report information.
  • the biological information extraction unit estimates information on the gaze direction, which is biological information of the participant, from the data acquired by the data acquisition unit, and estimates the concentration level.
  • the calculation unit is characterized in that the calculation unit calculates the concentration level based on the information on the line of sight direction so that the longer the participant looks at a predetermined place in the conference hall, the higher the value becomes. It is something.
  • the biological information extraction unit estimates the body temperature, which is the first biological information, of the participant from the data acquired by the data acquisition unit, and estimates the body temperature, which is the first biological information, of the participant, and
  • the calculation unit is characterized in that the concentration level is calculated such that the value increases as the temperature rise during the meeting increases relative to the participant's body temperature calculated in advance by the biological information extraction unit before the start of the meeting. It is.
  • the biological information extraction unit estimates heart rate variability information, which is the first biological information of the participant, from the data acquired by the data acquisition unit,
  • the concentration degree calculation unit is characterized in that the concentration degree is calculated such that the larger the heart rate fluctuation, the higher the value.
  • the biometric information extraction unit estimates information on the gaze direction, which is second biometric information of the participant, in addition to the first biometric information, and When it is determined from the gaze direction information that the participant is not looking at a predetermined place in the conference hall, the concentration calculation unit calculates the concentration calculated based on the first biological information of the participant.
  • the feature is that the value is corrected to a fixed value so that the degree of occurrence is lowered.
  • the concentration level calculation unit calculates the concentration level of the participants in the conference for each participant and for each time, and the report information is report information regarding all participants. It is characterized by including information on the percentage of participants who were concentrating on the entire meeting, the percentage of participants who were concentrating on the meeting by time period, and the time trends of the percentage of participants who were concentrating on the meeting. That is.
  • the biological information extraction section specifies the location and department of the participant from the data acquired by the data acquisition section
  • the report information creation section specifies the location and department of the participant.
  • the present invention is characterized in that the report information includes location information of participants and the proportion of participants who were concentrating on the meeting for each department and time period. Further, in one configuration example of the conference evaluation system of the present invention, the concentration level calculation unit calculates the concentration level of the participants in the conference for each participant and for each time, and the report information is created for each participant. Report information on the percentage of time that participants were focused during the entire meeting, the percentage of time that participants were focused in each time period, and the percentage of time that participants were focused in each time period. It is characterized in that it includes information on the transition and the time transition of the biological information.
  • data regarding the states of participants in a conference is acquired, biological information of the participants is extracted from the acquired data, the degree of concentration of the participants in the conference is calculated based on the biological information, and the degree of concentration of the participants in the conference is calculated based on the degree of concentration.
  • FIG. 1 is a block diagram showing the configuration of a conference evaluation system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing another configuration of the conference evaluation system according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of acquiring data regarding the status of conference participants by the data acquisition unit according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating the operation of the conference evaluation system according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a method for estimating the position coordinates of a point that a participant is viewing.
  • FIG. 6 is a diagram illustrating a concentration degree calculation method according to the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of a conference evaluation system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing another configuration of the conference evaluation system according to the first embodiment of the present invention.
  • FIG. 3 is a diagram
  • FIG. 7 is a diagram showing an example of display of report information according to the first embodiment of the present invention.
  • FIG. 8 is a diagram showing another example of displaying report information according to the first embodiment of the present invention.
  • FIG. 9 is a block diagram showing the configuration of a conference evaluation system according to a second embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of body temperature rise when participants are concentrating on a topic of interest.
  • FIG. 11 is a diagram illustrating a concentration degree calculation method according to the second embodiment of the present invention.
  • FIG. 12 is a diagram showing an example of display of report information according to the second embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration of a conference evaluation system according to a third embodiment of the present invention.
  • FIG. 14 is a diagram showing an example of an electrocardiogram waveform.
  • FIG. 15 is a diagram showing an example of a change in pNN50 over time.
  • FIG. 16 is a diagram illustrating a concentration degree calculation method according to the third embodiment of the present invention.
  • FIG. 17 is a diagram showing an example of display of report information according to the third embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a Poincaré plot of RRI.
  • FIG. 19 is a diagram showing another example of the Poincaré plot of RRI.
  • FIG. 20 is a block diagram showing an example of the configuration of a computer that implements the conference evaluation system according to the first to third embodiments of the present invention.
  • the present invention quantitatively assesses the quality of a meeting by calculating the degree of concentration of participants in an evaluation target such as a face-to-face meeting, online meeting, seminar, lecture, class, lecture, interview, etc. based on the acquired biometric information. evaluate.
  • FIG. 1 is a block diagram showing the configuration of a conference evaluation system according to a first embodiment of the present invention.
  • the conference evaluation system includes a data acquisition unit 1 that acquires data regarding the status of conference participants, and extracts biometric information of the participants from the data acquired by the data acquisition unit 1 to calculate the concentration level of the participants in the conference. It is comprised of an evaluation section 2 that creates report information as a result of evaluating the quality of the meeting, and an output section 3 that outputs the report information.
  • FIG. 1 shows an example of a local configuration in which the data acquisition section 1, the evaluation section 2, and the output section 3 are installed at the base where the conference is held, but as shown in FIG.
  • the evaluation section 2 and the output section 3 may be provided at remote locations.
  • the evaluation unit 2 includes a biometric information extraction unit 20 that extracts biometric information of the participants from the data acquired by the data acquisition unit 1, and a concentration level calculation unit 21 that calculates the concentration level of the participants in the conference based on the biometric information. , and a report information creation unit 22 that evaluates the quality of the meeting based on the degree of concentration and creates report information of the evaluation results.
  • FIG. 3 shows an example in which data regarding the status of conference participants is acquired by a plurality of data acquisition units 1.
  • 30 in FIG. 3 indicates a conference hall, 31 indicates participants, and 32 indicates a presenter.
  • data regarding the condition of the participant is acquired in a non-contact manner, but the data may also be acquired by the data acquisition unit 1 worn on the body of the participant.
  • FIG. 4 is a flowchart explaining the operation of the conference evaluation system of this embodiment.
  • the data acquisition unit 1 acquires data regarding the status of participants in the conference (step S100 in FIG. 4).
  • a visible light camera is used as the data acquisition unit 1 to acquire image data of participants.
  • the biological information extraction unit 20 of the evaluation unit 2 extracts data for each participant from the data acquired by the data acquisition unit 1 (step S101 in FIG. 4). Specifically, the biometric information extraction unit 20 extracts the area in which the participant is shown from the image taken by the data acquisition unit 1, and also acquires the position information of the participant. Images of participants can be extracted using well-known image analysis techniques. Further, the positions within the conference hall shown in the images taken by each data acquisition unit 1 are known. Therefore, the biological information extraction unit 20 can estimate the position coordinates of the participant in the conference hall from the position of the participant in the image.
  • the biometric information extraction unit 20 extracts the participant's biometric information from the extracted participant's image (step S102 in FIG. 4). Specifically, the biometric information extraction unit 20 estimates gaze direction information, which is biometric information of the participant.
  • a gaze estimation technique for example, a technique for estimating a gaze direction from a participant's facial features has been put into practical use.
  • the direction of the face may be estimated from the image of the participant's face, and the direction of the face may be regarded as the line-of-sight direction.
  • the biometric information extraction unit 20 can prevent the biometric information of the same participant from being extracted redundantly by, for example, determining whether the participants are the same person or different people using well-known face recognition technology. be. Furthermore, the estimated reliability of biometric information changes depending on the direction of the participant's face. Therefore, when the same participant appears in multiple images, the biometric information extraction unit 20 selects the biometric information of the same participant extracted from the multiple images that has the highest estimated reliability. It may also be used as biological information of a person.
  • the biometric information extraction unit 20 identifies the participant using facial recognition technology and identifies the participant's department. It is also possible to specify
  • the concentration level calculation unit 21 of the evaluation unit 2 calculates the concentration level of the participants in the conference for each participant and for each time based on the biological information of the participants extracted by the biological information extraction unit 20 (Fig. 4 step S103). Gaze expresses a person's emotions and intentions, and there is a very high probability that a person will be looking at a place that interests them. Therefore, if the participant's gaze direction is toward the presenter, it can be estimated that the participant's concentration level is high.
  • the concentration level calculation unit 21 calculates a predetermined place (for example, an area within a predetermined range centered on the presenter's position or the electronic blackboard position) that the participants should gaze at in the conference hall based on the information on the line of sight direction.
  • the concentration level is calculated so that the longer the time spent, the higher the value.
  • the concentration degree calculation unit 21 calculates the concentration degree such that the more times the participant looks at a predetermined place to gaze, the higher the value becomes.
  • FIG. 5 is a plan view of the conference hall 30.
  • two-dimensional coordinates within the conference hall 30 are represented by X and Y coordinates.
  • the predetermined location in the conference hall to be watched is defined in advance by position coordinates on the wall surface of the conference hall 30.
  • the concentration level calculation unit 21 may use the positional coordinates of a point on the wall surface of the conference hall 30 that is on an extension line in the line of sight from the position of the participant 31 as the positional coordinate of the point that the participant is looking at.
  • the concentration degree calculation unit 21 may calculate the concentration degree as a continuous value from 0 to 100%, for example, or as a discrete value in 10 steps such as 1, 2, 3, . . . , 10.
  • the degree of concentration may be calculated as a numerical value.
  • the higher the value the higher the concentration of participants in the conference.
  • the number of stages may be set to N stages (N is an integer greater than 1) instead of 10 stages.
  • the concentration degree calculation unit 21 calculates the concentration degree based on the cumulative gaze time t per unit time. It is assumed that time threshold values t1 to t10 (t1>t2>t3>t4>t5>t6>t7>t8>t9>t10) are determined in advance.
  • the concentration level calculation unit 21 sets the concentration level to 10 when the time t is greater than or equal to t1, sets the concentration level to 9 when the time t is greater than t2 and less than t1, and sets the concentration level to 9 when the time t is greater than t3 and less than t2.
  • the degree of concentration is set to 8, when the time t is greater than t4 and less than or equal to t3, the degree of concentration is set to 7, and when the time t is greater than t5 and less than or equal to t4, the degree of concentration is set to 6. Further, the concentration level calculation unit 21 sets the concentration level to 5 when the time t is greater than t6 and less than or equal to t5, and sets the concentration level to 4 when the time t is greater than t7 and less than or equal to t6, and when the time t is less than or equal to t8.
  • the concentration degree is set to 3; if the time t is greater than t9 and less than or equal to t8, the concentration degree is set to 2; if the time t is greater than t10 and less than or equal to t9, the concentration degree is set to 1.
  • the degree of concentration may be calculated based on the average cumulative gaze time per unit time over multiple units of time, or the degree of concentration may be calculated based on the average time when the participant is gazing at a predetermined location. The degree of concentration may be calculated based on the number of times.
  • the concentration level calculation unit 21 not only calculates the concentration level of participants for the entire conference, but also calculates the concentration level of the participants for the entire conference. , the degree of concentration of participants may be calculated for each time period (each topic) of the meeting.
  • the report information creation unit 22 of the evaluation unit 2 evaluates the quality of the meeting based on the calculation result of the degree of concentration, and creates report information of the evaluation result (step S104 in FIG. 4).
  • the report information includes report information regarding all participants and report information created for each participant.
  • Report information regarding all participants includes the percentage of participants who were concentrated in the entire meeting, the percentage of participants who were concentrated in the meeting by time period, and the change in the percentage of participants who were concentrated in the meeting over time. Contains information.
  • the report information creation unit 22 determines the percentage of participants concentrated in the meeting by department and time period, Participant location information may be included in the report information.
  • the report information created for each participant includes the percentage of time the participant was focused during the entire meeting, the percentage of time the participant was focused in each time period, and the percentage of time the participant was focused in each time period. Contains information on trends in the percentage of time spent in
  • the report information creation unit 22 when the biological information of the participant is used as information on the participant's line of sight direction as in this embodiment, the report information creation unit 22 generates information on the time transition of the position coordinates of the point the participant was looking at as report information. It may be included in
  • the report information creation unit 22 recognizes, for example, a participant whose concentration level exceeds 50% as a participant who was concentrating on the meeting. , participants whose concentration level is less than 50% may be recognized as participants who were not concentrating on the meeting. In addition, if the concentration level is calculated as a numerical value on a scale of 10, the report information creation unit 22 identifies participants whose concentration level exceeds 5 as participants who were concentrating on the meeting, and Participants whose score is less than 5 may be recognized as participants who were not concentrating on the meeting.
  • the output unit 3 outputs the report information created by the report information creation unit 22 (step S105 in FIG. 4). Examples of output include displaying report information, printing report information, and transmitting report information.
  • FIG. 7 shows an example of displaying report information regarding all participants.
  • the percentage of participants who were concentrating on the entire conference (overall evaluation), the percentage of participants who were concentrating on the conference by time period, and the percentage of participants who were concentrating on the conference.
  • the time transition time analysis
  • FIG. 7 shows an example in which the meeting time period is divided into six time periods: presentation 1, presentation 2, break, presentation 3, presentation 4, and presentation 5. Further, an example is shown in which there are three departments to which participants belong: K department, S department, and U department.
  • FIG. 8 shows an example of display of report information created for each participant.
  • the percentage of time participants were focused in the entire conference overall evaluation
  • the percentage of time participants were focused in each time period and the percentage of time participants were focused in each time period.
  • the changes in the percentage of time spent looking at the participants (time analysis) and the time changes in the position coordinates of the points the participants were looking at are displayed.
  • only the X coordinate is shown among the position coordinates in the conference hall 30 described in FIG.
  • the organizer who is the user of the conference evaluation system, can analyze what kind of participants were concentrating on the conference and improve the results of the conference by viewing the report information displayed as shown in Figures 7 and 8. You can optimize the meeting by considering how to proceed and analyzing which presenters and topics attracted attention.
  • the output unit 3 may not only display the report information to the organizer, but also transmit the report information to the terminals of the participants (for example, PCs (Personal Computers), smartphones, etc.). This allows participants to display the received report information on their terminals. What is sent to the participant's terminal is report information created for this participant as shown in FIG. 8, or report information regarding all participants as shown in FIG.
  • image data of the participants is acquired using a visible light camera that photographs the inside of the conference hall, and information on the gaze direction of the participants is estimated.
  • the wearable device may detect the participant's eye movements and body movements to estimate information on the participant's gaze direction.
  • FIG. 9 is a block diagram showing the configuration of a conference evaluation system according to a second embodiment of the present invention.
  • the conference evaluation system includes a data acquisition section 1a, an evaluation section 2a, and an output section 3.
  • a communication section may be provided between the data acquisition section 1a and the evaluation section 2a.
  • the data acquisition unit 1a acquires data regarding the status of the participants in the conference (step S100 in FIG. 4).
  • an integrated infrared camera and visible light camera is used as the data acquisition unit 1a, and infrared image data and visible light image data of participants are acquired.
  • the biological information extraction unit 20a of the evaluation unit 2a extracts data of each participant from the data acquired by the data acquisition unit 1a (step S101 in FIG. 4). Specifically, the biometric information extraction unit 20a extracts the region in which the participant is shown from the visible light image taken by the data acquisition unit 1a, and also acquires the position information of the participant.
  • the biometric information extraction unit 20a extracts the participant's biometric information from the region of the infrared image that corresponds to the region of the participant's face extracted from the visible light image (step S102 in FIG. 4). Specifically, the biological information extraction unit 20a estimates the participant's body temperature, which is biological information. In experiments conducted by the inventor, it has been found that when participants are concentrating on a topic of interest, their body temperature increases, as shown in FIG. Based on this fact, the rise in the body temperature of the participants can be treated as information indicating the degree of concentration of the participants in the meeting.
  • the biometric information extraction unit 20a extracts a predetermined part of the participant's face by face recognition based on the visible light image, and extracts the part of the participant's face from the infrared intensity in the area of the infrared image corresponding to the extracted part.
  • the surface temperature may be calculated and the calculated value may be taken as the participant's body temperature. Calculations based on the infrared intensity provide the temperature distribution of the extracted parts of the participant's face, and for example, the maximum temperature may be taken as the participant's body temperature.
  • the biometric information extraction unit 20a can prevent duplicate biometric information of the same participant from being extracted by using face recognition technology to determine whether the participants are the same person or different people.
  • the concentration level calculation unit 21a of the evaluation unit 2a calculates the concentration level of the participants in the conference for each participant and for each time based on the biological information of the participants extracted by the biological information extraction unit 20a (Fig. 4 step S103).
  • the concentration level calculation unit 21a calculates the concentration level based on the rise in body temperature during the conference with respect to the participant's body temperature calculated in advance by the biological information extraction unit 20a before the start of the conference. Specifically, the degree of concentration is calculated such that the greater the rise in body temperature, the higher the value.
  • the concentration degree calculation unit 21a may calculate the concentration degree as a continuous value from 0 to 100%, for example, or as a discrete value in 10 steps such as 1, 2, 3, . . . , 10.
  • the degree of concentration may be calculated as a numerical value. As in the first embodiment, a higher value means a higher degree of concentration of participants in the conference. Further, instead of 10 stages, N stages may be used.
  • the concentration degree calculation unit 21a calculates the concentration degree based on the body temperature rise width T. It is assumed that body temperature rise thresholds T1 to T10 (T1>T2>T3>T4>T5>T6>T7>T8>T9>T10) are determined in advance.
  • the concentration level calculation unit 21a sets the concentration level to 10 when the body temperature rise width T is T1 or more, and sets the concentration level to 9 when the body temperature rise width T is greater than T2 and smaller than T1, and sets the concentration level to 9 when the body temperature rise width T is T3. If the width of body temperature rise T is greater than T4 but not more than T2, the concentration level is set to 8.
  • the concentration level is set to 7. If the width of body temperature rise T is greater than T5 and below T4, the concentration level is set to 8. Let be 6. In addition, the concentration degree calculation unit 21a sets the concentration degree to 5 when the body temperature increase width T is greater than T6 and less than T5, and sets the concentration degree to 4 when the body temperature increase width T is greater than T7 and less than T6. If the range of increase in body temperature T is greater than T8 and less than T7, the concentration level is set to 3. If the range of increase in body temperature T is greater than T9 and less than T8, the concentration level is set to 2, and the range of increase in body temperature T is greater than T10 and below T9. In this case, the concentration level is set to 1.
  • the report information creation unit 22a of the evaluation unit 2a evaluates the quality of the meeting based on the calculation result of the degree of concentration, and creates report information of the evaluation result (step S104 in FIG. 4).
  • the output unit 3 outputs the report information created by the report information creation unit 22a (step S105 in FIG. 4).
  • the report information creation unit 22a recognizes, for example, a participant whose concentration level exceeds 50% as a participant who was concentrating on the meeting. , participants whose concentration level is less than 50% may be recognized as participants who were not concentrating on the meeting.
  • the report information creation unit 22a recognizes, for example, a participant whose concentration level exceeds 5 as a participant who was concentrating on the meeting. Participants whose score is less than 5 may be recognized as participants who were not concentrating on the meeting.
  • FIG. 12 shows an example of display of report information.
  • the percentage of time participants were focused in the entire conference overall evaluation
  • the percentage of time participants were focused in each time period and the percentage of time participants were focused in each time period.
  • the changes in the percentage of time spent in the room (time analysis) and the changes in the participants' body temperature over time (observation results) are displayed. It goes without saying that in this embodiment as well, report information regarding all participants as shown in FIG. 7 can be created.
  • the concentration level is calculated based on the rise in body temperature of the participants, so even if the participants are concentrating on something other than the meeting and their body temperature is rising, the concentration level will be calculated high. there is a possibility.
  • the concentration level calculation unit 21a determines that the participant is not looking at a predetermined place in the conference hall that should be gazed at based on the information on the line of sight direction, the concentration level calculation unit 21a calculates that the concentration level calculated based on the temperature rise of the participant is low. Correct to a fixed value (for example, the lowest value) so that In this way, it is possible to reduce the possibility that a high concentration level will be calculated when the participants are concentrating on something other than the meeting.
  • the data acquisition unit 1a may include a visible light camera and a thermometer worn on the participant's body.
  • FIG. 13 is a block diagram showing the configuration of a conference evaluation system according to a third embodiment of the present invention.
  • the conference evaluation system includes a data acquisition section 1b, an evaluation section 2b, and an output section 3.
  • a communication section may be provided between the data acquisition section 1b and the evaluation section 2b.
  • the data acquisition unit 1b acquires data regarding the status of the participants in the conference (step S100 in FIG. 4).
  • a visible light camera is used as the data acquisition unit 1b to acquire image data of participants.
  • the biological information extraction unit 20b of the evaluation unit 2b extracts data for each participant from the data acquired by the data acquisition unit 1b (step S101 in FIG. 4). Specifically, the biometric information extraction unit 20b extracts the area in which the participant is shown from the visible light image taken by the data acquisition unit 1b, and also acquires the position information of the participant.
  • the biometric information extraction unit 20b extracts the participant's biometric information from the image of the participant's face extracted from the visible light image (step S102 in FIG. 4). Specifically, the biological information extraction unit 20b estimates information on heart rate variability, which is biological information of the participant. In this embodiment, the R-R interval (RRI) is estimated as information on heart rate variability.
  • FIG. 14 shows an example of an electrocardiogram waveform.
  • An electrocardiogram waveform consists of a continuous heartbeat waveform, and one heartbeat waveform consists of components such as P waves, Q waves, R waves, S waves, and T waves that reflect the activities of the atria and ventricles.
  • Pulse waves generally have periodicity linked to heartbeat.
  • the biological information extraction unit 20b estimates the pulse wave from the image of the participant's face and calculates the RRI, which is the time interval between an R wave and the next R wave.
  • RRI is the time interval between an R wave and the next R wave.
  • a pulse wave estimation technology a technology that estimates a pulse wave by analyzing the blood flow situation from an image of a participant's face has been put into practical use. It is known that when a person's sympathetic nervous system is activated, the RRI is shortened and the heart rate (HR) is increased, whereas when the parasympathetic nervous system is activated, the RRI is lengthened and the HR is decreased. That is, RRI reflects changes in a person's emotional state.
  • the biometric information extraction unit 20b can prevent duplicate biometric information of the same participant from being extracted by using face recognition technology to determine whether the participants are the same person or different people.
  • the concentration level calculation unit 21b of the evaluation unit 2b calculates the concentration level of the participants in the conference for each participant and for each time based on the biological information of the participants extracted by the biological information extraction unit 20b (Fig. 4 step S103).
  • the concentration degree calculation unit 21b calculates the concentration degree based on pNN50 that can be calculated from RRI data. Specifically, the degree of concentration is calculated such that the higher the pNN50, the higher the value.
  • the concentration calculation unit 21b counts the number of times (NN50) that the difference between successive adjacent RRIs exceeds 50 ms among a certain number (for example, 60 pieces) or a certain period of time (for example, one minute) of RRI data. Then, the concentration calculation unit 21b calculates pNN50 by dividing NN50 by the number of RRI data.
  • FIG. 15 shows an example of the change in pNN50 over time.
  • the concentration degree calculation unit 21b may calculate the concentration degree as a continuous value from 0 to 100%, for example, or as a discrete value in 10 steps such as 1, 2, 3, . . . , 10.
  • the degree of concentration may be calculated as a numerical value. As in the first embodiment, a higher value means a higher degree of concentration of participants in the conference. Further, instead of 10 stages, N stages may be used.
  • the concentration degree calculation unit 21b calculates the concentration degree based on pNN50. It is assumed that threshold values N1 to N10 (N1>N2>N3>N4>N5>N6>N7>N8>N9>N10) are determined in advance.
  • the concentration calculation unit 21b sets the concentration to 10 when pNN50 is greater than or equal to N1, sets the concentration to 9 when pNN50 is greater than N2 and less than N1, and sets the concentration to 9 when pNN50 is greater than N3 and less than N2. If pNN50 is greater than N4 and less than or equal to N3, the degree of concentration is set to 7.
  • the concentration degree calculation unit 21b sets the concentration degree to 5 when pNN50 is greater than N6 and less than or equal to N5, sets the concentration degree to 4 when pNN50 is greater than N7 and less than or equal to N6, and sets the concentration degree to N7 when pNN50 is greater than N8 and less than or equal to N6.
  • the degree of concentration is set to 3 when pNN50 is greater than N9 and less than or equal to N8, the degree of concentration is set to 2, and when pNN50 is greater than N10 and less than or equal to N9, the degree of concentration is set to 1. In this way, the concentration level calculation unit 21b calculates a higher concentration level as the heart rate variability (HRV) is larger.
  • HRV heart rate variability
  • the report information creation unit 22b of the evaluation unit 2b evaluates the quality of the meeting based on the calculation result of the degree of concentration, and creates report information of the evaluation result (step S104 in FIG. 4).
  • the output unit 3 outputs the report information created by the report information creation unit 22b (step S105 in FIG. 4).
  • the report information creation unit 22b identifies participants whose concentration level exceeds 50% as participants who were concentrating on the meeting, for example. , participants whose concentration level is less than 50% may be recognized as participants who were not concentrating on the meeting. Furthermore, when the concentration level is calculated as a numerical value on a scale of 10, the report information creation unit 22b identifies participants whose concentration level exceeds 5 as participants who were concentrating on the meeting, and Participants whose score is less than 5 may be recognized as participants who were not concentrating on the meeting.
  • FIG. 17 shows an example of display of report information.
  • the percentage of time participants were focused in the entire conference (overall evaluation)
  • the percentage of time participants were focused in each time period and the percentage of time participants were focused in each time period.
  • the changes in the proportion of time spent in the room (time analysis) and Poincaré plots (observation results) of RRI for each time period of the participants are displayed.
  • the Poincaré plot plots two consecutive RRIs, with the i-th RRI value RRI i as the X-axis value and the i+1-th RRI value RRI i+1 as the Y-axis value. It can be obtained through repetition.
  • FIG. 19 shows an example of a Poincaré plot when the degree of concentration is low.
  • the RRI may be normalized.
  • FIGS. 17 to 19 Poincaré plots are drawn by normalizing RRI. It goes without saying that in this embodiment as well, report information regarding all participants as shown in FIG. 7 can be created.
  • the degree of concentration is calculated based on pNN50, but the straight-line distance between two temporally consecutive points on the Poincaré plot of RRI may be used as a value indicating the degree of concentration.
  • the straight-line distance between two consecutive points is divided by a certain parameter and normalized. It is desirable that the parameter is a value that decreases relatively as the heart rate increases.
  • the longer total value of the total value of the X coordinates of the two points and the total value of the Y coordinates of the two points is used as the parameter. In this way, the concentration degree calculation unit 21b can calculate the normalized straight-line distance between two consecutive points for each time.
  • the concentration calculation unit 21b identifies participants whose normalized straight-line distance is lower than a predetermined threshold as participants who were concentrating on the conference, and identifies participants whose normalized straight-line distance is equal to or higher than the threshold as not concentrating on the conference. be recognized as a participant.
  • the linear distance between two points on the Poincaré plot of pNN50 or RRI is used as an index of heart rate variability for calculating the degree of concentration, but other indexes may be used.
  • Other indicators include time domain analysis indicators, frequency domain analysis indicators, and nonlinear analysis indicators.
  • Indices for time domain analysis include pNN50, Mean RR, SDNN, RMSSD, Triangular index, TINN, heart rate variability DC (Deceleration Capacity), AC (Acceleration Capacity), etc.
  • Indices for frequency domain analysis include VLF (Very Low Frequency), LF (Low Frequency), HF (High Frequency), peak frequency, and LF/HF ratio.
  • Indices for nonlinear analysis include SD1, which is the standard deviation in the Y-axis direction of the Poincaré plot, SD2, which is the standard deviation in the X-axis direction of the Poincaré plot, the SD2/SD1 ratio, approximate entropy (ApEn), and sample entropy ( Sample Entropy (SampEn), indicators obtained by Detrended Fluctuation Analysis (DFA), indicators obtained by Recurrence Plot Analysis (RPA), and indicators obtained by multiscale entropy (MSE) analysis. There are indicators, etc.
  • the concentration level is calculated based on the participant's pNN50, so even if the participant is concentrating on something other than the meeting and their heart rate fluctuates, the concentration level may be calculated high. There is sex.
  • the line-of-sight direction information described in the first embodiment is used.
  • the concentration level calculation unit 21b determines from the gaze direction information that the participant is not looking at a predetermined place in the conference hall, the concentration level calculated based on the participant's pNN50 becomes low. Correct it to a fixed value (for example, the lowest value). In this way, it is possible to reduce the possibility that a high concentration level will be calculated when the participants are concentrating on something other than the meeting.
  • the data acquisition unit 1b may include a visible light camera and a pulse wave meter or electrocardiograph that is worn on the body of the participant.
  • the electrocardiogram waveform of the participant may be obtained using an electrocardiograph, and information on heart rate variability may be extracted.
  • the evaluation units 2, 2a, 2b and the output unit 3 described in the first to third embodiments are a computer equipped with a CPU (Central Processing Unit), a storage device, and an interface, and a program that controls these hardware resources. This can be achieved by An example of the configuration of this computer is shown in FIG.
  • the computer includes a CPU 100, a storage device 101, and an interface device (I/F) 102.
  • the data acquisition unit 1, the hardware of the output unit 3, and the like are connected to the I/F 102.
  • a program for implementing the conference evaluation method of the present invention is stored in the storage device 101.
  • the CPU 100 executes the processes described in the first to third embodiments according to the program stored in the storage device 101.
  • the present invention can be applied to techniques for evaluating the quality of face-to-face meetings and online meetings.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

会議評価システムは、会議の参加者の状態に関するデータを取得するデータ取得部（１）と、会議の質を評価する評価部（２）と、報告情報を出力する出力部（３）とから構成される。評価部（２）は、データ取得部（１）によって取得されたデータから参加者の生体情報を取り出す生体情報抽出部（２０）と、生体情報に基づいて会議に対する参加者の集中度を算出する集中度算出部（２１）と、集中度に基づいて会議の質を評価し、評価結果の報告情報を作成する報告情報作成部（２２）とから構成される。

Description

会議評価システム
　本発明は、会議の質を定量的に評価する技術に関するものである。
　企業で行われる会議は、物事の方向性を決めたりアイデア出しをしたりと、業務を進める上で重要な役割を果たしている。しかしながら、会議やセミナーと呼ばれるものの中には、参加した後に今回の会議はあまり意味がなかったと感じたり、無駄な時間だったと感じたりするものが少なくない。１万人規模の企業では、年間約６７万時間、１５億円の人件費を会議で無駄にしているといわれている。例えば、一部の参加者にしか関係のないことについて説明が続き、特に議論もない会議の場合、他の参加者は無駄な時間だったと感じる可能性がある。無駄な業務を減らして、生産性と業務効率を向上させるために無駄な会議を排除することが求められている。
　また、特定のテーマに対して広く行われている各種セミナーには新たな情報やノウハウを探すために多くの人が参加する。しかし、参加する目的は人それぞれであり、セミナーが必ずしも主催者や参加者の生産性や業務効率を高めるものになっていないことが多い。セミナーに参加する代表的な理由としては、例えば以下のようなものがある。
（I）参加することで、新たな人脈を探す。
（II）今の状況を変えたい。
（III）自分のためになりそう。
（IV）業界で騒がれている内容だから。
（V）自分も勉強しておきたい。
（VI）儲かりそうだから。
（VII）会社から参加するように言われたから。
　セミナーの主催者は、どのような参加者がセミナーに興味を示したかを分析したり、セミナーの進め方を検討したり、どのような講演者やテーマに注目が集まったかを分析したりしてセミナーの最適化を図る必要ある。また、参加者あるいは参加者が所属する会社等の組織は、情報収集の効率向上や参加させる人材の最適化が必要である。
　しかし、資料の共有が速いか遅いかといった点や、時間どおりに進行できているかといった点で会議を分析して採点する方法はあるが、参加者が積極的に参加しているかといった点や、情報の収集に努めているかといった点を評価する方法は従来実現できていなかった。また、主催者や参加者が会議あるいはセミナーを評価する方法として、アンケートなどの主観的な評価方法があるが、定量的に評価する方法は実現できていなかった（非特許文献１参照）。
立松秀俊他，"評価対象に対する関心度についての検討"，日本知能情報ファジィ学会第２３回ファジィシステムシンポジウム講演論文集，２００７年
　本発明は、上記課題を解決するためになされたもので、会議の質を定量的に評価することができる会議評価システムおよび方法を提供することを目的とする。
　本発明の会議評価システムは、会議の参加者の状態に関するデータを取得するように構成されたデータ取得部と、前記データ取得部によって取得されたデータから参加者の生体情報を取り出すように構成された生体情報抽出部と、前記生体情報に基づいて会議に対する参加者の集中度を算出するように構成された集中度算出部と、前記集中度に基づいて会議の質を評価し、評価結果の報告情報を作成するように構成された報告情報作成部とを備える。
　また、本発明の会議評価システムの１構成例において、前記生体情報抽出部は、前記データ取得部によって取得されたデータから前記参加者の生体情報である視線方向の情報を推定し、前記集中度算出部は、前記視線方向の情報に基づいて、参加者が会議場内の注視すべき所定の場所を見ていた時間が長いほど値が高くなるように前記集中度を算出することを特徴とするものである。
　また、本発明の会議評価システムの１構成例において、前記生体情報抽出部は、前記データ取得部によって取得されたデータから前記参加者の第１の生体情報である体温を推定し、前記集中度算出部は、会議の開始前に前記生体情報抽出部によって予め算出された参加者の体温に対する会議中の体温上昇が大きいほど値が高くなるように前記集中度を算出することを特徴とするものである。
　また、本発明の会議評価システムの１構成例において、前記生体情報抽出部は、前記データ取得部によって取得されたデータから前記参加者の第１の生体情報である心拍変動の情報を推定し、前記集中度算出部は、前記心拍変動が大きいほど値が高くなるように前記集中度を算出することを特徴とするものである。
　また、本発明の会議評価システムの１構成例において、前記生体情報抽出部は、前記第１の生体情報に加えて、参加者の第２の生体情報である視線方向の情報を推定し、前記集中度算出部は、前記視線方向の情報から参加者が会議場内の注視すべき所定の場所を見ていないと判定したときに、この参加者の前記第１の生体情報に基づいて算出した集中度が低くなるように固定値に修正することを特徴とするものである。
　また、本発明の会議評価システムの１構成例において、前記集中度算出部は、会議に対する参加者の集中度を参加者毎および時間毎に算出し、前記報告情報は、参加者全体に関する報告情報であり、会議全体において集中していた参加者の割合、会議に集中していた参加者の時間帯毎の割合、会議に集中していた参加者の割合の時間推移の情報を含むことを特徴とするものである。
　また、本発明の会議評価システムの１構成例において、前記生体情報抽出部は、前記データ取得部によって取得されたデータから、参加者の位置と所属部署とを特定し、前記報告情報作成部は、参加者の位置情報と、会議に集中していた参加者の所属部署毎および時間帯毎の割合を前記報告情報に含めることを特徴とするものである。
　また、本発明の会議評価システムの１構成例において、前記集中度算出部は、会議に対する参加者の集中度を参加者毎および時間毎に算出し、前記報告情報は、参加者毎に作成される報告情報であり、参加者が会議全体において集中していた時間の割合、参加者が各時間帯において集中していた時間の割合、参加者が各時間帯において集中していた時間の割合の推移、前記生体情報の時間推移の情報を含むことを特徴とするものである。
　本発明によれば、会議の参加者の状態に関するデータを取得し、取得したデータから参加者の生体情報を取り出し、生体情報に基づいて会議に対する参加者の集中度を算出し、集中度に基づいて会議の質を評価して、評価結果の報告情報を作成することにより、会議の質を定量的に評価することができる。
図１は、本発明の第１の実施例に係る会議評価システムの構成を示すブロック図である。 図２は、本発明の第１の実施例に係る会議評価システムの別の構成を示すブロック図である。 図３は、本発明の第１の実施例に係るデータ取得部によって会議の参加者の状態に関するデータを取得する例を示す図である。 図４は、本発明の第１の実施例に係る会議評価システムの動作を説明するフローチャートである。 図５は、参加者が見ている点の位置座標の推定方法の１例を説明する図である。 図６は、本発明の第１の実施例に係る集中度の算出方法を説明する図である。 図７は、本発明の第１の実施例に係る報告情報の表示の１例を示す図である。 図８は、本発明の第１の実施例に係る報告情報の表示の他の例を示す図である。 図９は、本発明の第２の実施例に係る会議評価システムの構成を示すブロック図である。 図１０は、参加者が関心のある議題に集中しているときの体温上昇の例を示す図である。 図１１は、本発明の第２の実施例に係る集中度の算出方法を説明する図である。 図１２は、本発明の第２の実施例に係る報告情報の表示の１例を示す図である。 図１３は、本発明の第３の実施例に係る会議評価システムの構成を示すブロック図である。 図１４は、心電図波形の例を示す図である。 図１５は、ｐＮＮ５０の時間変化の１例を示す図である。 図１６は、本発明の第３の実施例に係る集中度の算出方法を説明する図である。 図１７は、本発明の第３の実施例に係る報告情報の表示の１例を示す図である。 図１８は、ＲＲＩのポアンカレプロットを説明する図である。 図１９は、ＲＲＩのポアンカレプロットの別の例を示す図である。 図２０は、本発明の第１～第３の実施例に係る会議評価システムを実現するコンピュータの構成例を示すブロック図である。
［発明の原理］
　人が何かに興味を持つとバイタル情報や行動に現れることが知られており、代表的な生体情報としては体温、心拍、視線、声などがある。例えば人は関心があるものを見続けることが知られている。複数の人の生体情報を非接触で同時に測定できる画像解析方法や電磁気学的な方法がいくつも提案されている。
　本発明では、取得した生体情報に基づいて、対面会議、オンライン会議、セミナー、講演、授業、講義、インタビューなどの評価対象に対する参加者の集中度を算出することにより、会議の質を定量的に評価する。
［第１の実施例］
　以下、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例に係る会議評価システムの構成を示すブロック図である。会議評価システムは、会議の参加者の状態に関するデータを取得するデータ取得部１と、データ取得部１によって取得されたデータから参加者の生体情報を取り出して、会議に対する参加者の集中度を算出し、会議の質を評価した結果の報告情報を作成する評価部２と、報告情報を出力する出力部３とから構成される。
　図１の例では、データ取得部１と評価部２と出力部３とを会議が行われる拠点に設置したローカル構成の例を示しているが、図２に示すようにデータ取得部１と評価部２との通信を中継する通信部４を設けることにより、評価部２と出力部３とを遠隔地に設けるようにしてもよい。
　評価部２は、データ取得部１によって取得されたデータから参加者の生体情報を取り出す生体情報抽出部２０と、生体情報に基づいて会議に対する参加者の集中度を算出する集中度算出部２１と、集中度に基づいて会議の質を評価し、評価結果の報告情報を作成する報告情報作成部２２とを備えている。
　複数のデータ取得部１によって会議の参加者の状態に関するデータを取得する例を図３に示す。図３の３０は会議場を示し、３１は参加者を示し、３２はプレゼンタを示している。図３の例では、参加者の状態に関するデータを非接触で取得しているが、参加者の身体に装着するデータ取得部１によってデータを取得しても構わない。
　図４は本実施例の会議評価システムの動作を説明するフローチャートである。データ取得部１は、会議の参加者の状態に関するデータを取得する（図４ステップＳ１００）。本実施例では、データ取得部１として可視光カメラを用い、参加者を撮影した画像データを取得する。
　次に、評価部２の生体情報抽出部２０は、データ取得部１によって取得されたデータから参加者個々のデータを抽出する（図４ステップＳ１０１）。具体的には、生体情報抽出部２０は、データ取得部１によって撮影された画像から参加者が写っている領域を抽出する共に、参加者の位置情報を取得する。参加者の画像は周知の画像解析技術によって抽出することができる。また、それぞれのデータ取得部１が撮影する画像に写っている会議場内の位置は既知である。したがって、生体情報抽出部２０は、画像内の参加者の位置から会議場内における参加者の位置座標を推定することが可能である。
　続いて、生体情報抽出部２０は、抽出した参加者の画像から参加者の生体情報を取り出す（図４ステップＳ１０２）。具体的には、生体情報抽出部２０は、参加者の生体情報である視線方向の情報を推定する。視線推定技術としては、例えば参加者の顔の特徴量から視線方向を推定する技術が実用化されている。また、参加者の顔の画像から顔の向きを推定し、顔の向きを視線方向とみなしてもよい。
　なお、同一の参加者の生体情報を重複して抽出しないようにする必要がある。複数のデータ取得部１によって会議場内を撮影して複数枚の画像が得られた場合、同一の参加者が複数枚の画像に写っている可能性がある。このような場合、生体情報抽出部２０は、例えば周知の顔認識技術により同一人物か別人かを判別することにより、同一の参加者の生体情報を重複して抽出しないようにすることが可能である。また、参加者の顔の向きによって生体情報の推定信頼度が変化する。そこで、生体情報抽出部２０は、同一の参加者が複数枚の画像に写っている場合、複数枚の画像から抽出した同一の参加者の生体情報のうち推定信頼度が最も高いものを当該参加者の生体情報としてもよい。
　また、会議の参加者が社員で、社員の所属部署と顔のデータとがデータベースに登録されている場合、生体情報抽出部２０は、顔認識技術によって参加者を特定し、参加者の所属部署を特定することも可能である。
　次に、評価部２の集中度算出部２１は、生体情報抽出部２０によって抽出された参加者の生体情報に基づいて会議に対する参加者の集中度を参加者毎および時間毎に算出する（図４ステップＳ１０３）。視線は人の感情や意志を表しており、人は興味を持った場所を見ている確率が非常に高い。したがって、参加者の視線方向がプレゼンタの方を向いている場合、集中度が高いと推定できる。
　集中度算出部２１は、視線方向の情報に基づいて、参加者が会議場内の注視すべき所定の場所（例えばプレゼンタの位置または電子黒板の位置を中心とする所定の範囲内の領域）を見ていた時間が長いほど値が高くなるように集中度を算出する。あるいは、集中度算出部２１は、参加者が注視すべき所定の場所を見ていた回数が多いほど値が高くなるように集中度を算出する。
　上記のように会議場内における参加者の位置座標が分かっている場合、参加者の位置座標と視線方向とに基づいて、参加者が見ている点の位置座標を推定することが可能である。図５は会議場３０の平面図である。図５に示した例では、会議場３０内の２次元座標をＸ，Ｙ座標で表す。会議場内の注視すべき所定の場所は、会議場３０の壁面上の位置座標で予め定義されている。集中度算出部２１は、参加者３１の位置から視線方向の延長線上にある会議場３０の壁面上の点の位置座標を、参加者が見ている点の位置座標とすればよい。
　集中度算出部２１は、例えば０～１００％までの連続的な数値として集中度を算出してもよいし、１，２，３，・・・・，１０などのように１０段階の離散的な数値として集中度を算出してもよい。本実施例では、数値が高いほど会議に対する参加者の集中度が高いことを意味する。また、１０段階でなくＮ段階（Ｎは１より大きい整数）としてもよいことは言うまでもない。
　集中度の算出方法を図６によって説明する。図６の例では、集中度算出部２１は、単位時間当たりの累積注視時間ｔに基づいて集中度を算出する。時間閾値ｔ１～ｔ１０（ｔ１＞ｔ２＞ｔ３＞ｔ４＞ｔ５＞ｔ６＞ｔ７＞ｔ８＞ｔ９＞ｔ１０）が予め定められているとする。集中度算出部２１は、時間ｔがｔ１以上の場合、集中度を１０とし、時間ｔがｔ２より大でｔ１より小の場合、集中度を９とし、時間ｔがｔ３より大でｔ２以下の場合、集中度を８とし、時間ｔがｔ４より大でｔ３以下の場合、集中度を７とし、時間ｔがｔ５より大でｔ４以下の場合、集中度を６とする。また、集中度算出部２１は、時間ｔがｔ６より大でｔ５以下の場合、集中度を５とし、時間ｔがｔ７より大でｔ６以下の場合、集中度を４とし、時間ｔがｔ８より大でｔ７以下の場合、集中度を３とし、時間ｔがｔ９より大でｔ８以下の場合、集中度を２とし、時間ｔがｔ１０より大でｔ９以下の場合、集中度を１とする。
　単位時間当たりの累積注視時間ではなく、単位時間当たりの累積注視時間を複数の単位時間について平均した平均時間に基づいて集中度を算出してもよいし、参加者が所定の場所を注視していた回数に基づいて集中度を算出してもよい。
　なお、集中度算出部２１は、会議全体に対する参加者の集中度を算出するだけでなく、例えば会議の時間帯が議題毎に区切られていて、その時間帯が予め設定されている場合には、会議の時間帯毎（議題毎）に参加者の集中度を算出するようにしてもよい。
　次に、評価部２の報告情報作成部２２は、集中度の算出結果に基づいて会議の質を評価し、評価結果の報告情報を作成する（図４ステップＳ１０４）。報告情報には、参加者全体に関する報告情報と、参加者毎に作成される報告情報とがある。
　参加者全体に関する報告情報には、会議全体において集中していた参加者の割合、会議に集中していた参加者の時間帯毎の割合、会議に集中していた参加者の割合の時間推移の情報が含まれる。また、上記のとおり、参加者の所属部署と参加者の位置座標が特定可能な場合、報告情報作成部２２は、会議に集中していた参加者の所属部署毎および時間帯毎の割合と、参加者の位置情報を報告情報に含めるようにしてもよい。
　参加者毎に作成される報告情報には、参加者が会議全体において集中していた時間の割合、参加者が各時間帯において集中していた時間の割合、参加者が各時間帯において集中していた時間の割合の推移の情報が含まれる。
　また、本実施例のように参加者の生体情報を参加者の視線方向の情報とする場合、報告情報作成部２２は、参加者が見ていた点の位置座標の時間推移の情報を報告情報に含めるようにしてもよい。
　報告情報作成部２２は、集中度が０～１００％の連続的な数値として算出されている場合、例えば集中度が５０％を超えている参加者を会議に集中していた参加者と認定し、集中度が５０％を下回る参加者を会議に集中していなかった参加者と認定すればよい。また、報告情報作成部２２は、集中度が１０段階の数値として算出されている場合、例えば集中度が５を超えている参加者を会議に集中していた参加者と認定し、集中度が５を下回る参加者を会議に集中していなかった参加者と認定すればよい。
　次に、出力部３は、報告情報作成部２２によって作成された報告情報を出力する（図４ステップＳ１０５）。出力例としては、報告情報の表示、報告情報の印刷、報告情報の送信などがある。
　図７に参加者全体に関する報告情報の表示の１例を示す。図７の例では、会議全体において集中していた参加者の割合（全体評価）と、会議に集中していた参加者の時間帯毎の割合と、会議に集中していた参加者の割合の時間推移（時間分析）と、会議に集中していた参加者の所属部署毎および時間帯毎の割合と、参加者の位置座標（座席マップ）とが表示されている。
　図７の例では、会議の時間帯が発表１、発表２、休憩、発表３、発表４、発表５の６つの時間帯に分かれている例を示している。また、参加者の所属部署としてＫ部、Ｓ部、Ｕ部の３つがある例を示している。
　図８に参加者毎に作成される報告情報の表示の例を示す。図８の例では、参加者が会議全体において集中していた時間の割合（全体評価）と、参加者が各時間帯において集中していた時間の割合と、参加者が各時間帯において集中していた時間の割合の推移（時間分析）と、参加者が見ていた点の位置座標の時間推移（観測結果）とが表示されている。図８の例では、図５で説明した会議場３０内の位置座標のうちＸ座標のみを示している。
　こうして、会議評価システムのユーザである主催者は、図７、図８のように表示された報告情報を見ることにより、どのような参加者が会議に集中していたかを分析したり、会議の進め方を検討したり、どのようなプレゼンタや議題に注目が集まったかを分析したりして、会議の最適化を図ることができる。
　また、出力部３は、報告情報を主催者に対して表示するだけでなく、参加者の端末（例えばＰＣ（Personal Computer）やスマートフォンなど）に報告情報を送信するようにしてもよい。これにより、参加者は、受信した報告情報を端末に表示させることができる。参加者の端末に送信されるのは、この参加者について作成された図８のような報告情報、または図７のような参加者全体に関する報告情報である。
　なお、本実施例では、会議場内を撮影する可視光カメラによって参加者を撮影した画像データを取得し、参加者の視線方向の情報を推定しているが、例えば参加者が装着する眼鏡型のウェアラブルデバイス（データ取得部１）によって参加者の目の動きや体の動きを検出し、参加者の視線方向の情報を推定するようにしてもよい。
［第２の実施例］
　次に、本発明の第２の実施例について説明する。図９は本発明の第２の実施例に係る会議評価システムの構成を示すブロック図である。会議評価システムは、データ取得部１ａと、評価部２ａと、出力部３とから構成される。第１の実施例で説明したように、データ取得部１ａと評価部２ａとの間に通信部を設けるようにしてもよい。
　本実施例においても、会議評価システムの処理の流れは第１の実施例と同様であるので、図４の符号を用いて説明する。
　データ取得部１ａは、会議の参加者の状態に関するデータを取得する（図４ステップＳ１００）。本実施例では、データ取得部１ａとして赤外線カメラと可視光カメラが一体となったものを用い、参加者を撮影した赤外線画像データと可視光画像データを取得する。
　次に、評価部２ａの生体情報抽出部２０ａは、データ取得部１ａによって取得されたデータから参加者個々のデータを抽出する（図４ステップＳ１０１）。具体的には、生体情報抽出部２０ａは、データ取得部１ａによって撮影された可視光画像から参加者が写っている領域を抽出する共に、参加者の位置情報を取得する。
　続いて、生体情報抽出部２０ａは、可視光画像から抽出した参加者の顔の領域に対応する赤外線画像の領域から参加者の生体情報を取り出す（図４ステップＳ１０２）。具体的には、生体情報抽出部２０ａは、参加者の生体情報である体温を推定する。発明者による実験では、参加者が関心のある議題に集中していると、図１０に示すように体温が上昇することが分かっている。このような事実から、参加者の体温の上昇を、会議に対する参加者の集中度を示す情報として扱うことができる。
　近年、ＣＯＶＩＤ１９の感染拡大による体温への関心の高まりから、非接触で人の表面温度を測る技術が普及してきている。参加者の顔の赤外線画像から参加者の顔の表面温度を算出することが可能である。一般に、人の皮膚表面の温度は周囲環境の影響を受け易いが、鼻先や目頭等太い血管がある部分では安定した温度評価を行うことができる。
　そこで、生体情報抽出部２０ａは、可視光画像に基づく顔認識によって参加者の顔の予め定められた部位を抽出し、抽出した部位に対応する赤外線画像の領域における赤外線強度から参加者の顔の表面温度を算出して、算出した値を参加者の体温とすればよい。赤外線強度に基づく計算では、参加者の顔の抽出した部位の温度分布が得られるが、例えば最高温度を参加者の体温とすればよい。
　第１の実施例と同様に、複数のデータ取得部１ａによって会議場内を撮影して複数枚の画像が得られた場合、同一の参加者が複数枚の画像に写っている可能性がある。このような場合、生体情報抽出部２０ａは、顔認識技術により同一人物か別人かを判別することにより、同一の参加者の生体情報を重複して抽出しないようにすることが可能である。
　次に、評価部２ａの集中度算出部２１ａは、生体情報抽出部２０ａによって抽出された参加者の生体情報に基づいて会議に対する参加者の集中度を参加者毎および時間毎に算出する（図４ステップＳ１０３）。本実施例では、集中度算出部２１ａは、会議の開始前に生体情報抽出部２０ａによって予め算出された参加者の体温に対する会議中の体温上昇に基づいて集中度を算出する。具体的には、体温上昇が大きいほど値が高くなるように集中度を算出する。
　集中度算出部２１ａは、例えば０～１００％までの連続的な数値として集中度を算出してもよいし、１，２，３，・・・・，１０などのように１０段階の離散的な数値として集中度を算出してもよい。第１の実施例と同様に、数値が高いほど会議に対する参加者の集中度が高いことを意味する。また、１０段階でなくＮ段階としてもよい。
　集中度の算出方法を図１１によって説明する。図１１の例では、集中度算出部２１ａは、体温上昇幅Ｔに基づいて集中度を算出する。体温上昇閾値Ｔ１～Ｔ１０（Ｔ１＞Ｔ２＞Ｔ３＞Ｔ４＞Ｔ５＞Ｔ６＞Ｔ７＞Ｔ８＞Ｔ９＞Ｔ１０）が予め定められているとする。集中度算出部２１ａは、体温上昇幅ＴがＴ１以上の場合、集中度を１０とし、体温上昇幅ＴがＴ２より大でＴ１より小の場合、集中度を９とし、体温上昇幅ＴがＴ３より大でＴ２以下の場合、集中度を８とし、体温上昇幅ＴがＴ４より大でＴ３以下の場合、集中度を７とし、体温上昇幅ＴがＴ５より大でＴ４以下の場合、集中度を６とする。また、集中度算出部２１ａは、体温上昇幅ＴがＴ６より大でＴ５以下の場合、集中度を５とし、体温上昇幅ＴがＴ７より大でＴ６以下の場合、集中度を４とし、体温上昇幅ＴがＴ８より大でＴ７以下の場合、集中度を３とし、体温上昇幅ＴがＴ９より大でＴ８以下の場合、集中度を２とし、体温上昇幅ＴがＴ１０より大でＴ９以下の場合、集中度を１とする。
　第１の実施例と同様に、評価部２ａの報告情報作成部２２ａは、集中度の算出結果に基づいて会議の質を評価し、評価結果の報告情報を作成する（図４ステップＳ１０４）。
　出力部３は、報告情報作成部２２ａによって作成された報告情報を出力する（図４ステップＳ１０５）。
　報告情報作成部２２ａは、集中度が０～１００％の連続的な数値として算出されている場合、例えば集中度が５０％を超えている参加者を会議に集中していた参加者と認定し、集中度が５０％を下回る参加者を会議に集中していなかった参加者と認定すればよい。また、報告情報作成部２２ａは、集中度が１０段階の数値として算出されている場合、例えば集中度が５を超えている参加者を会議に集中していた参加者と認定し、集中度が５を下回る参加者を会議に集中していなかった参加者と認定すればよい。
　図１２に報告情報の表示の１例を示す。図１２の例では、参加者が会議全体において集中していた時間の割合（全体評価）と、参加者が各時間帯において集中していた時間の割合と、参加者が各時間帯において集中していた時間の割合の推移（時間分析）と、参加者の体温の時間推移（観測結果）とが表示されている。本実施例においても、図７に示したような参加者全体に関する報告情報を作成できることは言うまでもない。
　本実施例では、参加者の体温上昇に基づいて集中度を算出しているので、参加者が会議以外のことに集中していて体温が上昇している場合でも集中度を高く算出してしまう可能性がある。
　そこで、第１の実施例で説明した視線方向の情報を用いる。集中度算出部２１ａは、視線方向の情報から、参加者が会議場内の注視すべき所定の場所を見ていないと判定したときに、当該参加者の体温上昇に基づいて算出した集中度が低くなるように固定値（例えば最低値）に修正する。こうして、参加者が会議以外のことに集中しているときに集中度を高く算出してしまう可能性を低減することができる。
　なお、データ取得部１ａを、可視光カメラと、参加者の身体に装着する体温計とからなるものとしてもよい。
［第３の実施例］
　次に、本発明の第３の実施例について説明する。図１３は本発明の第３の実施例に係る会議評価システムの構成を示すブロック図である。会議評価システムは、データ取得部１ｂと、評価部２ｂと、出力部３とから構成される。第１の実施例で説明したように、データ取得部１ｂと評価部２ｂとの間に通信部を設けるようにしてもよい。
　本実施例においても、会議評価システムの処理の流れは第１の実施例と同様であるので、図４の符号を用いて説明する。
　データ取得部１ｂは、会議の参加者の状態に関するデータを取得する（図４ステップＳ１００）。本実施例では、データ取得部１ｂとして可視光カメラを用い、参加者を撮影した画像データを取得する。
　次に、評価部２ｂの生体情報抽出部２０ｂは、データ取得部１ｂによって取得されたデータから参加者個々のデータを抽出する（図４ステップＳ１０１）。具体的には、生体情報抽出部２０ｂは、データ取得部１ｂによって撮影された可視光画像から参加者が写っている領域を抽出する共に、参加者の位置情報を取得する。
　続いて、生体情報抽出部２０ｂは、可視光画像から抽出した参加者の顔の画像から参加者の生体情報を取り出す（図４ステップＳ１０２）。具体的には、生体情報抽出部２０ｂは、参加者の生体情報である心拍変動の情報を推定する。本実施例では、心拍変動の情報としてＲ－Ｒ間隔（R-R interval：ＲＲＩ）を推定する。図１４に心電図波形の例を示す。心電図波形は、連続した心拍波形からなり、１つの心拍波形は、心房や心室の活動を反映したＰ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波等の成分からなっている。
　脈波は、一般的に心拍と連動した周期性を有する。生体情報抽出部２０ｂは、参加者の顔の画像から脈波を推定し、Ｒ波と次のＲ波の時間間隔であるＲＲＩを算出する。脈波推定技術としては、参加者の顔の画像から血流の状況を解析して脈波を推定する技術が実用化されている。人の交感神経が働くと、ＲＲＩが短くなって心拍数（Heart rate：ＨＲ）が上がり、一方、副交感神経が働くと、ＲＲＩが長くなってＨＲが下がることが知られている。すなわち、ＲＲＩは人の感情状態の変化を反映している。
　第１の実施例と同様に、複数のデータ取得部１ｂによって会議場内を撮影して複数枚の画像が得られた場合、同一の参加者が複数枚の画像に写っている可能性がある。このような場合、生体情報抽出部２０ｂは、顔認識技術により同一人物か別人かを判別することにより、同一の参加者の生体情報を重複して抽出しないようにすることが可能である。
　次に、評価部２ｂの集中度算出部２１ｂは、生体情報抽出部２０ｂによって抽出された参加者の生体情報に基づいて会議に対する参加者の集中度を参加者毎および時間毎に算出する（図４ステップＳ１０３）。本実施例では、集中度算出部２１ｂは、ＲＲＩデータから算出することができるｐＮＮ５０に基づいて集中度を算出する。具体的には、ｐＮＮ５０が高いほど値が高くなるように集中度を算出する。
　集中度算出部２１ｂは、一定数（例えば６０個）または一定時間（例えば１分間）のＲＲＩデータのうち、連続した隣接するＲＲＩの差が５０ｍｓを超える回数（ＮＮ５０）を数える。そして、集中度算出部２１ｂは、ＮＮ５０をＲＲＩデータの数で割ってｐＮＮ５０を算出する。図１５にｐＮＮ５０の時間変化の１例を示す。
　集中度算出部２１ｂは、例えば０～１００％までの連続的な数値として集中度を算出してもよいし、１，２，３，・・・・，１０などのように１０段階の離散的な数値として集中度を算出してもよい。第１の実施例と同様に、数値が高いほど会議に対する参加者の集中度が高いことを意味する。また、１０段階でなくＮ段階としてもよい。
　集中度の算出方法を図１６によって説明する。図１６の例では、集中度算出部２１ｂは、ｐＮＮ５０に基づいて集中度を算出する。閾値Ｎ１～Ｎ１０（Ｎ１＞Ｎ２＞Ｎ３＞Ｎ４＞Ｎ５＞Ｎ６＞Ｎ７＞Ｎ８＞Ｎ９＞Ｎ１０）が予め定められているとする。集中度算出部２１ｂは、ｐＮＮ５０がＮ１以上の場合、集中度を１０とし、ｐＮＮ５０がＮ２より大でＮ１より小の場合、集中度を９とし、ｐＮＮ５０がＮ３より大でＮ２以下の場合、集中度を８とし、ｐＮＮ５０がＮ４より大でＮ３以下の場合、集中度を７とし、ｐＮＮ５０がＮ５より大でＮ４以下の場合、集中度を６とする。また、集中度算出部２１ｂは、ｐＮＮ５０がＮ６より大でＮ５以下の場合、集中度を５とし、ｐＮＮ５０がＮ７より大でＮ６以下の場合、集中度を４とし、ｐＮＮ５０がＮ８より大でＮ７以下の場合、集中度を３とし、ｐＮＮ５０がＮ９より大でＮ８以下の場合、集中度を２とし、ｐＮＮ５０がＮ１０より大でＮ９以下の場合、集中度を１とする。このように、集中度算出部２１ｂは、心拍変動(Heart Rate Variability：ＨＲＶ)が大きいほど集中度を高く算出する。
　第１の実施例と同様に、評価部２ｂの報告情報作成部２２ｂは、集中度の算出結果に基づいて会議の質を評価し、評価結果の報告情報を作成する（図４ステップＳ１０４）。
　出力部３は、報告情報作成部２２ｂによって作成された報告情報を出力する（図４ステップＳ１０５）。
　報告情報作成部２２ｂは、集中度が０～１００％の連続的な数値として算出されている場合、例えば集中度が５０％を超えている参加者を会議に集中していた参加者と認定し、集中度が５０％を下回る参加者を会議に集中していなかった参加者と認定すればよい。また、報告情報作成部２２ｂは、集中度が１０段階の数値として算出されている場合、例えば集中度が５を超えている参加者を会議に集中していた参加者と認定し、集中度が５を下回る参加者を会議に集中していなかった参加者と認定すればよい。
　図１７に報告情報の表示の１例を示す。図１７の例では、参加者が会議全体において集中していた時間の割合（全体評価）と、参加者が各時間帯において集中していた時間の割合と、参加者が各時間帯において集中していた時間の割合の推移（時間分析）と、参加者の時間帯毎のＲＲＩのポアンカレプロット（観測結果）とが表示されている。
　ポアンカレプロットは、図１８に示すように、連続する２つのＲＲＩについて、ｉ番目のＲＲＩの値ＲＲＩｉをＸ軸の値、ｉ＋１番目のＲＲＩの値ＲＲＩｉ＋１をＹ軸の値としてプロットすることを繰り返すことにより得られるものである。ポアンカレプロットでは、人の心拍数が高くなるほどプロットされた点が中央に近づき、連続する２点を結ぶ直線距離が短くなる傾向がある。つまり、ポアンカレプロットの点が中央に集中しているほど参加者が会議に集中していることを示している。集中度が低い場合のポアンカレプロットの例を図１９に示す。ＲＲＩを正規化してもよい。図１７～図１９ではＲＲＩを正規化してポアンカレプロットを描いている。本実施例においても、図７に示したような参加者全体に関する報告情報を作成できることは言うまでもない。
　また、上記の例では、ｐＮＮ５０に基づいて集中度を算出しているが、ＲＲＩのポアンカレプロット上において時間的に連続する２点間の直線距離を集中度を示す値としてもよい。心拍数が高い場合でも低い場合でも定性的に直線距離を求めるために、連続する２点間の直線距離をある母数で除算し、正規化する。母数は、心拍数が高くなるにつれ、相対的に小さくなる値であることが望ましい。ここでは、２点のＸ座標の合計値と、２点のＹ座標の合計値のうち、長い方の合計値を母数として用いる。こうして、集中度算出部２１ｂは、連続する２点間の正規化直線距離を時間毎に算出することができる。集中度算出部２１ｂは、正規化直線距離が所定の閾値よりも低い参加者を会議に集中していた参加者と認定し、正規化直線距離が閾値以上の参加者を会議に集中していなかった参加者と認定する。
　本実施例では、集中度を算出するための心拍変動の指標として、ｐＮＮ５０またはＲＲＩのポアンカレプロット上の２点間の直線距離を用いているが、他の指標を用いてもよい。他の指標としては、時間領域解析の指標、周波数領域解析の指標、非線形解析の指標がある。
　時間領域解析の指標としては、ｐＮＮ５０、Ｍｅａｎ　ＲＲ、ＳＤＮＮ、ＲＭＳＳＤ、Ｔｒｉａｎｇｕｌａｒ　ｉｎｄｅｘ、ＴＩＮＮ、心拍変動のＤＣ（Deceleration Capacity）、ＡＣ（Acceleration Capacity）などがある。周波数領域解析の指標としては、ＶＬＦ（Very Low Frequency）、ＬＦ（Low Frequency）、ＨＦ（High Frequency）、ピーク周波数、ＬＦ／ＨＦ比などがある。
　非線形解析の指標としては、ポアンカレプロットのＹ軸方向の標準偏差であるＳＤ１、ポアンカレプロットのＸ軸方向の標準偏差であるＳＤ２、ＳＤ２／ＳＤ１比、近似エントロピー（Approximate Entropy：ＡｐＥｎ）、サンプルエントロピー（Sample Entropy：ＳａｍｐＥｎ）、トレンド除去解析（Detrended Fluctuation Analysis：ＤＦＡ）によって得られる指標、リカレンスプロット解析（Recurrence Plot Analysis：ＲＰＡ）によって得られる指標、マルチスケールエントロピー（multiscale entropy：ＭＳＥ）解析によって得られる指標などがある。
　本実施例では、参加者のｐＮＮ５０に基づいて集中度を算出しているので、参加者が会議以外のことに集中していて心拍が変動している場合でも集中度を高く算出してしまう可能性がある。
　そこで、第１の実施例で説明した視線方向の情報を用いる。集中度算出部２１ｂは、視線方向の情報から、参加者が会議場内の注視すべき所定の場所を見ていないと判定したときに、当該参加者のｐＮＮ５０に基づいて算出した集中度が低くなるように固定値（例えば最低値）に修正する。こうして、参加者が会議以外のことに集中しているときに集中度を高く算出してしまう可能性を低減することができる。
　なお、データ取得部１ｂを、可視光カメラと、参加者の身体に装着する脈波計または心電計からなるものとしてもよい。心電計によって参加者の心電図波形を取得し、心拍変動の情報を抽出してもよい。
　また、第１～第３の実施例では、参加者が集まる対面会議を評価対象として説明したが、オンライン会議を評価対象としてもよい。オンライン会議の場合、参加者毎にデータ取得部１，１ａ，１ｂを用意する必要がある。
　第１～第３の実施例で説明した評価部２，２ａ，２ｂと出力部３は、ＣＰＵ（Central Processing Unit）、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図２０に示す。
　コンピュータは、ＣＰＵ１００と、記憶装置１０１と、インタフェース装置（Ｉ／Ｆ）１０２とを備えている。Ｉ／Ｆ１０２には、データ取得部１や、出力部３のハードウェアなどが接続される。本発明の会議評価方法を実現させるためのプログラムは記憶装置１０１に格納される。ＣＰＵ１００は、記憶装置１０１に格納されたプログラムに従って第１～第３の実施例で説明した処理を実行する。
　本発明は、対面会議やオンライン会議の質を評価する技術に適用することができる。
　１，１ａ，１ｂ…データ取得部、２，２ａ，２ｂ…評価部、３…出力部、４…通信部、２０，２０ａ，２０ｂ…生体情報抽出部、２１，２１ａ，２１ｂ…集中度算出部、２２，２２ａ，２２ｂ…報告情報作成部。

Claims (8)

  1. 　会議の参加者の状態に関するデータを取得するように構成されたデータ取得部と、
    　前記データ取得部によって取得されたデータから参加者の生体情報を取り出すように構成された生体情報抽出部と、
    　前記生体情報に基づいて会議に対する参加者の集中度を算出するように構成された集中度算出部と、
    　前記集中度に基づいて会議の質を評価し、評価結果の報告情報を作成するように構成された報告情報作成部とを備えることを特徴とする会議評価システム。
  2. 　請求項１記載の会議評価システムにおいて、
    　前記生体情報抽出部は、前記データ取得部によって取得されたデータから前記参加者の生体情報である視線方向の情報を推定し、
    　前記集中度算出部は、前記視線方向の情報に基づいて、参加者が会議場内の注視すべき所定の場所を見ていた時間が長いほど値が高くなるように前記集中度を算出することを特徴とする会議評価システム。
  3. 　請求項１記載の会議評価システムにおいて、
    　前記生体情報抽出部は、前記データ取得部によって取得されたデータから前記参加者の第１の生体情報である体温を推定し、
    　前記集中度算出部は、会議の開始前に前記生体情報抽出部によって予め算出された参加者の体温に対する会議中の体温上昇が大きいほど値が高くなるように前記集中度を算出することを特徴とする会議評価システム。
  4. 　請求項１記載の会議評価システムにおいて、
    　前記生体情報抽出部は、前記データ取得部によって取得されたデータから前記参加者の第１の生体情報である心拍変動の情報を推定し、
    　前記集中度算出部は、前記心拍変動が大きいほど値が高くなるように前記集中度を算出することを特徴とする会議評価システム。
  5. 　請求項３または４記載の会議評価システムにおいて、
    　前記生体情報抽出部は、前記第１の生体情報に加えて、参加者の第２の生体情報である視線方向の情報を推定し、
    　前記集中度算出部は、前記視線方向の情報から参加者が会議場内の注視すべき所定の場所を見ていないと判定したときに、この参加者の前記第１の生体情報に基づいて算出した集中度が低くなるように固定値に修正することを特徴とする会議評価システム。
  6. 　請求項１記載の会議評価システムにおいて、
    　前記集中度算出部は、会議に対する参加者の集中度を参加者毎および時間毎に算出し、
    　前記報告情報は、参加者全体に関する報告情報であり、会議全体において集中していた参加者の割合、会議に集中していた参加者の時間帯毎の割合、会議に集中していた参加者の割合の時間推移の情報を含むことを特徴とする会議評価システム。
  7. 　請求項６記載の会議評価システムにおいて、
    　前記生体情報抽出部は、前記データ取得部によって取得されたデータから、参加者の位置と所属部署とを特定し、
    　前記報告情報作成部は、参加者の位置情報と、会議に集中していた参加者の所属部署毎および時間帯毎の割合を前記報告情報に含めることを特徴とする会議評価システム。
  8. 　請求項１記載の会議評価システムにおいて、
    　前記集中度算出部は、会議に対する参加者の集中度を参加者毎および時間毎に算出し、
    　前記報告情報は、参加者毎に作成される報告情報であり、参加者が会議全体において集中していた時間の割合、参加者が各時間帯において集中していた時間の割合、参加者が各時間帯において集中していた時間の割合の推移、前記生体情報の時間推移の情報を含むことを特徴とする会議評価システム。
PCT/JP2022/020823 2022-05-19 2022-05-19 会議評価システム WO2023223498A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020823 WO2023223498A1 (ja) 2022-05-19 2022-05-19 会議評価システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020823 WO2023223498A1 (ja) 2022-05-19 2022-05-19 会議評価システム

Publications (1)

Publication Number Publication Date
WO2023223498A1 true WO2023223498A1 (ja) 2023-11-23

Family

ID=88834921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020823 WO2023223498A1 (ja) 2022-05-19 2022-05-19 会議評価システム

Country Status (1)

Country Link
WO (1) WO2023223498A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2006146871A (ja) * 2004-10-20 2006-06-08 Fuji Xerox Co Ltd 注意喚起装置および方法ならびに情報処理システム
JP2007213282A (ja) * 2006-02-09 2007-08-23 Seiko Epson Corp 講演者支援装置および講演者支援方法
JP2017016566A (ja) * 2015-07-06 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2019211962A (ja) * 2018-06-04 2019-12-12 株式会社東芝 会議生産性可視化システム、会議生産性可視化装置、可視化方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2006146871A (ja) * 2004-10-20 2006-06-08 Fuji Xerox Co Ltd 注意喚起装置および方法ならびに情報処理システム
JP2007213282A (ja) * 2006-02-09 2007-08-23 Seiko Epson Corp 講演者支援装置および講演者支援方法
JP2017016566A (ja) * 2015-07-06 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2019211962A (ja) * 2018-06-04 2019-12-12 株式会社東芝 会議生産性可視化システム、会議生産性可視化装置、可視化方法およびプログラム

Similar Documents

Publication Publication Date Title
Kinnunen et al. The role of work–nonwork boundary management in work stress recovery.
Lu et al. Combining Eye Movements and EEG to Enhance Emotion Recognition.
Chikersal et al. Deep structures of collaboration: Physiological correlates of collective intelligence and group satisfaction
Subramanian et al. ASCERTAIN: Emotion and personality recognition using commercial sensors
Sanchez-Cortes et al. Emergent leaders through looking and speaking: from audio-visual data to multimodal recognition
Hammal et al. Interpersonal coordination of headmotion in distressed couples
Bhattacharya et al. A multimodal-sensor-enabled room for unobtrusive group meeting analysis
Morshed et al. Advancing the understanding and measurement of workplace stress in remote information workers from passive sensors and behavioral data
Prendinger et al. Recognizing, modeling, and responding to users’ affective states
JP2018139087A (ja) 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
Brunner et al. BNCI horizon 2020–towards a roadmap for brain/neural computer interaction
Tran et al. Are you really looking at me? A feature-extraction framework for estimating interpersonal eye gaze from conventional video
Dillard Narratives of Women at Work: Exploring a More Inclusive Understanding of Women of Color and the Implications for Women and Leadership.
Stewart et al. Achieving the ideal-self while harming my relationship: Examining associations between self-discrepancy, instagram photo manipulation, and romantic relationship outcomes.
Barkworth et al. Giving at risk? Examining perceived risk and blood donation behaviour
Xue et al. Understanding how group workers reflect on organizational stress with a shared, anonymous heart rate variability data visualization
Zhao et al. Do smart glasses dream of sentimental visions? Deep emotionship analysis for eyewear devices
WO2023223498A1 (ja) 会議評価システム
US20230112069A1 (en) System and method for observation-based assessment and recruitment of diverse employees
Awada et al. A New Perspective on Stress Detection: An Automated Approach for Detecting Eustress and Distress
Fang et al. Emo-MG framework: LSTM-based multi-modal emotion detection through electroencephalography signals and micro gestures
Aiuti et al. Inferring emotional state from facial micro-expressions
Nakagawa et al. Estimation of mental health quality of life using visual information during interaction with a communication agent
Buchner Multimodal Feature Selection to Unobtrusively Model Trust, Workload, and Situation Awareness
Ohmoto et al. A method to dynamically estimate emphasizing points and degree by using verbal and nonverbal information and physiological indices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22942703

Country of ref document: EP

Kind code of ref document: A1