WO2022079774A1 - 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022079774A1
WO2022079774A1 PCT/JP2020/038528 JP2020038528W WO2022079774A1 WO 2022079774 A1 WO2022079774 A1 WO 2022079774A1 JP 2020038528 W JP2020038528 W JP 2020038528W WO 2022079774 A1 WO2022079774 A1 WO 2022079774A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
analysis
conference
emotional
emotion
Prior art date
Application number
PCT/JP2020/038528
Other languages
English (en)
French (fr)
Inventor
真 則枝
良志 田中
翔悟 赤崎
治樹 横田
雅美 坂口
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022557245A priority Critical patent/JPWO2022079774A5/ja
Priority to PCT/JP2020/038528 priority patent/WO2022079774A1/ja
Priority to US18/030,146 priority patent/US20230351806A1/en
Publication of WO2022079774A1 publication Critical patent/WO2022079774A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring

Definitions

  • the present disclosure relates to a non-temporary computer-readable medium in which an analyzer, an analysis system, an analysis method, and a program are stored.
  • Patent Document 1 describes a conference support system that supports the operation of a conference in an organization for the purpose of capitalizing the contents of the conference and streamlining the operation of the conference.
  • the conference support system described in Patent Document 1 includes a video conference device, an image recognition unit, a voice recognition unit, and a timeline management unit.
  • the video conference device is a device that enables online video conferences between a plurality of bases, and the image recognition unit provides each attendee with image recognition technology from the video data acquired by the video conference device. Recognize the image.
  • the voice recognition unit acquires the voice data of each attendee by the video conference device.
  • the voice recognition unit compares the voice data with the voice feature information of each attendee registered in advance, and the voice is based on the movement information of each attendee acquired by the image recognition unit. Identify the speaker of each statement in the data.
  • the timeline management unit outputs the voice data of each attendee acquired by the voice recognition unit as a timeline in chronological order of remarks.
  • Patent Document 1 In the technique described in Patent Document 1, many evaluation scores for online conferences are displayed in real time, so that the information is overloaded for the participants, and changes in the behaviors of the participants cannot be expected. You will not be able to concentrate on the meeting.
  • This disclosure was made in light of the above issues and evaluates online conferences in real time so as to trigger changes in participants' behavior while preventing them from interfering with their concentration in online conferences. It is an object of the present invention to provide an analyzer or the like capable of outputting to.
  • the analyzer includes an emotion data acquisition means, an analysis data generation means, and an output means.
  • the emotion data acquisition means sequentially acquires emotion data generated for each first period based on the facial image data of the participants in the online conference.
  • the analytical data generation means generates analytical data indicating one analytical value regarding the evaluation of the second period in the ongoing online conference, based on the emotional data including at least the latest one.
  • the output means sequentially outputs the analysis data generated by the analysis data generation means.
  • the computer sequentially acquires emotional data generated for each first period based on the facial image data of the participants in the online conference during the conference.
  • the computer generates and generates analytical data showing one analytical value regarding the evaluation of the second period in an ongoing online conference based on the emotional data including at least the latest one.
  • the analysis data is output sequentially.
  • the non-temporary computer-readable medium according to the third aspect of the present disclosure is a non-temporary computer-readable medium containing an analysis program that causes a computer to perform the following first, second, and third processes.
  • the first process is a process of sequentially acquiring emotion data generated for each first period based on the facial image data of the participants in the online conference.
  • the second process is a process of generating analytical data indicating one analytical value regarding the evaluation of the second period in the ongoing online conference based on the emotional data including at least the latest one.
  • the third process is a process of sequentially outputting the generated analysis data.
  • an analyzer capable of outputting the evaluation of an online conference in real time so as to trigger a change in the behavior of the participants while preventing the participants from interfering with the concentration of the participants in the online conference. Etc. can be provided.
  • FIG. It is a block diagram which shows the structural example of the analyzer which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the analysis method which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the structural example of the analysis system which concerns on Embodiment 2.
  • FIG. It is a figure which shows the 1st example of the data which the analysis data generation part processes.
  • FIG. It is a flowchart which shows the analysis method which concerns on Embodiment 2.
  • FIG. 1 is a block diagram showing a configuration example of the analyzer according to the first embodiment.
  • the analyzer 100 includes an emotion data acquisition unit (emotion data acquisition means) 111, an analysis data generation unit (analysis data generation means) 112, and an output unit (output means) 113. In preparation, generate and output analysis data about online meetings.
  • emotion data acquisition unit emotion data acquisition means
  • analysis data generation unit analysis data generation means
  • output unit output means
  • the online conference means a conference held by using a plurality of conference terminals connected to each other so as to be able to communicate with each other via a communication line.
  • Online meetings can be held remotely, for example as webinar events, education / corporate training, small group meetings, etc.
  • the conference terminal connected to the online conference is, for example, a PC (Personal Computer), a smartphone, a tablet terminal, a camera-equipped mobile phone, or the like.
  • the conference terminal is not limited to the above as long as it is a device having a camera for photographing a participant, a microphone for picking up a participant's utterance, and a communication function for transmitting and receiving image data and voice data.
  • an online conference may be simply referred to as a "meeting".
  • the participants of the online conference indicate a person who is connected to the online conference through the conference terminal, and includes the organizer of the conference, the presenter of the conference, the presenter, and the listeners of the conference. For example, when a plurality of persons are participating in a conference through one conference terminal, each of the plurality of persons is a participant.
  • the participants shall participate in the conference in a state where the face image can be taken by the camera built in the conference terminal or connected to the conference terminal.
  • the emotion data acquisition unit 111 sequentially acquires emotion data generated for each first period based on the facial image data of the participants in the online conference.
  • the analyzer 100 is communicably connected to the emotion data generation device that generates the emotion data of the participants in the online conference of the emotion data and the conference management device that operates the online conference, respectively. Can be kept.
  • the analysis device 100 can be communicably connected to a terminal (user terminal) owned by a user who uses the analysis device 100, and the user terminal can be a final output destination of analysis data described later.
  • the emotion data generation device is communicably connected to the conference management device, receives facial image data of a conference participant in an online conference, generates emotion data from the facial data, and outputs the generated emotion data to the analyzer 100. It can be configured to supply. As a result, the emotion data acquisition unit 111 can acquire emotion data from the emotion data generation device.
  • Emotion data is data that is an index showing the emotions of each participant in the conference.
  • Emotional data includes a plurality of items (multiple types of items) such as attention, confusion, happiness, and surprise.
  • the data of each item is a numerical value of an index indicating the type of each emotion. That is, the emotion data shows how much the participants feel these emotions for each of the above items.
  • the emotional data is a numerical value indicating each of a plurality of types of emotional states, in other words, a plurality of indicators indicating the emotional state are numerically indicated. It should be noted that this emotional data can be said to be expression data indicating the reaction (behavior) expressed by the participants during the online conference, and may be generated by adding voice data in addition to the face image data. ..
  • the emotion data acquired by the emotion data acquisition unit 111 can be accompanied by time data.
  • the emotion data generation device generates emotion data for each first period.
  • the first period can refer to a predetermined time such as 1 second or 1 minute.
  • the emotion data acquisition unit 111 acquires emotion data for each first period according to the progress time of the meeting.
  • the emotion data acquisition unit 111 supplies the acquired emotion data to the analysis data generation unit 112.
  • the analysis data generation unit 112 generates analysis data showing one analysis value regarding the evaluation for the second period in the online conference being held, based on the sent emotion data including at least the latest one.
  • the evaluation may be an evaluation of a meeting that has different values depending on the difference in emotional data, and one analysis value (value of one index) is calculated as an evaluation value indicating the evaluation. If so, the calculation method or the like does not matter.
  • the analysis data generation unit 112 since the analysis data generation unit 112 generates analysis data for each second period based on emotional data including at least the latest one, the second period refers to a period including the latest time point, and the analysis is emotional. It means that the processing is real-time according to the data supply timing.
  • the second period can refer to, for example, the period from the start of the online conference being held to the present time (actually, the time when emotional data can be acquired). In this case, it is possible to generate analysis data from the start to the present time.
  • the second period may refer to a period from a predetermined time before, such as 1 second or 1 minute, to the present time, that is, a fixed time until the time when emotion data can be acquired in the online conference being held. can. In this case, it is possible to generate analysis data from a certain period of time before to the present time. It is possible to determine in advance what kind of period will be adopted as the second period.
  • the analysis data generation unit 112 will generate analysis data every second period.
  • the output unit 113 sequentially outputs the analysis data generated by the analysis data generation unit 112. That is, the output unit 113 outputs the analysis data in real time each time the second period ends.
  • the output unit 113 sequentially outputs the analysis data to the system that provides the online conference being held so that it can be superimposed on the screen of the online conference being held.
  • a system that provides an online conference can include the conference management device described above, and if this conference management device is set as an output destination of analysis data, it can be superimposed on the screen of the online conference.
  • the output unit 113 may be configured to output the analysis data generated by the analysis data generation unit 112 so that it can be superimposed on the display image of the user terminal. In this case, the user directly uses the analyzer 100.
  • the analysis data in order to output the analysis data so as to be superimposed, for example, the analysis data may be a signal in a format to be superimposed on the conference screen in the conference management device, or the analysis data may be simply OSD (On Screen). Display) It can be used as a signal.
  • OSD On Screen. Display
  • the user finally perceives one analysis value received by the user terminal to evaluate one analysis value (analysis data) for the ongoing conference. ), That is, the evaluation of the conference can be recognized.
  • the output analysis data shows the online conference being held as one index, for example, as an overall average, it is easy for the user to grasp the evaluation of the conference. Therefore, from the received analysis data, the user can grasp whether or not to change the attitude etc. when continuing to participate in the online conference being held, and participate in the continuous conference after considering the matters to be noted. can do.
  • the analysis data consisting of one analysis value is output, it is possible to prevent the participants from hindering the concentration of the participants in the online conference.
  • FIG. 2 is a flowchart showing the analysis method according to the first embodiment.
  • the flowchart shown in FIG. 2 can be started by the analyzer 100 receiving, for example, a signal indicating the start of a conference from the conference management device, or an equivalent signal from the emotion data generation device.
  • the emotion data acquisition unit 111 sequentially acquires emotion data from the emotion data generation device (step S11).
  • the emotion data acquisition unit 111 can acquire the generated emotion data each time the emotion data generation device generates the emotion data.
  • the analysis data generation unit 112 analyzes one analysis value regarding the evaluation for the second period in the ongoing online conference based on the emotion data including at least the latest one received from the emotion data acquisition unit 111. Generate data (step S12). Next, the output unit 113 sequentially outputs the generated analysis data (step S13).
  • the analyzer 100 acquires emotional data of participants in an ongoing online conference and generates analytical data (analytical data indicated by one analytical value) indicating one analytical value. And output.
  • analytical data analytical data indicated by one analytical value
  • the user can recognize the analysis data of the online conference being held, that is, can recognize the evaluation of the conference, and can grasp and pay attention to whether or not the attitude etc. should be changed for continuous participation.
  • You can participate in the ongoing meeting by considering the matters to be considered.
  • the user can use the analysis data provided at the ongoing meeting to change the degree of communication so as to facilitate smooth communication.
  • the analysis data consisting of one analysis value is output, it is possible to prevent the participants from hindering the concentration of the participants in the online conference.
  • the present embodiment it is possible to output the evaluation of the online conference in real time so as to be a trigger to change the behavior of the participants while preventing the participants from interfering with the concentration of the participants in the online conference. Can provide various analyzers and the like. Due to such an effect, the online conference can be efficiently operated in the present embodiment.
  • the analyzer 100 has a processor and a storage device as a configuration (not shown).
  • the storage device included in the analyzer 100 includes a storage device including a flash memory and a non-volatile memory such as an SSD (Solid State Drive). In this case, the storage device included in the analyzer 100 temporarily or semi-permanently stores emotional data and analytical data.
  • SSD Solid State Drive
  • the storage device included in the analyzer 100 can store a computer program (hereinafter, also simply referred to as a program) for executing the analysis method according to the present embodiment.
  • the processor also reads a computer program from the storage device into the memory and executes the program.
  • Each configuration of the analyzer 100 may be realized by dedicated hardware. Further, a part or all of each component may be realized by a general-purpose or dedicated circuitry, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by the combination of the circuit or the like and the program described above. Further, as a processor, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), or the like can be used.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • each component of the analyzer 100 when a part or all of each component of the analyzer 100 is realized by a plurality of arithmetic units, circuits, etc., the plurality of arithmetic units, circuits, etc. may be centrally arranged or distributed. You may.
  • the arithmetic unit, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client-server system and a cloud computing system.
  • the function of the analyzer 100 may be provided in the SaaS (Software as a Service) format.
  • FIG. 3 is a block diagram showing a configuration example of the analysis system according to the second embodiment.
  • the analysis system 10 can include an analysis device 200 and an emotion data generation device 300 that generates emotion data and provides emotion data to the analysis device 200.
  • the analyzer 200 and the emotion data generation device 300 are communicably connected to each other via the network N.
  • the analysis system 10 is communicably connected to the conference management device 400 via the network N.
  • the conference management device 400 connects to the conference terminal group 90 via the network N to operate an online conference.
  • the conference terminal group 90 includes a plurality of conference terminals (900A, 900B, ..., 900N) and a user terminal 990.
  • the user terminal described in the first embodiment can be a conference terminal 900A or the like, but even if it is another user terminal 990 that is not used as a conference terminal, the user can use it together with the conference terminal in a total of two terminals. ..
  • the analysis data can be configured to be output to the user terminal 990 side, and the user can confirm the analysis data on the user terminal 990 while participating in the conference on the conference terminal.
  • FIG. 4 is a block diagram showing a configuration example of the analyzer 200 according to the second embodiment.
  • the analysis device 200 according to the second embodiment is different from the analysis device 100 according to the first embodiment in that it has a conference data acquisition unit 114, a chapter generation unit 115, and a storage unit 120.
  • each configuration of the analyzer 200 will be described including differences from the analyzer 100.
  • the emotion data acquisition unit 111 sequentially acquires emotion data generated for each first period based on the facial image data of the participants in the online conference.
  • the analysis data generation unit 112 generates analysis data indicating one analysis value regarding the evaluation for the second period in the ongoing online conference based on the emotion data including at least the latest one received from the emotion data acquisition unit 111. do.
  • the storage unit 120 stores the analysis data generated by the analysis data generation unit 112 as analysis history data.
  • the storage unit 120 can be a storage device including a non-volatile memory such as an SSD (Solid State Drive) or a flash memory.
  • the storage unit 120 stores, for example, a program for executing the analysis method according to the present embodiment.
  • the analysis data generation unit 112 can calculate one analysis value for the second period to be generated as the following relative value.
  • this relative value is the past analysis value indicated by one analysis history data (analysis value for the past second period) or the past analysis value indicated by multiple analysis history data for the online conference being held. It can be relative to the statistics.
  • any statistical method such as a simple average value, a simple moving average value, a weighted moving average value, an exponential moving average value, or a median value may be used, but the conference evaluation based on emotional data is used. It is advisable to adopt a method that can be said to be suitable for.
  • this relative value can be a difference value or a ratio indicating an increase or decrease with respect to the past.
  • a relative value can be calculated as a value indicating how much the evaluation has increased or decreased compared to 10 seconds ago.
  • the analysis data generation unit 112 can generate analysis data as a relative value between the absolute values at the time of analysis data generation and the absolute values included in the analysis history data.
  • the relative value can be a relative value using the analysis history data of the past held online conference held in the past from the held online conference. More specifically, the calculated relative value can be a relative value to the past analysis value indicated by one analysis history data for one past held online conference. Alternatively, the calculated relative value can be a relative value to the statistical value of the past analysis value indicated by the plurality of analysis history data for one or a plurality of past held online conferences. In this example as well, the statistical value may be a value using any statistical method as described above, and the relative value may be a difference value or a ratio with respect to the past.
  • the output unit 113 sequentially outputs the generated analysis data. Then, by adopting a relative value as the output analysis data, the online conference being held is shown by one index as, for example, the overall average, so that even if the user does not know the absolute index, it is the same as before.
  • the evaluation of the ongoing conference can be recognized as a relative comparison.
  • the emotion data used to generate the analysis data can include attribute data indicating the attributes (type) of the target online conference.
  • the meeting attribute data may include information indicating the type of meeting, such as webinar, regular meeting, or brainstorming.
  • the attribute data of the conference may include information on the type of business and occupation of the company to which the participants of the conference belong.
  • the attribute data of the conference may include information regarding the agenda of the conference, the purpose of the conference, the name of the conference body, and the like.
  • the analysis data generation unit 112 can be configured to generate analysis data according to the attribute data of the online conference being held. For example, different analysis values may be calculated for different attributes. In the example of generating the analysis data using the analysis history data, only the analysis history data having the same attributes as the online conference for which the analysis data is generated can be used. Alternatively, the analysis history data of each attribute can be used with different weights for the same attribute, similar attributes, completely different attributes, and the like.
  • the conference data acquisition unit 114 sequentially acquires conference data related to an online conference accompanied by time data from the conference management device 400.
  • the conference management device 400 is, for example, a server device to which each of the participants of the conference can communicate with each other.
  • the conference management device 400 may be included in the conference terminal 900A or the like used by the participants of the conference.
  • the conference data is data related to the conference accompanied by the time data, and can include the facial image data of the participants taken during the conference. More specifically, the conference data includes the start time and end time of the conference.
  • the meeting data also includes the time of breaks taken during the meeting.
  • the above-mentioned attribute data can be included in the conference data, and in that case, the conference data (including the attribute data) and the emotion data can be associated with the time data. That is, regarding the attribute data, the conference data acquisition unit 114 may be configured to acquire the conference data including the attribute data of the conference from the conference management device 400 that operates the conference.
  • the conference data acquisition unit 114 may acquire conference data including data related to screen sharing in the conference.
  • the conference data may include, for example, a switching time of the authority to operate the shared screen shared by the participants (owner of the shared screen) and a switching time of the utterances of the participants.
  • the conference data acquisition unit 114 may acquire conference data including screen data shared in the conference.
  • the conference data may include times such as page turning and changes in the displayed image in the shared screen. Further, the conference data may include what each of the above-mentioned times indicates.
  • the conference data acquisition unit 114 supplies the acquired conference data to the chapter generation unit 115 and the analysis data generation unit 112, which will be described later.
  • the chapter generation unit 115 generates chapters for the online conference based on the conference data received from the conference data acquisition unit 114.
  • the chapter generation unit 115 supplies data indicating the generated chapters to the analysis data generation unit 112. This makes it possible to use chapters to determine the second period, which will be described later.
  • the chapter generation unit 115 detects, for example, the time from the start of the conference to the present time, further detects the time that matches the preset conditions, and generates data indicating the chapter with each time as a delimiter. As a simple example of this condition, it may be possible that a multiple of a predetermined time has elapsed from the start time, but the present invention is not limited to this.
  • the chapters of the conference in the present disclosure can be defined by whether the condition in which the predetermined conditions are met is maintained or the predetermined conditions are changed in the conference.
  • the chapter generation unit 115 may generate chapters based on, for example, data related to screen sharing. More specifically, the chapter generation unit 115 may generate chapters according to the switching timing of screen sharing. Further, the chapter generation unit 115 may generate chapters according to the switching time of the owner of the shared screen related to screen sharing.
  • the analysis data generation unit 112 generates analysis data for each second period from the received emotion data and data indicating chapters.
  • the second period can be defined as a period from the start time to the end time for a chapter group consisting of one chapter or a plurality of consecutive chapters generated by the chapter generation unit 115. That is, the analysis data generation unit 112 can generate analysis data for the conference for each chapter or each chapter group based on the emotion data.
  • the emotional data can represent a plurality of types of emotional states numerically. That is, the emotion data acquisition unit 111 can be configured to acquire emotion data indicating a plurality of indicators indicating the emotional state numerically.
  • the analysis data can be data derived from such emotion data and can be data extracted or calculated from the numerical values of indicators indicating a plurality of types of emotions.
  • the analysis data generation unit 112 can generate analysis data indicating one analysis value by calculating the statistical value of the emotion data.
  • the analytical data generated is preferably an indicator that is useful for running the conference.
  • the analysis data may be an analysis value indicating any one of attention, empathy, and comprehension for the conference, or one analysis value calculated from them (for example, indicating the degree of response to the conference). Value).
  • the analytical data may be the degree of emotional communication of the speaker to the listeners of the conference.
  • the analysis data generation unit 112 determines a color tone to be added to one analysis value based on a predetermined condition regarding significance or superiority among numerical values for a plurality of types of emotional states, and adds the determined color tone. It is also possible to generate analytical data so as to represent one analytical value.
  • the color tone is a color tone based on a preset index for each of a plurality of types of emotional states. For example, when one analysis value indicated by the analysis data is a numerical value indicating the degree of attention, a numerical value indicating sympathy, and a numerical value indicating the reactivity calculated from the numerical value indicating the understanding degree, and indicating the degree of attention. An example is given when the numerical value is significant or superior to the others.
  • the analysis data can be generated so as to represent a numerical value indicating the reactivity with a predetermined color tone for the attention.
  • FIG. 5 is a diagram showing an example of data processed by the analysis data generation unit 112.
  • FIG. 5 shows an input data group received by the analysis data generation unit 112 and an output data (analysis data) output by the analysis data generation unit 112.
  • the analysis data generation unit 112 receives emotion data as an input data group from the emotion data generation device 300.
  • the input data group includes, for example, indicators of attention, confusion, contempt, disgust, fear, happiness, empathy, surprise, and presence. These indicators are, for example, indicated by numerical values from 0 to 100 for each indicator.
  • the emotional data of the input data group may be acquired from the facial image data by using an existing video processing technique, or may be generated and acquired by another method.
  • the analysis data generation unit 112 When the analysis data generation unit 112 receives the above-mentioned input data group, it performs a preset process and generates output data using the input data group.
  • the output data is data indicating one analysis value that the user who uses the analysis system 10 refers to in order to efficiently hold the conference.
  • the analysis data generation unit 112 extracts a preset index from the input data group. Further, the analysis data generation unit 112 performs a preset arithmetic processing on the value related to the extracted index. Then, the analysis data generation unit 112 generates the above-mentioned output data.
  • the output data may be data indicating the value of one item (for example, attention level) included in the input data group.
  • the emotion data acquired by the emotion data acquisition unit 111 can include individual emotion data for each participant.
  • the analysis data generation unit 112 can be configured to generate analysis data for each participant based on individual emotion data including at least the latest one.
  • the output unit 113 can sequentially output the analysis data to the system (including the conference management device) that provides the online conference being held so that it can be superimposed on the screen of the online conference being held. preferable.
  • the system including the conference management device
  • the user terminal of each individual can output the analysis data about the individual to the online conference screen of the corresponding user terminal. Can be done.
  • the output unit 113 can also be configured to output the analysis data generated by the analysis data generation unit 112 to the user terminal. The user will use the analyzer 100.
  • the user can finally recognize the analysis data on the user terminal. That is, by perceiving the analysis data about itself received by the user terminal, it is possible to recognize the analysis data (evaluation) to itself about the conference being attended. Therefore, from the received analysis data, the user can grasp whether or not to change the attitude etc. when continuing to participate in the online conference being held, and participate in the continuous conference after considering the matters to be noted. can do.
  • the emotion data includes individual emotion data for each participant. That is, the analysis data generation unit 112 is configured to generate analysis data by performing different weighting between the individual emotion data about the presenter included in the participants and the individual emotion data about other types of participants. Can be done. Thereby, the analysis data can be generated in a state where the presenter and the other participants are distinguished, or the analysis data can be generated for each participant in this distinguished state.
  • the emotion data includes individual emotion data for each participant
  • the emotion data can include individual emotion data for each participant and divisional data to which the participants belong.
  • the classification of the participants is, for example, the corporation to which the participants belong, the department within the corporation, or the occupation of the participants.
  • the analysis data generation unit 112 may be configured to generate analysis data for each participant based on (that is, taking into account the division) individual emotion data including at least the latest one and division data. can. This makes it possible to generate analysis data for each participant, taking into account the classification of participants.
  • the emotion data acquired by the emotion data acquisition unit 111 can include individual emotion data for each participant to perform various processes.
  • the individual emotion data is generated by the emotion data generation device 300, that is, emotion data such that the emotion data generation device 300 communicably connected to the conference management device 400 identifies a person from the conference data or the like and includes the individual emotion data. Can be generated.
  • FIG. 6 is a block diagram showing the configuration of the emotion data generation device according to the second embodiment.
  • the emotion data generation device 300 has a participant data acquisition unit 311, an emotion data generation unit 312, and an emotion data output unit 313 as main configurations.
  • Participant data acquisition unit 311 acquires data about participants from the conference management device 400 via the network N.
  • the data about the participants is the face image data of the participants taken by the conference terminal during the conference.
  • the conference management device 400 can extract the face image data from the conference data and transmit it to the emotion data generation device 300.
  • the emotion data generation unit 312 generates emotion data from the face image data received by the emotion data generation device 300.
  • the emotion data output unit 313 outputs the emotion data generated by the emotion data generation unit 312 to the analyzer 200 via the network N.
  • the emotion data generation device 300 generates emotion data by performing predetermined image processing on the face image data of the participants. Predetermined image processing includes, for example, extraction of feature points (or feature quantities), matching with reference data for the extracted feature points, convolution processing of image data, processing using machine-learned teacher data, and teacher data by deep learning. It is a process that utilizes. However, the method by which the emotion data generation device 300 generates emotion data is not limited to the above-mentioned processing.
  • the emotional data may be a numerical value indicating emotions, or may include image data used when generating emotional data.
  • the generated emotion data does not include the individual emotion data
  • the individual emotion data is not used for generating the analysis data as in the analyzer 100 of FIG. 1
  • the emotion is obtained from the face image data regardless of the person. All you have to do is generate the data.
  • the generated emotion data includes individual emotion data
  • the following processing can be performed.
  • the participant Individuals can be identified, and individual emotion data can be generated from the facial image data of each participant.
  • it is possible to generate individual emotion data because it is possible to identify the same person from the facial image data of the participants taken during the meeting.
  • an individual can be identified only by the login information when participating in the conference, and the individual emotion data of the individual is generated from the face image data taken by the conference terminal. can do.
  • the classification of the participants can be generated from, for example, the person attribute data.
  • This person attribute data is data in which the face feature information of the person is associated with the information on the classification and attributes of the person, and can be stored in advance in the emotion data generation device 300 or a device accessible from the emotion data generation device 300. good.
  • Information on the classification and attributes of a person is, for example, the person's name, gender, age, occupation, corporation to which the person belongs, or department to which the person belongs, but is not limited thereto.
  • the classification of the participants can be estimated according to the extracted information by extracting the facial feature information (information of the feature points) of the person related to the face image from the face image data.
  • the emotion data generation device 300 has a processor and a storage device as a configuration (not shown).
  • the storage device included in the emotion data generation device 300 stores a program for executing emotion data generation according to the present embodiment.
  • the processor also reads the program from the storage device into the memory and executes the program.
  • Each configuration of the emotion data generation device 300 may be realized by dedicated hardware. Further, a part or all of each component may be realized by a general-purpose or dedicated circuit, a processor, or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by the combination of the circuit or the like and the program described above. Further, as a processor, a CPU, GPU, FPGA or the like can be used.
  • each component of the emotion data generation device 300 when a part or all of each component of the emotion data generation device 300 is realized by a plurality of arithmetic units, circuits, etc., the plurality of arithmetic units, circuits, etc. may be centrally arranged or distributed. It may be arranged.
  • the arithmetic unit, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client-server system and a cloud computing system.
  • the function of the emotion data generation device 300 may be provided in the SaaS format.
  • FIG. 7 is a flowchart showing the analysis method according to the second embodiment.
  • the process shown in FIG. 7 differs from the process according to the first embodiment in that the second period is a chapter period in the ongoing meeting, that is, the analysis data is output every time a new chapter is generated. ..
  • the analyzer 200 determines whether or not the online conference has been started (step S21).
  • the analyzer 200 determines the start of the conference by receiving a signal from the conference management device 400 indicating that the conference has started. If it is not determined that the online conference has started (step S21: NO), the analyzer 200 repeats step S21. If it is determined that the online conference has started (step S21: YES), the analyzer 200 proceeds to step S22.
  • step S22 the emotion data acquisition unit 111 starts acquiring emotion data from the emotion data generation device (step S22).
  • the conference data acquisition unit 114 acquires conference data related to the conference accompanied by time data from the conference management device (step S23).
  • the conference data acquisition unit 114 may receive such conference data every first period, or may sequentially receive such conference data when there is information to be updated in the conference data. Further, step S22 and step S23 can be started at the same time.
  • step S24 determines whether or not a new chapter can be generated from the received conference data. If it is not determined that a new chapter can be generated (step S24: NO), the analyzer 200 returns to step S22. On the other hand, when it is determined that a new chapter can be generated (step S24: YES), the analyzer 200 proceeds to step S25. In step S25, the chapter generation unit 115 generates a chapter from the conference data received from the conference data acquisition unit 114 (step S25).
  • the analysis data generation unit 112 shows analysis data indicating one analysis value based on the emotion data received from the emotion data acquisition unit 111 for the period from the start to the end of the chapter or the chapter group received from the chapter generation unit 115. Is generated (step S26).
  • the received emotional data may include individual emotional data.
  • the analysis data can also be generated by adding the conference data.
  • the output unit 113 outputs the generated analysis data to the user terminal 990 (step S27). This allows the user to check the analysis data in real time. Further, the analyzer 200 determines whether or not the conference has ended (step S28). The analyzer 200 determines the end of the conference by receiving a signal from the conference management device 400 indicating that the conference has ended. If it is not determined that the meeting has ended (step S28: NO), the analyzer 200 returns to step S22 and continues processing. On the other hand, when it is determined that the online conference has ended (step S28: YES), the analyzer 200 ends a series of processes.
  • the analyzer 200 can output the analysis data for the generated chapter (or the chapter group) every time a new chapter is generated in the holding conference.
  • the user who uses the analysis system 10 can effectively proceed with the conference by using the analysis data provided every time a new chapter is generated in the conference being held. For example, at an ongoing meeting, the user can use the analytical data provided each time a new chapter is generated to change the degree of communication for smooth communication.
  • FIG. 8 is a diagram showing a first example of analysis data.
  • FIG. 8 shows a graph G11 showing each analysis source data (emotion data or intermediate data analyzed from the emotion data) which is a generation source of analysis data shown by one analysis value in the upper part in chronological order.
  • the conference data G12 corresponding to the above time series is shown in the middle row.
  • analysis data G13 for each chapter corresponding to the conference data is shown.
  • the analysis source data that is the generation source may correspond to intermediate data in the middle of analysis depending on the type of emotion data to be input and the calculation method of one analysis value.
  • the horizontal axis shows time and the vertical axis shows the score of the analysis source data.
  • the left end is the time T10
  • the right end is the time T15.
  • Time T10 is the start time of the conference
  • time T15 is the end time of the conference.
  • Times T11, T12, T13 and T14 between time T10 and time T15 indicate times corresponding to chapters described later.
  • the first analysis source data L11 indicated by the solid line, the second analysis source data L12 indicated by the dotted line, and the third analysis source data L13 indicated by the two-dot chain line are plotted. ..
  • the first analysis source data L11 indicates the degree of attention used for generating analysis data (data of one analysis value: total score in this example).
  • the second source data L12 shows the empathy used to generate the overall score.
  • the third analysis source data L13 shows the degree of understanding used for generating the total score.
  • the data related to the shared screen of the conference and the data related to the presenter are shown in chronological order. That is, the data relating to the display screen indicates that the shared screen from the time T10 to the time T11 was the screen D1. Further, the data related to the display screen indicates that the shared screen from the time T11 to the time T12 was the screen D2.
  • the shared screen in the conference is screen D3 from time T12 to time T13, screen D4 from time T13 to time T14, and screen D5 from time T14 to time T15. It is shown that.
  • the display screen is basically synonymous with a display image to be displayed on the whole or a part of the screen of the display unit.
  • the data regarding the presenter indicates that the presenter W1 was from time T10 to time T12.
  • the data about the presenter shows that the presenter W2 was from time T12 to time T14, and the presenter W1 was again from time T14 to time T15.
  • the relationship between the shared screen and the presenter in the above-mentioned conference data G12 will be explained in chronological order.
  • the presenter W1 is proceeding with the conference from the time T10 to the time T12 when the conference is started, and the presenter W1 displays the screen D1 as a shared screen from the time T10 to the time T11. (That is, the screen D1 is shared).
  • the presenter W1 continued the presentation by switching the front screen from the screen D1 to the screen D2 from the time T11 to the time T12.
  • the presenter changed from presenter W1 to presenter W2.
  • the presenter W2 shared the screen D3 from the time T12 to the time T13, and shared the screen D4 from the time T13 to the time T14. From time T14 to time T15, the presenter W1 who was replaced by the presenter W2 shared the screen D5.
  • the conference data shown in FIG. 8 includes data on the period during which the screen data on the shared screen was displayed and data on who the presenter was.
  • the chapter generation unit 115 can generate chapters according to the data related to the shared screen among the above-mentioned conference data.
  • the data indicating the chapter corresponding to the above-mentioned conference data, the analysis source data corresponding to the chapter, and the analysis data to be output are shown in chronological order.
  • the data indicating the chapter corresponds to the data related to the shared screen in the conference data. That is, the first chapter C11 is from the time T10 to the time T11 when the screen D1 was shared. Similarly, the second chapter C12 is from the time T11 to the time T12 when the screen D2 was shared. The third chapter C13 is from the time T12 to the time T13 when the screen D3 was shared. The fourth chapter C14 is from the time T13 to the time T14 when the screen D4 was shared. The fifth chapter C15 is from the time T14 to the time T15 when the screen D5 was shared.
  • the analysis data G13 shows the analysis source data (attention, empathy, and comprehension) and the analysis data (total score obtained by summing them) corresponding to each chapter.
  • the analysis source data corresponding to the chapter C11 the attention level is 65
  • the sympathy level is 50
  • the comprehension level is 43.
  • the total score is shown as 158 as a total of these.
  • attention is shown as 61
  • empathy is 45
  • comprehension is 32
  • overall score is 138.
  • the analysis source data corresponds to the data plotted in the graph G11. That is, the analysis source data and the analysis data shown as the analysis data G13 are the average value of the analysis source data and the average value of the analysis data calculated in the corresponding chapter period, respectively.
  • the chapter generation unit 115 sets the timing at which the shared screen is switched among the conference data to the chapter switching timing. Then, the analysis data generation unit 112 calculates the analysis data from the start of the conference to the end of the conference for each of the above-mentioned chapters. Thereby, the analysis system 10 can provide the analysis data for each displayed shared screen.
  • the analysis system 10 can also be configured to calculate and plot the analysis source data for each first period, as shown in the graph G11 described above. Thereby, the analysis system 10 can show the detailed change of the analysis source data in the conference. However, in the present embodiment, since the analysis data is initially shown, such display can be performed when the user wants to visually recognize more detailed information from that state.
  • FIG. 9 is a diagram showing a second example of analysis data.
  • the first analysis source data L11, the second analysis source data L12, and the third analysis source data L13 shown in the graph G11 shown in the upper row are the same as those shown in FIG.
  • the conference data G12 shown in the middle row is the same as that shown in FIG.
  • the analysis data G23 shown in the lower part of FIG. 9 is different from the analysis source data and the analysis data shown in FIG. 8 in that the data for generating the chapter is the data related to the presenter. That is, in the example shown in FIG. 9, the chapter generation unit 115 sets the first chapter C21 between the time T10 and the time T12 when the presenter W1 was the presenter. Similarly, the chapter generation unit 115 sets the second chapter C22 between the time T12 and the time T14 when the presenter W2 was the presenter. Further, the chapter generation unit 115 sets the third chapter C23 from the time T14 to the time T15 when the presenter W1 was the presenter.
  • the analysis source data and the analysis data are shown corresponding to the above-mentioned chapters C21 to C23. That is, the analysis source data corresponding to chapter C21 has a degree of attention of 62, sympathy of 47, and comprehension of 35, and the analysis data corresponding to chapter C21 has a total score of 144.
  • the analysis source data corresponding to chapter C22 has a attention level of 78, empathy of 46, and comprehension level of 48, and the analysis data corresponding to chapter C22 has a total score of 172.
  • the analysis source data corresponding to chapter C23 has a degree of attention of 58, empathy of 43, and comprehension of 51, and the analysis data corresponding to chapter C23 has an overall score of 152.
  • the chapter generation unit 115 sets the timing at which the presenter is switched in the conference data to the chapter switching timing. Then, the analysis data generation unit 112 generates analysis data from the start of the conference to the end of the conference for each of the above-mentioned chapters. Thereby, the analysis system 10 can provide the analysis data for each presenter.
  • FIG. 10 is a diagram showing a display example of analysis data
  • FIG. 11 is a diagram showing a display example of a screen transitioned from the display screen of FIG.
  • FIG. 12 is a diagram showing an example of a color space corresponding to analysis source data (numerical values of each index of emotional data).
  • the output unit 113 of FIG. 4 can output analysis data in real time to the conference terminal 900A or the like so as to superimpose the analysis data display image 902 on the conference image 901 as shown in FIG.
  • the analysis data display image 902 includes one current analysis value as a "current score", and here, an example of 200 points out of 300 points is shown.
  • the display example of the analysis data display image 902 in FIG. 10 is output as a relative value output example when the past analysis value calculated from the analysis history data is "300" and the current analysis value is "200". You can also let it.
  • the analysis data display image 902 includes the detail button 902a, but the detail button 902a may not be displayed.
  • the detail button 902a can be selected by the user to be a button for transitioning to the summary screen as illustrated in the screen of FIG.
  • the summary screen of FIG. 11 includes a summary image 903 including the notation "200/300" and an indicator 903b indicating the current score (200 points out of 300) and an indicator 903c indicating the previous score. ing.
  • the score to be targeted is indicated by a vertical line, and the unachieved portion up to the score of the vertical line is indicated by a different color.
  • Image 906 shows the score of the analysis source data (which may be the emotion data itself) which is the source for calculating the score.
  • Image 906 can include percentage numbers and graphs.
  • the current score "200” is a value calculated based on the attention level 68%, empathy 72%, and comprehension level 60%
  • the previous score "140" is attention level 50% and empathy. It is shown that the values are calculated based on 50% and 40% comprehension.
  • the summary screen of FIG. 11 can include an image 904 showing the conference information, an image 905 showing the tendency information of the conference, and a detail screen button 907 for transitioning to a further detail screen.
  • image 904 if there is a facilitator as meeting information, the name of the person is shown, and in image 905, information showing the tendency of the whole meeting is shown as a meeting report.
  • the information showing the tendency is the information showing the characteristics of this conference. For example, this information includes information indicating how much the score was, information indicating an item showing a particularly characteristic value among emotion data items such as comprehension, and a chapter (here, a part). (Parts and notations) can include information that indicates points of particular interest.
  • the detail screen button 907 can be selected by the user to transition to, for example, a screen as shown in FIG. 8 or FIG.
  • the current score exemplified by "200" in FIG. 10 or 11 can be displayed in the color tone indicated by the significant or superior item among the emotion types (items) from which the calculation is performed.
  • This color tone can be determined, for example, with reference to the color tone represented by the color space illustrated in FIG.
  • the La * b * color space is a color space in which the circumferential direction represents hue and the radial direction represents color saturation. For example, if the degree of attention shows the highest value compared to other items, the current score is expressed in yellow. Further, the indicators 903b and 903c can also be expressed by adopting such a color tone.
  • the analysis source data is shown in the La * b * color space in FIG. 12, it may correspond to another color space.
  • the analysis system 10 can make the analysis source data correspond to the “Prutic emotional circle”.
  • the analysis system 10 plots significant or dominant analysis source data on the emotional circle of Plutik and displays the analysis data by the color tone at the plotted position.
  • the user who uses the analysis data including the color tone can intuitively grasp the emotional tendency in the meeting from the analysis data.
  • the online conference being held is a continuous online conference.
  • the online meeting being held can consist of multiple online meetings held at intervals, and the online meetings being held are held. Can be processed as. This is because the online conference being held can be defined as a plurality of online conferences when the break is long, for example, one day or more.
  • the above-mentioned multiple online meetings can be those that have a common agenda, or those in which one or more common participants participate, and they can be distinguished by attribute data. be. However, it is not limited to these.
  • the analysis system 10 may include a conference management device 400.
  • the analyzer 200, the emotion data generation device 300, and the conference management device 400 may exist separately, or a part or all of them may be integrated.
  • the function of the emotion data generation device 300 is configured as a program and may be included in the analysis device 200 or the conference management device 400.
  • the analyzer 200 can also perform identification of a person and generation of individual emotion data. It is also possible to configure the conference management device 400 to generate chapters and the analyzer 200 to receive and use the information.
  • each device according to each embodiment can have, for example, the following hardware configuration.
  • FIG. 13 is a diagram showing an example of a hardware configuration of a part of each device according to each embodiment.
  • the device 1000 shown in FIG. 13 has a processor 1001, a memory 1002, and an interface (I / F) 1003.
  • the I / F 1003 includes a communication I / F for communicating with another device.
  • the I / F 1003 can include an I / F with a display device and an operation unit or an operation unit for inputting a user operation.
  • the function of each device described in each embodiment is realized by the processor 1001 reading the program stored in the memory 1002 and executing the program in cooperation with the I / F 1003.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks).
  • this example includes a CD-ROM (Read Only Memory), a CD-R, and a CD-R / W.
  • semiconductor memory for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) An emotional data acquisition means for sequentially acquiring emotional data generated for each first period based on facial image data of participants in an online conference, Analytical data generation means, which generate analytical data indicating one analytical value for evaluation of a second period in an ongoing online conference, based on the emotional data, including at least the latest ones.
  • An output means for sequentially outputting the analysis data generated by the analysis data generation means, and an output means.
  • An analyzer equipped with. (Appendix 2) The second period is a period from the time when the online conference being held is started to the time when the emotion data can be acquired. The analyzer according to Appendix 1.
  • the second period is a fixed time until the emotional data can be acquired in the online conference being held.
  • the analyzer according to Appendix 1. A storage means for storing the analysis data generated by the analysis data generation means as analysis history data is provided.
  • the analysis data generation means uses the one analysis value for the second period to be generated as the past analysis value or a plurality of the analysis values indicated by the analysis history data for the online conference being held. Calculated as a relative value to the statistical value of the past analysis value indicated by the historical data,
  • the analyzer according to Appendix 2 or 3. Appendix 5)
  • a storage means for storing the analysis data generated by the analysis data generation means as analysis history data is provided.
  • the analysis data generation means indicates the one analysis value for the second period to be generated by one analysis history data for a past held online conference held in the past from the currently held online conference. Calculated as a relative value to a past analysis value or a statistical value of a past analysis value indicated by a plurality of the analysis history data for one or more of the past held online conferences.
  • the analyzer according to Appendix 2 or 3.
  • the emotional data includes individual emotional data for each participant.
  • the analytical data generation means generates the analytical data for each participant based on the individual emotional data including at least the latest one.
  • the analyzer according to any one of Supplementary Provisions 1 to 5.
  • the emotional data includes individual emotional data for each participant and divisional data to which the participant belongs.
  • the analysis data generation means generates the analysis data for each participant based on the individual emotion data including at least the latest one and the division data.
  • the analyzer according to any one of Supplementary Provisions 1 to 5. The emotional data includes individual emotional data for each participant.
  • the analysis data generation means performs different weighting between the individual emotion data for the presenter included in the participant and the individual emotion data for other types of participants, and generates the analysis data.
  • the emotional data includes attribute data indicating the attributes of the online conference to be targeted.
  • the analysis data generation means generates the analysis data according to the attribute data for the online conference being held.
  • a conference data acquisition means for sequentially acquiring conference data related to the online conference accompanied by time data, A chapter generation means for generating a chapter for the online conference based on the conference data, The second period is a period from a start time point to an end time point for a chapter group consisting of one chapter or a plurality of consecutive chapters generated by the chapter generation means.
  • the analyzer according to any one of Supplementary note 1 to 9.
  • the conference data includes data related to screen sharing in the online conference.
  • the chapter generation means generates the chapter based on the data related to the screen sharing.
  • the chapter generation means generates the chapter according to the switching timing of the screen sharing.
  • the chapter generation means generates the chapter according to the switching time of the owner of the shared screen related to the screen sharing.
  • the analyzer according to Appendix 11 or 12.
  • the emotional data shows numerical values of each of a plurality of types of emotional states.
  • the analyzer according to any one of Supplementary note 1 to 13.
  • the analytical data generation means has a color tone based on a preset index for each of the plurality of types of emotional states, and a predetermined condition regarding significance or superiority among numerical values for the plurality of types of emotional states.
  • the color tone to be added to the one analysis value is determined based on the above, and the analysis data is generated so as to express the one analysis value by adding the determined color tone.
  • the online conference being held is composed of multiple online conferences held at intervals.
  • the analyzer according to any one of Supplementary note 1 to 15.
  • the output means sequentially outputs the analysis data to the system that provides the online conference being held so that it can be superimposed on the screen of the online conference being held.
  • the analyzer according to any one of Supplementary Provisions 1 to 16.
  • the analyzer according to any one of the appendices 1 to 17 and the analyzer.
  • An emotion data generator that generates the emotion data and provides the emotion data to the analyzer.
  • Analytical system with. (Appendix 19) The computer Emotional data generated for each first period based on the facial image data of the participants in the online meeting is sequentially acquired.
  • Analytical method (Appendix 20) A process to sequentially acquire emotional data generated for each first period based on the facial image data of participants in an online conference. A process of generating analytical data showing one analytical value for an assessment of a second period in an ongoing online conference based on the emotional data, including at least the latest ones, and The process of sequentially outputting the generated analysis data A non-temporary computer-readable medium that contains analytical programs that you want your computer to run.
  • Analysis system 90 Conference terminal group 100 Analysis device 111 Emotion data acquisition unit 112 Analysis data generation unit 113 Output unit 114 Conference data acquisition unit 115 Chapter generation unit 120 Storage unit 200 Analysis device 300 Emotion data generation device 311 Participant data acquisition unit 312 Emotion data generation unit 313 Emotion data output unit 400 Conference management device 900A, 900B, 900N Conference terminal 901 Conference image 902 Analysis data display image 990 User terminal N network

Abstract

分析装置（１００）は、感情データ取得部（１１１）、分析データ生成部（１１２）、および出力部（１１３）を備える。感情データ取得部（１１１）は、オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する。分析データ生成部（１１２）は、少なくとも最新のものを含む感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する。出力部（１１３）は、分析データ生成部（１１２）で生成された分析データを逐次に出力する。

Description

分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体
　本開示は、分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　近年のオンライン会議の増加に伴い、オンライン会議を効率良く開催または支援するためのシステムの開発がなされている。
　例えば、特許文献１には、会議の内容を資産化し、会議の運営を効率化することを目的とした、組織における会議の運営を支援する会議支援システムが記載されている。特許文献１に記載の会議支援システムは、ビデオ会議装置、画像認識部、音声認識部、およびタイムライン管理部を備える。上記ビデオ会議装置は、複数の拠点間でのオンラインでのビデオ会議を可能とする装置であり、上記画像認識部は、上記ビデオ会議装置により取得された映像データから画像認識技術により各出席者に係る画像を認識する。上記音声認識部は、上記ビデオ会議装置により各出席者の音声データを取得する。上記音声認識部は、その音声データと、予め登録された各出席者の音声の特徴情報との比較、および、上記画像認識部により取得された各出席者の動きの情報に基づいて、その音声データにおける各発言の発言者を特定する。上記タイムライン管理部は、上記音声認識部により取得された各出席者の音声データを発言の時系列でタイムラインとして出力する。
　また、特許文献１に記載の技術では、会議の内容についてリアルタイムで若しくは事後的に、各種の評価やスコアリングを行い、画面中央に会議全体の評価スコアを表示させるとともに、その周辺には項目毎の評価スコアを表示させている。
特開２０１９－０６１５９４号公報
　しかしながら、特許文献１に記載の技術では、オンライン会議についての多くの評価スコアをリアルタイムに表示させているため、参加者にとっては情報過多となり、参加者の行動の変化が期待できない上に参加者が会議に集中できないこととなる。
　本開示は、上記の課題を鑑みてなされたもので、オンライン会議への参加者の集中力を妨げることを防止しつつ、参加者の行動を変えるきっかけとなるように、オンライン会議の評価をリアルタイムに出力させることが可能な分析装置等を提供することを目的とする。
　本開示の第１の態様にかかる分析装置は、感情データ取得手段、分析データ生成手段、および出力手段を備える。感情データ取得手段は、オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する。分析データ生成手段は、少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する。出力手段は、前記分析データ生成手段で生成された前記分析データを逐次に出力する。
　本開示の第２の態様にかかる分析方法は、コンピュータが、オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する。本分析方法は、前記コンピュータが、少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成し、生成した前記分析データを逐次に出力する。
　本開示の第３の態様にかかる非一時的なコンピュータ可読媒体は、次の第１、第２、および第３の処理をコンピュータに実行させる分析プログラムが格納された非一時的なコンピュータ可読媒体である。上記第１の処理は、オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する処理である。上記第２の処理は、少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する処理である。上記第３の処理は、生成した前記分析データを逐次に出力する処理である。
　本開示によれば、オンライン会議への参加者の集中力を妨げることを防止しつつ、参加者の行動を変えるきっかけとなるように、オンライン会議の評価をリアルタイムに出力させることが可能な分析装置等を提供することができる。
実施形態１にかかる分析装置の構成例を示すブロック図である。 実施形態１にかかる分析方法を示すフローチャートである。 実施形態２にかかる分析システムの構成例を示すブロック図である。 実施形態２にかかる分析装置の構成例を示すブロック図である。 分析データ生成部が処理するデータの第１例を示す図である。 実施形態２にかかる感情データ生成装置の構成例を示すブロック図である。 実施形態２にかかる分析方法を示すフローチャートである。 分析データの第１例を示す図である。 分析データの第２例を示す図である。 分析データの表示例を示す図である。 図１０の表示画面から遷移させた画面の表示例を示す図である。 分析元データに対応させる色空間の例を示す図である。 装置の一部のハードウェア構成の一例を示す図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一または対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施形態１＞
　図１および図２を参照して実施形態１について説明する。図１は、実施形態１にかかる分析装置の構成例を示すブロック図である。
　図１に示すように、本実施形態にかかる分析装置１００は、感情データ取得部（感情データ取得手段）１１１、分析データ生成部（分析データ生成手段）１１２、および出力部（出力手段）１１３を備え、オンライン会議についての分析データを生成、出力する。
　なお、本実施形態において、オンライン会議とは、通信回線を介して互いに通信可能に接続された複数の会議端末を利用して開催される会議をいう。オンライン会議は、例えばウェビナー・イベント、教育・企業研修、少人数会議などとして遠隔で開催されることができる。オンライン会議に接続する会議端末は、例えばＰＣ（Personal Computer）、スマートフォン、タブレット端末、カメラ付き携帯電話等である。また会議端末は、参加者を撮影するカメラ、参加者の発話を収音するマイクおよび画像データや音声データを送受信する通信機能を有する装置であれば上記のものに限られない。また以降の説明においてオンライン会議を、単に「会議」と称する場合がある。
　本実施形態においてオンライン会議の参加者とは、会議端末を通じてオンライン会議に接続している人物を示すものであって、会議の主催者、会議の発表者、プレゼンタおよび会議の傍聴者を含む。例えば１つの会議端末を通じて複数の人物が会議に参加している場合には複数の人物それぞれが参加者である。本実施形態において参加者は会議端末が内蔵するまたは会議端末に接続されたカメラにより顔画像が撮影可能な状態で会議に参加するものとする。
　感情データ取得部１１１は、オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する。このような感情データの取得のために、分析装置１００は、感情データのオンライン会議における参加者の感情データを生成する感情データ生成装置およびオンライン会議を運営する会議運営装置と通信可能にそれぞれ接続しておくことができる。また分析装置１００は、分析装置１００を利用するユーザが有する端末（ユーザ端末）と通信可能に接続することができ、ユーザ端末は、後述する分析データの最終的な出力先とすることができる。
　感情データ生成装置は、会議運営装置に通信可能に接続され、オンライン会議における会議の参加者の顔画像データを受信し、その顔データから感情データを生成し、生成した感情データを分析装置１００に供給するように構成することができる。これにより、感情データ取得部１１１は、感情データ生成装置から感情データを取得することができる。
　感情データは、会議の参加者がそれぞれ有する感情を示す指標となるデータである。感情データは、例えば、注目度、困惑度、幸福度、および驚きなど複数の項目（複数種類の項目）を含む。各項目のデータはそれぞれの感情の種類を示す指標の数値となる。すなわち感情データは、上述のそれぞれの項目ごとに、参加者がどの程度これらの感情を感じているかを示すものである。このように、感情データは、複数種類の感情の状態をそれぞれ数値で示したものであり、換言すれば感情の状態を示す複数の指標をそれぞれ数値で示したものである。なお、この感情データは、参加者がオンライン会議中に表出した反応（行動）を示す表出データとも言え、顔画像データの他に音声データも加味して生成されたものであってもよい。
　感情データ取得部１１１が取得する感情データは、時刻データを伴うものとすることができる。感情データ生成装置は、第１期間ごとの感情データを生成する。第１期間とは、例えば１秒間や１分間などの所定時間を指すことができる。感情データ取得部１１１は、会議の進行時刻に沿った第１期間ごとの感情データを取得する。感情データ取得部１１１は、感情データを取得すると、取得した感情データを分析データ生成部１１２に供給する。
　分析データ生成部１１２は、供給された少なくとも最新のものを含む感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する。ここで、評価とは、感情データの違いによって異なる値となるような、会議の評価であればよく、その評価を示す評価値として１つの分析値（１つの指標の値）が算出されるものであれば、その算出方法等は問わない。
　また、分析データ生成部１１２は、少なくとも最新のものを含む感情データに基づいて第２期間ごとに分析データを生成するため、第２期間は最新の時点を含む期間を指し、また、分析が感情データ供給タイミングに準じたリアルタイム処理であることを意味する。
　第２期間とは、例えば、開催中のオンライン会議が開始された時点から現時点（実際には感情データが取得できている時点）までの期間を指すことができる。この場合、開始から現時点までの分析データを生成することができる。あるいは、第２期間とは、例えば１秒間や１分間などの所定時間前から現時点までの期間、つまり開催中のオンライン会議における感情データが取得できている時点に至るまでの一定時間を指すことができる。この場合、一定期間前から現時点までの分析データを生成することができる。第２期間としてどのような期間を採用するかは、予め定めておくことができる。
　このように、分析データ生成部１１２は第２期間ごとに分析データを生成することになる。出力部１１３は、分析データ生成部１１２で生成された分析データを逐次に出力する。つまり、出力部１１３は、分析データを第２期間が終了する度にリアルタイムに出力することになる。
　特に、出力部１１３は、開催中のオンライン会議の画面に重畳できるように、開催中のオンライン会議を提供するシステムに、分析データを逐次に出力することが好ましい。オンライン会議を提供するシステムは、上述した会議運営装置を含むことができ、この会議運営装置を分析データの出力先としておけば、オンライン会議の画面に重畳させるようにすることができる。あるいは、出力部１１３は、分析データ生成部１１２が生成した分析データをユーザ端末の表示画像に重畳できるように出力する構成とすることもできる。この場合、ユーザが直接、分析装置１００を利用することになる。いずれの場合でも分析データを重畳させるように出力させるためには、例えば、分析データを会議運営装置において会議画面に重畳させるような形式の信号とすることや、あるいは分析データを単にＯＳＤ（On Screen Display）信号とすることなどが採用できる。
　出力部１１３においていずれの出力先を採用した場合でも、最終的にユーザは、ユーザ端末が受け取った１つの分析値を知覚することで、その開催中の会議を評価した１つの分析値（分析データ）を認識すること、つまりその会議の評価を認識することができる。特に、出力される分析データは、開催中のオンライン会議を例えば全体平均などとして１つの指標で示すものであるため、ユーザは会議の評価を捉えやすい。そのため、ユーザは、受け取った分析データから、開催中のオンライン会議に対して、継続した参加に際して態度等を変えるべきか否かを把握でき、留意すべき事項等を考察して継続する会議に参加することができる。さらに、本実施形態によれば、１つの分析値でなる分析データを出力するため、オンライン会議への参加者の集中力を妨げることを防止することができる。
　次に、図２を参照して、実施形態１にかかる分析装置１００の処理について説明する。図２は、実施形態１にかかる分析方法を示すフローチャートである。図２に示すフローチャートは、分析装置１００が例えば、会議運営装置から会議の開始を示す信号を受け取ることにより、あるいは感情データ生成装置から同等の信号を受け取ることにより開始することができる。
　まず、感情データ取得部１１１は、感情データ生成装置から感情データを逐次に取得する（ステップＳ１１）。感情データ取得部１１１は、感情データ生成装置が感情データを生成する都度、生成された感情データを取得することができる。
　次に、分析データ生成部１１２は、感情データ取得部１１１から受け取った少なくとも最新のものを含む感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する（ステップＳ１２）。次に、出力部１１３は、生成した分析データを逐次に出力する（ステップＳ１３）。
　以上、実施形態１について説明した。上述のとおり、実施形態１にかかる分析装置１００は、開催中のオンライン会議における参加者の感情データを取得し、１つの分析値を示す分析データ（１つの分析値で示される分析データ）を生成し、出力する。これにより、ユーザは、その開催中のオンライン会議の分析データを認識すること、つまりその会議の評価を認識することができ、継続した参加に際して態度等を変えるべきか否かを把握でき、留意すべき事項等を考察して継続する会議に参加することができる。例えば、ユーザは、開催中の会議において、提供される分析データを利用して、円滑なコミュニケーションを図るようにコミュニケーションの度合いを変えることができる。さらに、実施形態１によれば、１つの分析値でなる分析データを出力するため、オンライン会議への参加者の集中力を妨げることを防止することができる。
　よって、本実施形態によれば、オンライン会議への参加者の集中力を妨げることを防止しつつ、参加者の行動を変えるきっかけとなるように、オンライン会議の評価をリアルタイムに出力させることが可能な分析装置等を提供することができる。そして、このような効果により、本実施形態では、オンライン会議を効率よく運営することができる。
　なお、分析装置１００は、図示しない構成としてプロセッサおよび記憶装置を有するものである。分析装置１００が有する記憶装置は、フラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、分析装置１００が有する記憶装置は、感情データや分析データを一時的または半永久的に記憶するものである。
　分析装置１００が有する記憶装置には、本実施形態にかかる分析方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）が記憶されることができる。またプロセッサは、記憶装置からコンピュータプログラムをメモリへ読み込ませ、当該プログラムを実行する。
　分析装置１００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部または全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部または全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
　また、分析装置１００の各構成要素の一部または全部が複数の演算装置や回路等により実現される場合には、複数の演算装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、演算装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、分析装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
＜実施形態２＞
　実施形態２について実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。図３は、実施形態２にかかる分析システムの構成例を示すブロック図である。
　図３に示すように、本実施形態にかかる分析システム１０は、分析装置２００と、感情データを生成して分析装置２００に感情データを提供する感情データ生成装置３００と、を備えることができる。分析装置２００と感情データ生成装置３００とは、ネットワークＮを介して互いに通信可能に接続している。また分析システム１０は、ネットワークＮを介して会議運営装置４００と通信可能に接続している。会議運営装置４００は、ネットワークＮを介して会議端末群９０に接続してオンライン会議を運営する。会議端末群９０は、複数の会議端末（９００Ａ、９００Ｂ、・・・、９００Ｎ）およびユーザ端末９９０を含む。
　実施形態１で説明したユーザ端末は、会議端末９００Ａ等とすることができるが、会議端末として用いない他のユーザ端末９９０であっても、ユーザが会議端末とともに合計２台で使用することができる。その場合、ユーザ端末９９０側に分析データを出力するように構成することができ、ユーザは会議端末で会議に参加しながらユーザ端末９９０で分析データを確認することができる。
　次に、図４を参照して実施形態２にかかる分析装置について説明する。図４は、実施形態２にかかる分析装置２００の構成例を示すブロック図である。実施形態２にかかる分析装置２００は、会議データ取得部１１４、チャプタ生成部１１５、および記憶部１２０を有する点が、実施形態１にかかる分析装置１００と異なる。以下に、分析装置２００の各構成について、分析装置１００と異なる点を含めて説明する。
　感情データ取得部１１１は、オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する。
　分析データ生成部１１２は、感情データ取得部１１１から受け取った少なくとも最新のものを含む感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する。
　記憶部１２０は、分析データ生成部１１２で生成された分析データを分析履歴データとして記憶する。記憶部１２０は、ＳＳＤ（Solid State Drive）またはフラッシュメモリ等の不揮発メモリを含む記憶装置とすることができる。なお、記憶部１２０は、上述のデータの他に、例えば本実施形態にかかる分析方法を実行させるためのプログラムなどを記憶する。
　分析履歴データを用いることで、分析データ生成部１１２は、生成対象となる第２期間についての１つの分析値を、次のような相対値として算出することができる。
　例えば、この相対値は、開催中のオンライン会議についての、１つの分析履歴データが示す過去の分析値（過去の第２期間についての分析値）または複数の分析履歴データが示す過去の分析値の統計値に対する相対値とすることができる。統計値としては、単純平均値、単純移動平均値、加重移動平均値、指数移動平均値、中央値など、どのような統計手法を用いたものであってもよいが、感情データに基づく会議評価に適したと言える手法を採用するとよい。
　また、この相対値は、過去に対する上げ下げを示す差分値又は比率などとすることができる。例えば、同じ開催中のオンライン会議においても、１０秒前に比べてどれだけ評価が上がったか下がったかなどを表す値として、相対値を算出することができる。このような相対値の算出を行う場合には、分析履歴データに算出された相対値のみを含めるだけでなく、相対値の算出に用いたその算出時点での絶対値を含めておけばよい。分析データ生成部１１２は、分析データ生成時点での絶対値と分析履歴データに含まれる絶対値とから、それらの絶対値間での相対値として分析データを生成することができる。
　また、相対値の他の例として、開催中のオンライン会議より過去に開催された過去開催オンライン会議についての分析履歴データを用いた相対値とすることができる。より具体的には、算出する相対値は、１つの過去開催オンライン会議についての１つの分析履歴データが示す過去の分析値に対する相対値とすることができる。あるいは、算出する相対値は、１又は複数の過去開催オンライン会議についての複数の分析履歴データが示す過去の分析値の統計値に対する相対値とすることができる。この例でも、統計値は上述したようにどのような統計手法を用いた値であってもよく、また相対値は過去に対する差分値又は比率などとすることができる。
　出力部１１３は、生成した分析データを逐次に出力する。そして、出力される分析データとして相対値を採用することで、開催中のオンライン会議を例えば全体平均などとして１つの指標で示すものであるため、ユーザは絶対指標がわからなくても、以前との相対比較として開催中の会議の評価を認知することができる。
　また、分析データの生成に用いる感情データは、対象となるオンライン会議の属性（種類）を示す属性データを含むことができる。会議の属性データとは、例えば、ウェビナー、定例ミーティング、またはブレーンストーミングなどの、会議の種別を示す情報を含み得る。また会議の属性データとは、会議の参加者が所属する会社の業種や職種に関する情報を含み得る。また会議の属性データは、会議の議題、会議の目的または会議体の名称等に関する情報を含み得る。
　そして、分析データ生成部１１２は、開催中のオンライン会議についての属性データに応じて分析データを生成するように構成することができる。例えば、属性が異なれば異なる分析値が算出されるようにしておけばよい。分析履歴データを用いた分析データの生成を行う例では、分析データ生成対象のオンライン会議と同じ属性についての分析履歴データのみを用いることができる。あるいは、同じ属性、似た属性、全く異なる属性などで重み付けを異ならせて各属性の分析履歴データを用いることもできる。
　会議データ取得部１１４は、会議運営装置４００から、時刻データを伴うオンライン会議に関する会議データを逐次に取得する。会議運営装置４００は、例えば会議の参加者のそれぞれが通信可能に接続するサーバ装置である。会議運営装置４００は、会議の参加者が利用する会議端末９００Ａ等に含まれるものであってもよい。会議データは、時刻データを伴う会議に関するデータであり、会議中に撮影された参加者の顔画像データを含むことができる。より具体的には、会議データは、会議の開始時刻および終了時刻を含む。また会議データは、会議中に取られた休憩の時刻を含む。上述した属性データは、この会議データに含めておくことができ、その場合、会議データ（属性データを含む）と感情データとは時刻データで紐付けることができる。つまり、属性データについては、会議データ取得部１１４が、会議を運営する会議運営装置４００から会議の属性データを含む会議データを取得するように構成しておいてもよい。
　会議データ取得部１１４は、会議における画面共有に関するデータを含む会議データを取得するものであってもよい。この場合、会議データは、例えば参加者に共有される共有画面を操作する権限（共有画面のオーナー）の切替え時刻や、参加者の発話の切替え時刻を含み得る。会議データ取得部１１４は、会議において共有された画面データを含む会議データを取得するものであってもよい。この場合、会議データは、共有画面中のページ送りや表示画像の変化などの時刻を含み得る。さらに会議データは、上述した時刻が、それぞれ何を示すものであるかを含み得る。会議データ取得部１１４は、取得した会議データを、後述のチャプタ生成部１１５および分析データ生成部１１２に供給する。
　チャプタ生成部１１５は、会議データ取得部１１４から受け取った会議データに基づいてそのオンライン会議に対するチャプタを生成する。チャプタ生成部１１５は、生成したチャプタを示すデータを、分析データ生成部１１２に供給する。これにより、後述するが、第２期間の決定にチャプタを用いることができるようになる。
　チャプタ生成部１１５は、例えば会議の開始から現時点までの時刻を検出し、さらに、予め設定された条件に合致する時刻を検出して、それぞれの時刻を区切りとして、チャプタを示すデータを生成する。この条件の単純な例としては、開始時点から所定時間の倍数経過したかなどとすることができるが、これに限らない。本開示における会議のチャプタは、会議において所定の条件に合致する状態が維持されているか、あるいは所定の条件が変化したかにより定義されることができる。
　また、チャプタ生成部１１５は、例えば画面共有に関するデータに基づいてチャプタを生成してもよい。より具体的には、チャプタ生成部１１５は、画面共有の切替えタイミングに応じてチャプタを生成してもよい。またチャプタ生成部１１５は、画面共有にかかる共有画面のオーナーの切替え時刻に応じてチャプタを生成してもよい。
　分析データ生成部１１２は、受け取った感情データおよびチャプタを示すデータから、第２期間ごとに分析データを生成する。この例において第２期間は、チャプタ生成部１１５で生成された１つのチャプタまたは連続する複数のチャプタでなるチャプタ群についての、開始時点から終了時点までの期間として定めることができる。つまり、分析データ生成部１１２は、感情データに基づいて会議に対する分析データをチャプタごとにまたはチャプタ群ごとに生成することができる。
　実施形態１で説明したように、感情データは、複数種類の感情の状態をそれぞれ数値で示したものとすることができる。つまり、感情データ取得部１１１は、感情の状態を示す複数の指標を数値により示した感情データを取得するように構成することができる。
　この場合、分析データは、このような感情データから導出されるデータであって、複数種類の感情を示す指標の数値から抽出または算出されるデータとすることができる。分析データ生成部１１２は、感情データの統計値を算出することにより、１つの分析値を示す分析データを生成することができる。生成される分析データは、会議の運営に役立つような指標であることが好ましい。例えば分析データは、会議に対する注目度、共感度、および理解度のいずれか１つを示す分析値であってもよいし、それらから算出された１つの分析値（例えば会議への反応度を示す値）であってもよい。あるいは分析データは、会議の傍聴者に対する発言者の感情伝達度であってもよい。分析データ生成部１１２は、チャプタごとの分析データを生成すると、生成した分析データを出力部１１３に供給する。
　分析データ生成部１１２は、複数種類の感情の状態についての数値の間での有意性または優位性に関する所定の条件に基づいて、１つの分析値に付加する色調を決定し、決定した色調を付加して１つの分析値を表現するように、分析データを生成することもできる。ここで、色調は、複数種類の感情の状態のそれぞれについて予め設定された指標に基づく色調とする。例えば、分析データが示す１つの分析値が、注目度を示す数値、共感度を示す数値、および理解度を示す数値から算出された反応度を示す数値であった場合、且つ、注目度を示す数値が他に比べて有意または優性であった場合について例を挙げる。この場合、分析データは、注目度について予め定められた色調で反応度を示す数値を表現するように生成されることができる。
　ここで、図５を参照しながら、分析データ生成部１１２の処理例についてさらに説明する。図５は、分析データ生成部１１２が処理するデータの例を示す図である。図５には、分析データ生成部１１２が受け取る入力データ群と、分析データ生成部１１２が出力する出力データ（分析データ）とが示されている。分析データ生成部１１２は、感情データ生成装置３００から、入力データ群としての感情データを受け取る。入力データ群は例えば、注目度、困惑度、軽蔑度、嫌悪感、恐怖感、幸福度、共感度、驚き、および存在感に関するそれぞれの指標を含む。これらの指標は例えばそれぞれの指標が０から１００までの数値により示される。入力データ群の感情データは、顔画像データから既存の映像処理技術を用いて生成されたものが取得されてもよく、その他の方法により生成、取得されてもよい。
　分析データ生成部１１２は、上述の入力データ群を受け取ると、予め設定された処理を行い、入力データ群を用いて出力データを生成する。出力データは、分析システム１０を利用するユーザが会議を効率良く行うために参照する１つの分析値を示すデータである。分析データ生成部１１２は、入力データ群から予め設定された指標を抽出する。また分析データ生成部１１２は、抽出した指標にかかる値に対して予め設定された演算処理を行う。そして分析データ生成部１１２は、上述の出力データを生成する。なお、出力データとして、入力データ群に含まれる１つの項目（例えば注目度など）の値を示すデータとしてもよい。
　また、感情データ取得部１１１が取得する感情データは、参加者ごとの個別感情データを含むことができる。この場合、分析データ生成部１１２は、参加者ごとに、少なくとも最新のものを含む個別感情データに基づいて分析データを生成するように構成することができる。
　上述したように、出力部１１３は、開催中のオンライン会議の画面に重畳できるように、開催中のオンライン会議を提供するシステム（会議運営装置を含む）に、分析データを逐次に出力することが好ましい。ここでの例の場合も、個人を特定する情報を会議運営装置に提供しておけば、各個人のユーザ端末にその個人についての分析データを対応するユーザ端末のオンライン会議の画面に出力させることができる。また、上述したように、出力部１１３は、分析データ生成部１１２が生成した分析データをユーザ端末に出力するように構成することもできる。ユーザは分析装置１００を利用することになる。
　出力部１１３においていずれの出力先を採用した場合であっても、ユーザは最終的にはユーザ端末上において分析データを認識することができる。つまり、ユーザ端末が受け取った自身についての分析データを知覚することにより、参加中の会議についての自身への分析データ（評価）を認識することができる。そのため、ユーザは、受け取った分析データから、開催中のオンライン会議に対して、継続した参加に際して態度等を変えるべきか否かを把握でき、留意すべき事項等を考察して継続する会議に参加することができる。
　また、感情データに参加者ごとの個別感情データを含む他の例として、次のような例も挙げられる。すなわち、分析データ生成部１１２は、参加者に含まれる発表者についての個別感情データと他種の参加者についての個別感情データとで異なる重み付けを実行し、分析データを生成するように構成することができる。これにより、発表者とそれ以外の参加者とを区別した状態で分析データを生成すること、あるいは、この区別した状態で参加者ごとに分析データを生成することができる。
　また、感情データに参加者ごとの個別感情データを含むさらに他の例として、次のような例も挙げられる。すなわち、感情データは、参加者ごとの個別感情データと参加者が属する区分データとを含むことができる。ここで参加者の区分は、例えば参加者の所属する法人、当該法人内の部署または参加者の職種などである。
　この場合、分析データ生成部１１２は、参加者ごとに、少なくとも最新のものを含む個別感情データと区分データとに基づいて（つまり区分を加味して）分析データを生成するように構成することができる。これにより、参加者の区分を加味して、参加者ごとに分析データを生成することができる。
　これらの例のように、感情データ取得部１１１が取得する感情データに参加者ごとの個別感情データを含ませて、種々の処理を行わせることができる。個別感情データは感情データ生成装置３００が生成すること、つまり会議運営装置４００と通信可能に接続された感情データ生成装置３００が会議データ等から人物を特定し、個別感情データを含むような感情データを生成することができる。
　次に、図６を参照して感情データ生成装置３００について説明する。図６は、実施形態２にかかる感情データ生成装置の構成を示すブロック図である。感情データ生成装置３００は、主な構成として、参加者データ取得部３１１、感情データ生成部３１２、および感情データ出力部３１３を有している。
　参加者データ取得部３１１は、ネットワークＮを介して会議運営装置４００から参加者に関するデータを取得する。参加者に関するデータとは、会議端末が会議中に撮影した参加者の顔画像データである。顔画像データが会議データに含まれる場合、例えば会議運営装置４００が会議データから顔画像データを抽出して感情データ生成装置３００に送信することができる。
　感情データ生成部３１２は、感情データ生成装置３００が受け取った顔画像データから感情データを生成する。感情データ出力部３１３は、感情データ生成部３１２が生成した感情データを、ネットワークＮを介して分析装置２００に出力する。なお、感情データ生成装置３００は、参加者の顔画像データに対して所定の画像処理を施すことにより感情データを生成する。所定の画像処理とは例えば、特徴点（または特徴量）の抽出、抽出した特徴点に対する参照データとの照合、画像データの畳み込み処理および機械学習した教師データを利用した処理、ディープラーニングによる教師データを活用した処理等である。ただし、感情データ生成装置３００が感情データを生成する手法は、上述の処理に限られない。感情データは、感情を示す指標である数値であってもよいし、感情データを生成する際に利用した画像データを含むものであってもよい。
　生成する感情データが個別感情データを含まない例の場合、例えば図１の分析装置１００のように個別感情データを分析データの生成に用いない場合には、人物の区別なく、顔画像データから感情データを生成すればよい。一例を挙げると、複数人の顔画像データから注目度等の各項目について数値が高い人数をカウントして、各カウント値で構成される感情データを生成することができるが、これに限ったものではない。
　一方、生成する感情データが個別感情データを含む例の場合、次のような処理を行うことができる。この場合、会議端末で会議中に撮影された参加者の顔画像データを参加者に関するデータとして受信しておき、事前に登録しておいた顔画像データに基づく顔認証処理を実行すれば参加者個人を特定でき、各参加者の顔画像データから個別感情データを生成できる。また、個人を特定しない場合であっても、会議中に撮影された参加者の顔画像データから同じ人物であることは特定できるため、個別感情データの生成は可能である。なお、会議端末１台につき１ユーザの例では、会議に参加する際のログイン情報だけで個人を特定させることができ、その会議端末で撮影された顔画像データからその個人の個別感情データを生成することができる。
　また、感情データに参加者が属する区分データを含める場合、参加者の区分は、例えば人物属性データから生成することができる。この人物属性データは、人物の顔特徴情報と、人物の区分や属性に関する情報とが紐づけられたデータであり、事前に感情データ生成装置３００又はそこからアクセス可能な装置に記憶させておけばよい。人物の区分や属性に関する情報とは、例えば人物の氏名、性別、年齢、職種、所属する法人または所属する部署であるが、これらに限定されない。また、参加者の区分は、顔画像データから顔画像にかかる人物の顔特徴情報（特徴点の情報）を抽出し、抽出した情報に応じて推定することもできる。
　なお、感情データ生成装置３００は、図示しない構成としてプロセッサ及び記憶装置を有するものである。感情データ生成装置３００が有する記憶装置には、本実施形態に係る感情データ生成を実行するためのプログラムが記憶されている。またプロセッサは、記憶装置からプログラムをメモリへ読み込ませ、当該プログラムを実行する。
　感情データ生成装置３００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いることができる。
　また、感情データ生成装置３００の各構成要素の一部又は全部が複数の演算装置や回路等により実現される場合には、複数の演算装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、演算装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、感情データ生成装置３００の機能がＳａａＳ形式で提供されてもよい。
　次に、図７を参照して分析装置２００が実行する処理例について説明する。図７は、実施形態２にかかる分析方法を示すフローチャートである。図７に示す処理は、開催中の会議において、第２期間がチャプタの期間とする点、つまり新たなチャプタが生成される度に分析データを出力する点において、実施形態１にかかる処理と異なる。
　まず、分析装置２００は、オンライン会議が開始されたか否かを判定する（ステップＳ２１）。分析装置２００は、会議運営装置４００から会議が開始されたことを示す信号を受け取ることにより、会議の開始を判定する。オンライン会議が開始されたと判定しない場合（ステップＳ２１：ＮＯ）、分析装置２００は、ステップＳ２１を繰り返す。オンライン会議が開始されたと判定した場合（ステップＳ２１：ＹＥＳ）、分析装置２００は、ステップＳ２２に進む。
　ステップＳ２２において、感情データ取得部１１１は、感情データ生成装置から感情データの取得を開始する（ステップＳ２２）。次に、会議データ取得部１１４は、会議運営装置から時刻データを伴う会議に関する会議データを取得する（ステップＳ２３）。会議データ取得部１１４はかかる会議データを、第１期間毎に受け取ってもよいし、会議データに更新すべき情報がある場合に逐次受け取ってもよい。また、ステップＳ２２とステップＳ２３は同時に開始されることができる。
　次に、分析装置２００は、受け取った会議データから新しいチャプタを生成可能か否かについて判定する（ステップＳ２４）。新しいチャプタを生成可能と判定しない場合（ステップＳ２４：ＮＯ）、分析装置２００は、ステップＳ２２に戻る。一方、新しいチャプタを生成可能と判定した場合（ステップＳ２４：ＹＥＳ）、分析装置２００は、ステップＳ２５に進む。ステップＳ２５において、チャプタ生成部１１５は、会議データ取得部１１４から受け取った会議データからチャプタを生成する（ステップＳ２５）。
　次に、分析データ生成部１１２は、チャプタ生成部１１５から受け取ったチャプタ又はチャプタ群の開始から終了までの期間について、感情データ取得部１１１から受け取った感情データに基づき１つの分析値を示す分析データを生成する（ステップＳ２６）。無論、上記受け取った感情データには個別感情データを含むこともできる。なお、分析データは、会議データも加味して生成することもできる。
　次に、出力部１１３は、生成した分析データをユーザ端末９９０に出力する（ステップＳ２７）。これにより、ユーザはリアルタイムに分析データを確認することができる。さらに分析装置２００は、会議が終了したか否かを判定する（ステップＳ２８）。分析装置２００は、会議運営装置４００から会議が終了したことを示す信号を受け取ることにより、会議の終了を判定する。会議が終了したと判定しない場合（ステップＳ２８：ＮＯ）、分析装置２００は、ステップＳ２２に戻り、処理を続ける。一方、オンライン会議が終了したと判定した場合（ステップＳ２８：ＹＥＳ）、分析装置２００は、一連の処理を終了する。
　以上、実施形態２にかかる分析装置２００の処理について説明した。上述のフローチャートによれば、分析装置２００は、開催中の会議において、新しいチャプタが生成される度に生成されたチャプタ（又はチャプタ群）に対する分析データを出力できる。これにより、分析システム１０を利用するユーザは、開催中の会議において、新しいチャプタが生成される度などに提供される分析データを利用して会議を効果的に進めることができる。例えば、ユーザは、開催中の会議において、新しいチャプタが生成される度に提供される分析データを利用して、円滑なコミュニケーションを図るようにコミュニケーションの度合いを変えることができる。
　次に、図８を参照して、分析データの例について説明する。図８は、分析データの第１例を示す図である。図８は、上段において１つの分析値で示す分析データの生成元となる各分析元データ（感情データ又はそこから分析した中間データ）を時系列に沿って示したグラフＧ１１が示されている。また中段において上記時系列に対応した会議データＧ１２が示されている。さらに、下段において、上記会議データに対応したチャプタごとの分析データＧ１３（１つの分析値で示す分析データとその生成元の分析元データ）が示されている。なお、上記生成元となる分析元データは、上述したように、入力される感情データの種類や１つの分析値の算出方法によっては、分析途中の中間データに該当する場合がある。
　グラフＧ１１は、横軸が時間を示し、縦軸が分析元データのスコアを示している。横軸は左端が時刻Ｔ１０であり、右に進むほど時間が経過し、右端が時刻Ｔ１５となっている。時刻Ｔ１０は、会議の開始時刻であり、時刻Ｔ１５は会議の終了時刻である。時刻Ｔ１０と時刻Ｔ１５の間の時刻Ｔ１１、Ｔ１２、Ｔ１３およびＴ１４は、後述するチャプタに対応する時刻を示している。
　またグラフＧ１１は、実線により示された第１分析元データＬ１１と、点線により示された第２分析元データＬ１２と、二点鎖線により示された第３分析元データＬ１３とがプロットされている。第１分析元データＬ１１は、分析データ（１つの分析値のデータ：この例では総合スコア）の生成に用いられる注目度を示している。第２分析元データＬ１２は、総合スコアの生成に用いられる共感度を示している。第３分析元データＬ１３は、総合スコアの生成に用いられる理解度を示している。
　会議データＧ１２は、会議の共有画面に関するデータと、発表者（プレゼンタ）に関するデータとが時系列に沿って示されている。すなわち、表示画面に関するデータには、時刻Ｔ１０から時刻Ｔ１１までの共有画面が画面Ｄ１であったことが示されている。また表示画面に関するデータには、時刻Ｔ１１から時刻Ｔ１２までの共有画面が画面Ｄ２であったことが示されている。以下同様に、会議データＧ１２によれば、会議における共有画面は、時刻Ｔ１２から時刻Ｔ１３までが画面Ｄ３、時刻Ｔ１３から時刻Ｔ１４までが画面Ｄ４、そして時刻Ｔ１４から時刻Ｔ１５までが画面Ｄ５であったことが示されている。なお、ここで表示画面は、基本的に表示部の画面の全体または一部分に表示させる表示画像と同義であるものとする。
　また会議データＧ１２において、発表者に関するデータには、時刻Ｔ１０から時刻Ｔ１２までが発表者Ｗ１であったことが示されている。同様に、発表者に関するデータには、時刻Ｔ１２から時刻Ｔ１４までが発表者Ｗ２、そして時刻Ｔ１４から時刻Ｔ１５までが再び発表者Ｗ１であったことが示されている。
　上述の会議データＧ１２における共有画面と発表者との関係について、時系列に沿って説明する。会議が開始された時刻Ｔ１０から時刻Ｔ１２までの間は、発表者Ｗ１が会議の進行を行っており、時刻Ｔ１０から時刻Ｔ１１までの間、発表者Ｗ１は共有画面として画面Ｄ１を共有画面として表示（すなわち画面Ｄ１を共有）させていた。次に発表者Ｗ１は、時刻Ｔ１１から時刻Ｔ１２までの間、表有画面を画面Ｄ１から画面Ｄ２に切り替えて発表を続けた。次に、時刻Ｔ１２に、発表者が発表者Ｗ１から発表者Ｗ２に交代した。発表者Ｗ２は、時刻Ｔ１２から時刻Ｔ１３までの間、画面Ｄ３を共有させ、時刻Ｔ１３から時刻Ｔ１４までの間は、画面Ｄ４を共有させた。時刻Ｔ１４から時刻Ｔ１５までの間は、発表者Ｗ２から交代した発表者Ｗ１が、画面Ｄ５を共有させていた。
　以上、会議データＧ１２における共有画面と発表者との関係について、時系列に沿って説明した。上述のように、図８に示す会議データは、共有画面における画面データが表示されていた期間についてのデータと、発表者が誰であったかについてのデータが含まれる。チャプタ生成部１１５は、上述の会議データの内、共有画面に関するデータに応じてチャプタを生成できる。
　分析データＧ１３は、上述の会議データに対応するチャプタを示すデータと、チャプタに対応する分析元データおよび出力対象となる分析データとが時系列に沿って示されている。図８に示す例において、チャプタを示すデータは、会議データの内の共有画面に関するデータに対応している。すなわち、第１チャプタＣ１１は、画面Ｄ１が共有されていた時刻Ｔ１０から時刻Ｔ１１である。同様に、第２チャプタＣ１２は、画面Ｄ２が共有されていた時刻Ｔ１１から時刻Ｔ１２である。第３チャプタＣ１３は、画面Ｄ３が共有されていた時刻Ｔ１２から時刻Ｔ１３である。第４チャプタＣ１４は、画面Ｄ４が共有されていた時刻Ｔ１３から時刻Ｔ１４である。第５チャプタＣ１５は、画面Ｄ５が共有されていた時刻Ｔ１４から時刻Ｔ１５である。
　図８に示すように、分析データＧ１３には、それぞれのチャプタに対応する分析元データ（注目度、共感度、および理解度）および分析データ（これらを合計した総合スコア）が示されている。分析データＧ１３において、例えば、チャプタＣ１１に対応する分析元データとして、注目度が６５、共感度が５０、理解度が４３と示されている。また総合スコアはこれらの合計として１５８と示されている。同様に、例えばチャプタＣ１２に対応する分析データとして、注目度が６１、共感度が４５、理解度が３２そして総合スコアが１３８と示されている。
　上記分析元データは、グラフＧ１１においてそれぞれプロットされているデータに対応したものである。すなわち、分析データＧ１３として示されている分析元データ、分析データはそれぞれ、対応するチャプタの期間において算出された分析元データの平均値、分析データの平均値である。
　以上、分析データの例について説明した。図８に示す例において、チャプタ生成部１１５は、会議データのうち共有画面が切り替わるタイミングを、チャプタの切替えタイミングに設定している。そして分析データ生成部１１２は、会議の開始から会議の終了までの間の分析データを、上述のチャプタごとに算出する。これにより、分析システム１０は、表示されている共有画面ごとの分析データを提供できる。
　図８に示した例において、分析システム１０は、上述のグラフＧ１１に示すように、分析元データを第１期間毎に算出してプロットさせるように構成することもできる。これにより、分析システム１０は、会議における分析元データの詳細な変化を示すことができる。但し、本実施形態では、最初は分析データを示した状態とするため、その状態からさらに詳細な情報をユーザが視認したい場合にこのような表示を行うことができる。
　次に、図９を参照して、分析データの例についてさらに説明する。図９は、分析データの第２例を示す図である。図９において、上段に示すグラフＧ１１に示す第１分析元データＬ１１、第２分析元データＬ１２および第３分析元データＬ１３は、図８に示すものと同じである。また中段に示す会議データＧ１２は、図８に示すものと同じである。
　図９において下段に示す分析データＧ２３は、チャプタを生成するためのデータが、発表者に関するデータである点が、図８に示す分析元データおよび分析データと異なる。すなわち、図９に示す例において、チャプタ生成部１１５は、発表者Ｗ１が発表者であった時刻Ｔ１０から時刻Ｔ１２までの間を第１チャプタＣ２１に設定している。同様に、チャプタ生成部１１５は、発表者Ｗ２が発表者であった時刻Ｔ１２から時刻Ｔ１４までの間を第２チャプタＣ２２に設定している。またチャプタ生成部１１５は、発表者Ｗ１が発表者であった時刻Ｔ１４から時刻Ｔ１５までの間を第３チャプタＣ２３に設定している。
　図９において、分析元データおよび分析データは、上述のチャプタＣ２１～Ｃ２３に対応して示されている。すなわち、チャプタＣ２１に対応する分析元データは注目度が６２、共感度が４７、理解度が３５と示され、チャプタＣ２１に対応する分析データは総合スコアが１４４と示されている。チャプタＣ２２に対応する分析元データは注目度が７８、共感度が４６、理解度が４８と示され、チャプタＣ２２に対応する分析データは総合スコアが１７２と示されている。チャプタＣ２３に対応する分析元データは注目度が５８、共感度が４３、理解度が５１と示され、チャプタＣ２３に対応する分析データは総合スコアが１５２と示されている。
　以上、分析データの第２の例について説明した。図９に示す例において、チャプタ生成部１１５は、会議データのうち発表者が切り替わるタイミングを、チャプタの切替えタイミングに設定している。そして分析データ生成部１１２は、会議の開始から会議の終了までの間の分析データを、上述のチャプタごとに生成する。これにより、分析システム１０は、発表者ごとの分析データを提供できる。
　次に、本実施形態の主たる特徴の一つである、１つの分析値で示す分析データの表示例について、図１０～図１２を参照しながら説明する。図１０は、分析データの表示例を示す図で、図１１は、図１０の表示画面から遷移させた画面の表示例を示す図である。また、図１２は、分析元データ（感情データの各指標の数値）に対応させる色空間の例を示す図である。
　図４の出力部１１３は、会議端末９００Ａ等に対し、図１０に示すような会議画像９０１に分析データ表示画像９０２を重畳させるように分析データをリアルタイムに出力することができる。分析データ表示画像９０２には、現在の１つの分析値が「現在のスコア」として含まれており、ここでは、３００満点中、２００点である例が示されている。なお、図１０の分析データ表示画像９０２の表示例は、分析履歴データから算出された過去の分析値が「３００」点で現時点の分析値が「２００」である場合の相対値出力例として出力させることもできる。
　また、図１０の例では分析データ表示画像９０２に詳細ボタン９０２ａを含んだ例を挙げているが、詳細ボタン９０２ａの表示は無くてもよい。詳細ボタン９０２ａは、ユーザに選択されることにより、図１１の画面で例示したような総括画面に遷移させるためのボタンとすることができる。図１１の総括画面には、「２００／３００」との表記とともに現時点でのそのスコア（３００満点中２００点）を示すインジケータ９０３ｂと前回のスコアを示すインジケータ９０３ｃとを含む総括画像９０３が含まれている。インジケータ９０３ｂでは目標とすべきスコアを縦線で示し、その縦線のスコアまでの未達部分を異なる色で示している。また、図１１の総括画像には、スコアを算出した元となる分析元データ（感情データそのものであってもよい）のスコアを示す画像９０６が含まれている。画像９０６にはパーセンテージの数値およびグラフを含むことができる。この例では、今回のスコア「２００」が注目度６８％、共感度７２％、理解度６０％に基づき算出された値であること、並びに前回のスコア「１４０」が注目度５０％、共感度５０％、理解度４０％に基づき算出された値であることが示されている。
　また、図１１の総括画面は、会議情報を示す画像９０４と、会議の傾向情報を示す画像９０５と、更なる詳細画面へ遷移するための詳細画面ボタン９０７とを含むことができる。画像９０４では、会議情報としてファシリテータがいる場合はその人の氏名が示され、画像９０５では、会議レポートとして会議全体の傾向を示す情報が示される。傾向を示す情報は、今回の会議の特徴を示す情報である。例えば、この情報は、今回のスコアがどの程度の値であったかを示す情報と、理解度等の感情データの項目のうち特に特徴的な値を示した項目を示す情報と、チャプタ（ここではパート部分と表記）で特に注目すべき点を示す情報と、を含むことができる。なお、ここでは、第２期間を複数のチャプタを含むチャプタ群とした場合の例として、パート部分の情報も含めている。詳細画面ボタン９０７は、ユーザに選択されることにより、例えば図８または図９で示されるような画面に遷移させることができる。
　また、図１０または図１１における「２００」で例示した今回のスコアは、その算出元となった感情の種類（項目）のうちの有意または優位な項目が示す色調で表示させることができる。この色調は例えば図１２で例示する色空間で表現される色調を参照して決定することができる。
　図１２に示す色空間では、感情データ生成装置３００が出力する９つの感情データをＬａ＊ｂ＊色空間上に放射状に配したものとなっている。なお、Ｌａ＊ｂ＊色空間は、円周方向が色相を表し、半径方向が色の彩度を表す色空間である。例えば注目度が他の項目に比べて最も高い値を示す場合には、今回のスコアを黄色で表現する。また、インジケータ９０３ｂ，９０３ｃもこのような色調を採用して表現させることができる。
　なお、図１２では、分析元データをＬａ＊ｂ＊色空間により示したが、他の色空間に対応させてもよい。例えば、分析システム１０は、分析元データを、「プルチックの感情の輪」に対応させることができる。この場合、分析システム１０は、有意または優位な分析元データをプルチックの感情の輪にプロットし、プロットした位置における色調により分析データを表示する。これにより、色調を含む分析データを利用するユーザは、分析データから会議における感情の傾向を直観的に把握できる。
　以上の説明では、基本的に、開催中のオンライン会議とは連続したオンライン会議であることを前提として説明した。但し、会議データに休憩の時間を含める旨を説明したように、開催中のオンライン会議は間隔をおいて開催された複数回のオンライン会議で構成されることができ、それらを開催中のオンライン会議として処理を行うことができる。例えば１日以上など休憩が長い場合、上記開催中のオンライン会議は、複数回のオンライン会議として定義できるためである。上記複数回のオンライン会議は、共通の議題を有しているもの、または共通の参加者が一割合以上参加しているものなどとすることができ、それらは属性データで区別させることも可能である。但し、これらに限ったものではない。
　以上、実施形態２について説明したが、実施形態２にかかる分析システム１０は、上述の構成に限られない。例えば、分析システム１０は、会議運営装置４００を含んでもよい。その場合、分析装置２００、感情データ生成装置３００および会議運営装置４００は、それぞれ別個に存在してもよいし、これらのうち一部または全部が一体となった構成であってもよい。また例えば感情データ生成装置３００が有する機能は、プログラムとして構成されており、分析装置２００または会議運営装置４００に含まれるものであってもよい。例えば、人物の特定および個別感情データの生成などは分析装置２００が実行することもできる。また、会議運営装置４００がチャプタを生成し、分析装置２００がその情報を受信して利用するように構成することもできる。
＜他の実施形態＞
　上述した各実施形態では、分析装置の各部の機能、感情データ生成装置の各部の機能、会議運営装置の機能、会議端末（会議端末装置）の機能、ユーザ端末（ユーザ端末装置）の機能について説明したが、各装置としてこれらの機能が実現できればよい。また、これらの装置間において機能の分担を変更することもできる。また、各実施形態において説明した様々な例は、適宜組み合わせることができる。
　また、各実施形態にかかる各装置は、例えば次のようなハードウェア構成を有することができる。図１３は、各実施形態にかかる各装置の一部のハードウェア構成の一例を示す図である。
　図１３に示す装置１０００は、プロセッサ１００１、メモリ１００２、およびインタフェース（Ｉ／Ｆ）１００３を有する。Ｉ／Ｆ１００３は他の装置との通信を行うための通信Ｉ／Ｆを含む。装置１０００がユーザが使用する装置である場合、Ｉ／Ｆ１００３は表示装置とのＩ／Ｆやユーザ操作を入力する操作部または操作部とのＩ／Ｆを含むことができる。各実施形態で説明した各装置の機能は、プロセッサ１００１がメモリ１００２に記憶されたプログラムを読み込んで、Ｉ／Ｆ１００３と協働しながら実行することにより実現される。
　上述の例において、上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、この例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、この例は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、上記プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上述した様々な実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
　オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する感情データ取得手段と、
　少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する分析データ生成手段と、
　前記分析データ生成手段で生成された前記分析データを逐次に出力する出力手段と、
　を備える分析装置。
（付記２）
　前記第２期間は、前記開催中のオンライン会議が開始された時点から前記感情データが取得できている時点までの期間である、
　付記１に記載の分析装置。
（付記３）
　前記第２期間は、前記開催中のオンライン会議における前記感情データが取得できている時点に至るまでの一定時間である、
　付記１に記載の分析装置。
（付記４）
　前記分析データ生成手段で生成された前記分析データを分析履歴データとして記憶する記憶手段を備え、
　前記分析データ生成手段は、生成対象となる前記第２期間についての前記１つの分析値を、前記開催中のオンライン会議についての、１つの前記分析履歴データが示す過去の分析値または複数の前記分析履歴データが示す過去の分析値の統計値に対する相対値として算出する、
　付記２または３に記載の分析装置。
（付記５）
　前記分析データ生成手段で生成された前記分析データを分析履歴データとして記憶する記憶手段を備え、
　前記分析データ生成手段は、生成対象となる前記第２期間についての前記１つの分析値を、前記開催中のオンライン会議より過去に開催された過去開催オンライン会議についての１つの前記分析履歴データが示す過去の分析値、または、１又は複数の前記過去開催オンライン会議についての複数の前記分析履歴データが示す過去の分析値の統計値に対する相対値として算出する、
　付記２または３に記載の分析装置。
（付記６）
　前記感情データは、前記参加者ごとの個別感情データを含み、
　前記分析データ生成手段は、前記参加者ごとに、少なくとも最新のものを含む前記個別感情データに基づいて前記分析データを生成する、
　付記１～５のいずれか１項に記載の分析装置。
（付記７）
　前記感情データは、前記参加者ごとの個別感情データと前記参加者が属する区分データとを含み、
　前記分析データ生成手段は、前記参加者ごとに、少なくとも最新のものを含む前記個別感情データと前記区分データとに基づいて前記分析データを生成する、
　付記１～５のいずれか１項に記載の分析装置。
（付記８）
　前記感情データは、前記参加者ごとの個別感情データを含み、
　前記分析データ生成手段は、前記参加者に含まれる発表者についての前記個別感情データと他種の参加者についての前記個別感情データとで異なる重み付けを実行し、前記分析データを生成する、
　付記１～５のいずれか１項に記載の分析装置。
（付記９）
　前記感情データは、対象となる前記オンライン会議の属性を示す属性データを含み、
　前記分析データ生成手段は、前記開催中のオンライン会議についての前記属性データに応じて前記分析データを生成する、
　付記１～８のいずれか１項に記載の分析装置。
（付記１０）
　時刻データを伴う前記オンライン会議に関する会議データを、逐次に取得する会議データ取得手段と、
　前記会議データに基づいて前記オンライン会議に対してチャプタを生成するチャプタ生成手段と、
　前記第２期間は、前記チャプタ生成手段で生成された１つのチャプタまたは連続する複数のチャプタでなるチャプタ群についての、開始時点から終了時点までの期間である、
　付記１～９のいずれか１項に記載の分析装置。
（付記１１）
　前記会議データは、前記オンライン会議における画面共有に関するデータを含み、
　前記チャプタ生成手段は、前記画面共有に関するデータに基づいて前記チャプタを生成する、
　付記１０に記載の分析装置。
（付記１２）
　前記チャプタ生成手段は、前記画面共有の切替えタイミングに応じて前記チャプタを生成する、
　付記１１に記載の分析装置。
（付記１３）
　前記チャプタ生成手段は、前記画面共有にかかる共有画面のオーナーの切替え時刻に応じて前記チャプタを生成する、
　付記１１または１２に記載の分析装置。
（付記１４）
　前記感情データは、複数種類の感情の状態をそれぞれ数値で示したものである、
　付記１～１３のいずれか１項に記載の分析装置。
（付記１５）
　前記分析データ生成手段は、前記複数種類の感情の状態のそれぞれについて予め設定された指標に基づく色調とし、前記複数種類の感情の状態についての数値の間での有意性または優位性に関する所定の条件に基づいて、前記１つの分析値に付加する色調を決定し、決定した色調を付加して前記１つの分析値を表現するように、前記分析データを生成する、
　付記１４に記載の分析装置。
（付記１６）
　前記開催中のオンライン会議は、間隔をおいて開催された複数回のオンライン会議で構成される、
　付記１～１５のいずれか１項に記載の分析装置。
（付記１７）
　前記出力手段は、前記開催中のオンライン会議の画面に重畳できるように、前記開催中のオンライン会議を提供するシステムに、前記分析データを逐次に出力する、
　付記１～１６のいずれか１項に記載の分析装置。
（付記１８）
　付記１～１７のいずれか一項に記載の分析装置と、
　前記感情データを生成して前記分析装置に前記感情データを提供する感情データ生成装置と、
　を備える分析システム。
（付記１９）
　コンピュータが、
　オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得し、
　少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成し、
　生成した前記分析データを逐次に出力する、
　分析方法。
（付記２０）
　オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する処理、
　少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する処理、および、
　生成した前記分析データを逐次に出力する処理を、
　コンピュータに実行させる分析プログラムが格納された非一時的なコンピュータ可読媒体。
　１０　分析システム
　９０　会議端末群
　１００　分析装置
　１１１　感情データ取得部
　１１２　分析データ生成部
　１１３　出力部
　１１４　会議データ取得部
　１１５　チャプタ生成部
　１２０　記憶部
　２００　分析装置
　３００　感情データ生成装置
　３１１　参加者データ取得部
　３１２　感情データ生成部
　３１３　感情データ出力部
　４００　会議運営装置
　９００Ａ、９００Ｂ、９００Ｎ　会議端末
　９０１　会議画像
　９０２　分析データ表示画像
　９９０　ユーザ端末
　Ｎ　ネットワーク

Claims (20)

  1. 　オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する感情データ取得手段と、
    　少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する分析データ生成手段と、
    　前記分析データ生成手段で生成された前記分析データを逐次に出力する出力手段と、
    　を備える分析装置。
  2. 　前記第２期間は、前記開催中のオンライン会議が開始された時点から前記感情データが取得できている時点までの期間である、
    　請求項１に記載の分析装置。
  3. 　前記第２期間は、前記開催中のオンライン会議における前記感情データが取得できている時点に至るまでの一定時間である、
    　請求項１に記載の分析装置。
  4. 　前記分析データ生成手段で生成された前記分析データを分析履歴データとして記憶する記憶手段を備え、
    　前記分析データ生成手段は、生成対象となる前記第２期間についての前記１つの分析値を、前記開催中のオンライン会議についての、１つの前記分析履歴データが示す過去の分析値または複数の前記分析履歴データが示す過去の分析値の統計値に対する相対値として算出する、
    　請求項２または３に記載の分析装置。
  5. 　前記分析データ生成手段で生成された前記分析データを分析履歴データとして記憶する記憶手段を備え、
    　前記分析データ生成手段は、生成対象となる前記第２期間についての前記１つの分析値を、前記開催中のオンライン会議より過去に開催された過去開催オンライン会議についての１つの前記分析履歴データが示す過去の分析値、または、１又は複数の前記過去開催オンライン会議についての複数の前記分析履歴データが示す過去の分析値の統計値に対する相対値として算出する、
    　請求項２または３に記載の分析装置。
  6. 　前記感情データは、前記参加者ごとの個別感情データを含み、
    　前記分析データ生成手段は、前記参加者ごとに、少なくとも最新のものを含む前記個別感情データに基づいて前記分析データを生成する、
    　請求項１～５のいずれか１項に記載の分析装置。
  7. 　前記感情データは、前記参加者ごとの個別感情データと前記参加者が属する区分データとを含み、
    　前記分析データ生成手段は、前記参加者ごとに、少なくとも最新のものを含む前記個別感情データと前記区分データとに基づいて前記分析データを生成する、
    　請求項１～５のいずれか１項に記載の分析装置。
  8. 　前記感情データは、前記参加者ごとの個別感情データを含み、
    　前記分析データ生成手段は、前記参加者に含まれる発表者についての前記個別感情データと他種の参加者についての前記個別感情データとで異なる重み付けを実行し、前記分析データを生成する、
    　請求項１～５のいずれか１項に記載の分析装置。
  9. 　前記感情データは、対象となる前記オンライン会議の属性を示す属性データを含み、
    　前記分析データ生成手段は、前記開催中のオンライン会議についての前記属性データに応じて前記分析データを生成する、
    　請求項１～８のいずれか１項に記載の分析装置。
  10. 　時刻データを伴う前記オンライン会議に関する会議データを、逐次に取得する会議データ取得手段と、
    　前記会議データに基づいて前記オンライン会議に対してチャプタを生成するチャプタ生成手段と、
    　前記第２期間は、前記チャプタ生成手段で生成された１つのチャプタまたは連続する複数のチャプタでなるチャプタ群についての、開始時点から終了時点までの期間である、
    　請求項１～９のいずれか１項に記載の分析装置。
  11. 　前記会議データは、前記オンライン会議における画面共有に関するデータを含み、
    　前記チャプタ生成手段は、前記画面共有に関するデータに基づいて前記チャプタを生成する、
    　請求項１０に記載の分析装置。
  12. 　前記チャプタ生成手段は、前記画面共有の切替えタイミングに応じて前記チャプタを生成する、
    　請求項１１に記載の分析装置。
  13. 　前記チャプタ生成手段は、前記画面共有にかかる共有画面のオーナーの切替え時刻に応じて前記チャプタを生成する、
    　請求項１１または１２に記載の分析装置。
  14. 　前記感情データは、複数種類の感情の状態をそれぞれ数値で示したものである、
    　請求項１～１３のいずれか１項に記載の分析装置。
  15. 　前記分析データ生成手段は、前記複数種類の感情の状態のそれぞれについて予め設定された指標に基づく色調とし、前記複数種類の感情の状態についての数値の間での有意性または優位性に関する所定の条件に基づいて、前記１つの分析値に付加する色調を決定し、決定した色調を付加して前記１つの分析値を表現するように、前記分析データを生成する、
    　請求項１４に記載の分析装置。
  16. 　前記開催中のオンライン会議は、間隔をおいて開催された複数回のオンライン会議で構成される、
    　請求項１～１５のいずれか１項に記載の分析装置。
  17. 　前記出力手段は、前記開催中のオンライン会議の画面に重畳できるように、前記開催中のオンライン会議を提供するシステムに、前記分析データを逐次に出力する、
    　請求項１～１６のいずれか１項に記載の分析装置。
  18. 　請求項１～１７のいずれか一項に記載の分析装置と、
    　前記感情データを生成して前記分析装置に前記感情データを提供する感情データ生成装置と、
    　を備える分析システム。
  19. 　コンピュータが、
    　オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得し、
    　少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成し、
    　生成した前記分析データを逐次に出力する、
    　分析方法。
  20. 　オンライン会議における参加者の会議中の顔画像データに基づき第１期間ごとに生成された感情データを、逐次に取得する処理、
    　少なくとも最新のものを含む前記感情データに基づいて、開催中のオンライン会議における第２期間についての評価に関する１つの分析値を示す分析データを生成する処理、および、
    　生成した前記分析データを逐次に出力する処理を、
    　コンピュータに実行させる分析プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/038528 2020-10-12 2020-10-12 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体 WO2022079774A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022557245A JPWO2022079774A5 (ja) 2020-10-12 分析装置、分析方法、および分析プログラム
PCT/JP2020/038528 WO2022079774A1 (ja) 2020-10-12 2020-10-12 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体
US18/030,146 US20230351806A1 (en) 2020-10-12 2020-10-12 Analysis apparatus, analysis system, analysis method, and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/038528 WO2022079774A1 (ja) 2020-10-12 2020-10-12 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022079774A1 true WO2022079774A1 (ja) 2022-04-21

Family

ID=81207837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038528 WO2022079774A1 (ja) 2020-10-12 2020-10-12 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
US (1) US20230351806A1 (ja)
WO (1) WO2022079774A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511620A (ja) * 2011-02-27 2014-05-15 アフェクティヴァ，インコーポレイテッド 感情に基づく映像推薦
JP2015109526A (ja) * 2013-12-03 2015-06-11 株式会社リコー 伝送管理システム、伝送管理方法及びプログラム
JP2018174425A (ja) * 2017-03-31 2018-11-08 国立大学法人大阪大学 会議システムおよび制御プログラム
JP2019061594A (ja) * 2017-09-28 2019-04-18 株式会社野村総合研究所 会議支援システムおよび会議支援プログラム
JP2020048149A (ja) * 2018-09-21 2020-03-26 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511620A (ja) * 2011-02-27 2014-05-15 アフェクティヴァ，インコーポレイテッド 感情に基づく映像推薦
JP2015109526A (ja) * 2013-12-03 2015-06-11 株式会社リコー 伝送管理システム、伝送管理方法及びプログラム
JP2018174425A (ja) * 2017-03-31 2018-11-08 国立大学法人大阪大学 会議システムおよび制御プログラム
JP2019061594A (ja) * 2017-09-28 2019-04-18 株式会社野村総合研究所 会議支援システムおよび会議支援プログラム
JP2020048149A (ja) * 2018-09-21 2020-03-26 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法

Also Published As

Publication number Publication date
JPWO2022079774A1 (ja) 2022-04-21
US20230351806A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US20170257481A1 (en) Systems and methods for managing, analyzing and providing visualizations of multi-party dialogs
US20200135050A1 (en) Internet of things public speaking coach
JP6238083B2 (ja) 情報処理装置、サーバ、情報処理方法、および情報処理システム
US11163965B2 (en) Internet of things group discussion coach
US10719696B2 (en) Generation of interrelationships among participants and topics in a videoconferencing system
WO2022079774A1 (ja) 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体
US20220270500A1 (en) Information processing apparatus, information processing method, and program
WO2022079777A1 (ja) 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体
US11318373B2 (en) Natural speech data generation systems and methods
Gatica-Perez et al. 25 Analysis of Small Groups
WO2022079768A1 (ja) 分析装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023129250A1 (en) Meeting inclusion and hybrid workplace insights
WO2022079773A1 (ja) 分析装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7152453B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
US11348368B2 (en) Measuring and transmitting emotional feedback in group teleconferences
CN111698452A (zh) 在线群体状态反馈方法、系统及装置
JP6589040B1 (ja) 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム
JP2020173415A (ja) 教材提示システム及び教材提示方法
WO2022079767A1 (ja) 分析装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US20240029474A1 (en) Person evaluation information generation method
US20240105072A1 (en) Analysis apparatus, analysis method, and non-transitory computer-readable medium
JP7313518B1 (ja) 評価方法、評価装置、および、評価プログラム
US20230291594A1 (en) Systems and Methods for Creation and Application of Interaction Analytics
JP7465040B1 (ja) コミュニケーション可視化システム
US20230410807A1 (en) Dialogue evaluation method, dialogue evaluation apparatus and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20957603

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022557245

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20957603

Country of ref document: EP

Kind code of ref document: A1