WO2022025200A1 - 反応解析システムおよび反応解析装置 - Google Patents

反応解析システムおよび反応解析装置 Download PDF

Info

Publication number
WO2022025200A1
WO2022025200A1 PCT/JP2021/028142 JP2021028142W WO2022025200A1 WO 2022025200 A1 WO2022025200 A1 WO 2022025200A1 JP 2021028142 W JP2021028142 W JP 2021028142W WO 2022025200 A1 WO2022025200 A1 WO 2022025200A1
Authority
WO
WIPO (PCT)
Prior art keywords
participants
changes
change
participant
online
Prior art date
Application number
PCT/JP2021/028142
Other languages
English (en)
French (fr)
Inventor
渉三 神谷
Original Assignee
株式会社I’mbesideyou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社I’mbesideyou filed Critical 株式会社I’mbesideyou
Priority to JP2022539571A priority Critical patent/JP7242114B2/ja
Publication of WO2022025200A1 publication Critical patent/WO2022025200A1/ja
Priority to JP2023031017A priority patent/JP2023075197A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Definitions

  • the present invention relates to a reaction analysis system and a reaction analysis device, and more particularly to a system and a device for analyzing the biological reaction of a user participating in an online session.
  • Patent Document 1 discloses that the current facial expression of a monitored person is compared with the facial expression of another person, and an alert is issued when the facial expression of the monitored person is darker than the facial expression of the other person.
  • Non-Patent Document 1 there is also known a technique of taking a picture of an employee who works from home such as telework with a webcam, measuring the heartbeat based on the image, and estimating emotional changes from the voice acquired by a PC microphone (for example). , See Non-Patent Document 1).
  • the reaction analysis system of the present invention in an environment where multiple online sessions are held by the same organization, even moving images obtained for a plurality of participants for each of the plurality of online sessions can be obtained.
  • the change in the biological reaction caused by the change in emotion is analyzed.
  • the change in biological response analyzed for one of the multiple online sessions specific to the change in biological response analyzed for past online sessions temporally prior to the target online session ? It is determined whether or not it is present, and the inter-sessional changes in specific biological reactions that occur in one of the participants to be compared and do not occur in other than one participant are analyzed.
  • the biological reactions of other participants among the participants compared with each other are different from the previous ones. Since the inter-sessional changes in the specific biological reaction that are different from the previous ones are analyzed only for one participant, the specific inter-sessional changes that occur in the biological reaction of one participant are analyzed. In addition, it is possible to capture the peculiar situation that such a change is occurring only for the one participant.
  • FIG. 1 is a diagram showing an overall configuration example of a reaction analysis system according to the present embodiment.
  • the reaction analysis system of the present embodiment is referred to as a reaction analysis device 100, a plurality of user terminals 200 -1 , 200-2 , ... (Hereinafter, unless otherwise specified, simply referred to as a user terminal 200. ) And a session management server 300.
  • the reaction analysis device 100, the user terminal 200, and the session management server 300 are connected via a communication network 500 such as the Internet or a mobile phone network.
  • the reaction analysis system of the present embodiment is an environment in which a plurality of online sessions are held in the same organization, and among a plurality of participants, a participant to be compared (a part or all of the plurality of participants).
  • a participant to be compared a part or all of the plurality of participants.
  • the online session is, for example, an online conference, an online class, an online chat, or the like, in which a plurality of user terminals 200 installed at a plurality of locations are connected to the reaction analysis device 100 and the session management server 300 via the communication network 500.
  • a moving image can be exchanged between a plurality of user terminals 200 through the reaction analysis device 100 and the session management server 300.
  • An application program (hereinafter referred to as a session application) necessary for exchanging moving images in an online session is installed in a plurality of user terminals 200.
  • the target online session in this embodiment is a plurality of sessions held by the same organization. Online sessions by the same organization will be held multiple times with the same participants or nearly the same participants. Almost the same means that while it is basic to hold an online session with the same participants each time, it is permissible for some people to be unable to participate due to individual circumstances or for some people to participate with special permission. ..
  • the moving image handled in the online session includes a face image (actually, an image of a body part other than the face and a background image) and a voice of a user who uses the user terminal 200.
  • the user's face image and voice are acquired by a camera and a microphone provided in the user terminal 200 or connected to the user terminal 200, and transmitted to the session management server 300.
  • the face image and voice of each user transmitted to the session management server 300 are acquired by the reaction analysis device 100, and are transmitted from the reaction analysis device 100 to the session application of each user terminal 200.
  • the moving image transmitted from the user terminal 200 may be acquired by the reaction analysis device 100 and transferred from the reaction analysis device 100 to the session management server 300. Alternatively, the moving image may be transmitted from the user terminal 200 to both the reaction analysis device 100 and the session management server 300.
  • moving images include images such as materials shared and viewed by multiple users.
  • the material image to be viewed by the user is transmitted from any user terminal 200 to the session management server 300. Then, the material image transmitted to the session management server 300 is acquired by the reaction analysis device 100, and is transmitted from the reaction analysis device 100 to the session application of each user terminal 200.
  • the face image or the document image of the plurality of users is displayed on the display in each of the plurality of user terminals 200, and the voices of the plurality of users are output from the speaker.
  • the face image and the material image can be switched to display only one of them on the display screen, or the display area can be divided into the face image and the material image. Can be displayed at the same time. Further, it is possible to display the image of one of a plurality of users on the full screen, or to display the image of a part or all of the users on a small screen.
  • the camera on / off and the microphone on / off by the function of the session application installed in the user terminal 200.
  • the camera is turned off in the user terminal 200-1
  • the face image taken by the camera of the user terminal 200-1 is transmitted to the session management server 300 and the reaction analysis device 100, but each of them is transmitted from the reaction analysis device 100. It is not transmitted to the user terminal 200.
  • the microphone is turned off in the user terminal 200-1
  • the sound collected by the microphone of the user terminal 200-1 is transmitted to the session management server 300 and the reaction analysis device 100, but is transmitted from the reaction analysis device 100. It is not transmitted to each user terminal 200.
  • a plurality of user terminals 200-1 , 200-2 , ... Participate in an online session with a terminal used by an online session organizer (including a leader, a facilitator, or an administrator). Includes terminals used by participants.
  • Organizers of online sessions include, for example, instructors of online classes, chairs and facilitators of online conferences, and coaches of sessions for coaching purposes.
  • the organizer of the online session may be one of a plurality of participants who participate in the online session, or may be another person who does not participate in the online session.
  • the reaction analysis device 100 acquires moving images transmitted from a plurality of user terminals 200, and analyzes the biological reactions or emotions of the participants in the online session based on the moving images.
  • a participant to be compared (hereinafter referred to as a comparison target participant) from a plurality of participants participating in the online session.
  • the comparison target participants can be some or all of a plurality of participants. It is also possible to include the organizer of the online session among the participants to be compared. Further, in the present embodiment, any one or a plurality of participants to be compared are designated as analysis target persons, and the designated analysis target person is caused to another person (person other than the analysis target person). Analyze different specific biological reactions or emotional inter-sessional changes that occur only in the subject to be analyzed.
  • the participants to be compared and the participants to be analyzed are specified, for example, by the organizer of the online session. It should be noted that the comparison target participants may not be specified, and all the participants may be automatically set as the comparison target participants.
  • FIG. 2 is a block diagram showing a functional configuration example of the reaction analysis device 100 according to the present embodiment.
  • the reaction analysis device 100 of the present embodiment has, as functional configurations, a target person designation unit 10, a moving image acquisition unit 11, a biological reaction analysis unit 12, a peculiarity determination unit 13, a related event identification unit 14, and a related event identification unit 14.
  • the analysis result notification unit 16 is provided.
  • the reaction analysis device 100 of the present embodiment includes a moving image storage unit 101 as a storage medium.
  • Each of the above functional blocks 10 to 16 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • DSP Digital Signal Processor
  • each of the above functional blocks 10 to 16 is actually configured to include a computer CPU, RAM, ROM, etc., and is a program stored in a recording medium such as RAM, ROM, a hard disk, or a semiconductor memory. Is realized by the operation of.
  • the target person designation unit 10 designates one or more of the multiple participants of the online session as the analysis target person. Specifically, the target person designation unit 10 designates any participant as the analysis target person according to the instruction sent from the user terminal 200 of the organizer to the reaction analysis device 100. When one analysis target person is designated, the analysis target person corresponds to "one participant” in the claims. Further, when a plurality of analysis subjects are designated, each of the plurality of analysis subjects corresponds to "one participant" in the claims.
  • the target person designation unit 10 designates a plurality of participants as comparison target participants from among the plurality of participants. Specifically, the target person designation unit 10 designates a part or all of a plurality of participants as comparison target participants according to an instruction sent from the organizer's user terminal 200 to the reaction analysis device 100. The number of participants to be compared is specified to be larger than the number of participants to be analyzed. The analysis target is a part of the participants included in this comparison target participant.
  • the organizer who participates in the online session and one participant other than the organizer may specify a total of two participants, the organizer who participates in the online session and one participant other than the organizer, as the comparison target participants, and specify that one participant as the analysis target participant. Is. It may be possible to specify a plurality of combinations of the organizer and one participant other than the organizer. It is also possible to specify all participants other than the organizer as comparison target participants, and one or more of them as analysis target participants. As described above, all the participants other than the organizer may be automatically designated as the participants to be compared, and only the analysis target may be designated by the organizer.
  • the moving image acquisition unit 11 acquires moving images (face image, voice, material image) transmitted from each user terminal 200 during the online session from the session management server 300.
  • the moving image acquisition unit 11 stores the moving image acquired from each user terminal 200 via the session management server 300 in the moving image storage unit 101 in association with identifiable information (for example, a user ID) for each user.
  • the moving image acquisition unit 11 acquires the face image from the session management server 300, including the face image displayed on the display of each user terminal 200 and the face image not being displayed. Further, it does not matter whether the sound acquired from the session management server 300 is set to be output from the speaker of each user terminal 200 (whether the microphone is set to on or off). No. That is, the moving image acquisition unit 11 acquires audio from the session management server 300, including audio being output from the speaker of each user terminal 200 and audio being non-output.
  • the biological reaction analysis unit 12 outputs a moving image (whether or not it is a face image displayed on the screen of the user terminal 200, whether or not it is a face image displayed on the screen of the user terminal 200, from the speaker of the user terminal 200) acquired by the moving image acquisition unit 11 and stored in the moving image storage unit 101. Changes in biological reactions caused by changes in emotions for each of the comparison target participants designated by the target person designation unit 10 among a plurality of participants (whether or not the voice is inside). To analyze. It should be noted that changes in biological reactions may be analyzed for each of a plurality of participants, including participants other than the participants to be compared. In the present embodiment, the biological reaction analysis unit 12 separates the moving image acquired by the moving image acquisition unit 11 into a set of facial images (a collection of frame images) and voice, and analyzes changes in the biological reaction from each.
  • the biological reaction analysis unit 12 analyzes the user's face image using the frame image separated from the moving image acquired by the moving image acquisition unit 11, and thereby at least one of the facial expression, the line of sight, the pulse, and the movement of the face. Analyze changes in biological reactions related to one. Further, the biological reaction analysis unit 12 analyzes changes in the biological reaction regarding at least one of the user's speech content and voice quality by analyzing the voice separated from the moving image acquired by the moving image acquisition unit 11.
  • the biological reaction analysis unit 12 calculates a biological reaction index value that reflects the content of the change in the biological reaction by quantifying the change in the biological reaction according to a predetermined standard.
  • the biological reaction analysis unit 12 identifies a facial region from the frame image for each frame image, and analyzes which facial expression element the facial expression corresponds to according to an image analysis model machine-learned in advance. do. Then, based on the analysis result, whether or not a facial expression change occurs between consecutive frame images, and if a facial expression change occurs, whether it is a positive facial expression change or a negative facial expression change, and how large it is. It analyzes whether the facial expression change is occurring, and calculates the facial expression change index value according to the analysis result.
  • Facial expression elements are, for example, neutral / calm / happy / surprised / sad / angry / fearful / disgust. be. Of these, joy and surprise are positive facial expression elements, and sadness, anger, fear, and disgust are negative facial expression elements.
  • the biological reaction analysis unit 12 determines between consecutive frame images depending on whether at least one of the facial expression element determined for each frame image and the facial expression score calculated for each frame image has changed from the previous frame. Determine if the facial expression has changed.
  • the biological reaction analysis unit 12 determines that the facial expression change has occurred when the score change amount from the previous frame is equal to or more than a predetermined threshold value when there is no change in the facial expression element of the maximum score. good.
  • the magnitude of the facial expression change can be determined by the amount of change from the previous frame of the facial expression score.
  • the biological reaction analysis unit 12 causes a positive facial expression change when the facial expression score of the positive facial expression increases from the previous frame and when the negative facial expression of the previous frame changes to the positive facial expression of the current frame. It is determined that it is.
  • the biological reaction analysis unit 12 causes a negative facial expression change when the facial expression score of the negative facial expression increases from the previous frame and when the positive facial expression of the previous frame changes to the negative facial expression of the current frame. It is determined that it is.
  • the biological reaction analysis unit 12 uses the direction of facial expression change (positive ⁇ positive, positive ⁇ negative, negative ⁇ positive, negative ⁇ negative) and the magnitude of facial expression change as explanatory variables, and the facial expression change index value as the objective variable.
  • the facial expression change index value is calculated using a predetermined function. In this function, for example, when the facial expression is reversed (positive ⁇ negative, negative ⁇ positive), the absolute value of the facial expression change index value is larger than when it is not reversed, and the greater the degree of facial expression change, the larger the facial expression change.
  • Negative ⁇ Negative can be a function that has a negative value.
  • the facial expression change may be analyzed every predetermined time interval (for example, every 500 milliseconds). This also applies to the analysis of the change in the line of sight, the analysis of the change in the pulse, and the analysis of the change in the movement of the face described below.
  • Analysis of changes in the line of sight is performed, for example, as follows. That is, the biological reaction analysis unit 12 identifies the eye region from the frame image for each frame image and analyzes the direction (line of sight) of both eyes. Then, the biological reaction analysis unit 12 calculates the line-of-sight change index value according to the analysis result of the line-of-sight change. For example, the biological reaction analysis unit 12 calculates the angle of the line of sight from the front for each frame image, and calculates the moving average or the moving variance between a plurality of frames of the angle as the line-of-sight change index value.
  • the biological reaction analysis unit 12 may analyze where the user is looking.
  • the change in the line of sight is also related to the degree of concentration of the user. For example, it analyzes whether the speaker's face being displayed, the shared material being displayed, or the outside of the screen is being viewed. In addition, it may be possible to analyze whether the movement of the line of sight is large or small, and whether the movement is frequent or infrequent. Then, the biological reaction analysis unit 12 calculates the line-of-sight change index value according to the analysis result of the line-of-sight change.
  • the biological reaction analysis unit 12 uses the place of viewing (speaker's face, shared material, outside the screen), the magnitude of eye movement, and the frequency of eye movement as explanatory variables, and the eye change index value.
  • the line-of-sight change index value is calculated using a predetermined function with. This function is, for example, a function in which the absolute value of the line-of-sight change index value changes depending on the place of viewing, and the absolute value of the line-of-sight change index value increases as the movement of the line of sight increases and the frequency of the movement of the line of sight increases. It is possible.
  • Analysis of pulse changes is performed, for example, as follows. That is, for each frame image, the face area is specified from the frame image. Then, using a trained image analysis model that captures the numerical value of the face color information (G in RGB), the change in the G color on the face surface is analyzed. By arranging the results along the time axis, a waveform showing the change in color information is formed, and the pulse is specified from this waveform. When a person is nervous, the pulse becomes faster, and when he / she feels calm, the pulse becomes slower.
  • the biological reaction analysis unit 12 calculates a pulse change index value according to the analysis result of the pulse change. For example, the biological reaction analysis unit 12 calculates the moving average or the moving variance of the pulse values specified for each frame as the pulse change index value.
  • Analysis of changes in facial movement is performed, for example, as follows. That is, the biological reaction analysis unit 12 identifies a face region from the frame image for each frame image and analyzes the orientation of the face. Then, the biological reaction analysis unit 12 calculates a face orientation change index value according to the analysis result of the face orientation change. For example, the biological reaction analysis unit 12 calculates the difference in the orientation of the face from the true state for each frame image by roll pitch yaw, and determines the moving average or the moving variance of the difference between a plurality of frames as the face orientation change index value. Calculated as.
  • the biological reaction analysis unit 12 may analyze where the user is looking. For example, it analyzes whether the speaker's face being displayed, the shared material being displayed, or the outside of the screen is being viewed. In addition, it may be possible to analyze whether the movement of the face is large or small, and whether the movement is frequent or infrequent. The movement of the face and the movement of the line of sight may be combined and analyzed. For example, it may be possible to analyze whether the speaker's face being displayed is viewed straight, whether the speaker is viewed with an upper eye or a lower eye, or whether the speaker is viewed from an angle. The biological reaction analysis unit 12 calculates a face orientation change index value according to the analysis result of the face orientation change.
  • the biological reaction analysis unit 12 determines the viewing location (speaker's face, shared materials, outside the screen), the direction in which the location is viewed, the magnitude of facial movement, and the frequency of facial movement. Is used as an explanatory variable, and a predetermined function with the face orientation change index value as the objective variable is used to calculate the face orientation change index value.
  • This function for example, changes the absolute value of the face orientation change index value depending on the place of viewing and the direction in which the person is looking. It is possible to make the function so that the absolute value of the value becomes large.
  • the content of the statement is analyzed as follows, for example. That is, the biological reaction analysis unit 12 converts the voice into a character string by performing a known voice recognition process on the voice for a specified time (for example, a time of about 30 to 150 seconds), and morphologically analyzes the character string. By doing so, words unnecessary for expressing conversation such as particles and acronyms are removed. Then, the remaining words are vectorized by the TF-IDF (Term Frequency-Inverse Document Frequency) method, etc., and based on the characteristics of the vector, it is analyzed whether a positive emotional change is occurring or a negative emotional change is occurring. , Calculate the remark content index value according to the analysis result.
  • TF-IDF Term Frequency-Inverse Document Frequency
  • what kind of remark content is used by using a database or the like that stores information relating the vector feature amount and the remark content type based on the vector feature calculated according to the remark content. To estimate. Then, it is possible to calculate the statement content index value by using a predetermined function using the estimation result as an explanatory variable and the statement content index value as the objective variable.
  • the biological reaction analysis unit 12 matches the words extracted from the content of remarks within the specified time with a dictionary (definition of whether each word is positive or negative), and the number of appearances of positive words and negative words. Count the number of appearances. Then, the biological reaction analysis unit 12 calculates the remark content index value by using a predetermined function using each count value as an explanatory variable and the remark content index value as the objective variable.
  • Voice quality analysis is performed as follows, for example. That is, the biological reaction analysis unit 12 identifies the acoustic characteristics of the voice by performing a known voice analysis process on the voice for a specified time (for example, a time of about 30 to 150 seconds). Then, the voice quality change index value is calculated based on the value representing the acoustic feature. For example, the biological reaction analysis unit 12 calculates MFCC (mel frequency cepstrum coefficient) as an acoustic feature of speech, and calculates a moving average or a moving variance for each predetermined time interval of the MFCC as a voice quality change index value.
  • MFCC is an example and is not limited to this.
  • the biological reaction analysis unit 12 determines whether a positive voice quality change is occurring, a negative voice quality change is occurring, and how loud the voice quality change is occurring, based on the acoustic characteristics of the voice. It may be analyzed and the voice quality change index value according to the analysis result may be calculated. For example, similar to the analysis of facial expressions, it analyzes which emotional element of neutrality / calmness / joy / surprise / sadness / anger / fear / disgust corresponds to the voice according to a voice analysis model machine-learned in advance. do. Then, based on the analysis result, whether or not the emotional change occurs at a predetermined time interval, and if the emotional change occurs, whether it is a positive emotional change or a negative emotional change, and how large it is. It analyzes whether or not the emotional change is occurring, and calculates the voice quality change index value according to the analysis result.
  • the biological reaction analysis unit 12 uses at least one of the facial expression change index value, the line-of-sight change index value, the pulse change index value, the face orientation change index value, the speech content index value, and the voice quality change index value calculated as described above.
  • the biological reaction index value is calculated.
  • the biological reaction index value is calculated by weighting the facial expression change index value, the line-of-sight change index value, the pulse change index value, the face orientation change index value, the speech content index value, and the voice quality change index value.
  • the change in the biological reaction analyzed for the comparison target participant in one of the online sessions (hereinafter referred to as the past online session) among the plurality of online sessions is time before the target online session. It is determined whether or not the online session (hereinafter referred to as the past online session) is specific to the changes in the biological reaction analyzed for the comparison target participants, and among the comparison target participants, the analysis target person (one participant) is selected. Analyzes inter-sessional changes in specific biological reactions that occur and do not occur except for the subject.
  • the target online session can be, for example, the currently running online session or the most recent online session.
  • the target online session may be any online session designated by the organizer among a plurality of online sessions in which the moving image is stored in the moving image storage unit 101.
  • the peculiarity determination unit 13 determines whether or not the change in the biological reaction analyzed for the analysis target person is more specific than before, based on the biological reaction index value calculated by the biological reaction analysis unit 12. And, it is determined whether or not the inter-sessional change of the biological reaction analyzed for the analysis target person is specific to that of another person (comparison target participant other than the analysis target person).
  • the peculiarity determination unit 13 uses the biological reaction analysis unit 12 for each of the plurality of online sessions in which the moving image is stored in the moving image storage unit 101 for each of the plurality of comparison target participants.
  • the variance of a plurality of biological reaction index values calculated for each predetermined time interval is calculated.
  • the analysis target person is targeted. Determine if the changes in the biological response analyzed for the online session are specific (whether they are specific intersessional changes) compared to the changes in the biological response analyzed for the past online session.
  • the singularity determination unit 13 applies to the target online session for the analysis target person. It is determined that the changes in the analyzed biological response are specific compared to the changes in the biological response analyzed for past online sessions.
  • the variance is calculated here, the average value may be calculated.
  • the peculiarity determination unit 13 When it is determined that the inter-sessional change in the biological reaction of the analysis target person is specific, the peculiarity determination unit 13 also applies the comparison target participants other than the analysis target person between the past online session and the target online session. Judges whether or not the same inter-session change as that of the analysis target person has occurred. Here, when it is determined that the same inter-session change as that of the analysis target does not occur for the comparison target participants other than the analysis target person, the peculiarity determination unit 13 determines that the analysis target person has a past online session and a target online session. The inter-sessional changes in the specific biological reaction detected between the two are specified as the inter-sessional changes in the specific biological reaction peculiar only to the analysis subject.
  • the present invention is not limited to this.
  • it may be determined whether the emotional changes analyzed for the subject online session are specific to the emotional changes analyzed for the past online session. That is, the peculiarity determination unit 13 may analyze the inter-session change of the peculiar emotion that occurs in one participant and does not occur in other than one participant.
  • one participant is calculated by calculating the facial expression score for the facial expression element as described above for the facial expression, and comparing the facial expression score calculated for the target online session with the facial expression score calculated for each of the past online sessions. It may be possible to analyze inter-sessional changes in specific emotions that are awake and not awakened by anyone other than one participant.
  • the sound quality score for emotional elements is calculated in the same way as the facial expression score, and the sound quality score calculated for the target online session is compared with the sound quality score calculated for each of the past online sessions. It may be possible to analyze the inter-sessional changes in specific emotions that are occurring in a person but not in a person other than one participant.
  • a score indicating the degree of concentration for the online session is calculated based on the change in the line of sight or the movement of the face, and the score calculated for the target online session is compared with the score calculated for each of the past online sessions. It may be possible to analyze the inter-sessional changes in specific emotions that occur in one participant and not in other than one participant.
  • a score indicating the degree of calm among emotional elements is calculated, and the score calculated for the target online session is compared with the score calculated for each of the past online sessions. Therefore, it may be possible to analyze the inter-sessional changes in specific emotions that occur in one participant and not in other than one participant.
  • a score representing the positive or negative degree is calculated based on facial expressions, speech content or sound quality, and the score calculated for the target online session is compared with the score calculated for each of the past online sessions. It may be possible to analyze the inter-sessional changes in specific emotions that occur in one participant and not in other than one participant.
  • the related event identification unit 14 occurs with respect to at least one of the analysis subject, others, and the environment in the subject online session in which the biological reaction or emotional change between sessions determined to be specific by the peculiarity determination unit 13 occurs. Identify what is happening. For example, the related event identification unit 14 identifies the behavior of the analysis target person himself / herself from the moving image in the target online session in which a specific biological reaction or emotional change between sessions occurs for the analysis target person. In addition, the related event identification unit 14 identifies the words and actions of another person in the target online session in which a specific biological reaction or emotional change between sessions occurs with respect to the analysis target person from the moving image.
  • the related event identification unit 14 identifies the environment in the target online session in which a specific biological reaction or emotional change between sessions occurs for the analysis target person from the moving image.
  • the environment is, for example, a shared material displayed on the screen, an environment reflected in the background of the person to be analyzed, and the like. By identifying such an event, it is possible to capture an event that may have influenced the reaction or emotional change of the analysis subject.
  • the analysis result notification unit 16 specifies at least one of the biological reaction or emotional inter-session change determined to be specific by the peculiarity determination unit 13 and the event specified by the related event identification unit 14. Notify (the organizer of the online session). As a result, the organizer of the online session can know whether or not a specific inter-session change has occurred for the specified analysis target person. In addition, when a specific inter-session change occurs, the organizer of the online session determines what kind of phenomenon affects what kind of emotional change as a phenomenon peculiar to the specified analysis target person. You can know what it is. Then, it becomes possible to take appropriate measures for the analysis target person according to the grasped contents.
  • a plurality of people are based on moving images obtained for a plurality of participants in each of the multiple online sessions.
  • changes in biological reactions or changes in emotions are analyzed.
  • the change in biological response analyzed for one of the multiple online sessions specific to the change in biological response analyzed for past online sessions temporally prior to the target online session ? It is determined whether or not it is present, and the inter-sessional changes in specific biological reactions that occur in one of the participants to be compared and do not occur in other than one participant are analyzed.
  • the biological reactions of other participants among the participants compared with each other are different from the previous ones. Since the inter-sessional changes in specific biological reactions or emotions that are different from the previous ones are analyzed only for one participant, the previous specific biological reactions or emotions that are occurring for one participant are analyzed. In addition to the inter-session changes, we can also capture the peculiar situation that such changes occur only for that one participant.
  • the moving image acquisition unit 11 is a video of a plurality of comparison target participants in this online session. It may be performed in real time when the image is acquired, or it may be performed after the fact by using the moving image of a plurality of online sessions stored in the moving image storage unit 101.
  • FIG. 3 is a block diagram showing a functional configuration example of the reaction analysis device 100A according to the modified example.
  • the reaction analysis device 100A according to the modified example further includes a clustering unit 15 as a functional configuration.
  • the analysis result notification unit 16A is provided in place of the analysis result notification unit 16.
  • the clustering unit 15 clusters the analysis target person (one participant) based on the pattern of the biological reaction or the inter-session change of emotion determined to be specific by the peculiarity determination unit 13.
  • the clustering unit 15 determines the analysis target person from the viewpoint of the behavior that may occur in the future for the analysis target person based on the pattern of the biological reaction or the inter-session change of the emotion determined to be specific by the peculiarity determination unit 13. It is possible to cluster. As an example, it is possible to cluster the analysis target person in the form of whether or not the analysis target person may leave the online session.
  • the clustering unit 15 determines whether the inter-session change of the emotion determined to be specific by the peculiarity determination unit 13 is a positive emotional change or a negative emotional change.
  • the facial expression, the content of speech, and the voice quality it is possible to make a positive / negative determination by the above-mentioned method.
  • the larger the change in the movement of the line of sight and the face is defined as a negative change (for example, when the amount of change is equal to or more than a predetermined threshold value).
  • the pulse is defined as a negative change as the change in the pulse is larger (for example, when the amount of change or the deviation from the person's average pulse rate is equal to or more than a predetermined threshold value).
  • the clustering unit 15 determines that the analysis target person has “no possibility of withdrawal”. On the other hand, if it is determined that the change between sessions is a negative emotional change, the analysis subject is classified as "possible withdrawal”.
  • clustering may be performed from the viewpoint of high / low degree of engagement.
  • the degree of engagement can be defined, for example, as the greater the change in eye movement or facial movement, the lower the degree of engagement.
  • the clustering unit 15 determines that the inter-session change of the emotion determined to be specific by the peculiarity determination unit 13 is a positive emotional change and the degree of engagement is high.
  • the clustering unit 15 is analyzed. Classify a person into the first class, which is "most likely to continue an online session". Further, when the clustering unit 15 determines that the inter-session change of the emotion determined to be specific by the peculiarity determination unit 13 is a positive emotional change and the degree of engagement is low, the clustering unit 15 is analyzed. Those who are classified into the second class, "Satisfaction with online sessions is high, but there is a possibility of withdrawal.”
  • the clustering unit 15 determines that the inter-session change of the emotion determined to be specific by the peculiarity determination unit 13 is a negative emotional change and the degree of engagement is high, the clustering unit 15 is analyzed. Those who are classified into the third class, "there is a high possibility of continuing the online session, but the satisfaction level may be low”. Further, when the clustering unit 15 determines that the inter-session change of the emotion determined to be specific by the peculiarity determination unit 13 is a negative emotional change and the degree of engagement is low, the clustering unit 15 is analyzed. Classify a person into the fourth class, "possible withdrawal from online session".
  • the analysis result notification unit 16A is classified into biological reactions or emotional changes between sessions determined to be specific by the peculiarity determination unit 13, events specified by the related event identification unit 14, and clustered by the clustering unit 15. Notify at least one to the designated person to be analyzed (the organizer of the online session).
  • the organizer of the online session may be notified of a predetermined alert based on the result of clustering. For example, if the result of clustering indicates that the person to be analyzed may leave the online session, an alert may be issued together with the identification information of the person to be analyzed.
  • the organizer of the online session can grasp the behavioral tendency peculiar to the analysis target person depending on the classification to which the specified analysis target person is clustered. It is possible to predict possible actions and conditions in the future. Then, it becomes possible to take appropriate measures for the analysis target person.
  • Dynamic image acquisition unit 12 Biological reaction analysis unit 13 Singularity determination unit 14 Related event identification unit 15 Clustering unit 16, 16A Analysis result notification unit 100, 100A Reaction analysis device

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

同じ団体で行われる複数回のオンラインセッションごとに複数人の参加者について取得された動画像に基づいて、複数人の参加者のうち比較対象とされる参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する生体反応解析部１２と、一のオンラインセッションに関して解析された生体反応の変化が、一のオンラインセッションより時間的に前のオンラインセッションに関して解析された生体反応の変化と比べて特異的か否かを判定し、一の参加者には起きていて他の参加者には起きていない特異的な生体反応のセッション間変化を解析する特異判定部１３とを備え、比較対象とされた参加者のうち、他の参加者の生体反応が以前と比べて変わっていない中で一の参加者についてのみ以前と変わっている特異的な生体反応のセッション間変化を解析する。

Description

反応解析システムおよび反応解析装置
　本発明は、反応解析システムおよび反応解析装置に関し、特にオンラインセッションに参加しているユーザの生体反応を解析するシステムおよび装置に関するものである。
　従来、監視対象者の撮影画像に基づいて監視対象者の表情を解析し、普段の表情と現在の表情とを比較して、表情が暗い場合にアラートを発する技術が知られている（例えば、特許文献１参照）。この特許文献１には、監視対象者の現在の表情と他者の表情とを比較して、監視対象者の表情が他者の表情より暗い場合にアラートを発することも開示されている。
　さらに、テレワークなど在宅勤務をする従業員をウェブカメラで撮影し、その画像をもとに心拍を計測するとともに、ＰＣマイクにより取得した音声から感情変化などを推定する技術も知られている（例えば、非特許文献１参照）。
特開２０１８－１１２８３１号公報 ＡＩさくらさんがこころの不調を早期発見！～新たにテレワーク中の従業員のメンタルヘルス対応も可能に～，2020.06.03，<URL:https://tifana.ai/nwes/20200603/>
　上記従来の技術によれば、特定の者について以前（または普段）と現在との感情の違いを推定することが可能である。しかしながら、特定の者の感情変化だけを観察しても、その感情変化が起きている状況を捉えて適切な対応をとることができない場合がある。例えば、特許文献１に記載の技術では、監視対象者の表情が普段と比べて暗い場合にアラートを発するが、他の者も同様に暗い表情をしている状況の場合に、監視対象者についてアラートを発するのが適切ではないことがあり得る。
　本発明は、同じ団体で複数回のオンラインセッションが行われる環境において、オンラインセッションの参加者に起きている反応に加えてその状況も捉えることができるようにすることを目的とする。
　上記した課題を解決するために、本発明の反応解析システムでは、同じ団体で複数回のオンラインセッションが行われる環境において、複数回のオンラインセッションごとに複数人の参加者について得られる動画像をもとに、複数人の参加者のうち比較対象とされる参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する。そして、複数回のオンラインセッションのうち一の対象オンラインセッションに関して解析された生体反応の変化が、対象オンラインセッションより時間的に前の過去オンラインセッションに関して解析された生体反応の変化と比べて特異的か否かを判定し、比較対象とされる参加者うち一の参加者には起きていて一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析するようにしている。
　上記のように構成した本発明によれば、同じ団体で複数回のオンラインセッションが行われる環境において、比較対象とされた参加者のうち、他の参加者の生体反応が以前と比べて変わっていない中で一の参加者についてのみ以前と変わっている特異的な生体反応のセッション間変化が解析されるので、一の参加者の生体反応について起きている以前からの特異的なセッション間変化に加えて、当該一の参加者についてのみそのような変化が起きているという特異的な状況も捉えることができる。
本実施形態による反応解析システムの全体構成例を示すブロック図である。 本実施形態による反応解析装置の機能構成例を示すブロック図である。 変形例に係る反応解析装置の機能構成例を示すブロック図である。
　以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による反応解析システムの全体構成例を示す図である。図１に示すように、本実施形態の反応解析システムは、反応解析装置１００、複数のユーザ端末２００-1，２００-2，・・・（以下、特に区別しないときは単にユーザ端末２００と記す）およびセッション管理サーバ３００を備えて構成される。これらの反応解析装置１００、ユーザ端末２００およびセッション管理サーバ３００は、インターネットや携帯電話網などの通信ネットワーク５００を介して接続される。
　本実施形態の反応解析システムは、同じ団体で複数回のオンラインセッションが行われる環境において、複数人の参加者のうち比較対象とされる参加者（複数人の参加者の一部または全員）の生体反応を解析し、他の参加者の生体反応が以前と比べて変わっていない中で一の参加者についてのみ以前と変わっている特異的な生体反応のセッション間変化（詳しくは後述する）を解析するシステムである。なお、生体反応の解析を通じて参加者の感情の変化を解析し、特異的な感情のセッション間変化を解析するようにしてもよい。
　オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された複数のユーザ端末２００を通信ネットワーク５００を介して反応解析装置１００およびセッション管理サーバ３００に接続し、当該反応解析装置１００およびセッション管理サーバ３００を通じて複数のユーザ端末２００間で動画像をやり取りできるようにしたものである。複数のユーザ端末２００には、オンラインセッションで動画像をやり取りするために必要なアプリケーションプログラム（以下、セッションアプリという）がインストールされている。
　本実施形態において対象とするオンラインセッションは、同じ団体で行われる複数回のセッションである。同じ団体によるオンラインセッションは、同じ参加者またはほぼ同じ参加者で複数回実施される。ほぼ同じとは、毎回同じ参加者でオンラインセッションを行うことを基本としつつも、個々の事情で参加できない者がいたり、特別許可を得て参加する者がいたりすることを許容するという意味である。
　オンラインセッションで扱う動画像には、ユーザ端末２００を使用するユーザの顔画像（実際には、顔以外の身体の部位や背景の画像も含まれる）や音声が含まれる。ユーザの顔画像と音声は、ユーザ端末２００に備えられた、またはユーザ端末２００に接続されたカメラおよびマイクにより取得され、セッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された各ユーザの顔画像と音声は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。なお、ユーザ端末２００から送信された動画像を反応解析装置１００にて取得し、これを反応解析装置１００からセッション管理サーバ３００に転送するようにしてもよい。あるいは、ユーザ端末２００から動画像を反応解析装置１００およびセッション管理サーバ３００の両方に送信するようにしてもよい。
　また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。ユーザが閲覧する資料画像は、何れかのユーザ端末２００からセッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された資料画像は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。
　以上の動作により、複数のユーザ端末２００のそれぞれにおいて、複数のユーザの顔画像または資料画像がディスプレイに表示され、複数のユーザの音声がスピーカから出力される。ここで、ユーザ端末２００にインストールされているセッションアプリの機能により、ディスプレイの画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のユーザのうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。
　また、ユーザ端末２００にインストールされているセッションアプリの機能により、カメラのオン／オフを切り替えたり、マイクのオン／オフを切り替えたりすることも可能である。例えば、ユーザ端末２００-1においてカメラをオフにした場合、ユーザ端末２００-1のカメラにより撮影された顔画像はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。同様に、ユーザ端末２００-1においてマイクをオフにした場合、ユーザ端末２００-1のマイクにより集音された音声はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。
　本実施形態において、複数のユーザ端末２００-1，２００-2，・・・は、オンラインセッションの主催者（主導者、進行者または管理者を含む）が使用する端末と、オンラインセッションに参加する参加者が使用する端末とを含む。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数の参加者の中の一人であってもよいし、オンラインセッションに参加しない別人であってもよい。
　本実施形態において、反応解析装置１００は、複数のユーザ端末２００から送信された動画像を取得し、この動画像に基づいてオンラインセッションの参加者の生体反応または感情を解析する。
　本実施形態では、オンラインセッションに参加する複数の参加者の中から、比較対象とする参加者（以下、比較対象参加者という）を指定することが可能である。比較対象参加者は、複数の参加者の一部または全員とすることが可能である。比較対象参加者の中にオンラインセッションの主催者を含ませることも可能である。また、本実施形態では、比較対象参加者の中から何れか１人または複数人を解析対象者として指定し、指定した解析対象者について、他者（解析対象者以外の者）には起きていなくて解析対象者についてのみ起きている、以前とは異なる特異的な生体反応または感情のセッション間変化を解析する。比較対象参加者および解析対象者の指定は、例えばオンラインセッションの主催者が行う。なお、比較対象参加者の指定は行わず、全ての参加者が自動的に比較対象参加者として設定されるようにしてもよい。
　図２は、本実施形態による反応解析装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態の反応解析装置１００は、機能構成として、対象者指定部１０、動画像取得部１１、生体反応解析部１２、特異判定部１３、関連事象特定部１４および解析結果通知部１６を備えている。また、本実施形態の反応解析装置１００は、記憶媒体として、動画像記憶部１０１を備えている。
　上記各機能ブロック１０～１６は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　対象者指定部１０は、オンラインセッションの複数人の参加者の中から１人または複数人を解析対象者として指定する。具体的には、対象者指定部１０は、主催者のユーザ端末２００から反応解析装置１００に送られてくる指示に従って、何れかの参加者を解析対象者として指定する。１人の解析対象者が指定された場合、当該１人の解析対象者が特許請求の範囲の「一の参加者」に相当する。また、複数人の解析対象者が指定された場合、当該複数人の解析対象者のそれぞれが特許請求の範囲の「一の参加者」に相当する。
　また、対象者指定部１０は、複数人の参加者の中から複数人を比較対象参加者として指定する。具体的には、対象者指定部１０は、主催者のユーザ端末２００から反応解析装置１００に送られてくる指示に従って、複数人の参加者の一部または全員を比較対象参加者として指定する。指定する比較対象参加者の人数は、指定する解析対象者の人数よりも多くする。解析対象者は、この比較対象参加者の中に含まれる一部の参加者である。
　例えば、オンラインセッションに参加する主催者と、主催者以外の１人の参加者との合計２人を比較対象参加者として指定し、当該１人の参加者を解析対象者として指定することが可能である。主催者と主催者以外の１人の参加者との組み合わせを複数組指定することを可能としてもよい。また、主催者以外の参加者全員を比較対象参加者として指定し、その中の１人または複数人の参加者を解析対象者として指定することも可能である。なお、上述したように、主催者以外の参加者全員が自動的に比較対象参加者として指定されるようにし、解析対象者のみを主催者が指定するようにしてもよい。
　動画像取得部１１は、オンラインセッション中に各ユーザ端末２００から送信される動画像（顔画像、音声、資料画像）をセッション管理サーバ３００から取得する。動画像取得部１１は、各ユーザ端末２００からセッション管理サーバ３００を介して取得した動画像を、各ユーザを識別可能な情報（例えば、ユーザＩＤ）に関連付けて動画像記憶部１０１に記憶させる。
　セッション管理サーバ３００から取得する顔画像は、各ユーザ端末２００の画面上に表示されるように設定されているものか否か（カメラがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のディスプレイに表示中の顔画像および非表示中の顔画像を含めて、顔画像をセッション管理サーバ３００から取得する。また、セッション管理サーバ３００から取得する音声は、各ユーザ端末２００のスピーカから出力されるように設定されているものか否か（マイクがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のスピーカから出力中の音声および非出力中の音声を含めて、音声をセッション管理サーバ３００から取得する。
　生体反応解析部１２は、動画像取得部１１により取得され動画像記憶部１０１に記憶された動画像（ユーザ端末２００の画面上に表示中の顔画像か否か、ユーザ端末２００のスピーカから出力中の音声か否かは問わない）に基づいて、複数人の参加者のうち対象者指定部１０により指定された比較対象参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する。なお、比較対象参加者以外の参加者を含めて、複数人の参加者のそれぞれについて生体反応の変化を解析するようにしてもよい。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像を顔画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。
　例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。
　人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの感情の変化に起因する生体反応の変化を解析する。また、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析するようにしてもよい。本実施形態において生体反応解析部１２は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。
　表情の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って、顔の表情がどの表情要素に該当するかを解析する。そして、その解析結果に基づいて、連続するフレーム画像間で表情変化が起きているか否か、表情変化が起きている場合はそれがポジティブな表情変化かネガティブな表情変化か、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を算出する。
　顔の表情要素は、例えば、中立（neutral）／落ち着き（calm）／喜び（happy）／驚き（surprised）／悲しみ（sad）／怒り（angry）／恐れ（fearful）／嫌悪感（disgust）などである。このうち、喜びおよび驚きはポジティブな表情要素であり、悲しみ、怒り、恐れ、嫌悪感はネガティブな表情要素である。
　生体反応解析部１２は、各フレーム画像における顔の表情について、複数の表情要素ごとに合計１００となるスコアを算出する。例えば、中立＝１０、落ち着き＝１０、喜び＝３０、驚き＝２０、悲しみ＝１０、怒り＝１０、恐れ＝５、嫌悪感＝５といったように、各表情要素に該当する可能性の高さに応じたスコアを表情要素ごとに算出する。そして、例えばスコアが最大の表情要素を、そのフレーム画像における顔の表情として決定する。以下では、フレーム画像ごとに決定される顔の表情のスコア（複数の表情要素について算出されたスコアのうち最大のスコア）を「表情スコア」という。
　生体反応解析部１２は、このようにしてフレーム画像ごとに決定される表情要素およびフレーム画像ごとに算出される表情スコアの少なくとも一方が前フレームから変化したか否かによって、連続するフレーム画像間で表情変化が起きているか否かを判定する。ここで、生体反応解析部１２は、最大スコアの表情要素に変化がない場合に、前フレームからのスコア変化量が所定の閾値以上の場合に表情変化が起きていると判定するようにしてもよい。表情変化の大きさは、表情スコアの前フレームからの変化量によって判定することが可能である。
　また、生体反応解析部１２は、ポジティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのネガティブな表情から現フレームのポジティブな表情に変化した場合に、ポジティブな表情変化が起きていると判定する。一方、生体反応解析部１２は、ネガティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのポジティブな表情から現フレームのネガティブな表情に変化した場合に、ネガティブな表情変化が起きていると判定する。
　さらに、生体反応解析部１２は、表情変化の方向（ポジティブ→ポジティブ、ポジティブ→ネガティブ、ネガティブ→ポジティブ、ネガティブ→ネガティブ）と、表情変化の大きさとを説明変数とし、表情変化指標値を目的変数とする所定の関数を用いて、表情変化指標値を算出する。この関数は、例えば、表情が逆転する場合（ポジティブ→ネガティブ、ネガティブ→ポジティブ）には逆転しない場合に比べて表情変化指標値の絶対値が大きくなり、かつ、表情変化の程度が大きいほど表情変化指標値の絶対値が大きくなるような関数で、表情がポジティブな方向に変化する場合（ポジティブ→ポジティブ、ネガティブ→ポジティブ）は正の値となり、表情がネガティブな方向に変化する場合（ポジティブ→ネガティブ、ネガティブ→ネガティブ）は負の値となるような関数とすることが可能である。
　ここでは、連続するフレーム画像間での表情変化を解析する例について説明したが、所定の時間区間ごと（例えば、５００ミリ秒ごと）に表情変化を解析するようにしてもよい。これは、以下に述べる目線の変化の解析、脈拍の変化の解析、顔の動きの変化の解析についても同様である。
　目線の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向き（目線）を解析する。そして、生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を算出する。例えば、生体反応解析部１２は、フレーム画像ごとに正面からの視線の角度を算出し、当該角度の複数フレーム間の移動平均または移動分散を目線変化指標値として算出する。
　なお、生体反応解析部１２は、ユーザがどこを見ているかを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。そして、生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を算出する。
　例えば、生体反応解析部１２は、見ている場所（話者の顔、共有資料、画面の外）と、目線の動きの大きさと、目線の動きの頻度とを説明変数とし、目線変化指標値を目的変数とする所定の関数を用いて、目線変化指標値を算出する。この関数は、例えば、見ている場所によって目線変化指標値の絶対値が変わり、目線の動きが大きいほど、また目線の動きの頻度が大きいほど目線変化指標値の絶対値が大きくなるような関数とすることが可能である。
　脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部１２は、脈拍の変化の解析結果に応じた脈拍変化指標値を算出する。例えば、生体反応解析部１２は、各フレームごとに特定した脈拍値の、複数フレーム間の移動平均または移動分散を脈拍変化指標値として算出する。
　顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析する。そして、生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を算出する。例えば、生体反応解析部１２は、フレーム画像ごとに正体時との顔の向きの差分をロール・ピッチ・ヨーで算出し、当該差分の複数フレーム間の移動平均または移動分散を顔向き変化指標値として算出する。
　なお、生体反応解析部１２は、ユーザがどこを見ているかを解析するようにしてもよい。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を算出する。
　例えば、生体反応解析部１２は、見ている場所（話者の顔、共有資料、画面の外）と、その場所を見ている向きと、顔の動きの大きさと、顔の動きの頻度とを説明変数とし、顔向き変化指標値を目的変数とする所定の関数を用いて、顔向き変化指標値を算出する。この関数は、例えば、見ている場所およびその場所を見ている向きによって顔向き変化指標値の絶対値が変わり、顔の動きが大きいほど、また顔の動きの頻度が大きいほど顔向き変化指標値の絶対値が大きくなるような関数とすることが可能である。
　発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）法などによりベクトル化し、ベクトルの特徴に基づいて、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を算出する。例えば、発言内容に応じて算出されるベクトルの特徴に基づいて、ベクトルの特徴量と発言内容の種類とを関連付ける情報を格納したデータベース等を利用して、どのような種類の発言内容であるかを推定する。そして、その推定結果を説明変数とし、発言内容指標値を目的変数とする所定の関数を用いて、発言内容指標値を算出するようにすることが可能である。
　別の例として、以下のようにしてもよい。すなわち、生体反応解析部１２は、指定した時間内の発言内容から抽出したワードを辞書（各ワードがポジティブかネガティブかが定義されたもの）と突き合わせ、ポジティブなワードの出現回数とネガティブなワードの出現回数とをカウントする。そして、生体反応解析部１２は、それぞれのカウント値を説明変数とし、発言内容指標値を目的変数とする所定の関数を用いて、発言内容指標値を算出する。
　声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴を表す値に基づいて、声質変化指標値を算出する。例えば、生体反応解析部１２は、音声の音響的特徴としてＭＦＣＣ（メル周波数ケプストラム係数）を算出し、当該ＭＦＣＣの所定の時間区間ごとの移動平均または移動分散を声質変化指標値として算出する。ＭＦＣＣは一例であり、これに限定されるものではない。
　なお、生体反応解析部１２は、音声の音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を算出するようにしてもよい。例えば、顔の表情の解析と同様に、事前に機械学習させた音声解析モデルに従って、音声が中立／落ち着き／喜び／驚き／悲しみ／怒り／恐れ／嫌悪感のどの感情要素に該当するかを解析する。そして、その解析結果に基づいて、所定の時間区間ごとに感情変化が起きているか否か、感情変化が起きている場合はそれがポジティブな感情変化かネガティブな感情変化か、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた声質変化指標値を算出する。
　生体反応解析部１２は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも１つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。
　特異判定部１３は、複数回のオンラインセッションのうち一のオンラインセッション（以下、過去オンラインセッションという）に関して比較対象参加者について解析された生体反応の変化が、当該対象オンラインセッションより時間的に前のオンラインセッション（以下、過去オンラインセッションという）に関して比較対象参加者について解析された生体反応の変化と比べて特異的か否かを判定し、比較対象参加者うち解析対象者（一の参加者）には起きていて解析対象者以外には起きていない特異的な生体反応のセッション間変化を解析する。
　対象オンラインセッションは、例えば現在実行中のオンラインセッションまたは直近で行われたオンラインセッションとすることが可能である。あるいは、対象オンラインセッションは、動画像記憶部１０１に動画像が記憶されている複数回のオンラインセッションのうち、主催者により指定された任意のオンラインセッションとすることも可能である。
　本実施形態において、特異判定部１３は、生体反応解析部１２により算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が以前と比べて特異的か否か、および解析対象者について解析された生体反応のセッション間変化が他者（解析対象者以外の比較対象参加者）のそれと比べて特異的か否かを判定する。
　例えば、特異判定部１３は、複数人の比較対象参加者のそれぞれについて、動画像記憶部１０１に動画像が記憶されている複数回のオンラインセッションのそれぞれごとに、生体反応解析部１２により動画像の所定時間区間ごとに算出された複数の生体反応指標値の分散を算出する。そして、解析対象者に関して対象オンラインセッションについて算出された複数の生体反応指標値の分散と、過去オンラインセッションのそれぞれについて算出された複数の生体反応指標値の分散との対比により、解析対象者に関して対象オンラインセッションについて解析された生体反応の変化が過去オンラインセッションについて解析された生体反応の変化と比べて特異的か（特異的なセッション間変化であるか）否かを判定する。例えば、特異判定部１３は、対象オンラインセッションについて算出した分散と、過去オンラインセッションのそれぞれについて算出した複数の分散との差分が何れも所定値以上である場合に、解析対象者に関して対象オンラインセッションについて解析された生体反応の変化が、過去オンラインセッションについて解析された生体反応の変化と比べて特異的であると判定する。なお、ここでは分散を計算しているが、平均値を計算するようにしてもよい。
　解析対象者についての生体反応のセッション間変化が特異的であると判定された場合、特異判定部１３は、解析対象者以外の比較対象参加者についても、過去オンラインセッションと対象オンラインセッションとの間で解析対象者と同様のセッション間変化が起きているか否かを判定する。ここで、解析対象者以外の比較対象参加者について解析対象者と同様のセッション間変化が起きていないと判定された場合、特異判定部１３は、解析対象者について過去オンラインセッションと対象オンラインセッションとの間で検出された特異的な生体反応のセッション間変化を、解析対象者にのみ特有の特異的な生体反応のセッション間変化として特定する。
　ここでは、対象オンラインセッションに関して解析された生体反応の変化が、過去オンラインセッションに関して解析された生体反応の変化と比べて特異的か否かを判定する例について説明したが、これに限定されない。例えば、対象オンラインセッションに関して解析された感情の変化が、過去オンラインセッションに関して解析された感情の変化と比べて特異的か否かを判定するようにしてもよい。すなわち、特異判定部１３は、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。
　例えば、顔の表情に関して上述のように表情要素に関する表情スコアを算出し、対象オンラインセッションについて算出された表情スコアと、過去オンラインセッションのそれぞれについて算出された表情スコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。
　また、音質に関しても表情スコアと同様にして感情要素に関する音質スコアを算出し、対象オンラインセッションについて算出された音質スコアと、過去オンラインセッションのそれぞれについて算出された音質スコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。
　また、目線の変化または顔の動きをもとにオンラインセッションに対する集中度を表すスコアを算出し、対象オンラインセッションについて算出されたスコアと、過去オンラインセッションのそれぞれについて算出されたスコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。
　また、脈拍の変化をもとに、感情要素のうち落ち着き（calm）の程度を表すスコアを算出し、対象オンラインセッションについて算出されたスコアと、過去オンラインセッションのそれぞれについて算出されたスコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。
　また、顔の表情、発言内容または音質をもとにポジティブ度またはネガティブ度を表すスコアを算出し、対象オンラインセッションについて算出されたスコアと、過去オンラインセッションのそれぞれについて算出されたスコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。
　関連事象特定部１４は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化が起きた対象オンラインセッションにおいて解析対象者、他者および環境の少なくとも１つに関して発生している事象を特定する。例えば、関連事象特定部１４は、解析対象者について特異的な生体反応または感情のセッション間変化が起きた対象オンラインセッションにおける解析対象者自身の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応または感情のセッション間変化が起きた対象オンラインセッションにおける他者の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応または感情のセッション間変化が起きた対象オンラインセッションにおける環境を動画像から特定する。環境は、例えば画面に表示中の共有資料、解析対象者の背景に写っているものなどである。このような事象を特定することにより、解析対象者の反応または感情の変化に影響を与えた可能性がある事象を捉えることが可能である。
　解析結果通知部１６は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化および関連事象特定部１４により特定された事象の少なくとも一方を、解析対象者の指定者（オンラインセッションの主催者）に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者にについて特異的なセッション間変化が起きているか否かを知ることができる。また、特異的なセッション間変化が起きている場合に、オンラインセッションの主催者は、指定した解析対象者に特有の現象として、どのような事象がどのような感情の変化に影響を与えているのかを知ることができる。そして、その把握した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。
　以上詳しく説明したように、本実施形態では、同じ団体で複数回のオンラインセッションが行われる環境において、複数回のオンラインセッションごとに複数人の参加者について得られる動画像をもとに、複数人の参加者のうち比較対象参加者のそれぞれについて、生体反応の変化または感情の変化を解析する。そして、複数回のオンラインセッションのうち一の対象オンラインセッションに関して解析された生体反応の変化が、対象オンラインセッションより時間的に前の過去オンラインセッションに関して解析された生体反応の変化と比べて特異的か否かを判定し、比較対象とされる参加者うち一の参加者には起きていて一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析するようにしている。
　このように構成した本実施形態によれば、同じ団体で複数回のオンラインセッションが行われる環境において、比較対象とされた参加者のうち、他の参加者の生体反応が以前と比べて変わっていない中で一の参加者についてのみ以前と変わっている特異的な生体反応または感情のセッション間変化が解析されるので、一の参加者の生体反応または感情について起きている以前からの特異的なセッション間変化に加えて、当該一の参加者についてのみそのような変化が起きているという特異的な状況も捉えることができる。
　例えば、複数の比較対象参加者の中で解析対象者についてのみ以前と比べてネガティブな感情が増していることとか、主催者の感情は以前と比べて変化していな一方で、解析対象者の感情が以前と比べてポジティブまたはネガティブな感情に変化していることなどを検知することが可能である。このため、オンラインセッションの主催者は、そのように特定した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。
　なお、以上説明した生体反応解析部１２、特異判定部１３、関連事象特定部１４および解析結果通知部１６の処理は、動画像取得部１１が今回のオンラインセッションにおいて複数の比較対象参加者の動画像を取得したときにリアルタイムに行うようにしてもよいし、動画像記憶部１０１に記憶された複数回のオンラインセッションの動画像を用いて事後的に行うようにしてもよい。
　次に、本実施形態の変形例について説明する。図３は、変形例に係る反応解析装置１００Ａの機能構成例を示すブロック図である。この図３において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図３に示すように、変形例に係る反応解析装置１００Ａは、機能構成として、クラスタリング部１５を更に備えている。また、解析結果通知部１６に代えて解析結果通知部１６Ａを備えている。
　クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化のパターンに基づいて、解析対象者（一の参加者）をクラスタリングする。
　例えば、クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化のパターンに基づいて、解析対象者について将来発生し得る行動という観点から解析対象者をクラスタリングすることが可能である。一例として、解析対象者がオンラインセッションから離脱する可能性があるか否かという形で解析対象者をクラスタリングすることが可能である。
　例えば、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であるかネガティブな感情変化であるか判定する。表情、発言内容、声質に関しては、上述した方法によってポジティブ／ネガティブの判定を行うことが可能である。目線および顔の動きに関しては、例えば、目線、顔の動きの変化が大きいほど（例えば、変化量が所定の閾値以上の場合に）ネガティブな変化と定義する。脈拍に関しては、脈拍の変化が大きいほど（例えば、変化量またはその人の平均脈拍数からの乖離が所定の閾値以上の場合に）ネガティブな変化と定義する。
　そして、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であると判定された場合には解析対象者を「離脱の可能性なし」に分類する一方、セッション間変化がネガティブな感情変化であると判定された場合には解析対象者を「離脱の可能性あり」に分類する。
　なお、ここでは、特異的であると判定された感情のセッション間変化がポジティブな感情変化／ネガティブな感情変化の何れであるかに応じてクラスタリングを行う例について説明したが、これに限定されない。例えば、ポジティブな感情変化／ネガティブな感情変化という観点に加えて、エンゲージメントの度合いが高い／低いという観点からクラスタリングを行うようにしてもよい。エンゲージメントの度合いは、例えば、目線または顔の動きの変化が大きいほどエンゲージメントの度合いが低いと定義することが可能である。
　例えば、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であり、かつ、エンゲージメントの度合いが高いと判定された場合には、解析対象者を「オンラインセッション継続の可能性が最も高い」という第１クラスに分類する。また、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であり、かつ、エンゲージメントの度合いが低いと判定された場合には、解析対象者を「オンラインセッションの満足度は高いが、離脱の可能性がある」という第２クラスに分類する。
　また、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がネガティブな感情変化であり、かつ、エンゲージメントの度合いが高いと判定された場合には、解析対象者を「オンラインセッション継続の可能性が高いが、満足度が低い可能性がある」という第３クラスに分類する。また、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がネガティブな感情変化であり、かつ、エンゲージメントの度合いが低いと判定された場合には、解析対象者を「オンラインセッションから離脱の可能性がある」という第４クラスに分類する。
　解析結果通知部１６Ａは、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化、関連事象特定部１４により特定された事象、およびクラスタリング部１５によりクラスタリングされた分類の少なくとも１つを、解析対象者の指定者（オンラインセッションの主催者）に通知する。クラスタリングの結果に基づく所定のアラートなどをオンラインセッションの主催者に通知するようにしてもよい。例えば、クラスタリングの結果、解析対象者がオンラインセッションから離脱する可能性があることが示されている場合に、その解析対象者の識別情報と共にアラートを発するようにしてもよい。
　これにより、オンラインセッションの主催者は、指定した解析対象者にについて特異的なセッション間変化が起きているか否かを知ることができる。また、特異的なセッション間変化が起きている場合に、オンラインセッションの主催者は、指定した解析対象者がどの分類にクラスタリングされたかによって、解析対象者に特有の行動の傾向を把握したり、今後起こり得る行動や状態などを予測したりすることができる。そして、それに対して適切な処置を解析対象者に対して行うことが可能となる。
　なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１１　動画像取得部
　１２　生体反応解析部
　１３　特異判定部
　１４　関連事象特定部
　１５　クラスタリング部
　１６，１６Ａ　解析結果通知部
　１００，１００Ａ　反応解析装置

Claims (8)

  1. 　同じ団体で複数回のオンラインセッションが行われる環境において、上記複数回のオンラインセッションごとに複数人の参加者について得られる動画像をもとに、上記参加者の反応を解析する反応解析システムであって、
    　上記複数回のオンラインセッションごとに、当該オンラインセッション中に上記複数人の参加者のそれぞれについてユーザ端末から送信される動画像を取得する動画像取得部と、
    　上記動画像取得部により取得された動画像に基づいて、上記複数人の参加者のうち比較対象とされる参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する生体反応解析部と、
    　上記複数回のオンラインセッションのうち一の対象オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化が、上記一の対象オンラインセッションより時間的に前の過去オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化と比べて特異的か否かを判定し、上記比較対象とされる参加者うち上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析する特異判定部とを備えた
    ことを特徴とする反応解析システム。
  2. 　上記複数人の参加者の中から上記一の参加者を解析対象者として指定する対象者指定部を更に備えたことを特徴とする請求項１に記載の反応解析システム。
  3. 　上記対象者指定部は、上記複数人の参加者の中から上記比較対象とされる参加者を更に指定することを特徴とする請求項２に記載の反応解析システム。
  4. 　上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記比較対象とされる参加者の感情の変化を解析し、
    　上記特異判定部は、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化に代えて、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な感情のセッション間変化を解析する
    ことを特徴とする請求項１～３の何れか１項に記載の反応解析システム。
  5. 　上記特異判定部により特異的であると判定された生体反応のセッション間変化のパターンに基づいて、上記一の参加者をクラスタリングするクラスタリング部を更に備えたことを特徴とする請求項１～３の何れか１項に記載の反応解析システム。
  6. 　上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記比較対象とされる参加者の感情の変化を解析し、
    　上記特異判定部は、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化に代えて、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な感情のセッション間変化を解析し、
    　上記特異判定部により特異的であると判定された感情のセッション間変化のパターンに基づいて、上記一の参加者をクラスタリングするクラスタリング部を更に備えた
    ことを特徴とする請求項１～３の何れか１項に記載の反応解析システム。
  7. 　同じ団体で複数回のオンラインセッションが行われる環境において、上記オンラインセッションの参加者の反応を解析する反応解析装置であって、
    　上記複数回のオンラインセッションごとに当該オンラインセッション中に複数人の参加者について得られる動画像に基づいて、上記複数人の参加者のうち比較対象とされる参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する生体反応解析部と、
    　上記複数回のオンラインセッションのうち一の対象オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化が、上記一の対象オンラインセッションより時間的に前の過去オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化と比べて特異的か否かを判定し、上記比較対象とされる参加者うち上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析する特異判定部とを備えた
    ことを特徴とする反応解析装置。
  8. 　上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記比較対象とされる参加者の感情の変化を解析し、
    　上記特異判定部は、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化に代えて、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な感情のセッション間変化を解析する
    ことを特徴とする請求項７に記載の反応解析装置。
PCT/JP2021/028142 2020-07-31 2021-07-29 反応解析システムおよび反応解析装置 WO2022025200A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022539571A JP7242114B2 (ja) 2020-07-31 2021-07-29 反応解析システムおよび反応解析装置
JP2023031017A JP2023075197A (ja) 2020-07-31 2023-03-01 反応解析システムおよび反応解析装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/029467 WO2022024354A1 (ja) 2020-07-31 2020-07-31 反応解析システム
JPPCT/JP2020/029467 2020-07-31

Publications (1)

Publication Number Publication Date
WO2022025200A1 true WO2022025200A1 (ja) 2022-02-03

Family

ID=80035314

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/029467 WO2022024354A1 (ja) 2020-07-31 2020-07-31 反応解析システム
PCT/JP2021/028142 WO2022025200A1 (ja) 2020-07-31 2021-07-29 反応解析システムおよび反応解析装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029467 WO2022024354A1 (ja) 2020-07-31 2020-07-31 反応解析システム

Country Status (2)

Country Link
JP (2) JP7242114B2 (ja)
WO (2) WO2022024354A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115381411A (zh) * 2022-09-19 2022-11-25 慧医谷中医药科技(天津)股份有限公司 一种脉象分析信息处理方法及系统
WO2023243469A1 (ja) * 2022-06-15 2023-12-21 京セラ株式会社 電子機器、電子機器の制御方法及び制御プログラム
WO2023243468A1 (ja) * 2022-06-15 2023-12-21 京セラ株式会社 電子機器、電子機器の制御方法及び制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140258393A1 (en) * 2013-03-05 2014-09-11 International Business Machines Corporation Guiding a desired outcome for an electronically hosted conference
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
JP2020048610A (ja) * 2018-09-21 2020-04-02 富士ゼロックス株式会社 状態評価システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191689A (ja) * 2009-02-18 2010-09-02 Nec Corp 現象対策支援装置、端末、現象対策支援システム、現象対策支援方法及び現象対策支援プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140258393A1 (en) * 2013-03-05 2014-09-11 International Business Machines Corporation Guiding a desired outcome for an electronically hosted conference
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
JP2020048610A (ja) * 2018-09-21 2020-04-02 富士ゼロックス株式会社 状態評価システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243469A1 (ja) * 2022-06-15 2023-12-21 京セラ株式会社 電子機器、電子機器の制御方法及び制御プログラム
WO2023243468A1 (ja) * 2022-06-15 2023-12-21 京セラ株式会社 電子機器、電子機器の制御方法及び制御プログラム
CN115381411A (zh) * 2022-09-19 2022-11-25 慧医谷中医药科技(天津)股份有限公司 一种脉象分析信息处理方法及系统

Also Published As

Publication number Publication date
JP2023075197A (ja) 2023-05-30
JP7242114B2 (ja) 2023-03-20
WO2022024354A1 (ja) 2022-02-03
JPWO2022025200A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
WO2022025200A1 (ja) 反応解析システムおよび反応解析装置
WO2022024956A1 (ja) 感情解析システムおよび感情解析装置
JP7197957B2 (ja) 反応解析システムおよび反応解析装置
WO2022025025A1 (ja) 感情解析システムおよび感情解析装置
WO2022064622A1 (ja) 感情解析システム
WO2022064620A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
JP7465040B1 (ja) コミュニケーション可視化システム
WO2022064617A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064619A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022201272A1 (ja) 動画像分析プログラム
WO2022269802A1 (ja) 動画像分析システム
WO2022269801A1 (ja) 動画像分析システム
WO2022113248A1 (ja) ビデオミーティング評価端末及びビデオミーティング評価方法
WO2022254497A1 (ja) 動画像分析システム
JP7388768B2 (ja) 動画像分析プログラム
WO2022074785A1 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP7121436B1 (ja) 動画像分析プログラム
JP7477909B2 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
WO2022145044A1 (ja) 反応通知システム
JP7152819B1 (ja) 動画像分析プログラム
JP7152817B1 (ja) 動画像分析プログラム
WO2022230051A1 (ja) 動画像分析システム
WO2022201266A1 (ja) 動画像分析プログラム
WO2022201265A1 (ja) 動画像分析プログラム
WO2022201267A1 (ja) 動画像分析プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21849760

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022539571

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21849760

Country of ref document: EP

Kind code of ref document: A1