WO2022025024A1 - 反応解析システムおよび反応解析装置 - Google Patents

反応解析システムおよび反応解析装置 Download PDF

Info

Publication number
WO2022025024A1
WO2022025024A1 PCT/JP2021/027637 JP2021027637W WO2022025024A1 WO 2022025024 A1 WO2022025024 A1 WO 2022025024A1 JP 2021027637 W JP2021027637 W JP 2021027637W WO 2022025024 A1 WO2022025024 A1 WO 2022025024A1
Authority
WO
WIPO (PCT)
Prior art keywords
reaction
displayed
participant
biological reaction
moving image
Prior art date
Application number
PCT/JP2021/027637
Other languages
English (en)
French (fr)
Inventor
渉三 神谷
Original Assignee
株式会社I’mbesideyou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社I’mbesideyou filed Critical 株式会社I’mbesideyou
Priority to JP2022539466A priority Critical patent/JP7197957B2/ja
Publication of WO2022025024A1 publication Critical patent/WO2022025024A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a reaction analysis system and a reaction analysis device, and more particularly to a system and a device for analyzing the biological reaction of a user participating in an online session.
  • Patent Document 1 a system that allows a participant's appearance to be grasped by displaying a participant's face image on a small screen when the shared material is displayed on the main screen in an online conference or the like (for example).
  • Patent Document 3 discloses that the degree of emotional expression is analyzed from facial expression information acquired from the faces of a plurality of subjects.
  • Patent Document 4 discloses that in a video conference system, a line-of-sight position is detected from a face image included in a speaker's image, the speaker's feelings are estimated, and the speaker is presented to the speaker who is speaking. ing.
  • a default facial expression image (default setting image) is transmitted to the other party, or a facial expression image (edited image) generated by reflecting a change in the speaker's facial expression is sent to the other party. It is either transmitted to the side, and the photographed image of the speaker is not transmitted to the other side. Therefore, there is a problem that the state of the other party cannot be grasped at all from the captured image.
  • the present invention has been made to solve such a problem, and is suitable for each of the participants in an environment where an online session is held by a plurality of people according to the display / non-display of the captured image.
  • the purpose is to be able to grasp the state of the participants in a mode.
  • the reaction analysis system of the present invention in an environment where an online session is held by a plurality of participants, based on a moving image obtained from a user terminal of the participants during the online session, At least for non-display participants who are participants whose face image is not displayed on the screen of the user terminal during the online session, the biological reaction is analyzed and the analysis result is presented.
  • the face image is presented to the participants who are set to display the face image on the screen, and the face image is presented.
  • the analysis result of the change in the biological reaction is presented. You can grasp the state of the participants with.
  • FIG. 1 is a diagram showing an overall configuration example of a reaction analysis system according to the present embodiment.
  • the reaction analysis system of the present embodiment is referred to as a reaction analysis device 100, a plurality of user terminals 200 -1 , 200-2 , ... (Hereinafter, unless otherwise specified, simply referred to as a user terminal 200. ) And a session management server 300.
  • the reaction analysis device 100, the user terminal 200, and the session management server 300 are connected via a communication network 500 such as the Internet or a mobile phone network.
  • the reaction analysis system of the present embodiment is a participant whose face image is not displayed on the screen of the user terminal 200 at least during the online session in an environment where an online session is performed by a plurality of participants (hereinafter, hidden participants). It is a system that analyzes a biological reaction based on a moving image obtained from a user terminal 200 and presents the analysis result. The emotions of the participants may be analyzed through the analysis of biological reactions.
  • the moving image handled in the online session includes a face image (actually, an image of a body part other than the face and a background image) and a voice of a user who uses the user terminal 200.
  • the user's face image and voice are acquired by a camera and a microphone provided in the user terminal 200 or connected to the user terminal 200, and transmitted to the session management server 300.
  • the face image and voice of each user transmitted to the session management server 300 are acquired by the reaction analysis device 100, and are transmitted from the reaction analysis device 100 to the session application of each user terminal 200.
  • the moving image transmitted from the user terminal 200 may be acquired by the reaction analysis device 100 and transferred from the reaction analysis device 100 to the session management server 300. Alternatively, the moving image may be transmitted from the user terminal 200 to both the reaction analysis device 100 and the session management server 300.
  • moving images include images such as materials shared and viewed by multiple users.
  • the material image to be viewed by the user is transmitted from any user terminal 200 to the session management server 300. Then, the material image transmitted to the session management server 300 is acquired by the reaction analysis device 100, and is transmitted from the reaction analysis device 100 to the session application of each user terminal 200.
  • the face image or the document image of the plurality of users is displayed on the display in each of the plurality of user terminals 200, and the voices of the plurality of users are output from the speaker.
  • the face image and the material image can be switched to display only one of them on the display screen, or the display area can be divided into the face image and the material image. Can be displayed at the same time. Further, it is possible to display the image of one of a plurality of users on the full screen, or to display the image of a part or all of the users on a small screen.
  • the camera on / off and the microphone on / off by the function of the session application installed in the user terminal 200.
  • the camera is turned off in the user terminal 200-1
  • the face image taken by the camera of the user terminal 200-1 is transmitted to the session management server 300 and the reaction analysis device 100, but each of them is transmitted from the reaction analysis device 100. It is not transmitted to the user terminal 200.
  • the microphone is turned off in the user terminal 200-1
  • the sound collected by the microphone of the user terminal 200-1 is transmitted to the session management server 300 and the reaction analysis device 100, but is transmitted from the reaction analysis device 100. It is not transmitted to each user terminal 200.
  • a plurality of user terminals 200-1 , 200-2 , ... Participate in an online session with a terminal used by an online session organizer (including a leader, a facilitator, or an administrator). Includes terminals used by participants.
  • Organizers of online sessions include, for example, instructors of online classes, chairs and facilitators of online conferences, and coaches of sessions for coaching purposes.
  • the organizer of the online session may be one of a plurality of participants who participate in the online session, or may be another person who does not participate in the online session. In the following explanation, when the organizer and the participants are not particularly distinguished, they are described as "user".
  • the reaction analysis device 100 acquires moving images transmitted from a plurality of user terminals 200, and analyzes the biological reactions of the participants of the online session based on the moving images. If the organizer of the online session is also a participant, it is not essential to analyze the organizer's biological response.
  • FIG. 2 is a block diagram showing a functional configuration example of the reaction analysis device 100 according to the present embodiment.
  • the reaction analysis device 100 of the present embodiment includes a moving image acquisition unit 11, a biological reaction analysis unit 12, and a reaction information presentation unit 13 as functional configurations. Further, the reaction analysis device 100 of the present embodiment includes a moving image storage unit 101 as a storage medium.
  • Each of the above functional blocks 10 to 13 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • DSP Digital Signal Processor
  • each of the above functional blocks 10 to 13 is actually configured to include a computer CPU, RAM, ROM, etc., and is a program stored in a recording medium such as RAM, ROM, a hard disk, or a semiconductor memory. Is realized by the operation of.
  • the moving image acquisition unit 11 acquires moving images (face image, voice, material image) transmitted from each user terminal 200 during the online session from the session management server 300.
  • the moving image acquisition unit 11 stores the moving image acquired from each user terminal 200 via the session management server 300 in the moving image storage unit 101 in association with identifiable information (for example, a user ID) for each user.
  • the moving image acquisition unit 11 acquires the face image from the session management server 300, including the face image displayed on the display of each user terminal 200 and the face image not being displayed. Further, it does not matter whether the sound acquired from the session management server 300 is set to be output from the speaker of each user terminal 200 (whether the microphone is set to on or off). No. That is, the moving image acquisition unit 11 acquires audio from the session management server 300, including audio being output from the speaker of each user terminal 200 and audio being non-output.
  • the biological reaction analysis unit 12 participates in a hidden display in which the face image is not displayed on the screen of the user terminal 200 during the online session based on the moving image acquired by the moving image acquisition unit 11 and stored in the moving image storage unit 101. For a person (for example, a participant who has the camera turned off), the change in biological reaction caused by the change in emotion is analyzed.
  • the biological reaction analysis unit 12 separates the moving image acquired by the moving image acquisition unit 11 into a set of facial images (a collection of frame images) and voice, and analyzes changes in the biological reaction from each.
  • the biological reaction analysis unit 12 analyzes the user's face image using the frame image separated from the moving image acquired by the moving image acquisition unit 11, and thereby at least one of the facial expression, the line of sight, the pulse, and the movement of the face. Analyze changes in biological reactions related to one. In addition, the biological reaction analysis unit 12 analyzes changes in the biological reaction regarding at least one of the user's speech content and voice quality by analyzing the voice separated from the moving image acquired by the moving image acquisition unit 11.
  • the biological reaction analysis unit 12 identifies a facial region from the frame image for each frame image, and analyzes which facial expression element the facial expression corresponds to according to an image analysis model machine-learned in advance. do. Then, based on the analysis result, whether or not a facial expression change occurs between consecutive frame images, and if a facial expression change occurs, whether it is a positive facial expression change or a negative facial expression change, and how large it is. Analyze whether the facial expression change is occurring.
  • Facial expression elements are, for example, neutral / calm / happy / surprised / sad / angry / fearful / disgust. be. Of these, joy and surprise are positive facial expression elements, and sadness, anger, fear, and disgust are negative facial expression elements.
  • the biological reaction analysis unit 12 determines between consecutive frame images depending on whether at least one of the facial expression element determined for each frame image and the facial expression score calculated for each frame image has changed from the previous frame. Determine if the facial expression has changed.
  • the biological reaction analysis unit 12 determines that the facial expression change has occurred when the score change amount from the previous frame is equal to or more than a predetermined threshold value when there is no change in the facial expression element of the maximum score. good.
  • the magnitude of the facial expression change can be determined by the amount of change from the previous frame of the facial expression score.
  • the biological reaction analysis unit 12 causes a positive facial expression change when the facial expression score of the positive facial expression increases from the previous frame and when the negative facial expression of the previous frame changes to the positive facial expression of the current frame. It is determined that it is.
  • the biological reaction analysis unit 12 causes a negative facial expression change when the facial expression score of the negative facial expression increases from the previous frame and when the positive facial expression of the previous frame changes to the negative facial expression of the current frame. It is determined that it is.
  • the facial expression change may be analyzed every predetermined time interval (for example, every 500 milliseconds). This also applies to the analysis of the change in the line of sight, the analysis of the change in the pulse, and the analysis of the change in the movement of the face described below.
  • the biological reaction analysis unit 12 identifies the eye region from the frame image for each frame image and analyzes the direction (line of sight) of both eyes. For example, it analyzes whether the speaker's face being displayed, the shared material being displayed, where the shared material being displayed is being viewed, or whether the user is looking outside the screen. In addition, it may be possible to analyze whether the movement of the line of sight is large or small, and whether the movement is frequent or infrequent.
  • the change in the line of sight is also related to the degree of concentration of the user.
  • Analysis of pulse changes is performed, for example, as follows. That is, for each frame image, the face area is specified from the frame image. Then, using a trained image analysis model that captures the numerical value of the face color information (G in RGB), the change in the G color on the face surface is analyzed. By arranging the results along the time axis, a waveform showing the change in color information is formed, and the pulse is specified from this waveform. When a person is nervous, the pulse becomes faster, and when he / she feels calm, the pulse becomes slower.
  • the biological reaction analysis unit 12 identifies a face region from the frame image for each frame image and analyzes the direction of the face to analyze where the user is looking. For example, it analyzes whether the speaker's face being displayed, the shared material being displayed, where the shared material being displayed is being viewed, or whether the user is looking outside the screen. In addition, it may be possible to analyze whether the movement of the face is large or small, and whether the movement is frequent or infrequent.
  • the movement of the face and the movement of the line of sight may be combined and analyzed. For example, it may be possible to analyze whether the speaker's face being displayed is viewed straight, whether the speaker is viewed with an upper eye or a lower eye, or whether the speaker is viewed from an angle.
  • the content of the statement is analyzed as follows, for example. That is, the biological reaction analysis unit 12 converts the voice into a character string by performing a known voice recognition process on the voice for a specified time (for example, a time of about 30 to 150 seconds), and morphologically analyzes the character string. By doing so, words unnecessary for expressing conversation such as particles and acronyms are removed. Then, the remaining words are vectorized by the TF-IDF (Term Frequency-Inverse Document Frequency) method, etc., and based on the characteristics of the vector, whether a positive emotional change is occurring, a negative emotional change is occurring, and which Analyze whether there is a degree of emotional change. For example, what kind of remark content is used by using a database or the like that stores information relating the vector feature amount and the remark content type based on the vector feature calculated according to the remark content. To estimate.
  • TF-IDF Term Frequency-Inverse Document Frequency
  • the biological reaction analysis unit 12 collates the words extracted from the content of remarks within the specified time with a dictionary (definition of whether each word is positive or negative), and the number of appearances of positive words and negative words. By counting the number of occurrences, it is analyzed whether a positive emotional change is occurring, a negative emotional change is occurring, and the magnitude of the emotional change is occurring.
  • Voice quality analysis is performed as follows, for example. That is, the biological reaction analysis unit 12 performs a known voice analysis process on the voice for a specified time (for example, a time of about 30 to 150 seconds) to perform an acoustic characteristic of the voice (for example, MFCC (mel frequency cepstrum coefficient)). ). Then, based on the value representing the acoustic characteristic, it is analyzed whether a positive voice quality change is occurring, a negative voice quality change is occurring, and how loud the voice quality change is occurring.
  • a specified time for example, a time of about 30 to 150 seconds
  • MFCC mel frequency cepstrum coefficient
  • the MFCC is an example of an acoustic feature of voice, and the present invention is not limited to this.
  • a hidden participant who is not displayed on the screen is displayed on the screen during the online session based on the sound in the moving image acquired by the moving image acquisition unit 11. Analyze which part of the displayed shared material was spoken when it was displayed. For example, the biological reaction analysis unit 12 analyzes which page of the shared material having a plurality of pages is displayed when the hidden participant makes a voice.
  • the reaction information presentation unit 13 presents information indicating changes in the biological reaction analyzed by the biological reaction analysis unit 12 for the hidden participants who are not displayed on the screen of the user terminal 200.
  • the reaction information presentation unit 13 presents information indicating changes in the biological reaction to the organizer of the online session.
  • information indicating the change in the biological reaction analyzed for the non-display participant is displayed.
  • the reaction information presenting unit 13 may present information indicating a change in emotions in place of or in addition to the information indicating a change in a biological reaction.
  • the emotional element neutral, calm, joy, surprise, sadness, anger, fear, or disgust
  • joy and surprise are defined as “pleasant” emotions
  • sadness, anger, fear and disgust are defined as “unpleasant” emotions, which are analyzed by the biological reaction analysis unit 12.
  • information indicating either "pleasant” or "unpleasant” emotions may be presented.
  • the reaction information presenting unit 13 displays a dashboard screen in which identification information (name, nickname, ID, etc.) of hidden participants is displayed on the user terminal 200 of the organizer, and the organizer chooses from among them.
  • identification information name, nickname, ID, etc.
  • FIG. 3 is a diagram showing an example of information indicating a change in emotion displayed on the user terminal 200 in this way.
  • FIG. 3A shows the scores for each of a plurality of emotional elements analyzed based on facial expressions or voice qualities in chronological order at frame image intervals or predetermined time intervals (for example, 500 millisecond intervals). It is a line graph.
  • FIG. 3B shows the average value (average score throughout the online session) of a plurality of scores obtained in a time series as shown in FIG. 3A for each of the plurality of emotional elements.
  • an example of displaying a score of each emotion element is shown, but the present invention is not limited to this. For example, calculate a score that shows the degree of concentration for an online session based on changes in eyes or movement of the face, and display the score in a line graph in chronological order, or display the average score throughout the online session. You may do it.
  • a score indicating the degree of calm among emotional elements is calculated, and the score is displayed in a line graph in chronological order, or the average score throughout an online session is displayed. You may try to do it.
  • the reaction information presentation unit 13 refers to a participant whose face image is set to be displayed on the screen (for example, a participant whose camera is set to be turned on, hereinafter referred to as a display participant). Is presented to the organizer's user terminal 200, while information indicating changes in the biological reaction is presented to the organizer's user terminal 200 for non-display participants who are set not to display the face image on the screen. You may do it.
  • the organizer's user terminal 200 is divided into small screens for the number of participants, for example, a face image is displayed on the small screen for display participants, and a biological reaction is displayed on the small screen for non-display participants. It is possible to display information indicating changes.
  • the small screens for the number of people may be displayed all at once on the display, or only the small screens of some participants may be displayed on the display so that they can be scrolled.
  • the organizer may be able to specify display participants and / or non-display participants to be displayed to display information indicating changes in biological reactions or information indicating changes in emotions.
  • a face image is displayed for the display participant and a change in the biological reaction for the non-display participant. Or the analysis result of emotional change is displayed. Therefore, in an environment where an online session is held by a plurality of participants, the organizer can grasp the situation of the display participant whose face image is displayed on the screen from the face image, while the face. For non-display participants whose images are not displayed on the screen, the situation can be grasped by information indicating changes in biological reactions or emotions. As a result, the organizer can grasp the state of the participants in a mode suitable for each of the display / non-display of the face image by the participants.
  • the processing of the biological reaction analysis unit 12 and the reaction information presentation unit 13 described above may be performed in real time when the moving image acquisition unit 11 acquires the moving images of a plurality of participants, or may be performed in real time. It may be performed ex post facto using the moving image stored in 101.
  • the participant who is set not to display the face image on the screen is the participant who is set to turn off the camera of the user terminal 200, but the participant is not limited to this.
  • the participant is not limited to this.
  • the participant when only shared materials are displayed on the screen, even if the participant has the camera turned on, the face image is not displayed on the screen while the shared materials are displayed. Become a display participant.
  • the biological reaction analysis unit 12 may also perform a biological reaction on a display participant whose face image is displayed on the screen of the user terminal 200 during an online session based on the moving image acquired by the moving image acquisition unit 11. The change may be analyzed.
  • the reaction information presentation unit 13 may present information indicating a change (or emotional change) in the biological reaction analyzed for the non-display participant and the display participant by the biological reaction analysis unit 2.
  • the biological reaction analysis unit 2 For the display participants, it is possible to grasp the situation from the face image displayed on the screen, but in addition to this, by presenting information indicating changes in biological reactions (or changes in emotions), the organizer It is possible to grasp the state of the display participants from both the image and the analysis result.
  • changes in biological reactions (or emotional changes) analyzed for the displayed participants. ) May be presented to the organizer by the organizer or the display participant from the user terminal 200.
  • the organizer or the hidden participant can specify from the user terminal 200 whether or not to present the organizer with information indicating the change (or emotional change) of the biological reaction analyzed for the hidden participant. You may do it.
  • the reaction information presentation unit 13 is a participant (only a hidden participant or a participant including a display participant) based on a change in the biological reaction regarding at least one of the eye movement and the face movement. Any of all of them may be used. The same shall apply hereinafter).
  • the heat map may be projected and displayed on the shared material on the screen. good.
  • the heat map referred to here is, for example, a map in which the color becomes darker as the place where a plurality of participants see more.
  • the reaction information presentation unit 13 heats on the shared material on the screen based on the analysis result regarding the voice as to which part (page) of the shared material is displayed when the participant makes a voice.
  • the map may be projected and displayed.
  • the heat map referred to here is, for example, a map in which the color becomes darker as the page displayed when a plurality of participants make a lot of voices among the shared materials having a plurality of pages.
  • the reaction information presentation unit 13 has a first analysis result regarding at least one of the line of sight and the movement of the face as to where the participant was looking at the shared material being displayed, and which part of the shared material is.
  • a heat map may be projected and displayed based on the second analysis result regarding the voice as to whether the participant made a voice when it was displayed.
  • the heat map referred to here is, for example, a map in which the color of a specific area in the page reflecting the first analysis result and the color of the entire page reflecting the second analysis result are overlapped.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

オンラインセッション中に参加者について得られる動画像を取得する動画像取得部１１と、動画像取得部１１により取得された動画像に基づいて、少なくともオンラインセッション中に画面に顔画像が表示されていない非表示参加者について生体反応の変化を解析する生体反応解析部１２と、生体反応解析部１２により解析された生体反応の変化を示す情報を提示する反応情報提示部１３とを備え、複数人の参加者でオンラインセッションが行われる環境において、顔画像が画面に表示されるように設定されている参加者については少なくとも顔画像が提示され、顔画像が画面に表示されないように設定されている参加者については少なくとも生体反応の変化の解析結果が提示されるようにして、参加者による撮影画像の表示／非表示の切り替えに応じて、それぞれに適した態様で参加者の様子を把握することができるようにする。

Description

反応解析システムおよび反応解析装置
　本発明は、反応解析システムおよび反応解析装置に関し、特にオンラインセッションに参加しているユーザの生体反応を解析するシステムおよび装置に関するものである。
　従来、複数人が参加するオンライン会議などにおいて、カメラで撮影した参加者の画像を画面に表示させることによって参加者の様子を把握できるようにしたシステムが知られている。また、オンライン会議などにおいて共有資料をメイン画面に表示している際に、参加者の顔画像を小画面に表示させることによって参加者の様子を把握できるようにしたシステムも知られている（例えば、特許文献１参照）。
　一方、テレビ電話において、使用者が自分の顔をそのまま相手の画面に表示させることを嫌う傾向があることに鑑みて、会話中の撮影画像から表情の変化を解析し、その解析結果をデフォルトの表情画像に反映させて相手側に送信することが特許文献２に開示されている。特許文献２には、上述の処理を常に行う実施形態の他、通話中にボタン操作を行った場合に上述の処理を行う一方で、ボタン操作を行わない場合はデフォルトの表情画像を相手側に送信する実施形態が開示されている。
　なお、カメラで撮影した人物の顔画像をもとに、その人物の感情を解析する技術も知られている（例えば、特許文献３，４参照）。特許文献３には、複数人の対象者の顔面から取得した表情の情報から感情の表出度合を解析することが開示されている。また、特許文献４には、テレビ会議システムにおいて、話者の映像に含まれる顔画像から視線位置を検出し、話者の心情を推定して、発言中の話者に提示することが開示されている。
特開２０２０－４８１４９号公報 特開２００７－２１３３６４号公報 特開２０１９－５８６２５号公報 特開２００５－２６９２０７号公報
　最近のウェブ会議システムは、カメラのオン／オフ機能を有し、参加者の撮影画像を画面に表示させるか否かを切り替えることができるようになっているものが多い。カメラがオフに設定されていると、参加者の撮影画像が画面に表示されないため、カメラをオフに設定した参加者の様子を他の参加者が把握することはできない。これに対し、上記特許文献２に記載の技術を用いれば、撮影画像から解析される表情の変化を反映させて生成した表情画像を相手側に送信することにより、相手側は送信元の話者の表情の変化を把握することが可能である。
　しかしながら、特許文献２に記載のシステムでは、デフォルトの表情画像（初期設定画像）を相手側に送信するか、これに話者の表情の変化を反映させて生成した表情画像（編集画像）を相手側に送信するかの何れかであり、話者の撮影画像が相手側に送信されることはない。そのため、撮影画像によって相手側の様子を把握することが一切できないという問題があった。
　本発明は、このような問題を解決するためになされたものであり、複数人でオンラインセッションが行われる環境において、参加者による撮影画像の表示／非表示の切り替えに応じて、それぞれに適した態様で参加者の様子を把握できるようにすることを目的とする。
　上記した課題を解決するために、本発明の反応解析システムでは、複数人の参加者でオンラインセッションが行われる環境において、オンラインセッション中に参加者のユーザ端末から得られる動画像をもとに、少なくともオンラインセッション中にユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応を解析し、その解析結果を提示するようにしている。
　上記のように構成した本発明によれば、複数人でオンラインセッションが行われる環境において、顔画像が画面に表示されるように設定されている参加者については少なくとも顔画像が提示され、顔画像が画面に表示されないように設定されている参加者については少なくとも生体反応の変化の解析結果が提示されるので、参加者による撮影画像の表示／非表示の切り替えに応じて、それぞれに適した態様で参加者の様子を把握することができる。
本実施形態による反応解析システムの全体構成例を示すブロック図である。 本実施形態による反応解析装置の機能構成例を示すブロック図である。 ユーザ端末に表示される感情の変化を示す情報の一例を示す図である。
　以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による反応解析システムの全体構成例を示す図である。図１に示すように、本実施形態の反応解析システムは、反応解析装置１００、複数のユーザ端末２００-1，２００-2，・・・（以下、特に区別しないときは単にユーザ端末２００と記す）およびセッション管理サーバ３００を備えて構成される。これらの反応解析装置１００、ユーザ端末２００およびセッション管理サーバ３００は、インターネットや携帯電話網などの通信ネットワーク５００を介して接続される。
　本実施形態の反応解析システムは、複数人の参加者でオンラインセッションが行われる環境において、少なくともオンラインセッション中にユーザ端末２００の画面に顔画像が表示されていない参加者（以下、非表示参加者という）について、ユーザ端末２００から得られる動画像をもとに生体反応を解析し、その解析結果を提示するシステムである。なお、生体反応の解析を通じて、参加者の感情を解析してもよい。
　オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された複数のユーザ端末２００を通信ネットワーク５００を介して反応解析装置１００およびセッション管理サーバ３００に接続し、当該反応解析装置１００およびセッション管理サーバ３００を通じて複数のユーザ端末２００間で動画像をやり取りできるようにしたものである。複数のユーザ端末２００には、オンラインセッションで動画像をやり取りするために必要なアプリケーションプログラム（以下、セッションアプリという）がインストールされている。
　オンラインセッションで扱う動画像には、ユーザ端末２００を使用するユーザの顔画像（実際には、顔以外の身体の部位や背景の画像も含まれる）や音声が含まれる。ユーザの顔画像と音声は、ユーザ端末２００に備えられた、またはユーザ端末２００に接続されたカメラおよびマイクにより取得され、セッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された各ユーザの顔画像と音声は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。なお、ユーザ端末２００から送信された動画像を反応解析装置１００にて取得し、これを反応解析装置１００からセッション管理サーバ３００に転送するようにしてもよい。あるいは、ユーザ端末２００から動画像を反応解析装置１００およびセッション管理サーバ３００の両方に送信するようにしてもよい。
　また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。ユーザが閲覧する資料画像は、何れかのユーザ端末２００からセッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された資料画像は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。
　以上の動作により、複数のユーザ端末２００のそれぞれにおいて、複数のユーザの顔画像または資料画像がディスプレイに表示され、複数のユーザの音声がスピーカから出力される。ここで、ユーザ端末２００にインストールされているセッションアプリの機能により、ディスプレイの画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のユーザのうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。
　また、ユーザ端末２００にインストールされているセッションアプリの機能により、カメラのオン／オフを切り替えたり、マイクのオン／オフを切り替えたりすることも可能である。例えば、ユーザ端末２００-1においてカメラをオフにした場合、ユーザ端末２００-1のカメラにより撮影された顔画像はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。同様に、ユーザ端末２００-1においてマイクをオフにした場合、ユーザ端末２００-1のマイクにより集音された音声はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。
　本実施形態において、複数のユーザ端末２００-1，２００-2，・・・は、オンラインセッションの主催者（主導者、進行者または管理者を含む）が使用する端末と、オンラインセッションに参加する参加者が使用する端末とを含む。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数の参加者の中の一人であってもよいし、オンラインセッションに参加しない別人であってもよい。なお、以下の説明において、主催者と参加者とを特に区別しないときは「ユーザ」と記す。
　本実施形態において、反応解析装置１００は、複数のユーザ端末２００から送信された動画像を取得し、この動画像に基づいてオンラインセッションの参加者の生体反応を解析する。オンラインセッションの主催者が参加者にもなる場合、主催者の生体反応を解析することは必須ではない。
　図２は、本実施形態による反応解析装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態の反応解析装置１００は、機能構成として、動画像取得部１１、生体反応解析部１２および反応情報提示部１３を備えている。また、本実施形態の反応解析装置１００は、記憶媒体として、動画像記憶部１０１を備えている。
　上記各機能ブロック１０～１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　動画像取得部１１は、オンラインセッション中に各ユーザ端末２００から送信される動画像（顔画像、音声、資料画像）をセッション管理サーバ３００から取得する。動画像取得部１１は、各ユーザ端末２００からセッション管理サーバ３００を介して取得した動画像を、各ユーザを識別可能な情報（例えば、ユーザＩＤ）に関連付けて動画像記憶部１０１に記憶させる。
　セッション管理サーバ３００から取得する顔画像は、各ユーザ端末２００の画面上に表示されるように設定されているものか否か（カメラがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のディスプレイに表示中の顔画像および非表示中の顔画像を含めて、顔画像をセッション管理サーバ３００から取得する。また、セッション管理サーバ３００から取得する音声は、各ユーザ端末２００のスピーカから出力されるように設定されているものか否か（マイクがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のスピーカから出力中の音声および非出力中の音声を含めて、音声をセッション管理サーバ３００から取得する。
　生体反応解析部１２は、動画像取得部１１により取得され動画像記憶部１０１に記憶された動画像に基づいて、オンラインセッション中にユーザ端末２００の画面に顔画像が表示されていない非表示参加者（例えば、カメラをオフに設定している参加者）について、感情の変化に起因して起こる生体反応の変化を解析する。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像を顔画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。
　例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。
　人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの感情の変化に起因して起こる生体反応の変化を解析する。また、生体反応の変化を解析することを通じて、ユーザの感情の変化を解析するようにしてもよい。
　表情の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って、顔の表情がどの表情要素に該当するかを解析する。そして、その解析結果に基づいて、連続するフレーム画像間で表情変化が起きているか否か、表情変化が起きている場合はそれがポジティブな表情変化かネガティブな表情変化か、およびどの程度の大きさの表情変化が起きているかを解析する。
　顔の表情要素は、例えば、中立（neutral）／落ち着き（calm）／喜び（happy）／驚き（surprised）／悲しみ（sad）／怒り（angry）／恐れ（fearful）／嫌悪感（disgust）などである。このうち、喜びおよび驚きはポジティブな表情要素であり、悲しみ、怒り、恐れ、嫌悪感はネガティブな表情要素である。
　生体反応解析部１２は、各フレーム画像における顔の表情について、複数の表情要素ごとに合計１００となるスコアを算出する。例えば、中立＝１０、落ち着き＝１０、喜び＝３０、驚き＝２０、悲しみ＝１０、怒り＝１０、恐れ＝５、嫌悪感＝５といったように、各表情要素に該当する可能性の高さに応じたスコアを表情要素ごとに算出する。そして、例えばスコアが最大の表情要素を、そのフレーム画像における顔の表情として決定する。以下では、フレーム画像ごとに決定される顔の表情のスコア（複数の表情要素について算出されたスコアのうち最大のスコア）を「表情スコア」という。
　生体反応解析部１２は、このようにしてフレーム画像ごとに決定される表情要素およびフレーム画像ごとに算出される表情スコアの少なくとも一方が前フレームから変化したか否かによって、連続するフレーム画像間で表情変化が起きているか否かを判定する。ここで、生体反応解析部１２は、最大スコアの表情要素に変化がない場合に、前フレームからのスコア変化量が所定の閾値以上の場合に表情変化が起きていると判定するようにしてもよい。表情変化の大きさは、表情スコアの前フレームからの変化量によって判定することが可能である。
　また、生体反応解析部１２は、ポジティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのネガティブな表情から現フレームのポジティブな表情に変化した場合に、ポジティブな表情変化が起きていると判定する。一方、生体反応解析部１２は、ネガティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのポジティブな表情から現フレームのネガティブな表情に変化した場合に、ネガティブな表情変化が起きていると判定する。
　ここでは、連続するフレーム画像間での表情変化を解析する例について説明したが、所定の時間区間ごと（例えば、５００ミリ秒ごと）に表情変化を解析するようにしてもよい。これは、以下に述べる目線の変化の解析、脈拍の変化の解析、顔の動きの変化の解析についても同様である。
　目線の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向き（目線）を解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、表示中の共有資料のどこを見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。
　脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。
　顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、表示中の共有資料のどこを見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。
　発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）法などによりベクトル化し、ベクトルの特徴に基づいて、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析する。例えば、発言内容に応じて算出されるベクトルの特徴に基づいて、ベクトルの特徴量と発言内容の種類とを関連付ける情報を格納したデータベース等を利用して、どのような種類の発言内容であるかを推定する。
　別の例として、以下のようにしてもよい。すなわち、生体反応解析部１２は、指定した時間内の発言内容から抽出したワードを辞書（各ワードがポジティブかネガティブかが定義されたもの）と突き合わせ、ポジティブなワードの出現回数とネガティブなワードの出現回数とをカウントすることにより、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析する。
　声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴（例えば、ＭＦＣＣ（メル周波数ケプストラム係数））を特定する。そして、その音響的特徴を表す値に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析する。例えば、顔の表情の解析と同様に、事前に機械学習させた音声解析モデルに従って、音声が中立／落ち着き／喜び／驚き／悲しみ／怒り／恐れ／嫌悪感のどの感情要素に該当するかを解析する。そして、その解析結果に基づいて、所定の時間区間ごとに感情変化が起きているか否か、感情変化が起きている場合はそれがポジティブな感情変化かネガティブな感情変化か、およびどの程度の大きさの感情変化が起きているかを解析する。なお、音声の音響的特徴としてＭＦＣＣは一例であり、これに限定されるものではない。
　また、本実施形態では、生体反応解析部１２は、動画像取得部１１により取得された動画像にける音声に基づいて、画面に表示されていない非表示参加者が、オンラインセッション中において画面に表示されている共有資料のどの部分が表示されているときに声を出したかを解析する。例えば、生体反応解析部１２は、複数のページを有する共有資料のうち、どのページが表示されているときに非表示参加者が声を出したかを解析する。
　反応情報提示部１３は、ユーザ端末２００の画面に表示されていない非表示参加者について生体反応解析部１２により解析された生体反応の変化を示す情報を提示する。例えば、反応情報提示部１３は、生体反応の変化を示す情報をオンラインセッションの主催者に提示する。これにより、主催者が使用するユーザ端末２００の画面には、非表示参加者に関して解析された生体反応の変化を示す情報が表示される。
　なお、反応情報提示部１３は、生体反応の変化を示す情報に代えてまたは加えて、感情の変化を示す情報を提示するようにしてもよい。例えば、生体反応解析部１２により解析される感情要素（中立、落ち着き、喜び、驚き、悲しみ、怒り、恐れ、嫌悪感の何れか）を提示するようにしてもよい。あるいは、喜びおよび驚きの２つを「快」の感情と定義する一方、悲しみ、怒り、恐れおよび嫌悪感の４つを「不快」の感情と定義し、生体反応解析部１２により解析される感情要素に基づいて、「快」または「不快」の何れかの感情を示す情報を提示するようにしてもよい。
　例えば、反応情報提示部１３は、非表示参加者の識別情報（氏名、ニックネームまたはＩＤ等）が一覧表示されたダッシュボード画面を主催者のユーザ端末２００に表示させ、その中から主催者が何れかの非表示参加者を指定したときに、当該指定された非表示参加者に関する生体反応の変化を示す情報または感情の変化を示す情報を表示させるようにすることが可能である。図３は、このようにしてユーザ端末２００に表示される感情の変化を示す情報の一例を示す図である。
　図３（ａ）は、顔の表情または声質をもとに解析される複数の感情要素ごとのスコアを、フレーム画像間隔または所定の時間間隔（例えば、５００ミリ秒間隔）で時系列に表した折れ線グラフである。図３（ｂ）は、複数の感情要素ごとに、図３（ａ）のように時系列で得られる複数のスコアの平均値（オンラインセッションを通しての平均スコア）を示したものである。
　ここでは、生体反応の変化を示す情報または感情の変化を示す情報の一例として、各感情要素のスコアを表示する例を示したが、本発明はこれに限定されない。例えば、目線の変化または顔の動きをもとにオンラインセッションに対する集中度を表すスコアを算出し、そのスコアを折れ線グラフで時系列に表示したり、オンラインセッションを通しての平均スコアを表示したりするようにしてもよい。また、脈拍の変化をもとに、感情要素のうち落ち着き（calm）の程度を表すスコアを算出し、そのスコアを折れ線グラフで時系列に表示したり、オンラインセッションを通しての平均スコアを表示したりするようにしてもよい。あるいは、顔の表情、発言内容または音質をもとにポジティブ度またはネガティブ度を表すスコアを算出し、そのスコアを折れ線グラフで時系列に表示したり、オンラインセッションを通しての平均スコアを表示したりするようにしてもよい。
　また、反応情報提示部１３は、顔画像が画面に表示されるように設定されている参加者（例えば、カメラをオンに設定している参加者。以下、表示参加者という）については顔画像を主催者のユーザ端末２００に提示する一方で、顔画像が画面に表示されないように設定されている非表示参加者については生体反応の変化を示す情報を主催者のユーザ端末２００に提示するようにしてもよい。主催者のユーザ端末２００では、例えば、参加者の人数分の小画面に分割し、表示参加者用の小画面には顔画像を表示させ、非表示参加者用の小画面には生体反応の変化を示す情報を表示させるようにすることが可能である。なお、人数分の小画面は、ディスプレイに全てが一度に表示されるようにしてもよいし、ディスプレイに一部の参加者の小画面のみを表示してスクロールできるようにしてもよい。あるいは、生体反応の変化を示す情報または感情の変化を示す情報を表示させる対象の表示参加者および／または非表示参加者を主催者が指定できるようにしてもよい。
　以上詳しく説明したように、本実施形態によれば、オンラインセッションの主催者が使用するユーザ端末２００の画面において、表示参加者については顔画像が表示され、非表示参加者については生体反応の変化または感情の変化の解析結果が表示される。このため、主催者は、複数人の参加者でオンラインセッションが行われる環境において、顔画像が画面に表示されている表示参加者についてはその顔画像によって様子を把握することができる一方で、顔画像が画面に表示されていない非表示参加者については、生体反応の変化または感情の変化を示す情報によって様子を把握することができる。これにより、主催者は、参加者による顔画像の表示／非表示の切り替えに応じて、それぞれに適した態様で参加者の様子を把握することが可能である。
　以上説明した生体反応解析部１２および反応情報提示部１３の処理は、動画像取得部１１が複数の参加者の動画像を取得したときにリアルタイムに行うようにしてもよいし、動画像記憶部１０１に記憶された動画像を用いて事後的に行うようにしてもよい。
　上記実施形態において、顔画像が画面に表示されないように設定されている参加者は、ユーザ端末２００のカメラをオフに設定している参加者であると説明したが、これに限定されない。例えば、画面に共有資料のみが表示されているときは、カメラをオンに設定している参加者であっても、共有資料の表示中は顔画像が画面に表示されないように設定されている非表示参加者となる。
　また、上記実施形態では、非表示参加者についてのみ生体反応の変化を解析する例について説明したが、本発明はこれに限定されない。例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像に基づいて、オンラインセッション中にユーザ端末２００の画面に顔画像が表示されている表示参加者についても、生体反応の変化を解析するようにしてもよい。
　この場合、反応情報提示部１３は、生体反応解析部２により非表示参加者および表示参加者について解析された生体反応の変化（または感情の変化）を示す情報を提示するようにしてもよい。表示参加者については、画面に表示される顔画像によって様子を把握することが可能であるが、これに加えて生体反応の変化（または感情の変化）を示す情報を提示することにより、主催者は、画像と解析結果の両面から表示参加者の様子を把握することが可能である。
　生体反応解析部１２がオンラインセッションの参加者の全員（表示参加者および非表示参加者）について生体反応の変化を解析する場合において、表示参加者について解析された生体反応の変化（または感情の変化）を示す情報を主催者に提示するか否かを、主催者または表示参加者がユーザ端末２００から指定できるようにしてもよい。同様に、非表示参加者について解析された生体反応の変化（または感情の変化）を示す情報を主催者に提示するか否かを、主催者または非表示参加者がユーザ端末２００から指定できるようにしてもよい。
　また、上記実施形態において、反応情報提示部１３は、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化に基づいて参加者（非表示参加者のみ、または表示参加者を含む参加者の全員の何れでもよい。以下、同様）が表示中の共有資料のどこを見ていたかという解析結果をもとに、画面上の共有資料の上にヒートマップを投影して表示させるようにしてもよい。ここでいうヒートマップは、例えば、複数の参加者が多く見ている場所ほど色が濃くなるようなマップである。
　あるいは、反応情報提示部１３は、共有資料のどの部分（ページ）が表示されているときに参加者が声を出したかという音声に関する解析結果をもとに、画面上の共有資料の上にヒートマップを投影して表示させるようにしてもよい。ここでいうヒートマップは、例えば、複数のページを有する共有資料のうち、複数の参加者が多く声を出したときに表示されていたページほど色が濃くなるようなマップである。
　更に別の例として、反応情報提示部１３は、参加者が表示中の共有資料のどこを見ていたかという目線および顔の動きの少なくとも一方に関する第１の解析結果と、共有資料のどの部分が表示されているときに参加者が声を出したかという音声に関する第２の解析結果とをもとに、ヒートマップを投影して表示させるようにしてもよい。ここでいうヒートマップは、例えば、第１の解析結果を反映させたページ内の特定エリアの色と、第２の解析結果を反映させたページ全体の色とが重なったマップである。
　なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１１　動画像取得部
　１２　生体反応解析部
　１３　反応情報提示部

Claims (12)

  1. 　複数人の参加者でオンラインセッションが行われる環境において、上記参加者の生体反応を解析する反応解析システムであって、
    　上記オンラインセッション中に上記参加者のユーザ端末から送信される動画像を取得する動画像取得部と、
    　上記動画像取得部により取得された動画像に基づいて、少なくとも上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応の変化を解析する生体反応解析部と、
    　上記生体反応解析部により少なくとも上記非表示参加者について解析された上記生体反応の変化を示す情報を提示する反応情報提示部とを備えた
    ことを特徴とする反応解析システム。
  2. 　上記生体反応解析部は、上記動画像取得部により取得された動画像に基づいて、上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されている参加者である表示参加者についても、上記生体反応の変化を解析し、
    　上記反応情報提示部は、上記生体反応解析部により上記非表示参加者および上記表示参加者について解析された上記生体反応の変化を示す情報を提示する
    ことを特徴とする請求項１に記載の反応解析システム。
  3. 　上記生体反応解析部は、上記動画像取得部により取得された動画像にける顔画像に基づいて、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化を解析することにより、参加者が上記画面に表示されている共有資料のどこを見ているかを解析し、
    　上記反応情報提示部は、上記参加者が上記画面に表示されている共有資料のどこを見ているかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする請求項１または２に記載の反応解析システム。
  4. 　上記生体反応解析部は、上記動画像取得部により取得された動画像にける音声に基づいて、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかを解析し、
    　上記反応情報提示部は、上記オンラインセッション中に上記共有資料のどの部分が表示されているときに参加者が声を出したかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする請求項１または２に記載の反応解析システム。
  5. 　上記反応情報提示部は、上記生体反応の変化を示す情報を上記オンラインセッションの主催者に提示することを特徴とする請求項１～４の何れか１項に記載の反応解析システム。
  6. 　上記生体反応の変化を示す情報を上記主催者に提示するか否かを、上記主催者または上記参加者が指定可能としたことを特徴とする請求項５に記載の反応解析システム。
  7. 　上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記参加者の感情の変化を解析し、
    　上記反応情報提示部は、上記生体反応の変化を示す情報に代えてまたは加えて、上記感情の変化を示す情報を提示する
    ことを特徴とする請求項１～６の何れか１項に記載の反応解析システム。
  8. 　複数人の参加者で行われるオンラインセッション中に上記参加者について得られる動画像に基づいて、少なくとも上記オンラインセッション中にユーザ端末の画面に顔画像が表示されていない参加者である非表示参加者について、生体反応の変化を解析する生体反応解析部と、
    　上記生体反応解析部により少なくとも上記非表示参加者について解析された上記生体反応の変化を示す情報を提示する反応情報提示部とを備えた
    ことを特徴とする反応解析装置。
  9. 　上記生体反応解析部は、上記動画像に基づいて、上記オンラインセッション中に上記ユーザ端末の画面に顔画像が表示されている参加者である表示参加者についても、上記生体反応の変化を解析し、
    　上記反応情報提示部は、上記生体反応解析部により上記非表示参加者および上記表示参加者について解析された上記生体反応の変化を示す情報を提示する
    ことを特徴とする請求項８に記載の反応解析装置。
  10. 　上記生体反応解析部は、上記動画像にける顔画像に基づいて、目線の動きおよび顔の動きの少なくとも一方に関する生体反応の変化を解析することにより、参加者が上記画面に表示されている共有資料のどこを見ているかを解析し、
    　上記反応情報提示部は、上記参加者が上記画面に表示されている共有資料のどこを見ているかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする請求項８または９に記載の反応解析装置。
  11. 　上記生体反応解析部は、上記動画像にける音声に基づいて、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかを解析し、
    　上記反応情報提示部は、上記オンラインセッション中に上記画面に表示されている共有資料のどの部分が表示されているときに参加者が声を出したかという解析結果をもとに、ヒートマップを上記共有資料に投影して表示させる
    ことを特徴とする請求項８または９に記載の反応解析装置。
  12. 　上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記参加者の感情の変化を解析し、
    　上記反応情報提示部は、上記生体反応の変化を示す情報に代えてまたは加えて、上記感情の変化を示す情報を提示する
    ことを特徴とする請求項８～１１の何れか１項に記載の反応解析装置。
PCT/JP2021/027637 2020-07-31 2021-07-27 反応解析システムおよび反応解析装置 WO2022025024A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022539466A JP7197957B2 (ja) 2020-07-31 2021-07-27 反応解析システムおよび反応解析装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2020/029466 2020-07-31
PCT/JP2020/029466 WO2022024353A1 (ja) 2020-07-31 2020-07-31 反応解析システム

Publications (1)

Publication Number Publication Date
WO2022025024A1 true WO2022025024A1 (ja) 2022-02-03

Family

ID=80035326

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/029466 WO2022024353A1 (ja) 2020-07-31 2020-07-31 反応解析システム
PCT/JP2021/027637 WO2022025024A1 (ja) 2020-07-31 2021-07-27 反応解析システムおよび反応解析装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029466 WO2022024353A1 (ja) 2020-07-31 2020-07-31 反応解析システム

Country Status (2)

Country Link
JP (1) JP7197957B2 (ja)
WO (2) WO2022024353A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333570B1 (ja) * 2022-12-21 2023-08-25 株式会社Shift プログラム、方法、情報処理装置、システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269207A (ja) * 2004-03-18 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報伝達方法及びこの方法を実現するための通信装置とそのプログラム
JP2007213364A (ja) * 2006-02-10 2007-08-23 Nec Corp 画像変換装置、画像変換方法及び画像変換プログラム
JP2008294724A (ja) * 2007-05-24 2008-12-04 Panasonic Corp 画像受信装置
JP2011065467A (ja) * 2009-09-17 2011-03-31 Sharp Corp 会議中継装置及びコンピュータプログラム
US20200169693A1 (en) * 2016-02-03 2020-05-28 Hewlett-Packard Development Company, L.P. Eye gaze angle feedback in a remote meeting

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586131B2 (en) * 2017-07-11 2020-03-10 International Business Machines Corporation Multimedia conferencing system for determining participant engagement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269207A (ja) * 2004-03-18 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報伝達方法及びこの方法を実現するための通信装置とそのプログラム
JP2007213364A (ja) * 2006-02-10 2007-08-23 Nec Corp 画像変換装置、画像変換方法及び画像変換プログラム
JP2008294724A (ja) * 2007-05-24 2008-12-04 Panasonic Corp 画像受信装置
JP2011065467A (ja) * 2009-09-17 2011-03-31 Sharp Corp 会議中継装置及びコンピュータプログラム
US20200169693A1 (en) * 2016-02-03 2020-05-28 Hewlett-Packard Development Company, L.P. Eye gaze angle feedback in a remote meeting

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333570B1 (ja) * 2022-12-21 2023-08-25 株式会社Shift プログラム、方法、情報処理装置、システム

Also Published As

Publication number Publication date
JPWO2022025024A1 (ja) 2022-02-03
JP7197957B2 (ja) 2022-12-28
WO2022024353A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
Colburn et al. The role of eye gaze in avatar mediated conversational interfaces
Bailenson et al. The effect of behavioral realism and form realism of real-time avatar faces on verbal disclosure, nonverbal disclosure, emotion recognition, and copresence in dyadic interaction
US8243116B2 (en) Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications
WO2022025200A1 (ja) 反応解析システムおよび反応解析装置
WO2022025024A1 (ja) 反応解析システムおよび反応解析装置
WO2022024956A1 (ja) 感情解析システムおよび感情解析装置
WO2022025025A1 (ja) 感情解析システムおよび感情解析装置
WO2022024356A1 (ja) 組織属性解析システム
WO2022064622A1 (ja) 感情解析システム
JP7465040B1 (ja) コミュニケーション可視化システム
Torre et al. Exploring the effects of virtual agents’ smiles on human-agent interaction: A mixed-methods study
WO2022201272A1 (ja) 動画像分析プログラム
WO2022230136A1 (ja) 動画像分析システム
JP7197955B1 (ja) ビデオミーティング評価端末
WO2022269802A1 (ja) 動画像分析システム
WO2022269801A1 (ja) 動画像分析システム
WO2022254497A1 (ja) 動画像分析システム
JP7121436B1 (ja) 動画像分析プログラム
JP7121433B1 (ja) 動画像分析プログラム
WO2022230051A1 (ja) 動画像分析システム
WO2022201265A1 (ja) 動画像分析プログラム
WO2022201267A1 (ja) 動画像分析プログラム
WO2022201270A1 (ja) 動画像分析プログラム
WO2023007661A1 (ja) 組織属性解析システムおよび組織属性解析装置
WO2022201268A1 (ja) 動画像分析プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21851125

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022539466

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21851125

Country of ref document: EP

Kind code of ref document: A1