JP7242114B2 - 反応解析システムおよび反応解析装置 - Google Patents

Description

本発明は、反応解析システムおよび反応解析装置に関し、特にオンラインセッションに参加しているユーザの生体反応を解析するシステムおよび装置に関するものである。

従来、監視対象者の撮影画像に基づいて監視対象者の表情を解析し、普段の表情と現在の表情とを比較して、表情が暗い場合にアラートを発する技術が知られている（例えば、特許文献１参照）。この特許文献１には、監視対象者の現在の表情と他者の表情とを比較して、監視対象者の表情が他者の表情より暗い場合にアラートを発することも開示されている。

さらに、テレワークなど在宅勤務をする従業員をウェブカメラで撮影し、その画像をもとに心拍を計測するとともに、ＰＣマイクにより取得した音声から感情変化などを推定する技術も知られている（例えば、非特許文献１参照）。

特開２０１８－１１２８３１号公報 ＡＩさくらさんがこころの不調を早期発見！～新たにテレワーク中の従業員のメンタルヘルス対応も可能に～，2020.06.03，<URL:https://tifana.ai/nwes/20200603/>

上記従来の技術によれば、特定の者について以前（または普段）と現在との感情の違いを推定することが可能である。しかしながら、特定の者の感情変化だけを観察しても、その感情変化が起きている状況を捉えて適切な対応をとることができない場合がある。例えば、特許文献１に記載の技術では、監視対象者の表情が普段と比べて暗い場合にアラートを発するが、他の者も同様に暗い表情をしている状況の場合に、監視対象者についてアラートを発するのが適切ではないことがあり得る。

本発明は、同じ団体で複数回のオンラインセッションが行われる環境において、オンラインセッションの参加者に起きている反応に加えてその状況も捉えることができるようにすることを目的とする。

上記した課題を解決するために、本発明の反応解析システムでは、同じ団体で複数回のオンラインセッションが行われる環境において、複数回のオンラインセッションごとに複数人の参加者について得られる動画像をもとに、複数人の参加者のうち比較対象とされる参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する。そして、複数回のオンラインセッションのうち一の対象オンラインセッションに関して解析された生体反応の変化が、対象オンラインセッションより時間的に前の過去オンラインセッションに関して解析された生体反応の変化と比べて特異的か否かを判定し、比較対象とされる参加者うち一の参加者には起きていて一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析するようにしている。

上記のように構成した本発明によれば、同じ団体で複数回のオンラインセッションが行われる環境において、比較対象とされた参加者のうち、他の参加者の生体反応が以前と比べて変わっていない中で一の参加者についてのみ以前と変わっている特異的な生体反応のセッション間変化が解析されるので、一の参加者の生体反応について起きている以前からの特異的なセッション間変化に加えて、当該一の参加者についてのみそのような変化が起きているという特異的な状況も捉えることができる。

本実施形態による反応解析システムの全体構成例を示すブロック図である。 本実施形態による反応解析装置の機能構成例を示すブロック図である。 変形例に係る反応解析装置の機能構成例を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による反応解析システムの全体構成例を示す図である。図１に示すように、本実施形態の反応解析システムは、反応解析装置１００、複数のユーザ端末２００_-1，２００_-2，・・・（以下、特に区別しないときは単にユーザ端末２００と記す）およびセッション管理サーバ３００を備えて構成される。これらの反応解析装置１００、ユーザ端末２００およびセッション管理サーバ３００は、インターネットや携帯電話網などの通信ネットワーク５００を介して接続される。

本実施形態の反応解析システムは、同じ団体で複数回のオンラインセッションが行われる環境において、複数人の参加者のうち比較対象とされる参加者（複数人の参加者の一部または全員）の生体反応を解析し、他の参加者の生体反応が以前と比べて変わっていない中で一の参加者についてのみ以前と変わっている特異的な生体反応のセッション間変化（詳しくは後述する）を解析するシステムである。なお、生体反応の解析を通じて参加者の感情の変化を解析し、特異的な感情のセッション間変化を解析するようにしてもよい。

オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された複数のユーザ端末２００を通信ネットワーク５００を介して反応解析装置１００およびセッション管理サーバ３００に接続し、当該反応解析装置１００およびセッション管理サーバ３００を通じて複数のユーザ端末２００間で動画像をやり取りできるようにしたものである。複数のユーザ端末２００には、オンラインセッションで動画像をやり取りするために必要なアプリケーションプログラム（以下、セッションアプリという）がインストールされている。

本実施形態において対象とするオンラインセッションは、同じ団体で行われる複数回のセッションである。同じ団体によるオンラインセッションは、同じ参加者またはほぼ同じ参加者で複数回実施される。ほぼ同じとは、毎回同じ参加者でオンラインセッションを行うことを基本としつつも、個々の事情で参加できない者がいたり、特別許可を得て参加する者がいたりすることを許容するという意味である。

オンラインセッションで扱う動画像には、ユーザ端末２００を使用するユーザの顔画像（実際には、顔以外の身体の部位や背景の画像も含まれる）や音声が含まれる。ユーザの顔画像と音声は、ユーザ端末２００に備えられた、またはユーザ端末２００に接続されたカメラおよびマイクにより取得され、セッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された各ユーザの顔画像と音声は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。なお、ユーザ端末２００から送信された動画像を反応解析装置１００にて取得し、これを反応解析装置１００からセッション管理サーバ３００に転送するようにしてもよい。あるいは、ユーザ端末２００から動画像を反応解析装置１００およびセッション管理サーバ３００の両方に送信するようにしてもよい。

また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。ユーザが閲覧する資料画像は、何れかのユーザ端末２００からセッション管理サーバ３００に送信される。そして、セッション管理サーバ３００に送信された資料画像は反応解析装置１００によって取得され、反応解析装置１００から各ユーザ端末２００のセッションアプリに送信される。

以上の動作により、複数のユーザ端末２００のそれぞれにおいて、複数のユーザの顔画像または資料画像がディスプレイに表示され、複数のユーザの音声がスピーカから出力される。ここで、ユーザ端末２００にインストールされているセッションアプリの機能により、ディスプレイの画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のユーザのうち１人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。

また、ユーザ端末２００にインストールされているセッションアプリの機能により、カメラのオン／オフを切り替えたり、マイクのオン／オフを切り替えたりすることも可能である。例えば、ユーザ端末２００_-1においてカメラをオフにした場合、ユーザ端末２００_-1のカメラにより撮影された顔画像はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。同様に、ユーザ端末２００_-1においてマイクをオフにした場合、ユーザ端末２００_-1のマイクにより集音された音声はセッション管理サーバ３００および反応解析装置１００に送信されるが、反応解析装置１００から各ユーザ端末２００に送信されない。

本実施形態において、複数のユーザ端末２００_-1，２００_-2，・・・は、オンラインセッションの主催者（主導者、進行者または管理者を含む）が使用する端末と、オンラインセッションに参加する参加者が使用する端末とを含む。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数の参加者の中の一人であってもよいし、オンラインセッションに参加しない別人であってもよい。

本実施形態において、反応解析装置１００は、複数のユーザ端末２００から送信された動画像を取得し、この動画像に基づいてオンラインセッションの参加者の生体反応または感情を解析する。

本実施形態では、オンラインセッションに参加する複数の参加者の中から、比較対象とする参加者（以下、比較対象参加者という）を指定することが可能である。比較対象参加者は、複数の参加者の一部または全員とすることが可能である。比較対象参加者の中にオンラインセッションの主催者を含ませることも可能である。また、本実施形態では、比較対象参加者の中から何れか１人または複数人を解析対象者として指定し、指定した解析対象者について、他者（解析対象者以外の者）には起きていなくて解析対象者についてのみ起きている、以前とは異なる特異的な生体反応または感情のセッション間変化を解析する。比較対象参加者および解析対象者の指定は、例えばオンラインセッションの主催者が行う。なお、比較対象参加者の指定は行わず、全ての参加者が自動的に比較対象参加者として設定されるようにしてもよい。

図２は、本実施形態による反応解析装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態の反応解析装置１００は、機能構成として、対象者指定部１０、動画像取得部１１、生体反応解析部１２、特異判定部１３、関連事象特定部１４および解析結果通知部１６を備えている。また、本実施形態の反応解析装置１００は、記憶媒体として、動画像記憶部１０１を備えている。

上記各機能ブロック１０～１６は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

対象者指定部１０は、オンラインセッションの複数人の参加者の中から１人または複数人を解析対象者として指定する。具体的には、対象者指定部１０は、主催者のユーザ端末２００から反応解析装置１００に送られてくる指示に従って、何れかの参加者を解析対象者として指定する。１人の解析対象者が指定された場合、当該１人の解析対象者が特許請求の範囲の「一の参加者」に相当する。また、複数人の解析対象者が指定された場合、当該複数人の解析対象者のそれぞれが特許請求の範囲の「一の参加者」に相当する。

また、対象者指定部１０は、複数人の参加者の中から複数人を比較対象参加者として指定する。具体的には、対象者指定部１０は、主催者のユーザ端末２００から反応解析装置１００に送られてくる指示に従って、複数人の参加者の一部または全員を比較対象参加者として指定する。指定する比較対象参加者の人数は、指定する解析対象者の人数よりも多くする。解析対象者は、この比較対象参加者の中に含まれる一部の参加者である。

例えば、オンラインセッションに参加する主催者と、主催者以外の１人の参加者との合計２人を比較対象参加者として指定し、当該１人の参加者を解析対象者として指定することが可能である。主催者と主催者以外の１人の参加者との組み合わせを複数組指定することを可能としてもよい。また、主催者以外の参加者全員を比較対象参加者として指定し、その中の１人または複数人の参加者を解析対象者として指定することも可能である。なお、上述したように、主催者以外の参加者全員が自動的に比較対象参加者として指定されるようにし、解析対象者のみを主催者が指定するようにしてもよい。

動画像取得部１１は、オンラインセッション中に各ユーザ端末２００から送信される動画像（顔画像、音声、資料画像）をセッション管理サーバ３００から取得する。動画像取得部１１は、各ユーザ端末２００からセッション管理サーバ３００を介して取得した動画像を、各ユーザを識別可能な情報（例えば、ユーザＩＤ）に関連付けて動画像記憶部１０１に記憶させる。

セッション管理サーバ３００から取得する顔画像は、各ユーザ端末２００の画面上に表示されるように設定されているものか否か（カメラがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のディスプレイに表示中の顔画像および非表示中の顔画像を含めて、顔画像をセッション管理サーバ３００から取得する。また、セッション管理サーバ３００から取得する音声は、各ユーザ端末２００のスピーカから出力されるように設定されているものか否か（マイクがオンに設定されているかオフに設定されているか）は問わない。すなわち、動画像取得部１１は、各ユーザ端末２００のスピーカから出力中の音声および非出力中の音声を含めて、音声をセッション管理サーバ３００から取得する。

生体反応解析部１２は、動画像取得部１１により取得され動画像記憶部１０１に記憶された動画像（ユーザ端末２００の画面上に表示中の顔画像か否か、ユーザ端末２００のスピーカから出力中の音声か否かは問わない）に基づいて、複数人の参加者のうち対象者指定部１０により指定された比較対象参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する。なお、比較対象参加者以外の参加者を含めて、複数人の参加者のそれぞれについて生体反応の変化を解析するようにしてもよい。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画像を顔画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の変化を解析する。

例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。

人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの感情の変化に起因する生体反応の変化を解析する。また、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析するようにしてもよい。本実施形態において生体反応解析部１２は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。

表情の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って、顔の表情がどの表情要素に該当するかを解析する。そして、その解析結果に基づいて、連続するフレーム画像間で表情変化が起きているか否か、表情変化が起きている場合はそれがポジティブな表情変化かネガティブな表情変化か、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を算出する。

顔の表情要素は、例えば、中立（neutral）／落ち着き（calm）／喜び（happy）／驚き（surprised）／悲しみ（sad）／怒り（angry）／恐れ（fearful）／嫌悪感（disgust）などである。このうち、喜びおよび驚きはポジティブな表情要素であり、悲しみ、怒り、恐れ、嫌悪感はネガティブな表情要素である。

生体反応解析部１２は、各フレーム画像における顔の表情について、複数の表情要素ごとに合計１００となるスコアを算出する。例えば、中立＝１０、落ち着き＝１０、喜び＝３０、驚き＝２０、悲しみ＝１０、怒り＝１０、恐れ＝５、嫌悪感＝５といったように、各表情要素に該当する可能性の高さに応じたスコアを表情要素ごとに算出する。そして、例えばスコアが最大の表情要素を、そのフレーム画像における顔の表情として決定する。以下では、フレーム画像ごとに決定される顔の表情のスコア（複数の表情要素について算出されたスコアのうち最大のスコア）を「表情スコア」という。

生体反応解析部１２は、このようにしてフレーム画像ごとに決定される表情要素およびフレーム画像ごとに算出される表情スコアの少なくとも一方が前フレームから変化したか否かによって、連続するフレーム画像間で表情変化が起きているか否かを判定する。ここで、生体反応解析部１２は、最大スコアの表情要素に変化がない場合に、前フレームからのスコア変化量が所定の閾値以上の場合に表情変化が起きていると判定するようにしてもよい。表情変化の大きさは、表情スコアの前フレームからの変化量によって判定することが可能である。

また、生体反応解析部１２は、ポジティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのネガティブな表情から現フレームのポジティブな表情に変化した場合に、ポジティブな表情変化が起きていると判定する。一方、生体反応解析部１２は、ネガティブな表情の表情スコアが前フレームから増加した場合、および、前フレームのポジティブな表情から現フレームのネガティブな表情に変化した場合に、ネガティブな表情変化が起きていると判定する。

さらに、生体反応解析部１２は、表情変化の方向（ポジティブ→ポジティブ、ポジティブ→ネガティブ、ネガティブ→ポジティブ、ネガティブ→ネガティブ）と、表情変化の大きさとを説明変数とし、表情変化指標値を目的変数とする所定の関数を用いて、表情変化指標値を算出する。この関数は、例えば、表情が逆転する場合（ポジティブ→ネガティブ、ネガティブ→ポジティブ）には逆転しない場合に比べて表情変化指標値の絶対値が大きくなり、かつ、表情変化の程度が大きいほど表情変化指標値の絶対値が大きくなるような関数で、表情がポジティブな方向に変化する場合（ポジティブ→ポジティブ、ネガティブ→ポジティブ）は正の値となり、表情がネガティブな方向に変化する場合（ポジティブ→ネガティブ、ネガティブ→ネガティブ）は負の値となるような関数とすることが可能である。

ここでは、連続するフレーム画像間での表情変化を解析する例について説明したが、所定の時間区間ごと（例えば、５００ミリ秒ごと）に表情変化を解析するようにしてもよい。これは、以下に述べる目線の変化の解析、脈拍の変化の解析、顔の動きの変化の解析についても同様である。

目線の変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向き（目線）を解析する。そして、生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を算出する。例えば、生体反応解析部１２は、フレーム画像ごとに正面からの視線の角度を算出し、当該角度の複数フレーム間の移動平均または移動分散を目線変化指標値として算出する。

なお、生体反応解析部１２は、ユーザがどこを見ているかを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。そして、生体反応解析部１２は、目線の変化の解析結果に応じた目線変化指標値を算出する。

例えば、生体反応解析部１２は、見ている場所（話者の顔、共有資料、画面の外）と、目線の動きの大きさと、目線の動きの頻度とを説明変数とし、目線変化指標値を目的変数とする所定の関数を用いて、目線変化指標値を算出する。この関数は、例えば、見ている場所によって目線変化指標値の絶対値が変わり、目線の動きが大きいほど、また目線の動きの頻度が大きいほど目線変化指標値の絶対値が大きくなるような関数とすることが可能である。

脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部１２は、脈拍の変化の解析結果に応じた脈拍変化指標値を算出する。例えば、生体反応解析部１２は、各フレームごとに特定した脈拍値の、複数フレーム間の移動平均または移動分散を脈拍変化指標値として算出する。

顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析する。そして、生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を算出する。例えば、生体反応解析部１２は、フレーム画像ごとに正体時との顔の向きの差分をロール・ピッチ・ヨーで算出し、当該差分の複数フレーム間の移動平均または移動分散を顔向き変化指標値として算出する。

なお、生体反応解析部１２は、ユーザがどこを見ているかを解析するようにしてもよい。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指標値を算出する。

例えば、生体反応解析部１２は、見ている場所（話者の顔、共有資料、画面の外）と、その場所を見ている向きと、顔の動きの大きさと、顔の動きの頻度とを説明変数とし、顔向き変化指標値を目的変数とする所定の関数を用いて、顔向き変化指標値を算出する。この関数は、例えば、見ている場所およびその場所を見ている向きによって顔向き変化指標値の絶対値が変わり、顔の動きが大きいほど、また顔の動きの頻度が大きいほど顔向き変化指標値の絶対値が大きくなるような関数とすることが可能である。

発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）法などによりベクトル化し、ベクトルの特徴に基づいて、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を算出する。例えば、発言内容に応じて算出されるベクトルの特徴に基づいて、ベクトルの特徴量と発言内容の種類とを関連付ける情報を格納したデータベース等を利用して、どのような種類の発言内容であるかを推定する。そして、その推定結果を説明変数とし、発言内容指標値を目的変数とする所定の関数を用いて、発言内容指標値を算出するようにすることが可能である。

別の例として、以下のようにしてもよい。すなわち、生体反応解析部１２は、指定した時間内の発言内容から抽出したワードを辞書（各ワードがポジティブかネガティブかが定義されたもの）と突き合わせ、ポジティブなワードの出現回数とネガティブなワードの出現回数とをカウントする。そして、生体反応解析部１２は、それぞれのカウント値を説明変数とし、発言内容指標値を目的変数とする所定の関数を用いて、発言内容指標値を算出する。

声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴を表す値に基づいて、声質変化指標値を算出する。例えば、生体反応解析部１２は、音声の音響的特徴としてＭＦＣＣ（メル周波数ケプストラム係数）を算出し、当該ＭＦＣＣの所定の時間区間ごとの移動平均または移動分散を声質変化指標値として算出する。ＭＦＣＣは一例であり、これに限定されるものではない。

なお、生体反応解析部１２は、音声の音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を算出するようにしてもよい。例えば、顔の表情の解析と同様に、事前に機械学習させた音声解析モデルに従って、音声が中立／落ち着き／喜び／驚き／悲しみ／怒り／恐れ／嫌悪感のどの感情要素に該当するかを解析する。そして、その解析結果に基づいて、所定の時間区間ごとに感情変化が起きているか否か、感情変化が起きている場合はそれがポジティブな感情変化かネガティブな感情変化か、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた声質変化指標値を算出する。

生体反応解析部１２は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも１つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。

特異判定部１３は、複数回のオンラインセッションのうち一のオンラインセッション（以下、過去オンラインセッションという）に関して比較対象参加者について解析された生体反応の変化が、当該対象オンラインセッションより時間的に前のオンラインセッション（以下、過去オンラインセッションという）に関して比較対象参加者について解析された生体反応の変化と比べて特異的か否かを判定し、比較対象参加者うち解析対象者（一の参加者）には起きていて解析対象者以外には起きていない特異的な生体反応のセッション間変化を解析する。

対象オンラインセッションは、例えば現在実行中のオンラインセッションまたは直近で行われたオンラインセッションとすることが可能である。あるいは、対象オンラインセッションは、動画像記憶部１０１に動画像が記憶されている複数回のオンラインセッションのうち、主催者により指定された任意のオンラインセッションとすることも可能である。

本実施形態において、特異判定部１３は、生体反応解析部１２により算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が以前と比べて特異的か否か、および解析対象者について解析された生体反応のセッション間変化が他者（解析対象者以外の比較対象参加者）のそれと比べて特異的か否かを判定する。

例えば、特異判定部１３は、複数人の比較対象参加者のそれぞれについて、動画像記憶部１０１に動画像が記憶されている複数回のオンラインセッションのそれぞれごとに、生体反応解析部１２により動画像の所定時間区間ごとに算出された複数の生体反応指標値の分散を算出する。そして、解析対象者に関して対象オンラインセッションについて算出された複数の生体反応指標値の分散と、過去オンラインセッションのそれぞれについて算出された複数の生体反応指標値の分散との対比により、解析対象者に関して対象オンラインセッションについて解析された生体反応の変化が過去オンラインセッションについて解析された生体反応の変化と比べて特異的か（特異的なセッション間変化であるか）否かを判定する。例えば、特異判定部１３は、対象オンラインセッションについて算出した分散と、過去オンラインセッションのそれぞれについて算出した複数の分散との差分が何れも所定値以上である場合に、解析対象者に関して対象オンラインセッションについて解析された生体反応の変化が、過去オンラインセッションについて解析された生体反応の変化と比べて特異的であると判定する。なお、ここでは分散を計算しているが、平均値を計算するようにしてもよい。

解析対象者についての生体反応のセッション間変化が特異的であると判定された場合、特異判定部１３は、解析対象者以外の比較対象参加者についても、過去オンラインセッションと対象オンラインセッションとの間で解析対象者と同様のセッション間変化が起きているか否かを判定する。ここで、解析対象者以外の比較対象参加者について解析対象者と同様のセッション間変化が起きていないと判定された場合、特異判定部１３は、解析対象者について過去オンラインセッションと対象オンラインセッションとの間で検出された特異的な生体反応のセッション間変化を、解析対象者にのみ特有の特異的な生体反応のセッション間変化として特定する。

ここでは、対象オンラインセッションに関して解析された生体反応の変化が、過去オンラインセッションに関して解析された生体反応の変化と比べて特異的か否かを判定する例について説明したが、これに限定されない。例えば、対象オンラインセッションに関して解析された感情の変化が、過去オンラインセッションに関して解析された感情の変化と比べて特異的か否かを判定するようにしてもよい。すなわち、特異判定部１３は、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。

例えば、顔の表情に関して上述のように表情要素に関する表情スコアを算出し、対象オンラインセッションについて算出された表情スコアと、過去オンラインセッションのそれぞれについて算出された表情スコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。

また、音質に関しても表情スコアと同様にして感情要素に関する音質スコアを算出し、対象オンラインセッションについて算出された音質スコアと、過去オンラインセッションのそれぞれについて算出された音質スコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。

また、目線の変化または顔の動きをもとにオンラインセッションに対する集中度を表すスコアを算出し、対象オンラインセッションについて算出されたスコアと、過去オンラインセッションのそれぞれについて算出されたスコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。

また、脈拍の変化をもとに、感情要素のうち落ち着き（calm）の程度を表すスコアを算出し、対象オンラインセッションについて算出されたスコアと、過去オンラインセッションのそれぞれについて算出されたスコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。

また、顔の表情、発言内容または音質をもとにポジティブ度またはネガティブ度を表すスコアを算出し、対象オンラインセッションについて算出されたスコアと、過去オンラインセッションのそれぞれについて算出されたスコアとの対比により、一の参加者には起きていて一の参加者以外には起きていない特異的な感情のセッション間変化を解析するようにしてもよい。

関連事象特定部１４は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化が起きた対象オンラインセッションにおいて解析対象者、他者および環境の少なくとも１つに関して発生している事象を特定する。例えば、関連事象特定部１４は、解析対象者について特異的な生体反応または感情のセッション間変化が起きた対象オンラインセッションにおける解析対象者自身の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応または感情のセッション間変化が起きた対象オンラインセッションにおける他者の言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な生体反応または感情のセッション間変化が起きた対象オンラインセッションにおける環境を動画像から特定する。環境は、例えば画面に表示中の共有資料、解析対象者の背景に写っているものなどである。このような事象を特定することにより、解析対象者の反応または感情の変化に影響を与えた可能性がある事象を捉えることが可能である。

解析結果通知部１６は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化および関連事象特定部１４により特定された事象の少なくとも一方を、解析対象者の指定者（オンラインセッションの主催者）に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者にについて特異的なセッション間変化が起きているか否かを知ることができる。また、特異的なセッション間変化が起きている場合に、オンラインセッションの主催者は、指定した解析対象者に特有の現象として、どのような事象がどのような感情の変化に影響を与えているのかを知ることができる。そして、その把握した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。

以上詳しく説明したように、本実施形態では、同じ団体で複数回のオンラインセッションが行われる環境において、複数回のオンラインセッションごとに複数人の参加者について得られる動画像をもとに、複数人の参加者のうち比較対象参加者のそれぞれについて、生体反応の変化または感情の変化を解析する。そして、複数回のオンラインセッションのうち一の対象オンラインセッションに関して解析された生体反応の変化が、対象オンラインセッションより時間的に前の過去オンラインセッションに関して解析された生体反応の変化と比べて特異的か否かを判定し、比較対象とされる参加者うち一の参加者には起きていて一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析するようにしている。

このように構成した本実施形態によれば、同じ団体で複数回のオンラインセッションが行われる環境において、比較対象とされた参加者のうち、他の参加者の生体反応が以前と比べて変わっていない中で一の参加者についてのみ以前と変わっている特異的な生体反応または感情のセッション間変化が解析されるので、一の参加者の生体反応または感情について起きている以前からの特異的なセッション間変化に加えて、当該一の参加者についてのみそのような変化が起きているという特異的な状況も捉えることができる。

例えば、複数の比較対象参加者の中で解析対象者についてのみ以前と比べてネガティブな感情が増していることとか、主催者の感情は以前と比べて変化していな一方で、解析対象者の感情が以前と比べてポジティブまたはネガティブな感情に変化していることなどを検知することが可能である。このため、オンラインセッションの主催者は、そのように特定した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。

なお、以上説明した生体反応解析部１２、特異判定部１３、関連事象特定部１４および解析結果通知部１６の処理は、動画像取得部１１が今回のオンラインセッションにおいて複数の比較対象参加者の動画像を取得したときにリアルタイムに行うようにしてもよいし、動画像記憶部１０１に記憶された複数回のオンラインセッションの動画像を用いて事後的に行うようにしてもよい。

次に、本実施形態の変形例について説明する。図３は、変形例に係る反応解析装置１００Ａの機能構成例を示すブロック図である。この図３において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図３に示すように、変形例に係る反応解析装置１００Ａは、機能構成として、クラスタリング部１５を更に備えている。また、解析結果通知部１６に代えて解析結果通知部１６Ａを備えている。

クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化のパターンに基づいて、解析対象者（一の参加者）をクラスタリングする。

例えば、クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化のパターンに基づいて、解析対象者について将来発生し得る行動という観点から解析対象者をクラスタリングすることが可能である。一例として、解析対象者がオンラインセッションから離脱する可能性があるか否かという形で解析対象者をクラスタリングすることが可能である。

例えば、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であるかネガティブな感情変化であるか判定する。表情、発言内容、声質に関しては、上述した方法によってポジティブ／ネガティブの判定を行うことが可能である。目線および顔の動きに関しては、例えば、目線、顔の動きの変化が大きいほど（例えば、変化量が所定の閾値以上の場合に）ネガティブな変化と定義する。脈拍に関しては、脈拍の変化が大きいほど（例えば、変化量またはその人の平均脈拍数からの乖離が所定の閾値以上の場合に）ネガティブな変化と定義する。

そして、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であると判定された場合には解析対象者を「離脱の可能性なし」に分類する一方、セッション間変化がネガティブな感情変化であると判定された場合には解析対象者を「離脱の可能性あり」に分類する。

なお、ここでは、特異的であると判定された感情のセッション間変化がポジティブな感情変化／ネガティブな感情変化の何れであるかに応じてクラスタリングを行う例について説明したが、これに限定されない。例えば、ポジティブな感情変化／ネガティブな感情変化という観点に加えて、エンゲージメントの度合いが高い／低いという観点からクラスタリングを行うようにしてもよい。エンゲージメントの度合いは、例えば、目線または顔の動きの変化が大きいほどエンゲージメントの度合いが低いと定義することが可能である。

例えば、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であり、かつ、エンゲージメントの度合いが高いと判定された場合には、解析対象者を「オンラインセッション継続の可能性が最も高い」という第１クラスに分類する。また、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がポジティブな感情変化であり、かつ、エンゲージメントの度合いが低いと判定された場合には、解析対象者を「オンラインセッションの満足度は高いが、離脱の可能性がある」という第２クラスに分類する。

また、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がネガティブな感情変化であり、かつ、エンゲージメントの度合いが高いと判定された場合には、解析対象者を「オンラインセッション継続の可能性が高いが、満足度が低い可能性がある」という第３クラスに分類する。また、クラスタリング部１５は、特異判定部１３により特異的であると判定された感情のセッション間変化がネガティブな感情変化であり、かつ、エンゲージメントの度合いが低いと判定された場合には、解析対象者を「オンラインセッションから離脱の可能性がある」という第４クラスに分類する。

解析結果通知部１６Ａは、特異判定部１３により特異的であると判定された生体反応または感情のセッション間変化、関連事象特定部１４により特定された事象、およびクラスタリング部１５によりクラスタリングされた分類の少なくとも１つを、解析対象者の指定者（オンラインセッションの主催者）に通知する。クラスタリングの結果に基づく所定のアラートなどをオンラインセッションの主催者に通知するようにしてもよい。例えば、クラスタリングの結果、解析対象者がオンラインセッションから離脱する可能性があることが示されている場合に、その解析対象者の識別情報と共にアラートを発するようにしてもよい。

これにより、オンラインセッションの主催者は、指定した解析対象者にについて特異的なセッション間変化が起きているか否かを知ることができる。また、特異的なセッション間変化が起きている場合に、オンラインセッションの主催者は、指定した解析対象者がどの分類にクラスタリングされたかによって、解析対象者に特有の行動の傾向を把握したり、今後起こり得る行動や状態などを予測したりすることができる。そして、それに対して適切な処置を解析対象者に対して行うことが可能となる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１ 動画像取得部
１２ 生体反応解析部
１３ 特異判定部
１４ 関連事象特定部
１５ クラスタリング部
１６，１６Ａ 解析結果通知部
１００，１００Ａ 反応解析装置

Claims (7)

1. 同じ団体で複数回のオンラインセッションが行われる環境において、上記複数回のオンラインセッションごとに複数人の参加者について得られる動画像をもとに、上記参加者の反応を当該オンラインセッションから離脱する可能性があるか否かという形で解析する反応解析システムであって、
   上記複数回のオンラインセッションごとに、当該オンラインセッション中に上記複数人の参加者のそれぞれについてユーザ端末から送信される動画像を取得する動画像取得部と、
   上記動画像取得部により取得された動画像に基づいて、上記複数人の参加者のうち比較対象とされる参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する生体反応解析部と、
   上記複数回のオンラインセッションのうち一の対象オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化が、上記一の対象オンラインセッションより時間的に前の過去オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化と比べて特異的か否かを判定し、上記比較対象とされる参加者のうち上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析する特異判定部とを備え、
   上記特異判定部により特異的であると判定された生体反応のセッション間変化のパターンに基づいて、上記一の参加者を分類するクラスタリング部を更に備え、
   前記分類は、前記特異判定部により特異的であると判定された感情の上記セッション間変化がポジティブな感情変化であるかネガティブな感情変化であるかを判定すると共に、判定された感情の上記セッション間変化がポジティブな感情変化であると判定された場合には上記一の参加者を離脱の可能性なしに分類する一方、前記セッション間変化がネガティブな感情変化であると判定された場合には一の参加者を離脱の可能性ありに分類する、
   ことを特徴とする反応解析システム。
2. 上記複数人の参加者の中から上記一の参加者を解析対象者として指定する対象者指定部を更に備えたことを特徴とする請求項１に記載の反応解析システム。
3. 上記対象者指定部は、上記複数人の参加者の中から上記比較対象とされる参加者を更に指定することを特徴とする請求項２に記載の反応解析システム。
4. 上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記比較対象とされる参加者の感情の変化を解析し、
   上記特異判定部は、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化に代えて、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な感情のセッション間変化を解析する
   ことを特徴とする請求項１～３の何れか１項に記載の反応解析システム。
5. 上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記比較対象とされる参加者の感情の変化を解析し、
   上記特異判定部は、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化に代えて、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な感情のセッション間変化を解析し、
   上記特異判定部により特異的であると判定された感情のセッション間変化のパターンに基づいて、上記一の参加者をクラスタリングするクラスタリング部を更に備えた
   ことを特徴とする請求項１～４の何れか１項に記載の反応解析システム。
6. 同じ団体で複数回のオンラインセッションが行われる環境において、上記オンラインセッションの参加者の反応を当該オンラインセッションから離脱する可能性があるか否かという形で解析する反応解析装置であって、
   上記複数回のオンラインセッションごとに当該オンラインセッション中に複数人の参加者について得られる動画像に基づいて、上記複数人の参加者のうち比較対象とされる参加者のそれぞれについて、感情の変化に起因して起こる生体反応の変化を解析する生体反応解析部と、
   上記複数回のオンラインセッションのうち一の対象オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化が、上記一の対象オンラインセッションより時間的に前の過去オンラインセッションに関して上記比較対象とされる参加者について解析された上記生体反応の変化と比べて特異的か否かを判定し、上記比較対象とされる参加者のうち上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化を解析する特異判定部とを備え、
   上記特異判定部により特異的であると判定された生体反応のセッション間変化のパターンに基づいて、上記一の参加者をクラスタリングするクラスタリング部を更に備え、
   前記分類は、前記特異判定部により特異的であると判定された感情の上記セッション間変化がポジティブな感情変化であるかネガティブな感情変化であるかを判定すると共に、判定された感情の上記セッション間変化がポジティブな感情変化であると判定された場合には上記一の参加者を離脱の可能性なしに分類する一方、前記セッション間変化がネガティブな感情変化であると判定された場合には一の参加者を離脱の可能性ありに分類する、
   たことを特徴とする反応解析装置。
7. 上記生体反応解析部は、上記生体反応の変化の解析を通じて、上記比較対象とされる参加者の感情の変化を解析し、
   上記特異判定部は、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な生体反応のセッション間変化に代えて、上記一の参加者には起きていて上記一の参加者以外には起きていない特異的な感情のセッション間変化を解析する
   ことを特徴とする請求項６に記載の反応解析装置。

Images