JP6249490B2 - 人間の心的状態の評価装置 - Google Patents

Description

本発明は、人間の心的状態の評価技術に関する。

人間の心的、精神状態などを、ある指標にもとづいて客観的に、または定量的に評価する技術が求められている。従来、この種の評価（心的状態の評価という）の手法としては、（i）アンケートによるもの、（ii）被験者の脳波、心拍数、血圧、発汗、呼吸、温度、等の生理反応を測定し、それを利用するもの、が知られている。そのほか、（iii）脳波や心拍数などから得られる生理情報や、非言語情報（ため息、頷き、声の調子など）から得られる観測情報と、アンケートなどの主観評価データと、を学習させ、観測情報から心的状態を推定する方法も提案されている（特許文献１参照）。

特開２０１０−２２６４９号公報 特開２００７−９７６６８号公報 特開２０１３−５２０４９号公報

しかしながら、アンケートによる手法は、定量性やリアルタイム性の点で問題が残されていた。また、生理反応を測定する手法では、被験者の身体にセンサを接着する必要があり、取り扱い上の問題がある。

特許文献１、２に記載の技術では、ある被験者の心的状態を評価するために、その被験者自身の状態（生理情報、観測情報などを含む）のみを観測するにとどまっていた。コミュニケーションにおいて個人の心的状態は「人間関係」の中で大きく変化する。その意味で「関係」の評価は重要であるが、従来ではコミュニケーションにおける「関係」まで含めて評価するには至っていなかった。ここでいう「関係」とは、複数の個人（被験者）の間の関係にかかわる心的状態として把握され、コミュニケーションの基盤にあるコンテクスト共有に関わる感覚や情報が対応する。具体的には、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感などが含まれる。これは、個人の心的状態である、相手に対する好悪、興味、認知、不同意（異論）、妥協、理解不能（聞き流し）、疑問（疑惑）などとは区別されるものである。居場所感とは、その場に溶け込んでいるか、ライブ感とは、その場にいることの実感である。

特許文献３には、対話の同調性を検出する同調性検出装置が開示される。この装置は、第１話者と第２話者それぞれについて生理指標を所定時間測定し、それらを畳み込みすることで、同調性を検出する。この装置は、２人の話者の生理指標の時間軸上のずれが短いほど同調性が高く、そのずれが長いほど同調性が低いことを前提としている。

本発明者は、特許文献３に記載の技術について検討した結果、以下の課題を認識するに至った。
図１（ａ）、（ｂ）は、二人の被験者から得られる生理指標の生データの例を示す波形図である。Ｓ１ａ、Ｓ１ｂは、第１話者、第２話者それぞれから１次的に得られる生理指標の生データを模式的に示す。特許文献３に記載の技術では、図１（ａ）のケースの方が、図１（ｂ）のケースよりも、同調性が高いと判定される。

しかしながら本発明者が検討を行ったところ、複数の話者（被験者）の心的状態に着目したとき、必ずしも図１（ａ）のように生理指標の時間軸上のずれがゼロのときに同調性が高いとは限らず、図１（ｂ）のように、時間軸上のずれは大きくても、波形が近い方が同調性が高いと言える場合もある。このように特許文献３の評価方法では、必ずしも、複数の被験者間の心的状態を反映した指標を得ることができないケースがある。

本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、従来とは異なるアプローチにより、リアルタイムで複数の個人間の関係を評価する技術の提供にある。

本発明のある態様は、複数の被験者間のコミュニケーションにおける、被験者間の関係を評価する評価装置に関する。評価装置は、複数の被験者それぞれを観測し、複数の被験者それぞれについて、それぞれから得られる非言語情報を数値化した時系列信号である第１信号を生成する非言語情報測定部と、複数の被験者それぞれについて得られた第１信号にもとづいて、複数の被験者それぞれの非言語情報のリズムとしての特性に関連する量である第２信号を生成する波形解析部と、複数の被験者それぞれに対応する複数の第２信号の相対的な関係にもとづき、複数の被験者の間の関係にかかわる心的状態を示す指標である第３信号を生成する関係評価部と、を備える。

本発明者は、複数の被験者それぞれについて、各被験者の行動に対応づけて得られる非言語情報の時系列信号、特にそのリズムとしての特性に関連する量（リズム関連量という）の相対的な関係が、被験者間の関係にかかわる心的状態に依存して変化することを見いだした。この態様によれば、複数の被験者について得られる、複数の非言語情報のリズム関連量の相対的な関係に応じた第３信号にもとづいて、被験者間の関係にかかわる心的状態を評価することができる。

なお、以上の構成要素を任意に組み合わせたもの、あるいは本発明の表現を、方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明のある態様によれば、複数の被験者間の関係を評価できる。

図１（ａ）、（ｂ）は、二人の被験者から得られる生理指標の生データの例を示す波形図である。 実施の形態に係る評価装置を示す図である。 評価装置の具体的な構成を示す図である。 図４（ａ）、（ｂ）は、実施例１の実験で得られた第１信号および第２信号の波形図である。 図５（ａ）は、実施例１の実験で取得された第２信号の波形図であり、図５（ｂ）、（ｃ）は、異なるタイムスロットにおける第２信号の相関図である。 図６（ａ）、（ｂ）は、実施例２における第２信号を説明する図である。 図７（ａ）は、実施例２の実験により得られた第２信号の波形図であり、図７（ｂ）は、第３信号の波形図である。 実施例２における第３信号および心的状態の関係を示す波形図である。 図９（ａ）は、実施例２における第１信号の波形図、図９（ｂ）は、第２信号の波形図であり、図９（ｃ）は、第２信号の相関図であり、図９（ｄ）は、第１信号の相関図である。 実施例３における第１信号と第２信号の波形図である。 実施例３の実験で得られた第３信号のヒストグラムである。 実施例４の実験で得られた第１信号と第２信号の波形図である。 実施例４における第３信号を説明する図である。 図１４（ａ）は、実施例５における第２信号の波形図であり、図１４（ｂ）は同期レートのヒストグラムである。 変形例５に係る評価装置を示す図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

本発明者が検討を行ったところ、人間の興味や感情などの心理的な活動、すなわち心的状態は、人間の行動、すなわち非言語（ノンバーバル）情報のダイナミクスに反映される。たとえば相づちや頷きなどコミュニケーション時に発生するリズムは身近な現象であるが、本発明はそのような非言語情報のダイナミクスに注目し、そのリズムを解析し、心的状態を推定する。

図２は、実施の形態に係る評価装置１００を示す図である。評価装置１００は、複数の人間（被験者）２ａ、２ｂ間のコミュニケーションにおける、各被験者２ａ、２ｂの心的状態を評価する。ここでいう心的状態とは、個人としての側面と、人間関係としての側面に分類することができ、評価装置１００は、後者の人間関係の側面を評価することを主たる目的とする。また、ここでの心的状態は、知的活動状態の評価に限定されるものではなく、感情や共感、一体感など、人間の潜在的状態も含みうる。

さらに本発明者は、心的状態のうち、個人としての側面（本明細書において、心的状態の個人的側面ともいう）は、各被験者から得られる非言語情報のダイナミクスの振幅、振動数などに反映され、人間関係の側面（心的状態の関係的側面ともいう）は、複数の被験者２について得られる複数の非言語情報の相対的な関係、特に、リズムとして把握される量同士の関係に反映される傾向が強いことを見いだした。実施の形態に係る評価装置１００は、かかる知見にもとづいて、複数の被験者２の心的状態を評価する。

具体的には評価装置１００は、複数の被験者２ａ、２ｂによる対人コミュニケーションにおける、被験者間の関係を評価する。被験者間の関係、すなわち被験者間の関係にかかわる心的状態とは、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感などが例示され、評価装置１００はそれらのうちのひとつ、あるいは任意の組み合わせを評価する。被験者間の関係にかかわる心的状態は、個々の心的状態、たとえば各人が相手に抱く感情とは区別されるものである。

本実施の形態では、理解の容易化と説明の簡素化のため、被験者が２名の場合を例に説明をする。
被験者２ａ、２ｂは、たとえば同じ空間で対面しており、コミュニケーションを行っている。コミュニケーションの種類は特に限定されず、たとえば、日常会話、ディスカッション、プレゼンテーション、レクチャー、など、さまざまなものが含まれる。

また、必ずしも被験者２ａ、２ｂは、同じ空間に存在することは要求されず、電話やテレビ会議システムを介してコミュニケーションを行う場合にも、評価装置１００は利用可能である。

実施の形態に係る評価装置１００は、被験者２ａ、２ｂの生理情報ではなく、被験者の外部から視覚的、聴覚的に、あるいはそれらに類して観測可能な非言語情報を監視する。観測可能な非言語情報とは、頷き動作、身振り、手振り、体幹の動き、視線の滞留時間、声の調子、ため息、ターンテーキングに関わる非言語情報（発話長やポーズ長、発話速度や発話タイミングなど）、あるいは声のピッチやイントネーションなど発話に関する非言語情報等が例示される。

非言語情報測定部１０は、カメラやマイク、運動計測にかかわるセンサ（加速度センサ、速度センサ、ジャイロスコープ）、空間での位置計測にかかわるセンサ、その他のセンサを含み、各被験者２ａ、２ｂから得られる非言語情報Ｓ０ａ、Ｓ０ｂを観測し、非言語情報を数値化した時系列信号（以下、第１信号Ｓ１と称する）を生成する。非言語情報測定部１０の種類は、観測すべき非言語情報Ｓ０に応じて選択すればよい。この第１信号Ｓ１は、特許文献３でいうところの生理指標に相当することに留意されたい。

信号処理部２０は、複数の第１信号Ｓ１ａ、Ｓ１ｂにもとづいて、複数の被験者２の間の心的状態の指標となる第３信号Ｓ３を生成する。また、信号処理部２０は、第１信号Ｓ１にもとづいて、複数の被験者２それぞれの心的状態を示す第４信号Ｓ４ａ、Ｓ４ｂを生成する。以上が評価装置１００の概要である。

図３は、評価装置１００の具体的な構成を示す図である。
評価装置１００は、非言語情報測定部１０、波形解析部２２、関係評価部２４、個人評価部２６を備える。

上述したように、非言語情報測定部１０は、複数の被験者２ａ、２ｂそれぞれから得られる非言語情報を観測し、複数の被験者２ａ、２ｂそれぞれについて、非言語情報を数値化した時系列信号である第１信号Ｓ１ａ、Ｓ１ｂを生成する。

図２の信号処理部２０は、波形解析部２２、関係評価部２４、個人評価部２６を含む。被験者の行動を数値化した第１信号Ｓ１がそのまま、被験者２の心的状態を評価するために適していることは稀である。そこで波形解析部２２は、第１信号Ｓ１にもとづいて、第２信号Ｓ２を生成する。第２信号Ｓ２は、非言語情報のリズムとしての特性に関連する時系列信号（リズム関連量）である。

非言語情報のリズム関連量である第２信号Ｓ２としては、以下が例示される。
（i）第１信号Ｓ１を区間ごとに統計処理、信号処理した時系列信号
たとえば、第１信号を、平均や分散、標準偏差を計算し、あるいはフィルタリングすることで第２信号を生成してもよい。
（ii）第１信号Ｓ１を時間微分、時間積分した時系列信号
たとえば、第１信号が速度のディメンジョンを有する場合、第２信号Ｓ２は、加速度や変位のディメンジョンを有する。
（iii）第１信号Ｓ１を粗視化した時系列信号
この場合の第２信号Ｓ２としては、第１信号Ｓ１の包絡線などが例示される。
（iv）第１信号Ｓ１の波形を示す情報に関する時系列信号
具体的には（iv-1）波形の種類、（iv-2）スペクトル、（iv-3）周波数、（iv-4）デューティ比、（iv-5）振幅、(iv-6)波形パターンの幾何学的特徴の抽出、などが例示される。

たとえば、「タン、タン、タン」というリズムと、「タタタ」というリズムは異なって認識される。第２信号Ｓ２は、（i）〜（iv）に例示した信号のうち、このようなリズムの相違を表現しうる情報を含むデータとなる。本発明者が得た知見によれば、第２信号Ｓ２としては、
（ａ） 第１信号Ｓ１の周波数情報の時系列データ
（ｂ） 第１信号Ｓ１の位相情報の時系列データ
（ｃ） （ａ）、（ｂ）の組み合わせ
のいずれかが好適である。

（ａ）としては、（ａ−１）特定の周波数に着目したときの、その周波数成分の強度（振幅あるいはパワースペクトル）の時系列データ、あるいは（ａ−２）最大強度をとる周波数成分の時系列データ、などが好適である。

（ｂ）としては、（ｂ−１）特定の周波数（あるいは周波数帯域）の位相の時系列データ、あるいは（ｂ−２）第１信号Ｓ１から把握される所定のイベントが発生する位相の時系列データなどが好適である。

当業者であれば、ここに例示される以外にも、リズム関連量として利用可能な信号が存在することが理解され、それらも本発明の範囲に含まれる。また、第２信号Ｓ２の生成方法（信号処理方法）は、第２信号Ｓ２の種類に応じて選択すればよく、特に限定されない。

関係評価部２４は、複数の被験者２ａ、２ｂそれぞれに対応する複数の第２信号Ｓ２ａ、Ｓ２ｂの相対的な関係にもとづいて、複数の被験者２ａ、２ｂの間の心的状態を示す指標である第３信号Ｓ３生成する。ここで、複数の第２信号Ｓ２ａ、Ｓ２ｂの相対的な関係は、（i）同期の程度、（ii）位相差、（iii）相関関係、（iv）周波数の関係、（v）位相の関係、（vi）振幅の関係、（vii）波形パターンとしての幾何学的特徴量の関係のいずれか、またはそれらの任意の組み合わせを含む。詳しくは、後述するように、複数の被験者がコミュニケーションをとる際には、合意が形成される過程においては、各被験者のリズム関連量の位相差が安定し、あるいは、振動数（周波数）が近接し、あるいは、それらの相関強度が強くなることが事前検証によって確認されている。

たとえば、複数の第２信号Ｓ２ａ、Ｓ２ｂの相対的関係と、複数の被験者の間の心的状態との対応は、事前の実験、検証によりあらかじめ学習しておき、それをデータベースに蓄積してもよい。また評価装置１００を実際に運用するに当たり、新たに得られた対応を学習し、データベースに蓄積してもよい。

第３信号Ｓ３は、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感などの、個人の間の心的状態の指標であり、１、０の２値、あるいは多値データとして、あるいはベクトル量として取得される。

非言語情報である第１信号の種類、それから得られるリズム関連量である第２信号の種類、複数の第２信号の相対的な関係の種類は、最終的に評価すべき複数の被験者２ａ、２ｂの間の心的状態の種類に応じて選択、決定され、これらは事前の実験、検証の結果を考慮して定めることになる。

個人評価部２６は、複数の被験者２ａ、２ｂそれぞれについて得られた第２信号Ｓ２ａ’、Ｓ２ｂ’にもとづき、複数の被験者２ａ、２ｂそれぞれについて、それぞれの心的状態を示す指標である第４信号Ｓ４ａ、Ｓ４ｂを生成する。個人評価部２６に入力される第２信号Ｓ２ａ’、Ｓ２ｂ’は、関係評価部２４に入力されるＳ２ａ、Ｓ２ｂと同じ信号であってもよいし、波形解析部２２によって異なる信号処理を受けた信号であってよい。

以上が評価装置１００の構成である。
以下、複数の被験者の間の心的状態として、それらの間の合意度を評価する場合について説明する。
本発明者が検討したところ、合意度を評価する場合、非言語情報測定部１０が測定する非言語情報Ｓ０として、被験者２の頷き動作が有用であることを独自に認識した。

非言語情報測定部１０は、複数の被験者２ａ、２ｂそれぞれの頷き運動、すなわち顎の動きを測定し、それを数値化した第１信号Ｓ１ａ、Ｓ１ｂを生成する。非言語情報測定部１０は、カメラと画像処理装置の組み合わせで構成することができる。カメラは、被験者ごとに設けてもよいし、１台のカメラで複数の被験者の頷き動作をまとめて観測してもよい。また状況が許容する場合、被験者２ａ、２ｂに速度センサや加速度センサを取り付けることにより、頷き運動Ｓ０ａ、Ｓ０ｂを測定してもよい。

なお、後述するように、複数の被験者２ａ、２ｂの空間的な位置関係を考慮する場合、位置センサを設けてもよい。

波形解析部２２は、複数の被験者２ａ、２ｂそれぞれについて得られた第１信号Ｓ１ａ、Ｓ１ｂを受け、所定の信号処理を施す。以下、信号処理の具体例について、いくつかの実施例をもとに説明する。

（実施例１）
第１信号Ｓ１ａ、Ｓ１ｂは、現実に２人の被験者２が対面対話を行う状況において、頷き運動を測定して数値化したものである。実施例１において、波形解析部２２は、第１信号Ｓ１の振幅を時間平均することにより、第２信号Ｓ２を生成する。

実施例１の妥当性を検証するために実験を行った。この実験では、被験者の一方が教師役、他方が生徒役となり、教師役の被験者２ａが所定のテーマに関する説明を行い、生徒役の被験者２ｂがそれを理解する。教師役のみの発話が許可されている。実験は男性１２名、女性８名の２０代学生を対象として行い、２人一組として１０ペアについて行った。

この実験では、３次元加速度センサが被験者２ａ、２ｂには取り付けられる。より詳しくは、鉛直方向にＸ軸を、視線方向にＺ軸をとったときに、Ｘ方向の加速度ｘ（ｔ）と、Ｚ方向の加速度ｚ（ｔ）を測定し、それらのノルム√（ｘ^２（ｔ）＋ｚ^２（ｔ））を第１信号Ｓ１とした。

図４は、実施例１において、実験１により得られた第１信号Ｓ１と、第１信号Ｓ１から得られる第２信号Ｓ２を示す波形図である。

実施例１において、第２信号Ｓ２ａ、Ｓ２ｂは、非言語情報測定部１０によって得られた第１信号Ｓ１ａ、Ｓ１ｂの、０．６秒ごとの標準偏差（ＳＤ）を計算することにより生成される。これは頷きの振幅に相当する量であり、頷きが発生する時間区間においては、加速度の変化が大きくなるため、第２信号Ｓ２は、頷き運動のリズム関連量となる。

事後検証によれば、２人の被験者２ａ、２ｂについて得られた第２信号Ｓ２ａ、Ｓ２ｂに着目すると、合意度が低い期間Ｔ１では、２つの第２信号Ｓ２ａ、Ｓ２ｂ、つまり頷き運動の振幅が同調していない。一方、合意度が高い後半の期間Ｔ２では、２つの第２信号Ｓ２ａ、Ｓ２ｂ、すなわち頷き運動の振幅が期間Ｔ１に比べて同調している。すなわち合意形成プロセスにおいては、複数の被験者の頷き運動の振幅の時間波形が、非同調状態から同調状態に変化する可能性が示唆される。

関係評価部２４は、２人の被験者２ａ、２ｂについて得られた第２信号Ｓ２ａ、Ｓ２ｂの相対的な関係、具体的には、同調の有無にもとづいて、被験者２ａ、２ｂの間の関係を示す指標である第３信号Ｓ３を生成する。

２つの時系列信号が与えられたときに、それらの同調、同期の程度を評価する手法については公知の技術を用いればよく、本発明において特に限定されない。たとえば２つの波形の相関度（相関係数ｒ）を計算したり、単純に２つの信号の差分波形を計算し、差分波形にもとづいて２つの信号の同調、同期の程度を評価してもよい。

本実施例において関係評価部２４は、時間スロットＴＳごとに第２信号Ｓ２ａ、Ｓ２ｂの相関係数ｒを計算する。

図５（ａ）は、実施例１の実験で取得された第２信号Ｓ２の波形図であり、図５（ｂ）、（ｃ）は、異なるタイムスロットにおける第２信号Ｓ２の相関図である。タイムスロットの長さは１５秒である。

タイムスロットＴＳ１では、相関係数ｒは０．００７と小さく、タイムスロットＴＳ２では、相関係数ｒは０．３４５（ｐ＜０．００１）であり、強い相関がみられる。
また、統計的有意性の指標であるｐ値を計算すると、タイムスロットＴＳ２ではｐ値は＜０．００１となり、統計的有意性が高いことがわかる。

実験の後に、被験者２ａ、２ｂに対するヒアリング検証を行った。生徒役の理解の状態を評価することにより、タイムスロットごとに共感度を評価したところ、第２信号Ｓ２ａ、Ｓ２ｂ（つまり頷きの振幅）が大きくなるタイムスロットではそれらの相関が強くなり、さらに相関係数ｒが大きなタイムスロットにおいて、共感的なコミュニケーションが成立する傾向があることが見いだされた。つまり、この実施例で得られる相関係数ｒは、被験者間のインターパーソナルな心的状態を表す指標であることが裏付けられる。そこで関係評価部２４は、相関係数ｒを、第３信号Ｓ３として出力してもよいし、相関係数ｒを離散値化して出力してもよい。

以上をまとめると、頷き運動の振幅の時間波形を、第２信号Ｓ２として利用し、複数の被験者２それぞれについて得られる第２信号Ｓ２の同調の程度を評価することにより、複数の被験者２の心的状態のうち関係性を示す指標として、同意の程度を推定することができる。

（実施例２）
この実施例では、リズム関連量である第２信号Ｓ２を生成する際に、第１信号Ｓ１の周波数成分に着目する。第１信号Ｓ１は、実施例１と同様に頷き運動、より具体的にはＸ方向およびＺ方向の加速度のノルムである。波形解析部２２は、第１信号Ｓ１を周波数領域のデータに変換する。これには高速フーリエ変換などが利用できる。

図６（ａ）、（ｂ）は、実施例２における第２信号Ｓ２を説明する図である。図６（ａ）には、第１信号Ｓ１が、図６（ｂ）には、第１信号Ｓ１をフーリエ変換した周波数領域データＦ（ｔ，ｆ）が示される。図６（ｂ）は、横軸が時間、縦軸が周波数であり、濃淡が周波数領域データＦ（ｔ，ｆ）の強度（パワースペクトル）を示す。頷き運動は、２〜４Ｈｚの周波数成分が支配的である。そこで、図６（ｂ）において、２〜４Ｈｚの周波数帯域のエネルギー（パワー）を周波数方向に積分することにより、リズム関連量である第２信号Ｓ２を生成してもよい。
Ｓ２（ｔ）＝∫Ｆ（ｔ，ｆ）ｄｆ

実施例２の妥当性を検証するために、以下の実験を行った。この実験は、２人の被験者が協力することにより、ひとつの課題を解決するというものである。２人の被験者は自由に会話することが許されており、双方的なコミュニケーションが行われる点で、実施例１における実験と異なっている。課題としては、あるマンションの見取り図やその他の情報が与えられた状況下で、２人の被験者が協力してその家賃を推定するというものである。実験は男性６名、女性４名の２０代学生を対象として行い、２人一組として５ペアについて行った。

図７（ａ）は、実施例２において実験により得られた第２信号Ｓ２ａ、Ｓ２ｂを示す波形図であり、図７（ｂ）は、第３信号Ｓ３を示す波形図である。第３信号Ｓ３は、第２信号Ｓ２ａ、Ｓ２ｂの所定の時間区間ごとに相関係数ｒを計算し、それを閾値判定することにより、インターパーソナルな心的状態を、同調状態（１）と非同調状態（０）の２値で表したものである。

図８は、第３信号Ｓ３および心的状態の関係を示す波形図である。心的状態は、事後アンケートにより、２人の被験者が各時間帯の合意度を１〜５の５段階で評価した値の平均値である。約１５分のディスカッションにおいて、合意度が相対的に低い前半（１〜６分）の５分間では、第３信号Ｓ３が１となる頻度が低い。これに対して合意度が相対的に高くなる後半（１０〜１５分）の５分間では、第３信号Ｓ３が１となる頻度が高い。したがって、第３信号Ｓ３そのもの、あるいはそれを時間的に平均して得られる数値は、複数の被験者２の間のインターパーソナルな心的状態を表しているといえる。

ここで、特許文献３に記載される従来技術に対する、実施の形態に係る評価装置１００の利点を説明する。
図９（ａ）は、実施例２における第１信号Ｓ１ａ、Ｓ１ｂを示す波形図、図９（ｂ）は、第２信号Ｓ２ａ、Ｓ２ｂを示す波形図であり、図９（ｃ）は、第２信号Ｓ２ａ、Ｓ２ｂの相関図であり、図９（ｄ）は、第１信号Ｓ１ａ、Ｓ１ｂの相関図である。図９（ｄ）から計算した相関係数はｒ＝０．０５であり、２つの信号の間に相関関係は認められない。すなわち従来技術では、被験者から１次的に得られた生データである第１信号Ｓ１ａ、Ｓ１ｂの相関に着目するに過ぎないため、同調や合意が生じている場合においても、それを検出できない場合がある。これに対して実施の形態に係る評価装置１００によれば、リズム関連量である第２信号Ｓ２ａ、Ｓ２ｂに変換した後に、それらの関係性を評価するため、同調や合意などを検出することができる。

（実施例３）
この実施例では、リズム関連量である第２信号Ｓ２を生成する際に、第１信号Ｓ１の位相成分に着目する。第１信号Ｓ１は、実施例１、２と同様に頷き運動、より具体的にはＸ方向およびＺ方向の加速度のノルムである。

リズムは、周波数情報のみでなく、位相情報としても把握することができる。実施例３において波形解析部２２は、位相情報として、第１信号Ｓ１から把握される所定のイベントが発生する位相を第２信号Ｓ２として利用する。具体的には波形解析部２２は、第１信号Ｓ１ａ、Ｓ１ｂそれぞれについて、所定区間にわたる移動平均をとり、移動平均を所定のしきい値と比較することにより、明確な頷き運動を検出する。そして、明確な頷き運動が検出された後、移動平均を継続的に監視することにより、頷きのピークの発生時刻（位相）を検出する。実施例３では、頷きのピークの発生をイベントとしてとらえ、当該イベントの発生時刻を第２信号Ｓ２とする。

実施例３の妥当性を検証するために実験を行った。この実験では、被験者の一方が教師役、他方が生徒役となり、教師役の被験者２ａが所定のテーマに関する説明を行い、生徒役の被験者２ｂがそれを理解する。レクチャはテレビモニタを介して行われ、教師役の被験者から、生徒役の被験者に対して一方的に説明が行われる。実験は男性１２名、女性８名の２０代学生を対象として行い、２人一組として１０ペアについて行った。

図１０は、実施例３における第１信号Ｓ１と第２信号Ｓ２を示す波形図である。
関係評価部２４は、第２信号Ｓ２ａ、Ｓ２ｂの位相差を第３信号Ｓ３とする。この第３信号Ｓ３は、頷き動作のリズムの位相差に相当する。図１１は、第３信号Ｓ３のヒストグラムである。二人の被験者間にインターパーソナルな同調が生じている場合、頷きのタイミングもシンクロすることから、図１１に実線（i）で示すように、ヒストグラムはある値（この例では０ｍｓ）にピークをもち、それを中心として分布する。これに対して同調が生じていない場合、頷きのタイミングはランダムに変動することから、図１１に破線（ii）で示すように、ヒストグラムはピークをもたずに平均化される。

このように実施例３によれば、リズム関連量として位相情報に着目することにより、インターパーソナルな心的状態を評価できる。

（実施例４）
この実施例では、リズム関連量である第２信号Ｓ２を生成する際に第１信号Ｓ１の周波数成分に着目する点で実施例２と共通する。第１信号Ｓ１としては、頷き運動に代えて、被験者の体の動きに着目しており、被験者の体に取り付けられた加速度センサから得られるＸ方向、Ｙ方向（体左右方向）、Ｚ方向の加速度のノルムである。
Ｓ１＝√（Ｘ^２（ｔ）＋Ｙ^２（ｔ）＋Ｚ^２（ｔ））

波形解析部２２は、第１信号Ｓ１を周波数領域のデータに変換する。たとえば波形解析部２２は、所定の時間区間（たとえば１０秒）において、第１信号Ｓ１が、それ自身の時間平均値とクロスする回数を測定し、測定値にもとづいて振動数（周波数）を示す第２信号Ｓ２を取得してもよい。たとえば第２信号Ｓ２は、１０秒ごとに測定される振動数の、１分間にわたる平均値である。図１２は、実施例４における第１信号Ｓ１と第２信号Ｓ２を示す波形図である。なお、実施例４において第２信号Ｓ２を取得する際に、高速フーリエ変換を利用してもよい。

関係評価部２４は、被験者の体の動きの振動数ωに応じた第２信号Ｓ２にもとづいて、複数の被験者間の心的状態を評価する。図１３は、実施例４における第３信号Ｓ３を説明する図である。この実施例４では、ｉ番目の被験者の振動数ω_ｉ（ｔ）と、ｊ番目の被験者の振動数ω_ｊ（ｔ）の差Δω_ｉｊ（ｔ）に着目する。本発明者の実験によれば、振動数差Δω_ｉｊ（ｔ）が小さいほど、同調度が高いという知見が得られている。

このように実施例４によれば、リズム関連量として周波数情報、より具体的には体の動きの周波数の差分に着目することにより、インターパーソナルな心的状態を評価できる。

（実施例５）
この実施例においても、実施例４と同様に、体の動きの周波数情報に着目し、第２信号Ｓ２として、被験者の体の動きの振動数ω（ｔ）を利用する。

そして関係評価部２４は、振動数ω_ｉ（ｔ）、ω_ｊ（ｔ）の差Δω_ｉｊ（ｔ）に代えて、振動数ω_ｉ（ｔ）、ω_ｊ（ｔ）の変動方向に着目して、被験者間の心的状態を評価する。

本実施例では、ｉ番目とｊ番目の被験者の同調度を示す指標として、以下の式（１）で表される同期レートＳ_ｉｊを定義した。
Ｓ_ｉｊ＝Σ_{ｔ∈Ｔｉｊ} ｇ（Δｘ_ｉ（ｔ）・Δｘ_ｊ（ｔ））／｜Ｔ_ｉｊ｜ …（１）

ｘ_ｉ（ｔ_ｋ）はｉ番目の被験者から得られた第２信号であり、サンプリング周期をΔｔとすれば、ｔ_ｋ＝ｋ×Δｔである。Δｘ_ｉ（ｔ_ｋ）は、ｉ番目の被験者のｘ_ｉ（ｔ_ｋ）の変動量であり、ｘ_ｉ（ｔ_ｋ）−ｘ_ｉ（ｔ_ｋ＋１）である。これは微分値とも把握できる。関数ｇ（ａ）は、ａ＞０のとき＋１を、ａ＜０のとき−１を返す関数である。Ｔ_ｉｊは、時間区間を表す。ｘ_ｉ（ｔ）として、第２信号Ｓ２である振動数ω_ｉ（ｔ）が利用され、Δｘ_ｉ（ｔ_ｋ）は、振動数変動に相当する。

実施例５の妥当性を検証するために実験を行った。この実験は、多数の被験者が、任意の相手と自由にコミュニケーションをとる。同期レートＳ_ｉｊは、すべての被験者のペアついて計算することができる。

図１４（ａ）は、実施例５における第２信号Ｓ２を示す波形図であり、図１４（ｂ）は同期レートＳ_ｉｊのヒストグラムである。図１４（ａ）の前半の期間Ｔ_ｉｊ ^ＮＦは、被験者同士が対面していない状態を、後半の期間Ｔ_ｉｊ ^Ｆは、被験者同士が対面した状態を示す。図１４（ｂ）には、期間Ｔ_ｉｊ ^ＮＦにおいて得られた同期レートＳ_ｉｊ ^ＮＦのヒストグラムと、期間Ｔ_ｉｊ ^Ｆにおいて得られた同期レートＳ_ｉｊ ^Ｆのヒストグラムと、が示される。

ｉ番目とｊ番目の被験者が非対面の状態では、第２信号Ｓ２_ｉ、Ｓ２_ｊはランダムに変化する。したがって同期レートＳ_ｉｊはゼロに近づき、したがって複数の被験者のペアから得られるヒストグラムはゼロ付近にピークを有する。一方、対面状態では、第２信号Ｓ２_ｉ、Ｓ２_ｊが同調して変化する傾向が強まるため、同期レートＳ_ｉｊは非ゼロとなり、ヒストグラムのピークは非ゼロの値をとる。図１４（ｂ）から明らかなように、式（１）で定義される同期レートＳ_ｉｊのヒストグラムには、対面状態と非対面状態とで有意な差が認められる。このことは、同期レートＳ_ｉｊがインターパーソナルな心的状態を表す第３信号Ｓ３として有用であることを示している。

このように実施例５によれば、リズム関連量として周波数変動に着目することにより、インターパーソナルな心的状態を評価できる。

実施の形態に係る評価装置１００は、人間同士のコミュニケーションを対象として、そのコミュニケーションの質を評価し、その改善に役立てることができる。たとえば、会議などにおける人間のコミュニケーション活動の活性度評価や、グループ活動の評価指標を求め、その活動プロセスや環境の改善に使用できる。あるいは、教師と生徒のあいだでの教育効果の評価や、プレゼンにおける納得の評価、カウンセリングにおける信頼感の評価、合意形成における共感の評価など、本発明の用途は多岐にわたる。さらに、高齢者施設における孤立防止など見守りにも活用可能である。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
実施の形態では、被験者の心的状態を反映する非言語情報として、頷き運動に着目する場合について詳細に説明したが、本発明はそれには限定されない。着目する第１信号としては、心的状態が反映されるさまざまな非言語情報が利用できる。具体的には、相づち、まばたき、視線の滞留時間、身振り、手振り、首振り、体幹の揺れ、視線の動き、など、被験者の外部から視覚的に把握できるものや、会話のターンテーキング、ため息、声の調子、発話に関する非言語情報など、被験者の外部から聴覚的に把握できるもの、それらの組み合わせを利用してもよい。当業者によれば、事前の実験、検証から得られた経験則、学習にもとづいて、いずれの非言語情報に被験者のどのような心的状態が反映されるかを把握することができ、したがって、評価すべき心的状態に応じて、適切な非言語情報を選択すればよいことが理解される。

（変形例２）
実施の形態では、第１信号の振幅の時間平均値をとることにより頷き運動の振幅を抽出し、心的状態を評価する場合を説明したが、本発明はそれには限定されない。波形解析部２２によるリズム解析には様々な可能性がある。具体的には、個人の評価としては運動リズムの振幅や振動数や波形の種類、周波数スペクトルなどが考えられる。また時間スケールも重層的に考えることが可能であり、あるリズムの包絡線から構成されるリズムも高次のリズムとみなすことが可能である。したがって波形解析部２２によって、第１信号Ｓ１から、これらの情報が反映された第２信号Ｓ２ａ’、Ｓ２ｂ’を生成してもよい。

また、心的状態の関係的側面の評価においては、リズムの同調関係や位相関係に加えて、複数の被験者２の空間的な位置関係なども含めた関係性を考慮してもよい。
たとえば複数の人間が会議、打ち合わせを行う場合を考察する。コミュニケーションを密にとる場合には寄せ集まり、ある人間が主張したい場合には中央に座る、共感すると、相互の距離は近くなり、反感すると相互の距離は離れるといった傾向がある。さらに、事務的なコミュニケーションの場合は正面から対面する状態で一定距離離れて会話することが多いが、友人など親しい関係になると側面方向に並び近接して会話することになる。
そこで、複数の被験者２の空間的な位置関係を、複数の被験者の間の心的状態の評価結果に反映させることができる。

さらに心的状態の関係的側面、個人的側面の評価においては、被験者２の概日リズム（２４時間の日周リズム）などを反映させてもよい。社会生活の中で、個々人の一日の生活活動リズムは同調することが多くなる。職場や学校のように半ば強制的に同期させられる場合もあれば、家庭のように自発的に同調することもある。このような生活のリズムに関しても同様に評価することで、人間のあいだの関係に関わる心的状態を評価することができる。これは２４時間の日周リズムに限られず、１週間や１か月、さらには年単位の活動リズムに関しても適用可能である。

（変形例３）
実施の形態では、複数の被験者２の関係の評価に、同一の非言語情報から得られる信号を利用する場合を説明したが、本発明はそれには限定されない。たとえば、一方の被験者２ａの心的状態を評価するに当たり、その被験者２ａについては第１の非言語情報（たとえば、頷き運動）を観測し、別の被験者２ｂについては、第１の非言語情報とは異なる第２の非言語情報（たとえば、視線の動き）を観測し、それぞれで得られた第２信号Ｓ２ａ、Ｓ２ｂの相対的な関係にもとづいて、心的状態の関係的側面を評価してもよい。

（変形例４）
実施例３で説明したように、複数の被験者は、通信システムを介してコミュニケーションをとってもよい。近年、ビジネスや教育の分野においても、遠隔地の人間同士が、テレビ電話システムや音声電話システム、スマートホン、タブレット端末などの通信システムを通じてコミュニケーションをとることが頻繁に行われている。評価装置１００により得られるデータは、音声電話システムや、テレビ電話システムの評価に役立てることもできる。

（変形例５）
実施の形態では、人間同士のコミュニケーションを対象として、心的状態を評価する場合を説明したが、本発明はそれには限定されず、人間と相互作用するメディアの設計・評価やテレビメディア番組の評価など多様な応用が想定される。メディアは、テレビ放送や、ＤＶＤなどのソフト、電子学習システムなどが例示される。

図１５は、変形例５に係る評価装置１００ａを示す図である。
図１５の評価装置１００ａでは、図２の評価装置１００の被験者２ｂがコンピュータやテレビ、タブレットなどのマルチメディアデバイス３に置換される。そして、非言語情報測定部１０ｂは、マルチメディアデバイス３から被験者２ａに提供される情報のダイナミクス、たとえば音声信号や画像信号を監視し、それに応じた第１信号Ｓ１ｂを生成する。

たとえば教育現場で使用される教材ソフトを評価装置１００ａによって評価する場合を考える。この場合、たとえばマルチメディアデバイス３から出力される音声信号の音量に着目することができる。この場合、音量のダイナミクスと、被験者２ａの心的情報が反映される非言語情報を測定することで、それらの相対的な関係から、被験者２ａの理解度などを評価しうる。

このように、評価装置は、ＴＶメディアやその他のメディアに対する評価システムとして用いることができる。さらに、このような評価を指標とすることで、ＴＶなどマルチメディアデバイスの開発にも活用できる。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

１００…評価装置、２…被験者、１０…非言語情報測定部、２０…信号処理部、２２…波形解析部、２４…関係評価部、２６…個人評価部。

本発明は、人間の心的状態の評価技術に利用できる。

Claims (6)

1. 複数の被験者間のコミュニケーションにおける、被験者間の関係を評価する評価装置であって、
   前記複数の被験者それぞれを観測し、前記複数の被験者それぞれについて、それぞれから得られる非言語情報を数値化した時系列信号である第１信号を生成する非言語情報測定部と、
   前記複数の被験者それぞれについて得られた前記第１信号にもとづいて、前記複数の被験者それぞれの前記非言語情報のリズムとしての特性に関連する量である第２信号を生成する波形解析部と、
   前記複数の被験者それぞれに対応する複数の第２信号の相対的な関係にもとづき、前記複数の被験者の間の関係にかかわる心的状態を示す指標である第３信号を生成する関係評価部と、
   を備えることを特徴とする評価装置。
2. 前記第２信号は、前記第１信号の周波数情報および／または位相情報にもとづいて生成されることを特徴とする請求項１に記載の評価装置。
3. 前記複数の第２信号の相対的な関係は、（i）同期の程度、（ii）位相差、（iii）相関関係、（iv）周波数の関係、（v）位相の関係、（vi）振幅の関係、（vii）波形パターンとしての幾何学的特徴量の関係のいずれか、またはそれらの任意の組み合わせを含むことを特徴とする請求項１または２に記載の評価装置。
4. 前記関係評価部は、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感のいずれかを評価することを特徴とする請求項１から３のいずれかに記載の評価装置。
5. 前記関係評価部は、前記複数の第２信号の相対的な関係に加えて、前記複数の被験者の空間的な位置関係にもとづいて、前記第３信号を生成することを特徴とする請求項１から４のいずれかに記載の評価装置。
6. 前記複数の被験者それぞれについて得られた第２信号にもとづき、前記複数の被験者それぞれについて、各被験者の心的状態を示す指標である第４信号を生成する個人評価部をさらに備えることを特徴とする請求項１から５のいずれかに記載の評価装置。