JP6023684B2 - 感情情報表示制御装置、その方法及びプログラム - Google Patents

Description

本発明は、複数の対話者間の感情の度合いを表示する技術に関する。

対話二者間の共感／反感を自動で推定する技術として、対話している二者の共感／反感が外部観察者の集団からどのように解釈されるかを推定することが提案されている（特許文献１および非特許文献１参照）。非特許文献１では、外部観察者毎に解釈が異なることをコミュニケーションの必然と考え、外部観察者集団の中での解釈のばらつき、すなわち、共感／反感／何れでもない、の3状態それぞれの得票率を推定するという問題を設定している。そして、非特許文献１では、複数の対話者間の感情（「共感」「反感」「何れでもない」）の度合いを１つの表示装置に表示している。

特開２０１２−１８５７２７号公報

熊野史朗, 大塚和弘, 三上弾, 大和淳司, "複数人対話を対象とした表情と視線に基づく共感／反感の推定モデルとその評価", 電子情報通信学会技術報告，ヒューマンコミュニケーション基礎研究会, HCS 111(214), pp. 33-38，2011.

しかしながら、従来技術は、使用場面に関わらず、基本的に複数の対話者間の感情の度合いの全てを、１つの表示装置に表示するため、複数の対話者間の感情の度合いが把握しづらい。対象の二者がお互いに相手の方を見ていない状態（相互そらし状態）のときにはその二者の間の感情の度合いは表示されないが、相互そらし状態は時間毎に変化するため、例えば、ある特定の一人とそれ以外の他者との間の感情の度合いを時系列で把握することは容易ではない。

本発明は、感情情報が把握しやすいように感情情報の表示を制御する技術を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様によれば、感情情報表示制御装置は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、３人以上が撮影された映像から、３人以上のうちの２人の間の感情情報を求める感情情報取得部と、（１）感情情報のうち、３人以上のうちの１人である第一の人物と他者との間の感情情報、（２）感情情報のうち、第一の人物と他者との間の感情情報以外の感情情報（３）全ての感情情報の少なくとも２つ以上を切り替えて、表示装置に表示するように制御する制御部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、感情情報表示制御装置は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、３人以上が撮影された映像から、３人以上のうちの２人の間の感情情報を求める感情情報取得部と、感情情報のうち、３人以上のうちの１人である第一の人物と他者との間の感情情報を、複数の表示装置のうちの１つである第一の表示装置に表示し、感情情報のうち、第一の人物と他者との間の感情情報以外の感情情報を、複数の表示装置のうちの第一の表示装置以外の１つである第二の表示装置に表示するように制御する制御部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、感情情報表示制御方法は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、３人以上が撮影された映像から、３人以上のうちの２人の間の感情情報を求める感情情報取得ステップと、（１）感情情報のうち、３人以上のうちの１人である第一の人物と他者との間の感情情報、（２）感情情報のうち、第一の人物と他者との間の感情情報以外の感情情報（３）全ての感情情報の少なくとも２つ以上を切り替えて、表示装置に表示するように制御する制御ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、感情情報表示制御方法は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、３人以上が撮影された映像から、３人以上のうちの２人の間の感情情報を求める感情情報取得ステップと、感情情報のうち、３人以上のうちの１人である第一の人物と他者との間の感情情報を、複数の表示装置のうちの１つである第一の表示装置に表示し、感情情報のうち、第一の人物と他者との間の感情情報以外の感情情報を、複数の表示装置のうちの第一の表示装置以外の１つである第二の表示装置に表示するように制御する制御ステップとを含む。

本発明によれば、感情情報が把握しやすいように感情情報の表示を制御することができるという効果を奏する。

第一実施形態に係る感情情報表示制御装置の配置例を示す図。 第一実施形態に係る感情情報表示制御装置の機能構成を例示する図。 第一実施形態に係る感情情報表示制御装置の処理フローを例示する図。 感情情報取得部の機能構成を例示する図。 パラメタ学習部の機能構成を例示する図。 学習フェーズの処理フローを例示する図。 推定フェーズの処理フローを例示する図。 時間差関数を説明する図。 対話者の行動と共感解釈の時間差を説明する図。 変化タイミング関数を説明する図。 変化タイミング関数の有効範囲を説明する図。 変化タイミング関数の有効範囲を説明する図。 第一実施形態において第一の人物２−ｉ（図中では２−１）と他者２−ｊ（図中では２−２，２−３，あるいは，２−４）との間の感情情報が表示装置に表示される映像の例を表す図。 第一実施形態において第一の人物２−ｉ（図中では２−１）と他者２−ｊ（図中では２−２，２−３，あるいは，２−４）との間の感情情報以外の感情情報が表示装置に表示される映像の例を表す図。 第一実施形態において全ての感情情報が表示装置に表示される映像の例を表す図。 、各事後確率分布を棒グラフ等で表示するにように制御したときに、表示装置に表示される映像の例を表す図。 第一実施形態において、第一の人物が、表示装置に表示されないように制御した場合の、第一の人物２−ｉ（図中では表示されていない）と他者２−ｊ（図中では２−２，２−３，あるいは，２−４）との間の感情情報が表示装置で表示される映像の例を示す図。 第一実施形態において、第一の人物が、表示装置に表示されないように制御した場合の、第一の人物２−ｉ（図中では表示されていない）と他者２−ｊ（図中では２−２，２−３，あるいは，２−４）との間の感情情報以外の感情情報が表示装置で表示される映像の例を示す図。 第一実施形態において、第一の人物が、表示装置に表示されないように制御した場合の、全ての感情情報が表示装置で表示される映像の例を示す図。 第二実施形態に係る感情情報表示制御装置の配置例を示す図。 第二実施形態に係る感情情報表示制御装置の処理フローを例示する図。 第三実施形態に係る感情情報表示制御装置の処理フローを例示する図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「~」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態に係る感情情報表示制御装置１００＞
図１は、第一実施形態に係る感情情報表示制御装置１００の配置例を示す。感情情報表示制御装置１００は、Ｎ人以上が撮影された映像を入力とし、表示装置３に、感情情報を付加した映像を出力する。Ｎは３以上の整数である。なお、感情情報は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを表す。なお、２人の人物の間において相互に共通する感情を対象とし、この実施形態では、感情として「共感」「反感」「何れでもない」の３種類の感情を用いる。ここでは、共感は二者の感情状態が類似している状態、反感はそれらが異なっている状態とする。この３種類の感情の度合いを感情情報とする。この感情情報は、対話者間の共感状態を示しているといってもよい。

図２は感情情報表示制御装置１００の機能構成例を、図３はその処理フローを示す。感情情報表示制御装置１００は、感情情報取得部１１０及び制御部１２０を含む。

＜感情情報取得部１１０＞
感情情報取得部１１０は、Ｎ人が撮影された映像を受け取り、この映像からＮ人のうちの２人の間の感情情報を求め（ｓ１）、求めた感情情報を制御部１２０に出力する。なお、Ｎ人が撮影された映像は、各対話者について一台のカメラを用意して、複数のカメラにより撮影した複数の映像を多重化した映像でもよいし（図１参照）、魚眼レンズを用いるなどした全方位カメラ一台で対話者全員を撮影した映像であってもよい。例えば、図１のように、カメラ１−ｎ（ただしｎ＝１，２，…，Ｎである）から人物２−ｎを撮影し、Ｎ個の映像を多重化したものを入力としてもよいし、１つの映像の中に複数人の人物が映っているものを入力としてもよい。

制御部１２０は、Ｎ人が撮影された映像と感情情報とを受け取り、表示装置３に、感情情報を付加した映像を出力し、表示装置３の表示を制御する（ｓ２）。以下、各部の処理の例を説明する。

＜感情情報取得部１１０のポイント＞
感情情報取得部１１０は、対話の状態を推定して、映像から２人の間の感情情報（「共感」「反感」「何れでもない」の３種類の感情の度合い）を求める。この感情情報取得部１１０の対話状態推定技術における一番のポイントは、対話二者間での与え手の行動表出とそれに対する受け手の反応表出との間での行動の時間差と、対話二者間でそれらの行動が一致しているか否かを示す一致性によって、その二者を見た外部観察者がその対話の状態をどう解釈するのかを確率的にモデル化したことである。この背後にあるのは、外部観察者が二者の間の対話状態を解釈する際に、人が相手の働きかけに対してどのように反応するかというこれまでに得られている心理学分野の知見を、意識的あるいは無意識的に利用しているであろうという仮説である。このモデルにより、対話二者の行動の時系列が与えられたときに、外部観察者の集団が各時刻において共感状態をどう解釈するのかの得票率が推定できる。

例えば、一方の対話者が微笑み、他方の対話者もその微笑みに対する反応として微笑みを返すという場面において、反応の微笑みが迅速に行われれば、外部観察者にはその反応が自発的で両者は共感などの肯定的な関係にあると見えやすい。一方で、反応の微笑みが少し遅れれば、外部観察者にはその反応はわざとらしく両者は反感などの否定的な関係にあると見えやすい。さらに、外部観察者の共感の解釈は、微笑みに対して微笑みを返すというように行動が一致しているのか、微笑みに対して苦笑を返すというように行動が不一致なのかによっても影響を受ける。この感情情報取得部では、このような対話二者間の行動の時間差と行動の一致性という関係を確率的にモデル化する。

この感情情報取得部のもう一つのポイントは、様々な行動チャネルについて、瞬間的な対話二者間の行動の組み合わせと外部観察者の共感解釈との間の関係性をモデル化したことである。行動チャネルとは対話者の行動の種類である。例えば特許文献１では、行動チャネルとして対話者の表情と視線のみをモデル化しているが、この感情情報取得部では頭部ジェスチャや発話有無など他の任意の行動チャネルをモデル化することが可能である。これにより、例えば与え手の微笑みに対して受け手が頷づいたり首を傾げたりするような場面に対して外部観察者が共感や反感を解釈するような場合にも、共感解釈をより精度よく推定できるようになる。

＜感情情報取得部１１０の構成＞
図４を参照して、この実施形態の感情情報取得部１１０の構成例について説明する。感情情報取得部１１０は入力部１０と行動認識部２０と共感解釈付与部３０とパラメタ学習部４０と事後確率推定部５０と出力部６０と学習用映像記憶部７０と推定用映像記憶部７２とモデルパラメタ記憶部７４とを備える。学習用映像記憶部７０と推定用映像記憶部７２は、例えば、ＲＡＭ（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリなどの半導体メモリ素子により構成される補助記憶装置、などにより構成することができる。モデルパラメタ記憶部７４は、学習用映像記憶部７０と同様に構成してもよいし、リレーショナルデータベースやキーバリューストアなどのミドルウェア、などにより構成してもよい。

図５を参照して、この実施形態のパラメタ学習部４０の構成例について説明する。パラメタ学習部４０は事前分布学習部４２とタイミングモデル学習部４４と静的モデル学習部４６とを備える。

＜学習フェーズ＞
図６を参照して、感情情報取得部１１０の学習フェーズにおける動作例を説明する。

入力部１０へ学習用映像が入力される（ステップＳ１１）。学習用映像は、複数の人物が対話する状況を撮影した映像であり、少なくとも対話者の頭部が撮影されていなければならない。学習用映像の撮影は、各対話者について一台のカメラを用意して、複数のカメラにより撮影した映像を多重化した映像でもよいし、魚眼レンズを用いるなどした全方位カメラ一台で対話者全員を撮影した映像であってもよい。入力された学習用映像は学習用映像記憶部７０に記憶される。

行動認識部２０は学習用映像記憶部７０に記憶されている学習用映像を入力として、学習用映像に撮影された各対話者の行動として、表情、視線、頭部ジェスチャ、発話有無などを検出し、その結果生成された対話者の行動の時系列を出力する（ステップＳ２１）。この実施形態では、表情、視線、頭部ジェスチャ、および発話有無の4つの行動チャネルを認識対象とする。行動チャネルとは、行動の形態のことである。表情は、感情を表す主要な経路である。この実施形態では、無表情／微笑／哄笑／苦笑／思考中／その他、の6状態を表情の認識対象とする。視線は、感情を誰に伝えようとしているのかということと、他者の行動を観察していることとの少なくとも一方などを表している。この実施形態では、他者のうちの誰か一人を見ておりその相手が誰である／誰も見ていない（という状態）、を視線の認識対象としている。すなわち、状態数は対話者の数となる。ここで、対話者とは、視線を測定している対象者を含む対話に参加している全員を指す。表情と視線の認識方法は、特許文献１もしくは非特許文献１に記載の方法を用いればよい。頭部ジェスチャは、しばしば他者の意見に対する態度の表明として表出される。この実施形態では、なし／頷き／首ふり／傾げ／これらの組み合わせ、の4状態を頭部ジェスチャの認識対象とする。頭部ジェスチャの認識方法は、周知のいかなる方法も用いることができる。例えば「江尻康, 小林哲則, “対話中における頭部ジェスチャの認識”, 電子情報通信学会技術研究報告, PRMU2002-61, pp.31-36, Jul.2002.（参考文献１）」に記載の方法を用いればよい。発話有無は、話し手／聞き手という対話役割の主要な指標となる。この実施形態では、発話／沈黙、の2状態を発話有無の認識対象とする。発話有無の認識方法は、映像中の音声パワーを検出してあらかじめ定めた閾値を超えた場合に発話していると判断すればよい。もしくは映像中の対話者の口元の動きを検出することで発話の有無を検出してもよい。それぞれの行動は一台の装置ですべて認識してもよいし、行動ごとに別々の装置を用いて認識しても構わない。例えば、表情の認識であれば、行動認識装置の一例として「特許４９４２１９７号公報（参考文献２）」を使用すればよい。なお、行動認識部２０は、共感解釈付与部３０と同様に人手によるラベル付けを行い、その結果を出力するとしても構わない。

また、表情や頭部ジェスチャに関しては、「強度」を推定して出力するとしてもよい。表情の強度は、対象とする表情である確率により求めることができる。また、頭部ジェスチャの強度は、振幅の最大値（頷きであれば、頷く角度の最大値）に対する取得された動作の振幅の値の割合により求めることができる。

共感解釈付与部３０は学習用映像記憶部７０に記憶されている学習用映像に基づいて複数の外部観察者が共感解釈をラベル付けした学習用共感解釈時系列を出力する（ステップＳ３０）。学習用共感解釈時系列は、学習用映像を複数の外部観察者に提示して、各時刻における対話二者間の共感解釈を外部観察者が人手によりラベル付けした時系列である。この実施形態では、二者間の対話状態として、共感／反感／どちらでもない、の3状態を対象とする。二者間の対話状態とは、同調圧力（自分とは異なる同じ意見を大勢の他者が持っているときにそれに従わなければならないと感じること）に深く関わり、合意形成や人間関係を構築する上での基本要素である。また、外部観察者が解釈するこれらの状態のことをまとめて共感解釈と呼ぶ。すなわち、この実施形態における対話状態解釈とは共感解釈である。

行動認識部２０の出力する学習用行動時系列と共感解釈付与部３０の出力する学習用共感解釈時系列とはパラメタ学習部４０に入力される。パラメタ学習部４０は、外部観察者の共感解釈と対話者の行動とを関連付けるモデルパラメタを学習する。モデルパラメタは、対話者間の共感解釈の事前分布と、対話者間の行動の時間差と対話者間の行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルと、対話者間の行動の共起性に基づく共感解釈の尤度を表す静的モデルとを含む。

パラメタ学習部４０の備える事前分布学習部４２は、学習用共感解釈時系列を用いて事前分布を学習する（ステップＳ４２）。パラメタ学習部４０の備えるタイミングモデル学習部４４は、学習用行動時系列と学習用共感解釈時系列とを用いてタイミングモデルを学習する（ステップＳ４４）。パラメタ学習部４０の備える静的モデル学習部４６は、学習用行動時系列と学習用共感解釈時系列とを用いて静的モデルを学習する（ステップＳ４６）。得られたモデルパラメタはモデルパラメタ記憶部７４に記憶される。

＜＜モデルの概要＞＞
この実施形態のモデルについて詳述する。この実施形態では、外部観察者が与える共感解釈は対話二者の組み合わせ毎に独立であることを仮定する。よって、以下では対話者が二人のみの場合を想定する。なお、対話者が三人以上の場合には、それぞれの対話二者の組み合わせのみに注目して学習と推定を行えばよい。

この実施形態では、対話者の行動の時系列Bが与えられたときの各時刻tでの外部観察者の共感解釈eの事後確率分布P(e_t|B)を、ナイーブベイズモデルを用いてモデル化し、その推定を行う。ナイーブベイズモデルは従属変数（ここでは共感解釈）と各説明変数（ここでは各対話者の行動）との間の確率的依存関係が説明変数間で独立であることを仮定する。ナイーブベイズモデルはシンプルであるにも関わらず多くの分野で高い推定性能を示すことが確認された優れたモデルである。この感情情報取得部においてナイーブベイズモデルを用いる利点は二つある。一つは、行動チャネル間の全ての共起（例えば、表情、視線、頭部ジェスチャ、および発話有無の全てが同時に発生した状態）をモデル化しないため、過学習を避けやすいという点である。これは、対象とする変数空間に対して学習サンプルが少ない場合に特に有効である。もう一つは、観測情報としての行動チャネルの追加や削除が容易という点である。

この実施形態におけるナイーブベイズモデルでは、事後確率分布P(e_t|B)は式（１）のように定義される。

ここで、P(dt_t ^b|c_t ^b,e_t)はタイミングモデルであり、時刻tの周辺で行動チャネルbについて二者間の行動が時間差dt_t ^bで一致性c_t ^bであるときに外部観察者の共感解釈がeとなる尤度を表す。一致性cとは、二者間で行動が一致しているか否かを表す二値状態のことであり、対話二者の行動のカテゴリが同じか否かで判断する。P(b_t,e_t)は静的モデルであり、時刻tのその瞬間において行動チャネルbが対話二者間でどう共起しているのかをモデル化している。これら二つのモデルについては以下で順に説明する。P(e_t)は共感解釈eの事前分布であり、行動を考えないときに各共感解釈eがどれくらいの確率で生成されるかを表す。

＜＜タイミングモデル＞＞
この実施形態における行動チャネルbについてのタイミングモデルは式（２）のように定義される。

式（２）から明らかなように、このタイミングモデルは、対話二者の行動間の時間差がdtでありその一致性がcであるときの共感解釈eの尤度を表す時間差関数P(d~t_t ^b|c_t ^b,e_t)と、その相互作用の近辺で共感解釈eがどのタイミングで変化するかを表す変化タイミング関数π_tから構成されている。d~t_t ^bは、外部観察者の共感解釈の時系列をヒストグラム化した際のビン番号である。ビンサイズについては例えば200ミリ秒とする。

なお、この実施形態では、それぞれの行動チャネルについてその行動チャネル内で二者間のタイミングモデルを構築したが、行動チャネル間のモデルを構築しても構わない。例えば、表情と頭部ジェスチャとの間の時間差dtと一致性cと、共感解釈eとの関係をモデル化することができる。ただしこの場合は、一致性cを決める際に各行動チャネルについて、例えば、肯定的／中立的／否定的といった、異なる行動チャネルの間でも一致性cを判断できるカテゴリ群を新たに導入する必要がある。これらのカテゴリについては、映像から行動チャネルを検出する際に認識してもよいし、一旦行動チャネルごとに異なるカテゴリ群で認識しておいて、表情が微小なら肯定的といったようにそれらのラベルを後から肯定的／中立的／否定的に分類し直しても構わない。

＜＜時間差関数＞＞
時間差関数P(d~t_t ^b|c_t ^b,e_t)は、対話二者間の行動が行動チャネルbにおいて一致しているか否かを示す一致性cとその時間差dtによって共感解釈eがどの種類となりやすいかの尤度を表す。この実施形態では、外部観察者の共感解釈の時系列をヒストグラム化した際のビン番号d~t_t ^bを使用している。ビンサイズについては例えば200ミリ秒とする。

図８にこの実施形態の時間差関数の一例を表す。時間差関数P(d~t_t ^b|c_t ^b,e_t)は対話者の行動の一致性cと時間差のビン番号d~t_t ^bとにより共感解釈eの尤度を決定する。図８（Ａ）は対話者間の行動が一致する場合の時間差関数の一例であり、図８（Ｂ）は対話者間の行動が不一致の場合の時間差関数の一例である。例えば、対話者間の行動が一致する場合に、与え手の行動表出から受け手の反応表出の時間差が500ミリ秒であった場合には、共感解釈eが「共感」である尤度が約0.3、「どちらでもない」である尤度が約0.2、「反感」である尤度が約0.5となる。時間差関数は外部観察者がラベル付けした共感解釈の時系列を時間差ビン単位で集計し、共感解釈eのカテゴリ毎にすべての時間差ビンにおける尤度の総和が1となるように正規化することで求める。

＜＜変化タイミング関数＞＞
変化タイミング関数πはどのタイミングで共感解釈eが変化するかを表す。別の見方をすると、変化タイミング関数πは時間差関数がどの範囲にわたってどの程度の強さで式（１）における共感解釈eの推定に寄与するかを決定する。

この実施形態では変化タイミング関数を式（３）のようにモデル化する。

ここで、t_aは対象の相互作用における与え手の行動表出開始の時刻を表す。また、時刻t'は与え手の行動表出開始の時刻をt'=0とし、受け手の反応表出開始時刻をt'=1としたときの相互作用中での相対時間を表し、t'=(t-t_a)/dtとして計算される。

π=0は、式（１）で表される事後確率分布P(e_t|B)において、タイミングモデルP(dt_t ^b|c_t ^b,e_t)が全く寄与しないことを表す。π=1は、事後確率分布P(e_t|B)において、タイミングモデルP(dt_t ^b|c_t ^b,e_t)が完全に寄与することを表す。

条件dt>Lは、与え手の行動表出に対して受け手の反応表出が遅すぎることを表す。例えば、この実施形態では閾値Lを2秒とする。これは、話し手の語彙的に重要なフレーズに対する聞き手の表情表出がおよそ500〜2,500ミリ秒の範囲で起こるという研究結果を参考にした値であり、どの行動チャネルにおいても概ねこの範囲に収まるという仮定に基づく。上記の研究結果についての詳細は、「G. R. Jonsdottir, J. Gratch, E. Fast, and K. R. Thorisson, “Fluid semantic back-channel feedback in dialogue: Challenges & progress”, International Conference Intelligent Virtual Agents (IVA), pp. 154-160, 2007.（参考文献３）」を参照されたい。

条件t-t_a>Wは、時刻tがそれ以前の直近で表出された与え手の表情表出からの時間経過が長いことを意味する。対話二者間でお互いに行動を表出して相互作用が行われると、それから一定の間は外部観察者の共感解釈がそのタイミングに影響を受けるが、その後しばらく次の相互作用が行われなければその影響はなくなるということをモデル化したものである。閾値Wは正の値であればどのような値でもよく、二者対話のように対象の二者間で絶えず相互作用が発生する場合には無限大としても問題無い。しかし、大人数での対話で主に一人が話しているといった状況で、その中のある二人の聞き手の間での相互作用といったように、必ずしも相互作用が頻繁とは限らない場合には閾値Wが長すぎる場合も考えられる。この実施形態では経験的に閾値Wを4秒とする。これは、閾値Wを4秒付近に設定した場合に推定精度が最も高くなったという実験結果に基づくものである。

図９に共感解釈、与え手の行動表出、および受け手の反応表出の一例を示す。図９の塗りつぶしパターンは行動もしくは共感解釈のカテゴリの違いを表す。αとβの値については例えばα=0.2、β=0.8と設定する。これらの値は、式（３）の変化タイミング関数πが累積確率を最も近似するように定めたものである。

図１０に変化タイミング関数πの一例を示す。グラフ上にプロットした点は、実際に女性4名の対話グループ4つ（計16名）の対話データに対して計9名の外部観察者が与えた共感解釈のラベルおいて、そのラベルが相対時刻t'中のどこで変化したかの累積確率を表す。この変化タイミング関数によってよく近似できていることが見て取れる。但し、αとβはこの値に限らなくてもよく、α+β=1、0≦α≦1、0≦β≦1を満たすようにする。簡単な設定としては，「α=0、β=1」でもかまわない。

図１１，図１２は変化タイミング関数の有効範囲の一例を模式的に表した図である。黒の塗りつぶしは行動が検出されていない状態、白の塗りつぶしと斜めのハッチングは行動のカテゴリを表している。共感解釈の縦のハッチングは共感であること、横のハッチングは反感であることを表している。図１１（Ａ）は対話者間の行動が一致した場合についての有効範囲を表している。与え手の行動と受け手の反応が一致しているため「共感」が閾値Wの間だけ継続している。図１１（Ｂ）は対話者間の行動が不一致であった場合についての有効範囲を表している。与え手の行動と受け手の反応が不一致であるため「反感」が閾値Wの間だけ継続している。図１１（Ｃ）は与え手の行動表出に対して受け手の反応表出が遅すぎる、すなわちdt>Lであるために変化タイミング関数が有効範囲外となっている状況を表している。この場合は全体を通して「どちらでもない」状態が継続している。図１２は対話二者が交互に行動を表出したときの有効範囲である。基本的な考え方は図１１（Ａ）〜（Ｃ）と同様である。

＜＜静的モデル＞＞
静的モデルP(b_t|e_t)は、時刻tに行動チャネルbについて対話二者間で特定の行動が共起した場合に、共感解釈eがどの程度の尤度で生成されるかをモデル化したものである。

モデル化の方法は、表情と視線については特許文献１および非特許文献１にて提案されているため、これらの文献の記載に従えばよく、対話二者間の視線状態のモデルと、その視線状態毎の表情の状態との共起のモデルとを組み合わせればよい。ここで、二者間の視線状態とは、例えば、相互凝視／片側凝視／相互そらし、の3状態が考えられる。

頭部ジェスチャについての静的モデルはP(g|e)で表される。ここで、gは二者間での頭部ジェスチャの組み合わせ状態を表す。対象とする頭部ジェスチャの状態数をN_gとすると、二者間での頭部ジェスチャの組み合わせの状態数はN_g×N_gとなる。カテゴリとして任意の種類と数を対象としても構わないが、数が多すぎると学習サンプル数が少ない場合に過学習に陥りやすい。その場合は、最初に用意したカテゴリをさらにクラスタリングによりグルーピングしても構わない。例えば、その方法の一つとしてSequential Backward Selection (SBS)が挙げられる。例えば頭部ジェスチャのカテゴリを対象とする場合、頭部ジェスチャのみを用いた推定、すなわち事後確率をP(e|B):=P(e)P(g'|e)として、すべてのカテゴリから推定精度が最高になるように選択した二つのカテゴリを統合して一つにまとめる。これを推定精度が悪化する直前まで繰り返すことで一つずつカテゴリ数を減らしていけばよい。ここで、g’はグルーピング後における二者間での頭部ジェスチャの組み合わせ状態である。発話有無についても頭部ジェスチャと同様に二者間の共起をモデル化する。

＜＜モデルの学習方法＞＞
この実施形態では、いずれのモデルについても離散状態として記述されているため、学習フェーズではその離散状態が学習サンプル中に何回出現したかの頻度を取り、最後にその頻度を正規化（確率化）すればよい。

このとき、モデルを準備する方針として、モデルパラメタの学習に使用する学習用映像に撮影された対話者の集団と、対話状態を推定したい推定用映像に撮影された対話者の集団が同一であれば、対話二者毎にそれぞれ独立にパラメタを学習し、ある対話二者についての推定にはその対話二者のデータから学習したパラメタを用いるとすればよい。他方、学習用映像に撮影された対話者の集団と、推定用映像に撮影された対話者の集団が異なる場合には、対話二者を区別せずに一つのモデルを学習し、その一つのモデルを使用して推定したい対話二者についての推定を行えばよい。

＜推定フェーズ＞
図７を参照して、感情情報取得部１１０の推定フェーズにおける動作例を説明する。

入力部１０へ推定用映像が入力される（ステップＳ１２）。推定用映像は、複数の人物が対話する状況を撮影した映像であり、少なくとも対話者の頭部が撮影されていなければならない。また、推定用映像は学習用映像とは異なる未知の映像である。推定用映像の撮影方法は上述の学習フェーズにおける学習用映像の撮影方法と同様である。入力された推定用映像は推定用映像記憶部７２に記憶される。

行動認識部２０は推定用映像記憶部７２に記憶されている推定用映像を入力として、推定用映像に撮影された各対話者の行動として、表情、視線、頭部ジェスチャ、発話有無などを検出し、その結果生成された対話者の行動の時系列Bを出力する（ステップＳ２２）。行動の認識方法は上述の学習フェーズにおける行動の認識方法と同様であるので、ここでは説明を省略する。

行動認識部２０の出力する推定用行動時系列Bは事後確率推定部５０に入力される。事後確率推定部５０は、モデルパラメタ記憶部７４に記憶されているモデルパラメタを用いて、推定用行動時系列Bから時刻tにおける対話者間の共感解釈の事後確率分布P(e_t|B)を推定する（ステップＳ５０）。事後確率推定部５０は、推定用映像に基づいて生成された対話者の行動の時系列Bと、パラメタ学習部４０で学習した事前分布とタイミングモデルと静的モデルの各パラメタを含むモデルパラメタとを入力として、上記の式（１）に従って、時刻tにおける共感解釈eの事後確率分布P(e_t|B)を計算する。

出力部６０は、対話者間の共感解釈eの事後確率分布P(e_t|B)を出力する（ステップＳ６０）。共感解釈の推定結果を確率分布ではなく一つの種類として出力する必要がある場合には、事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax _{e_t} P(e_t|B)を対話状態値e~_tとして併せて出力すればよい。

つまり、感情情報取得部１１０は、この共感解釈eの事後確率分布P(e_t|B)、または、事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax_{e_t} P(e_t|B)を感情情報として求める。本実施形態では、事後確率が最も高い共感解釈の種類e~_t=argmax _{e_t} P(e_t|B)を感情情報として求め、出力するものとする。なお、感情情報取得部１１０が、この共感解釈eの事後確率分布P(e_t|B)を感情情報として求め、出力する場合には、図１６に示すように各事後確率分布P(e_t|B)を棒グラフ等で表示するにように制御してもよい。詳細は後述する変形例の中で説明する。

＜制御部１２０＞
制御部１２０は、Ｎ人が撮影された映像と感情情報とを受け取り、（１）感情情報のうち、Ｎ人のうちの１人である第一の人物２−ｉ（ｉは１，２，…，Ｎの何れか）と他者２−ｊ（ｊ＝１，２，…，Ｎ、ただし、ｉ≠ｊ）との間の感情情報σ_i,j、（２）感情情報σ_i,j以外の感情情報σ_i",j"（ｉ”＝１，２，…，Ｎ、ただしｉ”≠ｉ、ｊ”＝１，２，…，Ｎ、ただし、ｉ”≠ｊ”かつｉ≠ｊ”）、（３）全ての感情情報σ_i',j'（ｉ’＝１，２，…，Ｎ、ｊ’＝１，２，…，Ｎ、ただし、ｉ’≠ｊ’）を切り替えて、表示装置３に表示するように制御する（ｓ２）。

例えば、Ｎ＝４、ｉ＝１とし、制御部１２０は、４人がそれぞれ撮影された４つ映像と感情情報σ_n,n'とを受け取り（ただし、ｎ＝１，２，３，４、ｎ’＝１，２，３，４、ｎ≠ｎ’、σ_n,n'=σ_n',nである）、４つの映像を、表示装置３で表示できるように合成する。

制御部１２０は、切替情報に基づいて、上述の（１）〜（３）の感情情報σ_i,j、σ_i",j"、σ_i',j'の何れかを表示装置３に表示するように制御する。切替情報は、（１）〜（３）の感情情報σ_i,j、σ_i",j"、σ_i',j'のうち、どの感情情報を表示するかを特定するための情報であり、例えば、（Ａ）表示装置３を視聴している視聴者や、感情情報表示制御装置１００の利用者等によって、選択された情報（以下「選択情報」ともいう）、（Ｂ）時刻情報、（Ｃ）全ての感情情報σ_i',j'等が考えられる。

（Ａ）の選択情報は上述の（１）〜（３）に対応するように設定する。例えば、感情情報表示制御装置１００の図示しない表示部に
「以下の中から表示する感情情報を選択してください
１．第一の人物と他者との間の共感情報
２．１．以外の共感情報
３．全ての共感情報」
と表示し、利用者が図示しない入力部（マウスやキーボード等）を操作して入力した情報に対応する感情情報を表示装置３に表示するように制御する。なお、この際、第一の人物を選択する処理を追加してもよい。例えば、感情情報表示制御装置１００の図示しない表示部に「第一の人物を選択してください」と表示し、利用者が図示しない入力部を操作して入力した情報に基づき第一の人物を特定する。なお、第一の人物を選択する処理は、表示する感情情報を選択する前でも後でもよい。

（Ｂ）の時刻情報を切替情報として利用する場合には、所定の時間（例えば３０秒）経過毎に（１）〜（３）の感情情報σ_i,j、σ_i",j"、σ_i',j'を順番に表示装置３に表示するように制御する。このとき、（１）〜（３）の感情情報σ_i,j、σ_i",j"、σ_i',j'毎に異なる時間を設定してもよい。例えば、（１）及び（２）の感情情報σ_i,j、σ_i",j"は１０秒ずつ表示し、（３）の感情情報σ_i',j'は５秒で表示を切り替えるといった制御も可能である。さらに、第一の人物を所定の時間経過毎に切り替えてもよい。例えば、まず人物２−１について（１）〜（３）を表示し、以降、他の人物について順番に同じく（１）〜（３）を表示し、全ての人物について表示し終わったら、また人物２−１に戻るという制御を行ってもよい。

（Ｃ）の全ての感情情報σ_i',j'を切替情報として利用する場合には、例えば、共感や反感の割合が高い感情情報σ_i,j、σ_i",j"、σ_i',j'を表示装置３に表示するように制御する。また、大きく変化した感情情報の割合が高い感情情報σ_i,j、σ_i",j"、σ_i',j'を表示装置３に表示するように制御する。

（Ａ）〜（Ｃ）の情報（選択情報、時刻情報、感情情報）の組合せを切替情報として利用してもよい。例えば、選択情報、時刻情報、感情情報に対して優先度を付与しておき、基本的には優先度が高い切替情報に基づき、上述の（１）〜（３）の感情情報σ_i,j、σ_i",j"、σ_i',j'の何れかを表示装置３に表示するように制御する。例えば、優先度が選択情報＞感情情報＞時刻情報となるように設定し、選択情報を受け取った場合には、選択情報に基づき感情情報σ_i,j、σ_i",j"、σ_i',j'の何れかを表示装置３に表示するように制御する。選択情報を受け取っていない場合や受け取ってから何ら操作されず相当の時間（選択情報を入力したものの選択の意思がもはや感じられないと判断できる程度の時間）が経過した場合には、共感の割合が高い感情情報σ_i,j、σ_i",j"、σ_i',j'を表示装置３に表示するように制御する。選択情報を受け取っていない場合や受け取ってから何ら操作されず相当の時間が経過した場合であって、感情情報σ_i,j、σ_i",j"、σ_i',j'のなかに共感の割合が高い感情情報が存在しない場合には、時刻情報に基づき感情情報σ_i,j、σ_i",j"、σ_i',j'の何れかを表示装置３に表示するように制御する。

どの感情情報σ_i,j、σ_i",j"、σ_i',j'を表示装置３に表示するかが決まると、制御部１２０は、表示する感情情報σ_i,j、σ_i",j"、σ_i',j'に応じて以下の処理を行う。

（１）の感情情報σ_i,jを表示装置３に表示するように制御する場合、制御部１２０は、合成した映像に第一の人物２−１と他者２−２、２−３、２−４との間の感情情報σ_1,2，σ_1,3，σ_1,4を付加して、表示装置３に出力する。

（２）の感情情報σ_i",j"を表示装置３に表示するように制御する場合、制御部１２０は、合成した映像に第一の人物２−１と他者２−２、２−３、２−４との間の感情情報σ_1,2，σ_1,3，σ_1,4以外の感情情報σ_2,3，σ_2,4，σ_3,4を付加して、表示装置３に出力する。

（３）の感情情報σ_i',j'を表示装置３に表示するように制御する場合、合成した映像に全ての感情情報を付加して、表示装置３に出力する。

図１３は（１）の場合に、図１４は（２）の場合に、図１５は（３）の場合に表示装置３に表示される映像の例を表す。なお、この図において、人物を結ぶ実線は感情情報σ_n,n'が共感であることを、破線は反感であることを表す（実際の利用に際しては、人物を結ぶ線の色や点滅等、さらには、人物を結ぶ線を用いずに、人物の位置や大きさ等の様々な視覚的な差異により、利用者が感情情報の差異を知覚できるものであればどのような表示方法であってもよい）。なお、感情情報は、２人の間において相互に共通する感情の度合いを示すものなので、感情情報σ_n,n'=σ_n',nである。言い換えると、２人の間の、一方から他方への感情の度合いと、他方から一方への感情の度合いは同じである。

また、感情情報として、各時点の値を用いてもよいし、各時点からΔＴ時刻前までの値の最頻値などの代表値を用いてもよい。また、感情情報と閾値とを比較し、閾値以上のときのみ表示するように制御してもよい。感情情報取得部１１０で事後確率分布P(e_t|B)を求める場合には、各時点からΔＴ時刻前までの値の平均値を、感情情報として用いてもよい。

＜効果＞
このような構成により、感情情報を把握しやすくすることができる。例えば、第一の人物と他者との間の感情情報σ_i,jを表示することで、第一の人物の感情情報を把握しやすくすることができ、第一の人物のコミュニケーション能力等を見る際に有効である。第一の人物が、表示装置を見る場合には、自分自身と他者との感情状態を容易に把握することができる。第一の人物に対して他者全員が反感し、第一の人物と他者との間の感情情報以外の感情情報が全て共感である場合、第一の人物が自分自身だけ異なる意見を有することを即座に察知して話題を変えるなどの対応ができ、場の円満を図ることができる。また、第一の人物と他者との間の感情情報以外の感情情報σ_i",j"を表示することで、第一の人物以外の人物の感情情報を把握しやすくすることができ、第一の人物以外の人物間で行われている対話の状況やそれら人物のコミュニケーション能力等を見る際に有効である。感情情報σ_i,jとσ_i",j"とを切り替えて表示することで、第一の人物の感情情報を把握しつつ、第一の人物以外の人物の間の感情情報を把握しやすくなる。例えば、ディスカッション等の司会者や進行役を第一の人物として設定し、感情情報σ_i,jとσ_i",j"とを切り替えて表示することで、感情情報σ_i,jにより司会者等の司会進行が上手くいっているか確認しつつ、感情情報σ_i",j"により参加者間の話し合いの状況を把握しやすくすることができる。

また、全ての感情情報σ_i',j'を、感情情報σ_i,jや感情情報σ_i",j"とを切り替えて表示することで、会話全体における、第一の人物や第一の人物以外の人物のコミュニケーション能力等やその役割等を容易に把握することができる。

＜変形例＞
本実施形態では、共感を二者の感情状態が類似している状態、反感をそれらが異なっている状態と定義したが、外部観測者がある二者を見たときにその二者が「共感」していると感じられるものを『共感』と定義し、「反感」していると感じられるものを『反感』と定義してもよい。つまり、ここでは、観測者各々の内部にある共感・反感の定義に従うこととしている。これは、観測者各々の間で共感・反感の定義や共感・反感を読み取る能力がまちまちであり、むしろ、そのばらつきがあること自体がコミュニケーションの本質であり、複数の観測者による共感・反感の解釈を集めたものでもって客観的な共感・反感の定義とするという立場である。つまり、ここでモデル化したい『共感・反感』という事象には、対話の場における対話者間の共感・反感の不確定性と、外部観測者による共感・反感の定義・解釈の不確定性の両者がたたみ込まれている。

本実施形態では、Ｎ人が撮影された映像を入力としているが、Ｎ’（＞Ｎ）人が撮影された映像を入力とし、その一部（Ｎ’人のうちのＮ人）に係る感情情報のみを表示するように制御する構成としてもよい。ただし、３≦Ｎ＜Ｎ’である。より詳しく言うと、Ｎ人のうちの１人を第一の人物とし、Ｎ人のうちの第一の人物以外の（Ｎ−１）人を他者とする。例えば、６人が撮影された映像を入力とし、その中の４人に関する感情情報を表示するように制御してもよい。その４人のうちの１人を第一の人物２−ｉとし、残りの３人を他者２−ｊとして設定する。Ｎ人より多くの人物が撮影された映像を受け取る場合、制御部１２０は、その映像と感情情報とを受け取り、Ｎ人より多くの人物の中からＮ人を選択し、さらにＮ人の中から第一の人物を選択する。なお、Ｎ人及び第一の人物の選び方は、ユーザの指定であっても、予め指定された人物であってもよい。他の処理については、制御部１２０で説明した通りである。Ｎ人及び第一の人物の選択は、感情情報取得部１１０の前後の何れであってもよい。感情情報取得部１１０は、撮影された映像に含まれる（Ｎ人より多い）全ての対話者を対象として二者間の感情情報を取得しても良いし、感情情報を表示する一部の人（Ｎ人）を対象として二者間の感情情報を取得しても良い。

感情情報取得部１１０の処理内容は上述の方法に限定されず、感情情報（複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合い）を求めるものであれば、他の方法（例えば、特許文献１または非特許文献１）であってもよい。また、感情は「共感」「反感」「何れでもない」に限定されず、他の感情であってもよい。

感情情報取得部１１０では、対話者間の全ての組合せについて感情情報を求めているが、必ずしも全ての組合せについて感情情報を求めなくともよい。例えば、制御部において、一部の感情情報のみを表示しないように制御してもよく、その場合には、表示を必要とする感情情報を求めればよい。このような構成により、感情情報の取得に係る計算量を軽減することができる。

制御部１２０では、三つの感情情報σ_i,j、σ_i",j"、σ_i',j'を切り替えて、表示装置３に表示するように制御しているが、三つの感情情報σ_i,j、σ_i",j"、σ_i',j'の少なくとも２つ以上を切り替えて、表示装置３に表示するように制御してもよい。

Ｎ人が撮影された映像が、１つの映像データからなるものである場合には、１つの映像データから各人物の顔部分を切り取り、表示装置３で表示できるように合成してもよい。

感情情報取得部１１０が、この共感解釈eの事後確率分布P(e_t|B)を感情情報として求め、出力する場合には、制御部１２０は、事後確率が最も高い共感解釈の種類e~_t=argmaxP(e_t|B)を実線、破線等で表示するとともに、各事後確率分布P(e_t|B)を棒グラフ等で表示するにように制御する構成としてもよい（図１６参照）。言い換えると、制御部１２０は、感情情報取得部１１０で求めた全ての種類の感情の度合いを感情情報として表示するように制御する構成としてもよい。図中、右下がり対角線は「共感」の、縦線は「反感」の、「横線」は「何れでもない」の事後確率を表す。棒グラフ等のみを表示するように制御してもよい。

第一の人物２−ｉが、それぞれ表示装置３に表示されないように制御してもよい。図１７〜図１９は、第一の人物２−ｉが、表示装置３に表示されないように制御した場合の、表示装置３で表示される映像の例を示す。図１７〜図１９はそれぞれ図１３〜図１５に対応する。特に、第一の人物自身が、表示装置を見る場合に、自分自身と他者との感情状態をより直感的に容易に把握することができる。さらに、表示装置として、ヘッドマウントディスプレイを用いることで、より直感的な把握が可能となる。

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

図２０は、第一実施形態に係る感情情報表示制御装置１００の配置例を示す。感情情報表示制御装置１００は、Ｎ人以上が撮影された映像を入力とし、Ｍ台の表示装置３−ｍ（ｍ＝１，２，…、Ｍ）に、感情情報を付加した映像を出力する。Ｎは３以上、Ｍは２以上の整数である。図２１は感情情報表示制御装置１００の処理フローを示す。

第二実施形態では、制御部１２０の処理内容が第一実施形態とは異なる。

＜制御部１２０＞
制御部１２０は、Ｎ人が撮影された映像と感情情報とを受け取り、感情情報のうち、Ｎ人のうちの１人である第一の人物２−ｉと他者２−ｊとの間の感情情報σ_i,jを、Ｍ台の表示装置３−ｍのうちの１つである表示装置３−ｐに表示するように制御する（ｓ２−１）。

さらに、制御部１２０は、感情情報のうち、感情情報σ_i,j以外の感情情報σ_i",j"（ｉ”＝１，２，…，Ｎ、ただしｉ”≠ｉ、ｊ”＝１，２，…，Ｎ、ただし、ｉ”≠ｊ”かつｉ≠ｊ”）を、Ｍ台の表示装置３−ｍ（ｍ＝１，２，…，Ｍ）のうちの１つである表示装置３−ｐ’（ｐ’は１，２，…，Ｍの何れか、ただし、ｐ≠ｐ’）に表示するように制御する（ｓ２−２）。

例えば、Ｎ＝４、Ｍ＝２、ｉ＝１とし、制御部１２０は、４人がそれぞれ撮影された４つ映像と感情情報σ_n,n'とを受け取り（ただし、ｎ＝１，２，３，４、ｎ’＝１，２，３，４、ｎ≠ｎ’、σ_n,n'=σ_n',nである）、４つの映像を、１つの表示装置３−１または３−２で表示できるように合成する。合成した映像に第一の人物２−１と他者２−２、２−３、２−４との間の感情情報σ_1,2，σ_1,3，σ_1,4を付加して、表示装置３−１に出力する。さらに、制御部１２０は、合成した映像に感情情報σ_1,2，σ_1,3，σ_1,4以外の感情情報σ_2,3，σ_2,4，σ_3,4を付加して、表示装置３−２に出力する。なお、この場合に表示装置３−ｐ及び３−ｐ’に表示される映像の例はそれぞれ図１３及び図１４と同様となる。第一の人物２−ｉが、表示装置３−ｐ及び３−ｐ’に表示されないように制御した場合の、表示装置３−ｐ及び３−ｐ’に表示される映像の例はそれぞれ図１７及び図１８と同様となる。

＜効果＞
このような構成により、感情情報を把握しやすくすることができる。例えば、第一の人物と他者との間の感情情報σ_i,jを表示することで、第一の人物の感情情報を把握しやすくすることができ、第一の人物のコミュニケーション能力等を見る際に有効である。第一の人物が、表示装置を見る場合には、自分自身と他者との感情状態を容易に把握することができる。第一の人物に対して他者全員が反感し、第一の人物と他者との間の感情情報以外の感情情報が全て共感である場合、第一の人物が自分自身だけ異なる意見を有することを即座に察知して話題を変えるなどの対応ができ、場の円満を図ることができる。また、第一の人物と他者との間の感情情報以外の感情情報σ_i",j"を表示することで、第一の人物以外の人物の感情情報を把握しやすくすることができ、第一の人物以外の人物間で行われている対話の状況やそれら人物のコミュニケーション能力等を見る際に有効である。感情情報σ_i,jとσ_i",j"とを同時にそれぞれ表示装置３−ｐと３−ｐ’とに表示することで、第一の人物の感情情報を把握を把握しつつ、第一の人物以外の人物の間の感情情報を把握しやすくなる。例えば、ディスカッション等の司会者や進行役を第一の人物として設定し、感情情報σ_i,jとσ_i",j"とを同時にそれぞれ表示装置３−ｐと３−ｐ’とに表示することで、感情情報σ_i,jにより司会者等の司会進行が上手くいっているか確認しつつ、感情情報σ_i",j"により参加者間の話し合いの状況を把握しやすくすることができる。

＜第三実施形態＞
第二実施形態と異なる部分を中心に説明する。

第三実施形態では、Ｍは３以上の整数である。図２１は感情情報表示制御装置１００の処理フローを示す。制御部１２０の処理内容が第二実施形態とは異なる。

＜制御部１２０＞
制御部１２０は、Ｎ人が撮影された映像と感情情報とを受け取り、感情情報のうち、Ｎ人のうちの１人である第一の人物２−ｉと他者２−ｊとの間の感情情報σ_i,jを、Ｍ台の表示装置３−ｍのうちの１つである表示装置３−ｐに表示するように制御する（ｓ２−１）。

さらに、制御部１２０は、感情情報のうち、感情情報σ_i,j以外の感情情報σ_i",j"（ｉ”＝１，２，…，Ｎ、ただしｉ”≠ｉ、ｊ”＝１，２，…，Ｎ、ただし、ｉ”≠ｊ”かつｉ≠ｊ”）を、Ｍ台の表示装置３−ｍ（ｍ＝１，２，…，Ｍ）のうちの１つである表示装置３−ｐ’（ｐ’は１，２，…，Ｍの何れか、ただし、ｐ≠ｐ’）に表示するように制御する（ｓ２−２）。

さらに、制御部１２０は、感情情報σ_i',j'の全てを（ｉ’＝１，２，…，Ｎ、ｊ’＝１，２，…，Ｎ、ただし、ｉ’≠ｊ’）、Ｍ台の表示装置３−ｍのうちの表示装置３−ｐ及びｐ’以外の１つである表示装置３−ｐ”（ｐ”は１，２，…，Ｍの何れか、ただし、ｐ≠ｐ”、ｐ’≠ｐ”）に表示するように制御する（ｓ２−３）。

例えば、Ｎ＝４、Ｍ＝３、ｉ＝１とし、制御部１２０は、４人がそれぞれ撮影された４つ映像と感情情報σ_n,n'とを受け取り（ただし、ｎ＝１，２，３，４、ｎ’＝１，２，３，４、ｎ≠ｎ’、σ_n,n'=σ_n',nである）、４つの映像を、一つの表示装置３−１、３−２または３−３で表示できるように合成する。合成した映像に第一の人物２−１と他者２−２、２−３、２−４との間の感情情報σ_1,2，σ_1,3，σ_1,4を付加して、表示装置３−１に出力する。さらに、制御部１２０は、合成した映像に感情情報σ_1,2，σ_1,3，σ_1,4以外の感情情報σ_2,3，σ_2,4，σ_3,4を付加して、表示装置３−２に出力する。さらに、制御部１２０は、合成した映像に全ての感情情報を付加して、表示装置３−３に出力する。

なお、この場合に表示装置３−ｐ、３−ｐ’及び３−ｐ”に表示される映像の例はそれぞれ図１３、図１４及び図１５と同様となる。第一の人物２−ｉが、表示装置３−ｐ、３−ｐ’及び３−ｐ”に表示されないように制御した場合の、表示装置３−ｐ、３−ｐ’及び３−ｐ”に表示される映像の例はそれぞれ図１７、図１８及び図１９と同様となる。

＜効果＞
このような構成により、第二実施形態と同様の効果を得ることができる。さらに、全ての感情情報σ_i',j'を、表示装置３−ｐ”に表示することで、会話全体における、第一の人物や第一の人物以外の人物のコミュニケーション能力等やその役割等を容易に把握することができる。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

1. 複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、３人以上が撮影された映像から、前記３人以上のうちの２人の間の感情情報を求める感情情報取得部と、
   前記感情情報のうち、前記３人以上のうちの１人である第一の人物と２人以上の他者との間の感情情報を、前記第一の人物用の複数の表示装置のうちの１つである第一の表示装置に表示し、同時に、前記感情情報のうち、前記第一の人物と前記他者との間の前記感情情報以外の感情情報を、前記第一の人物用の前記複数の表示装置のうちの前記第一の表示装置以外の１つである第二の表示装置に表示するように制御する制御部とを含む、
   感情情報表示制御装置。
2. 請求項１の感情情報表示制御装置であって、
   ３≦Ｎ＜Ｎ’、Ｎ’人が撮影された映像を入力とし、Ｎ’人の一部であるＮ人のうちの１人を前記第一の人物とし、前記Ｎ人のうちの第一の人物以外の（Ｎ−１）人を他者とする、
   感情情報表示制御装置。
3. 請求項１または請求項２の感情情報表示制御装置であって、
   前記感情情報には、複数の種類の感情の度合いが含まれるものとし、前記感情情報取得部は、全ての種類の感情の度合いを前記感情情報として求め、
   前記制御部は、前記感情情報取得部で求めた全ての種類の感情の度合いを前記感情情報として表示するように制御する、
   感情情報表示制御装置。
4. 複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、３人以上が撮影された映像から、前記３人以上のうちの２人の間の感情情報を求める感情情報取得ステップと、
   前記感情情報のうち、前記３人以上のうちの１人である第一の人物と２人以上の他者との間の感情情報を、前記第一の人物用の複数の表示装置のうちの１つである第一の表示装置に表示し、同時に、前記感情情報のうち、前記第一の人物と前記他者との間の前記感情情報以外の感情情報を、前記第一の人物用の前記複数の表示装置のうちの前記第一の表示装置以外の１つである第二の表示装置に表示するように制御する制御ステップとを含む、
   感情情報表示制御方法。
5. 請求項４の感情情報表示制御方法であって、
   ３≦Ｎ＜Ｎ’、Ｎ’人が撮影された映像を入力とし、Ｎ’人の一部であるＮ人のうちの１人を前記第一の人物とし、前記Ｎ人のうちの第一の人物以外の（Ｎ−１）人を他者とする、
   感情情報表示制御方法。
6. 請求項４または請求項５の感情情報表示制御方法であって、
   前記感情情報には、複数の種類の感情の度合いが含まれるものとし、前記感情情報取得ステップは、全ての種類の感情の度合いを前記感情情報として求め、
   前記制御ステップは、前記感情情報取得ステップで求めた全ての種類の感情の度合いを前記感情情報として表示するように制御する、
   感情情報表示制御方法。
7. 請求項１から３の何れかの感情情報表示制御装置として、コンピュータを機能させるためのプログラム。