JP4716119B2 - インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム - Google Patents

Description

本発明は、情報提供者と情報の提供を受ける者（情報受領者）とのインタラクションに関する情報であるインタラクション情報を出力するインタラクション情報出力装置等に関する。

従来、情報提供者と、情報受領者との間のインタラクションを、情報提供者や、情報受領者の行動から判断する技術について研究されている（例えば、非特許文献１参照）。
伊藤禎宣、岩澤昭一郎、馬田一郎、鳥山朋二、土川仁、角康之、間瀬健二、小暮潔、萩田紀博、片桐恭弘、「外部観測可能な非言語行動による興味傾向判別の提案」、ヒューマンインタフェース学会論文誌、Ｖｏｌ．８、Ｎｏ．１、ｐ．９−２２、２００６年２月

しかしながら、情報受領者は、一般に、店の顧客や、病院の患者等であり、それらの人の身体に何らかの装置を装着させて、それらの人の行動等を示す情報を取得することは困難であり、また、それらの人の行動等を勝手に取得することは、プライバシーの観点からも好ましくないという問題があった。

本発明は、上記問題点を解決するためになされたものであり、情報受領者の行動を示す情報等を用いることなく、情報提供者と、情報受領者とのインタラクションを示すインタラクション情報を生成し、出力するインタラクション情報出力装置等を提供することを目的とする。

上記目的を達成するため、発明者らは研究を重ね、情報提供者と、情報受領者との行動には相関があることを見つけ、その相関を用いることにより、情報提供者の動きを示す情報等を用いるだけで、情報受領者の動きを示す情報等を用いることなく、情報提供者と情報受領者との間のインタラクションがどのようなものであるのかについて判断することができる技術を開発した。そのようにして開発された本発明によるインタラクション情報出力装置は、以下に示すものである。

本発明によるインタラクション情報出力装置は、１以上の人に対面して情報を提供している情報提供者の動きを示す情報であるモーション情報を受け付けるモーション情報受付部と、前記モーション情報受付部が受け付けたモーション情報から、前記情報提供者と１以上の情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成部と、前記インタラクション情報生成部が生成したインタラクション情報を出力するインタラクション情報出力部と、を備えたものである。

このような構成により、情報受領者に関する情報を用いることなく、情報提供者に関する情報のみを用いることによって、両者のインタラクションを示すインタラクション情報を生成して出力することができる。したがって、情報受領者に何らかの装置を装着させる必要がなく、また、情報受領者のプライバシーも守ることができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報生成部は、人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、前記条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報からコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するコミュニケーション行動情報生成手段と、前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するインタラクション情報生成手段と、を備えていてもよい。

このような構成により、モーション情報からコミュニケーション行動というコミュニケーション時に行われる定型の行動を検出し、その検出されたコミュニケーション行動を用いてインタラクション情報を生成することができる。コミュニケーション行動の種類や条件情報を適切に設定することにより、より適切なインタラクション情報の生成を行うことができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報生成部は、コミュニケーション行動情報の示す値を引数とする関数を示す情報である関数情報が１以上記憶される関数情報記憶手段をさらに具備し、前記インタラクション情報生成手段は、前記関数情報記憶手段で記憶されている１以上の関数情報の示す関数に、前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成してもよい。

このような構成により、関数情報を用いることによって、検出されたコミュニケーション行動からインタラクション情報を生成することができる。関数情報を適切に設定することにより、より適切なインタラクション情報の生成を行うことができる。

また、本発明によるインタラクション情報出力装置では、前記情報提供者の発した音声に関する情報である音声情報を受け付ける音声情報受付部をさらに備え、前記インタラクション情報生成部は、前記モーション情報受付部が受け付けたモーション情報と、前記音声情報受付部が受け付けた音声情報とを用いて前記インタラクション情報を生成してもよい。

このような構成により、モーション情報のみではなく、音声情報も用いてインタラクション情報の生成を行うことができ、より精度の高いインタラクション情報の生成を行うことができる。

また、本発明によるインタラクション情報出力装置では、前記モーション情報は、前記情報提供者の視線に関する情報を含んでいてもよい。
このような構成により、モーション情報に含まれる視線に関する情報を用いてインタラクション情報の生成を行うことができ、より精度の高いインタラクション情報の生成を行うことができる。例えば、その視線に関する情報を用いてコミュニケーション行動「注視」等を検出することができ、そのコミュニケーション情報を用いてインタラクション情報を生成することができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報は、前記情報提供者と、１以上の情報受領者とのインタラクションの種類を示す情報を含んでいてもよい。

このような構成により、出力されたインタラクション情報によって、情報提供者と、情報受領者とのインタラクションの種類がどのようなものであるのかについて知ることができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報は、前記情報提供者と、１以上の情報受領者との所定の種類のインタラクションの程度を示す情報を含んでいてもよい。

このような構成により、出力されたインタラクション情報によって、情報提供者と、情報受領者との所定の種類のインタラクションの程度がどれぐらいであるのかについて知ることができる。

本発明によるインタラクション情報出力装置等によれば、情報受領者に関する情報を用いることなく、情報提供者に関する情報のみを用いることによって、両者のインタラクションを示すインタラクション情報を生成して出力することができる。したがって、情報受領者に何らかの装置を装着させる必要がなく、また、情報受領者のプライバシーも守ることができる。

以下、本発明によるインタラクション情報出力装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１によるインタラクション情報出力装置について、図面を参照しながら説明する。
図１は、本実施の形態によるインタラクション情報出力装置１の構成を示すブロック図である。図１において、本実施の形態によるインタラクション情報出力装置１は、モーション情報受付部１１と、モーション情報蓄積部１２と、音声情報受付部１３と、音声情報蓄積部１４と、インタラクション情報生成部１５と、インタラクション情報出力部１６とを備える。

モーション情報受付部１１は、モーション情報を受け付ける。ここで、モーション情報とは、１以上の人に対面して情報を提供している情報提供者の動きを示す情報である。情報提供者は、例えば、顧客に商品やサービス等について説明する販売員、生徒を教える教師、患者に症状や治療方針等について説明する医師、広報活動を行う広報担当者等である。情報提供者から情報を提供される１以上の情報受領者は、例えば、顧客、生徒、患者、広報を聞く人等である。

モーション情報は、例えば、情報提供者の行動に関する情報（以下、「行動情報」と呼ぶこともある）を含んでいてもよく、情報提供者の視線の動きに関する情報（以下、「視線情報」と呼ぶこともある）を含んでいてもよい。

行動情報は、情報提供者の手の動きを示す情報を含んでいてもよく、情報提供者の頭の動きを示す情報を含んでいてもよく、情報提供者の胴体の動きを示す情報を含んでいてもよく、情報提供者のその他の部分の動きを示す情報を含んでいてもかまわない。行動情報は、例えば、モーションキャプチャシステムによって取得されてもよく、環境側に設置したカメラで情報提供者を撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。モーションキャプチャシステムとは、被験者の体に光を反射する所定のマーカを付け、１以上のカメラを用いることによって被験者を撮影し、そのマーカの位置を算出することによって被験者の体の動きを検出するものである。なお、反射式のマーカではなく、自ら発光するアクティブ式のマーカを用いてもよい。また、光学式のマーカではなく、磁気マーカを用いてもよい。このように、モーションキャプチャシステムは、被験者の動きを検出することができるものであれば、その種類を問わない。行動情報がモーションキャプチャシステムによって取得される場合には、行動情報は、例えば、各マーカの３次元座標系における位置を示す時系列のデータである。情報提供者を撮影して動画を解析するとは、情報提供者の動画を撮影し、その撮影した動画から、肌色検出、差分抽出、またはパターンマッチング等の技術を用いて情報提供者の画像領域を特定し、その特定した画像領域から情報提供者の手の動きや頭の動き等を抽出することである。また、行動情報を取得するその他の方法としては、例えば、被験者の体の１以上の部分に加速度センサを付け、その加速度センサによって被験者の体の動きを検出する方法等がある。また、行動情報を取得する上記の２以上の方法を組み合わせてもよい。行動情報を取得する方法については従来から知られており、その詳細な説明は省略する。また、行動情報には、情報提供者の位置を示す情報が含まれてもよい。情報提供者の位置を示す情報は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、ＬＰＳ（Ｌｏｃａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、非接触方式のサーモセンサを用いて取得されてもよく、レーザレンジファインダを用いて取得されてもよく、その他の技術を用いて取得されてもかまわない。ＬＰＳとは、例えば、アクティブＲＦＩＤを用いたり、地磁気センサと加速度センサとを有する自律航法型の位置測位センサを用いたりすることによって、基準点からの座標値を算出することができる装置である。非接触方式のサーモセンサとは、赤外線等を用いることにより物体の温度を検出することができる装置である。したがって、その装置によって人の存在を検出することができ、２以上のサーモセンサを用いることにより、人の高精度な位置検出が可能となる。レーザレンジファインダとは、出射したレーザ光の反射光から、三角測量の原理を利用して距離を検出する装置である。

視線情報は、情報提供者の視線の向きを示す情報を含んでいてもよく、情報提供者の視線の向きを情報提供者の頭の向きで近似する場合には、情報提供者の頭の向きを示す情報を含んでいてもよく、情報提供者の視線が遮られたこと、すなわち情報提供者が瞬きをしたことを示す情報を含んでいてもよく、情報提供者のその他の視線に関する情報を含んでいてもかまわない。ここで、被験者が立位である場合には、一般に顔の正面の向きの９０度の範囲内に視線があることが知られているため、情報提供者の視線の向きを情報提供者の頭の向きで近似することも可能である。視線情報は、例えば、アイカメラによって取得されてもよく、情報提供者を環境側に設置したカメラで撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。アイカメラとは、被験者の眼球運動を測定する装置である。アイカメラは、例えば、リンバストラッキング法（強膜反射法）、角膜反射法、画像処理法等を用いて被験者の眼球運動を測定する。画像処理法とは、瞳孔中心を検出して視線方向を抽出する方法であり、被験者への負担がほとんどない。情報提供者を撮影した動画を解析するとは、情報提供者の目の位置をパターンマッチング等の技術を用いて特定し、上記の画像処理法と同様の方法や、白目と黒目の領域を比較する方法等によって視線方向を抽出することである。また、視線情報を取得するその他の方法としては、垂直眼電図（ｖｅｒｔｉｃａｌ ＥＯＧ：ｅｌｅｃｔｒｏｃｕｌｏｇｒａｐｈ）を用いて瞬目を検出する方法や、被験者の頭部に加速度センサを付け、その加速度センサによって被験者の頭の動きを検出する方法、被験者の頭部に指向性と収束性を有する光線を出力する発光部を付け、その発光部からの光を環境側に設置した検出部で検出することによって被験者の頭の動きを検出する方法、被験者の頭部にヘッドマウントカメラをつけて被験者の視線方向等の画像を撮影し、その画像を解析することによって被験者の頭の動きを検出する方法等がある。また、視線情報を取得する上記の２以上の方法を組み合わせてもよい。また、視線情報が被験者の視線の方向を示す情報である場合に、局所座標系（被験者の頭部に設定される視野座標系）の情報を視線情報として用いてもよく、あるいは、局所座標系の値をモーションキャプチャシステム等のデータと同じ座標系である世界座標系に変換した情報を視線情報として用いてもよい。視線情報を取得する方法については従来から知られており、その詳細な説明は省略する。

モーション情報受付部１１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネル等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、モーション情報受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、受付部は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、モーション情報受付部１１は、図１で示されるように、アイカメラによって取得された視線情報と、モーションキャプチャシステムによって取得された行動情報とを受け付けるものとする。

モーション情報蓄積部１２は、モーション情報受付部１１が受け付けたモーション情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、モーション情報蓄積部１２が有していてもよく、あるいはモーション情報蓄積部１２の外部に存在してもよい。本実施の形態では、モーション情報蓄積部１２がその記録媒体を有するものとする。また、この記録媒体は、モーション情報を一時的に記憶するものであってもよく、そうでなくてもよい。

音声情報受付部１３は、音声情報を受け付ける。ここで、音声情報とは、情報提供者の発した音声に関する情報である。この音声情報は、情報提供者の発した言葉を識別可能なものであってもよく、あるいは、情報提供者の発した音声の強弱のみを識別可能なものであってもよい。後者の場合には、情報提供者がどのような言葉を発したのかについては、音声の強弱から推測することはできても、明確にはわからないことになる。音声情報は、例えば、情報提供者の発した音声のみを含んでいてもよく、あるいは、情報提供者の音声以外の環境音を含んでいてもよい。後者の場合には、情報提供者の環境音を除去することによって情報提供者の音声のみを抽出してもよい。音声情報は、例えば、通常のマイクロフォンによって取得されてもよく、骨伝導マイクによって取得されてもよく、スロート（咽喉）マイクによって取得されてもかまわない。骨伝導マイクやスロートマイクを用いて音声情報を取得する場合には、環境音を含まない音声情報の取得が可能となる。音声情報受付部１３は、例えば、音声デバイス（例えば、マイクロフォン等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、音声情報受付部１３は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、音声情報受付部１３は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、音声情報受付部１３は、図１で示されるように、マイクロフォンによって取得された情報提供者のみの音声を示す音声情報を受け付けるものとする。

音声情報蓄積部１４は、音声情報受付部１３が受け付けた音声情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、音声情報蓄積部１４が有していてもよく、あるいは音声情報蓄積部１４の外部に存在してもよい。本実施の形態では、音声情報蓄積部１４がその記録媒体を有するものとする。また、この記録媒体は、音声情報を一時的に記憶するものであってもよく、そうでなくてもよい。

インタラクション情報生成部１５は、モーション情報受付部１１が受け付けたモーション情報と、音声情報受付部１３が受け付けた音声情報とから、インタラクション情報を生成する。ここで、インタラクション情報とは、情報提供者と１以上の情報受領者とのインタラクションに関する情報である。インタラクション情報は、例えば、情報提供者と、１以上の情報受領者とのインタラクションの種類を示す情報を含んでいてもよく、情報提供者と、１以上の情報受領者との所定の種類のインタラクションの程度を示す情報を含んでいてもよく、情報提供者と、１以上の情報受領者とのインタラクションの種類を示す情報と、そのインタラクションの程度を示す情報とを含んでいてもかまわない。インタラクションの種類や、その程度については後述する。

図１で示されるように、インタラクション情報生成部１５は、条件情報記憶手段２１と、コミュニケーション行動情報生成手段２２と、関数情報記憶手段２３と、インタラクション情報生成手段２４とを備える。

条件情報記憶手段２１では、条件情報が記憶される。ここで、条件情報とは、コミュニケーション行動の発生の条件を示す情報である。コミュニケーション行動とは、人が他人とのコミュニケーション時に行う行動である。したがって、条件情報によって、コミュニケーション行動という定型の行動の発生条件が示されることになる。

まず、コミュニケーション行動について説明する。コミュニケーション行動は、例えば、発話、注視、視線移動、瞬目、うなずき、指差し、覗き込み等のコミュニケーション時の行動である。これら以外の行動がコミュニケーション行動に含まれてもよい。「発話」とは、被験者が言葉を発することであり、被験者による自発的な音声の発生だけでなく、被験者による相づちや応答も含まれる。発話には、回数と時間がある。すなわち、沈黙と沈黙とで区切られる連続した音声が１つの発話であり、その連続した音声の時間が１つの発話の時間である。「注視」とは、被験者が所定の時間以上、一点あるいはその付近を見ていることである。注視にも、回数と時間がある。すなわち、注視の状態が開始されてから終了するまでが１つの注視であり、その注視の状態が連続している時間が注視の時間である。「視線移動」とは、注視と注視との間の被験者の視線が移動していることである。「瞬目」とは、被験者が瞬きをすることである。「うなずき」とは、被験者が頭部を前後に振ることによって相手に了解や承諾等の意思表示をすることである。「指差し」とは、被験者が情報の説明等のために、手を用いることによって所定の物を指し示すことである。「覗き込み」とは、所定の物に顔を近づけてよく見ることである。なお、上述のコミュニケーション行動のうち、発話以外のコミュニケーション行動は、いわゆる「非言語行動」と呼ばれるコミュニケーション行動である。

次に、上述の各コミュニケーション行動の発生の条件の一例について説明する。
［発話］
被験者の発した音声情報のレベル、すなわち、音声情報の示す音声の大きさが所定のしきい値以上であることが、発話の発生条件となる。ここで、音声情報のレベルが所定のしきい値以上となってからしきい値以下となるまでが１つの発話であり、その間の時間が１つの発話の時間である。

［注視］
視線情報や行動情報によって示される、被験者の視線方向の変化や被験者の頭の向きの変化が所定の時間以上、ある一定の範囲内であることが、被験者が何かに注視している条件となる。例えば、被験者の視線方向の変化が５度未満である状態が０．５秒以上継続したことが、注視の発生条件となる。ここで、被験者の視線方向の変化や頭の向きの変化の変化が、所定の時間以上、ある一定の範囲内であることが継続している一続きの状態が１つの注視であり、その状態の時間が１つの注視の時間である。

また、注視の検出においては、何を注視しているのかを検出してもよい。被験者が何を注視しているのかについては、例えば、被験者による注視が検出された時点における、被験者が見ている画像よって判断してもよく、被験者の位置によって判断してもよく、被験者の姿勢によって判断してもかまわない。被験者が見ている画像によって被験者が何を注視しているのかについて判断する場合には、例えば、被験者がヘッドマウントカメラを装着しているのであれば、そのヘッドマウントカメラによって撮影された画像を解析し、肌色検出やパターンマッチング等の技術を用いて、その画像から人の顔が検出できたときには、人を注視していることを検出し、それ以外のときには人以外のものを注視していることを検出してもよい。また、被験者の位置によって被験者が何を注視しているのかについて判断する場合には、例えば、その位置があらかじめ設定されている物（例えば、商品やパネル等）の近くに被験者が存在し、また、被験者がその物の方を向いていることが検出されたときには、物を注視していることを検出し、それ以外のときには人を注視していることを検出してもよい。また、被験者の姿勢によって被験者が何を注視しているのかについて判断する場合には、例えば、物やパネルが下の方に置かれているのであれば、被験者の姿勢が直立していることが検出されたときには、人を注視していることを検出し、被験者の姿勢が前かがみであることが検出されたときには、人以外のものを注視していることを検出してもよい。

［視線移動］
前述のように、検出された被験者の注視と注視との間が、視線移動となる。したがって、被験者の注視の回数が増えるごとに、被験者の視線移動の回数も増えることになる。

［瞬目］
被験者の視線情報をアイカメラによって取得している場合には、一定時間以内（例えば、０．４秒以内等）の瞳孔径の未検出のあることが、瞬目の発生条件となる。また、被験者の垂直眼電図を測定している場合には、従来から知られている方法を用いることにより、瞬目の発生を検出できる。被験者の目の領域をカメラによって撮影している場合には、一定時間以内の白目と黒目の領域の未検出のあることが、瞬目の発生条件となる。

［うなずき］
被験者の姿勢をモーションキャプチャシステム等によって取得している場合には、被験者の頭部の前後方向の角度が、一定時間以内に所定の角度以上変化したことが、うなずきの発生条件となる。また、被験者がヘッドマウントカメラを装着している場合には、そのヘッドマウントカメラによって撮影された画像の変化を解析し、一定時間以内に、被験者が頭を前方に倒す方向に画像が変化したことが、うなずきの発生条件となる。

［指差し］
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の腕が一定以上伸びたことが、指差しの発生条件となる。また、被験者が手首の付近に加速度センサを付けている場合には、その加速度センサによって腕が伸びる方向に手首が移動したことが検出されたことが、指差しの発生条件となる。

［覗き込み］
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の顔の位置が、あらかじめ設定されている物等の位置からの一定の距離以内となったことが、覗き込みの発生条件となる。また、腰を曲げて前かがみで下方を見ている姿勢によって覗き込みが発生したと見なす場合には、被験者が腰を曲げて前かがみで下方を見ている姿勢を一定の時間以上していることを、覗き込みの発生条件としてもよい。

なお、上述のコミュニケーション行動の発生の条件は一例であって、コミュニケーション行動の発生を適切に検出することができるのであれば、上記以外の条件を設定してもよい。また、上記以外のコミュニケーション行動の発生も検出する場合には、そのコミュニケーション行動の発生を適切に検出することができる条件が設定されているものとする。

また、条件情報記憶手段２１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。条件情報記憶手段２１に条件情報が記憶される過程は問わない。例えば、記録媒体を介して条件情報が条件情報記憶手段２１で記憶されるようになってもよく、通信回線等を介して送信された条件情報が条件情報記憶手段２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された条件情報が条件情報記憶手段２１で記憶されるようになってもよい。条件情報記憶手段２１での記憶は、外部のストレージデバイス等から読み出した条件情報のＲＡＭ等における一時的な記憶でもよく、あるいは、そうでなくてもよい。

コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている条件情報を用いて、モーション情報及び音声情報からコミュニケーション行動の発生を検出する。そして、コミュニケーション行動情報生成手段２２は、その検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成する。コミュニケーション行動情報は、例えば、コミュニケーション行動ごとに、そのコミュニケーション行動の発生回数と、発生時間とを示す情報である。コミュニケーション行動情報の発生回数や発生時間は、累計の情報であってもよく、単位時間あたりの情報であってもよい。コミュニケーション行動の発生を検出する具体的な方法については後述する。

関数情報記憶手段２３では、関数情報が１以上記憶される。関数情報とは、コミュニケーション行動情報の示す値を引数とする関数を示す情報である。関数情報は、インタラクションの種類ごとに設定される。したがって、関数情報記憶手段２３では、通常、インタラクションの種類の数だけの関数情報が記憶されることになる。この関数情報の示す関数にコミュニケーション行動情報の示す値を代入した関数の値がインタラクションの程度を示す情報となる。

なお、関数情報記憶手段２３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。関数情報記憶手段２３に関数情報が記憶される過程は問わない。例えば、記録媒体を介して関数情報が関数情報記憶手段２３で記憶されるようになってもよく、通信回線等を介して送信された関数情報が関数情報記憶手段２３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された関数情報が関数情報記憶手段２３で記憶されるようになってもかまわない。関数情報記憶手段２３での記憶は、外部のストレージデバイス等から読み出した関数情報のＲＡＭ等における一時的な記憶でもよく、あるいは、そうでなくてもよい。

インタラクション情報生成手段２４は、コミュニケーション行動情報生成手段２２で生成されたコミュニケーション行動情報を用いてインタラクション情報を生成する。すなわち、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている１以上の関数情報の示す関数に、コミュニケーション行動情報生成手段２２で生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成する。

なお、モーション情報蓄積部１２が有する記録媒体と、音声情報蓄積部１４が有する記録媒体と、条件情報記憶手段２１と、関数情報記憶手段２３とのうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、異なる記録媒体によって実現されてもよい。前者の場合には、例えば、その記録媒体のうち、条件情報を記憶している領域が条件情報記憶手段２１となる。

インタラクション情報出力部１６は、インタラクション情報生成部１５が生成したインタラクション情報を出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ等）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもかまわない。なお、インタラクション情報出力部１６は、出力を行うデバイス（例えば、表示デバイスやプリンタ等）を含んでいてもよく、あるいは含んでいなくてもよい。また、インタラクション情報出力部１６は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、インタラクション情報出力部１６は、インタラクション情報をディスプレイに表示するものとする。

次に、本実施の形態によるインタラクション情報出力装置１の動作について、フローチャートを用いて説明する。図２は、本実施の形態によるインタラクション情報出力装置１の全体動作を示すフローチャートである。

（ステップＳ１０１）インタラクション情報生成部１５は、インタラクション情報を生成するかどうか判断する。そして、インタラクション情報を生成する場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０５に進む。ここで、インタラクション情報生成部１５は、所定のイベント（例えば、モーション情報と音声情報との一連の蓄積が終了したことや、インタラクション情報を生成する旨の指示が受け付けられたこと等）をトリガーとしてインタラクション情報を生成すると判断してもよく、所定の期間ごとにインタラクション情報を生成すると判断してもよく、その他のタイミングでインタラクション情報を生成すると判断してもかまわない。

（ステップＳ１０２）インタラクション情報生成部１５は、モーション情報と音声情報とに基づいて、コミュニケーション行動情報を生成する。このコミュニケーション行動情報を生成する処理の詳細については、図３のフローチャートを用いて後述する。

（ステップＳ１０３）インタラクション情報生成部１５は、ステップＳ１０２で生成したコミュニケーション行動情報に基づいて、インタラクション情報を生成する。このインタラクション情報を生成する処理の詳細については、図４のフローチャートを用いて後述する。

（ステップＳ１０４）インタラクション情報出力部１６は、インタラクション情報生成部１５が生成したインタラクション情報を出力する。そして、ステップＳ１０１に戻る。

（ステップＳ１０５）モーション情報受付部１１は、モーション情報を受け付けたかどうか判断する。なお、モーション情報が行動情報と視線情報とを含む場合には、そのいずれか一方を少なくとも受け付けた場合に、モーション情報を受け付けたと判断してもよい。そして、受け付けた場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０７に進む。

（ステップＳ１０６）モーション情報蓄積部１２は、モーション情報受付部１１が受け付けたモーション情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

（ステップＳ１０７）音声情報受付部１３は、音声情報を受け付けたかどうか判断する。そして、音声情報を受け付けた場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０１に戻る。

（ステップＳ１０８）音声情報蓄積部１４は、音声情報受付部１３が受け付けた音声情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図３は、図２のフローチャートにおけるコミュニケーション行動情報の生成処理（ステップＳ１０２）の詳細を示すフローチャートである。

（ステップＳ２０１）コミュニケーション行動情報生成手段２２は、カウンタｉを１に設定する。
（ステップＳ２０２）コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１から、ｉ番目の条件情報を読み出す。

（ステップＳ２０３）コミュニケーション行動情報生成手段２２は、モーション情報蓄積部１２が蓄積したモーション情報と、音声情報蓄積部１４が蓄積した音声情報とを適宜参照し、ステップＳ２０２で読み出した条件情報が満たされるかどうか判断する。そして、満たされる場合にはステップＳ２０４に進み、そうでない場合には、ステップＳ２０６に進む。

（ステップＳ２０４）コミュニケーション行動情報生成手段２２は、ｉ番目の条件情報に対応するコミュニケーション行動情報を生成する。
（ステップＳ２０５）コミュニケーション行動情報生成手段２２は、生成したコミュニケーション行動情報を図示しない記録媒体に一時記憶する。
（ステップＳ２０６）コミュニケーション行動情報生成手段２２は、カウンタｉを１だけインクリメントする。

（ステップＳ２０７）コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１にｉ番目の条件情報が存在するかどうか判断する。そして、存在する場合には、ステップＳ２０２に戻り、存在しない場合には、コミュニケーション行動情報を生成する一連の処理は終了となり、図１のフローチャートのステップＳ１０３に進む。

なお、図３の一連の処理が終了した後に、ステップＳ２０５で言及した図示しない記録媒体で一時記憶されているコミュニケーション行動情報を用いて、後述するインタラクション情報生成手段２４によるインタラクション情報の生成処理が行われる。

図４は、図２のフローチャートにおけるインタラクション情報の生成処理（ステップＳ１０３）の詳細を示すフローチャートである。

（ステップＳ３０１）インタラクション情報生成手段２４は、カウンタｉを１に設定する。
（ステップＳ３０２）インタラクション情報生成手段２４は、関数情報記憶手段２３から、ｉ番目の種類のインタラクションに対応する関数情報を読み出す。

（ステップＳ３０３）インタラクション情報生成手段２４は、コミュニケーション行動情報生成手段２２が生成したコミュニケーション行動情報の示す値を、ステップＳ３０２で読み出した関数情報の示す関数に代入することにより、その関数の値を算出する。

（ステップＳ３０４）インタラクション情報生成手段２４は、その算出した関数の値を図示しない記録媒体に一時記憶する。この場合に、インタラクションのｉ番目の種類を識別する情報に対応付けて一時記憶することが好ましい。
（ステップＳ３０５）インタラクション情報生成手段２４は、カウンタｉを１だけインクリメントする。

（ステップＳ３０６）インタラクション情報生成手段２４は、ｉ番目の種類のインタラクションが存在するかどうか、すなわち、関数情報記憶手段２３にｉ番目の種類のインタラクションに対応する関数情報が存在するかどうか判断する。そして、存在する場合には、ステップＳ３０２に戻り、存在しない場合には、ステップＳ３０７に進む。

（ステップＳ３０７）インタラクション情報生成手段２４は、ステップＳ３０４で言及した図示しない記録媒体で一時記憶されている関数の値を用いてインタラクション情報を構成する。そして、インタラクション情報を生成する一連の処理は終了となり、図１のフローチャートのステップＳ１０４に進む。なお、その関数の値をそのままインタラクション情報とする場合には、このステップＳ３０７の処理がなくてもよい。

次に、本実施の形態によるインタラクション情報出力装置１の動作について、具体例を用いて説明する。この具体例では、情報提供者が店員であり、情報提供者から情報の提供を受ける情報受領者が、店の顧客であるとする。また、この具体例では、コミュニケーション行動として、発話、注視、瞬目、うなずき、指差しのみを検出するものとする。

また、この具体例では、情報提供者の行動情報をモーションキャプチャシステムによって取得し、情報提供者の視線情報をアイカメラによって取得し、行動情報と視線情報とを含むモーション情報と、音声情報とから、発話、注視、瞬目、うなずき、指差しのコミュニケーション行動を検出して、インタラクション情報を生成する場合について説明する。モーションキャプチャシステムとしては、例えば、Ｖｉｃｏｎ Ｐｅａｋ社製Ｖ６１２を用いてもよい。そのモーションキャプチャシステムでは、１２台の赤外線ストロボ付き赤外線カメラと、直径２５ｍｍの再帰性反射素材の表面を持つ球形パッシブマーカとが用いられ、各マーカの位置を６０Ｈｚの時間分解能と、約１ｍｍの空間分解能で記録できる。アイカメラとしては、ナックイメージテクノロジー社製のＥＭＲ−８Ｂを用いてもよい。そのアイカメラでは、瞳孔角膜反射方式により、眼球運動を３０Ｈｚの時間分解能と、約０．１度の精度で記録できる。

図５は、情報提供者が装着している装置等について説明するための図である。図５で示されるように、情報提供者は、マイクロフォンを装着しており、そのマイクロフォンによって情報提供者の発した音声が取得される。また、情報提供者は、アイカメラを装着しており、そのアイカメラによって情報提供者の視線方向が取得される。また、情報提供者は、体の複数の部分にモーションキャプチャシステムで位置を検出するためのマーカが取り付けられている。

マイクロフォンによって取得された音声情報、アイカメラによって取得された視線情報、モーションキャプチャシステムによって取得された行動情報は、それぞれ、有線または無線の通信によってインタラクション情報出力装置１に渡される。そして、視線情報と、行動情報とはモーション情報受付部１１で受け付けられ（ステップＳ１０５）、モーション情報蓄積部１２によって蓄積される（ステップＳ１０６）。また、音声情報は音声情報受付部１３で受け付けられ（ステップＳ１０７）、音声情報蓄積部１４によって蓄積される（ステップＳ１０８）。この具体例では、情報提供者である店員が顧客への対応をしている１０分間のモーション情報と音声情報とがモーション情報蓄積部１２と、音声情報蓄積部１４とにおいてそれぞれ蓄積されたとする。

図６は、モーション情報蓄積部１２が蓄積したモーション情報と、音声情報蓄積部１４が蓄積した音声情報との一例を示す図である。図６で示されるように、時系列の音声情報と、モーション情報とが所定の記録媒体（図示せず）において記憶されている。音声情報は、前述のように、少なくとも音声レベルを知ることができる情報であればよく、情報提供者の発した言葉の内容までわからない情報であってもよい。視線情報は、情報提供者の視野における画素位置を示す情報であるとする。行動情報は、モーションキャプチャシステムによって取得された、各マーカの３次元直交座標系における位置を示す情報である。

図７は、条件情報記憶手段２１で記憶されている条件情報の一例を示す図である。図７で示されるように、条件情報では、コミュニケーション行動と、そのコミュニケーション行動の発生の条件とが対応付けられている。例えば、コミュニケーション行動「発話」については、音声情報のレベルがしきい値Ｓ１以上であることが、発生の条件として設定されている。その他のコミュニケーション行動についても同様である。

モーション情報と、音声情報とが蓄積された後に、ユーザが図示しない入力デバイスを操作することにより、インタラクション情報を出力する指示がインタラクション情報出力装置１で受け付けられたとする。すると、インタラクション情報生成部１５は、インタラクション情報を生成するタイミングであると判断し（ステップＳ１０１）、コミュニケーション行動情報を生成し（ステップＳ１０２）、インタラクション情報を生成する（ステップＳ１０３）。以下、コミュニケーション行動情報の生成処理と、インタラクション情報の生成処理について詳細に説明する。

まず、コミュニケーション行動情報の生成処理について説明する。コミュニケーション行動情報生成手段２２は、まず、条件情報記憶手段２１で記憶されている図７で示される条件情報から、１番目の条件情報、すなわちコミュニケーション行動「発話」に関する条件情報を読み出す（ステップＳ２０１，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、音声情報蓄積部１４が有する図示しない記録媒体から音声情報を読み出す。その音声情報の一部が図８で示されるものであったとする。すると、コミュニケーション行動情報生成手段２２は、読み出した音声情報と、条件情報の示すしきい値Ｓ１とを比較し、音声情報が条件情報を満たすかどうか判断する（ステップＳ２０３）。この場合には、図８で示されるように、条件情報を満たす音声情報の領域が存在するため、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、図８で示されるように、音声情報の示す音声レベルがしきい値Ｓ１となる時間ｔ１，ｔ２，ｔ３，ｔ４等を取得する。そして、図８では、時間ｔ１から時間ｔ２までが１つの発話であり、その発話の時間は、時間（ｔ２−ｔ１）となる。このようにして、コミュニケーション行動情報生成手段２２は、音声情報から発話の回数と、発話の合計時間とを算出する。この具体例では、発話の回数が４７回であり、発話の合計時間が４８２秒であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの発話の回数と、発話の合計時間とを音声情報の時間６００秒（＝１０分）で割った値、すなわち、単位時間（１秒）あたりの発話の回数「０．０７８」と、単位時間あたりの発話の時間「０．８０３」とを算出する。これらがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の１番目と２番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、２番目の条件情報、すなわちコミュニケーション行動「注視」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、モーション情報蓄積部１２が有する図示しない記録媒体からモーション情報に含まれる視線情報を読み出す。その視線情報は、図６で示されるように、視線の位置に対応するピクセルの座標を示す情報である。コミュニケーション行動情報生成手段２２は、その視線の位置に対応するピクセルの座標値のうち、時間的に隣接する２個の座標値の距離を求めることにより、視線の位置の変化量を算出する。例えば、あるサンプリング点での座標値が（１０，２０）であり、次のサンプリング点での座標値が（１４，２３）である場合には、視線の位置の変化量は「５」ピクセルとなる。

図１０は、そのようにして算出された視線の位置の変化量の時間変化の一部を示す図である。図１０において、しきい値Ｓ２は、条件情報で設定されている視線方向の変化量「５度」に対応するピクセルの変化量である。また、図１０において、時間ｔ３から時間ｔ４までの間の変化量の値が記載されていないが、これは、その間において視線情報を取得することができなかったこと、すなわち、瞳孔径を検出することができなかったことが原因である。

コミュニケーション行動情報生成手段２２は、算出した視線の位置の変化量と、しきい値Ｓ２とを比較し、視線の位置の変化量がしきい値Ｓ２未満である状態が０．５秒以上継続している箇所があるかどうか判断する（ステップＳ２０３）。ここでは、時間（ｔ２−ｔ１）が０．５秒以上であり、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、注視の回数と、その条件を満たす箇所の合計時間、すなわち、注視の合計時間とを算出する。この具体例では、注視の回数が２８９回であり、注視の合計時間が４６６秒であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの注視の回数と、注視の合計時間とを、視線情報の時間６００秒で割った値、すなわち、単位時間あたりの注視の回数「０．４８２」と、単位時間あたりの注視の時間「０．７７７」とを算出する。これらがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の３番目と４番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、３番目の条件情報、すなわちコミュニケーション行動「瞬目」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、注視に関する条件判断のときと同様に、視線情報から視線の位置の変化量を算出する。この視線の位置の変化量は、注視に関する条件判断で用いた情報を保持しておき、それを用いてもよく、あるいは、再度算出してもよい。

前述のように、図１０において、時間ｔ３から時間ｔ４までが瞳孔径を検出することができなかった時間である。コミュニケーション行動情報生成手段２２は、瞳孔径を検出することができなかった時間が０．４秒以内である箇所があるかどうか判断する（ステップＳ２０３）。ここでは、時間（ｔ４−ｔ３）が０．４秒以内であり、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、瞬目の回数を算出する。この具体例では、瞬目の回数が２１５回であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの瞬目の回数を、視線情報の時間６００秒で割った値、すなわち、単位時間あたりの瞬目の回数「０．３５８」を算出する。これらがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の５番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、４番目の条件情報、すなわちコミュニケーション行動「うなずき」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、モーション情報蓄積部１２が有する図示しない記録媒体からモーション情報に含まれる行動情報を読み出す。その行動情報は、図６で示されるように、各マーカの位置に対応する座標を示す情報である。コミュニケーション行動情報生成手段２２は、その各マーカの位置に対応する座標値を用いて、頭部の前後方向の角度を算出する。この方法は従来から知られているため、その詳細な説明は省略する。

図１１は、そのようにして算出された頭部の角度の時間変化の一部を示す図である。図１１において、おじぎをするときには頭部の角度がゆっくりと大きく変化しているのに対し、うなずきのときには頭部の角度が速く小さく変化していることがわかる。

コミュニケーション行動情報生成手段２２は、算出した頭部の角度の時間変化に基づいて、頭部の前後方向の角度が０．３秒以内に５度以上変化した箇所があるかどうか判断する（ステップＳ２０３）。ここでは、図１１で示されるように、情報提供者がうなずいた時点において、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、うなずきの回数を算出する。この具体例では、うなずきの回数が２７１回であったとする。すると、コミュニケーション行動情報生成手段２２は、そのうなずきの回数を行動情報の時間６００秒で割った値、すなわち、単位時間あたりのうなずきの回数「０．４５２」を算出する。これがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の６番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、５番目の条件情報、すなわちコミュニケーション行動「指差し」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、モーション情報蓄積部１２が有する図示しない記録媒体からモーション情報に含まれる行動情報を読み出す。その行動情報は、図６で示されるように、各マーカの位置に対応する座標を示す情報である。コミュニケーション行動情報生成手段２２は、その各マーカの位置に対応する座標値を用いて、情報提供者の肩のマーカから手首のマーカまでの距離を算出する。この方法は従来から知られているため、その詳細な説明は省略する。

図１２は、そのようにして算出された肩と手首の距離の時間変化の一部を示す図である。図１２において、ｍａｘは、肩と手首の距離の最大値である。この最大値ｍａｘは、算出された肩と手首の距離の最大値であってもよく、あらかじめ情報提供者の肩のマーカから手首のマーカまでの実際に測定した最大値であってもよい。

コミュニケーション行動情報生成手段２２は、算出した肩と手首の距離の時間変化と、その最大値ｍａｘに０．９を掛けたしきい値とを比較し、肩と手首の距離が最大値ｍａｘに０．９を掛けたしきい値以上である箇所があるかどうか判断する（ステップＳ２０３）。ここでは、図１２で示されるように、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、指差しの回数を算出する。この具体例では、指差しの回数が５１回であったとする。すると、コミュニケーション行動情報生成手段２２は、その指差しの回数を行動情報の時間６００秒で割った値、すなわち、単位時間あたりの指差しの回数「０．０８５」を算出する。これがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の７番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

このようにして、コミュニケーション行動情報生成手段２２は、すべての条件情報を用いてコミュニケーション行動情報を作成すると、コミュニケーション行動情報の作成は終了となる（ステップＳ２０６，Ｓ２０７）。この具体例において、コミュニケーション行動情報生成手段２２が生成し、図示しない記録媒体において一時的に記憶されたコミュニケーション行動情報は、図９で示されるものである。

図１３は、関数情報記憶手段２３で記憶されている関数情報の一例を示す図である。図１３で示されるように、関数情報記憶手段２３では、インタラクションの種類に対応付けられて、４個の関数情報が記憶されている。関数情報における係数ａＮ，ｂＮ，ｃＮ，ｄＮ，ｅＮ，ｆＮ，ｇＮ（Ｎは１から４までの整数）は、あらかじめ値が決定されているものとする。なお、いずれかの係数の値は、０であってもよい。

ここで、図１３で示されるインタラクションの種類について説明する。顧客主導型インタラクションとは、顧客が積極的に働きかけているインタラクションである。情報提供者の指差しが頻繁である場合に、顧客主導型インタラクションである可能性の高いことが発明者の分析によってわかっている。協調型インタラクションとは、顧客と情報提供者とが協調的に行っているインタラクションである。情報提供者のうなずきが頻繁であり、情報提供者の発話時間が長く、発話回数が少ない場合に、協調型インタラクションである可能性の高いことが発明者の分析によってわかっている。不活性型インタラクションとは、顧客が情報提供者とのインタラクションを重視しておらず、両者間のコミュニケーションが適切に行われていないインタラクションである。情報提供者のコミュニケーション行動に特徴的な点が観測されない場合に、不活性型インタラクションである可能性の高いことが発明者の分析によってわかっている。ガイド主導型インタラクションとは、情報提供者が顧客に強く働きかけているインタラクションである。情報提供者の注視が頻繁である場合に、ガイド主導型インタラクションである可能性の高いことが発明者の分析によってわかっている。

また、図１３で示される関数情報で用いられるＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇは、コミュニケーション行動情報の示す値であり、それぞれ次のようになっている。Ａは、単位時間あたりの発話の回数である。Ｂは、単位時間あたりの発話の時間である。Ｃは、単位時間あたりの注視の回数である。Ｄは、単位時間あたりの注視の時間である。Ｅは、単位時間あたりの瞬目の回数である。Ｆは、単位時間あたりのうなずきの回数である。Ｇは、単位時間あたりの指差しの回数である。

次に、インタラクション情報の生成処理について説明する。インタラクション情報生成手段２４は、まず、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、１番目の種類のインタラクション、すなわち、顧客主導型インタラクションに対応する関数情報を読み出す（ステップＳ３０１，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図９で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．７５」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の１番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、２番目の種類のインタラクション、すなわち、協調型インタラクションに対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図９で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．６３」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の２番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、３番目の種類のインタラクション、すなわち、不活性型インタラクションに対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図９で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．２４」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の３番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、４番目の種類のインタラクション、すなわち、ガイド主導型インタラクションに対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図９で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．５４」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の４番目のレコードによって、そのようにして一時記憶された関数の値が示される。

このようにして、インタラクション情報生成手段２４は、すべての種類のインタラクションに対応する関数情報を用いて関数の値を算出すると（ステップＳ３０５，Ｓ３０６）、それらを用いて、インタラクション情報を生成する（ステップＳ３０７）。この具体例では、インタラクション情報生成手段２４は、図１４で示されるインタラクションの種類を示す情報と、その程度を示す情報（ここでは、関数の値をパーセント表示した情報）とを対応付けた情報をインタラクション情報として構成する。図１５は、インタラクション情報生成手段２４が構成したインタラクション情報を示す図である。

インタラクション情報出力部１６は、インタラクション情報生成手段２４が構成した図１５で示されるインタラクション情報をディスプレイに出力する。その結果、ディスプレイに図１５で示されるインタラクション情報が表示され、ユーザは、そのインタラクション情報を見ることによって、情報提供者である店員と、顧客とのインタラクションが主に顧客主導型インタラクションであることを知ることができる。

ここで、図１３で示されるように、インタラクションの種類と、対応する関数情報とを決定する方法について説明する。まず、情報提供者が他の人に情報を提供する実験を行い、情報提供者のモーション情報等を取得し、すでに説明した方法等を用いることによってコミュニケーション行動情報を生成する。そして、そのコミュニケーション行動情報について因子分析手法を用いることによって、多変量データであるコミュニケーション行動情報から共通因子を探り出す。その結果、その因子を用いることにより、インタラクションを複数の因子ごとのグループに分けることができる。そのグループに名称を付けたものが、上述の顧客主導型インタラクション等である。

次に、その求めた因子（例えば、顧客主導性因子、協調性因子等のインタラクションの各種類に対応する因子）ごとの、コミュニケーション行動情報の負荷量を算出する。例えば、顧客主導性因子の場合、コミュニケーション行動情報「指差しの回数」の負荷量が最も高く（０．８７）、コミュニケーション行動情報「うなずきの回数」の負荷量は低い（−０．０６）と言う実験結果が得られている。次に、その因子ごとに負荷量の平均や負荷量の標準偏差等の統計量を算出し、その統計量を用いて関数情報の示す関数の各係数値を設定する。この方法は、従来からすでに知られており、その詳細な説明は省略する。このような因子ごとの各コミュニケーション行動情報の負荷量を用いることによって、負荷量の大きいコミュニケーション行動情報が関数値により大きく寄与するように関数情報の示す関数の各係数値を設定することができる。このようにして、関数情報を決定することができる。

なお、この具体例では、インタラクションの種類と、その程度とを示す情報であるインタラクション情報を出力する場合について説明したが、前述のように、出力されるインタラクション情報は、最も程度の高いインタラクションの種類を示す情報であってもよい。上記具体例の場合には、インタラクション情報「顧客主導型インタラクション」が出力されることになる。このような出力がなされることにより、ユーザは、どの種類のインタラクションが最も支配的であったのかについて知ることができる。また、出力されるインタラクション情報は、ある種類のインタラクションに対応する程度を示す情報であってもよい。上記具体例の場合には、顧客主導型インタラクションに対応する関数情報のみが関数情報記憶手段２３で記憶されており、その関数情報を用いて算出された顧客主導型インタラクションの程度「７５％」が出力されることになる。このような出力がなされることにより、ユーザは、情報提供者である店員と、顧客との間のインタラクションが顧客主導型インタラクションである程度を知ることができる。

また、この具体例では、一連のモーション情報と音声情報を蓄積した後に、インタラクション情報を生成する場合について説明したが、モーション情報と音声情報の蓄積と、インタラクション情報の生成とをリアルタイムで並行して行ってもよい。その場合には、例えば、所定の時間区切り（例えば、１分等）ごとに、インタラクション情報を生成してもよい。その生成されたインタラクション情報を情報提供者が装着しているヘッドマウントディスプレイや、イヤホン等に出力し、情報提供者がリアルタイムでインタラクション情報のフィードバックを受けることによって、情報提供者による情報の提供行為にインタラクション情報を活用するようにしてもよい。例えば、店員である情報提供者に示されたインタラクション情報の種類が「不活性型インタラクション」である場合には、顧客が商品やサービスを購入する見込みがないと判断し、その顧客に対する商品説明等を早期に切り上げるようにしてもよい。

また、この具体例では、コミュニケーション行動情報が単位時間あたりの情報である場合について説明したが、それは一例であって、コミュニケーション行動情報は、単位時間あたりの情報でなくてもよい。例えば、図９で示される測定値をそのままコミュニケーション行動情報として用いてもよい。

また、この具体例では、関数情報の示す関数が、コミュニケーション行動情報の示す値の１次の多項式である場合について説明したが、関数情報の示す関数は、インタラクションの種類に対応する値を適切に算出できるものであれば、この具体例で説明した関数に限定されず、その他の関数であってもよい。また、対応するインタラクションの種類ごとに、関数の形が異なってもよい。

以上のように、本実施の形態によるインタラクション情報出力装置１では、情報提供者に関するモーション情報、及び音声情報を用いることにより、インタラクション情報を生成することができる。したがって、情報受領者に関するモーション情報や音声情報を取得する必要がないため、情報受領者を拘束することなく、インタラクション情報を生成することができるというメリットがある。また、情報受領者の情報を収集しないことによって、プライバシーの問題も生じない。また、そのインタラクション情報を用いることにより、情報提供者と、情報受領者との間のインタラクションがどのようなものであるのかについて知ることができ、それを用いることにより、過去のインタラクションの分析を行うことができ、また、将来の接客等に活用することができ、よりよい情報の提供を実現することができる。

なお、上記実施の形態では、インタラクション情報生成部１５が関数情報記憶手段２３を備え、関数情報を用いてインタラクション情報を生成する場合について説明したが、インタラクション情報生成部１５は、関数情報を用いないでインタラクション情報を生成してもよい。例えば、インタラクション情報生成手段２４は、各インタラクションの種類が支配的であるための条件を示す情報（例えば、コミュニケーション行動情報のしきい値に関する条件を示す情報等）を用いて、コミュニケーション行動情報生成手段２２が生成したコミュニケーション行動情報から支配的であるインタラクションの種類を特定してもよい。インタラクション情報生成部１５が関数情報を用いないでインタラクション情報を生成する場合には、インタラクション情報生成部１５は、関数情報記憶手段２３を備えなくてもよい。

また、上記実施の形態では、インタラクション情報生成部１５が、まずコミュニケーション行動情報を生成し、その生成したコミュニケーション行動情報を用いてインタラクション情報を生成する場合について説明したが、インタラクション情報生成部１５は、コミュニケーション行動情報を生成しないでインタラクション情報を生成してもよい。例えば、インタラクション情報生成部１５は、各インタラクションの種類が支配的であるための条件を示す情報（例えば、顧客主導型インタラクションが支配的である条件は、１分に５回以上の割合で指差しが行われること等）を用いて、コミュニケーション行動情報生成手段２２が生成したコミュニケーション行動情報から支配的であるインタラクションの種類を特定してもよい。インタラクション情報生成部１５が関数情報を用いないでインタラクション情報を生成する場合には、インタラクション情報生成部１５は、条件情報記憶手段２１、コミュニケーション行動情報生成手段２２、関数情報記憶手段２３を備えなくてもよい。
また、上記実施の形態では、モーション情報に視線情報が含まれる場合について説明したが、モーション情報は視線情報を含んでいなくてもよい。

また、上記実施の形態では、音声情報も用いてインタラクション情報の生成を行う場合について説明したが、音声情報を用いず、モーション情報のみによってインタラクション情報を生成してもよい。その場合には、インタラクション情報出力装置１は、音声情報受付部１３や音声情報蓄積部１４を備えなくてもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態におけるインタラクション情報出力装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、１以上の人に対面して情報を提供している情報提供者の動きを示す情報であるモーション情報を受け付けるモーション情報受付ステップと、前記モーション情報受付ステップで受け付けたモーション情報から、前記情報提供者と１以上の情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成ステップと、前記インタラクション情報生成ステップで生成したインタラクション情報を出力するインタラクション情報出力ステップと、を実行させるためのものである。

また、そのプログラムでは、前記インタラクション情報生成ステップが、人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報からコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するコミュニケーション行動情報生成ステップと、前記コミュニケーション行動情報生成ステップで生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するインタラクション情報生成ステップと、を備えていてもよい。

また、そのプログラムでは、前記インタラクション情報生成ステップに含まれる前記インタラクション情報生成ステップが、コミュニケーション行動情報の示す値を引数とする関数を示す情報である関数情報が１以上記憶される関数情報記憶手段で記憶されている１以上の関数情報の示す関数に、前記コミュニケーション行動情報生成ステップで生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成してもよい。

また、そのプログラムでは、前記情報提供者の発した音声に関する情報である音声情報を受け付ける音声情報受付ステップをさらに備え、前記インタラクション情報生成ステップにおいて、前記モーション情報受付ステップで受け付けたモーション情報と、前記音声情報受付ステップで受け付けた音声情報とを用いて前記インタラクション情報を生成してもよい。

なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップ等では、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカード等で行われる処理は少なくとも含まれない。

また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１６は、上記プログラムを実行して、上記実施の形態によるインタラクション情報出力装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。

図１６において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図１７は、コンピュータシステムを示す図である。図１７において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム１００に、上記実施の形態によるインタラクション情報出力装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記実施の形態によるインタラクション情報出力装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明によるインタラクション情報出力装置等によれば、情報提供者のモーション情報等を用いることによりインタラクション情報を生成し、出力することができ、インタラクション情報を生成して出力するシステム等として有用である。

本発明の実施の形態１によるインタラクション情報出力装置の構成を示すブロック図 同実施の形態によるインタラクション情報出力装置の全体動作を示すフローチャート 同実施の形態によるインタラクション情報出力装置のコミュニケーション行動情報の生成処理の詳細を示すフローチャート 同実施の形態によるインタラクション情報出力装置のインタラクション情報の生成処理の詳細を示すフローチャート 同実施の形態によるアイカメラ等を装着した情報提供者の一例を示す図 同実施の形態における音声情報及びモーション情報の一例を示す図 同実施の形態における条件情報の一例を示す図 同実施の形態におけるコミュニケーション行動「発話」の検出について説明するための図 同実施の形態におけるコミュニケーション行動情報の一例を示す図 同実施の形態におけるコミュニケーション行動「注視」の検出について説明するための図 同実施の形態におけるコミュニケーション行動「うなずき」の検出について説明するための図 同実施の形態におけるコミュニケーション行動「指差し」の検出について説明するための図 同実施の形態における関数情報の一例を示す図 同実施の形態における算出された関数の値の一例を示す図 同実施の形態におけるインタラクション情報の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ インタラクション情報出力装置
１１ モーション情報受付部
１２ モーション情報蓄積部
１３ 音声情報受付部
１４ 音声情報蓄積部
１５ インタラクション情報生成部
１６ インタラクション情報出力部
２１ 条件情報記憶手段
２２ コミュニケーション行動情報生成手段
２３ 関数情報記憶手段
２４ インタラクション情報生成手段

Claims (5)

1. １以上の人に対面して情報を提供している情報提供者の動きを示す情報であるモーション情報を受け付けるモーション情報受付部と、
   前記モーション情報受付部が受け付けたモーション情報から、前記情報提供者と１以上の情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成部と、
   前記インタラクション情報生成部が生成したインタラクション情報を出力するインタラクション情報出力部と、を具備し、
   前記インタラクション情報生成部は、
   人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、
   前記条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報からコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するコミュニケーション行動情報生成手段と、
   前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するインタラクション情報生成手段と、を具備する、インタラクション情報出力装置。
2. 前記インタラクション情報生成部は、
   コミュニケーション行動情報の示す値を引数とする関数を示す情報である関数情報が１以上記憶される関数情報記憶手段をさらに具備し、
   前記インタラクション情報生成手段は、前記関数情報記憶手段で記憶されている１以上の関数情報の示す関数に、前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成する、請求項１記載のインタラクション情報出力装置。
3. 前記モーション情報は、前記情報提供者の視線に関する情報を含む、請求項１または請求項２記載のインタラクション情報出力装置。
4. １以上の人に対面して情報を提供している情報提供者の動きを示す情報であるモーション情報を受け付けるモーション情報受付ステップと、
   前記モーション情報受付ステップで受け付けたモーション情報から、前記情報提供者と１以上の情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成ステップと、
   前記インタラクション情報生成ステップで生成したインタラクション情報を出力するインタラクション情報出力ステップと、を具備し、
   前記インタラクション情報生成ステップは、
   人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報からコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するステップと、
   前記コミュニケーション行動情報を生成するステップで生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するステップと、を具備する、インタラクション情報出力方法。
5. コンピュータに、
   １以上の人に対面して情報を提供している情報提供者の動きを示す情報であるモーション情報を受け付けるモーション情報受付ステップと、
   前記モーション情報受付ステップで受け付けたモーション情報から、前記情報提供者と１以上の情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成ステップと、
   前記インタラクション情報生成ステップで生成したインタラクション情報を出力するインタラクション情報出力ステップと、を実行させ、
   前記インタラクション情報生成ステップは、
   人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報からコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するステップと、
   前記コミュニケーション行動情報を生成するステップで生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するステップと、を具備する、プログラム。

Images