JP4868360B2 - 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム - Google Patents

Description

本発明は、情報提供者から情報を取得する情報取得者の興味傾向に関する情報である興味傾向情報を出力する興味傾向情報出力装置等に関する。

従来、人々の興味関心の傾向を判別するための研究がなされている。例えば、ウェブのブックマーク履歴からユーザの興味傾向を判別する研究が行われている。また、実世界環境では、非言語行動としてのユーザの滞在位置を分析したり、ミーティング等の特定環境での定型的行動を検出したりすることによって、ユーザの興味対象を推察する試み等がなされている（例えば、非特許文献１〜４参照）。
Ｃｈｉｕ，Ｐ．，Ｋａｐｕｓｋａｒ，Ａ．，Ｗｉｌｃｏｘ，Ｌ．，「Ｍｅｅｔｉｎｇ Ｃａｐｔｕｒｅ ｉｎ ａ Ｍｅｄｉａ Ｅｎｒｉｃｈｅｄ Ｃｏｎｆｅｒｅｎｃｅ Ｒｏｏｍ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣｏＢｕｉｌｄ １９９９、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ ＬＮＣＳ １６７０、１９９９年、ｐ．７９−８８ Ｃｕｔｌｅｒ，Ｒ．，Ｒｕｉ，Ｙ．，Ｇｕｐｔａ，Ａ．，Ｃａｄｉｚ，ＪＪ，Ｔａｓｈｅｖ，Ｉ．，Ｈｅ，Ｌ．，Ｃｏｌｂｕｒｎ，Ａ．，Ｚｈａｎｇ，Ｚ．，Ｌｉｕ，Ｚ．，Ｓｉｌｖｅｒｂｅｒｇ，Ｓ．，「Ｄｉｓｔｒｉｂｕｔｅｄ ｍｅｅｔｉｎｇｓ： ａ ｍｅｅｔｉｎｇ ｃａｐｔｕｒｅ ａｎｄ ｂｒｏａｄｃａｓｔｉｎｇ ｓｙｓｔｅｍ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｔｅｎｔｈ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ（ＭＵＬＴＩＭＥＤＩＡ２００２）、ＡＣＭ Ｐｒｅｓｓ、２００２年、ｐ．５０３−５１２ 中西泰人、辻貴孝、大山実、箱崎勝也、「Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ：位置情報とスケジュール情報を用いたコミュニケーションシステムの構築および運用実験」、情報処理学会論文誌、Ｖｏｌ．４２、Ｎｏ．７、２００１年、ｐ．１８４７−１８５７ 角康之、江谷為之、Ｓｉｄｎｅｙ Ｆｅｌｓ、Ｎｉｃｏｌａｓ Ｓｉｍｏｎｅｔ、小林薫、間瀬健二「Ｃ−ＭＡＰ：Ｃｏｎｔｅｘｔ−ａｗａｒｅな展示ガイドシステムの試作」、情報処理学会論文誌、Ｖｏｌ．３９、Ｎｏ．１０、１９９８年１０月、ｐ．２８６６−２８７８

情報取得活動の行為形態は、情報取得の客体から３つに分類することができる。第１は、物から情報を取得する形態である。第２は、人から情報を直接取得する形態である。第３は、物と人との両方から情報を取得する形態である。ここで、物には、例えば、文字や図画等が表示されている。また、第３の形態としては、例えば、販売員が顧客に物を販売する状況や、医者が患者に検査結果等を示しながら病状や治療方針について説明する状況、講師が聞き手に対して図画等を示しながら授業やプレゼンを行う状況等がある。そのような情報取得の第３の行為形態において、情報取得者の興味傾向を取得したいという要請がある。例えば、情報取得者である顧客等の興味傾向を取得することによって、営業活動等の方針を決定したり、営業活動等の改善を行ったりすることができるからである。

上記非特許文献１，２では、上述の第２の情報取得の形態についてユーザの興味対象を分析することが記載されているが、上述の第３の情報取得の形態についてユーザの興味対象を分析することは記載されていない。また、上記非特許文献３，４では、ユーザの滞在位置等の分析を行うことによって、上述の第１の情報取得の形態についてユーザの興味対象を分析することが記載されているが、上述の第３の情報取得の形態についてユーザの興味対象を分析することは記載されていない。

本発明は、上記のような状況においてなされたものであり、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供しており、情報取得者が説明対象物に直接アクセス可能な状況において、情報取得者の興味傾向を示す情報である興味傾向情報を適切に取得し、出力することができる興味傾向情報出力装置等を提供することを目的とする。

上記目的を達成するため、本発明による興味傾向情報出力装置は、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付部と、前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付部と、前記モーション情報受付部が受け付けたモーション情報と、前記音声情報受付部が受け付けた音声情報とから、前記情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成部と、前記興味傾向情報生成部が生成した興味傾向情報を出力する興味傾向情報出力部と、を備えたものである。

このような構成により、上記のような状況における情報取得者の興味傾向を取得することができる。特に、情報取得者の音声情報、視線に関する情報、うなずきを検出可能な情報を少なくとも受け付けて、それらの情報をもとに興味傾向情報を生成するため、より多くの情報を用いて興味傾向情報の生成を行うこととなり、より適切な興味傾向情報の生成が可能となる。

また、本発明による興味傾向情報出力装置では、前記興味傾向情報生成部は、情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、前記条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報である情報取得行動情報を生成する情報取得行動情報生成手段と、前記情報取得行動情報生成手段で生成された情報取得行動情報を用いて興味傾向情報を生成する興味傾向情報生成手段と、を備えていてもよい。

このような構成により、モーション情報から情報取得行動という情報取得時に行われる定型の行動を検出し、その検出された情報取得行動を用いて興味傾向情報を生成することができる。情報取得行動の種類や条件情報を適切に設定することにより、より適切な興味傾向情報の生成を行うことができる。

また、本発明による興味傾向情報出力装置では、前記興味傾向情報生成部は、情報取得行動情報の示す値を引数とする関数を示す情報である関数情報が１以上記憶される関数情報記憶手段をさらに具備し、前記興味傾向情報生成手段は、前記関数情報記憶手段で記憶されている１以上の関数情報の示す関数に、前記情報取得行動情報生成手段で生成された情報取得行動情報の示す値を代入することにより興味傾向情報を生成してもよい。

このような構成により、関数情報を用いることによって、検出された情報取得行動から興味傾向情報を生成することができる。関数情報を適切に設定することにより、より適切な興味傾向情報の生成を行うことができる。

また、本発明による興味傾向情報出力装置では、前記興味傾向情報は、前記情報取得者の興味傾向の種類を示す情報を含んでいてもよい。
このような構成により、出力された興味傾向情報によって、情報取得者の興味傾向の種類がどのようなものであるのかについて知ることができる。

また、本発明による興味傾向情報出力装置では、前記興味傾向情報は、前記情報取得者の所定の種類の興味傾向の程度を示す情報を含んでいてもよい。
このような構成により、出力された興味傾向情報によって、情報取得者の所定の種類の興味傾向の程度がどれぐらいであるのかについて知ることができる。

本発明による興味傾向情報出力装置等によれば、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、情報取得者が説明対象物に直接アクセス可能な状況における情報取得者の興味傾向を取得することができる。特に、情報取得者の音声情報、視線に関する情報、うなずきを検出可能な情報を少なくとも受け付けて、それらの情報をもとに興味傾向情報を生成するため、より多くの情報を用いて興味傾向情報の生成を行うこととなり、より適切な興味傾向情報の生成が可能となる。また、その興味傾向情報を用いることにより、例えば、情報取得者としての顧客等の興味傾向に基づいた営業活動等の方針の決定や、営業活動等の改善等を行うことができる。

以下、本発明による興味傾向情報出力装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による興味傾向情報出力装置について、図面を参照しながら説明する。
図１は、本実施の形態による興味傾向情報出力装置１の構成を示すブロック図である。図１において、本実施の形態による興味傾向情報出力装置１は、モーション情報受付部１１と、モーション情報蓄積部１２と、音声情報受付部１３と、音声情報蓄積部１４と、興味傾向情報生成部１５と、興味傾向情報出力部１６とを備える。

モーション情報受付部１１は、モーション情報を受け付ける。ここで、モーション情報とは、情報取得者の動きを示す情報である。このモーション情報は、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、情報取得者が説明対象物に直接アクセス可能な状況における、情報取得者の動きを示す情報である。情報提供者は、例えば、顧客に商品やサービス等について説明する販売員、生徒を教える教師、患者に症状や治療方針等について説明する医師、広報活動を行う広報担当者、セミナー等での講師等である。情報提供者から情報を提供される情報取得者は、例えば、顧客、生徒、患者、広報を聞く人、セミナー等への参加者等である。説明対象物は、例えば、販売員が顧客に説明している商品（例えば、家電製品や自動車、衣服等）であってもよく、販売員が顧客に説明しているサービス（例えば、旅行や保険、教育等）について記載されているパンフレットや書類であってもよく、医者が患者への説明で用いている検査結果（例えば、Ｘ線写真や内視鏡写真、血液検査の結果等）や治療方針を示す図表等であってもよく、講師が聞き手へのプレゼンや授業で用いている資料（例えば、板書や図画、配付資料等）であってもかまわない。情報取得者が説明対象物に直接アクセス可能であるとは、例えば、情報取得者が、その説明対象物に直接触れることができることでもよく、その説明対象物を直接見ることができることでもよく、その説明対象物の音等を直接聞くことができることでもよく、その説明対象物の臭いを直接嗅ぐことができることでもかまわない。

モーション情報は、情報取得者の行動に関する情報（以下、「行動情報」と呼ぶこともある）と、情報取得者の視線に関する情報（以下、「視線情報」と呼ぶこともある）とを少なくとも含むものとする。

行動情報は、情報取得者のうなずきを検出可能な情報を少なくとも含むものとする。行動情報は、それらの情報に加えて、情報取得者の位置に関する情報を含んでいてもよく、情報取得者の手の動きを示す情報を含んでいてもよく、情報取得者の頭の動きを示す情報を含んでいてもよく、情報取得者の胴体の動きを示す情報を含んでいてもよく、情報取得者のその他の部分の動きを示す情報を含んでいてもかまわない。

行動情報は、例えば、モーションキャプチャシステムによって取得されてもよく、環境側に設置したカメラで情報取得者を撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。モーションキャプチャシステムとは、被験者の体に光を反射する所定のマーカを付け、１以上のカメラを用いることによって被験者を撮影し、そのマーカの位置を算出することによって被験者の体の動きを検出するものである。なお、反射式のマーカではなく、自ら発光するアクティブ式のマーカを用いてもよい。また、光学式のマーカではなく、磁気マーカを用いてもよい。このように、モーションキャプチャシステムは、被験者の動きを検出することができるものであれば、その種類を問わない。行動情報がモーションキャプチャシステムによって取得される場合には、行動情報は、例えば、各マーカの３次元座標系における位置を示す時系列のデータである。情報取得者を撮影して動画を解析するとは、情報取得者の動画を撮影し、その撮影した動画から、肌色検出、差分抽出、またはパターンマッチング等の技術を用いて情報取得者の画像領域を特定し、その特定した画像領域から情報取得者の手の動きや頭の動き等を抽出することである。また、行動情報を取得するその他の方法としては、例えば、被験者の体の１以上の部分に加速度センサを付け、その加速度センサによって被験者の体の動きを検出する方法等がある。また、行動情報を取得する上記の２以上の方法を組み合わせてもよい。行動情報を取得する方法については従来から知られており、その詳細な説明は省略する。

また、行動情報には、前述のように、情報取得者の位置を示す情報が含まれてもいてよい。情報取得者の位置を示す情報は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、ＬＰＳ（Ｌｏｃａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、非接触方式のサーモセンサを用いて取得されてもよく、レーザレンジファインダを用いて取得されてもよく、その他の技術を用いて取得されてもかまわない。ＬＰＳとは、例えば、アクティブＲＦＩＤを用いたり、地磁気センサと加速度センサとを有する自律航法型の位置測位センサを用いたりすることによって、基準点からの座標値を算出することができる装置である。非接触方式のサーモセンサとは、赤外線等を用いることにより物体の温度を検出することができる装置である。したがって、その装置によって人の存在を検出することができ、２以上のサーモセンサを用いることにより、人の高精度な位置検出が可能となる。レーザレンジファインダとは、出射したレーザ光の反射光から、三角測量の原理を利用して距離を検出する装置である。情報取得者の位置を示す情報を取得するその他の方法としては、例えば、上述のモーションキャプチャシステムを用いて位置を取得する方法がある。

視線情報は、情報取得者の視線の向きを示す情報を含んでいてもよく、情報取得者の視線の向きを情報取得者の頭の向きで近似する場合には、情報取得者の頭の向きを示す情報を含んでいてもよく、情報取得者の視線が遮られたこと、すなわち情報取得者が瞬きをしたことを示す情報を含んでいてもよく、情報取得者のその他の視線に関する情報を含んでいてもかまわない。ここで、被験者が立位である場合には、一般に顔の正面の向きの９０度の範囲内に視線があることが知られているため、情報取得者の視線の向きを情報取得者の頭の向きで近似することも可能である。視線情報は、例えば、アイカメラによって取得されてもよく、情報取得者を環境側に設置したカメラで撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。アイカメラとは、被験者の眼球運動を測定する装置である。アイカメラは、例えば、リンバストラッキング法（強膜反射法）、角膜反射法、画像処理法等を用いて被験者の眼球運動を測定する。画像処理法とは、瞳孔中心を検出して視線方向を抽出する方法であり、被験者への負担がほとんどない。情報取得者を撮影した動画を解析するとは、情報取得者の目の位置をパターンマッチング等の技術を用いて特定し、上記の画像処理法と同様の方法や、白目と黒目の領域を比較する方法等によって視線方向を抽出することである。また、視線情報を取得するその他の方法としては、垂直眼電図（ｖｅｒｔｉｃａｌ ＥＯＧ：ｅｌｅｃｔｒｏｃｕｌｏｇｒａｐｈ）を用いて瞬目を検出する方法や、被験者の頭部に加速度センサを付け、その加速度センサによって被験者の頭の動きを検出する方法、被験者の頭部に指向性と収束性を有する光線を出力する発光部を付け、その発光部からの光を環境側に設置した検出部で検出することによって被験者の頭の動きを検出する方法、被験者の頭部にウェアラブルカメラをつけて被験者の視線方向等の画像を撮影し、その画像を解析することによって被験者の頭の動きを検出する方法等がある。また、視線情報を取得する上記の２以上の方法を組み合わせてもよい。また、視線情報が被験者の視線の方向を示す情報である場合に、局所座標系（被験者の頭部に設定される視野座標系）の情報を視線情報として用いてもよく、あるいは、局所座標系の値をモーションキャプチャシステム等のデータと同じ座標系である世界座標系に変換した情報を視線情報として用いてもよい。視線情報を取得する方法については従来から知られており、その詳細な説明は省略する。

モーション情報受付部１１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネル等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、モーション情報受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、モーション情報受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、モーション情報受付部１１は、図１で示されるように、アイカメラによって取得された視線情報と、モーションキャプチャシステムによって取得された行動情報とを受け付けるものとする。

モーション情報蓄積部１２は、モーション情報受付部１１が受け付けたモーション情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、モーション情報蓄積部１２が有していてもよく、あるいはモーション情報蓄積部１２の外部に存在してもよい。本実施の形態では、モーション情報蓄積部１２がその記録媒体を有するものとする。また、この記録媒体は、モーション情報を一時的に記憶するものであってもよく、そうでなくてもよい。

音声情報受付部１３は、音声情報を受け付ける。ここで、音声情報とは、情報取得者の発した音声に関する情報である。この音声情報は、情報取得者の発した言葉を識別可能なものであってもよく、あるいは、情報取得者の発した音声の強弱のみを識別可能なものであってもよい。後者の場合には、情報取得者がどのような言葉を発したのかについては、音声の強弱から推測することはできても、明確にはわからないことになる。音声情報は、例えば、情報取得者の発した音声のみを含んでいてもよく、あるいは、情報取得者の音声以外の環境音を含んでいてもよい。後者の場合には、情報取得者の環境音を除去することによって情報取得者の音声のみを抽出してもよい。音声情報は、例えば、通常のマイクロフォンによって取得されてもよく、骨伝導マイクによって取得されてもよく、スロート（咽喉）マイクによって取得されてもかまわない。骨伝導マイクやスロートマイクを用いて音声情報を取得する場合には、環境音を含まない音声情報の取得が可能となる。音声情報受付部１３は、例えば、音声デバイス（例えば、マイクロフォン等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、音声情報受付部１３は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、音声情報受付部１３は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、音声情報受付部１３は、図１で示されるように、マイクロフォンによって取得された情報取得者のみの音声を示す音声情報を受け付けるものとする。

音声情報蓄積部１４は、音声情報受付部１３が受け付けた音声情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、音声情報蓄積部１４が有していてもよく、あるいは音声情報蓄積部１４の外部に存在してもよい。本実施の形態では、音声情報蓄積部１４がその記録媒体を有するものとする。また、この記録媒体は、音声情報を一時的に記憶するものであってもよく、そうでなくてもよい。

興味傾向情報生成部１５は、モーション情報受付部１１が受け付けたモーション情報と、音声情報受付部１３が受け付けた音声情報とから、興味傾向情報を生成する。ここで、興味傾向情報とは、情報取得者の興味傾向に関する情報である。興味傾向情報は、例えば、情報取得者の興味傾向の種類を示す情報を含んでいてもよく、情報取得者の所定の種類の興味傾向の程度を示す情報を含んでいてもよく、情報取得者の興味傾向の種類を示す情報と、その興味傾向の程度を示す情報とを含んでいてもかまわない。興味傾向の種類や、その程度については後述する。

図１で示されるように、興味傾向情報生成部１５は、条件情報記憶手段２１と、情報取得行動情報生成手段２２と、関数情報記憶手段２３と、興味傾向情報生成手段２４とを備える。

条件情報記憶手段２１では、条件情報が記憶される。ここで、条件情報とは、情報取得行動の発生の条件を示す情報である。情報取得行動とは、情報取得者が情報の取得時に行う行動である。したがって、条件情報によって、情報取得行動という定型の行動の発生条件が示されることになる。

まず、情報取得行動について説明する。情報取得行動は、例えば、発話、注視、視線移動、瞬目、うなずき、指差し、覗き込み等の情報取得時の行動である。これら以外の行動が情報取得行動に含まれてもよい。「発話」とは、被験者が言葉を発することであり、被験者による自発的な音声の発生だけでなく、被験者による相づちや応答も含まれる。発話には、回数と時間がある。すなわち、沈黙と沈黙とで区切られる連続した音声が１つの発話であり、その連続した音声の時間が１つの発話の時間である。「注視」とは、被験者が所定の時間以上、一点あるいはその付近を見ていることである。注視にも、回数と時間がある。すなわち、注視の状態が開始されてから終了するまでが１つの注視であり、その注視の状態が連続している時間が注視の時間である。「視線移動」とは、注視と注視との間の被験者の視線が移動していることである。「瞬目」とは、被験者が瞬きをすることである。「うなずき」とは、被験者が頭部を前後に振ることによって相手に了解や承諾等の意思表示をすることである。「指差し」とは、被験者が情報の説明等のために、手を用いることによって所定の物を指し示すことである。「覗き込み」とは、所定の物に顔を近づけてよく見ることである。なお、上述の情報取得行動のうち、発話以外の情報取得行動は、いわゆる「非言語行動」と呼ばれる情報取得行動である。

次に、上述の各情報取得行動の発生の条件の一例について説明する。
［発話］
被験者の発した音声情報のレベル、すなわち、音声情報の示す音声の大きさが所定のしきい値以上であることが、発話の発生条件となる。ここで、音声情報のレベルが所定のしきい値以上となってからしきい値以下となるまでが１つの発話であり、その間の時間が１つの発話の時間である。

［注視］
視線情報や行動情報によって示される、被験者の視線方向の変化や被験者の頭の向きの変化が所定の時間以上、ある一定の範囲内であることが、被験者が何かに注視している条件となる。例えば、被験者の視線方向の変化が５度未満である状態が０．５秒以上継続したことが、注視の発生条件となる。ここで、被験者の視線方向の変化や頭の向きの変化の変化が、所定の時間以上、ある一定の範囲内であることが継続している一続きの状態が１つの注視であり、その状態の時間が１つの注視の時間である。

また、注視の検出においては、何を注視しているのかを検出してもよい。被験者が何を注視しているのかについては、例えば、被験者による注視が検出された時点における、被験者が見ている画像よって判断してもよく、被験者の位置によって判断してもよく、被験者の姿勢によって判断してもかまわない。被験者が見ている画像によって被験者が何を注視しているのかについて判断する場合には、例えば、被験者がウェアラブルカメラを装着しているのであれば、そのウェアラブルカメラによって撮影された画像を解析し、肌色検出やパターンマッチング等の技術を用いて、その画像から人の顔が検出できたときには、人を注視していることを検出し、それ以外のときには人以外のものを注視していることを検出してもよい。また、説明対象物等の環境側に光を反射するマーカや自ら発光するマーカを配置しておき、被験者の装着しているウェアラブルカメラによって撮影された画像を解析することによって、環境側のマーカが検出された場合に、そのマーカに応じて、注視している物等を検出してもよい。また、被験者の位置によって被験者が何を注視しているのかについて判断する場合には、例えば、その位置があらかじめ設定されている物（例えば、商品やパネル等）の近くに被験者が存在し、また、被験者がその物の方を向いていることが検出されたときには、物を注視していることを検出し、それ以外のときには人を注視していることを検出してもよい。また、被験者の姿勢によって被験者が何を注視しているのかについて判断する場合には、例えば、物やパネルが下の方に置かれているのであれば、被験者の姿勢が直立していることが検出されたときには、人を注視していることを検出し、被験者の姿勢が前かがみであることが検出されたときには、人以外のものを注視していることを検出してもよい。また、被験者が非接触方式のサーモセンサを装着している場合には、その非接触方式のサーモセンサによって被験者の注視している方向に人間の体温程度の温度が検知された場合には、被験者が人を注視していることを検出し、それ以外の温度が検知された場合には、被験者が人以外を注視していることを検出してもよい。なお、被験者が人を注視していると判断された場合には、その被験者が情報提供者を注視していると推定してもよい。

［視線移動］
前述のように、検出された被験者の注視と注視との間が、視線移動となる。したがって、被験者の注視の回数が増えるごとに、被験者の視線移動の回数も増えることになる。

［瞬目］
被験者の視線情報をアイカメラによって取得している場合には、一定時間以内（例えば、０．４秒以内等）の瞳孔径の未検出のあることが、瞬目の発生条件となる。また、被験者の垂直眼電図を測定している場合には、従来から知られている方法を用いることにより、瞬目の発生を検出できる。被験者の目の領域をカメラによって撮影している場合には、一定時間以内の白目と黒目の領域の未検出のあることが、瞬目の発生条件となる。

［うなずき］
被験者の姿勢をモーションキャプチャシステム等によって取得している場合には、被験者の頭部の前後方向の角度が、一定時間以内に所定の角度以上変化したことが、うなずきの発生条件となる。また、被験者がウェアラブルカメラを装着しており、被験者の視線方向の画像を撮影している場合には、そのウェアラブルカメラによって撮影された画像の変化を解析し、一定時間以内に、被験者が頭を前方に倒す方向に画像が変化したことが、うなずきの発生条件となる。

［指差し］
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の腕が一定以上伸びたことが、指差しの発生条件となる。また、被験者が手首の付近に加速度センサを付けている場合には、その加速度センサによって腕が伸びる方向に手首が移動したことが検出されたことが、指差しの発生条件となる。

［覗き込み］
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の顔の位置が、あらかじめ設定されている物等の位置からの一定の距離以内となったことが、覗き込みの発生条件となる。また、腰を曲げて前かがみで下方を見ている姿勢によって覗き込みが発生したと見なす場合には、被験者が腰を曲げて前かがみで下方を見ている姿勢を一定の時間以上していることを、覗き込みの発生条件としてもよい。

なお、上述の情報取得行動の発生の条件は一例であって、情報取得行動の発生を適切に検出することができるのであれば、上記以外の条件を設定してもよい。また、上記以外の情報取得行動の発生も検出する場合には、その情報取得行動の発生を適切に検出することができる条件が設定されているものとする。

また、条件情報記憶手段２１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。条件情報記憶手段２１に条件情報が記憶される過程は問わない。例えば、記録媒体を介して条件情報が条件情報記憶手段２１で記憶されるようになってもよく、通信回線等を介して送信された条件情報が条件情報記憶手段２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された条件情報が条件情報記憶手段２１で記憶されるようになってもよい。条件情報記憶手段２１での記憶は、外部のストレージデバイス等から読み出した条件情報のＲＡＭ等における一時的な記憶でもよく、あるいは、そうでなくてもよい。

情報取得行動情報生成手段２２は、条件情報記憶手段２１で記憶されている条件情報を用いて、モーション情報及び音声情報から情報取得行動の発生を検出する。そして、情報取得行動情報生成手段２２は、その検出した情報取得行動に関する情報である情報取得行動情報を生成する。情報取得行動情報は、例えば、情報取得行動ごとに、その情報取得行動の発生回数と、発生時間とを示す情報である。情報取得行動情報の発生回数や発生時間は、累計の情報であってもよく、単位時間あたりの情報であってもよい。情報取得行動の発生を検出する具体的な方法については後述する。

関数情報記憶手段２３では、関数情報が１以上記憶される。関数情報とは、情報取得行動情報の示す値を引数とする関数を示す情報である。関数情報は、興味傾向の種類ごとに設定される。したがって、関数情報記憶手段２３では、通常、興味傾向の種類の数だけの関数情報が記憶されることになる。この関数情報の示す関数に情報取得行動情報の示す値を代入した関数の値が興味傾向の程度を示す情報となる。

なお、関数情報記憶手段２３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。関数情報記憶手段２３に関数情報が記憶される過程は問わない。例えば、記録媒体を介して関数情報が関数情報記憶手段２３で記憶されるようになってもよく、通信回線等を介して送信された関数情報が関数情報記憶手段２３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された関数情報が関数情報記憶手段２３で記憶されるようになってもかまわない。関数情報記憶手段２３での記憶は、外部のストレージデバイス等から読み出した関数情報のＲＡＭ等における一時的な記憶でもよく、あるいは、そうでなくてもよい。

興味傾向情報生成手段２４は、情報取得行動情報生成手段２２で生成された情報取得行動情報を用いて興味傾向情報を生成する。すなわち、興味傾向情報生成手段２４は、関数情報記憶手段２３で記憶されている１以上の関数情報の示す関数に、情報取得行動情報生成手段２２で生成された情報取得行動情報の示す値を代入することにより興味傾向情報を生成する。

なお、モーション情報蓄積部１２が有する記録媒体と、音声情報蓄積部１４が有する記録媒体と、条件情報記憶手段２１と、関数情報記憶手段２３とのうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、異なる記録媒体によって実現されてもよい。前者の場合には、例えば、その記録媒体のうち、条件情報を記憶している領域が条件情報記憶手段２１となる。

興味傾向情報出力部１６は、興味傾向情報生成部１５が生成した興味傾向情報を出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ等）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもかまわない。なお、興味傾向情報出力部１６は、出力を行うデバイス（例えば、表示デバイスやプリンタ等）を含んでいてもよく、あるいは含んでいなくてもよい。また、興味傾向情報出力部１６は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、興味傾向情報出力部１６は、興味傾向情報をディスプレイに表示するものとする。

次に、本実施の形態による興味傾向情報出力装置１の動作について、フローチャートを用いて説明する。図２は、本実施の形態による興味傾向情報出力装置１の全体動作を示すフローチャートである。

（ステップＳ１０１）興味傾向情報生成部１５は、興味傾向情報を生成するかどうか判断する。そして、興味傾向情報を生成する場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０５に進む。ここで、興味傾向情報生成部１５は、所定のイベント（例えば、モーション情報と音声情報との一連の蓄積が終了したことや、興味傾向情報を生成する旨の指示が受け付けられたこと等）をトリガーとして興味傾向情報を生成すると判断してもよく、所定の期間ごとに興味傾向情報を生成すると判断してもよく、その他のタイミングで興味傾向情報を生成すると判断してもかまわない。

（ステップＳ１０２）興味傾向情報生成部１５は、モーション情報と音声情報とに基づいて、情報取得行動情報を生成する。この情報取得行動情報を生成する処理の詳細については、図３のフローチャートを用いて後述する。

（ステップＳ１０３）興味傾向情報生成部１５は、ステップＳ１０２で生成した情報取得行動情報に基づいて、興味傾向情報を生成する。この興味傾向情報を生成する処理の詳細については、図４のフローチャートを用いて後述する。
（ステップＳ１０４）興味傾向情報出力部１６は、興味傾向情報生成部１５が生成した興味傾向情報を出力する。そして、ステップＳ１０１に戻る。

（ステップＳ１０５）モーション情報受付部１１は、モーション情報を受け付けたかどうか判断する。なお、モーション情報が行動情報と視線情報とを含む場合には、そのいずれか一方を少なくとも受け付けた場合に、モーション情報を受け付けたと判断してもよい。そして、受け付けた場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０７に進む。

（ステップＳ１０６）モーション情報蓄積部１２は、モーション情報受付部１１が受け付けたモーション情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

（ステップＳ１０７）音声情報受付部１３は、音声情報を受け付けたかどうか判断する。そして、音声情報を受け付けた場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０１に戻る。
（ステップＳ１０８）音声情報蓄積部１４は、音声情報受付部１３が受け付けた音声情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図３は、図２のフローチャートにおける情報取得行動情報の生成処理（ステップＳ１０２）の詳細を示すフローチャートである。
（ステップＳ２０１）情報取得行動情報生成手段２２は、カウンタｉを１に設定する。

（ステップＳ２０２）情報取得行動情報生成手段２２は、条件情報記憶手段２１から、ｉ番目の条件情報を読み出す。
（ステップＳ２０３）情報取得行動情報生成手段２２は、モーション情報蓄積部１２が蓄積したモーション情報と、音声情報蓄積部１４が蓄積した音声情報とを適宜参照し、ステップＳ２０２で読み出した条件情報が満たされるかどうか判断する。そして、満たされる場合にはステップＳ２０４に進み、そうでない場合には、ステップＳ２０６に進む。

（ステップＳ２０４）情報取得行動情報生成手段２２は、ｉ番目の条件情報に対応する情報取得行動情報を生成する。
（ステップＳ２０５）情報取得行動情報生成手段２２は、生成した情報取得行動情報を図示しない記録媒体に一時記憶する。

（ステップＳ２０６）情報取得行動情報生成手段２２は、カウンタｉを１だけインクリメントする。
（ステップＳ２０７）情報取得行動情報生成手段２２は、条件情報記憶手段２１にｉ番目の条件情報が存在するかどうか判断する。そして、存在する場合には、ステップＳ２０２に戻り、存在しない場合には、情報取得行動情報を生成する一連の処理は終了となり、図１のフローチャートのステップＳ１０３に進む。

なお、図３の一連の処理が終了した後に、ステップＳ２０５で言及した図示しない記録媒体で一時記憶されている情報取得行動情報を用いて、後述する興味傾向情報生成手段２４による興味傾向情報の生成処理が行われる。

図４は、図２のフローチャートにおける興味傾向情報の生成処理（ステップＳ１０３）の詳細を示すフローチャートである。
（ステップＳ３０１）興味傾向情報生成手段２４は、カウンタｉを１に設定する。

（ステップＳ３０２）興味傾向情報生成手段２４は、関数情報記憶手段２３から、ｉ番目の種類の興味傾向に対応する関数情報を読み出す。
（ステップＳ３０３）興味傾向情報生成手段２４は、情報取得行動情報生成手段２２が生成した情報取得行動情報の示す値を、ステップＳ３０２で読み出した関数情報の示す関数に代入することにより、その関数の値を算出する。

（ステップＳ３０４）興味傾向情報生成手段２４は、その算出した関数の値を図示しない記録媒体に一時記憶する。この場合に、興味傾向のｉ番目の種類を識別する情報に対応付けて一時記憶することが好ましい。
（ステップＳ３０５）興味傾向情報生成手段２４は、カウンタｉを１だけインクリメントする。

（ステップＳ３０６）興味傾向情報生成手段２４は、ｉ番目の種類の興味傾向が存在するかどうか、すなわち、関数情報記憶手段２３にｉ番目の種類の興味傾向に対応する関数情報が存在するかどうか判断する。そして、存在する場合には、ステップＳ３０２に戻り、存在しない場合には、ステップＳ３０７に進む。

（ステップＳ３０７）興味傾向情報生成手段２４は、ステップＳ３０４で言及した図示しない記録媒体で一時記憶されている関数の値を用いて興味傾向情報を構成する。そして、興味傾向情報を生成する一連の処理は終了となり、図１のフローチャートのステップＳ１０４に進む。なお、その関数の値をそのまま興味傾向情報とする場合には、このステップＳ３０７の処理がなくてもよい。

次に、本実施の形態による興味傾向情報出力装置１の動作について、具体例を用いて説明する。この具体例では、情報提供者が店員であり、情報提供者から情報の提供を受ける情報取得者が、店の顧客であるとする。また、この具体例では、情報取得行動として、発話、注視、瞬目、うなずき、指差しのみを検出するものとする。情報取得者は、説明対象物としての商品を直接見ることができる状況にいるものとする。

また、この具体例では、情報取得者の行動情報をモーションキャプチャシステムによって取得し、情報取得者の視線情報をアイカメラによって取得し、行動情報と視線情報とを含むモーション情報と、音声情報とから、発話、注視、瞬目、うなずき、指差しの情報取得行動を検出して、興味傾向情報を生成する場合について説明する。モーションキャプチャシステムとしては、例えば、Ｖｉｃｏｎ Ｐｅａｋ社製Ｖ６１２を用いてもよい。そのモーションキャプチャシステムでは、１２台の赤外線ストロボ付き赤外線カメラと、直径２５ｍｍの再帰性反射素材の表面を持つ球形パッシブマーカとが用いられ、各マーカの位置を６０Ｈｚの時間分解能と、約１ｍｍの空間分解能で記録できる。アイカメラとしては、ナックイメージテクノロジー社製のＥＭＲ−８Ｂを用いてもよい。そのアイカメラでは、瞳孔角膜反射方式により、眼球運動を３０Ｈｚの時間分解能と、約０．１度の精度で記録できる。

図５は、情報取得者が装着している装置等について説明するための図である。図５で示されるように、情報取得者は、マイクロフォンを装着しており、そのマイクロフォンによって情報取得者の発した音声が取得される。また、情報取得者は、アイカメラを装着しており、そのアイカメラによって情報取得者の視線方向が取得される。また、情報取得者は、体の複数の部分にモーションキャプチャシステムで位置を検出するためのマーカが取り付けられている。

マイクロフォンによって取得された音声情報、アイカメラによって取得された視線情報、モーションキャプチャシステムによって取得された行動情報は、それぞれ、有線または無線の通信によって興味傾向情報出力装置１に渡される。そして、視線情報と、行動情報とはモーション情報受付部１１で受け付けられ（ステップＳ１０５）、モーション情報蓄積部１２によって蓄積される（ステップＳ１０６）。また、音声情報は音声情報受付部１３で受け付けられ（ステップＳ１０７）、音声情報蓄積部１４によって蓄積される（ステップＳ１０８）。この具体例では、店員が情報取得者である顧客への対応をしている１０分間のモーション情報と音声情報とがモーション情報蓄積部１２と、音声情報蓄積部１４とにおいてそれぞれ蓄積されたとする。

図６は、モーション情報蓄積部１２が蓄積したモーション情報と、音声情報蓄積部１４が蓄積した音声情報との一例を示す図である。図６で示されるように、時系列の音声情報と、モーション情報とが所定の記録媒体（図示せず）において記憶されている。音声情報は、前述のように、少なくとも音声レベルを知ることができる情報であればよく、情報取得者の発した言葉の内容までわからない情報であってもよい。視線情報は、情報取得者の視野における画素位置を示す情報であるとする。行動情報は、モーションキャプチャシステムによって取得された、各マーカの３次元直交座標系における位置を示す情報である。

図７は、条件情報記憶手段２１で記憶されている条件情報の一例を示す図である。図７で示されるように、条件情報では、情報取得行動と、その情報取得行動の発生の条件とが対応付けられている。例えば、情報取得行動「発話」については、音声情報のレベルがしきい値Ｓ１以上であることが、発生の条件として設定されている。その他の情報取得行動についても同様である。

モーション情報と、音声情報とが蓄積された後に、ユーザが図示しない入力デバイスを操作することにより、興味傾向情報を出力する指示が興味傾向情報出力装置１で受け付けられたとする。すると、興味傾向情報生成部１５は、興味傾向情報を生成するタイミングであると判断し（ステップＳ１０１）、情報取得行動情報を生成し（ステップＳ１０２）、興味傾向情報を生成する（ステップＳ１０３）。以下、情報取得行動情報の生成処理と、興味傾向情報の生成処理について詳細に説明する。

まず、情報取得行動情報の生成処理について説明する。情報取得行動情報生成手段２２は、まず、条件情報記憶手段２１で記憶されている図７で示される条件情報から、１番目の条件情報、すなわち情報取得行動「発話」に関する条件情報を読み出す（ステップＳ２０１，Ｓ２０２）。

また、情報取得行動情報生成手段２２は、音声情報蓄積部１４が有する図示しない記録媒体から音声情報を読み出す。その音声情報の一部が図８で示されるものであったとする。すると、情報取得行動情報生成手段２２は、読み出した音声情報と、条件情報の示すしきい値Ｓ１とを比較し、音声情報が条件情報を満たすかどうか判断する（ステップＳ２０３）。この場合には、図８で示されるように、条件情報を満たす音声情報の領域が存在するため、情報取得行動情報生成手段２２は、条件を満たすと判断し、図８で示されるように、音声情報の示す音声レベルがしきい値Ｓ１となる時間ｔ１，ｔ２，ｔ３，ｔ４等を取得する。そして、図８では、時間ｔ１から時間ｔ２までが１つの発話であり、その発話の時間は、時間（ｔ２−ｔ１）となる。このようにして、情報取得行動情報生成手段２２は、音声情報から発話の回数と、発話の合計時間とを算出する。この具体例では、発話の回数が４７回であり、発話の合計時間が４８２秒であったとする。すると、情報取得行動情報生成手段２２は、それらの発話の回数と、発話の合計時間とを音声情報の時間６００秒（＝１０分）で割った値、すなわち、単位時間（１秒）あたりの発話の回数「０．０７８」と、単位時間あたりの発話の時間「０．８０３」とを算出する。これらが情報取得行動情報となる（ステップＳ２０４）。情報取得行動情報生成手段２２は、その生成した情報取得行動情報を情報取得行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の１番目と２番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。

次に、情報取得行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、２番目の条件情報、すなわち情報取得行動「注視」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、情報取得行動情報生成手段２２は、モーション情報蓄積部１２が有する図示しない記録媒体からモーション情報に含まれる視線情報を読み出す。その視線情報は、図６で示されるように、視線の位置に対応するピクセルの座標を示す情報である。情報取得行動情報生成手段２２は、その視線の位置に対応するピクセルの座標値のうち、時間的に隣接する２個の座標値の距離を求めることにより、視線の位置の変化量を算出する。例えば、あるサンプリング点での座標値が（１０，２０）であり、次のサンプリング点での座標値が（１４，２３）である場合には、視線の位置の変化量は「５」ピクセルとなる。

図１０は、そのようにして算出された視線の位置の変化量の時間変化の一部を示す図である。図１０において、しきい値Ｓ２は、条件情報で設定されている視線方向の変化量「５度」に対応するピクセルの変化量である。また、図１０において、時間ｔ３から時間ｔ４までの間の変化量の値が記載されていないが、これは、その間において視線情報を取得することができなかったこと、すなわち、瞳孔径を検出することができなかったことが原因である。

情報取得行動情報生成手段２２は、算出した視線の位置の変化量と、しきい値Ｓ２とを比較し、視線の位置の変化量がしきい値Ｓ２未満である状態が０．５秒以上継続している箇所があるかどうか判断する（ステップＳ２０３）。ここでは、時間（ｔ２−ｔ１）が０．５秒以上であり、その条件を満たしていたとすると、情報取得行動情報生成手段２２は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、注視の回数と、その条件を満たす箇所の合計時間、すなわち、注視の合計時間とを算出する。この具体例では、注視の回数が２８９回であり、注視の合計時間が４６６秒であったとする。すると、情報取得行動情報生成手段２２は、それらの注視の回数と、注視の合計時間とを、視線情報の時間６００秒で割った値、すなわち、単位時間あたりの注視の回数「０．４８２」と、単位時間あたりの注視の時間「０．７７７」とを算出する。これらが情報取得行動情報となる（ステップＳ２０４）。情報取得行動情報生成手段２２は、その生成した情報取得行動情報を情報取得行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の３番目と４番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。

次に、情報取得行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、３番目の条件情報、すなわち情報取得行動「瞬目」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、情報取得行動情報生成手段２２は、注視に関する条件判断のときと同様に、視線情報から視線の位置の変化量を算出する。この視線の位置の変化量は、注視に関する条件判断で用いた情報を保持しておき、それを用いてもよく、あるいは、再度算出してもよい。

前述のように、図１０において、時間ｔ３から時間ｔ４までが瞳孔径を検出することができなかった時間である。情報取得行動情報生成手段２２は、瞳孔径を検出することができなかった時間が０．４秒以内である箇所があるかどうか判断する（ステップＳ２０３）。ここでは、時間（ｔ４−ｔ３）が０．４秒以内であり、その条件を満たしていたとすると、情報取得行動情報生成手段２２は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、瞬目の回数を算出する。この具体例では、瞬目の回数が２１５回であったとする。すると、情報取得行動情報生成手段２２は、それらの瞬目の回数を、視線情報の時間６００秒で割った値、すなわち、単位時間あたりの瞬目の回数「０．３５８」を算出する。これらが情報取得行動情報となる（ステップＳ２０４）。情報取得行動情報生成手段２２は、その生成した情報取得行動情報を情報取得行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の５番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。

次に、情報取得行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、４番目の条件情報、すなわち情報取得行動「うなずき」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、情報取得行動情報生成手段２２は、モーション情報蓄積部１２が有する図示しない記録媒体からモーション情報に含まれる行動情報を読み出す。その行動情報は、図６で示されるように、各マーカの位置に対応する座標を示す情報である。情報取得行動情報生成手段２２は、その各マーカの位置に対応する座標値を用いて、頭部の前後方向の角度を算出する。この方法は従来から知られているため、その詳細な説明は省略する。

図１１は、そのようにして算出された頭部の角度の時間変化の一部を示す図である。図１１において、おじぎをするときには頭部の角度がゆっくりと大きく変化しているのに対し、うなずきのときには頭部の角度が速く小さく変化していることがわかる。

情報取得行動情報生成手段２２は、算出した頭部の角度の時間変化に基づいて、頭部の前後方向の角度が０．３秒以内に５度以上変化した箇所があるかどうか判断する（ステップＳ２０３）。ここでは、図１１で示されるように、情報取得者がうなずいた時点において、その条件を満たしていたとすると、情報取得行動情報生成手段２２は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、うなずきの回数を算出する。この具体例では、うなずきの回数が２７１回であったとする。すると、情報取得行動情報生成手段２２は、そのうなずきの回数を行動情報の時間６００秒で割った値、すなわち、単位時間あたりのうなずきの回数「０．４５２」を算出する。これが情報取得行動情報となる（ステップＳ２０４）。情報取得行動情報生成手段２２は、その生成した情報取得行動情報を情報取得行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の６番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。

次に、情報取得行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図７で示される条件情報から、５番目の条件情報、すなわち情報取得行動「指差し」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、情報取得行動情報生成手段２２は、モーション情報蓄積部１２が有する図示しない記録媒体からモーション情報に含まれる行動情報を読み出す。その行動情報は、図６で示されるように、各マーカの位置に対応する座標を示す情報である。情報取得行動情報生成手段２２は、その各マーカの位置に対応する座標値を用いて、情報取得者の肩のマーカから手首のマーカまでの距離を算出する。この方法は従来から知られているため、その詳細な説明は省略する。

図１２は、そのようにして算出された肩と手首の距離の時間変化の一部を示す図である。図１２において、ｍａｘは、肩と手首の距離の最大値である。この最大値ｍａｘは、算出された肩と手首の距離の最大値であってもよく、あらかじめ情報取得者の肩のマーカから手首のマーカまでの実際に測定した最大値であってもよい。

情報取得行動情報生成手段２２は、算出した肩と手首の距離の時間変化と、その最大値ｍａｘに０．９を掛けたしきい値とを比較し、肩と手首の距離が最大値ｍａｘに０．９を掛けたしきい値以上である箇所があるかどうか判断する（ステップＳ２０３）。ここでは、図１２で示されるように、その条件を満たしていたとすると、情報取得行動情報生成手段２２は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、指差しの回数を算出する。この具体例では、指差しの回数が５１回であったとする。すると、情報取得行動情報生成手段２２は、その指差しの回数を行動情報の時間６００秒で割った値、すなわち、単位時間あたりの指差しの回数「０．０８５」を算出する。これが情報取得行動情報となる（ステップＳ２０４）。情報取得行動情報生成手段２２は、その生成した情報取得行動情報を情報取得行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図９の７番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。

このようにして、情報取得行動情報生成手段２２は、すべての条件情報を用いて情報取得行動情報を作成すると、情報取得行動情報の作成は終了となる（ステップＳ２０６，Ｓ２０７）。この具体例において、情報取得行動情報生成手段２２が生成し、図示しない記録媒体において一時的に記憶された情報取得行動情報は、図９で示されるものである。

図１３は、関数情報記憶手段２３で記憶されている関数情報の一例を示す図である。図１３で示されるように、関数情報記憶手段２３では、興味傾向の種類に対応付けられて、４個の関数情報が記憶されている。関数情報における係数ａＮ，ｂＮ，ｃＮ，ｄＮ，ｅＮ，ｆＮ，ｇＮ（Ｎは１から４までの整数）は、あらかじめ値が決定されているものとする。なお、いずれかの係数の値は、０であってもよい。

ここで、図１３で示される興味傾向の種類について説明する。
積極型興味傾向とは、情報取得者（顧客）が説明対象物に関する情報取得のために積極的に働きかけている興味傾向である。情報取得者の指差しが頻繁である場合に、積極型興味傾向である可能性の高いことが発明者らの分析によってわかっている。

協調コミュニケーション型興味傾向とは、情報取得者（顧客）と情報提供者との協調的なインタラクションによって情報取得が行われる興味傾向である。情報取得者の発話時間が長く、発話回数が多い場合に、協調コミュニケーション型興味傾向である可能性の高いことが発明者らの分析によってわかっている。発話によって情報取得や対話の円滑化を図っていると考えられる。

情報取得優先型興味傾向とは、情報取得者（顧客）が情報提供者とのインタラクションを重視しておらず、両者間のコミュニケーションが適切に行われていない状況で情報取得が行われる興味傾向である。情報取得者の注視が頻繁である場合に、情報取得優先型興味傾向である可能性の高いことが発明者らの分析によってわかっている。

消極型興味傾向とは、情報提供者が情報取得者（顧客）に強く働きかけている情報取得の興味傾向である。情報取得者のうなずき回数等といった情報提供者への弱い、すなわち、発話ほどの積極性のない応答が多い場合に、消極型興味傾向である可能性の高いことが発明者らの分析によってわかっている。情報提供者への弱い応答を維持しつつも、情報提供者とは独立に説明対象物へのアクセスを行っていると考えられる。

また、図１３で示される関数情報で用いられるＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇは、情報取得行動情報の示す値であり、それぞれ次のようになっている。Ａは、単位時間あたりの発話の回数である。Ｂは、単位時間あたりの発話の時間である。Ｃは、単位時間あたりの注視の回数である。Ｄは、単位時間あたりの注視の時間である。Ｅは、単位時間あたりの瞬目の回数である。Ｆは、単位時間あたりのうなずきの回数である。Ｇは、単位時間あたりの指差しの回数である。

次に、興味傾向情報の生成処理について説明する。興味傾向情報生成手段２４は、まず、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、１番目の種類の興味傾向、すなわち、積極型興味傾向に対応する関数情報を読み出す（ステップＳ３０１，Ｓ３０２）。そして、興味傾向情報生成手段２４は、図９で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．７５」であったとする。興味傾向情報生成手段２４は、その算出した関数の値を興味傾向情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の１番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、興味傾向情報生成手段２４は、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、２番目の種類の興味傾向、すなわち、協調コミュニケーション型興味傾向に対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、興味傾向情報生成手段２４は、図９で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．６３」であったとする。興味傾向情報生成手段２４は、その算出した関数の値を興味傾向情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の２番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、興味傾向情報生成手段２４は、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、３番目の種類の興味傾向、すなわち、情報取得優先型興味傾向に対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、興味傾向情報生成手段２４は、図９で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．２４」であったとする。興味傾向情報生成手段２４は、その算出した関数の値を興味傾向情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の３番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、興味傾向情報生成手段２４は、関数情報記憶手段２３で記憶されている図１３で示される関数情報から、４番目の種類の興味傾向、すなわち、消極型興味傾向に対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、興味傾向情報生成手段２４は、図９で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．５４」であったとする。興味傾向情報生成手段２４は、その算出した関数の値を興味傾向情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１４の４番目のレコードによって、そのようにして一時記憶された関数の値が示される。

このようにして、興味傾向情報生成手段２４は、すべての種類の興味傾向に対応する関数情報を用いて関数の値を算出すると（ステップＳ３０５，Ｓ３０６）、それらを用いて、興味傾向情報を生成する（ステップＳ３０７）。この具体例では、興味傾向情報生成手段２４は、図１４で示される興味傾向の種類を示す情報と、その程度を示す情報（ここでは、関数の値をパーセント表示した情報）とを対応付けた情報を興味傾向情報として構成する。図１５は、興味傾向情報生成手段２４が構成した興味傾向情報を示す図である。

興味傾向情報出力部１６は、興味傾向情報生成手段２４が構成した図１５で示される興味傾向情報をディスプレイに出力する。その結果、ディスプレイに図１５で示される興味傾向情報が表示され、ユーザは、その興味傾向情報を見ることによって、情報取得者（顧客）の興味傾向が主に積極型興味傾向であることを知ることができる。

ここで、図１３で示されるように、興味傾向の種類と、対応する関数情報とを決定する方法について説明する。まず、複数の情報取得者が説明対象物に関する情報を取得する実験を行い、それらの情報取得者のモーション情報等を取得し、すでに説明した方法等を用いることによって情報取得行動情報を生成する。なお、モーション情報等を取得する情報取得者の数は、後述する因子負荷量を適切に算出することができる程度に多いことが好ましい。発明者らは、２２人の情報取得者からモーション情報等を取得して、以下の因子分析を行った。

そのようにして生成された情報取得行動情報について因子分析手法を用いることによって、多変量データである情報取得行動情報から共通因子を探り出す。その結果、その因子を用いることにより、興味傾向を複数の因子ごとのグループに分けることができる。そのグループに名称を付けたものが、上述の積極型興味傾向等である。

次に、その求めた因子（例えば、積極性因子、協調性因子等の興味傾向の各種類に対応する因子）ごとの、情報取得行動情報の因子負荷量を算出する。その因子負荷量の算出において、バリマックス回転による因子分析等を行ってもよい。例えば、積極性因子の場合、情報取得行動情報「指差しの回数」の因子負荷量が高く、情報取得行動情報「発話の回数」の因子負荷量は低いと言う実験結果が得られている。次に、その因子ごとに因子負荷量の平均や因子負荷量の標準偏差等の統計量を算出し、その統計量を用いて関数情報の示す関数の各係数値を設定する。この方法は、従来からすでに知られており、その詳細な説明は省略する。このような因子ごとの各情報取得行動情報の因子負荷量を用いることによって、因子負荷量の大きい情報取得行動情報が関数値により大きく寄与するように関数情報の示す関数の各係数値を設定することができる。このようにして、関数情報を決定することができる。

なお、この具体例では、興味傾向の種類と、その程度とを示す情報である興味傾向情報を出力する場合について説明したが、前述のように、出力される興味傾向情報は、最も程度の高い興味傾向の種類を示す情報であってもよい。上記具体例の場合には、興味傾向情報「積極型興味傾向」が出力されることになる。このような出力がなされることにより、ユーザは、どの種類の興味傾向が最も支配的であったのかについて知ることができる。また、出力される興味傾向情報は、ある種類の興味傾向に対応する程度を示す情報であってもよい。上記具体例の場合には、積極型興味傾向に対応する関数情報のみが関数情報記憶手段２３で記憶されており、その関数情報を用いて算出された積極型興味傾向の程度「７５％」が出力されることになる。このような出力がなされることにより、ユーザは、情報取得者である顧客の興味傾向が積極型興味傾向である程度を知ることができる。

また、この具体例では、一連のモーション情報と音声情報を蓄積した後に、興味傾向情報を生成する場合について説明したが、モーション情報と音声情報の蓄積と、興味傾向情報の生成とをリアルタイムで並行して行ってもよい。その場合には、例えば、所定の時間区切り（例えば、１分等）ごとに、興味傾向情報を生成してもよい。その生成された興味傾向情報を情報提供者が装着しているヘッドマウントディスプレイや、イヤホン等に出力し、情報提供者がリアルタイムで興味傾向情報のフィードバックを受けることによって、情報提供者による情報の提供行為に興味傾向情報を活用するようにしてもよい。例えば、店員である情報提供者に示された興味傾向情報の種類が「消極型興味傾向」である場合には、顧客が商品やサービスを購入する見込みがないと判断し、その顧客に対する商品説明等を早期に切り上げるようにしてもよい。

また、この具体例では、情報取得行動情報が単位時間あたりの情報である場合について説明したが、それは一例であって、情報取得行動情報は、単位時間あたりの情報でなくてもよい。例えば、図９で示される測定値をそのまま情報取得行動情報として用いてもよい。

また、この具体例では、関数情報の示す関数が、情報取得行動情報の示す値の１次の多項式である場合について説明したが、関数情報の示す関数は、興味傾向の種類に対応する値を適切に算出できるものであれば、この具体例で説明した関数に限定されず、その他の関数であってもよい。また、対応する興味傾向の種類ごとに、関数の形が異なってもよい。

また、この具体例では、情報取得行動として、単に「注視」を検出する場合について説明したが、前述のように、情報取得行動として、「情報提供者への注視」や、「説明対象物への注視」を検出するようにしてもよい。その場合には、情報取得者は、例えば、ウェアラブルカメラを装着しており、そのウェアラブルカメラによって情報取得者の視線方向の画像を撮影していてもよい。また、情報取得行動「情報提供者への注視」に対応する条件は、例えば、ウェアラブルカメラによって撮影された画像によって、人物の顔領域が特定されており、かつ、眼球運動の変化が５度未満である状態が０．５秒以上継続することであってもよい。ここで、人物の顔領域の特定は、前述のように、例えば、肌色検出や、パターンマッチング等の技術を用いることにより行うことができる。また、情報取得行動「説明対象物への注視」に対応する条件は、例えば、ウェアラブルカメラによって撮影された画像に説明対象物の画像が含まれており、かつ、眼球運動の変化が５度未満である状態が０．５秒以上継続することであってもよい。ここで、撮影された画像に説明対象物の画像が含まれているかどうかの判断は、前述のように、例えば、説明対象物に所定のマーカが付いている場合には、そのマーカが撮影された画像に含まれているかどうかで判断してもよく、パターンマッチング等の技術を用いることによって判断してもよい。このように、単に「注視」を検出するだけでなく、「情報提供者への注視」や、「説明対象物への注視」を検出することによって、精度の高い興味傾向の分析を行うことができることは言うまでもない。

また、上述のようにして出力された興味傾向情報を用いて、情報取得者の興味傾向を複数のクラスタに分類してもよい。例えば、複数の情報取得者からモーション情報等を取得して因子分析を行った場合と同様に、複数の情報取得者に関する各興味傾向の種類と、その程度を示す情報とを用いて、複数の情報取得者に関する興味傾向情報を、複数のクラスタに分類する。その分類したクラスタの興味傾向情報の傾向をパターンとして保持し、ある情報取得者に関する興味傾向情報を生成し、出力した後に、その興味傾向情報がどのクラスタのパターンにマッチするのかを判断することによって、その情報取得者の興味傾向のクラスタ分けを行ってもよい。

また、この具体例で用いた図６、図８〜図１２、図１４、図１５の具体的なデータは、本実施の形態による興味傾向情報出力装置１の動作の詳細を説明するために示したものであり、実際に被験者から取得したデータではない。

以上のように、本実施の形態による興味傾向情報出力装置１では、情報取得者に関するモーション情報、及び音声情報を用いることにより、興味傾向情報を生成し、出力することができる。したがって、今まで実現することができなかった、物と人との両方から情報を取得する形態における情報取得者の興味傾向を適切に示す興味傾向情報を生成し、出力することができる。また、その興味傾向情報を用いることにより、情報取得者の興味傾向がどのようなものであるのかについて知ることができ、それを用いることによって、過去の興味傾向の分析を行うことができ、また、将来の接客等に活用することができ、よりよい情報の提供を実現することができる。

なお、上記実施の形態では、興味傾向情報生成部１５が関数情報記憶手段２３を備え、関数情報を用いて興味傾向情報を生成する場合について説明したが、興味傾向情報生成部１５は、関数情報を用いないで興味傾向情報を生成してもよい。例えば、興味傾向情報生成手段２４は、各興味傾向の種類が支配的であるための条件を示す情報（例えば、情報取得行動情報のしきい値に関する条件を示す情報等）を用いて、情報取得行動情報生成手段２２が生成した情報取得行動情報から支配的である興味傾向の種類を特定してもよい。興味傾向情報生成部１５が関数情報を用いないで興味傾向情報を生成する場合には、興味傾向情報生成部１５は、関数情報記憶手段２３を備えなくてもよい。

また、上記実施の形態では、興味傾向情報生成部１５が、まず情報取得行動情報を生成し、その生成した情報取得行動情報を用いて興味傾向情報を生成する場合について説明したが、興味傾向情報生成部１５は、情報取得行動情報を生成しないで興味傾向情報を生成してもよい。例えば、興味傾向情報生成部１５は、各興味傾向の種類が支配的であるための条件を示す情報（例えば、積極型興味傾向が支配的である条件は、１分に５回以上の割合で指差しが行われること等）を用いて、情報取得行動情報生成手段２２が生成した情報取得行動情報から支配的である興味傾向の種類を特定してもよい。興味傾向情報生成部１５が関数情報を用いないで興味傾向情報を生成する場合には、興味傾向情報生成部１５は、条件情報記憶手段２１、情報取得行動情報生成手段２２、関数情報記憶手段２３を備えなくてもよい。

また、上記実施の形態において、情報取得者の種類に応じて、用いる関数情報を変更するようにしてもよい。ここで、情報取得者の種類とは、例えば、店の客、生徒、患者等である。例えば、店の客用の関数情報と、生徒用の関数情報と、患者用の関数情報とが関数情報記憶手段２３で記憶されており、興味傾向情報生成手段２４は、情報取得者の種類に応じた関数情報を読み出して使用してもよい。なお、情報取得者の種類は、ユーザの手入力等によって興味傾向情報出力装置１に入力されてもよく、あるいは、音声情報やモーション情報等から抽出されてもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態における興味傾向情報出力装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付ステップと、前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付ステップと、前記モーション情報受付ステップで受け付けたモーション情報と、前記音声情報受付ステップで受け付けた音声情報とから、前記情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成ステップと、前記興味傾向情報生成ステップで生成した興味傾向情報を出力する興味傾向情報出力ステップと、を実行させるためのものである。

また、そのプログラムでは、前記興味傾向情報生成ステップが、条件情報記憶手段で記憶されている、情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報である情報取得行動情報を生成する情報取得行動情報生成ステップと、前記情報取得行動情報生成ステップで生成された情報取得行動情報を用いて興味傾向情報を生成する興味傾向情報生成ステップと、を含んでいてもよい。

さらに、そのプログラムでは、前記興味傾向情報生成ステップにおいて、関数情報記憶手段で記憶されている、情報取得行動情報の示す値を引数とする関数を示す情報である１以上の関数情報の示す関数に、前記情報取得行動情報生成ステップで生成された情報取得行動情報の示す値を代入することにより興味傾向情報を生成してもよい。

なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップ等では、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカード等で行われる処理は少なくとも含まれない。

また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１６は、上記プログラムを実行して、上記実施の形態による興味傾向情報出力装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。

図１６において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図１７は、コンピュータシステムを示す図である。図１７において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム１００に、上記実施の形態による興味傾向情報出力装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記実施の形態による興味傾向情報出力装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による興味傾向情報出力装置等によれば、情報取得者のモーション情報等を用いて、情報取得者の興味傾向情報を生成し、出力することができ、興味傾向情報を生成して出力するシステム等として有用である。

本発明の実施の形態１による興味傾向情報出力装置の構成を示すブロック図 同実施の形態による興味傾向情報出力装置の全体動作を示すフローチャート 同実施の形態による興味傾向情報出力装置の情報取得行動情報の生成処理の詳細を示すフローチャート 同実施の形態による興味傾向情報出力装置の興味傾向情報の生成処理の詳細を示すフローチャート 同実施の形態によるアイカメラ等を装着した情報取得者の一例を示す図 同実施の形態における音声情報及びモーション情報の一例を示す図 同実施の形態における条件情報の一例を示す図 同実施の形態における情報取得行動「発話」の検出について説明するための図 同実施の形態における情報取得行動情報の一例を示す図 同実施の形態における情報取得行動「注視」の検出について説明するための図 同実施の形態における情報取得行動「うなずき」の検出について説明するための図 同実施の形態における情報取得行動「指差し」の検出について説明するための図 同実施の形態における関数情報の一例を示す図 同実施の形態における算出された関数の値の一例を示す図 同実施の形態における興味傾向情報の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ 興味傾向情報出力装置
１１ モーション情報受付部
１２ モーション情報蓄積部
１３ 音声情報受付部
１４ 音声情報蓄積部
１５ 興味傾向情報生成部
１６ 興味傾向情報出力部
２１ 条件情報記憶手段
２２ 情報取得行動情報生成手段
２３ 関数情報記憶手段
２４ 興味傾向情報生成手段

Claims (5)

1. 情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付部と、
   前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付部と、
   前記モーション情報受付部が受け付けたモーション情報と、前記音声情報受付部が受け付けた音声情報とから、前記情報取得者の情報取得における興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成部と、
   前記興味傾向情報生成部が生成した興味傾向情報を出力する興味傾向情報出力部と、を具備し、
   前記興味傾向情報生成部は、
   情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、
   前記条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報であり、情報取得行動の発生回数及び情報取得行動の発生時間を含む情報である情報取得行動情報を生成する情報取得行動情報生成手段と、
   情報取得行動情報の示す値を引数とする関数を示す情報である関数情報が、興味傾向の種類ごとに２以上記憶される関数情報記憶手段と、
   前記関数情報記憶手段で記憶されている２以上の関数情報の示す関数に、前記情報取得行動情報生成手段で生成された情報取得行動情報の示す値を代入することにより得られた値である興味傾向の程度を興味傾向の種類ごとに示す情報を含む興味傾向情報を生成する興味傾向情報生成手段と、を具備する、興味傾向情報出力装置。
2. 前記関数情報記憶手段では、情報取得者が説明対象物に関する情報取得のために積極的に働きかけている興味傾向である積極型興味傾向、情報取得者と情報提供者との協調的なインタラクションによって情報取得が行われる興味傾向である協調コミュニケーション型興味傾向、情報取得者が情報提供者とのインタラクションを重視しておらず、両者間のコミュニケーションが適切に行われていない状況で情報取得が行われる興味傾向である情報取得優先型興味傾向、情報提供者が情報取得者に強く働きかけている情報取得の興味傾向である消極型興味傾向のそれぞれに対応する関数情報が記憶されており、
   前記興味傾向情報生成手段は、積極型興味傾向、協調コミュニケーション型興味傾向、情報取得優先型興味傾向、消極型興味傾向のそれぞれに対応する興味傾向の程度を示す興味傾向情報を生成する、請求項１記載の興味傾向情報出力装置。
3. 前記情報取得行動情報は、前記情報取得者の指差しの発生回数、発話回数、発話時間、注視の発生回数、うなずき回数を含み、
   前記積極型興味傾向に対応する関数情報は、前記情報取得者の指差しが頻繁である場合に高い値となるものであり、
   前記協調コミュニケーション型興味傾向に対応する関数情報は、前記情報取得者の発話時間が長く、発話回数が多い場合に高い値となるものであり、
   前記情報取得優先型興味傾向に対応する関数情報は、前記情報取得者の注視が頻繁である場合に高い値となるものであり、
   前記消極型興味傾向に対応する関数情報は、前記情報取得者のうなずき回数が多い場合に高い値となるものである、請求項２記載の興味傾向情報出力装置。
4. モーション情報受付部と、音声情報受付部と、情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段、情報取得行動情報生成手段、関数情報記憶手段、興味傾向情報生成手段を具備する興味傾向情報生成部と、興味傾向情報出力部とが処理する興味傾向情報出力方法であって、
   前記モーション情報受付部が、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付ステップと、
   前記音声情報受付部が、前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付ステップと、
   前記興味傾向情報生成部が、前記モーション情報受付ステップで受け付けたモーション情報と、前記音声情報受付ステップで受け付けた音声情報とから、前記情報取得者の情報取得における興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成ステップと、
   前記興味傾向情報出力部が、前記興味傾向情報生成ステップで生成した興味傾向情報を出力する興味傾向情報出力ステップと、を具備し、
   前記興味傾向情報生成ステップは、
   前記情報取得行動情報生成手段が、前記条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報であり、情報取得行動の発生回数及び情報取得行動の発生時間を含む情報である情報取得行動情報を生成するステップと、
   前記興味傾向情報生成手段が、前記関数情報記憶手段で興味傾向の種類ごとに記憶されている、情報取得行動情報の示す値を引数とする関数を示す情報である２以上の関数情報の示す関数に、前記情報取得行動情報を生成するステップで生成された情報取得行動情報の示す値を代入することにより得られた値である興味傾向の程度を興味傾向の種類ごとに示す情報を含む興味傾向情報を生成するステップと、を具備する、興味傾向情報出力方法。
5. コンピュータに、
   情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付ステップと、
   前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付ステップと、
   前記モーション情報受付ステップで受け付けたモーション情報と、前記音声情報受付ステップで受け付けた音声情報とから、前記情報取得者の情報取得における興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成ステップと、
   前記興味傾向情報生成ステップで生成した興味傾向情報を出力する興味傾向情報出力ステップと、を実行させ、
   前記興味傾向情報生成ステップは、
   条件情報記憶手段で記憶されている、情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報であり、情報取得行動の発生回数及び情報取得行動の発生時間を含む情報である情報取得行動情報を生成するステップと、
   関数情報記憶手段で興味傾向の種類ごとに記憶されている、情報取得行動情報の示す値を引数とする関数を示す情報である２以上の関数情報の示す関数に、前記情報取得行動情報を生成するステップで生成された情報取得行動情報の示す値を代入することにより得られた値である興味傾向の程度を興味傾向の種類ごとに示す情報を含む興味傾向情報を生成するステップと、を具備する、プログラム。

Images