JP6561996B2 - 情報処理装置、制御方法、および記憶媒体 - Google Patents

Description

本開示は、情報処理装置、制御方法、および記憶媒体に関する。

近年、ある時点における人の感情を生体情報等から推定し、コンテンツデータの検索や、情報のレコメンデーション等に用いることが行われている。

例えば、下記特許文献１では、心拍、血圧等の生体情報に基づいて感情の度合いを示す感情パラメータを求め、１次元の感情貨幣に変換する技術が開示されている。

特開２００５−１２４９０９号公報

しかしながら、上記特許文献１や従来技術では、主に生体情報に基づく人の感情（快／不快）の推定が行われ、モノの仮想的な心理状態については言及されていなかった。

例えば、同じ商品であっても、思い入れを持って大切に使われた場合と、乱雑に扱われた場合とでは、モノに宿る利用者の思い入れや愛着は異なるはずであるが、それを計測したり、第三者に客観的に知らせたりする術がなかった。

このように、物の価値は、その物の機能やデザインだけではなく、同じ商品であっても個別の価値が生じ得る。

そこで、本開示では、オブジェクト間のインタラクションに基づいてオブジェクトの感性価値を数値化することが可能な情報処理装置、制御方法、および記憶媒体を提案する。

本開示によれば、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、を備える、情報処理システムを提案する。

本開示によれば、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出することと、前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能なことと、を含む、制御方法を提案する。

本開示によれば、コンピュータを、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、として機能させるための、プログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、オブジェクト間のインタラクションに基づいてオブジェクトの感性価値を数値化することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態によるセンシングデバイスの構成の一例を示すブロック図である。 本実施形態による感性サーバの構成の一例を示すブロック図である。 本実施形態による情報処理システムの動作処理を示すシーケンス図である。 第１の応用例による個人信用情報提供システムの全体構成を説明する図である。 第１の応用例による個人信用情報提供サーバの構成の一例を示すブロック図である。 第１の応用例による感性サーバのオブジェクトＤＢのデータ例を示す図である。 第１の応用例による感性サーバの感性情報ＤＢのデータ例を示す図である。 第１の応用例による信用ランキングの表示処理を示すフローチャートである。 第１の応用例による信用力ランキング画面の一例を示す図である。 第１の応用例によるオブジェクト属性毎の信用力情報の表示処理を示すフローチャートである。 第１の応用例による対象者の家に対する相対的感性値の算出について説明する図である。 第１の応用例によるオブジェクト属性毎の信用力情報表示画面の一例を示す図である。 第１の応用例による信用力の年代表示処理を示すフローチャートである。 第１の応用例による信用力の年代表示画面の一例を示す図である。 第２の応用例によるオークションシステムの全体構成を説明する図である。 第２の応用例によるオークションサーバの構成の一例を示すブロック図である。 第２の応用例によるオークションサーバの商品・ユーザ情報ＤＢに記憶されている出品商品のデータ例を示す図である。 第２の応用例による感性サーバの感性情報ＤＢのデータ例を示す図である。 第２の応用例による出品商品の感性値に応じたリスト表示処理を示すフローチャートである。 第２の応用例による出品商品の感性値に応じたリスト表示画面の一例を示す図である。 第２の応用例による出品商品の感性値に関する詳細情報の表示処理を示すフローチャートである。 第２の応用例による出品商品の相対的／絶対的感性値の算出について説明する図である。 第２の応用例による出品商品の感性値に関する詳細情報表示画面の一例を示す図である。 第２の応用例による出品者の感性値に関する詳細情報の表示処理を示すフローチャートである。 第２の応用例による出品者の感性値に関する詳細情報表示画面の一例を示す図である。 第３の応用例による環境調整システムの全体構成を説明する図である。 第３の応用例の移動体による環境調整の一例について説明する図である。 第３の応用例による移動体の構成の一例を示すブロック図である。 第３の応用例による環境調整サーバの構成の一例を示すブロック図である。 第３の応用例による環境調整処理を示すフローチャートである。 第３の応用例によるカバー範囲変更処理を示すフローチャートである。 第３の応用例によるインタラクション評価のデータ例を示す図である。 第３の応用例によるインタラクション評価の他のデータ例を示す図である。 第４の応用例によるテレプレゼンスシステムの全体構成を説明する図である。 第４の応用例による障子画像の表示例について説明する図である。 第４の応用例による通信制御装置の構成の一例を示すブロック図である。 第４の応用例によるテレプレゼンス制御処理を示すフローチャートである。 第４の応用例による開度設定の動作処理を示すフローチャートである。 第４の応用例によるインタラクション評価のデータ例を示す図である。 図４０に示すインタラクション評価値のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。 第５の応用例による臨場感再現システムの全体構成を説明する図である。 第５の応用例による再現情報生成装置の構成の一例を示すブロック図である。 第５の応用例による再現情報生成処理を示すフローチャートである。 第５の応用例による被写体認識について説明する図である。 第５の応用例によるインタラクション評価のデータ例を示す図である。 図４６に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。 第５の応用例による再生制御装置の構成の一例を示すブロック図である。 第５の応用例による感性値を利用した再生処理を示すフローチャートである。 第５の応用例による感性値に応じて各被写体に対応するよう配置される画像エフェクトの一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．基本構成および動作処理
２−１．センシングデバイス
２−２．感性サーバ
２−３．動作処理
３．応用例
３−１．個人信用情報提供システム
３−２．オークションシステム
３−３．環境調整システム
３−４．テレプレゼンスシステム
３−５．臨場感再現システム
４．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
まず、本開示の一実施形態による情報処理システム１００の概要を図１に示して説明する。図１に示すように、本実施形態による情報処理システム１００では、人や物全てをオブジェクトと定義し、各オブジェクト（Obj.A〜Obj.D）には、オブジェクト間のインタラクション（相互作用）を検出するためのセンシングデバイス１（１Ａ〜１Ｄ）が設けられている。例えば人Obj.Aには、時計型デバイス等のウェアラブルデバイスにより実現されたセンシングデバイス１Ａが装着されている。また、家Obj.Bには、扉の開閉や、人の出入り、家の修繕等を検出可能なセンシングデバイス１Ｂが設けられている。また、車Obj.Cには、走行距離や、使用回数、運転の丁寧さ、洗車等を検出可能なセンシングデバイス１Ｃが設けられている。また、カメラObj.Dには、使用時間、保管状態、被写体の種別、水濡れ、衝撃、メンテナンス回数等を検出可能なセンシングデバイス１Ｄが設けられている。

センシングデバイス１が検出したインタラクションは、ネットワーク３を介して感性サーバ２に送信される。例えば、人Obj.Aが、家Obj.B、車Obj.C、およびカメラObj.Dに対して行ったそれぞれのインタラクション（扉の開閉、修繕、運転、保管等）が、センシングデバイス１Ａ〜１０Ｄによってそれぞれ検出され、感性サーバ２に送信される。具体的には、人が家に対して何らかのインタラクションを行った場合、人側のセンシングデバイス１Ａと家側のセンシングデバイス１Ｂでそれぞれのインタラクション（他のオブジェクトへ行ったインタラクション、他のオブジェクトから行われたインタラクション）が検出される。また、検出されるインタラクションは、人と物の間のインタラクションに限定されず、物と物の間のインタラクションも検出され得る。

感性サーバ２は、センシングデバイス１から受信したインタラクションを蓄積し、これを分析することで、各オブジェクトの感性値を算出する。感性サーバ２で算出された感性値は様々なサービスで利用される。なお、サービスの性質に応じて必要な感性値は異なる場合もあるため、感性サーバ２は各インタラクションの評価を数値化した評価値を各サービスに送信し、サービス側において所定の算出方法でインタラクション評価値に基づいて感性値が算出されてもよい。

このように、本実施形態による情報処理システム１００では、人・モノの全てをオブジェクトと定義した上で、オブジェクト間のインタラクションに基づいてそれぞれのオブジェクトの価値を数値化した新しい指標である感性値を提供することができる。このような感性値の有用性について、以下本開示の背景として説明する。

（背景）
近年、新自由主義市場原理に基づくグローバル経済が行きすぎ、成熟社会では新しい価値経済の指標が求められている。具体的には、新しいモノづくりにおけるモノの「感性価値」について議論されている。一般的には、作り手によりモノに込められたこだわりや思想、背景、技術などを感性価値と称し、これを活かした地域の取り組みが行われている。また、ユーザが愛着を持ってモノを扱ったことは、目には見えないモノの特別な価値となり、貨幣価値以上の価値が生まれることもある。しかしながら、従来、このような「感性価値」を情報科学の領域で用いることは行われていなかった。

ここで、昨今のデバイス小型化、バッテリー技術やネットワーク技術の進歩により、モノ同士を繋げるＩｏＴ（Internet of Things)の時代に突入してきた。この時代の先には、モノと人が区別なくつながる（チューリングテストを合格したモノが人とインタラクションする）時代が到来すると仮定できる。その場合、人・モノの「感性価値」は、人・モノ（サービスを含む）の区別なく、あらゆるインタラクションの履歴に相関すると定義できる。

本実施形態は、上記のような観点から、人・モノの疑似的な「感性価値」を数値化した感性値について提案する。感性価値は多次元のベクトルで表現されるため、そのベクトルを扱いやすいように次元を落としたり単純なスカラー値にしたりして利用することが考えられ、各々のサービスや商品に合わせて最適化して利用する。感性値は新しい価値経済の指標となり、将来、貨幣と対になる経済概念になることが予想される。従って、感性値には、保存（蓄積）、交換媒体（モノＡとモノＢの交換を媒介する機能）、および人・モノの価値の尺度（商品やサービス全てに感性値が付与され、モノの価値は、貨幣と感性値で判断される）といった機能が期待される。

以上、本実施形態による情報処理システム１００の概要について説明した。続いて、情報処理システム１００に含まれるセンシングデバイス１および感性サーバ２の構成と、情報処理システム１００の動作処理について順次説明する。

＜＜２．基本構成＞＞
＜２−１．センシングデバイス＞
図２は、本実施形態によるセンシングデバイス１の構成の一例を示すブロック図である。図２に示すように、センシングデバイス１は、センサ１１、インタラクション抽出部１２、および通信部１３を有する。

（センサ）
センサ１１は、オブジェクト間のインタラクションを検知する機能を有する。センサ１１は、例えば湿度センサ、温度センサ、振動センサ、赤外線センサ、カメラ、触覚センサ、ジャイロセンサ、照度センサ、人感センサ、大気センサ（例えば埃センサ、汚染物質センサ）、速度センサ、回数計測センサ等により実現される。

（インタラクション抽出部）
インタラクション抽出部１２は、センサ１１から出力されたセンシングデータに基づいて、第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部として機能する。例えば、インタラクション抽出部１２は、扉の開閉を検知するセンサのセンシングデータに基づいて、扉の開閉回数や、開閉時の衝撃／強さ、人の出入りといったインタラクションを抽出することができる。

また、インタラクション抽出部１２は、対象オブジェクトが分解されたり、リセット処理が行われたり、故障症状が改善されたこと（エラーなし）、部品交換が行われたこと等を検知するセンサのセンシングデータに基づいて、対象オブジェクトの修繕・メンテナンスといったインタラクションを抽出することができる。

また、インタラクション抽出部１２は、対象オブジェクトが車、自転車、自動二輪車等の場合、距離測定値、エンジン回数測定値、タイヤ交換頻度、ブレーキタイミング、汚れ、位置情報、燃料追加頻度等を検知するセンサのセンシングデータに基づいて、対象オブジェクトの走行距離、使用回数、運転の丁寧さ、洗車等といったインタラクションを抽出することができる。

また、インタラクション抽出部１２は、起動時間、起動タイミング、置載状態、周囲の大気、湿度、温度、水濡れ、衝撃等を検知するセンサのセンシングデータに基づいて、対象オブジェクトの愛用度、愛着具合、保管状態といったインタラクションを抽出することができる。

（通信部）
通信部１３は、インタラクション抽出部１２により抽出されたインタラクションに関連する情報を、ネットワーク３を介して感性サーバ２に送信する。

以上説明したセンシングデバイス１には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および不揮発性メモリを備えたマイクロコンピュータが搭載され、センシングデバイス１の各構成を制御する。

＜２−２．感性サーバ＞
図３は、本実施形態による感性サーバ２の構成の一例を示すブロック図である。図３に示すように、感性サーバ２は、通信部２１、制御部２０、オブジェクトＤＢ２２、および感性情報ＤＢ２４を有する。

（通信部）
通信部２１は、ネットワークを介して各オブジェクト（人、物）に装着／搭載されたセンシングデバイス１から、インタラクションに関連する情報（以下、インタラクション情報とも称する）を受信する。また、通信部２１は、外部装置からの要求に応じて、感性情報ＤＢ２４に格納されているインタラクション評価、または感性値算出部２０ｅにより算出した感性値を送信する。

（制御部）
制御部２０は、感性サーバ２の各構成を制御する。また、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部２０は、インタラクション記憶制御部２０ａ、評価部２０ｂ、オブジェクト管理部２０ｃ、関連オブジェクト検索部２０ｄ、および感性値算出部２０ｅとして機能する。

インタラクション記憶制御部２０ａは、オブジェクトに装着／搭載されたセンシングデバイス１から受信したインタラクション情報を感性情報ＤＢ２４に記憶するよう制御する。

評価部２０ｂは、感性情報ＤＢ２４に記憶したインタラクションの評価を行う。インタラクションの評価方法については特に限定しないが、例えば評価部２０ｂは、インタラクションを行った／受けたオブジェクトにとって何らかの評価指標で定めた基準から算出評価し、具体的には−１．０〜１．０の点数を付ける。評価結果は、インタラクションに対応付けて感性情報ＤＢ２４に記憶される。

オブジェクト管理部２０ｃは、オブジェクトＤＢ２２に記憶されているオブジェクトに関する情報の登録、変更、削除等の管理を行う。

関連オブジェクト検索部２０ｄは、外部装置から要求されたオブジェクトＩＤとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとしてオブジェクトＤＢ２２や感性情報ＤＢ２４から検索する。

感性値算出部２０ｅは、感性情報ＤＢ２４に蓄積されているインタラクション情報の評価値に基づいて、オブジェクトの感性値を算出する。感性値の具体的な算出方法については後述する。

（オブジェクトＤＢ）
オブジェクトＤＢ（データベース）２２は、各オブジェクトのオブジェクトＩＤを格納する記憶部である。また、オブジェクトＤＢ２２には、オブジェクトＩＤの他、商品名、商品種類、メーカー名（またはメーカーＩＤ）、型番、製造日時等の、オブジェクトに関する多々の情報が格納されている。

（感性情報ＤＢ）
感性情報ＤＢ２４は、オブジェクト間のインタラクションや、インタラクションの評価を格納する記憶部である。

＜２−３．動作処理＞
次に、本実施形態による情報処理システム１００の動作処理について図４を参照して説明する。図４は、本実施形態による情報処理システム１００の動作処理を示すシーケンス図である。

図４に示すように、まず、センシングデバイス１Ａが設けられたオブジェクトＡから、センシングデバイス１Ｂが設けられたオブジェクトＢに対して何らかのインタラクションが行われると、ステップＳ１０３において、センシングデバイス１Ａのインタラクション抽出部１２は、インタラクションを取得し、続くステップＳ１０６において、取得したインタラクションを通信部１３により感性サーバ２に送信する。

また、インタラクションが行われたオブジェクトＢに設けられたセンシングデバイス１Ｂでも同様の処理が行われる。すなわち、ステップＳ１０９において、センシングデバイス１Ｂのインタラクション抽出部１２は、インタラクションを取得し、続くステップＳ１１２において、取得したインタラクションを通信部１３により感性サーバ２に送信する。

これにより、オブジェクト間でインタラクションが行われると、双方のオブジェクトでそれぞれインタラクションが取得され、感性サーバ２に送信される。

次に、ステップＳ１１５において、感性サーバ２のインタラクション記憶制御部２０ａは、各センシングデバイス１から送信されたインタラクションを感性情報ＤＢ２４に記憶し、続くステップＳ１１８において、評価部２０ｂによりインタラクション評価を行う。なお評価部２０ｂによるインタラクション評価も、インタラクションに対応付けて感性情報ＤＢ２４に記憶される。

そして、ステップＳ１２１において、感性サーバ２の感性値算出部２０ｅは、必要に応じて、インタラクション評価に基づいてオブジェクトの感性値の算出を行う。

以上、本実施形態による動作処理について説明した。本実施形態の感性サーバ２により収集されたインタラクション履歴に基づいて算出されたオブジェクトの感性値は、オブジェクトの価値を示す新たな指標として様々なサービスで利用することが考えられる。以下、本実施形態による感性値を利用した各種サービスシステムについて、複数の応用例を挙げて説明する。

＜＜３．応用例＞＞
＜３−１．個人信用情報提供システム＞
まず、第１の応用例として、感性値を信用力（信頼度）とみなして個人信用情報提供システム１０１で利用する場合について、図５〜図１５を参照して説明する。

従来、個人の信用度を提供する信用情報提供サービスとしては、資産、負債、クレジットカードの契約年数等から算出した信用力が提供されていた。これに対し、本実施形態では、個人の持つ感性値を信用力情報として用いる。また、個人がこれまで関わったオブジェクトとのインタラクションの履歴から、特定の条件（時間やオブジェクトの属性）でフィルタすることで、さまざまな尺度で個人の信用力を可視化することも可能となる。例えば、昔はモノに当たり散らす素行の悪い人間だったが、今はモノを大事に扱う善人であるといったことや、パソコンは大事に扱うが車に乗ると扱いが荒くなるなどの、個人の人間性も感性値に表れる。

図５は、第１の応用例による個人信用情報提供システム１０１の全体構成を説明する図である。図５に示すように、個人信用情報提供システム１０１は、個人信用情報提供サーバ４と、感性サーバ２とを含む。

感性サーバ２は、個人信用情報提供システム１０１の会員であるユーザObj.A、ユーザObj.Aが常日頃インタラクションを行っている家Obj.B、車Obj.C、カメラObj.Dからインタラクション情報を取得する。

また、図５に示すユーザObj.Aと利用者は、個人信用情報提供システム１０１に会員登録する際、それぞれ固有のＩＤと対応付けて登録される。

ここで、利用者がユーザObj.Aの信用情報を取得する場合を想定する。利用者は、図５に示すように、個人信用情報提供サーバ４に、ユーザObj.AのＩＤ（すなわちオブジェクトＩＤ）と、必要に応じて、期間（例えば開始時間、終了時間）や、関連オブジェクトの属性（例えば商品カテゴリやメーカー名）などの検索条件を指定して、ユーザObj.Aの信用情報の表示を依頼する。

個人信用情報提供サーバ４は、利用者からの要求に応じて、ユーザObj.AのＩＤと検索条件（期間、関連オブジェクトの属性等）を元に、感性値を感性サーバ２から取得する。この際、ユーザObj.Aとの間にインタラクションが発生した関連オブジェクト（家Obj.B、車Obj.C、カメラObj.D）の感性値も取得され得る。

そして、個人信用情報提供サーバ４は、取得した感性値に基づいて、ユーザObj.Aの信用力情報を利用者に提供する。期間や関連オブジェクト属性等の検索条件が指定されない場合、ユーザObj.Aの総合的な信用力情報が表示される。また、期間を指定した場合、指定した期間におけるユーザObj.Aの信用力情報が表示される。また、関連オブジェクト属性を指定した場合、ユーザObj.Aに関連するオブジェクトのうち、指定されたオブジェクト属性にマッチしたオブジェクトとのインタラクションに応じた信用力情報が表示される。

また、信用力情報の表示方法は、感性値の値をそのまま信用力の値として表示してもよいし、グラフ化したり、線表化して可視化してもよい。

以上、第１の応用例による個人信用情報提供システム１０１の概要について説明した。なお、利用者は、ユーザObj.Aと同じ個人信用情報提供システム１０１に加入していなくてもよく、例えば信販会社を利用してユーザObj.Aの信用情報を取得してもよい。この場合、信販会社の管理サーバ（不図示）が、個人信用情報提供システム１０１の個人信用情報提供サーバ４にアクセスし、ユーザObj.Aの信用情報を取得する。

（３−１−１．構成）
次に、個人信用情報提供システム１０１に含まれる個人信用情報提供サーバ４の構成について図６を参照して説明する。

図６は、本実施形態による個人信用情報提供サーバ４の構成の一例を示すブロック図である。図６に示すように、個人信用情報提供サーバ４は、制御部４０、通信部４１、および商品・ユーザ情報ＤＢ（データベース）４２を有する。

（通信部）
通信部４１は、ネットワークを介して利用者の端末（不図示）と接続し、利用者からの要求を受信したり、要求に応じて信用情報を利用者に送信したりする。また、通信部４１は、ネットワークを介して感性サーバ２と接続し、対象オブジェクトの感性値や、関連オブジェクトの感性値を取得する。

（制御部）
制御部４０は、個人信用情報提供サーバ４の各構成を制御する。また、制御部４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部４０は、関連商品検索部４０ａ、感性値要求部４０ｂ、結果生成部４０ｃ、表示制御部４０ｄ、およびオブジェクト管理部４０ｅとして機能する。

関連商品検索部４０ａは、利用者により指定された調査対象者に関連する商品を商品・ユーザ情報ＤＢ４２から検索する。調査対象者に関連する商品とは、例えば調査対象者が所有する商品として予め調査対象者に紐付けられた商品である。

感性値要求部４０ｂは、利用者により指定された調査対象者の感性値を感性サーバ２に要求する。具体的には、感性値要求部４０ｂは、調査対象者のオブジェクトＩＤと、検索条件がある場合は当該検索条件（期間、関連オブジェクトの属性、関連オブジェクトのオブジェクトＩＤ等）を、通信部４１を介して感性サーバ２に送信する。

結果生成部４０ｃは、感性値要求部４０ｂにより感性サーバ２から取得した調査対象者の感性値に基づいて、調査対象者の信用力調査の結果を生成する。具体的には、例えば結果生成部４０ｃは、調査対象者の信用力情報を示す結果画面を生成する。

表示制御部４０ｄは、結果生成部４０ｃにより生成された結果画面を要求元の利用者端末に表示するよう制御する。例えば、表示制御部４０ｄは、結果画面を表示するための情報を、通信部４１を介して利用者端末に送信するよう制御する。

オブジェクト管理部４０ｅは、商品・ユーザ情報ＤＢ４２に記憶されている商品・ユーザ（オブジェクトの一例）に関する情報の登録、変更、削除等の管理を行う。

（商品・ユーザ情報ＤＢ）
商品・ユーザ情報ＤＢ４２は、商品・ユーザに関する情報を記憶する記憶部である。ユーザとは、例えば個人信用情報提供システム１０１に会員登録されたユーザである。また、商品・ユーザ情報には、各商品・ユーザのそれぞれのオブジェクトＩＤが含まれる。

以上、本応用例による個人信用情報提供サーバ４の構成について説明した。なお個人信用情報提供システム１０１に含まれる感性サーバ２の構成は、図３を参照して説明したため、ここでの説明は省略する。

［データ構成例］
次に、個人信用情報提供システム１０１で利用する感性値を算出するために用いられる感性サーバ２のオブジェクトＤＢ２２のデータ例、および感性情報ＤＢ２４のデータ例について、図７、図８を参照して説明する。

図７は、第１の応用例による感性サーバ２のオブジェクトＤＢ２２のデータ例を示す図である。感性サーバ２のオブジェクトＤＢ２２には、図７に示すように、各オブジェクトを識別するオブジェクトＩＤ、オブジェクトの種類、メーカーＩＤ、型番、シリアル番号、製造日時（オブジェクト生成日時）が対応付けて記憶されている。

図８は、第１の応用例による感性サーバ２の感性情報ＤＢ２４のデータ例を示す図である。感性情報ＤＢ２４には、オブジェクト間で発生したインタラクションに関する情報が格納されている。上述したように、オブジェクト間でインタラクションが発生した場合、双方のオブジェクトにおいてインタラクションが検出される。図８に示すデータ例では、オブジェクト毎に、そのオブジェクトに生じたインタラクション情報のデータ列が生成されている。ここで、当該データ列において、インタラクションが生じた際の相手オブジェクトは、関連オブジェクトと称する。

感性サーバ２の感性情報ＤＢ２４には、図８に示すように、インタラクションが生じたオブジェクトのオブジェクトＩＤ、インタラクションの日時・期間、関連オブジェクトＩＤ、インタラクション種類、インタラクションの詳細、インタラクション評価値が対応付けて記憶されている。

例えば、図８に示すデータ例の１行目では、オブジェクトＩＤ：18000555の人物が、2000年6月21日に、オブジェクトＩＤ：5505の自動車に対して「運転」というインタラクションを行い、当該インタラクションの詳細が「アクセル／ブレーキ操作：丁寧、ハンドル操作：ゆっくり」であって、インタラクション評価値１が付与されている。また、２行目では、オブジェクトＩＤ：5505の自動車が、2000年6月21日に、オブジェクトＩＤ：18000555の人物から「運転」というインタラクションを受け、当該インタラクションの詳細が「燃費：良い、ブレーキ消耗：少」であって、インタラクション評価値１が付与されている。このように、一方のオブジェクトから他方のオブジェクトに対して行われたインタラクションは、一方のオブジェクト側と、他方のオブジェクト側の両方で検知され得る。

検知されるインタラクション種類は、上記運転の他、図８に示すように、オーナー変更、購入、交換、手入れ、清掃等が挙げられる。

運転のインタラクションは、例えば車に設けられたセンサ１１により運転席に座っている人物を認識し、当該人物が運転席に居る間に車の移動が検知される場合、運転席に座った人物により車が運転されていたことが検知される。

また、手入れのインタラクションは、例えば家に設けられたセンサ１１で検知した振動や音声の記録、家の各所に設けられたカメラ（センサ１１の一例）の映像、およびユーザが身に着けているセンサ１１からの動作解析に基づいて、さらには登録しているリフォーム会社サーバへ記録参照等に基づいて、家主が家の手入れを行ったことを検出し得る。

（３−１−２．表示処理）
続いて、個人信用情報提供システム１０１の表示処理について図９〜図１５を参照して説明する。

［信用ランキング表示］
図９は、第１の応用例による信用ランキングの表示処理を示すフローチャートである。図９に示すように、まず、ステップＳ２０３において、利用者により調査対象者の範囲が指定される。具体的には、利用者端末から、対象者の信用力調査依頼が個人信用情報提供サーバ４に対して行われる。

次に、ステップＳ２０６において、個人信用情報提供サーバ４の感性値要求部４０ｂは、対象者のオブジェクトＩＤに基づいて、感性サーバ２に対して対象者の感性値を要求する。対象者のオブジェクトＩＤは、利用者により指定されてもよいし、商品・ユーザ情報ＤＢ４２から取得されてもよい。若しくは、感性サーバ２側で、個人信用情報提供サーバ４により指定された対象者の氏名等に応じて、当該対象者のオブジェクトＩＤをオブジェクトＤＢ２２から取得してもよい。

次いで、ステップＳ２０９において、感性サーバ２の感性値算出部２０ｅは、指定された対象者のオブジェクトＩＤに対応付けられたインタラクション評価値に基づいて、感性値を算出する。例えば感性値算出部２０ｅは、対象者と他のオブジェクト間のインタラクション評価値の総和により、対象者のトータル感性値を算出する。若しくは、感性値算出部２０ｅは、対象者と他のオブジェクト間のインタラクション評価値の平均値により対象者のトータル感性値を算出してもよいし、年代に応じた重み付けを行った上で、総和または平均値によりトータル感性値を算出してもよい。

複数の対象者の感性値が要求されている場合は全員の対象者の感性値の算出が終わるまで、上記Ｓ２０６、Ｓ２０９が繰り返される（Ｓ２１２）。

続いて、全員の感性値算出が終了すると（Ｓ２１２において「Ｙｅｓ」）、ステップＳ２１５において、個人信用情報提供サーバ４の結果生成部４０ｃは、感性値を信用力とみなして、対象者をソートし、信用力のランキング画面を生成する。この際、結果生成部４０ｃは、対象者のトータル信用力に基づいたランキング画面を生成する。

ここで、図１０に、信用力のランキング画面の一例を示す。図１０に示すように、ランキング画面４５では、調査対象者が個人のトータル信用力に基づいた順で表示される。具体的には、ランキング画面４５は、例えば対象者情報欄４６ａ、４６ｂ、４６ｃを含み、対象者情報欄４６ａ、４６ｂ、４６ｃが信用力の高い順に並べられている。対象者情報欄４６ａ、４６ｂ、４６ｃは、それぞれ、対象者の氏名と、信用力に応じたランク付けを示す星表示が含まれる。

また、対象者情報欄４６ａ、４６ｂ、４６ｃには、ランキングの根拠となる信用力の数値（すなわち感性値）が表示されていてもよい。また、例えば対象者情報欄４６ｃに含まれる矢印４６１を選択すると、対象者△△△△のオブジェクト属性毎の信用力情報が表示される。オブジェクト属性毎の信用力情報の表示については、図１１〜図１３を参照して後述する。また、例えば対象者情報欄４６ｃに含まれる対象者の氏名４６２を選択すると、対象者△△△△の年代毎の信用力情報が表示される。年代毎の信用力情報の表示については、図１４〜図１５を参照して後述する。

そして、図９に戻り、ステップＳ２１８において、表示制御部４０ｄは、結果生成部４０ｃにより生成された結果（ランキング画面）を、要求元の利用者端末に表示するよう制御する。

［オブジェクト属性毎の信用力情報表示］
図１１は、第１の応用例によるオブジェクト属性毎の信用力情報の表示処理を示すフローチャートである。図１１に示すように、まず、ステップＳ２２３において、個人信用情報提供サーバ４は、対象者のオブジェクトＩＤに基づいて、感性サーバ２に対して感性値を要求する。

次に、ステップＳ２２６において、感性サーバ２の関連オブジェクト検索部２０ｄは、対象者のオブジェクトＩＤに紐付けられた関連商品のオブジェクトＩＤ（関連オブジェクトＩＤ）を取得する。ここで、対象者のオブジェクトＩＤに紐付けられた関連商品とは、対象者との間にインタラクションが生じた他のオブジェクト（関連オブジェクトとも称す）を示す。また、関連オブジェクト検索部２０ｄは、利用者に指定された検索条件に含まれるオブジェクト属性に基づいて、対象者との間にインタラクションが生じた他のオブジェクトのうち、指定されたオブジェクト属性（すなわちオブジェクト種類）に合致するものを検索してもよい。

次いで、ステップＳ２２９において、感性サーバ２の感性値算出部２０ｅは、関連オブジェクトＩＤに対応付けられたインタラクション評価値を感性情報ＤＢ２４から取得する。

次に、ステップＳ２３１において、感性値算出部２０ｅは、関連商品のインタラクション評価値に基づいて、関連商品の感性値を算出する。ここで算出される感性値は、対象者と関連商品との間の相対的感性値である。以下、図１２を参照して関連商品の感性値の算出の一例について説明する。

図１２は、第１の応用例による対象者の家に対する相対的感性値の算出について説明する図である。図１２に示すように、まず、感性情報ＤＢ２４から、対象者（オブジェクトＩＤ：18000555）が家（オブジェクトＩＤ：11401）に対して行ったインタラクション情報だけが抽出される。そして、感性値算出部２０ｅは、図１２に示すように、抽出したインタラクション情報に基づいて、初期評価値を径年で割ったものに所定の重み係数を掛けたものと、各メンテナンス（手入れ）の評価値を各メンテナンス間隔で割ってそれぞれ所定の重み係数を掛けたものの合計との総和により、対象者と家の相対的感性値を算出する。

次いで、図１１に戻り、関連商品が複数ある場合は全ての関連商品の感性値の算出が終わるまで、上記Ｓ２２９、Ｓ２３１が繰り返される（Ｓ２３４）。

続いて、全ての関連商品の感性値算出が終了すると（Ｓ２３４において「Ｙｅｓ」）、ステップＳ２３７において、個人信用情報提供サーバ４の結果生成部４０ｃは、感性値要求部４０ｂにより感性サーバ２から取得した関連商品の相対的感性値を信用力とみなして、オブジェクト属性毎の信用力情報の表示画面を生成する。そして、表示制御部４０ｄは、生成されたオブジェクト属性毎の信用力情報の表示画面を要求元の利用者端末で表示するよう制御する。

ここで、図１３に、オブジェクト属性毎の信用力情報の表示画面の一例を示す。図１３に示すオブジェクト属性毎の信用力情報表示画面４７は、図１０に示すランキング画面４５の対象者情報欄４６ｃに含まれる矢印４６１を選択した際に遷移する画面であって、対象者△△△△と他のオブジェクトとのインタラクション評価値に基づく相対的感性値が信用力として表示される。

図１３に示すように、例えば家属性に対する信用力情報表示画面４７ａの他、自動車属性に対する信用力情報表示画面４７ｂや、カメラ属性に対する信用力情報表示画面４７ｃが表示され得る。また、信用力は、グラフ化等されていてもよく、信用力に応じたアドバイスも表示される。これにより、例えばホームステイ先やルームシェア、カーシェアリングを行う相手を探す場合等に、相手のトータル信用力の他、個別に、どのような属性のモノに対する信用力（モノの扱い方）がどの程度であるかを知ることができる。

［信用力年代表示］
図１４は、信用力の年代表示処理を示すフローチャートである。図１４に示すように、まず、ステップＳ２４３において、個人信用情報提供サーバ４は、対象者のオブジェクトＩＤに基づいて、感性サーバ２に対して感性値を要求する。

次に、ステップＳ２４６において、感性サーバ２の関連オブジェクト検索部２０ｄは、対象者のオブジェクトＩＤに紐付けられた関連商品のオブジェクトＩＤ（関連オブジェクトＩＤ）を取得する。ここで、対象者のオブジェクトＩＤに紐付けられた関連商品とは、対象者との間にインタラクションが生じた他のオブジェクト（関連オブジェクトとも称す）を示す。

次いで、ステップＳ２４９において、感性値算出部２０ｅは、一つの関連オブジェクトＩＤについて、対象者からのインタラクションを年代別に分け、対象者の年代毎の評価値を取得する。

次に、ステップＳ２５１において、感性値算出部２０ｅは、評価値に基づいて対象者と関連オブジェクト間の年代別の感性値の算出を行う。この際、感性値算出部２０ｅは、年代別のインタラクション評価値の総和、平均値、重み付けを行った上での総和／平均値等により、年代毎の評価値を取得してもよい。

続いて、ステップＳ２５４において、感性値算出部２０ｅは、対象者の各年代の感性値を加算し、トータル感性値を取得する。

次に、関連商品が複数ある場合は全ての関連商品の感性値の算出が終わるまで、上記Ｓ２４９、Ｓ２５１が繰り返される（Ｓ２５７）。

そして、全ての関連商品の感性値算出が終了すると（Ｓ２５７において「Ｙｅｓ」）、ステップＳ２６０において、個人信用情報提供サーバ４の結果生成部４０ｃは、感性値要求部４０ｂにより感性サーバ２から取得した感性値を信用力とみなして、対象者の年代別の信用力情報の表示画面を生成する。そして、表示制御部４０ｄは、生成された対象者の年代別の信用力情報の表示画面を要求元の利用者端末で表示するよう制御する。

ここで、図１５に、対象者の年代別の信用力情報の表示画面の一例を示す。図１５左に示す信用力情報表示画面４８は、図１０に示すランキング画面４５の対象者情報欄４６ｃに含まれる対象者の氏名４６２を選択した際に遷移する画面であって、対象者△△△△の現在の信用力が表示される。また、信用力情報表示画面４８の年表表示ボタン４８１が選択されると、画面は、図１５右に示す年代別信用力情報表示画面４９に遷移する。年代別信用力情報表示画面４９では、対象者の年代毎の全てのモノに対する信用力（年代別トータル信用力）が表示される。なお、年代別信用力情報表示画面４９では、図１５に示すような、年代毎の全てのモノに対する信用力に限定されず、オブジェクト属性毎の年代別の信用力を表示してもよい。

以上、第１の応用例による個人信用情報提供システム１０１について説明した。なお、図１０では、人の信用力ランキングが表示されているが、本応用例はこれに限定されず、例えば人とモノが混在した信用力ランキングが表示されてもよい。例えば、ヘルパー先を探す場合に、調査対象を「ヘルパー」に指定すると、人とモノ（ロボット）が一緒にランキング表示され得る。

＜３−２．オークションシステム＞
次に、第２の応用例として、感性値を、出品者の信頼度や、出品商品に込められた思い、扱われた方の丁寧さ等を示すものとみなしてオークションシステム１０２で利用する場合について、図１６〜図２６を参照して説明する。

一般的に、オークションではあるユーザが使っていた物を出品するため、そのユーザと物の関係性から算出されたモノに宿る感性価値に基づいて価格が決まることが利用者にとって好ましい。また、本実施形態による感性価値は、出品したユーザ（出品者）の信頼度の基準として用いることも可能である。本実施形態では、上述したように、感性価値を「感性値」という値に変換して利用することが可能である。また、出品者の信頼度や扱いの丁寧さは、出品したモノ以外のモノとの間のインタラクション評価値に基づく感性値を参照することで、日常的にモノを大事にする人なのか、それともいつも乱雑に扱う人なのかが判断できる。

図１６は、第２の応用例によるオークションシステム１０２の全体構成を説明する図である。図１６に示すように、オークションシステム１０２は、オークションサーバ５と、感性サーバ２とを含む。

感性サーバ２は、オークションシステム１０２の会員であるユーザObj.A、ユーザObj.Aが常日頃インタラクションを行っている家Obj.B、車Obj.C、カメラObj.Dからインタラクション情報を取得する。

また、図１６に示すユーザObj.Aと利用者は、オークションシステム１０２に会員登録する際、それぞれ固有のＩＤと対応付けて登録される。また、ユーザObj.Aは、オークションシステム１０２に商品を出品するとき、当該商品固有のオブジェクトＩＤをオークションサーバ５に送信する。オークションサーバ５は、出品されたオブジェクトのオブジェクトＩＤを元に、当該オブジェクトの感性値を感性サーバ２に要求する。この際、オークションサーバ５は、当該オブジェクトの出品者であるユーザObj.Aの感性値も併せて感性サーバ２に要求する。また、当該オブジェクトが特定の型番や商品名をもつ商品の場合、同じ型番や商品名を有する他の出品商品の情報をオークションサーバ５の商品・ユーザ情報ＤＢ５２（図１７参照）から取得し、取得した商品のオブジェクトＩＤを元に、感性サーバ２に感性値を要求してもよい。

このようなオークションサーバ５による感性サーバ２への感性値の取得は、新たな商品が出品された場合に行ってもよいし、オークションサービスの利用者が、購入する商品を検討する際に、オークションサーバ５に対して商品を指定した場合に行われてもよい。

そして、オークションサーバ５は、取得した感性値に基づいて、感性値をその商品の信用力（丁寧さ、大事に扱われていたか、思い入れ等）とみなし、感性値順にソートすすることで、より丁寧に扱われてきた商品や利用者の思い入れが入った商品を上位に表示することができる。

以上、第２の応用例によるオークションシステム１０２の概要について説明した。

（３−２−１．構成）
次に、オークションシステム１０２に含まれるオークションサーバ５の構成について図１７を参照して説明する。

図１７は、本実施形態によるオークションサーバ５の構成の一例を示すブロック図である。図１７に示すように、オークションサーバ５は、制御部５０、通信部５１、および商品・ユーザ情報ＤＢ５２を有する。

（通信部）
通信部５１は、ネットワークを介して利用者の端末（不図示）と接続し、利用者からの要求を受信したり、要求に応じて出品商品や出品者の感性値を利用者に送信したりする。また、通信部５１は、ネットワークを介して感性サーバ２と接続し、対象オブジェクトの感性値や、関連オブジェクトの感性値を取得する。

（制御部）
制御部５０は、オークションサーバ５の各構成を制御する。また、制御部５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部５０は、関連商品検索部５０ａ、感性値要求部５０ｂ、結果生成部５０ｃ、表示制御部５０ｄ、およびオブジェクト管理部５０ｅとして機能する。

関連商品検索部５０ａは、調査対象商品に関連する商品を商品・ユーザ情報ＤＢ５２から検索する。調査対象商品に関連する商品とは、例えば調査対象商品と同じ型番、名称の商品である。

感性値要求部５０ｂは、調査対象商品の感性値を感性サーバ２に要求する。具体的には、感性値要求部５０ｂは、調査対象商品のオブジェクトＩＤと、関連商品がある場合は関連商品のオブジェクトＩＤと、調査対象商品の出品者のオブジェクトＩＤを、通信部５１を介して感性サーバ２に送信する。

結果生成部５０ｃは、感性値要求部５０ｂにより感性サーバ２から取得した調査対象商品等の感性値に基づいて、調査対象商品等の感性値調査の結果を生成する。具体的には、例えば結果生成部５０ｃは、調査対象商品の感性値を示す結果画面を生成する。

表示制御部５０ｄは、結果生成部５０ｃにより生成された結果画面を利用者端末に表示するよう制御する。例えば、表示制御部５０ｄは、結果画面を表示するための情報を、通信部５１を介して利用者端末に送信するよう制御する。

オブジェクト管理部５０ｅは、商品・ユーザ情報ＤＢ４２に記憶されている商品・ユーザ（オブジェクトの一例）に関する情報の登録、変更、削除等の管理を行う。

（商品・ユーザ情報ＤＢ）
商品・ユーザ情報ＤＢ５２は、商品・ユーザに関する情報を記憶する記憶部である。ユーザとは、例えばオークションシステム１０２に会員登録されたユーザである。また、商品・ユーザ情報には、各商品・ユーザのそれぞれのオブジェクトＩＤが含まれる。

ここで、商品・ユーザ情報ＤＢ５２に記憶されている出品商品情報のデータ例を図１８に示す。図１８に示すように、商品・ユーザ情報ＤＢ５２には、各出品商品を識別する出品ＩＤ、種別ＩＤ、商品のオブジェクトＩＤ、出品者のオブジェクトＩＤ、出品日時、オークション終了日時、現在価格、入札リスト、および商品説明が対応付けて記憶されている。

以上、本応用例によるオークションサーバ５の構成について説明した。なおオークションシステム１０２に含まれる感性サーバ２の構成は、図３を参照して説明したため、ここでの説明は省略する。

［データ構成例］
次に、オークションシステム１０２で利用する感性値を算出するために用いられる感性サーバ２の感性情報ＤＢ２４のデータ例について、図１９を参照して説明する。なお、本応用例において用いられるオブジェクトＤＢ２２のデータ例は、図７に示す例と同様のため、ここでの説明は省略する。

図１９は、第２の応用例による感性サーバ２の感性情報ＤＢ２４のデータ例を示す図である。感性情報ＤＢ２４には、オブジェクト間で発生したインタラクションに関する情報が格納されている。図１９に示すデータ例では、インタラクションが生じたオブジェクトのオブジェクトＩＤ、インタラクションの日時・期間、関連オブジェクトＩＤ、インタラクション種類、インタラクションの詳細、インタラクション評価値が対応付けて記憶されている。

オブジェクト間でインタラクションが生じた際、双方のオブジェクトでそれぞれインタラクションが抽出され、評価部２０ｂによりそれぞれ評価される。図１９に示す例では、このような双方のオブジェクトでそれぞれ抽出されたインタラクション評価値が同じ値になっているが、本応用例はこれに限定されず、異なる評価値であってもよい。例えばデジタルカメラ（オブジェクトＩＤ：384）に対して、ユーザ（オブジェクトＩＤ：1930213）が行った「操作」というインタラクションが抽出された場合に、操作を行ったユーザはカメラを大事にしていて丁寧に操作したプラスの評価が行われ、一方カメラ側では操作が強引であったり、置くときに乱暴に置かれているなどマイナスの評価が行われ、インタラクションの方向によって異なる評価が生じ得る。

また、各インタラクションの抽出と評価の一例は次の通りである。

例えば、運転のインタラクションは、アクセルペダル、ブレーキペダル、ハンドルに搭載されたセンサによって検知されたセンシングデータに基づいて、運転の丁寧さ、荒さといったインタラクションの詳細が分析される。また、運転インタラクションの評価値は、アクセル、ブレーキ、ハンドル操作それぞれの入力値を評価関数に入れて-1.0〜1.0の範囲になるように求められる。

また、カメラ等の操作のインタラクションは、カメラのシャッターボタンを押しこむ力、ダイヤル類を回す速さ／行き過ぎて戻る回数、カメラを置くときの衝撃、鞄などに入っている場合に本体が受ける衝撃をセンサで検知する。評価部２０ｂは、当該センサで検知されたセンシングデータに基づいて各値に重み付けを行い、評価値を算出する。また、評価部２０ｂは、算出した値を-1.0〜1.0の範囲に正規化する。

また、カメラ等の保管のインタラクションは、保管する場所の温度、湿度、埃っぽさ（ダストセンサーで検知可能）をセンシングすることで抽出され、評価部２０ｂは、保管期間中のこれらの値の変化量に基づいて、カメラ等にとっての保管状態の良し悪しを数値化する。また、各パラメータに重み付けを行って評価値を算出してもよい。評価部２０ｂは、算出した値を-1.0〜1.0の範囲に正規化する。

（３−２−２．表示処理）
続いて、オークションシステム１０２の表示処理について図２０〜図２６を参照して説明する。

［リスト表示］
図２０は、第２の応用例による出品商品の感性値に応じたリスト表示処理を示すフローチャートである。図２０に示すように、まず、ステップＳ３０３において、利用者により調査対象の出品商品が指定される。

次に、ステップＳ３０６において、オークションサーバ５の感性値要求部５０ｂは、商品・ユーザ情報ＤＢ５２から、利用者に指定された商品を検索する。また、この際、関連商品検索部５０ａにより、検索された当該商品の情報に関連する商品（同じ型番や名称の他の出品商品）も併せて検索してもよい。

次いで、ステップＳ３０９において、感性値要求部５０ｂは、各商品のオブジェクトＩＤに基づいて、感性サーバ２に対して対象商品の感性値を要求する。

次に、ステップＳ３１２において、感性サーバ２の感性値算出部２０ｅは、指定された商品のオブジェクトＩＤに対応付けられたインタラクション評価値に基づいて、感性値を算出する。

複数の商品の感性値が要求された場合は全ての商品の感性値の算出が終わるまで、上記Ｓ３０９、Ｓ３１２が繰り返される（Ｓ３１５）。

続いて、全ての感性値算出が終了すると（Ｓ３１５において「Ｙｅｓ」）、ステップＳ３１８において、オークションサーバ５の結果生成部５０ｃは、感性値順に商品をソートし、感性値に応じた出品商品のランキング画面を生成する。この際、結果生成部５０ｃは、対象商品のトータル感性値（絶対的感性値）に基づいたランキング画面を生成する。

ここで、図２１に、出品商品の感性値に応じたリスト表示画面の一例を示す。図２１に示すように、リスト表示画面５５では、調査対象商品が各商品のトータル感性値（絶対的感性値）に基づいた順で表示される。調査対象商品には、利用者が指定した出品商品の他、当該出品商品と同じ型番、名称の出品商品（関連商品）も含まれる。これにより、利用者は、指定した出品商品の他にも同じ種類の出品商品の感性値を併せて知ることができる。

リスト表示画面５５は、例えば対象商品情報欄５６ａ、５６ｂ、５６ｃを含み、対象商品情報欄５６ａ、５６ｂ、５６ｃが感性値の高い順に並べられている。対象商品情報欄５６ａ、５６ｂ、５６ｃは、それぞれ、対象商品の出品者名と、感性値に応じたランク付けを示す星表示が含まれる。また、対象商品情報欄５６ａ、５６ｂ、５６ｃには、ランキングの根拠となる感性値が表示されていてもよい。

また、例えば対象商品情報欄５６ａに含まれる矢印５６１を選択すると、出品者○○○○により出品されている商品の感性値に関する詳細情報が表示される。商品の感性値に関する詳細情報の表示については、図２２〜図２４を参照して後述する。また、例えば対象商品情報欄４６ｃに含まれる出品者の氏名５６２を選択すると、出品者△△△△の感性値に関する詳細情報が表示される。出品者の感性値に関する詳細情報の表示については、図２５〜図２６を参照して後述する。

そして、図２０に戻り、ステップＳ３２１において、表示制御部５０ｄは、結果生成部５０ｃにより生成された結果（リスト表示画面）を、要求元の利用者端末に表示するよう制御する。

［出品商品の感性値に関する詳細情報表示］
図２２は、第２の応用例による出品商品の感性値に関する詳細情報の表示処理を示すフローチャートである。図２２に示すように、まず、ステップＳ３３３において、個人信用情報提供サーバ４は、出品ＩＤから出品商品のオブジェクトＩＤを取得し、感性サーバ２に対して出品商品の感性値を要求する。

次に、ステップＳ３３６において、感性サーバ２の感性値算出部２０ｅは、オブジェクトＤＢ２２から、商品のオブジェクトＩＤに対応するオブジェクトの詳細内容（商品種類、メーカー、製造日時等）を取得する。

次いで、ステップＳ３３９において、感性値算出部２０ｅは、感性情報ＤＢ２４から、商品のオブジェクトＩＤでフィルタをかけて、対象商品の全てのインタラクション評価値を取得する（図２３参照）。

次に、ステップＳ３４１において、感性値算出部２０ｅは、取得した対象商品の全てのインタラクション評価値を、関連オブジェクトＩＤ毎に分類する。ここで、関連オブジェクトＩＤとは、対象商品に対してインタラクションを行ったオブジェクトであって、通常は対象商品の所有者が該当する。

次いで、ステップＳ３４４において、感性値算出部２０ｅは、一の関連オブジェクトＩＤを選択する。

次に、ステップＳ３４７において、選択した関連オブジェクトＩＤと、対象商品との相対的感性値を算出する。すなわち、感性値算出部２０ｅは、上記Ｓ３４１で関連オブジェクトＩＤ毎に分類した評価値のうち、上記Ｓ３４４で選択した関連オブジェクトＩＤとのインタラクション評価値を算出する。

次いで、対象商品に対応する（インタラクション関係のある）全ての関連オブジェクトＩＤの相対的感性値の算出が終わるまで、上記Ｓ３４４、Ｓ３４７が繰り返される（Ｓ３５１）。

次いで、ステップＳ３５２において、感性値算出部２０ｅは、上記Ｓ３３９で取得した、対象商品の全てのインタラクション評価値に基づいて、対象商品の絶対的感性値を算出する。以下、図２３を参照して出品商品の相対的／絶対的感性値の算出の一例について説明する。

図２３は、第２の応用例による出品商品の相対的／絶対的感性値の算出について説明する図である。図２３に示すように、まず、感性情報ＤＢ２４から、出品商品（オブジェクトＩＤ：384）でフィルタをかけて、出品商品に関する全てのインタラクション情報を取得する。

そして、感性値算出部２０ｅは、取得したインタラクション情報に基づいて、商品の絶対的感性値と関連オブジェクトＩＤ（オブジェクトＩＤ：1930213、4649、5963084）毎の感性値（相対的感性値）を算出する。関連オブジェクトＩＤは、商品の歴代の所有者（オーナー）のオブジェクトＩＤである。

商品の絶対的感性値は、その商品の今までのインタラクション履歴に基づく感性値の総数である。具体的には、図２３に示すように、例えばインタラクション種類毎の平均値にインタラクション種類（操作、保管）に応じた重みａを掛けたものの総和により、商品の絶対的感性値が算出される。

また、商品の相対的感性値は、その商品の歴代の所有者毎のインタラクション履歴に基づく感性値である。図２３には、一例として、オブジェクトＩＤ：5963084（一の所有者）とデジタルカメラ（オブジェクトＩＤ：384）との相対的感性値の算出式を示す。図２３に示すように、関連オブジェクトＩＤ：5963084とのインタラクション履歴（図２３に示すデータ例のうち３行目および４行目）を用いて、インタラクション種類毎の平均値にインタラクション種類（操作、保管）に応じた重みａを掛けたものの総和により、商品と関連オブジェクトＩＤの相対的感性値が算出される。

次いで、図２２に戻り、ステップＳ３５４において、オークションサーバ５の結果生成部５０ｃは、感性値要求部５０ｂにより感性サーバ２から取得した商品の感性値に関する詳細情報として、関連オブジェクトＩＤが関係していた年代毎の相対的感性値と主なインタラクション内容、および商品の絶対的感性値（トータル感性値）を表示する画面を生成する。そして、表示制御部５０ｄは、生成された詳細情報表示画面を要求元の利用者端末で表示するよう制御する。

ここで、図２４に、出品商品の感性値に関する詳細情報表示画面の一例を示す。図２４に示す出品商品の詳細情報表示画面５７は、図２１に示すリスト表示画面５５の対象商品情報欄５６ａに含まれる矢印５６１を選択した際に遷移する画面であって、出品者○○○○により出品された商品の感性値に関する詳細情報が表示される。

図２４に示す詳細情報表示画面５７では、出品者○○○○により出品された商品の歴代オーナー毎の相対的感性値（0.92、−0.56、0.80）が時系列で示され、また、併せて当該商品のトータル感性値（絶対的感性値）が表示される。これにより、利用者は、これまで商品がどのように扱われていたか、どのような思いが込められているかを把握することができる。このように、商品の新たな価値として、今までの扱われ方等に基づく感性価値を客観的に示す感性値が明示される。

［出品者の感性値に関する詳細情報表示］
図２５は、出品者の感性値に関する詳細情報の表示処理を示すフローチャートである。図２５に示すように、まず、ステップＳ３６３において、個人信用情報提供サーバ４は、出品ＩＤから出品者のオブジェクトＩＤを取得し、感性サーバ２に対して出品者の感性値を要求する。

次に、ステップＳ３６６において、感性サーバ２の感性値算出部２０ｅは、オブジェクトＤＢ２２から、出品者のオブジェクトＩＤに対応するオブジェクトの詳細内容（氏名、性別、年齢等）を取得する。

次いで、ステップＳ３６９において、感性値算出部２０ｅは、感性情報ＤＢ２４から、出品者のオブジェクトＩＤでフィルタをかけて、出品者の全てのインタラクション評価値（今までのインタラクション情報履歴）を取得する。

次に、ステップＳ３７１において、感性値算出部２０ｅは、取得した出品者の全てのインタラクション評価値を、関連オブジェクトＩＤ毎に分類する。ここで、関連オブジェクトＩＤとは、対象者との間にインタラクション関係があるオブジェクトであって、通常は出品者の所有物品や、出品者が出品している他の出品商品が該当する。

続いて、ステップＳ３７４において、感性値算出部２０ｅは、関連オブジェクト毎に感性値（相対的感性値）を算出し、また、その合計値（絶対的感性値）を算出し、オークションサーバ５に送信する。オークションサーバ５の結果生成部５０ｃは、感性値要求部５０ｂにより感性サーバ２から取得した出品者の感性値に関する詳細情報として、関連オブジェクトＩＤ毎の相対的感性値と主なインタラクション内容、および出品者の絶対的感性値（トータル感性値）を表示する画面を生成する。そして、表示制御部５０ｄは、生成された詳細情報表示画面を要求元の利用者端末で表示するよう制御する。なお、出品者のトータル感性値（絶対的感性値）は、関連オブジェクト毎の感性値（相対的感性値）の総和であってもよいし、平均値であってもよいし、また、インタラクション種類毎に重み付けを行った上で評価値を合算、平均して算出されてもよい。

ここで、図２６に、出品者の感性値に関する詳細情報表示画面の一例を示す。図２６に示す出品者の詳細情報表示画面５８は、図２１に示すリスト表示画面５５の対象商品情報欄４６ｃに含まれる出品者の氏名５６２を選択した際に遷移する画面であって、出品者△△△△の感性値に関する詳細情報が表示される。

図２６に示す詳細情報表示画面５８では、出品者△△△△の各商品に対する相対的感性値（-0.32、0.12、−0.3）が示され、また、併せて出品者のトータル感性値（絶対的感性値）が表示される。これにより、利用者は、出品者の信頼度や扱いの丁寧さについて、出品商品以外のモノとの感性値を見ることで、日常的にモノを大事にする人なのか、若しくは普段から乱雑な扱いをする人なのかを判断することができる。出品商品の落札前に、出品者の感性値を見て人間性を知ることができる。

なお、詳細情報表示画面５８には、出品者の情報として、出品者により公開可能に設定されている他の情報（年齢、性別等）が表示されてもよい。

以上、第２の応用例によるオークションシステム１０２について説明した。

＜３−３．環境調整システム＞
次に、第３の応用例として、感性値を、移動するユーザの周囲環境を局所的に調整する環境調整システム１０３で利用する場合について、図２７〜図３４を参照して説明する。

図２７は、第３の応用例による環境調整システム１０３の全体構成を説明する図である。図２７に示すように、環境調整システム１０３は、ユーザに追従してユーザの周辺環境を変化させる移動体６と、移動体６を制御する環境調整サーバ７とを含む。環境調整サーバ７は、アクセスポイント等を介して移動体６と通信し、移動体６の移動制御等を行う。移動体６は、図２７に示すように、複数の移動体６ａ〜６ｃであってもよく、それぞれ屋外等に設置された各ベースステーションを基点として移動することができる。

環境調整サーバ７は、ネットワーク３を介して、感性サーバ２やヒートマップサーバ７５と接続し、移動体６の移動制御を行う際に必要な情報を取得する。例えば環境調整サーバ７は、ユーザの感性値を感性サーバ２から取得し、感性値に応じて環境調整制御を行うことができる。

また、環境調整サーバ７は、移動体６をユーザに追従させ、ユーザの感情に応じて周囲の環境を局所的に変化させることで、ユーザにより快適な環境を提供することができる。

移動体６は、図２７に示すような小型の飛行型ドローンにより実現され、移動するユーザに追従して飛行することができる。図２８は、本応用例の移動体６による環境調整の一例を説明する図である。図２８に示すように、例えば移動体６は、移動するユーザの上方に位置しながら追従飛行して、雨傘や日傘として機能し、雨や直射日光がユーザに当たらないようにすることで、局所的に周辺環境を変化させることができる。また、移動体６は、必要に応じてカバー範囲を広げることもできる。例えば、図２８に示すように、移動体６の中心から円状に板状部材６５１を広げることで、カバー範囲を広げることができる。

なお移動体６は、図２７に示す飛行物体に限定されず、例えば地上を移動してユーザを追従するロボット型の移動体や、水上移動体であってもよい。

以上、本開示による環境調整システム１０３の概要について説明した。

（３−３−１．構成）
次に、本応用例による環境調整システム１０３に含まれる移動体６および環境調整サーバ７の構成について順次説明する。なお、感性サーバ２の構成は、図３を参照して既に説明したので、ここでの説明は省略する。

［移動体６の構成］
図２９は、本応用例による移動体６の構成の一例を示す図である。図２９に示すように、移動体６は、通信部６１、対象物センサ６２、移動体制御部６３、環境センサ６４、および変形制御部６５を有する。

通信部６１は、環境調整サーバ７とデータの送受信を行う。例えば通信部６１は、対象物センサ６２や環境センサ６４で取得したセンサ情報を環境調整サーバ７へ送信し、また、移動制御や変形制御の指示を含む制御情報を環境調整サーバ７から受信する。

対象物センサ６２は、追従対象物に関する情報を取得する検知部である。ここで、追従対象物とは、例えば屋外を移動するユーザが該当する。また、対象物センサ６２は、例えばカメラ６２ａ、赤外線カメラ６２ｂ、無線信号受信部６２ｃ、またはマイクアレイ６２ｄを含み、ユーザに関する情報を取得する。

移動体制御部６３は、移動体６の移動を制御する機能を有する。具体的には、移動体制御部６３は、動力駆動部６３ａおよび姿勢制御部６３ｂにより構成される。動力駆動部６３ａは、例えばプロペラ、車輪、歩行脚により実現され、移動体制御部６３の制御に従って対象ユーザを追従するよう駆動する。また、姿勢制御部６３ｂは、ジャイロセンサ等により移動体６の姿勢を検知し、動力駆動部６３ａを制御して移動体６の傾きや高度を調整する。本開示による移動体制御部６３は、例えば移動体６がユーザの雨避けや日除けになるよう移動体６の飛行経路や高度を制御することで、ユーザの周囲環境を局所的に変化させることができる。

環境センサ６４は、周囲の環境に関する情報を取得する検知部である。環境センサ６４は、具体的には、例えば緯度経度測位部６４ａ、または高度センサ６４ｂにより環境情報を取得する。なお環境センサ６４の具体例はこれに限定されず、さらに必要に応じて温度センサや湿度センサ等を有していてもよい。

変形制御部６５は、雨避けや日除けのカバー範囲を拡大するよう移動体６の形状を変形させる制御を行う。

以上説明した移動体６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および不揮発性メモリを備えたマイクロコンピュータが搭載され、移動体６の各構成を制御する。

［環境調整サーバ７の構成］
図３０は、環境調整サーバ７の構成の一例を示すブロック図である。図３０に示すように、環境調整サーバ７は、通信部７１、制御部７０、およびユーザＤＢ７２を有する。

通信部７１は、外部装置とデータの送受信を行う。具体的には、例えば通信部７１は、移動体６から対象物情報や環境情報を受信し、また、移動体６の移動を制御するための制御情報を移動体６に送信する。また、通信部７１は、ネットワーク３を介して、感性サーバ２やヒートマップサーバ７５から所定のデータを取得する。

制御部７０は、環境調整サーバ７の各構成を制御する。具体的には、制御部７０は、移動体６を対象ユーザに追従させ、ユーザの感情に応じて対象ユーザの周辺環境を変化させるよう制御する。また、制御部７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。

ここで、制御部７０は、ユーザ設定管理部７０ａ、対象物検出部７０ｂ、感情推定部７０ｃ、環境情報取得部７０ｄ、ヒートマップ生成／取得部７０ｅ、感性値算出部７０ｆ、および移動体制御部７０ｇとして機能する。

ユーザ設定管理部７０ａは、本システムの利用ユーザの情報の登録、変更、削除といった管理を行う。利用ユーザの情報とは、例えばユーザ名、識別番号、顔画像、年齢、性別、趣味・嗜好、自宅住所、勤務地、行動パターン等である。

対象物検出部７０ｂは、移動体６から送信された対象物センサ情報に基づいて、移動体６の周囲に居る人物や人物が所持している物等の検出を行う。具体的には、例えば対象物検出部７０ｂは、移動体６から送信された撮像画像を解析し、ユーザＤＢ７２に登録済みの利用ユーザの顔画像と照合することで、対象ユーザを検出することができる。または、対象物検出部７０ｂは、移動体６が、ユーザに装着されたスマートバンド等の無線通信装置から受信したユーザの識別情報に基づいて、対象ユーザを検出することもできる。

感情推定部７０ｃは、対象物検出部７０ｂにより検出された対象ユーザの感情を推定する。具体的には、例えば感情推定部７０ｃは、対象ユーザの生体情報（脈拍、体温、発汗量、脳波、等）に基づいて、対象ユーザの感情を推定する。生体情報は、ユーザが装着するスマートバンドにより取得され、移動体６へ送信され、さらに移動体６から環境調整サーバ７に送信される。

また、感情推定部７０ｃは、対象ユーザの属性（性別、年齢、身長、体重、性格、職業等）や趣味・嗜好、周辺環境に基づいて、対象ユーザの感情を推定することもできる。

環境情報取得部７０ｄは、通信部７１を介して、移動体６から周辺環境に関する情報を取得する。具体的には、環境情報取得部７０ｄは、移動体６の環境センサ６４により検知されたデータ（緯度経度、高度等）を環境情報として取得する。また、環境情報取得部７０ｄは、移動体６の位置（緯度経度情報）に応じて、周囲の地形情報や建物情報等を所定のサーバから環境情報として取得してもよい。

ヒートマップ生成／取得部７０ｅは、感情推定部７０ｃの推定結果と、環境情報取得部７０ｄから出力された環境情報に基づいて、感情を地理的にマップした感情ヒートマップを生成する。より具体的には、ヒートマップ生成／取得部７０ｅは、複数のユーザの感情推定結果に基づいて、どの場所でどのような感情になった人が多いかを示す感情ヒートマップを生成する。

また、ヒートマップ生成／取得部７０ｅは、環境情報取得部７０ｄから出力された環境情報（緯度経度、高度、地形情報、建物情報等）に基づいて、対象ユーザの現在地周辺の環境ヒートマップを生成する。

このように生成されたヒートマップは、ネットワーク上のヒートマップサーバ７５に格納されてもよいし、環境調整サーバ７の記憶部（不図示）に格納されてもよい。また、ヒートマップは定期的に更新され得る。

さらに、ヒートマップ生成／取得部７０ｅは、感情ヒートマップと環境ヒートマップを統合した統合ヒートマップを生成することもできる。

感性値算出部７０ｆは、対象物検出部７０ｂにより検出された対象ユーザの、所持品や一緒に居る人物（関連オブジェクト）に対する感性値（すなわち相対的感性値）を算出する。具体的には、感性値算出部７０ｆは、対象ユーザのオブジェクトＩＤに対応付けられたインタラクション評価値を感性サーバ２から取得し、当該インタラクション評価値に基づいて対象ユーザの関連オブジェクト毎の相対的感性値を算出する。

例えば、対象ユーザが所持している時計に対して、頻繁に手入れを行ったといったインタラクションの評価や、専用ケースに保管したといったインタラクションの評価が感性サーバ２に格納されており、感性値算出部７０ｆは、このような対象ユーザのインタラクション評価を取得して感性値を算出する。感性値の算出式は特に限定しないが、例えば対象ユーザの特定オブジェクト（関連オブジェクト）に対する各インタラクションをインタラクション種類毎に分類し、インタラクション種類に応じた重み付け関数を用いて、特定オブジェクトに対する全てのインタラクションの評価を平均化してもよい。なお対象ユーザのオブジェクトＩＤは、ユーザＤＢ７２から取得し得る。

移動体制御部７０ｇは、ヒートマップ生成／取得部７０ｅから出力された統合ヒートマップに基づいて、対象ユーザが移動する経路において、環境を変化させるべきエリアを判断し、移動体６によりユーザの周辺環境を変化させるよう制御する。環境を変化させるべきエリアの判断は、例えば統合ヒートマップの値が所定の閾値より高いか否かに基づいて行う。このように、感情ヒートマップと環境ヒートマップを統合した統合ヒートマップを利用することで、対象ユーザが移動する経路において、例えば雨に濡れやすい場所を通る時は移動体６を対象ユーザに追従させて雨避けを実現することで対象ユーザの周辺環境を局所的に変化させ、対象ユーザを快適な状態にさせることができる。

また、移動体制御部７０ｇは、移動体６により対象ユーザの周辺環境を変化させる際、感性値算出部７０ｆにより取得された、対象ユーザの所持品や一緒にいる人物に対する感性値（大事に思っている度合い）に応じて、移動体６によるカバー範囲を拡大したり、対象ユーザよりも優先してカバーしたりといった制御を行うことも可能である。

以上、本応用例に含まれる各装置の構成について具体的に説明した。なお、本応用例では、環境調整サーバ７の感性値算出部７０ｆにより感性値を算出する旨を説明したが、感性値の算出は、感性サーバ２側で行われもよい。

（３−３−２．動作処理）
次に、本応用例による動作処理について、図３１、図３２を参照して説明する。

［環境調整処理］
図３１は、環境調整処理を示すフローチャートである。図３１に示すように、まず、ステップＳ４０３において、環境調整サーバ７は、対象ユーザの現在地および目的地の環境情報と、目的地到着時刻情報を取得する。

次に、ステップＳ４０６において、環境調整サーバ７の感情推定部７０ｃは、ユーザの属性、趣味・嗜好、または生体情報等を取得する。

次いで、ステップＳ４０９において、感情推定部７０ｃは、ユーザの感情を推定する。すなわち、感情推定部７０ｃは、ユーザの属性、趣味・嗜好、または生体情報等に基づいて、現在地から目的地までの経路上で、現状の環境下においてユーザがどのような感情になるかを推定することができる。例えば、ユーザが３０代の女性で、普段から日傘を持ち歩いていることが過去の行動履歴や会話、書き込みなどから抽出され、また、購買履歴から日焼け止めや日傘を購入していることが抽出されると、当該女性は紫外線や直射日光、日焼けに対して恐れの感情（不快な感情）を抱いていることが推定される。

続いて、ステップＳ４１２において、環境調整サーバ７の制御部７０は、推定結果に基づいて、環境変化が必要か否かを判断する。具体的には、例えば制御部７０は、ユーザが紫外線や直射日光、日焼けに対して恐れの感情（不快な感情）を抱いている場合に、現在地や目的地の天候が快晴であって、直射日光が当たる環境である場合、環境変化が必要と判断する。

次に、環境変化が必要な場合（Ｓ４１２において「Ｙｅｓ」）、ステップＳ４１５において、移動体制御部７０ｇは、対象ユーザの周辺環境を変化させるよう移動体６の制御を行う。具体的には、移動体制御部７０ｇは、移動体６を対象ユーザに追従させ、対象ユーザ周辺の環境を変化させるよう、雨避け、日除けとなる位置で飛行させる。

次に、ステップＳ４１８において、環境調整サーバ７は、ユーザが目的地に着いたか否かを判断する。目的地に着いた場合、環境調整動作が終了するので、例えば移動体制御部７０ｇは、移動体６を所定のベースステーションに戻すよう制御する。

そして、ユーザが目的地に着いていない場合（Ｓ４１８において「Ｎｏ」）、ステップＳ４２１において、環境調整サーバ７は、対象物検出部７０ｂおよび環境情報取得部７０ｄにより、ユーザの現在位置情報、および現在地の環境情報を取得し、上記Ｓ４１５を繰り返す。

［カバー範囲変更処理］
次に、移動体６のカバー範囲の変更処理について図３２を参照して説明する。本応用例では、対象ユーザの感性値に基づいて、カバー範囲を変更することが可能である。これにより、日頃から対象ユーザが大切にしている物を優先してカバーしたり、対象ユーザにとって大事な人もカバーしたり等、対象ユーザの気持ちに応じた環境調整を行うことが可能となる。

図３２は、範囲変更処理を示すフローチャートである。図３２に示すように、まず、ステップＳ４３３において、環境調整サーバ７の感性値算出部７０ｆは、対象ユーザのオブジェクトＩＤを決定する。

次に、ステップＳ４３６において、移動体６の周囲情報を、対象物センサ６２、環境センサ６４によりセンシングし、対象ユーザの情報と周辺環境の情報を取得する。

次いで、ステップＳ４３９において、決定した対象ユーザが検出できるまで上記Ｓ４３６を繰り返す。

続いて、対象ユーザが検出できた場合（Ｓ４３９において「Ｙｅｓ」）、ステップＳ４４２において、対象物検出部７０ｂは、対象ユーザと共に移動している他の物体（ベビーカーや、荷物等）または対象ユーザと共に移動している人物を検出する。

次いで、ステップＳ４４５において、感性値算出部７０ｆは、検出された他の物体や人物のオブジェクトＩＤを取得する。これらのオブジェクトＩＤ（関連オブジェクトＩＤとも称す）は、予めユーザＤＢ７２に登録されていてもよいし、移動体６のカメラ６２ａで取得した撮像画像の解析結果に基づいて感性サーバ２に問い合わせを行い、関連オブジェクト検索部２０ｄによりオブジェクトＤＢ２２から検索されたものであってもよい。

続いて、ステップＳ４４８において、感性値算出部７０ｆは、対象ユーザのオブジェクトＩＤと、対象ユーザと共に移動している他の物体や人物のオブジェクトＩＤを指定し、対象ユーザと他の物体や人物間のインタラクション評価値を、感性サーバ２から取得する。インタラクション評価値は、例えば対象ユーザから他の人物に対する会話、メール、若しくは対象ユーザから物体に対する保管、メンテナンス、着用、鑑賞等の行為の評価値が、−１．０〜１．０で正規化されたものである。ここで、感性値算出に用いられる具体的なインタラクション評価のデータ例について、図３３、図３４を参照して説明する。

図３３は、本応用例によるインタラクション評価のデータ例を示す図である。図３３は、移動体６が例えば雨傘として機能する際に用いられるインタラクション評価の一例である。状況としては、対象ユーザ（オブジェクトID: 70007）が、職場の同僚（オブジェクトID: 70008）と外で昼食を終えた後、職場に戻ろうとすると雨が降っている場合を想定する。この際、移動体６で、対象ユーザに加えて、職場の同僚も雨から逃れるようにカバーして飛行するかどうか（カバーする場合はどの程度カバーするか、二人を平等にまたはどちらかを優先してカバーするか等）を決定するため、移動体制御部７０ｇは、感性サーバ２から、図３３に示すようなインタラクション評価値を取得する。

図３３に示すインタラクション評価例では、例えば会話、メール、職場外接触といったインタラクションが発生した際の当該インタラクションの評価値が含まれる。会話インタラクションの評価は、例えば音声認識による会話中のユーザの発話トーンに基づく好感度合い、音声認識と構文解析で分かる会話内容（この場合仕事以外のパーソナルな内容についても会話されたかどうか）に基づく親しみ度合い、画像解析に基づくユーザの笑顔度合い、画像認識に基づく両者が目を合わせた回数等により評価される。また、メールインタラクションの評価は、構文解析に基づくメール文面の親しさ度合い、かしこまり度合い、メールの回数等を用いて評価される。また、職場外接触インタラクションの評価は、職場内と職場外のインタラクションであるかどうかを位置情報またはその他のセンサで検出し、職場以外で共に過ごした時間、近くにいた時間、会話が行われた場合は会話インタラクション評価に基づいて、評価される。

図３３に示す例では、対象ユーザ（オブジェクトID: 70007）からみた職場の同僚（オブジェクトID: 70008）の評価は徐々に高くなっているので、好感度が高いことが推測できる。また職場の同僚（オブジェクトID: 70008）からみた対象ユーザ（オブジェクトID: 70007）も、徐々に高くはなってはいるが、対象ユーザ（オブジェクトID: 70007）からみた職場の同僚（オブジェクトID: 70008）への評価よりは低く、互いの評価が異なることが分かる。

対象ユーザ（オブジェクトID: 70007）が移動体６を呼び出した場合、感性値算出時のインタラクション種類に応じた評価の重み付けにもよるが、対象ユーザ（オブジェクトID: 70007）が職場の同僚（オブジェクトID: 70008）に対して好感を持っていることは、算出される感性値の高さから分かるため、移動体制御部７０ｇは、移動体６により対象ユーザと一緒にいる職場同僚もカバーするよう制御する。

図３４は、本応用例によるインタラクション評価の他のデータ例を示す図である。図３４は、移動体６が例えば日傘として機能する際に用いられるインタラクション評価の一例である。状況としては、対象ユーザ（オブジェクトID：8165）が、自分にとっては宝物である骨董品であって、かつ父親から譲り受けた形見の腕時計（オブジェクトID：80075）を身につけている場合に日差しが強い場合を想定する。対象ユーザにとって、この腕時計は重要なものであって、自分の身体よりも優先してカバーしてほしい（直射日光に当てたくない）という思いがある。

図３４に示すインタラクション評価例では、例えば保存、メンテナンス、着用、手入れ、鑑賞といったインタラクションが発生した際の当該インタラクションの評価値が含まれる。保存のインタラクションに関しては、保存場所の光度(暗さ度合い)、湿度、温度、これらの値の平均値と一定に保たれている度合いによって評価が決まる。この例では、専用ケースを利用しているということで、その評価は極めて高い。また、ユーザは猛暑であった夏季期間中は腕時計を専用保管ケースに入れ保管したので、その評価はさらに重み付けされ、他の保管期間も更により高い（通常は0.3であるが、１、２行目は0.5)。また、晩餐会の後は手入れをし忘れて保管した場合、保管時の評価は下がるので、保管時の手順などもその評価に影響する。また、ものによっては保管期間が長く続くことによって、愛着がないということで、その評価が下がることもあるが、この腕時計に関しては、ユーザにとって大事にされているものなので、保管時の時間的要素は影響ないとする。

また、メンテナンスの評価は、そのメンテナンス内容の予め規定された指数、かつメンテナンスを行ったプロの評価、またはその他の客観的なランキングの指数などによって評価される。例えば完全オーバーホールという内容や、今までも利用していたショップでのメンテナンスの場合、評価は高くなる。

着用の評価は、ユーザが時計を着用して出掛けるイベント（外出先等）の重要度、特別度に応じて評価される。例えば普段は行かない特別なイベントの場合、時計を着用することの評価は高くなる。一方、年に何回も行われるプレスイベントに参加した場合に時計を着用していたことの評価は低くなる。その他、着用時の光度、温度、湿度、他人との接近度合いなども評価値に影響する。

また、手入れのインタラクションは、手入れ工程に沿って、各パーツを分解して手入れされたかを映像で解析等して評価される。

鑑賞の評価は、その時計を鑑賞していた時間、そのときのユーザの顔の表情に基づいて鑑賞インタラクションが検出され、その幸福度合い、脳波によるリラックス度合いなどに応じて評価される。また、鑑賞している際のユーザのアクション、例えば友達に形見であることを明示的に伝えていることを会話の音声認識、構文解析等により検出されると、高い評価がされる。

感性値算出部７０ｆは、このようなユーザが身に着けているものとのインタラクション評価に基づいて、ユーザのモノに対する思いや、当該モノに込められた思いを感性値として算出する。そして、移動体制御部７０ｇは、ユーザが身に着けている腕時計の重要性を、感性値に基づいて判断し、移動体６により対象ユーザよりも優先して腕時計を直射日光からカバーするよう制御する。

次に、図３２に戻り、ステップＳ４５１において、感性値算出部７０ｆは、他の物体／人物に対する対象ユーザの感性値を算出する。感性値の算出式は特に限定しないが、例えば対象ユーザの特定オブジェクト（関連オブジェクト）に対する各インタラクションをインタラクション種類毎に分類し、インタラクション種類に応じた重み付け関数を用いて、特定オブジェクトに対する全てのインタラクションの評価を平均化してもよい（下記式１参照）。

また、上記式１は、人間同士のインタラクション評価値に基づいて感性値を算出する場合であって、評価値に対する時間経過の重み付け関数TW(t)を用いている。t はインタラクション時刻（または評価時刻）を指定し、インタラクションが行われた時間からどの程度経過しているかによって重み付けを行う。人間同士の関係の場合、過去のインタラクションよりも最近のインタラクションを重視するためである。

続いて、ステップＳ４５４において、移動体制御部７０ｇは、感性値算出部７０ｆにより算出された感性値に基づいて、カバー範囲の変更が必要か否かを判断する。具体的には、移動体制御部７０ｇは、対象ユーザの他の物体／人物に対する相対的感性値が閾値より高い場合、他の物体／人物も対象ユーザと共に、または対象ユーザよりも優先してカバーするよう判断する。

そして、カバー範囲の変更が必要な場合（Ｓ４５４において「Ｙｅｓ」）、ステップＳ４５７において、移動体制御部７０ｇは、カバー範囲を変更するよう移動体６に指示を行う。

以上により、本応用例では、例えば対象ユーザが大事にしている骨董品を持ち歩く際に、少しでも太陽や雨が当たらないよう移動体６によりカバーしたり、子供や親友と一緒の場合はカバー範囲を共有したりすることができる。

＜３−４．テレプレゼンスシステム＞
次に、第４の応用例として、感性値を、遠隔地の通信を制御するテレプレゼンスシステム１０４におけるプライバシーレベルの設定を行う際に利用する場合について、図３５〜図４１を参照して説明する。

図３５は、第４の応用例によるテレプレゼンスシステム１０４の全体構成を説明する図である。図３５に示すように、本応用例によるテレプレゼンスシステム１０４は、複数の空間（例えば部屋Ｒ１、Ｒ２）を結び、一方の空間の映像を他方に提供することで、遠隔地の空間にいるユーザ同士のコミュニケーションを図ることができる。具体的には、テレプレゼンスシステム１は、部屋Ｒ１に存在するユーザＡの様子を、部屋Ｒ１に設けられた高解像度カメラおよびマイクアレイで取得し、部屋Ｒ２に設けられた表示部８２ａ−２およびスピーカから出力させる。また、テレプレゼンスシステム１０４は、同様に部屋Ｒ２に存在するユーザＢの様子を部屋Ｒ２に設けられた高解像度カメラおよびマイクアレイで取得し、部屋Ｒ１に設けられた表示部８２ａ−１およびスピーカから出力させる。

このように、互いの様子が高解像度カメラで撮像され、相手側に提供されることで、遠隔地に居るユーザ同士であっても、よりリアリティのある密なコミュニケーションを取ることができる。しかしながら一方で、ユーザのプライバシーをコントロールする手段も必要となる。

本応用例によるテレプレゼンスシステム１０４では、テレプレゼンスにおけるプライバシーレベルを相手に応じて自動的に設定することで、プライバシーを適度に保つことができる。具体的には、設定されたプライバシーレベルに応じて相手側に提供する映像をマスクすることで、部屋の映像の一部を見せたくないといったユーザの要望に対して、通信をＯＦＦして一方的に切断することなく対応することができる。

本応用例では、かかるプライバシーレベルの設定に、相手の人間性や信頼度を示す所定の指標である感性値を用いる。

例えば、ユーザＢの感性値が高い場合、ユーザＢは信頼度の高い人物であると言えるため、テレプレゼンスシステム１０４はユーザＡのユーザＢに対するプライバシーレベルを低く設定し、ユーザＢに公開する映像の領域を大きくする。一方、ユーザＢの感性値が低い場合、ユーザＢは信頼度の低い人物であると言えるため、テレプレゼンスシステム１０４はユーザＡのユーザＢに対するプライバシーレベルを高く設定し、ユーザＢに公開する映像の領域を小さく、若しくは通信をＯＦＦするよう制御する。

ここで、設定されたプライバシーレベルに応じて行う相手への公開映像（ユーザＡの撮像画像）の領域の制御は、映像を所定手段でマスクすることにより実現する。映像のマスク手段としては、例えば公開映像（ユーザＡの撮像画像）に画像を重畳表示し、公開映像の少なくとも一部を隠すことで、ユーザＡのプライバシーを適度に保つことができる。本応用例では、重畳する画像に、一例として障子画像を用いる。障子は左右の移動により開閉するため、操作した人の意図が残せるデバイスでもある。すなわち、障子の場合は、蝶番部分を軸として回転する方式の扉や窓と異なり、少し開いた状態で停止させていても不安定ではなく、操作した人の意図（どの程度開けていたいか）が残る。ユーザＢは、障子画像によりどの程度隠されているか（仮想的な障子の開き具合、すなわち開度）により、ユーザＡがどの程度なら公開してもよいと思っているかを直感的に把握することができる。

プライバシーレベルは、このような障子画像の仮想的な障子開度として設定される。つまり、プライバシーレベルを低くする場合は開度を大きく、プライバシーレベルを高くする場合は開度を小さくする。また、障子画像の開度（プライバシーレベル）は、通信元と通信先とで共有されるようにしてもよい。これにより、ユーザＡは、自らのプライバシーレベルがどの程度に設定されているかを、表示部８２ａ−１に表示された障子画像の開度を見て直感的に把握することができる。

図３６は、本応用例による障子画像の表示例について説明する図である。図３６に示すように、ユーザＡが存在する部屋Ｒ１には、表示部８２ａ、カメラ８２ｂ、およびマイクアレイ８２ｃが壁面に設けられている。表示部８２ａは、表示部８２ａに部屋Ｒ２の撮像画像８２１と障子画像８２２が表示された際、実際に部屋Ｒ１の壁に障子が存在し、遠隔地の部屋Ｒ２があたかも隣に存在するかのような臨場感や一体感を実現するよう、部屋Ｒ２の壁面かつ表示部８２ａの下端が床に近接するよう配置される。また、カメラ８２ｂおよびマイクアレイ８２ｃは、一例として、表示部８２ａの上方に設置されている。

表示部８２ａには、部屋Ｒ２から送信された撮像画像８２１と、当該撮像画像８２１をマスクする障子画像８２２が表示される。障子画像８２２は、撮像画像８２１に重畳表示され、プライバシーレベルに応じて開度が調整される。

以上、本応用例によるテレプレゼンスシステム１０４の概要について説明した。なお、図３６に示す例では、プライバシーコントロール手段の一例として障子画像８２２を用いたが、本応用例はこれに限定されず、例えばカーテン、ロールカーテン、御簾、ブラインド、曇りガラス、液晶シャッター等の画像を同様に用いてもよい。プライバシーコントロール手段がカーテン画像、ロールカーテン画像、御簾画像、またはブラインド画像の場合、プライバシーレベルはその開度として設定され、曇りガラス画像または液晶シャッターの場合、プライバシーレベルはその透過度として設定される。

また、上述したテレプレゼンスシステム１０４では、部屋Ｒ１のデータ送受信が第１の通信制御装置（不図示）により制御され、部屋Ｒ２のデータ送受信が第２の通信制御装置（不図示）により制御される。第１、第２の通信制御装置は、ネットワークを介して接続し、互いにデータの送受信を行う。

（３−４−１．構成）
続いて、テレプレゼンスシステム１０４に含まれる通信制御装置の構成について図３７を参照して説明する。図３７は、第４の応用例による通信制御装置８の構成の一例を示すブロック図である。通信制御装置８は、テレプレゼンスシステム１０４で結ばれる空間におけるデータの送受信を制御する。

図３７に示すように、本実施形態による通信制御装置８は、制御部８０、通信部８１、テレプレゼンス部８２、各種センサ８３、カレンダー・時計部８５、および記憶部８７を有する。

［制御部８０］
制御部８０は、通信制御装置８の各構成を制御する。制御部８０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。具体的には、制御部８０は、相手ユーザ情報取得部８０ａ、感性値算出部８０ｂ、開度設定部８０ｃ、テレプレゼンス制御部８０ｄ、ジェスチャー検出部８０ｅ、および感情情報取得部８０ｆとして機能する。

相手ユーザ情報取得部８０ａは、通信先の相手ユーザに関する情報を取得する。

感性値算出部８０ｂは、相手ユーザのオブジェクトＩＤに基づいて、相手ユーザに対応付けられたインタラクション評価値を感性サーバ２から取得し、相手ユーザの感性値を算出する。相手ユーザのオブジェクトＩＤは、相手ユーザ情報取得部８０ａにより取得してもよいし、特定サーバに問い合わせて取得してもよいし、記憶部８７に予め登録されていてもよい。感性値算出部８０ｂは、算出した相手ユーザの感性値を開度設定部８０ｃに出力する。

開度設定部８０ｃは、相手ユーザに応じたプライバシーレベルを開度として設定する。具体的には、開度設定部８０ｃは、感性値算出部８０ｂにより算出された感性値に応じて、相手ユーザが信頼できる人物である程プライバシーレベルを低く、すなわち仮想的な障子の開度を大きく設定する。

テレプレゼンス制御部８０ｄは、テレプレゼンス部８２を制御し、対象空間と通信先空間とのテレプレゼンスを実現する。具体的には、テレプレゼンス制御部８０ｄは、テレプレゼンス部８２のカメラ８２ｂで撮像した撮像画像、およびマイクアレイ８２ｃで収音した音声を通信部８１から通信先の通信制御装置に送信するよう制御する。この際、テレプレゼンス制御部８０ｄは、開度設定部８０ｃで設定された開度に応じて撮像画像をマスクするよう制御する。具体的には、例えばテレプレゼンス制御部８０ｄは、設定された開度に応じて障子画像を撮像画像に重畳させる加工を行い、加工した画像を通信先に送信してもよいし、設定された開度を撮像画像と共に通信先に送信してもよい。

また、テレプレゼンス制御部８０ｄは、通信先の通信制御装置から受信した撮像画像８２１を表示部８２ａに表示させ、同様に受信した音声をスピーカ８２ｄで再生させるよう制御する。なお、プライバシーレベルが通信先と共有されている場合、テレプレゼンス制御部８０ｄは、開度設定部８０ｃにより設定された開度に従って撮像画像８２１に重畳表示する障子画像８２２の位置を調整する。

ジェスチャー検出部８０ｅは、各種センサ８３に含まれる深度センサ８３ａにより取得された深度情報に基づいて、ユーザのジェスチャーを検出する。例えば障子を開ける／閉めるジェスチャーが検出される。これにより、ユーザは、障子画像８２２の開度を任意に変更することができる。

感情情報取得部８０ｆは、後述する生体センサ８３ｄにより検出される生体情報や、可視光カメラにより取得した撮像画像から検出される顔の表情、マイクロホンにより取得した音声から検出される会話内容に基づいてユーザの感情を推定し、感情情報を取得する。

［通信部８１］
通信部８１は、外部装置とデータの送受信を行う。例えば通信部８１は、通信先の通信制御装置に対して、テレプレゼンス制御部８０ｄの制御に従い、テレプレゼンス部８２のカメラ８２ｂで撮像した撮像画像や、マイクアレイ８２ｃで収音した音声、開度設定部８０ｃで設定された開度等を送信する。また、通信部８１は、通信先の通信制御装置から、通信先の空間で取得された撮像画像および音声を受信する。

また、通信部８１は、感性サーバ２に接続し、対象ユーザのオブジェクトＩＤに紐付けられたインタラクション評価値を取得する。

［各種センサ８３］
各種センサ８３は、対象空間の環境情報、対象空間に存在するユーザの行動情報、および感情情報等を取得する複数のセンサを含む。具体的には、本実施形態による各種センサ８３は、深度センサ８３ａ、人物センサ８３ｂ、行動センサ８３ｃ、生体センサ８３ｄ、位置情報取得部８３ｅ、高度センサ８３ｆ、大気汚染センサ８３ｇ、および気温・湿度センサ８３ｈ、騒音センサ８３ｉ等を含む。

［テレプレゼンス部８２］
テレプレゼンス部８２は、表示部８２ａ、カメラ８２ｂ、マイクアレイ８２ｃ、およびスピーカ８２ｄを有する。表示部８２ａは、図３６に示すように、通信先の空間の撮像画像８２１と、開度設定部８０ｃにより設定された開度に応じて重畳される障子画像８２２とを表示する。また、スピーカ８２ｄは、通信先の空間の音声を出力する。この際、スピーカ８２ｄは、開度設定部８０ｃにより設定された開度に応じた音量で出力してもよい。カメラ８２ｂは、対象空間（通信元の空間）を撮像し、撮像画像は通信先の通信制御装置に送信される。マイクアレイ８２ｃは、対象空間の音声を収音し、音声データは通信先の通信制御装置に送信される。

［カレンダー・時計部８５］
カレンダー・時計部８５は、現在の日時を取得し、取得した日時情報を制御部８０に出力する。

［記憶部］
記憶部８７は、制御部８０により実行される各種処理のプログラムや、各種処理で利用されるデータ、例えばユーザの属性情報やオブジェクトＩＤ等を記憶する。

以上、本応用例による通信制御装置８の構成について説明した。なお通信制御装置８は、上述した各構成に限定されない。例えば、通信制御装置８は、物理障子部を備え、プライバシーレベルに応じて映像をマスクする手段の一例として、表示部８２ａを覆うよう設置された物理的障子を用いてもよい。

また、感性値の算出は、通信制御装置８の感性値算出部８０ｂではなく、感性サーバ２側で行われてもよい。

また、本応用例では、テレプレゼンスで繋がる各空間を制御するそれぞれの通信制御装置８がネットワークを介して接続されるものとして説明したが、本開示によるテレプレゼンスシステムはこれに限定されず、例えば各空間の通信を１のサーバにより制御してもよい。この場合、当該サーバは、図３７に示す通信制御装置８の制御部８０に含まれる各機能構成を有する。また、テレプレゼンス部８２や各種センサ８３は、各空間にそれぞれ設けられる。

（３−４−２．動作処理）
次に、本応用例によるテレプレゼンスシステム１０４の動作処理について具体的に説明する。

［テレプレゼンス制御］
図３８は、本応用例によるテレプレゼンス制御処理を示すフローチャートである。図３８に示すように、まず、ステップＳ５０３において、通信元の通信制御装置８のテレプレゼンス制御部８０ｄは、通信先の通信制御装置との接続処理を行う。

次に、ステップＳ５０６において、通信制御装置８の開度設定部８０ｃは、障子の開度を設定する。開度の設定制御の詳細については、図３９を参照して後述する。

次いで、ステップＳ５０９において、テレプレゼンス制御部８０ｄは、通信先に送信するユーザの撮像画像（映像）および音声をカメラ８２ｂおよびマイクアレイ８２ｃにより取得し、取得した撮像画像および音声を、設定した開度に応じてマスクするよう制御する。具体的には、例えばテレプレゼンス制御部８０ｄは、設定された開度に応じて障子画像を撮像画像に重畳させる加工を行い、加工した画像を通信先に送信してもよいし、設定された開度を撮像画像と共に通信先に送信してもよい。

次に、ステップＳ５１２において、テレプレゼンス制御部８０ｄは、通信先の通信制御装置から受信した画像および音声を、設定した開度に応じてマスクした状態で、表示部８２ａおよびスピーカ８２ｄから出力するよう制御する。

そして、通信終了が指示されると（Ｓ５１５において「Ｙｅｓ」）、テレプレゼンス制御部８０ｄは通信先との通信を終了する。

［開度の設定制御］
続いて、図３８のステップＳ５０６に示す障子の開度設定について具体的に説明する。図３９は、本応用例による開度設定の動作処理を示すフローチャートである。図３９に示すように、まず、ステップＳ５２３において、通信制御装置８の開度設定部８０ｃは、障子開度を予め登録した初期状態に設定する。

次に、ステップＳ５２６において、感性値算出部８０ｂは、相手ユーザのオブジェクトＩＤを取得する。相手ユーザのオブジェクトＩＤは、相手ユーザ情報取得部８０ａにより通信先の通信制御装置から取得することが可能である。

次いで、相手ユーザのオブジェクトＩＤを取得できた場合（Ｓ５２９において「Ｙｅｓ」）、ステップＳ５３２において、感性値算出部８０ｂは、相手ユーザのオブジェクトＩＤに対応付けられたインタラクション評価値を感性サーバ２から取得する。

続いて、ステップＳ５３５において、感性値算出部８０ｂは、取得したインタラクション評価値に基づいて感性値を算出する。ここで、感性サーバ２から取得するインタラクション評価値および感性値の算出について図４０〜図４１を参照して具体的に説明する。

図４０は、本応用例によるインタラクション評価のデータ例を示す図である。図４０に示すデータ例は、感性値算出部８０ｂが感性サーバ２から取得した、指定した相手ユーザ（ここではユーザＢとする）のオブジェクトＩＤに対応付けられたインタラクション評価である。

次いで、感性値算出部８０ｂは、図４０に示す過去のインタラクション評価の蓄積データから、他のオブジェクト（関連オブジェクト）に対する、相手ユーザ（ここではユーザＢであって、オブジェクトＩＤ５５０５）からのインタラクション評価だけを抜き出し、感性値算出を行う。図４１には、このように図４０示すインタラクション評価値のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す。

図４０、図４１に示す「見られる／見る、モノを投げる／投げられる、電話をかける」といったインタラクションは、オブジェクトやオブジェクトの周囲に装着／搭載されたセンシングデバイスにより検知される。例えば、テレビや部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢがテレビの方向を継続的に見ていることが検出された場合、また、テレビの動作履歴からユーザＢが部屋に居る時間帯にテレビが動作して映像が出力されている場合には、ユーザＢがテレビを見ている／テレビがユーザＢに見られているといったインタラクションが検知される。また、テレビや部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢによるモノを投げるモーションや物体がユーザＢの手から離れ移動することが検出された場合、また、テレビに搭載された振動センサによりモノがテレビの筐体に当たったことが検知され場合、テレビに対してモノを投げた／投げられたといったインタラクションが検知される。

また、電話機や部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢが電話機の受話器を手に取っている様子が検出された場合、また、電話機の動作履歴からユーザＢが電話を掛けたことが検出された場合には、電話をかけるといったインタラクションが検知される。さらに、電話機に装着された振動センサにより電話機に対して衝撃が加えられたことが検出された場合、また、電話機に装着されたマイクロホンによりコードが引っ張られる音が検出された場合には、コードが引っ張られながら電話をかけていたといったインタラクションが検知される。

続いて、感性値算出部８０ｂによるユーザＢの感性値Ｑ１の算出の一例について説明する。感性値Ｑ１は、例えば下記式２により算出する。

上記式２では、各インタラクションの種類ごとに合計された評価値の和に、インタラクションの種類に応じた係数を掛け、全てのインタラクションの種類の総和をインタラクション総数で割ることにより、感性値Ｑ１が算出されることを示す。ここで、上記式１に図４１に示すインタラクション評価を当てはめたものを下記式３に示す。

このように、感性値算出部８０ｂは、ユーザＢの感性値Ｑ１を上記式３に示すように求めることができる。

算出した相手ユーザの感性値は、相手ユーザの信頼度を表す。テレプレゼンスシステム１０４において、通信する相手が信頼できる人である場合はプライバシーを低くしても安心だが、信頼できない人である場合はプライバシーを高くしておくことでユーザのプライバシーを適度に保つことができる。したがって、相手ユーザの信頼度を表す感性値の利用が有効となる。

続いて、図３９に戻り、ステップＳ５３８において、開度設定部８０ｃは、感性値算出部８０ｂにより算出された感性値に基づいて、プライバシーレベルである障子の開度を算出、設定し、設定した開度をテレプレゼンス制御部８０ｄに出力する。

以上、本応用例によるテレプレゼンスシステム１０４における感性値の利用について説明した。

＜３−５．臨場感再現システム＞
次に、第５の応用例として、既存の動画を再生する場合に感性値を利用して、撮影者や被写体の関係性に基づく新たな演出を加える臨場感再現システム１０５について、図４２〜図５０を参照して説明する。

図４２は、本応用例による臨場感再現システム１０５の全体構成を説明する図である。図４２に示すように、臨場感再現システム１０５は、取得したコンテンツデータから臨場感再現情報を生成する再現情報生成装置９と、臨場感再現情報に基づいてコンテンツデータを再生する際に鑑賞者（ユーザ）にコンテンツデータ生成時の臨場感を再現する再生制御装置９５とを有する。再現情報生成装置９と再生制御装置９５はネットワークを介して接続され得る。

再現情報生成装置９は、コンテンツデータ生成者（例えば撮影者）の被写体に対する気持ちや関係性を示す所定の指標である感性値を用いて、被写体への気持ちを表す新たな演出を加えるための抽象化された臨場感再現情報を生成する。

再生制御装置９５は、コンテンツデータに紐付けられた臨場感再現情報に基づいて、コンテンツデータを再生する際に、コンテンツデータ生成時の臨場感（コンテキスト）を再現するよう、デバイス制御や画像エフェクト、音声エフェクトの生成を行う。臨場感再現情報は抽象化されたものであるため、再生制御装置９５は、利用可能なデバイスや生成可能なエフェクトの特性に応じた再現処理を行うことができる。

（３−５−１．再現情報生成側の構成および動作処理）
次に、再現情報生成装置９の構成および動作処理について、図４３〜図４７を参照して説明する。

［再現情報生成装置９の構成］
図４３は、本応用例による再現情報生成装置９の構成の一例を示すブロック図である。図４３に示すように、再現情報生成装置９は、制御部９０、通信部９１、コンテンツ記憶部９２、および臨場感再現情報記憶部９３を有する。

制御部９０は、再現情報生成装置９の各構成を制御する。制御部９０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。具体的には、制御部９０は、コンテンツ解析部９０ａ、コンテンツ付加情報抽出部９０ｂ、天候・場所詳細情報検索部９０ｃ、被写体認識部９０ｄ、感性値取得部９０ｅ、臨場感再現情報生成部９０ｆ、および記憶制御部９０ｇとしても機能する。

コンテンツ解析部９０ａは、動画等のコンテンツデータに対して画像解析や音声解析を行う。コンテンツデータは、コンテンツ記憶部９２に記憶されていてもよいし、通信部９１を介して受信してもよい。コンテンツ解析部９０ａは、画像特徴量抽出部９０１と、振動特徴量抽出部９０２と、音声特徴量抽出部９０３を有する。

画像特徴量抽出部９０１は、画像解析に基づいて画像特徴量を抽出する機能を有する。振動特徴量抽出部９０２は、画像解析に基づいて振動特徴量を抽出する機能を有する。また、音声特徴量抽出部９０３は、音声解析に基づいて音声特徴量を抽出する機能を有する。これらの特徴量は、動画のフレーム毎に抽出してもよいし、所定フレーム数毎に抽出してもよい。

コンテンツ付加情報抽出部９０ｂは、コンテンツデータから付加情報を抽出する。付加情報とは、当該コンテンツデータの生成時（動画の場合は撮影時）に記憶された情報であって、例えばコンテンツデータの日付情報（動画の場合は撮影日）、時刻情報、位置情報（緯度経度、高度）、その他コンテンツデータ生成時に取得されたセンサ情報等が挙げられる。

天候・場所詳細情報検索部９０ｃは、コンテンツ付加情報抽出部９０ｂにより抽出されたコンテンツデータの日時、場所に基づいて、コンテンツ生成場所の天候詳細情報や場所詳細情報を検索する。天候詳細情報としては、天候、温度、湿度、風向き、風力、雨量、等が挙げられる。場所詳細情報としては、駅名、施設名、地名、建物種類等が挙げられる。天候・場所詳細情報検索部９０ｃは、このような天候・場所の詳細情報を、ネットワーク上の検索サーバ（逆ジオコーディングシステムや、イベントカレンダーサーバ等）にアクセスして検索する。

被写体認識部９０ｄは、コンテンツ解析部９０ａの画像特徴量抽出部９０１により抽出された画像特徴量、または音声特徴量抽出部９０３により抽出された音声特徴量に基づいて、コンテンツデータの被写体を認識する。

感性値取得部９０ｅは、コンテンツデータ生成者（動画の場合は撮影者）と被写体との感性値を取得する。具体的には、感性値取得部９０ｅは、生成者のオブジェクトＩＤと、被写体のオブジェクトＩＤとに基づいて感性サーバ２に対して感性値の取得を要求する。感性サーバ２から生成者と被写体との間のインタラクションの評価が送信された場合、感性値取得部９０ｅは、当該インタラクション評価に基づいて、被写体に対する生成者の相対的感性値（被写体に対して生成者がどのような気持ちを抱いているかを示す指標）を算出する。なお感性値の算出は感性サーバ２で行われてもよく、この場合、感性値取得部９０ｅは、感性サーバ２から通信部９１を介して、算出された感性値を取得する。

生成者のオブジェクトＩＤは、コンテンツデータにメタデータとして埋め込まれ、コンテンツ付加情報抽出部９０ｂにより抽出されてもよい。被写体のオブジェクトＩＤは、コンテンツデータにメタデータとして埋め込まれ、コンテンツ付加情報抽出部９０ｂにより抽出されてもよい。若しくは、被写体のオブジェクトＩＤは、被写体認識部９０ｄにより認識された被写体の特徴量に基づいて取得されてもよい。被写体特徴量とオブジェクトＩＤとの対応付けは、再現情報生成装置９の記憶部（不図示）に記憶されていてもよいし、感性サーバ２のオブジェクトＤＢ２２に記憶されていてもよい。感性値取得部９０ｅは、被写体特徴量を感性サーバ２に送信して被写体のオブジェクトＩＤを取得することが可能である。

臨場感再現情報生成部９０ｆは、コンテンツデータを再生する際に、コンテンツデータの臨場感（コンテキスト）を鑑賞者（ユーザ）に与えるための情報を生成する。

記憶制御部９０ｇは、臨場感再現情報生成部９０ｆにより生成された臨場感再現情報を、コンテンツ記憶部９２に記憶されているコンテンツデータに埋め込んでもよいし、コンテンツデータに紐付けて別ファイルとして臨場感再現情報記憶部９３に保存してもよい。

通信部９１は、外部装置とデータの送受信を行う。例えば通信部９１は、感性サーバ２と接続し、オブジェクトＩＤに対応するインタラクション評価値を受信する。また、通信部９１は、再生制御装置９５と接続し、臨場感再現情報が埋め込まれたコンテンツデータ、またはコンテンツデータと当該コンテンツデータに紐付けられた臨場感再現情報を送信する。

コンテンツ記憶部９２は、コンテンツデータを格納する。格納するコンテンツデータは、通信部９１により受信したものであってもよい。

臨場感再現情報記憶部９３は、コンテンツデータに紐付けて別ファイルとして生成された臨場感再現情報を格納する。

［再現情報生成装置９の動作処理］
次に、再現情報生成装置９による再現情報生成処理について、図４４を参照して説明する。図４４は、本応用例による再現情報生成処理を示すフローチャートである。

図４４に示すように、まず、ステップＳ６０３において、感性値取得部９０ｅは、動画の先頭フレームを取得する。

次に、ステップＳ６０６において、感性値取得部９０ｅは、被写体認識部９０ｄから対象フレームの被写体認識結果を取得する。被写体認識部９０ｄは、対象フレームの画像解析により抽出された画像特徴量に基づいて、フレーム内の被写体認識を行う。例えば、図４５に示すように、撮影者Ｐが撮影を行って生成した動画のフレーム９７を画像解析し、被写体Ｓ１、Ｓ２、Ｓ３を認識する。

次いで、ステップＳ６０９において、感性値取得部９０ｅは、被写体認識部９０ｄにより認識された対象フレームの被写体に対応するオブジェクトＩＤを取得する。

被写体のオブジェクトＩＤが取得できなかった場合（Ｓ６０９において／Ｎｏ）、ステップＳ６１２において、感性値取得部９０ｅは、撮影者のオブジェクトＩＤおよび被写体の属性を感性サーバ２に送信する。

次いで、ステップＳ６１５において、感性値取得部９０ｅは、感性サーバ２から被写体のオブジェクトＩＤの候補を受信する。感性サーバ２では、関連オブジェクト検索部２０ｄにより、例えば撮影者がインタラクションを起こした履歴のあるオブジェクトから、被写体の属性と同じまたは似ている関連オブジェクトを検索し、そのオブジェクトＩＤを候補として再現情報生成装置９に返信する。

次に、感性サーバ２から返信されたオブジェクトＩＤ候補が複数ある場合（Ｓ６１８において「Ｙｅｓ」）、ステップＳ６２１において、感性値取得部９０ｅは、複数の候補から被写体に対応するオブジェクトＩＤを１つ選択する。

続いて、ステップＳ６２４において、感性値取得部９０ｅは、被写体のオブジェクトＩＤを感性サーバ２に送信する。

次に、ステップＳ６２７において、感性値取得部９０ｅは、撮影者と被写体間の相対的感性値を取得し、取得した相対的感性値をフレーム内の被写体の位置に紐付けて記憶する。影者と被写体間の相対的感性値は、感性サーバ２において算出されてもよいし、感性値取得部９０ｅが、感性サーバ２から受信した撮影者と被写体間のインタラクション評価に基づいて算出してもよい。

次いで、対象フレーム内に他の被写体がある場合（Ｓ６３０において「Ｙｅｓ」）、上記ステップＳ６０９からの処理が繰り返される。これにより、例えば図１４に示す被写体Ｓ１（妻、オブジェクトＩＤ：105384093）、被写体Ｓ２（子供、オブジェクトＩＤ：15122014）、および被写体Ｓ３（玩具、オブジェクトＩＤ：101960）の各々に対する撮影者Ｐ（父親、オブジェクトＩＤ：312039）の感情や気持ちを示す相対的感性値が取得される。

ここで、感性値取得部９０ｅによる相対的感性値の算出について、図４６、図４７を参照して具体的に説明する。図４６は、本実施形態によるインタラクション評価のデータ例を示す図である。図４６に示すインタラクション評価は、感性値取得部９０ｅにより指定された撮影者のオブジェクトＩＤと各被写体のオブジェクトＩＤに基づいて、感性サーバ２から返信されたインタラクション評価である。

例えば、図４６に示すデータ例の１行目では、撮影者Ｐ（オブジェクトＩＤ：312039）が、2013年12月24日に、被写体Ｓ１の妻（オブジェクトＩＤ：105384093）に対して行った「アクセサリーを贈与した」というインタラクションに対して評価0.7が付与されている。また、２行目では、被写体Ｓ１の妻（オブジェクトＩＤ：105384093）が、2013年12月24日に、撮影者Ｐ（オブジェクトＩＤ：312039）から行われた「アクセサリーを贈与された」というインタラクションに対して評価1.00が付与されている。このように、一方のオブジェクトから他方のオブジェクトに対して行われたインタラクションは、一方のオブジェクト側と、他方のオブジェクト側の両方で検知され得る。

検知されるインタラクション種類は、上記贈与の他、図４６に示すように、保管、スキンシップ、会話、遊ぶ等が挙げられる。

贈与のインタラクションは、例えばクレジットカードの使用履歴やネットショッピングの購入履歴、メールやソーシャルメディアの書き込み内容、部屋やオブジェクトに備えられたカメラによる撮像画像の認識、部屋やオブジェクトに備えられたマイクロホンによる音声の認識等から検知される。贈与のインタラクション評価は、感性サーバ２の評価部２０ｂにより行われる。例えば、評価部２０ｂは、贈与した人の普段の購入履歴や収入に対するプレゼント金額の割合に応じた奮発度、店員との会話認識に基づくプレゼントに対するポジティブ度、ネット購入時におけるＷｅｂページの閲覧時間やページの遷移から品物を選ぶまで時間に基づく真剣度等を抽出し、これらの値に各々所定の重み付けを行い、-1.0〜1.0に正規化して評価値とする。

また、保管のインタラクションは、例えばオブジェクトの位置や、移動履歴、部屋やオブジェクトに備えられたカメラによる撮像画像の認識等から検知される。評価部２０ｂは、保管場所、保管場所の湿度、大気中の埃の分量等に重み付けを行い、-1.0〜1.0に正規化して評価値とする。

また、スキンシップのインタラクションは、例えば互いのウェアラブルデバイスを経由した人体通信による接触判定、カメラによる画像認識、両者の加速度センサの動きパターン等に基づいて検知される。評価部２０ｂは、笑顔認識による笑顔度、音声認識による笑い声や会話の内容から取得した各種指標に重み付けを行い、-1.0〜1.0に正規化して評価値とする。

また、会話のインタラクションは、例えば音声認識、声のトーン、メールやソーシャルメディアへの書き込み内容の解析（構文解析、意味解析）等に基づいて検知される。評価部２０ｂは、会話に含まれる単語、文脈、声のトーン等を利用して会話内容のポジティブ／ネガティブ度を判定し、単語の数や会話内容によって評価の総和が変わるため、最終的に-1.0〜1.0に正規化して評価値とする。

また、遊びのインタラクションは、例えば玩具に設けられた近接無線通信チップと子供に装着された近接無線通信チップとの接続確認や、両者の加速度センサの動き等に基づいて検知される。接続確認と動きからは「遊ぶ」の認識ができない場合、他方のオブジェクトが玩具であれば、玩具は遊ぶためのものであるため、「遊ぶ」というインタラクションと認識される。評価部２０ｂは、両者のインタラクション時間の計測結果と撮像画像や音声による笑顏検出や笑い声検出に基づいて、子供の玩具に対する評価値を求める。また、玩具側から見た場合の評価値は、加速度センサのデータを元にどれくらい乱暴に扱われたか、本来の玩具としての使い方を逸脱していたかを計測して求められてもよい。なお、乳幼児が玩具を乱暴に扱っている場合も、玩具から見た場合の評価値は低くなるが、最終的な感性値を求める段階で、相手が乳幼児である場合、玩具から見た評価値の重み付け係数を小さくしたり、補正したりすることで、評価値を調整することが可能である。

次いで、感性値取得部９０ｅにより各被写体に対する撮影者の感情や気持ちを示す相対的感性値を算出する場合、感性値取得部９０ｅは、図４６に示すインタラクション評価のデータから、撮影者と被写体間のインタラクション評価だけを抜き出す。図４７は、図４６に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。図４７に示すように、撮影者（オブジェクトＩＤ：312039）と、各被写体Ｓ１〜Ｓ３（オブジェクトＩＤ：105384093、15122014、101960）間のインタラクション評価が抜き出される。

感性値取得部９０ｅは、撮影者と被写体との相対的感性値を、例えば対象被写体の評価の総和、または対象被写体のインタラクション種類毎に重み係数を乗じてから対象被写体の評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。

次に、図４４に戻り、ステップＳ６３３において、感性値取得部９０ｅは、フレーム全体の感性値を算出する。具体的には、例えばフレーム内の各被写体の相対的感性値の総和、または総和を被写体数で割った平均により求められる。

次いで、ステップＳ６３６において、感性値取得部９０ｅは、対象フレームの感性値（各被写体の相対的感性値、およびフレーム全体の感性値）を記憶する。

そして、ステップＳ６３９において、処理対象のフレームを一つ進め、まだ新しいフレームがある場合は（Ｓ６４２において「Ｙｅｓ」）、上記ステップＳ６０６からの処理が繰り返される。

以上、本応用例による臨場感再現情報としての感性値の算出について説明した。なお、以上説明した実施形態では、各被写体と撮影者間の相対的感性値を算出したが、本開示はこれに限定されず、必要に応じて各被写体の絶対的感性値を算出してもよいし、被写体同士の相対的感性値を算出してもよい。各被写体の絶対的感性値は、被写体の全てのインタラクション評価を加算した総和、またはインタラクション種類毎に重み係数を乗じてから対象被写体の全ての評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。また、被写体同士の相対的感性値は、被写体間のインタラクション評価の総和、またはインタラクション種類毎に重み係数を乗じてから被写体間のインタラクション評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。

（３−５−２．再生側の構成および動作処理）
続いて、再生制御装置９５の構成および動作処理について、図４８〜図５０を参照して説明する。再生側では、再現情報生成装置９により生成された抽象化された臨場感再現情報に基づいて、再生側が備えるデバイスの特性に応じて自由に再現方法を決めることができる。

［再生制御装置９５の構成］
図４８は、本応用例による再生制御装置９５の構成の一例を示すブロック図である。図４８に示すように、再生制御装置９５は、コンテンツ取得部９５１、臨場感再現情報取得部９５２、臨場感再現効果特定部９５３、画像エフェクト生成部９５４、音声エフェクト生成部９５５、デバイス制御部９５６、デコード部９５７、およびコンテンツ出力制御部９５８を有する。

コンテンツ取得部９５１は、再生するコンテンツデータを取得する。例えば、コンテンツ取得部９５１は、クラウド上（例えば再現情報生成装置９のコンテンツ記憶部９２）からコンテンツデータを取得する。

臨場感再現情報取得部９５２は、再生するコンテンツデータに対応する臨場感再現情報を取得する。例えば、臨場感再現情報は、コンテンツデータに埋め込まれている場合と、コンテンツデータとは別ファイルとしてクラウド上に保存されている場合とが想定される。

臨場感再現効果特定部９５３は、臨場感再現情報取得部９５２により取得された臨場感再現情報と、再生側が備えるデバイスの特性とに応じて、どのデバイスで臨場感（臨場感再現情報で表されているコンテキスト）の再現を行うかを特定する。再生側が備えるデバイスとしては、例えば画像および音声を出力するテレビジョン装置、エアーコンディショナー装置、香り噴霧装置、振動装置、照明装置、および送風装置等が挙げられる。

画像エフェクト生成部９５４は、臨場感再現効果特定部９５３の指示に従って、臨場感を再現するための画像エフェクトを生成する。

音声エフェクト生成部９５５は、臨場感再現効果特定部９５３の指示に従って、臨場感を再現するための音声エフェクトを生成する。

デバイス制御部９５６は、臨場感再現効果特定部９５３の指示に従って各種デバイスを制御し、ユーザ（鑑賞者）に臨場感を与える。

デコード部９５７は、コンテンツ取得部９５１により取得されたコンテンツデータをデコードし、コンテンツ出力制御部９５８に出力する。

コンテンツ出力制御部９５８は、デコード部９５７でデコードされたコンテンツデータを出力する。具体的には、例えばコンテンツ出力制御部９５８は、コンテンツデータが動画の場合、テレビジョン装置から再生するよう制御する。また、コンテンツ出力制御部９５８は、画像エフェクト生成部９５４により生成された画像エフェクトと共に動画を再生したり、音声エフェクト生成部９５５により生成された音声エフェクトを出力したりする。

［再生制御装置９５の動作処理］
次に、再生制御装置９５による再生処理について、図４９を参照して説明する。臨場感再現情報には、上述したように、被写体に対する撮影者の感情や気持ちを示す相対的感性値が含まれている。再生側において当該相対的感性値に応じた演出を行うことで、撮影者が被写体に対してどのような思いを持っているのか、撮影者の気持ちになって鑑賞するといった新たな鑑賞体験を提供することができる。

図４９は、本応用例による感性値を利用した再生処理を示すフローチャートである。図４９に示すように、まず、ステップＳ６５３において、臨場感再現効果特定部９５３は、現在の再生フレーム全体の感性値Ｔを取得する。再生フレーム全体の感性値Ｔは、臨場感再現情報取得部９５２により取得された臨場感再現情報から取得し得る。再生フレーム全体の感性値Ｔは、図４４のステップＳ６３３で説明した対象フレーム全体の感性値に相当する。

次に、ステップＳ６５６において、臨場感再現効果特定部９５３は、前のフレーム全体の感性値Ｔ’と、現在のフレーム全体の感性値Ｔとの差が所定値以上であるか否かを判断する。

次いで、感性値の差が所定値以上である場合（Ｓ６５６において「Ｙｅｓ」）、ステップＳ６５９において、臨場感再現効果特定部９５３は、デバイス制御の最低適用時間を越えているか否かを判断する。デバイス制御が短い時間で切り替えられてしまうことも回避するためである。

次に、デバイス制御の最低適用時間を越えている場合（Ｓ６５９において「Ｙｅｓ」）、ステップＳ６６２において、臨場感再現効果特定部９５３は、感性値Ｔの値に応じたデバイス制御を行うようデバイス制御部９５６に指示する。例えば、振動の発生、スモークの噴出、照明の変更等の、感性値に応じた物理的な演出を行う。

次いで、ステップＳ６６５において、臨場感再現効果特定部９５３は、画像エフェクトの最低適用時間を越えているか否かを判断する。画像エフェクトが短い時間で切り替えられてしまうことも回避するためである。

次に、画像エフェクトの最低適用時間を越えている場合（Ｓ６６５において「Ｙｅｓ」）、ステップＳ６６８において、臨場感再現効果特定部９５３は、感性値Ｔの値に応じた画像全体のエフェクトを適用するよう、画像エフェクト生成部９５４に指示する。画像全体のエフェクトとは、例えば画像のトーン全体を明るくしたり、画像の色合いを少し赤くしたりする演出である。

次いで、ステップＳ６７１において、臨場感再現効果特定部９５３は、ＢＧＭ（Background Music）の最低適用時間を越えているか否かを判断する。ＢＧＭが短い時間で切り替えられてしまうことも回避するためである。

次に、ＢＧＭの最低適用時間を越えている場合（Ｓ６７１において「Ｙｅｓ」）、ステップＳ６７４において、臨場感再現効果特定部９５３は、感性値Ｔの値に応じたＢＧＭを再生するよう、音声エフェクト生成部９５５に指示する。例えば、感性値Ｔが高い場合は楽しく明るいＢＧＭを再生し、感性値Ｔが低い場合は暗いＢＧＭを再生する。

続いて、ステップＳ６７７において、臨場感再現効果特定部９５３は、現在の再生フレームから認識される被写体毎の感性値と、各被写体の画面上の位置（すなわちフレーム内での位置）を取得する。被写体毎の感性値は、臨場感再現情報に含まれる、各被写体に対する撮影者の相対的感性値である。

次に、ステップＳ６８０において、臨場感再現効果特定部９５３は、被写体の種類と感性値に応じた画像エフェクトや重畳画像を選択するよう画像エフェクト生成部９５４に指示し、さらに、選択された画像エフェクトを被写体に対応する位置に表示するようコンテンツ出力制御部９５８に指示する制御する。ここで、感性値に応じて各被写体に対応するよう配置される画像エフェクトの一例について図５０を参照して説明する。

臨場感再現効果特定部９５３は、図５０左に示すフレーム９８から認識される被写体Ｓ１、Ｓ２、Ｓ３の相対的感性値に応じて、図５０右に示すフレーム９９のように、画像エフェクトＥ１〜Ｅ３を、各被写体Ｓ１〜Ｓ３に対応して配置する。例えば被写体Ｓ１が母親、被写体Ｓ２が子供、被写体Ｓ３が玩具である場合、家族用や子供用の画像エフェクトが選択される。また、相対的感性値が高い場合、楽しく明るい画像エフェクトが選択される。また、被写体に対応した配置とは、例えば被写体の周囲に、被写体と重ならないよう配置することが挙げられる。これにより、撮影者がどのような気持ちで撮影を行っていたのか、撮影時はどのような雰囲気であったかなどが、新たに追加された演出で表され、撮影時の臨場感が再現される。

なお、上記Ｓ６６２、Ｓ６６８、Ｓ６７４、Ｓ６８０では、感性値の値に応じた演出（デバイス制御、画像エフェクト、ＢＧＭ）を行う旨を説明したが、本実施形態はこれに限定されず、臨場感再現情報に、被写体の相対的感性値から推定された抽象的な撮影者の主観表現が記述されていた場合、当該主観表現に応じた演出を行うことも可能である。

そして、動画終了位置まで再生されていない場合（ステップＳ６８３において「Ｎｏ」）、上記Ｓ６５３〜Ｓ６８０の処理が繰り返される。

以上、本応用例による臨場感再現システム１０５における感性値の利用について説明した。

＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、オブジェクト間のインタラクションに基づいてオブジェクトの感性価値を数値化することを可能とする。具体的には、モノとユーザの間のインタラクションを計測して具体的な多次元のベクトル値としてモノやユーザに紐付けてサーバに履歴を保管することで、モノに紐づく感性値、利用者に紐づく感性値、また両者間の相対的な感性値を算出することができるようになる。

このような感性値は、例えば個人信用情報提供システム１０１、オークションシステム１０２、環境調整システム１０３、テレプレゼンスシステム１０４、臨場感再現システム１０５に利用することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、インタラクション情報を蓄積していき、その評価や感性値を蓄積時に都度算出してもよいし、必要な時に蓄積していたインタラクション情報の評価や感性値の算出を行ってもよい。

また、上述した各装置に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、各装置の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、
前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、
を備える、情報処理システム。
（２）
前記生成部は、一のオブジェクトと、他の複数のオブジェクトとの間のインタラクションに関連する情報に基づく絶対的感性数値と、前記一のオブジェクトと、特定のオブジェクトとの間のインタラクションに関連する情報に基づく相対的価値とを生成可能である、前記（１）に記載の情報処理システム。
（３）
前記情報処理システムは、
前記インタラクションに関連する情報を、前記第１のオブジェクトと前記第２のオブジェクトにそれぞれ関連付けて記憶部に記憶する記憶制御部をさらに備え、
前記生成部は、前記記憶部に記憶された特定のオブジェクトに関連付けられた前記インタラクションに関連する情報の履歴に基づき、当該特定のオブジェクトの感性値を生成する、前記（１）または（２）に記載の情報処理システム。
（４）
前記生成部は、前記第１のオブジェクトが人であって、前記第２のオブジェクトが物である場合も、前記インタラクションに関連する情報に基づいて、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能である、前記（１）〜（３）のいずれか１項に記載の情報処理システム。
（５）
前記検出部は、前記第１のオブジェクトと前記第２のオブジェクト間でインタラクションが発生した際、双方向のインタラクションに関連する情報をそれぞれ検出する、前記（１）〜（４）のいずれか１項に記載の情報処理システム。
（６）
前記情報処理システムは、
前記感性値を個人の信用力とみなして個人信用情報を提供する信用情報提供サーバを備える、前記（１）〜（５）のいずれか１項に記載の情報処理システム。
（７）
前記情報処理システムは、
前記感性値を出品者の信頼度、または出品商品の価値とみなして、出品者または出品商品の感性値を提供する商取引サーバを備える、前記（１）〜（６）のいずれか１項に記載の情報処理システム。
（８）
前記情報処理システムは、
対象ユーザに追従して移動する移動体により前記対象ユーザの周囲環境を調整する際に、前記対象ユーザまたは前記対象ユーザに付随するオブジェクトの感性値に応じて、環境調整制御を行う環境調整サーバを備える、前記（１）〜（７）のいずれか１項に記載の情報処理システム。
（９）
前記情報処理システムは、
通信先装置のユーザの感性値に応じてプライバシーレベルを自動設定し、前記通信先装置に通信元装置のユーザの映像を送信する際に、前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像をマスクするよう制御する通信制御装置を備える、前記（１）〜（８）のいずれか１項に記載の情報処理システム。
（１０）
前記情報処理システムは、
コンテンツデータから抽出された被写体の感性値に基づいて、抽象化された臨場感再現情報を生成し、生成された臨場感再現情報を前記コンテンツデータに関連付けて記憶するよう制御する再現情報生成装置を備える、前記（１）〜（９）のいずれか１項に記載の情報処理システム。
（１１）
第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出することと、
前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能なことと、
を含む、制御方法。
（１２）
コンピュータを、
第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報を検出する検出部と、
前記インタラクションに関連する情報に基づき、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ生成可能な生成部と、
として機能させるための、プログラムが記憶された、記憶媒体。

１００ 情報処理システム
１０１ 個人信用情報提供システム
１０２ オークションシステム
１０３ 環境調整システム
１０４ テレプレゼンスシステム
１０５ 臨場感再現システム
１ センシングデバイス
１１ センサ
１２ インタラクション抽出部
１３ 通信部
２ 感性サーバ
２０ 制御部
２０ａ インタラクション記憶制御部
２０ｂ 評価部
２０ｃ オブジェクト管理部
２０ｄ 関連オブジェクト検索部
２０ｅ 感性値算出部
２１ 通信部
２２ オブジェクトＤＢ
２４ 感性情報ＤＢ
３ ネットワーク
４ 個人信用情報提供サーバ
５ オークションサーバ
６ 移動体
７ 環境調整サーバ
８ 通信制御装置
９ 再現情報生成装置
９５ 再生制御装置

Claims (12)

1. 第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報をセンシングデータから検出する検出部と、
   前記第１のオブジェクトおよび前記第２のオブジェクトの間において一方から他方へ行われたインタラクションに関連する情報に基づいて、前記インタラクションを行ったことによる前記インタラクションを行った側のオブジェクトの価値を感性値として算出し、さらに、前記インタラクションが行われたことによる前記インタラクションが行われた側のオブジェクトの価値を感性値として算出する算出部と、
   を備える、情報処理システム。
2. 前記算出部は、一のオブジェクトと、他の複数のオブジェクトとの間のインタラクションに関連する情報に基づく絶対的感性値と、前記一のオブジェクトと、特定のオブジェクトとの間のインタラクションに関連する情報に基づく相対的価値とを算出可能である、請求項１に記載の情報処理システム。
3. 前記情報処理システムは、
   前記インタラクションに関連する情報を、前記第１のオブジェクトと前記第２のオブジェクトにそれぞれ関連付けて記憶部に記憶する記憶制御部をさらに備え、
   前記算出部は、前記記憶部に記憶された特定のオブジェクトに関連付けられた前記インタラクションに関連する情報の履歴に基づき、当該特定のオブジェクトの感性値を算出する、請求項１または２に記載の情報処理システム。
4. 前記算出部は、前記第１のオブジェクトが人であって、前記第２のオブジェクトが物である場合も、前記インタラクションに関連する情報に基づいて、前記第１のオブジェクトの感性値および前記第２のオブジェクトの感性値をそれぞれ算出可能である、請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記情報処理システムは、
   前記感性値を個人の信用力とみなして個人信用情報を提供する信用情報提供サーバを備える、請求項１〜４のいずれか１項に記載の情報処理システム。
6. 前記情報処理システムは、
   前記感性値を出品者の信頼度、または出品商品の価値とみなして、出品者または出品商品の感性値を提供する商取引サーバを備える、請求項１〜４のいずれか１項に記載の情報処理システム。
7. 前記商取引サーバは、
   前記出品商品の感性値として、前記出品商品の歴代の所有者との相対的な感性値と、これらを総合した前記出品商品の絶対的な感性値を表示する画面を出力する、請求項６に記載の情報処理システム。
8. 前記情報処理システムは、
   対象ユーザに追従して移動する移動体により前記対象ユーザの周囲環境を調整する際に、前記対象ユーザが所持するオブジェクトまたは前記対象ユーザと行動を共にするオブジェクトの前記対象ユーザとの相対的な感性値に応じて、環境調整制御を行う環境調整サーバを備える、請求項１〜４のいずれか１項に記載の情報処理システム。
9. 前記情報処理システムは、
   通信先装置の相手ユーザの感性値に応じてプライバシーレベルを自動設定し、前記通信先装置に通信元装置のユーザの映像を表示させる際に、前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像を遮蔽物映像により遮蔽するよう制御する通信制御装置を備える、請求項１〜４のいずれか１項に記載の情報処理システム。
10. 前記情報処理システムは、
    コンテンツデータから抽出された被写体に対する撮影者の相対的な感性値に基づいて、抽象化された臨場感再現情報を生成し、生成された臨場感再現情報を前記コンテンツデータに関連付けて記憶するよう制御する再現情報生成装置を備える、請求項１〜４のいずれか１項に記載の情報処理システム。
11. 第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報をセンシングデータから検出することと、
    前記第１のオブジェクトおよび前記第２のオブジェクトの間において一方から他方へ行われたインタラクションに関連する情報に基づいて、前記インタラクションを行ったことによる前記インタラクションを行った側のオブジェクトの価値を感性値として算出し、さらに、前記インタラクションが行われたことによる前記インタラクションが行われた側のオブジェクトの価値を感性値として算出することと、
    を含む、制御方法。
12. コンピュータを、
    第１のオブジェクトと、第２のオブジェクトとの間のインタラクションに関連する情報をセンシングデータから検出する検出部と、
    前記第１のオブジェクトおよび前記第２のオブジェクトの間において一方から他方へ行われたインタラクションに関連する情報に基づいて、前記インタラクションを行ったことによる前記インタラクションを行った側のオブジェクトの価値を感性値として算出し、さらに、前記インタラクションが行われたことによる前記インタラクションが行われた側のオブジェクトの価値を感性値として算出する算出部と、
    として機能させるための、プログラムが記憶された、記憶媒体。
    

Images