WO2017175447A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力する制御部、を備える、情報処理装置が提供される。また、プロセッサが、ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力すること、を含む、情報処理方法が提供される。これにより、ユーザの情動に係るデータをより効率的に収集し、より高精度な情動推定を実現する。

Description

情報処理装置、情報処理方法、及びプログラム

　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

　近年、ユーザの感情を推定するための種々の手法が提案されている。また、上記のような手法には、装置の動作に関連したユーザの感情を推定するものがある。例えば、特許文献１には、コンテンツの閲覧時におけるユーザの感情を推定する感情推定方法が開示されている。

特開２０１４－２２２３９７号公報

　しかし、特許文献１に記載の感情推定方法では、ユーザが予め複数のテストコンテンツに対する感情を手動で入力することが求められる。このため、特許文献１に記載の感情推定方法ではユーザの負担が大きく、より多くの状況に対応することが困難である。

　そこで、本開示では、ユーザの情動に係るデータをより効率的に収集し、より高精度な情動推定を実現することが可能な情報処理装置、情報処理方法、及びプログラムを提案する。

　本開示によれば、ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力する制御部、を備える、情報処理装置が提供される。

　以上説明したように本開示によれば、ユーザの情動に係るデータをより効率的に収集し、より高精度な情動推定を実現することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る生体‐情動ＤＢの生成について説明するための図である。 同実施形態に係る生体‐情動ＤＢに基づいた動作制御の概要を説明するための図である。 同実施形態に係る機能ブロック図である。 同実施形態に係るセンサ情報に基づいて出力される行動情報の一例を示した図である。 同実施形態に係る生体‐情動ＤＢ３９０に記憶されるデータの構成例である。 同実施形態に係る行動‐情動ＤＢ３９５に記憶されるデータの構成例である。 同実施形態に係る体‐情動ＤＢ３９０の生成に係る流れを示すフローチャートである。 同実施形態に係る生体‐情動ＤＢ３９０を用いた動作制御の流れを示すフローチャートである。 本開示の第２の実施形態に係る概要を示す概念図である。 本開示の第３の実施形態に係る概要を示す概念図である。 本開示の第４の実施形態に係る概要を示す概念図である。 本開示の第５の実施形態に係る概要を示す概念図である。 本開示の第６の実施形態に係る概要を示す概念図である。 本開示の第７の実施形態に係る概要を示す概念図である。 本開示の第８の実施形態に係る概要を示す概念図である。 本開示の第９の実施形態に係る概要を示す概念図である。 同実施形態に係る動作装置の別の制御例を示す一例である 本開示の第１０の実施形態に係る概要を示す概念図である。 本開示の第１１の実施形態に係る概要を示す概念図である。 本開示に係るハードウェア構成例である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．本開示の概要
　　１．１．本開示に係る着目点
　２．第１の実施形態
　　２．１．生体‐情動ＤＢの生成
　　２．２．生体‐情動ＤＢを用いた動作制御
　　２．３．本実施形態に係る機能構成
　　２．４．生体‐情動ＤＢの生成に係る流れ
　　２．５．生体‐情動ＤＢを用いた動作制御の流れ
　　２．６．第１の実施形態に係る変形例
　３．第２の実施形態
　４．第３の実施形態
　５．第４の実施形態
　６．第５の実施形態
　７．第６の実施形態
　８．第７の実施形態
　９．第８の実施形態
　１０．第９の実施形態
　１１．第１０の実施形態
　１２．第１１の実施形態
　１３．ハードウェア構成例
　１４．まとめ

　＜１．本開示の概要＞
　＜＜１．１．本開示に係る着目点＞＞
　近年、ユーザから取得した生体情報に基づいて、当該ユーザの情動を推定する手法が提案されている。また、推定したユーザの情動に基づいたサービスを提供する技術が知られている。

　しかし、高精度な情動推定を実現するためには、取得した生体情報と、当該生体情報を得た際のユーザの情動と、を関連付けるための多くの教師信号が求められる。上記の教師信号は、例えば、ユーザ自身により入力される情報であってもよい。しかし、この場合、ユーザの負担が大きく、大量の教師信号を収集することは困難である。

　一方、ユーザは日常において様々な情動を抱き、また様々な行動を行っている。この際、上記の情動と行動とは密接に連関している場合も多い。例えば、ユーザがカメラなどの撮像装置を用いて撮像を行う場合、当該ユーザは被写体に対し興味を持っていることが推定される。

　本開示は、上記のような情動に関連付いた日常行動に着目して発想されたものである。すなわち、本開示に係る情報処理装置、情報処理方法、及びプログラムでは、予め情動の弱教師となり得る日常行動を認識することで、当該日常行動を行った際のユーザの生体情報と、情動情報と、を関連付けたデータベースを生成することが可能となる。

　また、本開示に係る情報処理装置、情報処理方法、及びプログラムによれば、ユーザから取得された生体情報に基づいて上記のデータベースを検索することで、ユーザの情動を推定し、当該情動に応じた種々のサービスや機能をユーザに提供することが可能となる。

　以降における本開示に係る実施形態の説明においては、上記の機能を実現する情報処理装置の構成上の特徴を挙げながら、当該特徴が奏する効果について述べる。なお、本開示における情動は、感情を含むものと解されてよい。すなわち、本開示に係る情動は、ユーザの生体反応の他、喜怒哀楽などの感情を含んでよい。本開示に係る情動は、生体情報から推定され得るユーザに関する種々の状態であってよい。

　＜２．第１の実施形態＞
　＜＜２．１．生体‐情動ＤＢの生成＞＞
　まず、本実施形態に係る生体‐情動ＤＢの生成とシステム構成例について説明する。本実施形態に係る情報処理方法では、ユーザの行動に関連づいた情動情報と、当該行動を行った際に取得される生体情報と、を関連付けた生体‐情動ＤＢを生成することが可能である。この際、本実施形態に係る情報処理方法では、予め登録された行動‐情動ＤＢを参照することで、上記の生体情報と情動情報とを関連付けることができる。

　図１Ａは、本実施形態に係るシステム構成例、及び生体‐情動ＤＢの生成について説明するための図である。図１Ａを参照すると、本実施形態に係る情報処理システムは、動作装置１０、ウェアラブル端末２０、情報処理装置３０、生体‐情動ＤＢ３９０、及び行動‐情動ＤＢ３９５を備える。また、動作装置１０、ウェアラブル端末２０、及び情報処理装置３０は、互いに通信が行えるように、ネットワーク４０を介して接続される。

　（動作装置１０）
　本実施形態に係る生体‐情動ＤＢ３９０の生成において、動作装置１０は、ユーザＰ１の行動を認識するための種々の装置であってよい。図１Ａに示す一例においては、動作装置１０は、各種の撮像装置や撮像機能を有するスマートフォンなどであってよい。動作装置１０は、検出したユーザＰ１の行動に係る行動情報を情報処理装置３０に送信する機能を有する。例えば、図１Ａに示す一例では、動作装置１０は、ユーザＰ１が被写体Ｏ１を撮影したことを検知し、当該検知情報を情報処理装置３０に送信している。より具体的には、動作装置１０は、ユーザＰ１によるシャッターボタンの押下に係る行動を検出し、当該行動に係る行動情報を情報処理装置３０に送信してよい。

　（ウェアラブル端末２０）
　本実施形態に係るウェアラブル端末２０は、ユーザＰ１の行動に伴う生体情報を取得する種々の端末であってよい。図１Ａに示す一例では、ウェアラブル端末２０は、被写体Ｏ１を撮影する際のユーザの生体情報を取得している。このため、ウェアラブル端末２０は、ユーザＰ１の生体情報を取得するための各種のセンサを備えてよい。また、ウェアラブル端末２０は、取得したユーザＰ１の生体情報を情報処理装置３０に送信する機能を有する。

　（情報処理装置３０）
　本実施形態に係る生体‐情動ＤＢ３９０の生成において、情報処理装置３０は、動作装置１０ユーザＰ１の行動情報から取得される情動情報と、ユーザＰ１の生体情報と、を関連付けて生体‐情動ＤＢ３９０を生成する機能を有する。より具体的には、情報処理装置３０は、動作装置１０から受信した行動情報に基づいて、予め登録された行動‐情動ＤＢ３９５を検索し、ユーザＰ１の行動情報に関連付いた情動情報を取得することができる。また、情報処理装置３０は、上記で取得した情動情報と、ウェアラブル端末２０から受信したユーザＰ１の生体情報と、を関連付けて生体‐情動ＤＢ３９０に記憶させることができる。本実施形態に係る情報処理装置３０は、上記の機能を有する各種の情報処理端末であってもよい。本実施形態に係る情報処理装置３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、またはタブレットなどであってもよい。

　図１Ａに示す一例においては、情報処理装置３０は、動作装置１０からユーザＰ１によるシャッターボタンの押下に係る行動情報を受信し、当該行動情報に基づく情動情報を行動‐情動ＤＢ３９５から取得することができる。この際、上記の行動‐情動ＤＢ３９５には、例えば、シャッターボタンの押下と、「興味」に係る情動情報が、関連付けられていてよい。このように、本実施形態に係る行動‐情動ＤＢ３９５には、ユーザＰ１が取り得る行動と、当該行動を取る際のユーザＰ１の推定情動とが記憶されていてよい。図１Ａに示す一例においては、ユーザが写真を撮影する場合、ユーザＰ１は被写体Ｏ１に対して「興味」を抱いていると推定されることから、シャッターボタンの押下と、「興味」とが、関連付いて行動‐情動ＤＢ３９５に記憶されている。なお、本実施形態に係る行動‐情動ＤＢ３９５の詳細については、後述する。

　また、この際、情報処理装置３０は、行動‐情動ＤＢ３９５から取得した「興味」に係る情動情報と、ウェアラブル端末２０から受信した生体情報とを関連付けて生体‐情動ＤＢ３９０に記憶させることができる。すなわち、情報処理装置３０は、被写体Ｏ１を撮影するユーザＰ１の行動情報から得られた情動情報と、撮影時に取得されたユーザＰ１の生体情報とを関連付けることで、生体‐情動ＤＢ３９０を生成することが可能である。

　（ネットワーク４０）
　ネットワーク４０は、動作装置１０、ウェアラブル端末２０、及び情報処理装置３０を互いに接続する機能を有する。ネットワーク４０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク４０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク４０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。

　以上、本実施形態に係る生体‐情動ＤＢ３９０の生成について概要を説明した。上述したとおり、本実施形態に係る情報処理装置３０は、取得したユーザの行動情報と生体情報とに基づいて、生体‐情動ＤＢ３９０を生成することができる。本実施形態に係る情報処理装置３０によれば、生体情報と情動情報とに係る教師をユーザの日常的な行動から動的に収集することが可能となる。

　なお、図１Ａを用いた上記の説明では、情報処理装置３０が、ユーザの行動情報を動作装置１０から、ユーザの生体情報をウェアラブル端末２０から取得する場合を例に述べたが、本実施形態に係るシステム構成例は係る例に限定されない。例えば、本実施形態に係る情報処理装置３０は、ユーザの行動を検出する機能とユーザの生体情報を取得する機能を有してもよい。すなわち、本実施形態に係る動作装置１０、ウェアラブル端末２０、及び情報処理装置３０は、単一の装置として実現されてもよい。

　この場合、情報処理装置３０は、例えば、生体‐情動ＤＢ３９０を生成する機能を有する撮像装置であってもよい。また、この場合、情報処理装置３０は、ユーザの生体情報を取得するための各種のセンサを備えてよい。本実施形態に係るシステム構成、及び情報処理装置３０の機能構成は、柔軟に変更され得る。

　また、上記の説明では、動作装置１０、ウェアラブル端末２０、及び情報処理装置３０がネットワーク４０を介して接続される場合を例に述べたが、本実施形態のシステム構成例は係る例に限定されない。動作装置１０及びウェアラブル端末２０は、オフライン状態において収集したデータを各種のストレージに保存することもできる。この場合、情報処理装置３０は、上記のストレージから読み込んだ行動情報と生体情報とをタイムスタンプなどの情報により一致させることで、生体‐情動ＤＢ３９０を生成することが可能である。

　＜＜２．２．生体‐情動ＤＢを用いた動作制御＞＞
　次に本実施形態に係る生体‐情動ＤＢを用いた動作制御の概要について説明する。本実施形態に係る情報処理装置３０は、取得されたユーザの生体情報に基づいて、動作装置１０の動作を制御する機能を有する。より具体的には、情報処理装置３０は、取得したユーザの生体情報を用いて生体‐情動ＤＢ３９０を検索し、当該生体情報に関連付いた情動情報を得ることができる。また、情報処理装置３０は、上記で取得した情動情報に用いて行動‐情動ＤＢ３９５を検索し、得られた行動情報に対応する動作を動作装置１０に実行させることができる。

　図１Ｂは、本実施形態に係る生体‐情動ＤＢに基づいた動作制御の概要を説明するための図である。図１Ｂに示す一例は、情報処理装置３０がウェアラブル端末２０から受信したユーザの生体情報に基づいて、動作装置１０の動作を制御する場合を示している。なお、図１Ｂに示す一例では、動作装置１０は、例えば、ウェアラブルカメラなどの撮像装置であってもよい。

　図１Ｂに示す一例では、ウェアラブル端末２０は、被写体Ｏ１を視認した際のユーザＰ１の生体情報を取得し、情報処理装置３０に送信してよい。この際、情報処理装置３０は、受信した生体情報を用いて生体‐情動情報３９０を検索し、当該生体情報に関連付いた情動情報を取得することができる。また、情報処理装置３０は、上記で取得した情動情報を用いて行動‐情動ＤＢ３９５を検索し、当該情動情報に基づいた行動情報を取得する。具体的には、情報処理装置３０は、受信した生体情報に関連付いた、「興味」に係る情動情報を生体‐情動情報３９０から取得することができる。また、情報処理装置３０は、「興味」に関連付いた、「シャッターを切る」動作に係る行動情報を行動‐情動ＤＢ３９５から取得することができる。

　また、情報処理装置３０は、上記により取得した行動情報に基づいて動作装置１０の動作制御を行うことができる。具体的には、情報処理装置３０は、動作装置１０にシャッターを切らせるための制御情報を出力してよい。この場合、動作装置１０は、受信した制御情報に基づいてシャッター操作を行い、被写体Ｏ１を撮影することができる。すなわち、本実施形態に係る情報処理装置３０は、取得したユーザの生体情報から推定される情動情報に関連付いた動作を動作装置１０に実行させることができる。情報処理装置３０が有する上記の機能によれば、推定したユーザの情動に対応する動作を動作装置１０に自動実行させることで、ユーザの操作負担を大幅に軽減し、価値の高いサービスをユーザに提供することが可能となる。

　＜＜２．３．本実施形態に係る機能構成＞＞
　次に、本実施形態に係る情報処理システムの機能構成について説明する。図２は、本実施形態に係る機能ブロック図である。図２を参照すると、本実施形態に係る情報処理システムは、生体センサ部３１０、行動測定センサ部３１５、信号処理部３２０、行動認識部３３０、情動推定部３４０、制御部３５０、動作部３６０、入力受付部３７０、及びフィードバック認識部３８０を備える。また、本実施形態に係る情報処理システムは、生体‐情動ＤＢ３９０及び行動‐情動ＤＢ３９５を有してよい。

　また、上述したとおり、本実施形態に係るシステム構成は、提供するサービスや各装置の仕様に応じて柔軟に設計されてよい。例えば、本実施形態に係る情報処理装置３０は、信号処理部３２０、行動認識部３３０、情動推定部３４０、制御部３５０、及びフィードバック認識部３８０を備えてもよい。本実施形態に係る動作装置１０は、行動測定センサ部３１５、動作部３６０、及び入力受付部３７０を備えてもよい。また、本実施形態に係るウェアラブル端末２０は、生体センサ部３１０を備えてもよい。なお、ウェアラブル端末２０は、行動測定センサ部３１５をさらに備えてもよい。この場合は、ウェアラブル端末２０は、ユーザの生体情報に加え行動情報を収集することができる。

　一方、本実施形態に係る情報処理装置３０は、図２に示す各構成をすべて備えてもよい。この場合、情報処理装置３０は、図１Ａ及び図１２Ｂに示した動作装置１０及びウェアラブル端末２０の機能を兼ねることができる。以降、上記に示す各構成について詳細に説明する。

　（生体センサ部３１０）
　生体センサ部３１０は、ユーザの生体情報を計測する機能を有する。このため、生体センサ部３１０は、ユーザの生体情報を計測するための各種のセンサを含んでよい。生体センサ部３１０は、例えば、ユーザの脈波、発汗、血圧、筋電位、心電、眼電位、脳波、瞳孔開口率、または体温などを計測するためのセンサを含むことができる。

　（行動測定センサ部３１５）
　行動測定センサ部３１５は、デバイス操作を含むユーザの行動に係るセンサ情報を検知する機能を有する。このため、行動測定センサ部３１５は、ユーザの行動に係るセンサ情報を検知するための各種のセンサを含んでよい。行動測定センサ部３１５は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、気温センサ、湿度センサ、筋電センサ、音声センサ、圧力センサ、撮像センサ、マイクロフォン、ボタン、スイッチのいずれか、または組み合わせによりユーザの行動に係るセンサ情報を検知してよい。また、行動測定センサ部３１５は、上記で述べた生体センサ部３１０が備える各センサをさらに備えてもよい。

　（信号処理部３２０）
　信号処理部３２０は、生体センサ部３１０が取得した生体情報の一部またはすべてに対してノイズ除去や特徴抽出を行う機能を有する。この際、信号処理部３２０は、生体センサ部３１０が取得した生体情報に対して、ノイズ除去と特徴抽出の両方を行ってもよいし、いずれか一方の処理を行ってもよい。信号処理部３２０は、生体センサ部３１０が取得した生体情報の種類に応じた処理を行うことができる。

　（行動認識部３３０）
　行動認識部３３０は、行動測定センサ部３１５が取得したユーザの行動に係るセンサ情報に基づいてユーザの行動を認識し、行動情報を出力する機能を有する。この際、行動認識部３３０は、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ニューラルネットワーク、回帰モデルなどの機械学習手法または統計的手法に基づいて、ユーザの行動を認識してもよい。

　図３は、行動認識部３３０がセンサ情報に基づいて出力する行動情報の一例を示した図である。図３を参照すると、行動認識部３３０は、例えば、行動測定センサ部３１５が検知したボタン操作に基づいて、シャッターを切る、というユーザの行動を認識することができる。また、行動認識部３３０は、行動測定センサ部３１５が検知した筋電位情報に基づいて、あくびをする、というユーザの行動を認識してもよい。

　（情動推定部３４０）
　情動推定部３４０は、信号処理部３２０から出力される生体情報に基づいて生体‐情動ＤＢ３９０を参照し、当該生体情報から推定される情動情報を出力する機能を有する。この際、情動推定部３４０が出力する上記の情動情報には、情動の種類や度合いが含まれてよい。

　図４は、本実施形態に係る生体‐情動ＤＢ３９０に記憶されるデータの構成例を示した図である。より詳細には、図４は、個人化された生体‐情動ＤＢ３９０に記憶される個人化済のデータ構成例であってよい。すなわち、生体‐情動ＤＢ３９０には、個人の特徴に基づいた生体情報と情動情報とが関連付けられて記憶されている。情動推定部３４０は、信号処理部３２０から出力される生体情報の特徴と、生体‐情動ＤＢ３９０に記憶される生体情報の特徴と、を比較することで生体情報に関連付いた情動情報を出力することができる。

　この際、情動推定部３４０は、例えば、信号処理部３２０から出力される生体情報と生体‐情動ＤＢ３９０に記憶される情報とを、ＳＶＭ、ニューラルネットワーク、回帰モデルなどの機械学習手法または統計的手法により処理することで、ユーザごとまたはユーザの行動ごとなどに応じた情動情報を出力してもよい。

　（制御部３５０）
　制御部３５０は、ユーザの生体情報から得られた情動情報を取得し、当該情動情報に関連付いた行動情報に基づいて、ユーザの生体情報に対応する動作部３６０の動作に係る制御情報を出力する機能を有する。すなわち、制御部３５０は、情動推定部３４０が出力した情動情報に基づいて当該情動情報に関連付いた行動情報を行動‐情動ＤＢ３９５から取得する機能を有する。また、制御部３５０は上記で取得した行動情報に基づいて、動作部３６０の動作を制御する機能を有する。

　図５は、本実施形態に係る行動‐情動ＤＢ３９５に記憶されるデータの構成例を示した図である。図５を参照すると、行動‐情動ＤＢ３９５には、行動情報と情動情報とが関連付けられて記憶されている。図５に示すように、行動‐情動ＤＢ３９５に記憶される行動情報には、動作部３６０に実行させる動作を示す情報が含まれてよい。制御部３５０は、情動推定部３４０が出力した情動情報に関連付いた行動情報を取得し、当該行動情報に基づいて動作部３６０に実行させる動作を制御することができる。

　また、行動‐情動ＤＢ３９５に記憶される行動情報には、ユーザにより実施された過去のデバイス操作を係る情報が含まれてよい。制御部３５０は、取得した情動の種類及び感情に関連付いた行動情報に基づいて、上記のデバイス操作と同様の動作を動作部３６０に実行させることができる。例えば、図５を参照すると、行動‐情動ＤＢ３９５が記憶する行動情報には、ユーザが過去に実施した、シャッターを切る、というデバイス操作に係る情報が含まれている。この際、制御部３５０は、情動推定部３４０が出力した情動情報が、大きな興味、を示すことに基づいて、動作部３６０に、シャッターを切る、動作を実行させることができる。

　また、行動‐情動ＤＢ３９５に記憶される行動情報には、ユーザに推奨するデバイス動作に係る情報が含まれてよい。制御部３５０は、取得した情動の種類及び感情に基づいた行動情報に基づいて、上記のユーザに推奨するデバイス動作を動作部３６０に実行させることができる。例えば、図５を参照すると、行動‐情動ＤＢ３９５が記憶する行動情報には、休息アラートの送信、などユーザに推奨するデバイス動作に係る情報が含まれている。この際、制御部３５０は、情動推定部３４０が出力した情動情報が、不安、を示すことに基づいて、動作部３６０に、休息アラートを送信させることができる。

　さらに、制御部３５０は、ユーザの行動情報が取得されたことに基づいて、当該行動情報に関連付いた情動情報を取得し、当該情動情報と取得された生体情報とを関連付けて生体‐情動ＤＢに記憶させることができる。すなわち、制御部３５０は、行動認識部３３０が出力した行動情報に基づいて、行動‐情動情報３９５から情動情報を取得することができる。また、制御部３５０は、上記で取得した情動情報と、信号処理部３２０が出力する生体情報と、を関連付けて生体‐情動ＤＢ３９０に記憶させることができる。

　（動作部３６０）
　動作部３６０は、制御部３５０から出力される制御情報に基づいて種々の動作を実行する機能を有する。例えば、動作部３６０は、制御部３５０から出力される制御情報に基づいて、シャッターを切る動作を実行してもよい。動作部３６０は、動作部３６０を備える装置の仕様に応じた各種の動作を実行することができる。

　（入力受付部３７０）
　入力受付部３７０は、ユーザによる入力操作を受け付ける機能を有する。このため、入力受付部３７０は、キーボード、マウス、タッチパネル、マイクロフォン、及びボタンなどの入力装置を備えてもよい。

　（フィードバック認識部３８０）
　フィードバック認識部３８０は、動作部３６０の動作に対するユーザからのフィードバックを認識する機能を有する。この際、フィードバック認識部３８０は、入力受付部３７０が受け付けるユーザの入力操作に基づいて、ユーザからのフィードバックを認識してよい。また、上記のフィードバックには、動作部３６０の動作に対するユーザの評価が含まれてよい。

　また、フィードバック認識部３８０は、上記のフィードバックに基づいて、該当する生体情報と情動情報との間の相関強度に係る修正を制御してよい。フィードバック認識部３８０は、動作部３６０の動作に対するユーザの評価が否定的であることに基づいて、該当する生体情報と情動情報との間の相関強度を弱める制御を行うことができる。あるいは、フィードバック認識部３８０は、動作部３６０の動作に対するユーザの評価が肯定的であることに基づいて、該当する生体情報と情動情報との間の相関強度を強める制御を行うことができる。

　例えば、制御部３５０が、取得された生体情報に基づいて動作部３６０にシャッターを切らせる制御を行った場合、フィードバック認識部３８０は、撮影された画像に対するユーザの操作を認識することができる。この際、例えば、フィードバック認識部３８０は、撮影された画像をユーザが削除したことに基づいて、制御部３５０が動作部３６０を制御する際に用いた生体情報と情動情報との間の相関強度を弱める制御を行ってよい。

　一方、例えば、フィードバック認識部３８０は、撮影された画像をユーザが保存したことに基づいて、制御部３５０が動作部３６０を制御する際に用いた生体情報と情動情報との間の相関強度を強める制御を行うこともできる。この際、フィードバック認識部３８０は、例えば、ＳＶＭを用いて生成したモデルにおけるサポートベクタの重みを強めてもよい。また、例えば、フィードバック認識部３８０は、構築したニューラルネットワークモデルにおける結合重みを強めることもできる。

　本実施形態に係るフィードバック認識部３８０が有する上記の機能によれば、ユーザのフィードバックに応じて、生体情報と情動情報との間の相関強度を適宜修正することが可能となり、より精度の高い情動推定を実現することが可能となる。

　また、フィードバック認識部３８０は、ユーザからのフィードバックに基づいて、該当する行動情報と情動情報との間の関連付けに係る修正を制御してよい。フィードバック認識部３８０は、動作部３６０の動作に対するユーザの評価が否定的であることに基づいて、該当する情動情報と行動情報との間の関連付けを削除する制御を行うこともできる。

　例えば、フィードバック認識部３８０は、撮影された画像をユーザが所定の回数以上削除したことに基づいて、制御部３５０が動作部３６０を制御する際に用いた行動情報と情動情報との間の対応付けを削除することもできる。

　本実施形態に係るフィードバック認識部３８０が有する上記の機能によれば、ユーザのフィードバックに応じて、行動情報と情動情報との間の対応付けを適宜修正することが可能となり、より価値の高いサービス提供を実現することが可能となる。

　（生体‐情動ＤＢ３９０）
　生体‐情動ＤＢ３９０は、取得されたユーザの生体情報と情動情報とを関連付けて記憶する情報データベースである。ここで、上記の情動情報は、行動認識部３３０が出力した行動情報に基づいて、制御部３５０が行動‐情動情報３９５から取得した情動情報であってよい。図４を用いて説明したように、本実施形態に係る生体‐情動ＤＢ３９０は、生体情報の特徴と情動の種類及び度合いとを関連付けて記憶することができる。

　また、本実施形態に係る生体‐情動ＤＢ３９０は、ユーザまたはユーザの行動ごとに生成される情報データベースであってよい。制御部３５０が、ユーザまたはユーザの行動ごとに生体‐情動ＤＢ３９０を生成することで、ユーザの特性に応じた精度の高い情動推定を実現することが可能となる。

　（行動‐情動ＤＢ３９５）
　行動‐情動ＤＢ３９５は、ユーザの行動情報と情動情報とを関連付けて記憶する情報データベースである。本実施形態に係る行動‐情動ＤＢ３９５は、動作部３６０の有する機能に応じて予め設定されたデータベースであってよい。図５を用いて説明したように、本実施形態に係る行動‐情動ＤＢ３９５は、情動の種類及び度合いと動作部３６０に実行させる動作とを関連付けて記憶することができる。

　＜＜２．４．生体‐情動ＤＢの生成に係る流れ＞＞
　以上、本実施形態に係る情報処理システムの機能構成について説明した。次に、本実施形態に係る生体‐情動ＤＢ３９０の生成に係る流れについて詳細に説明する。図６は、本実施形態に係る生体‐情動ＤＢ３９０の生成に係る流れを示すフローチャートである。なお、以下の説明においては、情報処理装置３０が信号処理部３２０、行動認識部３３０、情動推定部３４０、制御部３５０、及びフィードバック認識部３８０を備える場合を例に説明する。また、この際、動作装置１０は、行動測定センサ部３１５、動作部３６０、及び入力受付部３７０を備える装置であってよい。また、ウェアラブル端末２０は、生体センサ部３１０を備えてよい。

　図６を参照すると、まず情報処理装置３０の信号処理部３２０は、ウェアラブル端末２０の生体センサ部３１０から取得した生体情報に対する信号処理を実施する（Ｓ１１０１）。上述したとおり、この際、信号処理部３２０は、取得した生体情報に対するノイズ除去や、生体情報の種類に応じた特徴抽出などを行ってよい。

　より具体的には、例えば、生体センサ部３１０から取得した生体情報が脈波を含む場合、信号処理部３２０は、ハイパスフィルタによるドリフト除去や、拍動間隔計算などによる特徴抽出を行うことができる。また、取得した生体情報が発汗に係る情報を含む場合、信号処理部３２０は、ダウンサンプリングや、インパルス応答関数を用いた逆畳み込み演算などを行うことができる。上記のように、信号処理部３２０が生体情報に応じた適切な信号処理を行うことで、より効率的な情動推定を実現することが可能となる。また、信号処理部３２０は、上記の処理により出力した生体情報を所定の時間だけ保持してよい。

　次に、情報処理装置３０の行動認識部３３０は、動作装置１０の行動測定センサ部３１５からユーザの行動に係るセンサ情報を受信したか否かを判定する（Ｓ１１０２）。ここで、行動測定センサ部３１５からユーザの行動に係るセンサ情報を受信できない場合（Ｓ１１０２：ＮＯ）、情報処理装置３０は、ステップＳ１１０１に復帰し、生体情報に係る信号処理を繰り返し実行してよい。

　一方、行動測定センサ部３１５からユーザの行動に係るセンサ情報を受信した場合（Ｓ１１０２：ＹＥＳ）、行動認識部３３０は、受信したセンサ情報に基づいて行動認識を行う（Ｓ１１０３）。この際、例えば、行動認識部３３０は、行動測定センサ部３１５からシャッターボタンに係るセンサ情報を受信したことに基づいて、ユーザによる写真撮影を認識することができる。

　また、例えば、行動認識部３３０は、行動測定センサ部３１５が備える加速度センサにより取得されたセンサ情報を、ＳＶＭ、ニューラルネットワーク、回帰モデルなどの機械学習手法または統計的手法により処理することで、ユーザのあくびを認識することもできる。

　また、例えば、行動認識部３３０は、行動測定センサ部３１５が備えるマイクロフォンにより取得された音声情報を上記の機械学習手法または統計的手法により処理することで、ユーザが笑ったことや泣いたこと、を認識してもよい。

　次に、情報処理装置３０の制御部３５０は、ステップＳ１１０３において認識されたユーザの行動情報に関連付いた情動情報を行動‐情動ＤＢ３９５から取得する（Ｓ１１０４）。

　続いて、制御部３５０は、ステップＳ１１０１において信号処理された生体情報と、ステップＳ１１０４において取得された情動情報と、を関連付けて生体‐情動ＤＢ３９０に記憶させる（Ｓ１１０５）。

　以上、本実施形態に係る生体‐情動ＤＢ３９０の生成に係る流れについて説明した。上記で説明したとおり、本実施形態に係る情報処理装置３０は、ユーザの行動情報に関連付いた情動情報と、取得した生体情報とを関連付けて生体‐情動ＤＢ３９０に記憶させることができる。本実施形態に係る情報処理装置３０が有する上記の機能によれば、ユーザまたはユーザの行動ごとに生体‐情動ＤＢ３９０を生成することが可能となり、ユーザの特性に応じた精度の高い情動推定を実現することが可能となる。

　＜＜２．５．生体‐情動ＤＢを用いた動作制御の流れ＞＞
　次に本実施形態に係る生体‐情動ＤＢ３９０を用いた動作制御の流れについて詳細に説明する。図７は、本実施形態に係る生体‐情動ＤＢ３９０を用いた動作制御の流れを示すフローチャートである。なお、以下の説明においては、情報処理装置３０が信号処理部３２０、行動認識部３３０、情動推定部３４０、制御部３５０、及びフィードバック認識部３８０を備える場合を例に説明する。また、この際、動作装置１０は、行動測定センサ部３１５、動作部３６０、及び入力受付部３７０を備える装置であってよい。また、ウェアラブル端末２０は、生体センサ部３１０を備えてよい。

　図７を参照すると、まず情報処理装置３０の信号処理部３２０は、ウェアラブル端末２０の生体センサ部３１０から取得した生体情報に対する信号処理を実施する（Ｓ１２０１）。この際、信号処理部３２０は、図６のステップＳ１１０１に示した処理と同様の処理を行ってよい。

　次に、情報処理装置３０の情動推定部３４０は、ステップＳ１２０１において処理された生体情報に基づいて生体‐情動ＤＢ３９０を参照し、当該生体情報から推定される情動情報を出力する（Ｓ１２０２）。なお、この際、出力される情動情報には情動の種類及び度合いが含まれてよい。

　次に、情報処理装置３０の制御部３５０は、ステップＳ１２０２において出力された情動情報に基づいて行動‐情動ＤＢ３９５を参照し、当該情動情報に関連付いた行動情報が存在するか否かを判定する（Ｓ１２０３）。すなわち、制御部３５０は、情動情報に含まれる情動の種類と度合いが予め設定された条件に一致するか否かを判定してよい。

　ここで、ステップＳ１２０２で出力された情動情報に一致する行動情報が存在しない場合（Ｓ１２０３：ＮＯ）、情報処理装置３０は、ステップＳ１２０２に復帰し、以降の処理を繰り返し実行してよい。

　一方、ステップＳ１２０２で出力された情動情報に一致する行動情報が取得された場合（Ｓ１２０３：ＹＥＳ）、制御部３５０は、取得された行動情報に基づいて、動作装置１０の動作部３６０の動作制御を行う（Ｓ１２０４）。すなわち、制御部３５０は、動作部３６０の動作に係る制御情報を送信してよい。

　以上、本実施形態に係る生体‐情動ＤＢ３９０を用いた動作制御の流れについて説明した。上記で説明したとおり、本実施形態に係る情報処理装置３０は、ユーザの生体情報から推定される情動情報に基づいて、当該情動情報に関連付いた行動情報を取得することができる。また、情報処理装置３０は、取得した行動情報に基づいて動作部３６０の動作を制御することができる。本実施形態に係る情報処理装置３０が有する上記の機能によれば、推定されるユーザの情動に基づく種々の処理を動作部３６０に実行させることが可能となり、ユーザの処理負担を大幅に軽減し、より価値の高いサービスを提供することが可能となる。

　＜＜２．６．第１の実施形態に係る変形例＞＞
　以上、本実施形態に係る情報処理装置３０が有する機能について詳細に説明した。上述したとおり、本実施形態に係る情報処理装置３０は、ユーザの行動情報と生体情報とに基づいて、生体‐情動ＤＢ３９０を生成する機能を有する。また、本実施形態に係る情報処理装置３０は、生成した生体‐情動ＤＢ３９０を用いて、ユーザの生体情報に対応する動作部３６０の動作を制御する機能を有する。一方、上記で述べた情報処理装置３０の機能は、情報処理装置３０の仕様や運用などに応じて適宜変形され得る。以降、本実施形態に係る変形例について説明する。

　（生体‐行動ＤＢの生成）
　上記の説明では、情報処理装置３０が、ユーザの生体情報と、行動情報に関連付いた情動情報と、を関連付けて生体‐情動ＤＢ３９０を生成する場合を例に説明した。一方、本実施形態に係る情報処理装置３０は、情動情報を介さずに、生体情報と行動情報とを関連付けてもよい。すなわち、情報処理装置３０は、取得された生体情報と行動情報とを関連付けた生体‐行動ＤＢを生成することもできる。

　この場合、情報処理装置３０は、行動情報に関連付いた情動情報が登録されていない場合でも、ユーザの生体情報に基づいた動作を動作部３６０に実行させることができる。また、情報処理装置３０は、後に行動情報に関連付いた情動情報が登録された場合、生体‐行動ＤＢに記憶される行動情報を登録された情動情報に変換することで、生体－情動ＤＢ３９０を生成することが可能である。

　（生成済の生体‐情動ＤＢの活用）
　また、上記の説明では、情報処理装置３０がユーザの行動情報と生体情報とに基づいて、生体‐情動ＤＢ３９０を生成する場合を例に説明した。一方、本実施形態に係る情報処理装置３０は、生成済の生体－情動ＤＢ３９０を、異なる生体センサ部３１０により取得された生体情報の教師に用いることができる。この場合、情報処理装置３０は、生成済の生体－情動ＤＢ３９０に基づいて推定される情動情報を教師に、生体－情動ＤＢ３９０を修正することが可能である。

　（生体‐情動ＤＢを用いた個人認証）
　また、上記の説明では、情報処理装置３０による生体‐情動ＤＢ３９０を用いた動作部３６０の動作制御を中心に説明したが、本実施形態に係る情報処理装置３０は、生体‐情動ＤＢ３９０を用いた個人認証を行うことも可能である。この場合、情報処理装置３０は、ユーザごとに生成された生体‐情動ＤＢ３９０に基づいて、ユーザからのフィードバックを判定し個人認証を行うことができる。情報処理装置３０は、例えば、動作部３６０の動作に対するユーザからのフィードバックが生体‐情動ＤＢ３９０に記憶される情報と所定以上一致することに基づいて、上記の個人認証を行ってもよい。

　（周辺ユーザから推定される情動情報の活用）
　また、上記の説明では、ユーザが装着するウェアラブル端末２０により取得した生体情報から情動情報を推定する場合を例に述べた。一方、本実施形態に係る情報処理装置３０は、ユーザの周囲に存在する別のユーザから取得された生体情報から情動情報を推定し、当該情動情報を教師に生体‐情動ＤＢ３９０を生成してもよい。この際、上記の別のユーザが装着するウェアラブル端末２０と情報処理装置３０とは、ネットワーク４０を介して接続されてよい。

　＜３．第２の実施形態＞
　次に、本開示に係る第２の実施形態について説明する。上述した第１の実施形態では、情報処理装置３０が推定されるユーザの情動情報に基づいて、撮像装置である動作装置１０の動作を制御する場合を例に説明した。一方、本実施形態に係る動作装置１０は、例えば、眼鏡型のウェアラブル端末であってよい。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「興味」に係る情動情報に基づいて、動作装置１０に係る表示制御を行うことができる。

　なお、以降に述べる本開示に係る第２～第１１の実施形態においては、第１の実施形態との差異について中心に説明し、重複する情報処理装置３０の機能については、説明を省略する。また、第２～第１１の実施形態においては、情報処理装置３０が、信号処理部３２０、行動認識部３３０、情動推定部３４０、制御部３５０、及びフィードバック認識部３８０を備える場合を例に説明する。また、動作装置１０は、行動測定センサ部３１５、動作部３６０、及び入力受付部３７０を備える装置であってよい。また、ウェアラブル端末２０は、生体センサ部３１０を備えてよい。

　図８は、本開示に係る第２の実施形態の概要を示す概念図である。図８を参照すると、本実施形態に係る動作装置１０はユーザＰ１が装着する眼鏡型のウェアラブル端末であってよい。本実施形態に係る情報処理装置３０は、ユーザＰ１と別ユーザＰ２の会話における音声情報からユーザＰ１の「興味」に係る情動情報を推定し、当該情動情報に基づいて動作装置１０の動作を制御してよい。

　具体的には、本実施形態に係る情報処理装置３０は、音声情報からユーザＰ１の「興味」に係る情動情報を推定した場合、直前の発言内容から抽出したキーワードの意味などを検索し、動作装置１０に表示させることができる。この場合、情報処理装置３０は、ユーザがキーワードを検索する際の生体情報に、「興味」を弱教師として付加することで、予め興味‐生体ＤＢを生成してよい。

　図８に示す一例には、情報処理装置３０により制御される動作装置１０表示部Ｓ１が示されている。また、表示部Ｓ１上には、動作装置１０が情報処理装置３０による制御に基づいて表示するテキスト情報Ｔ１～Ｔ３が表示されている。このように、本実施形態に係る情報処理装置３０は、音声認識により推定されるユーザの「興味」に基づいて、インターネット上などから取得したテキスト情報や画像情報を動作装置１０に表示させることができる。なお、図８では、シースルーグラスなどにより実現される表示部Ｓ１を介したユーザＰ１の視認範囲を例示している。

　また、本実施形態に係る情報処理装置３０は、ユーザの視線をフィードバックとして、興味‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、表示部Ｓ１上に表示されるテキストＴ１～Ｔ３にユーザが視線を向けないことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜４．第３の実施形態＞
　次に、本開示に係る第３の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「眠気」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「眠気」に係る情動情報は、ユーザのあくびに関連付いたものであってよい。ウェアラブル端末２０は、筋電センサによりユーザのあくびを検知し、情報処理装置３０に当該検知情報を送信することができる。

　図９は、本開示に係る第３の実施形態の概要を示す概念図である。図９を参照すると、本実施形態に係る動作装置１０はネットワーク４０に接続する機能を有する照明装置であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「眠気」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係る照明制御を行うことができる。

　この場合、情報処理装置３０は、ユーザがあくびを行った際の前後所定時間に含まれる脈波、心電、発汗などの生体情報に、「眠気」を弱教師として付加することで、予め眠気‐生体ＤＢを生成してよい。本実施形態に係る情報処理装置３０は、取得された生体情報と上記の眠気‐生体ＤＢにより推定されるユーザの「眠気」に基づいて、動作装置１０の照明を弱める制御や、発光色を暖色に変更する制御を行うことができる。

　また、本実施形態に係る情報処理装置３０は、ユーザの照明操作をフィードバックとして、眠気‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザが動作装置１０の照明を強めたことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜５．第４の実施形態＞
　次に、本開示に係る第４の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「退屈」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「退屈」に係る情動情報は、ユーザの視線に関連付いたものであってよい。ウェアラブル端末２０は、ユーザの視線が所定時間以上、変化しないことを検知し、情報処理装置３０に当該検知情報を送信することができる。この際、ウェアラブル端末２０は、視線計測センサなどにより取得される撮像情報に基づいてユーザの視線を判定してよい。

　図１０は、本開示に係る第４の実施形態の概要を示す概念図である。図１０を参照すると、本実施形態に係る動作装置１０はスマートフォンなどの情報処理端末であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「退屈」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係るアプリケーションの制御を行うことができる。具体的には、本実施形態に係る情報処理装置３０は、チャットアプリケーションにおけるユーザの状態を「退屈中」などに変更してもよい。また、情報処理装置３０は、チャットアプリケーションにおける表示の制御をおこなってもよい。

　図１０を参照すると、動作装置１０の表示部Ｓ１には、チャットアプリケーションに係る画面が表示されている。また、当該画面上にはメンバーＭ１～Ｍ４を示すアイコンが表示されている。図１０に示す一例においては、情報処理装置３０は、メンバーＭ１に該当するユーザの生体情報から推定された「退屈」に係る情動情報に基づいて、メンバーＭ１の状態を「退屈中」に変更している。また、情報処理装置３０は、メンバーＭ１に対応付けて他のメンバーＭ２～Ｍ４に対するウィンドウＷ１を表示させている。この際、情報処理装置３０は、ウィンドウＷ１にリストＬ１を含ませて表示させてもよい。情報処理装置３０は、取得されたユーザの生体情報に基づいてウィンドウＷ１やリストＬ１に表示させる内容を制御してよい。

　この場合、情報処理装置３０は、ウェアラブル端末２０がユーザの視線が所定時間変化しないことを検知したことに基づいて、当該検知の前後所定時間に含まれる脈波、心電、発汗などの生体情報に「退屈」を弱教師として付加し、予め退屈‐生体ＤＢを生成してよい。

　また、本実施形態に係る情報処理装置３０は、ユーザによるチャットアプリケーションの状態操作をフィードバックとして、退屈‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザがチャットアプリケーションの状態を「多忙中」などに変更したことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜６．第５の実施形態＞
　次に、本開示に係る第５の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「驚き」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「驚き」に係る情動情報は、ユーザの瞬間的な動作に関連付いたものであってよい。すなわち、本実施形態では、ユーザが驚いた際に観察される体の動きを行動情報として認識してよい。この際、ウェアラブル端末２０は、加速度センサによりユーザの瞬間的な動作を検知し、情報処理装置３０に当該検知情報を送信することができる。

　図１１は、本開示に係る第５の実施形態の概要を示す概念図である。図１１を参照すると、本実施形態に係る動作装置１０はスマートフォンなどの情報処理端末であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「驚き」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係る表示制御を行うことができる。具体的には、本実施形態に係る情報処理装置３０は、天球カメラなどにより取得された動画像から、ユーザの「驚き」が推定された時刻に係るフレーム画像を切り出し、当該フレーム画像を動作装置１０に表示させることができる。

　図１１を参照すると、動作装置１０の表示部Ｓ１には、コンテンツＣ１に係る画面、及びウィンドウＷ２が表示されている。また、ウィンドウＷ２には、画像Ｐ１、ボタンＢ１及びボタンＢ２が含まれている。ここで、ウィンドウＷ２に表示される画像Ｐ１は、天球カメラなどにより取得された動画像に基づいて取得されたフレーム画像であってよい。また、ボタンＢ１及びＢ２は、それぞれ画像の保存または破棄に係る操作を行うためのボタンであってよい。

　本実施形態に係る情報処理装置３０は、ウェアラブル端末２０がユーザの瞬間的な体の動きを検知したことに基づいて、当該検知の前後所定時間に含まれる脈波、心電、発汗などの生体情報に「驚き」を弱教師として付加し、予め驚き‐生体ＤＢを生成してよい。

　また、本実施形態に係る情報処理装置３０は、ユーザによるボタンＢ１またはＢ２の操作をフィードバックとして、驚き‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザが画像Ｐ１の破棄に係るボタンＢ２を押下したことに基づいて、上記の相関強度を弱める制御を行うことができる。さらには、情報処理装置３０は、例えば、ユーザが連続して画像Ｐ１を破棄したことに基づいて、行動‐情動ＤＢ３９５に係る関連を弱める制御を行うことも可能である。

　＜７．第６の実施形態＞
　次に、本開示に係る第６の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「悲しみ」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「悲しみ」に係る情動情報は、ユーザの涙に関連付いたものであってよい。本実施形態に係る動作装置１０は、涙腺センサなどによりユーザの涙を検知し、情報処理装置３０に当該検知情報を送信することができる。このため、本実施形態に係る動作装置１０は、生体センサ部３１０をさらに備えてよい。

　図１２は、本開示に係る第６の実施形態の概要を示す概念図である。図１２を参照すると、本実施形態に係る動作装置１０はコンタクト型のウェアラブル端末であってよい。本実施形態に係る情報処理装置３０は、動作装置１０が検知したユーザの涙に基づいてユーザの「悲しみ」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に格言などを表示させることができる。図１２に示す一例では、情報処理装置３０は、動作装置１０の表示部Ｓ１に格言に係るテキスト情報Ｔ４を表示させている。なお、この際、情報処理装置３０は、涙腺センサによる涙検知に加え、マイクロフォンによる音声認識や加速度センサによる動作認識にさらに基づいて、ユーザの「悲しみ」を推定することもできる。この場合、情報処理装置３０が、「悲しみ」に起因しないユーザの涙を区別することが可能となり、より精度の高い情動推定が実現される。

　この場合、情報処理装置３０は、ユーザが涙を流した前後所定時間に含まれる脈波、心電、発汗などの生体情報に、「悲しみ」を弱教師として付加することで、予め悲しみ‐生体ＤＢを生成してよい。本実施形態に係る情報処理装置３０は、取得された生体情報と上記の悲しみ‐生体ＤＢとから推定されるユーザの「悲しみ」に基づいて、インターネット上などから励ましに関連する格言などを検索し、当該格言に係る情報を動作装置１０に表示させることができる。

　また、本実施形態に係る情報処理装置３０は、ユーザの視線をフィードバックとして、悲しみ‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、表示部Ｓ１に表示されるテキストＴ４にユーザが視線を向けないことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜８．第７の実施形態＞
　次に、本開示に係る第７の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「喜び」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「喜び」に係る情動情報は、ユーザの笑顔に関連付いたものであってよい。ウェアラブル端末２０は、筋電センサによりユーザの笑顔を検知し、情報処理装置３０に当該検知情報を送信することができる。

　図１３は、本開示に係る第７の実施形態の概要を示す概念図である。図１３を参照すると、本実施形態に係る動作装置１０はスマートフォンなどの情報処理端末であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「喜び」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係る機能制御を行うことができる。

　具体的には、本実施形態に係る情報処理装置３０は、ユーザの「喜び」に係る情動情報が推定されたことに基づいて、動作装置１０に、ユーザの周囲環境に存在する物体を認識させ、当該物体を「ラッキーアイテム」として記憶させることができる。この際、動作装置１０は、広く用いられる物体認識や人認識などの手法を用いて上記の物体認識を行ってもよい。

　本実施形態に係る情報処理装置３０は、ユーザの笑顔を検知した前後所定時間に含まれる脈波、心電、発汗などの生体情報に、「喜び」を弱教師として付加することで、予め喜び‐生体ＤＢを生成してよい。

　また、本実施形態に係る情報処理装置３０は、上記の「ラッキーアイテム」に係る動作装置１０の表示を制御してもよい。図１３を参照すると、動作装置１０の表示部Ｓ１にはＯＳのホーム画面が表示されている。また、この際、上記のホーム画面には、「ラッキーアイテム」に係るアイコンＩ１～Ｉ４が表示されている。ここで、アイコンＩ１は、ホーム画面に配置される「ラッキーアイテム」に係るアプリケーションボタンなどであってよい。また、アイコンＩ２～Ｉ４は、アイコンＩ１を押下した際に展開される「ラッキーアイテム」に係る画像情報であってよい。なお、アイコンＩ２～Ｉ４に係る画像情報は、上記の物体認識に基づいて設定される画像情報であってよい。このように、本実施形態に係る情報処理装置３０は、「ラッキーアイテム」に係る動作装置１０の表示を制御することが可能である。

　また、本実施形態に係る情報処理装置３０は、ユーザの画面操作をフィードバックとして、喜び‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザが「ラッキーアイテム」を削除したことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜９．第８の実施形態＞
　次に、本開示に係る第８の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「幸福感」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「幸福感」に係る情動情報は、ユーザによるＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）への投稿に関連付いたものであってよい。動作装置１０は、ユーザによるＳＮＳ投稿を検知し、情報処理装置３０に当該検知情報を送信することができる。

　本実施形態に係る情報処理装置３０は、ユーザによるＳＮＳ投稿が検知された前後所定時間に含まれる脈波、心電、発汗などの生体情報に、「幸福感」を弱教師として付加することで、予め幸福感‐生体ＤＢを生成してよい。

　図１４は、本開示に係る第８の実施形態の概要を示す概念図である。図１４を参照すると、本実施形態に係る動作装置１０はスマートフォンなどの情報処理端末であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「幸福感」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係る機能制御を行うことができる。

　具体的には、本実施形態に係る情報処理装置３０は、ユーザの「幸福感」に係る情動情報が推定された場合、動作装置１０にユーザの周囲環境に存在する物体や人物を認識させ、認識結果に基づいた日記を作成させることができる。この際、上記の日記は、物体認識または人認識の結果に基づいて自動生成されるテキスト情報や画像情報を含んでよい。

　図１４は、動作装置１０の表示部Ｓ１に表示される日記の一例を示している。図１４を参照すると、日記に係るコンテンツＣ２には、上記で説明したテキスト情報や、物体認識や人認識の結果に基づくアイコンＩ６及びＩ７が表示されている。また、日記に係るコンテンツＣ２には、日記を編集するためのボタンＢ３が配置されている。

　この際、本実施形態に係る情報処理装置３０は、ユーザによる画面操作をフィードバックとして、幸福感‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザがボタンＢ３を押下し日記を編集したことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜１０．第９の実施形態＞
　次に、本開示に係る第９の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「不幸感」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「不幸感」に係る情動情報は、ユーザの視線に関連付いたものであってよい。ウェアラブル端末２０は、ユーザの視線が所定時間以上、下を向いていることを検知し、情報処理装置３０に当該検知情報を送信することができる。この際、ウェアラブル端末２０は、視線計測センサなどにより取得される撮像情報に基づいてユーザの視線を判定してよい。

　また、本実施形態に係る情報処理装置３０は、ウェアラブル端末２０がユーザの視線が所定時間、下を向いていることを検知したことに基づいて、当該検知の前後所定時間に含まれる脈波、心電、発汗などの生体情報に「不幸感」を弱教師として付加し、予め不幸感‐生体ＤＢを生成してよい。

　図１５Ａは、本開示に係る第９の実施形態の概要を示す概念図である。図１５Ａを参照すると、本実施形態に係る動作装置１０はスマートフォンなどの情報処理端末であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「不幸感」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係る表示制御を行うことができる。具体的には、本実施形態に係る情報処理装置３０は、店頭で利用可能な電子クーポンを取得し、当該電子クーポンを動作装置１０に表示させることができる。

　図１５Ａを参照すると、動作装置１０の表示部Ｓ１には、ユーザが閲覧するコンテンツＣ３上に上記で説明した電子クーポンの表示に係るウィンドウＷ３が表示されている。また、ウィンドウＷ３には、電子クーポンの保存または破棄に係るボタンＢ４及びＢ５が表示されている。

　また、図１５Ｂは、本実施形態に係る動作装置１０の別の制御例を示す一例である。図１５Ｂに示す一例では、動作装置１０は卓上プロジェクタなどの装置であってよい。このように、本実施形態に係る情報処理装置３０は、ユーザの周囲にある動作装置１０を、ネットワーク４０などを介して認識し、認識した動作装置１０の表示制御を行ってもよい。

　また、本実施形態に係る情報処理装置３０は、ユーザによるボタン操作をフィードバックとして、不幸感‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザが電子クーポンの破棄に係るボタンＢ５を押下したことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜１１．第１０の実施形態＞
　次に、本開示に係る第１０の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「集中」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「集中」に係る情動情報は、ユーザの姿勢に関連付いたものであってよい。ウェアラブル端末２０は、ジャイロセンサにより着席時におけるユーザの姿勢を検知し、情報処理装置３０に当該検知情報を送信することができる。

　また、本実施形態に係る情報処理装置３０は、ウェアラブル端末２０がユーザの姿勢が良いことを検知したことに基づいて、当該検知の前後所定時間に含まれる脈波、心電、発汗などの生体情報に「集中」を弱教師として付加し、予め集中‐生体ＤＢを生成してよい。

　図１６は、本開示に係る第１０の実施形態の概要を示す概念図である。図１６を参照すると、本実施形態に係る動作装置１０は机上ディスプレイなどの装置であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「集中」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係る表示制御を行うことができる。具体的には、本実施形態に係る情報処理装置３０は、動作装置１０に集中の度合いを示すインジケータやＴｏＤｏリストなどを表示させてもよい。

　図１６を参照すると、動作装置１０に表示部Ｓ１には、集中の度合いを示すインジケータＧ１と、ＴｏＤｏリストＢ６及びＢ７とが表示されている。この際、ユーザは、ＴｏＤｏリストＢ６またはＢ７を選択することで、それぞれに応じたアプリケーション画面に遷移できてもよい。

　また、本実施形態に係る情報処理装置３０は、ユーザによる画面操作をフィードバックとして、集中‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザが所定時間以上、ＴｏＤｏリストＢ６またはＢ７を選択しないことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜１２．第１１の実施形態＞
　次に、本開示に係る第１１の実施形態について説明する。本実施形態に係る情報処理装置３０は、生体情報から推定されるユーザの「興奮」に係る情動情報に基づいて、動作装置１０に係る動作制御を行うことができる。ここで、上記の「興奮」に係る情動情報は、ユーザの手の動きに関連付いたものであってもよい。ウェアラブル端末２０は、例えば、ユーザがサッカーの試合を観戦している場合において、ゴールが決められた際に、ユーザの手が挙げられたことを加速度センサにより検知し、情報処理装置３０に当該検知情報を送信することができる。また、ウェアラブル端末２０は、例えばＧＰＳから取得される情報や時刻情報に基づいて、ユーザがサッカーを観戦していることを推測してもよい。

　また、本実施形態に係る情報処理装置３０は、ウェアラブル端末２０がユーザの手が挙げられたことを検知したことに基づいて、当該検知の前後所定時間に含まれる脈波、心電、発汗などの生体情報に「興奮」を弱教師として付加し、予め興奮‐生体ＤＢを生成してよい。

　図１７は、本開示に係る第１１の実施形態の概要を示す概念図である。図１７を参照すると、本実施形態に係る動作装置１０はビデオカメラやスマートフォンなどの録画機能を有する装置であってよい。本実施形態に係る情報処理装置３０は、ウェアラブル端末２０から取得したユーザの生体情報からユーザの「興奮」に係る情動情報を推定し、当該情動情報に基づいて、動作装置１０に係る機能制御を行うことができる。具体的には、本実施形態に係る情報処理装置３０は、動作装置１０にスローモーション撮影を実行させ、撮影されたスロー映像を動作装置１０の表示部Ｓ１に表示させることができる。

　図１７を参照すると、動作装置１０の表示部Ｓ１には、通常の録画時映像に加え、ウィンドウＷ４に上記のスロー映像が表示されていることがわかる。

　また、本実施形態に係る情報処理装置３０は、ユーザによる画面操作をフィードバックとして、興奮‐生体ＤＢに係る相関強度を修正してよい。情報処理装置３０は、例えば、ユーザがスロー映像にウィンドウＷ４を非表示に切り替えたことに基づいて、上記の相関強度を弱める制御を行うことができる。

　＜１３．ハードウェア構成例＞
　次に、本開示に係る動作装置１０、ウェアラブル端末２０、及び情報処理装置３０に共通するハードウェア構成例について説明する。図１８は、本開示に係る動作装置１０、ウェアラブル端末２０、及び情報処理装置３０のハードウェア構成例を示すブロック図である。図１８を参照すると、動作装置１０、ウェアラブル端末２０、及び情報処理装置３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。

　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

　（出力装置８７９）
　出力装置８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

　＜１４．まとめ＞
　以上、説明したように、本実施形態に係る情報処理装置３０は、ユーザの行動情報と生体情報とに基づいて、生体‐情動ＤＢ３９０を生成する機能を有する。また、本実施形態に係る情報処理装置３０は、生成した生体‐情動ＤＢ３９０を用いて、ユーザの生体情報に対応する動作部３６０の動作を制御する機能を有する。係る構成によれば、ユーザの情動に係るデータをより効率的に収集し、より高精度な情動推定を実現することが可能となる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力する制御部、
　を備える、
情報処理装置。
（２）
　前記動作部の動作に対する前記ユーザからのフィードバックを認識する認識部、
　をさらに備え、
　前記認識部は、前記フィードバックに基づいて、該当する生体情報と情動情報との間の相関強度に係る修正を制御する、
前記（１）に記載の情報処理装置。
（３）
　前記認識部は、前記フィードバックに基づいて、該当する行動情報と情動情報との間の関連付けに係る修正を制御する、
前記（２）に記載の情報処理装置。
（４）
　前記フィードバックは、前記動作部の動作に対する前記ユーザの評価を含む、
前記（２）または（３）に記載の情報処理装置。
（５）
　前記認識部は、前記動作部の動作に対する前記ユーザの評価が否定的であることに基づいて、該当する生体情報と情動情報との間の相関強度を弱める制御を行う、
前記（４）に記載の情報処理装置。
（６）
　前記認識部は、前記動作部の動作に対する前記ユーザの評価が肯定的であることに基づいて、該当する生体情報と情動情報との間の相関強度を強める制御を行う、
前記（４）または（５）に記載の情報処理装置。
（７）
　前記認識部は、前記動作部の動作に対する前記ユーザの評価が否定的であることに基づいて、該当する情動情報と行動情報との間の関連付けを削除する制御を行う、
前記（４）～（６）のいずれかに記載の情報処理装置。
（８）
　前記行動情報は、前記動作部に実行させる動作を示す情報を含み、
　前記制御部は、前記行動情報に基づいて前記動作部に実行させる動作を制御する、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
　前記情動情報は、情動の種類及び度合いを含み、ユーザが所持する装置により測定された前記生体情報に基づいて取得される、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記行動情報は、ユーザにより実施された過去のデバイス操作に係る情報を含み、
　前記制御部は、前記情動の種類及び度合いに関連付いた行動情報に基づいて、前記デバイス操作と同様の動作を前記動作部に実行させる、
前記（９）に記載の情報処理装置。
（１１）
　前記行動情報は、ユーザに推奨するデバイス動作に係る情報を含み、
　前記制御部は、前記情動の種類及び度合いに関連付いた行動情報に基づいて、前記ユーザに推奨するデバイス動作を前記動作部に実行させる、
前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記制御部は、ユーザの行動情報が取得されたことに基づいて、当該行動情報に関連付いた情動情報を取得し、当該情動情報と取得された生体情報とを関連付けて記憶部に記憶させる、
前記（１）に記載の情報処理装置。
（１３）
　前記ユーザによるデバイス操作は、加速度センサ、ジャイロセンサ、気温センサ、湿度センサ、筋電センサ、音声センサ、圧力センサ、撮像センサ、マイクロフォン、ボタン、スイッチのいずれか、または組み合わせにより認識される、
前記（１１）に記載の情報処理装置。
（１４）
　プロセッサが、ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力すること、
　を含む、
情報処理方法。
（１５）
　コンピュータを、
　ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力する制御部、
　を備える、
情報処理装置、
として機能させるためのプログラム。

　１０　　　動作装置
　２０　　　ウェアラブル端末
　３０　　　情報処理装置
　３１０　　生体センサ部
　３１５　　行動測定センサ部
　３２０　　信号処理部
　３３０　　行動認識部
　３４０　　情動推定部
　３５０　　制御部
　３６０　　動作部
　３７０　　入力受付部
　３８０　　フィードバック認識部
　３９０　　生体‐情動ＤＢ
　３９５　　行動‐情動ＤＢ

Claims (15)

1. 　ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力する制御部、
   　を備える、
   情報処理装置。
2. 　前記動作部の動作に対する前記ユーザからのフィードバックを認識する認識部、
   　をさらに備え、
   　前記認識部は、前記フィードバックに基づいて、該当する生体情報と情動情報との間の相関強度に係る修正を制御する、
   請求項１に記載の情報処理装置。
3. 　前記認識部は、前記フィードバックに基づいて、該当する行動情報と情動情報との間の関連付けに係る修正を制御する、
   請求項２に記載の情報処理装置。
4. 　前記フィードバックは、前記動作部の動作に対する前記ユーザの評価を含む、
   請求項２に記載の情報処理装置。
5. 　前記認識部は、前記動作部の動作に対する前記ユーザの評価が否定的であることに基づいて、該当する生体情報と情動情報との間の相関強度を弱める制御を行う、
   請求項４に記載の情報処理装置。
6. 　前記認識部は、前記動作部の動作に対する前記ユーザの評価が肯定的であることに基づいて、該当する生体情報と情動情報との間の相関強度を強める制御を行う、
   請求項４に記載の情報処理装置。
7. 　前記認識部は、前記動作部の動作に対する前記ユーザの評価が否定的であることに基づいて、該当する情動情報と行動情報との間の関連付けを削除する制御を行う、
   請求項４に記載の情報処理装置。
8. 　前記行動情報は、前記動作部に実行させる動作を示す情報を含み、
   　前記制御部は、前記行動情報に基づいて前記動作部に実行させる動作を制御する、
   請求項１に記載の情報処理装置。
9. 　前記情動情報は、情動の種類及び度合いを含み、ユーザが所持する装置により測定された前記生体情報に基づいて取得される、
   請求項１に記載の情報処理装置。
10. 　前記行動情報は、ユーザにより実施された過去のデバイス操作に係る情報を含み、
    　前記制御部は、前記情動の種類及び度合いに関連付いた行動情報に基づいて、前記デバイス操作と同様の動作を前記動作部に実行させる、
    請求項９に記載の情報処理装置。
11. 　前記行動情報は、ユーザに推奨するデバイス動作に係る情報を含み、
    　前記制御部は、前記情動の種類及び度合いに関連付いた行動情報に基づいて、前記ユーザに推奨するデバイス動作を前記動作部に実行させる、
    請求項９に記載の情報処理装置。
12. 　前記制御部は、ユーザの行動情報が取得されたことに基づいて、当該行動情報に関連付いた情動情報を取得し、当該情動情報と取得された生体情報とを関連付けて記憶部に記憶させる、
    請求項１に記載の情報処理装置。
13. 　前記ユーザによるデバイス操作は、加速度センサ、ジャイロセンサ、気温センサ、湿度センサ、筋電センサ、音声センサ、圧力センサ、撮像センサ、マイクロフォン、ボタン、スイッチのいずれか、または組み合わせにより認識される、
    請求項１１に記載の情報処理装置。
14. 　プロセッサが、ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力すること、
    　を含む、
    情報処理方法。
15. 　コンピュータを、
    　ユーザの生体情報から得られた情動情報を取得し、前記情動情報に関連付いた行動情報に基づいて、前記ユーザの生体情報に対応する動作部の動作に係る制御情報を出力する制御部、
    　を備える、
    　情報処理装置、
    として機能させるためのプログラム。

Images