JP7365384B2 - 情報処理装置、方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、方法およびプログラムに関する。より詳細に言えば、本発明は、人的リソースを割くことなく、ユーザの感情の種類およびレベルに応じて調整された購入条件をユーザに提案する技術に関する。

現在、個人用デバイスを介して、インターネット上のオンラインサービスを通して、多種多様な商取引が広く一般に行われている。このようなインターネット上の商取引において、一部のサービス提供事業者（以下、「サービス事業者」）は、人的リソースの関係上、人を介する購入条件の調整（例えば、購入金額、取引手数料、納期等の調整）を実施できず、購入条件をユーザ個々人に最適化できない。その結果、ユーザにはインターネット上で提示されている購入条件の交渉の余地がなく、ユーザは一部の購入条件がユーザ自身の希望に満たないと判断した場合、購入を断念する、または購入を先延ばしにする可能性が高くなる。これは、サービス事業者にとっては、販売機会の損失であり、ユーザにとっては、商品購入時の顧客満足度の低下を意味する。

仮に、サービス事業者が、人的リソースを購入条件の調整業務に投入した場合、人件費が上がる、スタッフの対応ミスによる顧客満足度が低下する、および人対人の調整によるユーザおよびスタッフ双方の心的ストレスが増えるなど、サービス事業者にとって不利益な状況が発生する可能性がある。

特許６７５２８１９号公報

この様な状況に対して、特許文献１のような感情認識技術が対応可能である。特許文献１は、ユーザがインターネット上で提示される条件に対して抱く感情に基づいて、提示金額の値引きを提案する感情認識システムを開示している。特許文献１の感情認識システムは、主にユーザの顔の表情から肯定的および否定的感情の認識を実行し、人的リソースを割くことなく、指定されたパーセンテージの値引き価格をユーザに提案できる。

一方で、特許文献１は、ユーザの感情の種類および／またはレベルの詳細を判定していないため、感情の種類および／またはレベルに応じたユーザ個別の最適な条件を提案できないという課題を有する。

本発明は、このような課題を解決するためになされたものであり、人的リソースを割くことなく、ユーザの感情の種類およびレベルに応じて調整された購入条件をユーザに提案することが可能な情報処理装置、方法およびプログラムを提供することを目的とする。

本発明の一態様である情報処理装置は、第１のデバイスによって取得された、ユーザの第１の生体情報を取得し、第２のデバイスによって取得された、第１の生体情報とは異なるユーザの第２の生体情報を取得する、生体情報取得手段と、第１の生体情報および第２の生体情報に基づいて、ユーザの第１の感情値を認識する、感情認識手段と、第１の感情値が感情閾値を基準として、第１の方向に入る場合、第１の感情値に基づいた第１の提案情報をユーザに提示する、提案情報提示手段と、を備えたことを特徴とする。

本発明によれば、人的リソースを割くことなく、ユーザの感情の種類およびレベルに応じて調整された購入条件をユーザに提案することができるようになる。

本明細書において開示される実施形態の詳細な理解は、添付図面に関連して例示される以下の説明から得ることができる。
感情認識システム１００を構成するコンピュータシステム全体の構成の例を示す図である。 サーバコンピュータの詳細な構成の例を示す図である。 感情認識システム１００が判定した感情のスコアの例を示す図である。 感情認識システム１００が使用する総合スコアテーブルの例を示す図である 第１の実施形態に係る感情認識システム１００が実行する処理の例を示すフローチャートである。 第１の実施形態に係る感情認識システム１００が感情認識処理を実行する例を示す図である。 第１の実施形態に係る感情認識システム１００が判定した感情のスコアの例を示す図である。 第２の実施形態に係る感情認識システム１００が実行する処理の例を示すフローチャートである。 第２の実施形態に係る感情認識システム１００が感情認識処理を実行する例を示す図である。 第２の実施形態に係る感情認識システム１００が判定した感情のスコアの例を示す図である。

最初に、本明細書で使用する用語について説明する。「オンラインサービス」とは、サービス事業者が、ネットワークを通じてユーザに提供するサービスである。例えば、「オンラインサービス」には、ソーシャル・ネットワーキング・サービス（以降、単にＳＮＳと称す）、オンラインショッピング、オンラインゲーム、音楽・映像・電子書籍の配信、ウェブメールなどが含まれるが、これらに限定されない。

以下、本明細書では主に、ユーザがオンラインショッピングをユーザデバイス（パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレットデバイス、スマートウォッチおよび／またはスマートグラスなどの通信機能を備えたコンピュータ）を介して利用している場合を例に説明するが、本発明は、ユーザの感情認識を実施できるデバイス、端末、および装置であればどのような機器にも適用できる。

本発明において「生体情報」とは、ユーザの感情を認識するために用いられる、ユーザの身体および／または行動の特徴の経時的な情報である。例えば、「生体情報」には、これらに限定されないが、ユーザの表情、眼球運動、心拍数、脳波、脈拍、心電図、音声、体温、身振り手振りなどの経時的な変化情報が含まれる。以下、単に「生体情報」と記載した場合、経時的に変化するユーザの生体情報を指すものとする。

以下、図面を参照しながら本発明の実施形態について詳細に説明する

（全体構成）
図１は、本発明の一実施形態に係る感情認識システム１００を構成するコンピュータシステム全体の構成の例を示している。

以下の実施形態では、生体情報取得手段として、スマートフォンに搭載されたカメラ、マイク、およびその他のセンサを使用する例を説明するが、生体情報取得手段は、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレットデバイス、スマートウォッチおよび／またはスマートグラスなどの通信機能を備えたコンピュータの有する、複数のセンサなどを含むが、これらに限定されない。

感情認識システム１００は、サーバコンピュータ１０１、ユーザデバイス１０２、およびユーザデバイス１０３を備える。各々のコンピュータは、インターネットなどの公衆回線を含むネットワーク１０４を介して相互に接続されている。

サーバコンピュータ１０１は、本実施形態に係る主要な処理を実行するコンピュータデバイス（情報処理装置）である。サーバコンピュータ１０１は、ユーザデバイス１０２およびユーザデバイス１０３が取得したユーザの生体情報に基づいて、ユーザの感情の種類およびレベルの判定を実施する。サーバコンピュータ１０１はオンラインサービスのサービス事業者によって管理される。ユーザの感情の種類およびレベルの判定の詳細については、後述する。

本実施形態では、サーバコンピュータ１０１がユーザの感情判定を実行する。また、サーバコンピュータ１０１はそれぞれ、複数のコンピュータデバイスによって実装されてもよい。

サーバコンピュータ１０１は、ユーザデバイス１０２に対し、本発明に係るアプリケーションプログラム（以下、単に「ユーザアプリ」と呼ぶ）を提供する。サーバコンピュータ１０１は、ユーザアプリを介して、ユーザデバイス１０２に、ユーザの生体情報を取得させる。サーバコンピュータ１０１はまた、ユーザアプリを介して、ユーザデバイス１０３に、ユーザデバイス１０２に取得させた生体情報とは異なる種類のユーザの生体情報を取得させることが可能である。

ユーザデバイス１０２およびユーザデバイス１０３は、少なくとも演算機能および通信機能を有するコンピュータデバイス（情報処理装置）である。ユーザデバイス１０２およびユーザデバイス１０３は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレットデバイス、スマートウォッチおよび／またはスマートグラスなどの通信機能を備えたコンピュータであってよく、特定の装置に限定されることはない。

図１には、説明を目的として、ユーザデバイス１０２およびユーザデバイス１０３の２つのデバイスを示しているが、本発明に係る感情認識システムを、１つのデバイスで実施してもよいし、２つ以上のデバイスを連動させて実施してもよい。

（システム構成）
次に、図２を参照して、サーバコンピュータ１０１の詳細な構成の例を説明する。サーバコンピュータ１０１は、制御装置２０１、メモリ２０２、記憶装置２０３、および通信装置２０４を含む。図２に示すように、サーバコンピュータ１０１は、ユーザデバイス１０２、およびユーザデバイス１０３と接続される。

制御装置２０１は、プロセッサとも称され、上記各構成要素の制御やデータの演算を実行する。また、制御装置２０１は、本実施形態に係る各種処理を実行するための、記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行する。ここで、上述したプログラムとは、感情認識システム１００が実行する機能の一部を実装するためのプログラムであり、サーバコンピュータ１０１の記憶装置２０３に記憶されている。

メモリ２０２は、ユーザデバイス１０２から送信されたデータ、コンピュータ実行可能な命令、およびその命令による演算処理後のデータなどを記憶した揮発性データ記憶装置である。メモリ２０２は、ＲＡＭ（ランダムアクセスメモリ）（例えば、ＳＲＡＭ（スタティックＲＡＭ）およびＤＲＡＭ（ダイナミックＲＡＭ））などで実装されてもよい。

記憶装置２０３は不揮発性データ記憶装置である。記憶装置２０３は、ＲＯＭ（リードオンリメモリ）などの不揮発性半導体メモリ、磁気記憶装置（ハードディスクドライブなど）、および光ディスクなどで実装されてもよい。なお、プログラムおよびデータベーステーブルなどのデータは、記憶装置２０３に加えまたはその代わりに、ＮＡＳ（ＮｅｔｗｏｒｋＡｔｔａｃｈｅｄＳｔｏｒａｇｅ）および／またはＳＡＮ（ＳｔｏｒａｇｅＡｒｅａＮｅｔｗｏｒｋ）などに記憶されてもよい。

通信装置２０４は、ネットワーク１０４を通じて、ユーザデバイス１０２、およびユーザデバイス１０３との間でデータおよび制御情報を送受信するネットワークインタフェースである。このネットワークインタフェースは、例えば、ＴＣＰ／ＩＰなどのプロトコルに準拠したネットワークカード（例えば、ＬＡＮカード）などによって実装される。

本発明の感情認識システムは、ＰＣ、スマートフォン、タブレットデバイス、スマートウォッチおよび／またはスマートグラスなどの通信機能を備えたコンピュータが利用できる任意の既存の感情認識技術を使用して、処理を実行できる。以下本実施形態にて使用される例示の感情認識技術を説明する。本発明の技術は、以下の例示の感情認識技術に限定されないことを留意されたい。

（感情認識の手段）
＜判定モデル作成＞
本実施形態では、機械学習アルゴリズム、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を利用して、ユーザの表情およびその他の生体情報から感情の種類およびレベルをスコアリングするモデルによって、ユーザの感情の種類及びレベルを判定する手法を用いる。以下、本実施形態で使用される機械学習アルゴリズムの判定モデル作成手段ならびに本実施形態のユーザの感情の種類およびレベルの判定方法の詳細を説明する。

まず、教師データとして、例えば「怒り」、「悲しみ」、「驚き」および「喜び」などの情報が付された人間の写真をそれぞれ数千枚程度用意し、畳み込みニューラルネットワークによって、表情の写真の特徴量を抽出して、各感情における学習モデルを作成する。この際、各表情において、例えば、「怒り：Ｌｖ１（弱い怒り）」、「怒り：Ｌｖ２（怒り）」および「怒り：Ｌｖ３（強い怒り）」などのように感情のレベルごとの写真を使用する。これらの写真は、例えば、同一人物にＬｖ１～Ｌｖ３の段階ごとの感情を表現させた写真等であり得る。本明細書では説明を目的に、感情の種類を、上記の通り、「怒り」、「悲しみ」、「驚き」および「喜び」で説明するが、これらに限定されない。また、同様に、感情レベルをＬｖ１～Ｌｖ３の３段階として説明をするが、感情レベルの段階は３段階以上であってもよく、３段階以下であってもよく、これらに限定されない。

作成された各学習モデルに対して、テストデータ用の写真を入力し、感情の種類およびレベルを、０～１の間でスコアリングさせる。本発明の感情認識システムはこれらに限定されず、任意の範囲の数値をスコアリングに使用できることを理解されたい。真偽判定の閾値を、例えば、０．７と設定し、真偽判定の閾値以上の場合、「真」と判定し、真偽閾値未満の場合、「偽」と判定する。

これらの判定結果から、各感情のレベルおよび種類の適合率を、例えば、８０％（５回に４回は正解する精度）となるように、各学習モデルの真偽閾値の調整を行う。各学習モデルおよび調整された真偽閾値を、感情の判定モデル（例えば、怒り判定モデル、悲しみ判定モデル、驚き判定モデルおよび喜び判定モデル）として設定する。各判定モデルによってユーザの感情を並列して判定するプログラムを作成する。この感情判定プログラムは、サーバコンピュータ１０１の記憶装置２０３等に格納される。

＜例示的な感情の判定方法＞
以下、上記で作成した感情判定プログラムによって感情の種類およびレベルを判定する手順の例を２種類説明する。

＜感情の判定方法Ａ＞
ユーザの表情の画像を上記感情判定プログラムに入力し、各判定モデルの真偽判定を並列して実施する。すなわち、「怒り」、「悲しみ」、「驚き」および「喜び」の各感情についてスコアを判定する。図３は、各感情の各レベルに対して判定されたスコアの例である。次に、判定結果のスコアに対して、各感情の真偽判定を実施する。

その結果、判定モデルの１つのレベルのみが「真」判定となった場合、当該レベルと判定する。例えば、怒り判定モデルにおいて、「怒り：Ｌｖ１」、「怒り：Ｌｖ２」および「怒り：Ｌｖ３」のうち、「怒り：Ｌｖ１」のみが「真」判定となった場合（「怒り：Ｌｖ１」のスコアが０．７以上であり、「怒り：Ｌｖ２」および「怒り：Ｌｖ３」のスコアが０．７未満の場合）、「怒り：Ｌｖ１」と判定する。

判定モデルの２つ以上のレベルが「真」判定となった場合は、判定されたスコアが高い方のレベルを判定結果とする。例えば、「怒り：Ｌｖ１」のスコアが０．７、「怒り：Ｌｖ２」のスコアが０．８、「怒り：Ｌｖ３」のスコアが０．２、と判定された場合、「真」判定となる「怒り：Ｌｖ１」および「怒り：Ｌｖ２」のうち、スコアの高い方の「怒り：Ｌｖ２」と判定される。このような判定を、各感情（例えば、「怒り」、「悲しみ」、「驚き」および「喜び」等）において、並列的に実施し感情の種類およびレベルを判定する。

感情の判定方法Ａでは、各感情の判定モデルにおいて、１つのレベルのみ「真」と判定された場合、「真」と判定されたレベルを判定結果とし、２つ以上のレベルが「真」と判定された場合、スコアの高い方のレベルを判定結果とする方法を説明した。以下の感情の判定方法Ｂでは、各感情の判定モデルにおいて、１つ以上のレベルが「真」判定となった場合、各レベルのスコアを予め定められた重み付け係数で演算し、判定結果に反映する方法を説明する。以下に例示される重み付け係数は、任意の例であり、本明細書全体を通してこの例に限定されることはない。本発明に係る感情認識システムは、機械学習を繰り返しながら、重み付け係数を調整することができる。

＜感情の判定方法Ｂ＞
上記判定方法Ａと同様に、ユーザの表情の画像から「怒り」、「悲しみ」、「驚き」および「喜び」の各感情のスコアを判定し、判定結果のスコアに対して、各感情の真偽判定を実施する。

次に、各感情の判定モデルにおいて、１つ以上のレベルが「真」判定となった場合、以下の計算式によって、判定モデルの総合スコアを算出する。以下の計算式は、説明を目的としており、他の任意の計算式を使用できることが理解できよう。
総合スコア＝「１×Ｌｖ１のスコア」＋「２×Ｌｖ２のスコア」＋「３×Ｌｖ３のスコア」
例えば、「怒り：Ｌｖ１」のスコアが０．７、「怒り：Ｌｖ２」のスコアが０．８、「怒り：Ｌｖ３」のスコアが０．２、と判定された場合、
総合スコア２．９＝「１×０．７」＋「２×０．８」＋「３×０．２」
というように、総合スコアは２．９と算出される。

算出された総合スコアと、事前に設定された総合スコアに対応する総合スコアテーブルとを照合し、感情レベルを判定する。総合スコアテーブルは、例えば、図４に示すように、総合スコアを５段階等に分けたテーブルであるが、段階は５以上でも以下でもよい。総合スコア２．９を図４の感情レベルテーブルと照合すると、怒りの総合レベルはレベル３と判定される。このようにして、判定方法Ｂでは、判定モデルの各レベルのスコアと予め定められた重み付け係数から、総合的に感情のレベルを判定できる。

上記では、説明を簡単にするために、様々な表情を表す人間の写真を学習し、作成したモデルに基づいて、ユーザの感情を判定する方法を説明したが、表情だけでなく、同様のまたは類似の手段によって、眼球運動、音声、身振り手振り、心拍数、脈拍、心電図、体温、および脳波などの複数の生体情報を学習したモデルを使用して、感情を判定する方法も可能であることを理解されたい。以下、本明細書の実施形態では、表情、眼球運動、音声、身振り手振り、心拍数、脈拍、心電図、体温、および脳波などの複数の生体情報を事前に学習し、各生体情報からユーザの感情の種類およびレベルを判定できることとして、説明をする。また、以下の本実施形態の説明では、判定方法Ｂを用いて、各感情の種類およびレベルを判定することとするが、判定方法Ａを用いて、実施することが可能であることを理解されたい。

＜第１の実施形態＞
次に、図４から図７を参照して、本発明の第１の実施形態に係る感情認識システムが実行する処理を説明する。第１の実施形態については、スマートフォン用のオンラインショッピングアプリ（以降、ショッピングアプリと称す）を一般のユーザがスマートフォンを介して閲覧し、商品の購入を検討しているケースを例に説明を行う。スマートフォンは、ユーザデバイス１０２に相当する。

また、ユーザがスマートフォンにショッピングアプリをインストールした際に、ユーザは、ショッピングアプリがスマートフォンに搭載されたセンサから生体情報を含むユーザの個人情報を取得することを事前に承認していることとする。そのため、本フローでは、ショッピングアプリのインストールから個人情報取得の事前承認までの説明を省略する。以下では、ユーザの使用するスマートフォンをユーザデバイス１０２として記載しながら説明する。

Ｓ５０１にて、サーバコンピュータ１０１は、本処理フローの処理開始のトリガーが発生したかどうかを判断する。より詳細に言えば、サーバコンピュータ１０１は、ユーザがショッピングアプリ上の商品一覧のページから個別の商品を選択し、選択された個別の商品ページが、ユーザデバイス１０２のディスプレイ上に表示されたかどうかを判断する。

Ｓ５０２にて、サーバコンピュータ１０１は、選択された個別の商品ページがユーザデバイス１０２のディスプレイ上に表示された場合、ユーザデバイス１０２にユーザの生体情報（ａ）を取得させる。より詳細に言えば、図６に示すように、ユーザデバイス１０２は、ユーザデバイス１０２に搭載されたカメラ、マイク、およびその他のセンサから、ユーザの表情の変化、眼球運動、音声、および身振り手振り等を認識する。ユーザデバイス１０２は、ネットワーク１０４を介して、各種センサによって取得した複数の生体情報（ａ）を、サーバコンピュータ１０１に送信する。

Ｓ５０３にて、サーバコンピュータ１０１は、受信した複数の生体情報（ａ）から、各感情のレベルのスコアを判定する。具体的には、上述の通り、複数の生体情報（ａ）と、事前に学習した「怒り」、「悲しみ」、「驚き」および「喜び」の各感情の判定モデルとを照合し、複数の生体情報（ａ）についての各感情の各レベルに対して、０～１までの間のスコアを判定する。ここでは、各感情の各レベルについて、図７に記載のようにスコアが判定されたこととする。

Ｓ５０４にて、サーバコンピュータ１０１は、Ｓ５０３にて判定した各レベルの各スコアが真偽閾値以上かどうかを判定する。各レベルの各スコアのいずれか１つが真偽閾値以上の場合、スコアは「真」と判定され、Ｓ５０５に進む。すべてのスコアが真偽閾値未満の場合、すべてのスコアが「偽」と判定され、処理を終了する。ここでは、真偽閾値を０．７とし、「怒り：Ｌｖ１」、「怒り：Ｌｖ２」、「怒り：Ｌｖ３」、「悲しみ：Ｌｖ１」、および「驚き：Ｌｖ２」が「真」と判定され、それ以外のスコアについては、「偽」と判定されたこととする。ここでは「真」と判定された感情のみ以降の処理に進むこととして説明するが、これらに限定されない。

Ｓ５０５にて、サーバコンピュータ１０１は、いずれか１つのスコアが「真」と判定された感情に対して、感情の総合スコアを算出する。ここでは、図７のスコアに従って、それぞれ、「怒り」の総合スコアは２．９、「悲しみ」の総合スコアは２．６、および「驚き」の総合スコアは３．４と、算出されたこととする。

Ｓ５０６にて、サーバコンピュータ１０１は、Ｓ５０５で算出した総合スコアから、図４の総合スコアテーブルに基づいて、各感情の総合レベルを判定する。ここでは、怒りの総合レベルはレベル３、悲しみの総合レベルはレベル３、驚きの総合レベルはレベル４と判定されたこととする。

Ｓ５０７にて、サーバコンピュータ１０１は、判定した各総合スコアの任意の総合レベルが、感情閾値以上かどうかを判定する。判定の結果、ｙｅｓの場合、商品の条件調整が必要と判断する。ｎｏの場合、商品の条件調整が必要ないと判断し、処理を終了する。感情閾値は、例えば、各感情の総合レベルごとに設定されていてもよく、任意の感情に対してのみ、閾値判定を実施してもよい。ここでは、感情閾値が「怒りの総合レベル３」と事前に設定されており、Ｓ５０６で判定された怒りの総合レベルが感情閾値以上であるので、商品の条件調整が必要と判断されたこととする。

Ｓ５０８にて、サーバコンピュータ１０１は、総合レベルが感情閾値以上と判定した場合（Ｓ５０４にて、ｙｅｓ）、総合レベルが感情閾値以上となったのが何回目かを判定する（１回目、２回目またはＮ回目等）。

Ｓ５０９にて、サーバコンピュータ１０１は、ユーザデバイス１０２を介して、総合レベルに応じて調整された１回目、２回目、またはＮ回目の提案情報をユーザに提示し、Ｓ５０２の生体情報取得の処理に戻る。Ｓ５０７の感情閾値の判定処理において、総合レベルが感情閾値未満と判定されるまで、Ｓ５０２からＳ５０９の処理が繰り返される。

提案情報は、これらに限定されないが、例えば、値引き金額、短縮された納期、次回以降に使用可能なアプリ内通貨の追加配布、問合せチャットの表示、価格据え置きのまま商品グレードの向上、等である。提案情報は、サービス事業者が任意で設定および／または変更できることが理解されよう。また、提案情報は、総合レベルではなく、各感情のスコア、レベル、及び／又は総合スコアに応じて調整されてもよい。

２回目の提案情報は、１回目の提案情報よりもユーザの購買を促進する内容が選択され得る。例えば、１回目の提案情報は「５パーセント値引き」であったが、２回目の提案情報では、１回目よりも値引き率の大きい「８パーセント値引き」が選択されるように、任意の方法で設定され得る。

提案情報については、サービス事業者が提案範囲を事前に設定し得る。例えば、値引き幅１０％、短縮納期２日間、商品グレード１ランク向上などのような範囲である。従って、無尽蔵に商品の価格が値引きされるといったことは、提案範囲を設定することで、避けられる。

上述のように、サーバコンピュータ１０１は、人的リソースを割くことなく、ユーザの感情の種類およびレベルに応じて調整された購入条件をユーザに提案できる。ユーザにとっては、具体的なアクションを起こさずとも検討中の商品の条件が調整されることとなり、その結果、顧客満足度が向上する。

＜第２の実施形態＞
第１の実施形態では、感情認識のためのデバイスとして、スマートフォン（ユーザデバイス１０２）のみを使用する例で説明した。この場合、ユーザが意図して感情を誤認識するような行為（例えば、表情、声色、身振り手振りなどを故意に変える）を実行した場合、感情認識の精度が低下する可能性がある。

例えば、ユーザが否定的な感情（「怒り」および／または「悲しみ」等）を示すような演技をしている場合、スマートフォンはユーザの表情から否定的な感情の特徴を有する生体情報を取得し得る。その生体情報に基づいて感情を判定した場合、実際には、表示された商品情報に対して、ユーザは不満を抱いていないにもかかわらず、割引金額などの提案情報がユーザに提示される。従って、サービス事業者は、不必要な条件調整をユーザに提示してしまい、不利益を被ることとなる。

上記状況に対して、本発明の第２の実施形態の感情認識システムは、複数のユーザデバイス１０２、１０３によってユーザの複数の生体情報をそれぞれ取得し、複数の生体情報に基づいて感情認識を実行することで、感情認識の精度低下を抑制しながら、適切な提案情報をユーザに提示できる。

例えば、スマートフォンおよびスマートウォッチをＢｌｕｅｔｏｏｔｈなどの近距離無線通信を用いて接続し、各デバイスからユーザの複数の生体情報を取得することができる。一例として、本発明の感情認識システムは、スマートフォンに搭載されたカメラ、マイクおよびその他のセンサを使用して、表情、身振り手振り、眼球運動、音声などの情報を取得し、スマートウォッチに搭載された光学式心拍センサ、電気心拍センサ、およびその他のセンサを使用して、心拍数、脈拍、心電図、および体温などの情報を取得し、スマートフォンおよびスマートウォッチから取得した生体情報を組み合わせて、感情認識を実行できる。

以下、図８を参照しながら、本発明の第２の実施形態に係る感情認識システムが実行する処理を説明する。また第１の実施形態と共通する処理については、同一の符号を付し、説明を省略する。第２の実施形態については、ユーザ自身にスマートウォッチを装着した状態で、ユーザがスマートフォンを介してショッピングアプリを閲覧し、商品の購入を検討しているケースを例に説明を行う。また、スマートフォンおよびスマートウォッチは、Ｂｌｕｅｔｏｏｔｈなどの近距離無線通信を用いて、相互に通信可能に接続されていることとする。これにより、各デバイスが取得した生体情報を相互確認することが容易になる。以下では、ユーザの使用するスマートフォンをユーザデバイス１０２、スマートウォッチをユーザデバイス１０３として記載しながら説明する。

Ｓ８０１にて、サーバコンピュータ１０１は、ユーザに個別の商品ページが表示された場合、ユーザデバイス１０２に、ユーザの生体情報（ａ）を取得させ、ユーザデバイス１０３に、ユーザの生体情報（ｂ）を取得させる。図９に示すように、ユーザデバイス１０２は、ユーザデバイス１０２に搭載されたカメラ、マイク、およびその他のセンサから、ユーザの表情の変化、音声、および身振り手振り等を認識し、ユーザデバイス１０３は、ユーザデバイス１０３に搭載された光学式心拍センサおよび電気心拍センサなどの複数のセンサから、心拍数、脈拍、心電図、および体温等を認識する。ユーザデバイス１０２および１０３は、ネットワーク１０４を介して、各種センサによって取得した複数の生体情報（ａ）および（ｂ）をサーバコンピュータ１０１に送信する。

Ｓ８０２にて、サーバコンピュータ１０１は、受信した複数の生体情報（ａ）および生体情報（ｂ）から、各感情のレベルのスコアを判定する。ここでは、各感情の各レベルについて、図１０に記載のようにスコアが判定されたこととする。

Ｓ８０３にて、サーバコンピュータ１０１は、Ｓ８０２にて算出した、生体情報（ａ）の各レベルの各スコアが真偽閾値以上かどうかを判定し、生体情報（ｂ）の各レベルの各スコアが真偽閾値以上かどうかを判定する。各レベルの各スコアのいずれか１つが真偽閾値以上の場合、スコアは「真」と判定され、Ｓ８０４に進み、すべてのスコアが真偽閾値未満の場合、すべてのスコアが「偽」と判定され、処理を終了する。

ここでは、真偽閾値を０．７とし、生体情報（ａ）のスコアの「怒り：Ｌｖ１」、「怒り：Ｌｖ２」、「怒り：Ｌｖ３」、「悲しみ：Ｌｖ１」、および「驚き：Ｌｖ２」が「真」と判定され、生体情報（ｂ）のスコアの「驚き：Ｌｖ１」「喜び：Ｌｖ１」および「喜び：Ｌｖ１」が「真」と判定され、それ以外のスコアについては、「偽」と判定されたこととする。

Ｓ８０４にて、サーバコンピュータ１０１は、いずれか１つのスコアが「真」と判定された感情に対して、感情の総合スコアを算出する。ここでは、図１０のスコアに従って、生体情報（ａ）に対して、「怒り」の総合スコアは２．９、「悲しみ」の総合スコアは２．６、および「驚き」の総合スコアは３．４と、算出され、生体情報（ｂ）に対して、「驚き」の総合スコアは１．７、および「喜び」の総合スコアは３．３、および「驚き」の総合スコアは３．４と、算出されたこととする。生体情報（ａ）の「喜び」、ならびに生体情報（ｂ）の「怒り」および「悲しみ」は、全てのレベルが「偽」判定となったので、総合スコアは算出されない。

Ｓ８０５にて、サーバコンピュータ１０１は、Ｓ８０４で生体情報（ａ）および生体情報（ｂ）から算出した総合スコアから、各感情の総合レベルを判定する。ここでは、生体情報（ａ）に対しては、怒りの総合レベルはレベル３、悲しみの総合レベルはレベル３、驚きの総合レベルはレベル４と判定され、生体情報（ｂ）に対しては、驚きの総合レベルはレベル２、喜びの総合レベルはレベル４と判定されたこととする。

Ｓ８０６にて、サーバコンピュータ１０１は、Ｓ８０５で判定した生体情報（ａ）の感情の総合レベルと、生体情報（ｂ）の感情の総合レベルとを比較し、同じ種類の感情の総合レベルが合致するかどうかを判定する。例えば、生体情報（ａ）の怒りの総合レベルがレベル３であり、生体情報（ｂ）の怒りの総合レベルがレベル３であった場合、怒りの総合レベルが合致していると判定する。その他の感情の総合レベルにおいても同様の処理を実行する。各総合レベルが合致する場合、Ｓ５０７の処理フローに進み、合致しない場合、処理を終了する。ここでは、「怒り」「悲しみ」「驚き」および「喜び」の全ての総合レベルが合致しないため、処理を終了する。

上記フローでは、ユーザデバイス１０２から取得した生体情報（ａ）およびユーザデバイス１０３から取得した生体情報（ｂ）の各々から感情を判定し、判定した感情の比較を行った。本発明の第２の実施形態は、上記のような感情の比較方法に限定されず、他の方法で、取得した生体情報を比較し、判定した感情の信頼度を判定できる。

例えば、まず、各総合レベルの基準となる心拍数、脈拍、および心電図等などの波形パターンを事前に設定してく。次に、ユーザデバイス１０２によって取得した生体情報（ａ）から感情の総合レベルを判定する。判定された感情の総合レベルに設定された心拍数、脈拍、および心電図等などの波形パターンと、ユーザデバイス１０３から取得した生体情報（ｂ）（心拍数、脈拍、および心電図等）の波形パターンを比較し、その比較結果から、事前に設定された波形パターンと、ユーザデバイス１０３から取得した生体情報（ｂ）の波形パターンの類似度を判定する。類似度が所定の範囲内に収まれば、判定した感情の信頼度が高い（演技をしていない）と判断し、収まらなければ、判定した感情の信頼度が低い（演技をしている）と判断する。このような方法によって、判定した感情の信頼度を判断できる。上記では、感情の総合レベルに対して、波形パターンを設定する例で説明したが、各感情のスコア、レベル、及び／又は総合スコアに対して、波形パターンを設定し、取得した生体情報の波形パターンと比較する方法でもよい。

また、第２の実施形態では、感情の総合レベルが完全に合致する例で説明しているが、サービス事業者が事前に総合レベルの差の許容範囲を設定しておくことが可能である。その場合、例えば、一段階上または一段階下のレベルの差は許容範囲とする、といった設定が可能である。さらに、感情の総合レベルではなく、各感情のスコア、レベル、及び／又は総合スコアを比較する方法でもよく、これらの比較を組み合わせてもよい。いずれの比較においても、サービス事業者が事前に差の許容範囲などの基準を設定することが可能である。また、これらに限定されないが、合致しない場合、及び／又は許容範囲外の場合などのような基準を適用することも可能である。

この様な感情の比較手段は、サービス事業者が任意の方法を選択できる。例えば、サービス事業者は、サービスの種類、取扱商品ごと、または時期など様々な要素を考慮し、感情の比較手段を選択または設定できる。

上述のように、サーバコンピュータ１０１は、複数のユーザデバイスを使用して、複数の種類の生体情報を取得し、感情判定を実行することで、人的リソースを割くことなく、ユーザが感情の誤認識を誘発する行為を実行した場合でも、感情認識の精度低下を抑制しながら、ユーザの感情種類およびレベルに応じて調整された購入条件をユーザに提案できる。

上記第１の実施形態および第２の実施形態では、判定された感情の総合レベルが感情閾値以上の場合、提案情報をユーザに提案する方法を説明しているが、感情のスコア、レベル、及び／又は総合スコアが所定の閾値以上の場合に、提案情報をユーザに提案する方法であってもよい。例えば、総合スコアの算出および総合レベルの判定を実施せずに、「真」判定となった感情のレベルに対して、所定の閾値以上かどうかの判定を実施し、提案情報をユーザに提示するかどうかを決定してもよい。

本発明は、実施形態に応じて、閾値以上の場合に処理を進めるように構成されてもよいし、逆に、閾値未満の場合に処理を進めるように構成されてもよい。これらのことをまとめて表すために、感情の総合レベルなどの比較対象となる値が閾値を基準として「第１の方向に入る（ある）」あるいは「第１の範囲に入る（ある）」などのように表現することも可能である。

＜その他の実施形態＞
上記の通り、第１の実施形態および第２の実施形態では、ユーザがスマートフォンを介してショッピングアプリを閲覧し、商品の購入を検討しているケースを例に説明を行った。本発明は、ショッピングアプリに限らず、ＳＮＳ、オンラインゲーム、音楽・映像・電子書籍の配信、ウェブメールなどのオンラインサービス全般に適応できる。

一様態では、本発明の感情認識システムを使用して、オンラインサービスの使い心地を調査および把握できる。オンラインサービス利用時のユーザの肯定的および否定的な感情の情報を蓄積し分析することで、オンラインサービスのどの機能および／または表示がユーザの快および／または不快に影響を与えたのかを調査および把握できる。ユーザが否定的な感情を抱いたオンラインサービスの機能および／または表示は、使い心地が悪く、改良の余地があると判断できる。

これらの調査を踏まえて、否定的な感情が発生しやすい箇所をユーザが利用している際に、ユーザに提案情報として、ヘルプ、問合せチャット、または使い心地についてのアンケート等を表示することが可能である。

また、例えば、サービス利用時の各種手数料、住宅ローン試算結果、またはカードローンの料率など、様々な料金に対してのユーザの感情の調査および把握をすることができる。
上記のような料金に対してのユーザの感情を蓄積および分析を実行するとともに、これらの情報に基づいた提案情報、例えば、各種手数料の割引、試算結果の値引き価格、およびカードローンの料率の交渉提案をユーザに提示できる。

以上、例示的な実施形態を参照しながら本発明の原理を説明したが、本発明の要旨を逸脱することなく、構成および細部において変更する様々な実施形態を実現可能であることを当業者は理解するだろう。すなわち、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。

１００ 感情認識システム
１０１ サーバコンピュータ
１０２ ユーザデバイス
１０３ ユーザデバイス
１０４ ネットワーク
２０１ 制御装置
２０２ メモリ
２０３ 記憶装置
２０４ 通信装置

Claims (24)

1. 第１のデバイスによって取得された、ユーザの第１の生体情報を取得し、第２のデバイスによって取得された、前記第１の生体情報とは異なる前記ユーザの第２の生体情報を取得する、生体情報取得手段と、
   前記第１の生体情報および前記第２の生体情報に基づいて、前記ユーザの第１の感情値を認識する、感情認識手段であって、
   前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定し、前記第２の生体情報と前記感情判定モデルとを照合し、前記ユーザの１つまたは複数の第２の感情のレベルに対して、１つまたは複数の第２のスコアを判定する、感情スコア判定手段と、
   前記１つまたは複数の第１のスコアのいずれかに基づいて、前記１つまたは複数の第１の感情のレベルのいずれかを選択し、前記第２のスコアのいずれかに基づいて、前記１つまたは複数の第２の感情のレベルのいずれかを選択する、感情レベル判定手段と、
   前記選択された第１の感情のレベルと前記選択された第２の感情のレベルとを比較し、比較の結果が第１の基準に当てはまる場合、前記第１の感情のレベルまたは前記第２の感情のレベルのいずれかを、前記第１の感情値と決定する、レベル比較手段と、
   を含む、感情認識手段と、
   前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示する、提案情報提示手段と、
   を備えた情報処理装置。
2. 第１のデバイスによって取得された、ユーザの第１の生体情報を取得し、第２のデバイスによって取得された、前記第１の生体情報とは異なる前記ユーザの第２の生体情報を取得する、生体情報取得手段と、
   前記第１の生体情報および前記第２の生体情報に基づいて、前記ユーザの第１の感情値を認識する、感情認識手段であって、
   前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定し、前記第２の生体情報と前記感情判定モデルとを照合し、前記ユーザの１つまたは複数の第２の感情のレベルに対して、１つまたは複数の第２のスコアを判定する、感情スコア判定手段と、
   前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出し、前記１つまたは複数の第２のスコアに基づいて、第２の感情の総合スコアを算出する、総合スコア算出手段と、
   前記第１の感情の総合スコアと前記第２の感情の総合スコアとを比較し、比較の結果が第１の基準に当てはまる場合、前記第１の感情の総合スコアまたは前記第２の感情の総合スコアのいずれかを、前記第１の感情値と決定する、総合スコア比較手段と、
   を含む、感情認識手段と、
   前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示する、提案情報提示手段と、
   を備えた情報処理装置。
3. 第１のデバイスによって取得された、ユーザの第１の生体情報を取得し、第２のデバイスによって取得された、前記第１の生体情報とは異なる前記ユーザの第２の生体情報を取得する、生体情報取得手段と、
   前記第１の生体情報および前記第２の生体情報に基づいて、前記ユーザの第１の感情値を認識する、感情認識手段であって、
   前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定し、前記第２の生体情報と前記感情判定モデルとを照合し、前記ユーザの１つまたは複数の第２の感情のレベルに対して、１つまたは複数の第２のスコアを判定する、感情スコア判定手段と、
   前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出し、前記１つまたは複数の第２のスコアに基づいて、第２の感情の総合スコアを算出する、総合スコア算出手段と、
   前記第１の感情の総合スコアに基づいて、第１の感情の総合レベルを判定し、前記第２の感情の総合スコアに基づいて、第２の感情の総合レベルを判定する、総合レベル判定手段と、
   前記第１の感情の総合レベルと前記第２の感情の総合レベルとを比較し、比較の結果が第１の基準に当てはまる場合、前記第１の感情の総合レベルまたは前記第２の感情の総合レベルのいずれかを、前記第１の感情値と決定する、総合レベル比較手段と、
   を含む、感情認識手段と、
   前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示する、提案情報提示手段と、
   を備えた情報処理装置。
4. 前記総合スコア算出手段は、
   前記１つまたは複数の第１のスコアと、前記１つまたは複数の第２のスコアとを、所定の重み付け係数を用いて演算して、前記第１の感情の総合スコアおよび前記第２の感情の総合スコアを算出する、総合スコア演算手段を含む、請求項２および３のいずれかに記載の情報処理装置。
5. 前記総合レベル判定手段は、
   前記第１の感情の総合スコアと、総合スコアテーブルと照合することによって、前記第１の感情の総合レベルを判定し、前記第２の感情の総合スコアと、前記総合スコアテーブルと照合することによって、前記第２の感情の総合レベルを判定する、総合レベル照合手段を含む、請求項３に記載の情報処理装置。
6. 前記第１の方向は、超える、超えない、以上、および以下、の少なくとも１つを含む、請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 前記第１の基準は、合致する、合致しない、所定の許容範囲に入る、所定の許容範囲に入らない、の少なくとも１つを含む、請求項１から請求項６のいずれか一項に記載の情報処理装置。
8. 前記第１の生体情報および前記第２の生体情報は、前記ユーザの表情変化、眼球運動、音声、身振り手振り、心拍数、脈拍、心電図、体温、および脳波の経時的な変化の情報の少なくとも１つを含む、請求項１から請求項７のいずれか一項に記載の情報処理装置。
9. 前記感情判定モデルは、機械学習アルゴリズムによって、事前に生体情報を学習することによって、作成される、請求項１から請求項８のいずれか一項に記載の情報処理装置。
10. 前記第１のデバイスおよび前記第２のデバイスは、パーソナルコンピュータ、スマートフォン、タブレットデバイス、スマートウォッチおよび／またはスマートグラスなどの通信機能を備えたコンピュータを含む、請求項１から請求項９のいずれか一項に記載の情報処理装置。
11. 情報処理装置によって実行される方法であって、
    第１のデバイスによって取得された、ユーザの第１の生体情報を取得することと、
    第２のデバイスによって取得された、前記第１の生体情報とは異なる前記ユーザの第２の生体情報を取得することと、
    前記第１の生体情報および前記第２の生体情報に基づいて、前記ユーザの第１の感情値を認識することと、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定し、前記第２の生体情報と前記感情判定モデルとを照合し、前記ユーザの１つまたは複数の第２の感情のレベルに対して、１つまたは複数の第２のスコアを判定することと、
    前記１つまたは複数の第１のスコアのいずれかに基づいて、前記１つまたは複数の第１の感情のレベルのいずれかを選択し、前記第２のスコアのいずれかに基づいて、前記１つまたは複数の第２の感情のレベルのいずれかを選択することと、
    前記選択された第１の感情のレベルと前記選択された第２の感情のレベルとを比較し、比較の結果が第１の基準に当てはまる場合、前記第１の感情のレベルまたは前記第２の感情のレベルのいずれかを、前記第１の感情値と決定することと、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示することと、
    を備える方法。
12. 情報処理装置によって実行される方法であって、
    第１のデバイスによって取得された、ユーザの第１の生体情報を取得することと、
    第２のデバイスによって取得された、前記第１の生体情報とは異なる前記ユーザの第２の生体情報を取得することと、
    前記第１の生体情報および前記第２の生体情報に基づいて、前記ユーザの第１の感情値を認識することと、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定し、前記第２の生体情報と前記感情判定モデルとを照合し、前記ユーザの１つまたは複数の第２の感情のレベルに対して、１つまたは複数の第２のスコアを判定することと、
    前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出し、前記１つまたは複数の第２のスコアに基づいて、第２の感情の総合スコアを算出することと、
    前記第１の感情の総合スコアと前記第２の感情の総合スコアとを比較し、比較の結果が第１の基準に当てはまる場合、前記第１の感情の総合スコアまたは前記第２の感情の総合スコアのいずれかを、前記第１の感情値と決定することと、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示することと、
    を備える方法。
13. 情報処理装置によって実行される方法であって、
    第１のデバイスによって取得された、ユーザの第１の生体情報を取得することと、
    第２のデバイスによって取得された、前記第１の生体情報とは異なる前記ユーザの第２の生体情報を取得することと、
    前記第１の生体情報および前記第２の生体情報に基づいて、前記ユーザの第１の感情値を認識することと、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定し、前記第２の生体情報と前記感情判定モデルとを照合し、前記ユーザの１つまたは複数の第２の感情のレベルに対して、１つまたは複数の第２のスコアを判定することと、
    前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出し、前記１つまたは複数の第２のスコアに基づいて、第２の感情の総合スコアを算出することと、
    前記第１の感情の総合スコアに基づいて、第１の感情の総合レベルを判定し、前記第２の感情の総合スコアに基づいて、第２の感情の総合レベルを判定する、総合レベル判定手段と、
    前記第１の感情の総合レベルと前記第２の感情の総合レベルとを比較し、比較の結果が第１の基準に当てはまる場合、前記第１の感情の総合レベルまたは前記第２の感情の総合レベルのいずれかを、前記第１の感情値と決定することと、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示することと、
    を備える方法。
14. 請求項１１から請求項１３のいずれか一項に記載の方法を情報処理装置に実行させるためのプログラム。
15. 第１のデバイスによって取得された、ユーザの第１の生体情報を取得する、生体情報取得手段と、
    前記第１の生体情報に基づいて、前記ユーザの第１の感情値を認識する、感情認識手段であって、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定する、感情スコア判定手段と、
    前記１つまたは複数の第１のスコアのいずれかに基づいて、前記１つまたは複数の第１の感情のレベルのいずれかを前記第１の感情値と決定する、感情レベル判定手段と、
    を含む、感情認識手段と、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示する、提案情報提示手段と、
    を備えた情報処理装置。
16. 第１のデバイスによって取得された、ユーザの第１の生体情報を取得する、生体情報取得手段と、
    前記第１の生体情報に基づいて、前記ユーザの第１の感情値を認識する、感情認識手段であって、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定する、感情スコア判定手段と、
    前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出し、前記第１の感情の総合スコアを前記第１の感情値と決定する、総合スコア算出手段と、
    を含む、感情認識手段と、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示する、提案情報提示手段と、
    を備えた情報処理装置。
17. 第１のデバイスによって取得された、ユーザの第１の生体情報を取得する、生体情報取得手段と、
    前記第１の生体情報に基づいて、前記ユーザの第１の感情値を認識する、感情認識手段であって、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定する、感情スコア判定手段と、
    前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出する、総合スコア算出手段と、
    前記第１の感情の総合スコアに基づいて、第１の感情の総合レベルを判定し、前記第１の感情の総合レベルを前記第１の感情値と決定する、総合レベル判定手段と、
    を含む、感情認識手段と、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示する、提案情報提示手段と、
    を備えた情報処理装置。
18. 前記総合スコア算出手段は、
    前記１つまたは複数の第１のスコアを、所定の重み付け係数を用いて演算して、前記第１の感情の総合スコアを算出する、総合スコア演算手段を含む、請求項１６および１７のいずれかに記載の情報処理装置。
19. 前記総合レベル判定手段は、
    前記第１の感情の総合スコアと、総合スコアテーブルと照合することによって、前記第１の感情の総合レベルを判定する、総合レベル照合手段を含む、請求項１７に記載の情報処理装置。
20. 前記第１の方向は、超える、超えない、以上、および以下、の少なくとも１つを含む、請求項１５から請求項１９のいずれか一項に記載の情報処理装置。
21. 情報処理装置によって実行される方法であって、
    第１のデバイスによって取得された、ユーザの第１の生体情報を取得することと、
    前記第１の生体情報に基づいて、前記ユーザの第１の感情値を認識することと、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定することと、
    前記１つまたは複数の第１のスコアのいずれかに基づいて、前記１つまたは複数の第１の感情のレベルのいずれかを前記第１の感情値と決定することと、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示することと、
    を備える方法。
22. 情報処理装置によって実行される方法であって、
    第１のデバイスによって取得された、ユーザの第１の生体情報を取得することと、
    前記第１の生体情報に基づいて、前記ユーザの第１の感情値を認識することと、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定することと、
    前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出し、前記第１の感情の総合スコアを前記第１の感情値と決定することと、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示することと、
    を備える方法。
23. 情報処理装置によって実行される方法であって、
    第１のデバイスによって取得された、ユーザの第１の生体情報を取得することと、
    前記第１の生体情報に基づいて、前記ユーザの第１の感情値を認識することと、
    前記第１の生体情報と感情判定モデルとを照合し、前記ユーザの１つまたは複数の第１の感情のレベルに対して、１つまたは複数の第１のスコアを判定することと、
    前記１つまたは複数の第１のスコアに基づいて、第１の感情の総合スコアを算出することと、
    前記第１の感情の総合スコアに基づいて、第１の感情の総合レベルを判定し、前記第１の感情の総合レベルを前記第１の感情値と決定することと、
    前記第１の感情値が感情閾値を基準として、第１の方向に入る場合、前記第１の感情値に基づいた第１の提案情報を前記ユーザに提示することと、
    を備える方法。
24. 請求項２１から請求項２３のいずれか一項に記載の方法を情報処理装置に実行させるためのプログラム。

Images