JP7253860B1 - 感情情報管理装置及び感情情報管理アプリケーション - Google Patents

Abstract

【課題】感情情報の利用者が抱える課題を解決するサポートすることの可能な、感情情報管理装置を提供する。【解決手段】ネットワーク１５又はエッジ処理を介して対象者情報を取得する管理サーバ１１であって、対象者情報を処理して対象者の感情情報を生成する感情情報生成部２５と、生成された感情情報を利用する利用者の課題を解決するきっかけとなる補助情報を生成する補助情報生成部２６と、利用者が利用する利用者端末１２へ感情情報及び補助情報を提供する感情情報提供部２７と、を有する管理サーバ１１を構成した。【選択図】図１

Description

本開示は、対象者の感情情報を処理する感情情報管理装置及び感情情報管理アプリケーションに関する。

対象者の感情情報を処理する感情情報管理装置の一例が、特許文献１乃至特許文献４に記載されている。特許文献１に記載されている会議支援システムは、会議の出席者の感情表現を検出する感情分析部と、感情表現に基づいて出席者が発言の意図を有するか予測する予測部と、出席者が発言の意図を有すると予測された場合、出席者に意見を尋ねる質問部と、を有する。感情分析部は、カメラが生成した時系列の顔画像のデータから、出席者の感情表現を検出する。検出される出席者の感情は、悲しみ、怒り、喜び等である。特許文献１に記載された会議支援システムは、会議アプリケーションによって起動する。

また、特許文献２には、顧客端末及び担当者端末に対してネットワークを介して接続される提案支援システムが記載されている。提案支援システムは、担当者が顧客の課題に対する提案を行う場合、面談時における顧客の感情をカメラ映像から分析することに加え、顧客の日々の動きに応じた提案資料を提示し得る技術が記載されている。さらに、特許文献３には、面接システムが記載されている。面接システムは、面接装置で取得された顔の映像情報に基づいて応募者の時間経過に伴って変化する様子を分析し、質疑応答時における感情の種類を判別する制御装置と、制御装置で判別された感情の種類と、面接装置で取得された応答情報とが、応募者に対応付けて蓄積された応募者情報データベースを記憶する記憶装置と、応募者情報データベースにアクセス可能な端末装置と、を有する。

さらに、特許文献４に記載されたコンピュータプログラムは、会議の議事録を生成するコンピュータに用いられるコンピュータプログラムであって、会議の出席者の顔の画像を入力する処理と、入力された画像に基づいて出席者ごとの感情を判別する感情判別処理と、出席者の音声を入力する処理と、入力された音声に基づいて、出席者の発言の内容を示すテキストデータを生成する処理と、入力された音声のパターンを分析することにより、発言を行った出席者である発言者を特定する処理と、感情判別処理の結果、テキストデータ、及び発言者に基づいて、発言の内容と当該発言を行った出席者と当該発言があったときの各出席者の感情とを記録した議事録を生成する処理と、をコンピュータに実行させる。

特開２０２２－１３９４３６号公報 特開２０２０－１８４２１６号公報 特開２０１８－３２１６４号公報 特許第４４５８８８８号公報

本願発明者は、特許文献１、特許文献２、特許文献３及び特許文献４に記載されている感情情報管理技術によると、感情情報の利用者が抱える課題を解決するサポートということについて、未だ改善の余地があるという問題を認識した。

本開示の目的は、感情情報の利用者が抱える課題を解決するサポートすることの可能な、感情情報管理装置及び感情情報管理アプリケーションを提供することにある。

本開示は、ネットワーク又はエッジ処理介して、対象者の生体情報を取得する感情情報管理装置であって、前記対象者情報を処理して対象者の感情情報を生成する感情情報生成部と、生成された前記感情情報を利用する利用者の課題を解決するきっかけとなる補助情報を生成する補助情報生成部と、前記利用者が利用する利用者端末へ前記感情情報及び前記補助情報を提供する感情情報提供部と、を有する。

本開示によれば、感情情報の利用者が抱える課題を解決するサポートになり得る。

感情情報管理装置の一実施形態である管理サーバを含む感情情報管理システムのブロック図である。 管理サーバが取得する対象者情報の一例を示す図表である。 管理サーバが生成する感情情報の一例を示す図表である。 感情情報管理システムで行われる制御例１を示すフローチャートである。 感情情報管理システムで行われる制御例２を示すフローチャートである。 図６（Ａ）は、制御例１で利用者端末の表示部に表示される情報の一例であり、図６（Ｂ）は、制御例２で利用者端末の表示部に表示される情報の一例である。

（概要）
本開示では、感情情報管理装置を含む感情情報管理システムの実施形態を、図面を参照して説明する。各図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。図１に示す感情情報管理システム１０は、感情情報管理装置の一例である管理サーバ１１、利用者端末１２、対象者情報検出装置１３、ゲートウェイ１４等を含む。利用者端末１２及びゲートウェイ１４は、ネットワーク１５又はエッジ処理を介して管理サーバ１１へ接続される。管理サーバ１１と利用者端末１２との間で、相互に信号の行き来が可能である。対象者情報検出装置１３は、対象者情報を検出し、検出された対象者情報に応じた信号を出力する。対象者情報は、後述する。

対象者情報検出装置１３は、カメラ１６及び腕時計型センサ１７を含む。カメラ１６は、例えば、赤外線カメラであり対象者の皮膚から検出される脈波を動画で撮影し、撮影された脈波情報を信号化してゲートウェイへ送信する。また、カメラ１６から送信される脈波情報には、付帯情報とが含まれる。付帯情報は、映像の撮影日時、映像の撮影場所等が含まれる。カメラ１６は、建物の内部及び外部、通路、車両の内部、イベント会場、店舗内、観光地等、何れの場所に設置されていてもよい。

ゲートウェイ１４は、カメラ１６から送信される信号を受信し、かつ、受信した信号をネットワーク１５を介して管理サーバ１１へ送信する接続器である。接続器は、ハブ、アクセスポイント等を有していてもよい。腕時計型センサ１７は、対象者の腕に装着されるものであり、腕時計型センサ１７は、対象者の生体情報を検出して信号を出力する。生体情報は、所定時間当たりの心拍数等を含む。

（管理サーバの説明）
管理サーバ１１は、感情情報管理アプリケーションの提供者（ベンダー）により管理及び運営される。管理サーバ１１は、ネットワーク１５上に感情情報の管理環境を提供するクラウドサーバである。管理サーバ１１は、利用者端末１２から取得する信号、対象者情報検出装置１３から取得する信号、予め記憶されているプログラム、アプリケーション、データ等の情報に基づいて、各種の処理、判断、決定、分析等を行う。

管理サーバ１１は、制御部１８、記憶部１９及び通信部２０を有する。通信部２０は、ネットワーク１５を介して利用者端末１２へ信号及び情報を送る機能と、利用者端末１２からネットワーク１５を介して信号及び情報を取得する機能と、ゲートウェイ１４を介して入力されるカメラ１６の信号を取得する機能と、を有する。

制御部１８は、入力ポート、出力ポート及び演算処理回路を有する。制御部１８は、記憶部１９及び通信部２０との間で、相互に信号及び情報の授受を行うことができる。記憶部１９には、制御部１８が各種の判断、処理、分析、情報の生成を行うために起動される感情情報管理アプリケーション２１、プログラム、各種のデータ、マップ等が記憶されている。また、記憶部１９には、制御部１８がネットワーク１５上にＳＮＳ（ソーシャルネットワークサービス）環境を提供するためのＳＮＳ提供アプリケーション３８が記憶されていてもよい。

また、制御部１８は、利用者端末１２から取得した利用者情報を記憶部１９へ記憶（記録）し、かつ、記憶部１９に記憶されている情報を更新する処理を行う。制御部１８は、記憶部１９に記憶されている感情情報管理アプリケーション２１を起動させることにより、利用者情報処理部２２、映像情報処理部２３、生体情報処理部２４、感情情報生成部２５、補助情報生成部２６、感情情報提供部２７等を構成できる。制御部１８は、記憶部１９に記憶されているＳＮＳ提供アプリケーション３８を起動させることにより、サービス提供部３６、検索結果提供部３７を構成できる。

利用者情報処理部２２は、利用者端末１２から取得する利用者情報を処理する。利用者情報は、利用者端末１２から取得するものである。利用者情報は、利用者端末１２の端末情報及び利用者の個人識別情報を含む。利用者端末１２の端末情報は、利用者端末１２毎に付される固有の識別番号、メールアドレス等を含む。個人識別情報は、利用者毎に付される利用者ＩＤ、パスワード、メールアドレス、利用者の氏名、生年月日、年齢、性別、住所、電話番号、プロフィール等を含む。利用者の氏名は、ニックネームまたはハンドルネームでもよい。プロフィールは、公開を目的とした情報であり、趣味、食べ物の好み、好きな動物、関心のあること、マイブーム等の情報を含む。

映像情報処理部２３は、ネットワーク１５を介して取得する映像情報を処理する。図２に示すように、映像情報は、映像の撮影日時、映像の撮影場所等の付帯情報と、を含む。感情情報生成部２５は、ネットワーク１５を介して取得する対象者情報を処理して感情情報を生成する。図２に示すように、対象者情報は、対象者の映像情報及び生体情報を含む。対象者とは、映像情報及び生体情報に基づいて、感情が分析される被検者である。なお、本実施形態において、対象者は、利用者端末を利用する利用者、利用者端末を利用しない人間の何れでもよい。

感情情報は、図３に示すように、対象者の感情の分析結果、及び付帯情報を含む。感情情報生成部２５は、例えば、ネットワーク１５を介して取得する対象者の映像情報及び生体情報、予め記憶部１９に記憶されている情報、データ、等を用いて、人工知能（ＡＩ：artificial intelligence）が機械学習を用いた処理、推論、判断等を実行することにより、利用者の感情（心理）を分析する。利用者の感情には、喜び、満足、怒り、哀しみ、平静、落ち着き、楽しみ、驚き、集中、退屈、眠気、興奮、空腹、恐怖、落胆（落ち込み）、酔い、関心、快適、不快、安心、リラックス、賛成、反対、異議、疑問、混乱等が含まれる。

これらの感情は、顔を含む上半身の映像に含まれる、瞼の開度、視線、眉の動作、鼻の皺の有無、口の動き、口の開度、瞳孔の開度、等を処理して推定可能である。また、これらの感情は、対象者の上半身の動作、例えば、首をかしげたか否か、頷いたか否か、手の動作等からも推定可能である。推定された感情は、それぞれ数値化され、かつ、表またはグラフ等を生成できる。

なお、対象者の顔を含む映像情報等に基づいて、対象者の感情を分析する技術は、例えば、特許第６８６８４２２号公報、特許第６７０３８９３号公報、特許第６０４２０１５号公報、特許第３９５３０２４号公報、特許第４４５８８８８号公報、特開２０１５－２２９０４０号公報、特開２０１８－３２１６４号公報、特開２０２２－１３９４３６号公報、特開２０２０－１８４２１６号公報等に示されているように、公知技術であるため、その具体的な説明は、省略する。

さらに、生体情報は、図２に示すように、所定時間当たりの心拍数（脈拍数）、所定時間当たりの呼吸回数等が用いられる。例えば、呼吸回数または心拍数が増加した場合は、対象者が興奮していると推定可能である。

また、生体情報の取得方法は、映像情報から間接的に推定する方法と、対象者が体に装着する腕時計型センサ１７等から取得する方法と、を含む。映像情報から心拍数を推定する技術は、特許第６７１７４２４号公報、特開２０１６－１９００２２、特開２０２２－１４１９８４号公報等に示され、映像情報から対象者の呼吸回数を推定する技術は、特許第４２８４５３８号公報、特開２０１６－１９００２２号公報に示されているように、公知技術であるため、その具体的な説明は、省略する。さらに、付帯情報は、対象者を撮影した映像の撮影日時、映像の撮影場所、撮影場所の状況及び環境等である。

さらに、補助情報生成部２６は、補助情報を生成する。補助情報は、感情情報と共に利用者端末１２へ提供するために生成される。補助情報は、感情情報を取得する利用者端末１２の利用者における課題を解決・解消するためのサポートまたはきっかけとなる情報である。補助情報は、例えば、提案及びレコメンド等を含む。補助情報の具体的な内容は、後述する。なお、感情情報生成部２５で生成された感情情報、及び補助情報生成部２６で生成された補助情報は、記憶部１９へ記憶される。さらに、感情情報提供部２７は、感情情報生成部２５で生成された感情情報、及び補助情報生成部２６で生成された補助情報を、利用者端末１２へ提供する。サービス提供部３６は、複数の利用者端末１２同士がネットワーク１５上で情報を共有できるＳＮＳ環境を提供する。検索結果提供部３７は、利用者端末１２が操作されてＳＮＳ環境にある情報等の検索が行われた場合に、その検索結果を利用者端末１２へ提供する。

なお、図１に示す管理サーバ１１は、単数のコンピュータとして示されているが、管理サーバ１１は、利用者端末１２の近くに配置される複数のコンピュータの組み合わせにより構成されていてもよい。この場合、複数のコンピュータにより、制御部１８の機能が分担（分散）される。つまり、管理サーバ１１は、エッジ処理、つまり、分散エッジコンピューティングによって対象者情報を取得してもよい。また、ネットワーク１５に接続されたコンピュータに制御部１８及び通信部２０が設けられ、そのコンピュータに記憶部１９が外付けで接続されていてもよい。

（利用者端末の説明）
利用者端末１２は、管理サーバ１１から感情情報管理アプリケーション２１をダウンロード及びインストールして、管理サーバ１１が提供する感情情報の管理環境にアクセスしてもよいし、感情情報管理アプリケーション２１をインストールすることなく、ウェブブラウザを利用して、感情情報の管理環境にアクセスすることもできる。利用者端末１２は、利用者端末１２Ａ，１２Ｂを含む。利用者端末１２Ａは、単数または複数の何れであってもよい。利用者端末１２Ｂは、単数または複数の何れであってもよい。利用者端末１２Ａ，１２Ｂは、共に、管理サーバ１１から感情情報及び補助情報を取得しようとする利用者により利用される。本実施形態では、便宜上、利用者端末１２Ａの利用者は、感情が分析される対象者となり得る。このため、利用者端末１２Ａの利用者を、対象者と記載することがある。

これに対して、利用者端末１２Ｂの利用者は、感情が分析される被検者となり得ないものとする。利用者端末１２Ｂの利用者は、自社の商品、サービス等を提供するため、実店舗及び仮想店舗（オンラインショップ）を設けることができる。実店舗は、実在する店舗であり、利用者が実際に訪れて商品の購入及びサービスの提供を受けることができる。仮想店舗は、ネットワーク１５のウェブサイトに展開され、利用者は、利用者端末１２Ａをウェブサイトに接続させて、商品、サービスの提供等を受けることができる。

利用者端末１２Ａは、デスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ、スマートフォン、タブレット端末等のうちの何れでもよい。利用者端末１２は、制御部２８、操作部２９、表示部３０、カメラ３１、現在位置検出部３２、記憶部３３、通信部３４、スピーカ３５等を有する。制御部は２５、演算処理回路、入力ポート及び出力ポートを有する。制御部は２５、記憶部３３及び通信部３４との間で相互に信号の送信及び受信を行うことができる。記憶部３３には、利用者端末１２Ａで実行される処理、判断等に使用されるプログラム、アプリケーション、データ等の情報が記憶される。また、記憶部３３は、管理サーバ１１から取得された感情情報管理アプリケーション２１を記憶できることに加え、ネットワーク１５から取得されたＳＮＳ提供アプリケーション３８を記憶できる。

通信部３４は、信号及び情報をネットワーク１５を介して管理サーバ１１へ送信する機能と、管理サーバ１１からネットワーク１５を介して信号及び情報を取得する機能と、を有する。通信部３４が管理サーバ１１へ信号及び情報を送る場合、端末情報と個人識別情報とが関連付けて送られる。

操作部２９は、タッチスイッチ、液晶パネル等の表示画面のうちの少なくとも１要素により構築されている。また、利用者端末１２Ａが、デスクトップ型パーソナルコンピュータまたはノート型パーソナルコンピュータであると、操作部２９は、キーボード、マウス、スキャナ等を有していてもよい。利用者が操作部２９を操作すると、その操作に応じた信号が、制御部２８へ入力される。

表示部３０は、タッチパネル、液晶パネル等により構築されている。表示部３０には、利用者端末１２Ａで入力される情報、及び管理サーバ１１から取得する感情情報及び補助情報等が表示される。表示部３０に表示される内容は、制御部２８により制御される。利用者端末１２Ａがスマートフォン、またはタブレット端末であると、操作部２９は、表示部３０に表示される操作メニュー（操作ボタン）に相当する。制御部２８は、通信部３４を介して入力される信号及び情報、操作部２９の操作に応じた信号、及び記憶部３３に記憶されているアプリケーション、プログラム、情報に基づいて、処理、比較、判断等を行う。

カメラ３１は、利用者端末１２Ａの本体に直接に設けられる構造、または、利用者端末１２Ａに信号ケーブルを介して接続される構造の何れでもよい。カメラ３１は、利用者の顔を含む映像を撮影し、撮影した映像情報の信号が制御部２８へ入力される。カメラ３１が撮影する映像は動画となる。カメラ３１で撮影された映像には、撮影日時、撮影場所、等の付帯情報が添付される。カメラ３１は、前述した対象者情報検出装置１３の一部を構成する。

現在位置検出部３２は、利用者端末１２Ａが位置する地球上の現在位置（場所）を検出して信号を出力する。スピーカ３５は、制御部２８により制御され、かつ、管理サーバ１１から提供される感情情報及び補助情報に含まれる音声等を出力できる。そして、利用者端末１２から管理サーバ１１へ情報及び要求を送信する場合、端末情報及び利用者情報に紐付けて送信される。なお、利用者端末１２Ｂは、利用者端末１２Ａと同様に構成されているが、利用者端末１２Ｂは、カメラ３１及びスピーカ３５を有していなくてもよい。

（制御例１）
感情情報管理システム１０で行われる制御例１、つまり、感情情報管理方法の一例が、図４に示されている。対象者情報検出装置１３は、ステップＳ１０において対象者情報を送信する。対象者情報検出装置１３のうち、カメラ１６から送信される対象者情報としての映像情報は、ゲートウェイ１４及びネットワーク１５を介して管理サーバ１１へ送信される。また、対象者情報検出装置１３のうち、カメラ３１及び腕時計型センサ１７で取得された対象者情報は、利用者端末１２及びネットワーク１５を介して管理サーバ１１へ送信される。

一方、利用者端末１２は、ステップＳ２０において、利用者情報及び端末情報を管理サーバ１１へ送信する。管理サーバ１１は、利用者端末１２から送信される利用者情報及び端末情報をステップＳ３０において取得し、取得した利用者情報及び端末情報をステップＳ３１で処理し、かつ、処理結果を記憶部１９へ記憶する。

また、管理サーバ１１は、ステップＳ１０で対象者情報検出装置１３から送信された対象者情報を、ステップＳ３２において取得する。管理サーバ１１は、ステップＳ３２において、時々刻々、対象者情報を取得している。さらに、管理サーバ１１は、ステップＳ３３において、対象者情報に含まれる映像情報及び生体情報を処理及び分析することにより、感情情報を生成する。さらに、管理サーバ１１は、ステップＳ３３において、感情情報に付加する補助情報を生成する。補助情報は、顔・頭の揺れ(ユーザに提供する場合の補助情報の場合、文字、表、グラフ、映像)等の情報を含む。そして、管理サーバ１１は、生成した感情情報及び補助情報をステップＳ３３において、記憶部１９へ記憶及び蓄積する。

利用者端末１２は、ステップＳ２１において、管理サーバ１１へ感情情報及び補助情報を要求する。管理サーバ１１は、利用者端末１２から送信される要求を、ステップＳ３４において受け付ける。要求を受け付けた管理サーバ１１は、ステップＳ３５において、感情情報及び補助情報を利用者端末１２へ提供、つまり、送信する。利用者端末１２は、ステップＳ２２において、管理サーバ１１から感情情報及び補助情報を取得する。

なお、ステップＳ１０、ステップＳ３２、ステップＳ３３の処理は、ステップＳ２０、ステップＳ３０、ステップＳ３１の処理より前に行われてもよい。また、ステップＳ１０、ステップＳ３２、ステップＳ３３の処理と、ステップＳ２０、ステップＳ３０、ステップＳ３１の処理とが、並行して行われてもよい。さらに、管理サーバ１１は、ステップＳ３３の処理を行った後、ステップＳ３４をスキップしてステップＳ３５の処理を行ってもよい。つまり、管理サーバ１１は、ステップＳ２１の有無に関わりなく、ステップＳ３５を実行できる。

（感情情報を生成する環境）
感情情報管理システム１０が、対象者情報を取得し、かつ、生成した感情情報及び補助情報を利用者端末１２へ提供する環境として、次のようなものが含まれる。

（１）車両（自動車）関連
管理サーバ１１は、車両の室内に設けられるカメラ１６から得られる映像情報を処理することにより、感情情報を生成して利用者端末１２Ｂへ送信する。また、管理サーバ１１は、車両の室内に置かれている利用者端末１２Ａから得られる情報を処理することにより、感情情報を生成して利用者端末１２Ｂへ送信することもできる。カメラ１６は、車両の室内に設けられており、利用者は、利用者端末１２Ａを所持して車両の室内に居る。この環境において、感情情報に眠気、酔い、心拍停止等が含まれる場合、補助情報は、スピーカ３５から車両の運転者へ注意を喚起する音声として出力される。

感情情報に、集中、退屈、眠気、恐怖等が含まれる場合、補助情報は、安全運転評価として生成される。感情情報に、快適及び不快等が含まれる場合、補助情報は、車両の乗り心地の評価、室内空間の評価、車両開発に利用できる情報として生成される。感情情報に、乗り物酔い（動揺病）が含まれる場合、補助情報は、車両に搭載されている各種装置の制御情報として生成される。車両の制御情報は、エンジンの制御、変速機の制御、空調装置、制動装置の制御等である。

（２）実店舗関連
管理サーバ１１は、実店舗に設けられるカメラ１６から得られる映像情報を処理することにより、感情情報を生成して利用者端末１２Ｂへ送信する。カメラ１６は、実店舗の商品売り場、例えば、商品棚、天井、壁等に複数設けられている。カメラ１６は、実店舗へ来た対象者（商品の購入予定者）の映像を撮影する。また、カメラ１６が撮影する映像情報に付加される付帯情報には、実店舗における売り場の位置、具体的な商品名等が含まれる。利用者端末１２Ｂは、例えば、実店舗の社員（店員・利用者）により利用される。利用者端末１２Ｂで取得する感情情報が、関心、興味等を含んでいると、社員は、対象者が商品を購入することにつながるような説明、対象者への声掛けタイミング及び声掛け方法等を判断できる。また、管理サーバ１１から利用者端末１２Ｂへ、対象者が商品を購入することにつながるような説明、対象者への声掛けタイミング及び声掛け方法等を、レコメンドすることもできる。

管理サーバ１１から利用者端末１２Ｂへ送信される感情情報が、関心または興味を示すか、混乱または疑問を示すかにより、実店舗の社員は、商品またはサービスの評価を行うことができる。また、管理サーバ１１から利用者端末１２Ｂへ、商品またはサービスの評価を向上させるようなレコメンドを行うこともできる。

管理サーバ１１から利用者端末１２Ｂへ送信される感情情報が、退屈、関心、興味、驚き、快、不快等を含んでいると、実店舗の社員は、実店舗における商品のレイアウト、ディスプレイ棚等を評価することができる。また、管理サーバ１１から利用者端末１２Ｂへ、対象者の購買意欲が増すように、実店舗における商品のレイアウト、ディスプレイ棚等をレコメンドすることもできる。管理サーバ１１から利用者端末１２Ｂへ送信される感情情報が、関心、興味、驚き等を含んでいると、実店舗の社員は、対象者による新しい好みの商品またはサービスを発見できる。

（３）オフィス
管理サーバ１１は、会社内に設けられるカメラ１６から取得する映像情報、会社内及び会社外において利用される利用者端末１２Ａから取得する情報を処理することにより、感情情報を生成して利用者端末１２Ｂへ送信できる。

管理サーバ１１が取得する感情情報が、眠気または退屈等を含んでいると、管理サーバから利用者端末１２Ｂへ、社員の業務改善または動機付けにつながるような、エンゲージメント・タイミングをレコメンドすることができる。また、管理サーバから利用者端末１２Ｂへ、仕事環境の最適化・改善を提案することもできる。例えば、社員のストレス軽減、社員同士のコミュニケーションが促進されやすいチーム編成、個別の生産性向上につながる提案を行うことができる。さらに、管理サーバから利用者端末１２Ｂへ、社員の休憩をレコメンドすることができる。

さらに、管理サーバ１１が、１日の間における感情の変化状況を取得すると、利用者端末１２Ｂへ、社員の１日の間における仕事リズムをレコメンドすることができる。また、会社の社員は、１日の間における仕事リズムを自己認知することができる。さらに、管理サーバ１１から利用者端末１２Ｂへ、ワーク・エンゲージメント・レポートを提供することができる。

（４）教育
管理サーバ１１は、教育機関に設けられるカメラ１６から取得する映像情報、教育機関の生徒が利用する利用者端末１２Ａから取得する情報を処理することにより、感情情報を生成して、教育機関の管理者が利用する利用者端末１２Ｂへ送信できる。教育機関は、大学、高等学校、中学校、小学校、学習塾等を含む。管理サーバ１１から利用者端末１２Ｂへ、生徒のストレス可視化、ストレス可視化による生徒の心のケア手段を提案できる。管理サーバ１１が教室全体における生徒の理解度、生徒の集中度、生徒の興味及び関心等の感情情報を取得すると、管理サーバ１１から利用者端末１２Ｂへ、教育カリキュラムを改善または指導する提案を行うことができる。

管理サーバ１１が、生徒の理解度、生徒の集中度、生徒の眠気等の感情情報を、覚醒と毎に個別に取得すると、管理サーバ１１から利用者端末１２Ｂへ、生徒毎に、エンゲージメント向上のレコメンドを行うことができる。管理サーバ１１が各種の感情情報を取得すると、管理サーバ１１から利用者端末１２Ｂへ、感情統計を提案することができる。さらに、管理サーバ１１が、生徒の恐怖、生徒の継続的なストレス等の感情情報を取得すると、管理サーバ１１から利用者端末１２Ｂへ、いじめ早期発見の提案を行うことができる。

（５）観光・ホテル
管理サーバ１１が、観光地を訪れた対象者の感情情報を取得すると、管理サーバ１１から利用者端末１２Ｂへ、感情ヒートマップによる観光資産の有効活用を提案できる。管理サーバ１１が、観光地またはホテルに居る対象者の関心、興味、空腹等の感情情報を取得すると、感情を満たす目的地（行き先）の情報、目的地までの経路等を、利用者端末１２Ａへレコメンドできる。

管理サーバ１１が、観光地またはホテルに居る対象者の各種の感情情報を取得すると、管理サーバ１１から利用者端末１２Ａ，１２Ｂへ、感情情報と観光地とを対応させた感情旅行マップを、提案することができる。また、管理サーバ１１が各種の感情情報を取得すると、管理サーバ１１から利用者端末１２Ｂへ、旅行社及び観光地向けの新商品開発指標を提案することができる。さらに、管理サーバ１１から利用者端末１２Ｂへ、旅行社及び観光地向けとして、リピーター獲得のためのサービス向上提案、寛げる空間判定等を行うことができる。

（６）仮想空間
対象者は、利用者端末１２Ａをネットワーク１５に接続することにより、利用者端末１２Ｂが提供する仮想空間を表示部３０で閲覧し、かつ、操作部２９を操作できる。管理サーバ１１は、利用者端末１２Ａから得られる情報を処理することにより、感情情報を生成して利用者端末１２Ｂへ送信する。例えば、対象者は、利用者端末１２Ａをネットワーク１５に接続し、かつ、仮想空間にある仮想店舗で商品及びサービスを表示部３０で閲覧できる。対象者と仮想店舗との提供者との間で、電子商取引（ＥＣ：Electronic Commerce）が行われる。商品及びサービスは、各種物品の販売、旅行案内、ホテルの予約等を含む。

カメラ３１は、対象者が表示部３０を閲覧している環境で対象者の映像を撮影する。また、腕時計型センサ１７により対象者の生体情報が検出される。そして、カメラ３１で撮影された映像及び付帯情報、腕時計型センサ１７で検出された生体情報は、利用者端末１２Ａから管理サーバ１１へ送られる。利用者端末１２Ｂが取得する対象者の感情情報が、関心または興味を含んでいると、利用者端末１２Ｂは、対象者による商品またはサービスの購入につながる割引クーポンの提案、送料無料の提案等の処理を行うことができる。

管理サーバ１１から利用者端末１２Ｂへ送信される感情情報が、関心または興味を示すか、混乱または疑問を示すかにより、仮想店舗の社員は、商品またはサービスの評価を行うことができる。また、管理サーバ１１から利用者端末１２Ｂへ、商品またはサービスの評価を向上させるようなレコメンドを行うこともできる。管理サーバ１１から利用者端末１２Ｂへ送信される感情情報が、関心、興味、驚き等を含んでいると、仮想舗の社員は、対象者による新しい好みの商品またはサービスを発見できる。

（７）健康管理
管理サーバ１１は、介護または遠隔医療現場における対象者、例えば、お年寄り、要介護者、患者等の感情情報を取得する。対象者の家族、対象者を介護する利用者、患者を診療・治療する医師、看護師等が利用者端末１２Ｂを利用する。管理サーバ１１から利用者端末１２Ｂへ、対象者に対するメンタルケア、対象者に対するコミュニケーションの促進、対象者の生活リズムの管理、対象者のニーズ汲み取りによるケア促進等を提案できる。管理サーバ１１から利用者端末１２Ａ，１２Ｂへ、対象者の自活を誘導する提案を行うことができる。管理サーバ１１から利用者端末１２Ａ，１２Ｂへ、対象者の自活を誘導する提案を行うことができる。また、管理サーバ１１から利用者端末１２Ｂへ、対象者の異常を知らせる提案を行うことができる。さらに、管理サーバ１１から利用者端末１２Ｂへ、自閉症患者の感情認識をサポートする提案を行うことができる。

（８）メディア／ゲーム
対象者は、テレビジョン番組の視聴、ネットワーク１５上のウェブサイトの閲覧、ゲームに興じる等のうち、少なくとも１つの行為を行う。テレビジョン番組、ネットワーク１５上のウェブサイト、ゲームは、サービスの提供者により制作されている。管理サーバ１１は、対象者の感情情報を取得することにより、対象者が、テレビジョンの番組、ウェブサイトのコンテンツ、ゲームのコンテンツまたは作品等に関心を示しているか否かを検証し、検証結果を、サービスの提供者（利用者）が使用する利用者端末１２Ｂへ提案できる。また、管理サーバ１１から利用者端末１２Ｂへ、対象者の感情（心理）状態に基づくレコメンドを行える。さらに、管理サーバ１１から利用者端末１２Ｂへ、対象者の感情（心理）状態に基づくゲームシナリオ、イベントコンテンツ等のレコメンドを行える。

（９）広告／消費財／検索エンジン
ネットワーク１５上のウェブサイトには、各種の広告が掲載されている。また、ネットワーク１５上の仮想店舗において、消費財が販売されている。検索エンジンは、ネットワーク１５に提供されているウェブサイトから、所定のキーワードに関連性の高いウェブサイトを検索し、かつ、一覧表示してくれるシステムである。管理サーバ１１は、利用者端末１２Ａから、広告を閲覧した対象者（消費者）の感情情報、仮店舗の消費財を見た対象者の感情情報を取得できる。管理サーバ１１は、ウェブサイトの提供者が消費者に抱いてもらいたい感情を、対象者に誘発されたか否かを判断できる。つまり、広告のプロモーション効果を判定できる。管理サーバ１１は、利用者端末１２Ｂに対し、広告のプロモーション効果の判定結果に応じてより的確な広告レコメンドを行える。

管理サーバ１１は、利用者端末１２Ａから、検索エンジンを利用してウェブサイトを検索した対象者の感情情報を取得できる。管理サーバ１１は、利用者端末１２Ｂに対し、対象者が満足するようなウェブサイトの検索結果を得られたか否かを判定できる。管理サーバ１１は、利用者端末１２Ｂに対し、ウェブサイトの検索結果の感情に応じたレコメンドを行える。

（１０）金融／保険
金融機関が、対象者へ資金を貸与する（融資）場合、または、対象者が株式を新規上場（ＩＰＯ：Initial Public Offering）する場合、等において、管理サーバ１１は、対象者の利用者端末１２Ａから感情情報を取得できる。管理サーバ１１は、経営者の嘘、虚偽判定等を行い、判定結果に応じた提案を、金融機関が利用する利用者端末１２Ｂに対して行える。管理サーバ１１は、保険に加入している対象者の利用者端末１２Ａから感情情報を取得できる。管理サーバ１１は、対象者の利用者端末１２Ａに対して、メンタル管理によるストレス軽減、うつ病の予防に役立つ提案を行うことができる。

（１１）その他
管理サーバ１１は、カジノに設置されているカメラ１６の映像情報を処理して、カジノの対象者（顧客）の感情情報を生成できる。そして、管理サーバ１１は、興奮、退屈等の感情情報を生成すると、ディーラー側の勝敗加減を調整するように、カジノが利用する利用者端末１２Ｂへ提案を行うことができる。これにより、カジノは、顧客のエンゲージメントを継続できる。管理サーバ１１は、カメラ１６の映像情報を処理して対象者の感情情報、例えば、眠気、バイオリズムの低下等を推定できる。管理サーバ１１は、自宅の照明装置を消灯するように、対象者の利用者端末１２Ａへ提案できる。

（１２）免許更新センター
管理サーバ１１は、免許更新センターに設けられるカメラ１６から取得する映像情報を処理することにより、講習会参加の対象者の感情情報を生成して、免許更新センターの管理者が利用する利用者端末１２Ｂへ送信できる。管理サーバ１１が講習会における対象者の理解度、対象者の集中度、対象者の興味及び関心等の感情情報を取得すると、管理サーバ１１から利用者端末１２Ｂへ、講習会カリキュラムを改善または対象者へ指導する提案を行うことができる。

（実施形態の効果）
本開示によれば、管理サーバ１１は、対象者の感情分析結果に基づいて、対象者またはサービス・商品の提供者、企業、教育機関、メディア・エンターティンメント製作者、介護・医療関係者、金融・保険業界、Ｗｅｂサイト制作会社、免許更新センター等が抱える課題を解決・解消するきっかけとなる提案、レコメンドを行うことができる。

（制御例２）
感情情報管理システム１０で行われる制御例２、つまり、感情情報管理方法の他の例が、図５に示されている。制御例２は、制御例１と併行して行われる。管理サーバ１１は、ステップＳ４０においてＳＮＳ環境をネットワーク１５上に提供する。利用者端末１２Ａは、ステップＳ４１において、ＳＮＳ環境にアクセスする。すると、管理サーバ１１は、ステップＳ４２において、ＳＮＳ環境の利用画面を利用者端末１２Ａへ提供する。利用者端末１２Ａは、ステップＳ４３において、表示部３０に利用画面を表示させる。利用者は、利用者端末１２Ａを操作して、表示部３０の利用画面に表示される情報、例えば、他者の投稿、商品、ニュース等を閲覧できる。

また、利用者は、ステップＳ４４において、利用者端末１２Ａの操作部２９を操作し、所定のキーワードを含む情報を検索することができる。すると、管理サーバ１１は、ステップＳ４５において、検索結果を利用者端末１２Ａへ提供する。利用者端末１２Ａは、スイ４６において管理サーバ１１から検索結果を取得し、かつ、表示部３０で検索結果を表示させる。

本実施形態では、利用者端末１２ＡがＳＮＳ環境にアクセスしている間、利用者端末１２Ａを利用している利用者を対象者として、図４に示すステップＳ１０の処理が行われる。また、管理サーバ１１は、図４に示すステップＳ３２及びステップＳ３３の処理を行う。

そして、管理サーバ１１は、ステップＳ４５で検索結果を利用者端末１２Ａへ提供するにあたり、利用者端末１２Ａの利用者と同様の感情を持つ他の利用者から投稿された情報を、利用者端末１２Ａの利用者とは異なる感情を持つ利用者から投稿された情報より上位として検索結果を提供する。したがって、利用者端末１２Ａを操作して情報の検索を行った利用者は、同じような感情を持つ利用者とつながり易くなり、かつ、互いに共感し合うことがきる。

（画面例）
図６（Ａ）には、制御例１に対応する画面の一例が示されている。利用者端末１２Ａの表示部３０に、映像表示部５０、感情表示部５１、提案表示部５２が表示されている。映像表示部５０には対象者の映像が表示され、感情表示部５１には感情の分析結果が表示され、提案表示部５２は、提案及びレコメンドが表示される。感情は、例えば、百分率（％）で表示される。

図６（Ｂ）には、制御例２に対応する利用画面の一例が示されている。利用者端末１２Ａの表示部３０に、検索項目表示部６０、検索結果表示部６１が表示されている。検索項目表示部６０は、図５のステップＳ４４で入力した検索項目が表示される。検索結果表示部６１には、図５のステップＳ４６で取得した検索結果が表示される。検索結果には、アカウント、検索された情報、投稿者の感情情報等が含まれる。検索結果表示部６１に表示される複数の情報は、検索結果表示部６１における表示位置が上方であるほど、優先度の高い上位の情報である。

（補足説明）
本実施形態で説明した事項の技術的意味の一例は、次の通りである。管理サーバ１１は、感情情報管理装置の一例である。感情情報生成部２５は、感情情報生成部の一例である。補助情報生成部２６は、補助情報生成部の一例である。感情情報提供部２７は、感情情報提供部の一例である。サービス提供部３６は、サービス提供部の一例である。検索結果提供部３７は、検索結果提供部の一例である。仮想店舗または実店舗を運営する会社・企業、商品またはサービスを提供する会社・企業等が、サービス提供者の一例である。

本実施形態は、図面を用いて開示されたものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、感情情報管理装置は、サーバ、ワークステーション、メインフレーム、スーパーコンピュータ等のうちの少なくとも１つにより構成可能である。また、各コンピュータは、複数のデバイス、システムなどにより構成されていてもよい。

感情情報生成部２５は、感情情報生成手段として把握することも可能である。補助情報生成部２６は、補助情報生成手段として把握することも可能である。感情情報提供部２７は、感情情報提供手段として把握することも可能である。サービス提供部３６は、サービス提供手段として把握することも可能である。検索結果提供部３７は、検索結果提供手段として把握することも可能である。

本実施形態には、次のような感情情報管理方法も記載されている。例えば、ネットワークを介して対象者情報を取得する感情情報管理装置が実行する感情情報管理方法であって、前記対象者情報を処理して対象者の感情情報を生成する感情情報生成ステップと、生成された前記感情情報を利用する利用者の課題を解決するきっかけとなる補助情報を生成する補助情報生成ステップと、前記利用者が利用する利用者端末へ前記感情情報及び前記補助情報を提供する感情情報提供ステップと、を有する、感情情報管理方法が記載されている。図４に示すステップＳ３３は、感情情報生成ステップ及び補助情報生成ステップに相当し、ステップＳ３５は、感情情報提供ステップに相当する。

本開示は、対象者の感情情報を処理する感情情報管理装置及び感情情報管理アプリケーションとして利用可能である。

１１…管理サーバ、２１…感情情報管理アプリケーション、２５…感情情報生成部、２６…補助情報生成部、２７…感情情報提供部、３６…サービス提供部、３７…検索結果提供部

Claims (4)

1. ネットワーク又はエッジ処理を介して対象者情報を取得する感情情報管理装置であって、
   前記対象者情報を処理して対象者の感情情報を生成する感情情報生成部と、
   生成された前記感情情報を利用する利用者の課題を解決するきっかけとなる補助情報を生成する補助情報生成部と、
   前記利用者が利用する利用者端末へ前記感情情報及び前記補助情報を提供する感情情報提供部と、
   前記ネットワーク上で複数の前記利用者端末同士が相互に情報を共有できるソーシャルネットワークサービス環境を提供するサービス提供部と、
   前記対象者が前記利用者端末を操作して前記ソーシャルネットワークサービス環境で検索を行った場合に、検索を行った前記対象者と同様の感情情報をもつ利用者が使用する前記利用者端末から前記ネットワーク上に投稿された情報を、検索を行った前記対象者とは異なる感情情報をもつ利用者が使用する前記利用者端末から前記ネットワーク上に投稿された情報より上位とする検索結果を、検索が行われた前記利用者端末へ提供する検索結果提供部と、
   を有する、感情情報管理装置。
2. 請求項１記載の感情情報管理装置において、
   前記対象者情報は、前記対象者の生体情報を含み、
   前記利用者端末を利用する利用者は、前記対象者であり、
   前記補助情報は、前記対象者の課題を解決するきっかけとなる情報である、感情情報管理装置。
3. 請求項１記載の感情情報管理装置において、
   前記利用者端末は、前記対象者へサービスを提供するサービス提供者が使用するものを含み、
   前記補助情報は、前記対象者へサービスを提供する前記サービス提供者における課題を解決するきっかけとなる情報である、感情情報管理装置。
4. ネットワーク又はエッジ処理を介して対象者情報を取得する感情情報管理装置を、
   前記対象者情報を処理して対象者の感情情報を生成する感情情報生成部、
   生成された前記感情情報を利用する利用者の課題を解決するきっかけとなる補助情報を生成する補助情報生成部、
   前記利用者が利用する利用者端末へ前記感情情報及び前記補助情報を提供する感情情報提供部、
   前記ネットワーク上で複数の前記利用者端末同士が相互に情報を共有できるソーシャルネットワークサービス環境を提供するサービス提供部、
   前記対象者が前記利用者端末を操作して前記ソーシャルネットワークサービス環境で検索を行った場合に、検索を行った前記対象者と同様の感情情報をもつ利用者が使用する前記利用者端末から前記ネットワーク上に投稿された情報を、検索を行った前記対象者とは異なる感情情報をもつ利用者が使用する前記利用者端末から前記ネットワーク上に投稿された情報より上位とする検索結果を、検索が行われた前記利用者端末へ提供する検索結果提供部、
   として機能させる、感情情報管理アプリケーション。

Images