JP7061714B1 - ソリューション提供システム及び携帯端末 - Google Patents

Abstract

【課題】ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システム、携帯端末を提供する。【解決手段】ソリューション記憶部は、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶し、回答受付部はユーザーの顔の状態についての質問に対する回答の入力を受け付け、ユーザー情報取得部はユーザーの顔の画像からユーザーの心拍に関する情報を取得し、ユーザー状態情報生成部は心拍に関する情報に基づいてユーザーの疲労状態を示す情報又は自律神経バランス情報を取得し、ソリューション提供部は心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、回答の情報と基づいて生成されたユーザー状態情報に応じて決定されたソリューション情報をユーザーに提供する。【選択図】図１

Description

本発明は、本発明は、ユーザーの感情又は疲労状態を改善するソリューションの提供システム及び携帯端末に関する。

従来、心身状態誘導装置が知られている（特許文献１参照）。

特開2020-62282号公報

特許文献１に記載の発明によれば、ユーザーの生体情報からユーザーの体調等を特定して、体調に応じた呼吸リズムに誘導するための刺激を発することができる。

ところで、ユーザーの感情又は疲労状態を改善するソリューションの提供システム及び携帯端末を用いて、ユーザーの感情や疲労状態を効果的に改善するためには、ユーザーの状態に関する十分な情報を取得したうえで、ユーザーの状態に応じたソリューションを決定して提供する必要がある。

しかしながら特許文献１の装置がユーザーの体調を特定する情報はユーザーの生体情報にとどまっており、ユーザーの感情や疲労状態を効果的に改善するための、ユーザーの状態に関する情報としては不十分である。

ユーザーの状態に関する情報としては不十分である場合、提供されるソリューションはユーザーの状態に応じた適切なソリューションとはならない。そこで本発明は、ユーザーの状態を把握するのに十分な情報を取得して、当該把握されたユーザーの状態に応じた、効果的なソリューションの提供を行うことができるソリューション提供システム、携帯端末を提供することを目的とする。

第１発明のソリューション提供システムは、
ユーザーが携帯可能な携帯端末と、サーバーと、からなるコンピューターシステムであって、
前記携帯端末は、撮像部と、表示制御部と、表示部と、回答受付部と、入力部と、ユーザー情報取得部と、ソリューション提供部とを備え
前記サーバーは、ソリューション記憶部と、ユーザー状態情報生成部と、ソリューション決定部とを備え、
前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
前記回答受付部は、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を受け付け、
前記ユーザー情報取得部は、
前記撮像部により撮像された前記ユーザーの顔の画像の情報を取得し、
前記顔の画像から前記ユーザーの心拍に関する情報を取得して、該心拍に関する情報と前記回答とをサーバーに送信し、
前記ユーザー状態情報生成部は、
前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて、該ユーザーの心拍に基づく疲労状態を示す情報又は該ユーザーの自律神経バランスを示す自律神経バランス情報を取得し、
前記取得された心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、前記回答受付部により受け付けられた前記回答と、に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
前記ソリューション決定部は、前記複数のソリューション情報から、前記ユーザー状態情報生成部が生成した前記ユーザー状態情報に応じたソリューション情報を決定して前記携帯端末に送信し、
前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューション情報を前記ユーザーに提供する
ことを特徴とする。

また、第２発明の携帯端末は、
ユーザーが携帯可能な携帯端末と、サーバーと、からなるコンピューターシステムに用いられる携帯端末であって、
前記サーバーは、ソリューション記憶部と、ユーザー状態情報生成部と、ソリューション決定部とを備え、
前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
前記ユーザー状態情報生成部は、
前記携帯端末に備えられたユーザー情報取得部により取得された前記ユーザーの心拍に関する情報に基づいて、該ユーザーの心拍に基づく疲労状態を示す情報又は該ユーザーの自律神経バランスを示す自律神経バランス情報を取得し、
前記取得された心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、前記携帯端末からの前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の情報と、に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
前記ソリューション決定部は、前記複数のソリューション情報から、前記ユーザー状態情報生成部が生成した前記ユーザー状態情報に応じたソリューション情報を決定して前記携帯端末に送信し、
前記携帯端末に備えられたソリューション提供部から前記ソリューション情報を前記ユーザーに提供するシステムに用いられ、
前記携帯端末は、撮像部と、表示制御部と、表示部と、回答受付部と、入力部と、ユーザー情報取得部と、ソリューション提供部とを備え
前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
前記回答受付部は、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の情報の入力を受け付け、
前記ユーザー情報取得部は、
前記撮像部により撮像された前記ユーザーの顔の画像の情報を取得し、
前記顔の画像から前記ユーザーの心拍に関する情報を取得して、該心拍に関する情報と前記回答の情報とをサーバーに送信し、
前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューション情報を前記ユーザーに提供する
ことを特徴とする。

また、第３発明の携帯端末は、
ユーザーが携帯可能な携帯端末であって、
前記携帯端末は、ソリューション記憶部と、表示制御部と、撮像部と、表示部と、回答受付部と、入力部と、ユーザー情報取得部と、ユーザー状態情報生成部と、ソリューション決定部と、ソリューション提供部とを備え、
前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
前記回答受付部は、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を受け付け、
前記ユーザー情報取得部は、
前記撮像部により撮像された前記ユーザーの顔の画像の情報を取得し、
前記顔の画像から前記ユーザーの心拍に関する情報を取得し、
前記ユーザー状態情報生成部は、
前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて、該ユーザーの心拍に基づく疲労状態を示す情報又は該ユーザーの自律神経バランスを示す自律神経バランス情報を取得し、
前記取得された心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、前記回答受付部により受け付けられた前記回答と、に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
前記ソリューション決定部は、前記複数のソリューション情報から、前記ユーザー状態情報生成部が生成した前記ユーザー状態情報に応じたソリューション情報を決定し、
前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューション情報を前記ユーザーに提供する
ことを特徴とする。

ユーザーの心拍情報などの客観的なデータ及びユーザー自身の主観的な感覚は、ユーザーの感情及び疲労状態を把握するうえでいずれも重要な指標である。

本発明によれば、ユーザー状態情報生成部により、ユーザーの心拍に基づく疲労状態を示す情報又は自律神経バランス情報という客観的な情報と、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問に対するユーザー自身による回答という主観的な情報との両方が取得される。また、ユーザー状態情報生成部により、これらの両方の情報に基づいてユーザーのユーザー状態を示すユーザー状態情報が生成される。

そしてソリューション提供部により、心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、回答の情報とに基づいてユーザー状態情報が生成したユーザー状態情報に応じたソリューション情報がユーザーに向けて提供される。

これにより、いずれもユーザーの顔を起点として得られる、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態に関する客観的な情報（ユーザーの心拍に基づく疲労状態を示す情報又は自律神経バランス情報）と、主観的な情報（顔の状態についての質問に対する該ユーザーによる回答）と、の双方を考慮して、これらの組み合わせに応じた、適切なソリューションを提供し、ユーザー状態を効果的に改善できる。

このように本発明によれば、ユーザーの状態を把握するのに十分な情報を取得して、当該把握されたユーザーの状態に応じた、効果的なソリューションの提供を行うことができる。また、第１、第２発明のように、ユーザー情報の分析とソリューションの決定がサーバーで行われれば、その分携帯端末での処理のための負荷を下げることができる。

本発明において、
前記ユーザー情報取得部は、前記撮像部により撮像された前記ユーザーの顔の画像から、ＲＧＢの各色成分の輝度の変化の情報を前記心拍に関する情報として取得する
ことが好ましい。

本発明によれば、心拍に関する情報を取得する際に、ユーザーは撮像部に自身の顔の画像を取得させればよいので操作は容易である。そのため、ユーザー状態の把握に用いられる心拍に関する情報を簡便に取得させることができる。

本発明において、
前記ユーザー状態情報生成部は、前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて該ユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値を取得し、該ユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値に基づいて前記心拍に基づく疲労状態を示す情報を取得する
ことが好ましい。

心拍に関する情報を分析することにより算出されるＣＶＲ－Ｒ又はＣＣＶＴＰの値は、人の疲労状態と密接な関係を有している。

本発明によれば、ユーザー状態情報生成部により、心拍に関する情報に基づいてユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値が取得されて、ユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値に基づいて心拍に基づく疲労状態を示す情報が取得されるので、ユーザーの疲労状態を適正に把握し、ユーザーの疲労状態に応じた効果的なソリューションを提供することができる。

本発明において、
前記ユーザー状態情報生成部は、前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて該ユーザーのＬＦ／ＨＦ値を取得し、該ユーザーのＬＦ／ＨＦ値に基づいて前記自律神経バランス情報を取得する
ことが好ましい。

心拍に関する情報を分析することにより算出されるＬＦ／ＨＦ値は、人の自律神経バランスと密接な関係を有している。

本発明によれば、ユーザー状態情報生成部により、心拍に関する情報に基づいてユーザーのＬＦ／ＨＦ値が取得され、ユーザーのＬＦ／ＨＦ値に基づいて自律神経バランス情報が取得されるので、ユーザーの自律神経バランスの状態を適正に把握し、ユーザーの自律神経バランスの状態に応じた効果的なソリューションを提供することができる。

本発明において、
前記撮像部及び前記表示部は、前記携帯端末の同一の面に備えられている
ことが好ましい。

このような構成とすることで、確実にユーザー自身の顔を見せながら顔の状態に関する質問に回答させることができる。

本発明のソリューション提供システムの全体像を示すブロック図。 本発明のソリューション提供システムの処理内容を示すフローチャート。 本発明のソリューション提供システムの処理内容を示すフローチャート。 本発明のソリューション提供システムの処理内容を示すフローチャート。 本発明のソリューション提供システムの変更実施形態の一例を示すブロック図。

＜ソリューション提供システムの構成＞
まず図１を用いて、本実施形態のソリューション提供システムの構成について説明する。なお同一の構成については、同一の符号を付して説明を省略することがある。

本実施形態のソリューション提供システムは、携帯端末１０と、サーバー３０と、を含んで構成されるコンピューターシステムである。携帯端末１０とサーバー３０との間は、携帯電話網などの通信ネットワーク９０により相互に通信可能に接続される。なお携帯端末１０とサーバー３０は、いずれも複数であってよい。

携帯端末１０は、携帯端末制御部１１０と、出力部１３０とを備え、あるいはさらに撮像部１５０と、入力部１７０と、履歴記憶部１９０と、を含んで構成される、例えばスマートフォン、タブレット端末などの汎用的な端末である。あるいは携帯端末１０は、ユーザーが携帯可能な専用端末であってもよい。

携帯端末制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置、メモリ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）デバイスなどにより構成されている。携帯端末制御部１１０は、所定のプログラムを読み込んで実行することにより例えばユーザー情報取得部１１１、ソリューション提供部１１３として、あるいはさらに、表示制御部１１５、回答受付部１１７として機能する。

ユーザー情報取得部１１１は、例えば撮像部１５０、入力部１７０を介して、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得する。

ソリューション提供部１１３は、ソリューション決定部３１３により決定されたソリューションを、出力部１３０を介してユーザーに提供する。

表示制御部１１５は、撮像部１５０により撮像されたユーザーの顔の画像を表示部１３３に表示すると共に、表示部１３３に表示されたユーザーの顔の状態についての質問を表示部１３３に表示するように制御する。なお、当該質問は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する質問である。

回答受付部１１７は、入力部１７０を介してユーザーの顔の状態についての質問に対するユーザーによる回答の入力を、顔の画像を前記表示部に表示させた状態で受け付ける。

出力部１３０は、例えば振動発生部１３１と、表示部１３３と、音声再生部１３５と、香り発生部１３７と、を含んで構成され、ソリューション提供部１１３等の制御により、ユーザーにソリューションを提供する。

振動発生部１３１は、ソリューション決定部３１３が決定したソリューションに、ユーザー状態情報に応じた所定の周期的な振動が含まれる場合に、所定の周期的な振動をユーザーに提供する、例えばバイブレーターである。

表示部１３３は、ユーザー状態情報に応じた、所定の動作を促す情報又はユーザー状態を改善するための画像を含む表示情報を含む場合に、表示情報を表示してユーザーに提供する、ディスプレイである。

音声再生部１３５は、ユーザー状態情報に応じた人の声、自然音又は音楽を含む音声がソリューションに含まれる場合に、音声を再生してユーザーに提供する、スピーカーである。

香り発生部１３７は、ユーザー状態情報に応じた所定の香りがソリューションに含まれる場合に、香りを発生させてユーザーに提供する。

撮像部１５０は、例えばカメラであり、ユーザーの顔の画像を取得する。

入力部１７０は、例えばタッチパネル、キーボードなどの文字や選択結果等の入力機構であり、回答受付部１１７がユーザーの顔の状態についての質問に対するユーザーによる回答の入力を受け付ける際などに用いられる。なお入力部１７０は、表示部１３３に表示されたユーザーの顔の画像及び顔の状態についての質問を見ながら操作を行える位置に配置される。

履歴記憶部１９０は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置により構成されている。履歴記憶部１９０は、ユーザーに提供されたソリューションの情報を、所定の期間分、又は所定の回数分記憶するほか、携帯端末の処理に必要な情報、携帯端末の処理結果などを記憶している。

なお、履歴記憶部１９０は例えば、ユーザー情報に含まれる顔の画像及びユーザー状態情報を記憶しないように構成される。

サーバー３０は、サーバー制御部３１０と、ソリューション記憶部３３０と、を含んで構成される、例えばコンピューターである。

サーバー制御部３１０は、ＣＰＵ等の演算処理装置、メモリ、及びＩ／Ｏデバイスなどにより構成されている。サーバー制御部３１０は、所定のプログラムを読み込んで実行することにより例えばユーザー状態情報生成部３１１、ソリューション決定部３１３として機能する。

ユーザー状態情報生成部３１１は、ユーザー情報取得部１１１により取得された身体または動作から取得されたに情報に基づいてユーザーのユーザー状態を示すユーザー状態情報を生成する。

ソリューション決定部３１３は、ソリューション記憶部３３０に記憶されている複数のソリューションからユーザー状態情報に応じたソリューションを決定する。

ソリューション記憶部３３０は、例えばＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶装置により構成されている。ソリューション記憶部３３０は、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、ユーザーに提供可能な複数のソリューションの情報のほか、ソリューション提供システムの処理に必要な情報、ソリューション提供システムの処理結果などを記憶している。

ソリューション記憶部３３０に記憶されているソリューションの情報は、音楽、音声、映像、所定の周期的な振動のパターンなどのデジタルデータそのものでもよく、あるいは例えば所定の香りを特定するＩＤなどの符号情報であってよい。これらのソリューションが単独で、又は組み合わせてユーザーに向けて提供されることにより、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するためのソリューションとして機能する。

なおユーザーの感情とは、喜怒哀楽、又はネガティブな状態などのいわゆる心理状態のほか、興奮状態にあるかリラックス状態にあるかの指標の一つとしての自律神経バランスの状態及び、覚醒、休息、冷静、解放などのユーザー自身による自己認識の状態を含む概念である。

＜処理の概要＞
次に、本実施形態のソリューション提供システムの処理内容について説明する。まず図２を参照して、ソリューション提供システムによる一連の処理について説明する。

＜ユーザー情報取得処理＞
一連の処理を開始すると、まず携帯端末１０のユーザー情報取得部１１１は、ユーザー情報を取得してサーバー３０に送信する（図２／Ｓ１１０）。

より具体的には、例えば図３に示すようにユーザー情報取得部１１１は、撮像部１５０を介してユーザーの顔の画像を撮像する（図３／Ｓ１１１）。

そして表示制御部１１５は、撮像部１５０により撮像されたユーザーの顔の画像を表示部１３３に表示すると共に、表示部１３３に表示されたユーザーの顔の状態についての質問を表示部１３３に表示する（図３／Ｓ１１３）。

入力受付部１５５は、ユーザーの顔の状態についての質問に対するユーザーによる回答の入力を顔の画像を表示部１３３に表示させた状態で、入力部１７０を介して受け付ける。（図３／Ｓ１１５）。

入力受付部１５５は例えば、ユーザーの顔の状態についての複数の質問と回答の選択肢とを質問ごとに順番に表示して、ユーザーにより選択された選択肢を当該質問に対する回答として受け付ける。

ユーザー情報取得部１１１は、このようにして受け付けられた顔の状態についての質問に対する回答をユーザー状態情報として取得する。

なお顔の状態についての質問に対する回答は、例えば５段階評価のどれに該当するかをユーザーに選択させることにより入力されてもよく、音声や文字で入力されてもよい。また、当該質問は、１つであっても複数であってもよい。

そしてユーザー情報取得部１１１は、顔の画像を分析する（図３／Ｓ１１７）。すなわち例えばユーザー情報取得部１１１は、顔の画像から心拍に関する情報の取得に必要な情報を顔の画像の分析結果として取得する。

ユーザー情報取得部１１１が顔の画像から心拍に関する情報の取得に必要な情報を取得する手法としては既知の種々の手法が用いられてよいが、ユーザー情報取得部１１１は例えば、顔の画像である動画像又は連続的に撮像した静止画像から、ＲＧＢの各色成分の輝度の変化の情報を取得する。

そしてユーザー情報取得部１１１は、このようにして入力を受け付けたユーザーの顔の状態についての質問に対するユーザーによる回答と、顔の画像の分析結果（例えば心拍に関する情報の取得に必要な情報であるＲＧＢの各色成分の輝度の変化の情報。）と、をユーザー情報としてサーバー３０に送信する（図３／Ｓ１１９）。

＜ユーザー情報分析処理＞
そして、サーバー３０のユーザー状態情報生成部３１１は、ユーザー情報を受信して（図２／Ｓ２１０）、ユーザーの顔の状態についての質問に対するユーザーによる回答、顔の画像の分析結果などの、ユーザー情報に含まれる情報を分析する（図２／Ｓ２３０）。

より具体的には例えばユーザー状態情報生成部３１１は、心拍に関する情報の取得に必要な情報であるＲＧＢの各色成分の輝度の変化の情報から、ユーザーの心拍に関する情報を取得する（図４／Ｓ２３１）。

ユーザー状態情報生成部３１１が心拍に関する情報の取得に必要な情報からユーザーの心拍に関する情報を取得する手法としては既知の種々の手法が用いられてよいが、ユーザー状態情報生成部３１１は例えば、ＲＧＢの各色成分の輝度の変化の情報に含まれる特定の色成分（例えばＧ（緑））の輝度の変化を所定のアルゴリズムを用いて分析することにより、ユーザーの心拍を取得する。

またユーザー状態情報生成部３１１はユーザーの心拍から例えば、心拍数、心拍間隔、あるいはこれらの情報からＣＶＲ－Ｒ、ＣＣＶＴＰなどの指標値を計算して取得する。

そしてユーザー状態情報生成部３１１は、例えばＣＶＲ－Ｒ、ＣＣＶＴＰなどの指標値から、所定のアルゴリズムを用いて０～１０の間で０．１刻みでユーザーの心拍に基づく疲労状態を示す疲労度スコアを算出する。

その後にユーザー状態情報生成部３１１は、心拍に関する情報に基づいて自律神経バランス情報を取得する（図４／Ｓ２３３）。

ユーザー状態情報生成部３１１が自律神経バランス情報を取得する手法としては種々の手法が用いられてよい。すなわち例えばユーザー状態情報生成部３１１は、心拍の変動を周波数解析して、心拍の変動の低周波成分であるＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）と高周波成分であるＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）との比（ＬＦ／ＨＦ）を、自律神経バランス情報として取得する。

そしてユーザー状態情報生成部３１１は、自律神経バランス情報から、所定のアルゴリズムを用いて０～１０の間で０．１刻みでユーザーの自律神経のバランスを示す自律神経バランススコアを算出する。

そして、ユーザー状態情報生成部３１１は、ユーザー状態情報に含まれるユーザーの顔の状態についての質問に対するユーザーによる回答を分析する（図４／Ｓ２３５）。

より具体的にはユーザー状態情報生成部３１１は例えば、ユーザーの顔の状態についての各質問に対してユーザーが選択した各選択肢に対応付けられた値を足し合わせた値を、
ユーザーの顔に出ている疲れの兆候を数値化した疲れの兆候スコアとして数値化して、当該疲れの兆候スコアを分析結果として決定する。

＜ユーザー状態情報生成処理＞
そして、ユーザー状態情報生成部３１１は、ユーザー情報分析処理における分析結果に基づいて、ユーザーのユーザー状態を示すユーザー状態情報を生成する（図２／Ｓ２５０）。

例えばユーザー状態情報生成部３１１は、上記で得られた、心拍に基づく疲労度スコア、自律神経バランススコア、疲れの兆候スコアの組み合わせをユーザー状態情報とする。

＜ソリューション決定処理＞
そして、ソリューション決定部３１３は、ユーザー状態情報に応じたソリューションを決定して携帯端末１０に送信する（図３／Ｓ２７０）。

より具体的には、例えば心拍に基づく疲労度スコア、自律神経バランススコア、疲れの兆候スコアとの組み合わせと、ソリューションとの対応テーブルを予めソリューション記憶部３３０に記憶しておき、ソリューション決定部３１３は、当該対応テーブルを参照して、上記のようにして得られた心拍に基づく疲労度スコア、自律神経バランススコア、疲れの兆候スコアの組み合わせに対応したソリューションを認識することにより、ユーザーに提供するソリューションを決定する。

すなわち例えば、心拍に基づく疲労度スコア又は疲れの兆候スコアが高ければ、疲労度を下げる効果を有する所定の周期的な振動、人の声、自然音又は音楽を含む音声、所定の香り、所定の動作を促す情報又は前記ユーザー状態を改善するための画像を単独で、又はユーザー状態に応じたこれらの組み合わせを、ユーザーに提供するソリューションとして決定する。

あるいは例えば自律神経バランススコアが、交感神経又は副交感神経が過度に優位であるなど、自律神経バランスが整っていない状態を示している場合には、自律神経バランスを整える効果を有する所定の周期的な振動等を単独で、又はユーザー状態に応じたこれらの組み合わせを、ユーザーに提供するソリューションとして決定する。

＜ソリューション提供処理＞
そしてソリューション提供部１１３は、サーバー３０からソリューションを受信して（図３／Ｓ３１０）、当該受信したソリューションをユーザーに向けて提供する（図３／Ｓ３３０）。

より具体的にはソリューション提供部１１３は、サーバー３０から受信したソリューションの内容に応じて、振動発生部１３１、表示部１３３、音声再生部１３５、香り発生部１３７を介して、所定の周期的な振動などの触覚に対する刺激、人の声、自然音（鳥の声、小川のせせらぎ等）又は音楽を含む音声などの聴覚に対する刺激、所定の香りなどの嗅覚に対する刺激、ユーザー状態を改善するための画像などの視覚に対する刺激、などの受動的な刺激や、ユーザーに所定の動作を促す情報を含む能動的な刺激、をユーザーに向けて提供する。

すなわち例えば受信したソリューションが音楽のデジタルデータであれば、ソリューション提供部１１３は、当該音楽を音声再生部１３５に再生させる。あるいは例えば受信したソリューションが所定の香りを特定するＩＤであれば、ソリューション提供部１１３は、当該ＩＤに対応する香りを香り発生部１３７に発生させる。あるいは例えば受信したソリューションがユーザーに所定の動作を促す情報であれば、一定間隔で変化する「振動を感じながら簡単なマインドフルネス瞑想をやってみましょう」、「背筋を伸ばし姿勢を正しましょう」、「肩の力を抜きゆっくりと鼻呼吸をしましょう」などの、所定の動作又は所定の方法での呼吸又は瞑想を促す文章の組み合わせが表示部１３３により表示され、又は音声再生部１３５により再生される。

以上説明したように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。

以上、本発明の実施形態について説明したが、これに限定されない。本発明の趣旨を逸脱しない範囲で、種々の変更が可能である。

すなわち例えば、ユーザー状態は、急激に改善されるのではなく緩やかに改善していくと考えられる。そのため直近の数回あるいは直近の期間のソリューションは、同じソリューションとなることが想定される。

このため例えば、携帯端末１０は、ユーザーに提供されたソリューションを、所定の期間分、又は所定の回数分、履歴記憶部１９０に記憶するように構成されていてもよい。

この場合、ソリューション決定部３１３は、決定したソリューションが履歴記憶部１９０に記憶されている場合には、該決定されたソリューションを携帯端末１０に送信しないように構成される。

そしてソリューション提供部１１３は、ソリューション決定部３１３により決定されたソリューションが履歴記憶部１９０に記憶されている場合には、該決定されたソリューションを履歴記憶部１９０から取得してユーザーに提供するように構成される。

なおソリューション決定部３１３が、決定したソリューションが携帯端末１０の履歴記憶部１９０に記憶されているか否かを判定する手法としては、種々の手法が採用されてよい。

すなわち例えば、ソリューション決定部３１３は、過去に決定したソリューションを特定する情報を、所定の期間分、又は所定の回数分、ソリューション記憶部３３０に記憶しておく。なお当該所定の期間又は所定の回数は、携帯端末１０の履歴記憶部１９０に記憶されている期間又は回数と同一である。

そしてソリューション決定部３１３は、今回決定したソリューションが、ソリューション記憶部３３０に記憶されているいずれかのソリューションと一致するか否かを判定し、一致するソリューションがソリューション記憶部３３０に記憶されている場合に、決定したソリューションが携帯端末１０の履歴記憶部１９０に記憶されていると判定する。

この場合、ソリューション決定部３１３は、決定したソリューションを携帯端末１０に送信せず、その代わりに、今回決定したソリューションが、履歴記憶部１９０に記憶されているいずれのソリューションであるかを特定する情報を、携帯端末１０に送信する。

そして、ソリューション提供部１１３は、サーバー３０から今回決定したソリューションが、履歴記憶部１９０に記憶されているいずれのソリューションであるかを特定する情報を受信して、該当するソリューションを履歴記憶部１９０から取得してユーザーに提供する。

あるいは例えば図５に示すように、サーバー３０が省略されて、上記においてサーバー３０が備えると説明した機能のすべてが、携帯端末１０に備えられていてもよい。

あるいは例えばユーザー情報取得部１１１は、顔の画像を表示部１３３に表示させる代わりに、ユーザーの顔を映す鏡部に写るユーザーの顔の映像を見せた状態で、質問に対するユーザーによる回答の入力を受け付けるように構成されていてもよい。

この場合、表示部１３３はユーザーが鏡部に写るユーザーの顔と同時に見ることができる位置に配置され、入力部１７０は鏡部に写るユーザーの顔及び表示部１３３に表示された質問を見ながら操作を行える位置に配置される。

あるいは例えば、ユーザー情報取得部１１１は、ユーザーが、手指の肌の画像を取得すべき第１状況にあるか、顔の肌の画像を取得すべき第２状況にあるか、を認識して、ユーザーが第１状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、ユーザーが第２状況にある場合にはユーザーの顔の肌の画像を含むユーザー情報を取得するように構成されてもよい。

この場合、ユーザー状態情報生成部３１１は、ユーザーが第１状況にある場合にはユーザー情報取得部１１１により取得されたユーザーの顔の画像に基づいてユーザー状態情報を生成し、ユーザーが第２状況にある場合にはユーザー情報取得部１１１により取得されたユーザーの顔の画像に基づいてユーザー状態情報を生成するように構成される。

ユーザー情報取得部１１１は例えば、ユーザーが第１状況にあるか、第２状況にあるかを選択させるための選択ボタンを携帯端末１０のディスプレイに表示し、ユーザーに選択させることで、ユーザーが第１状況及び第２状況のいずれの状況にあるかを認識する。あるいは例えばユーザー情報取得部１１１は、現在の時間帯に基づいて、ユーザーが第１状況及び第２状況のいずれの状況にあるかを認識してもよい。すなわち例えばユーザー情報取得部１１１は、昼間の時間帯であれば第１状況、就寝前の夜の時間帯であれば第２状況であると認識する。

１０…携帯端末、３０…サーバー、１１１…ユーザー情報取得部、１１３…ソリューション提供部、１１５…表示制御部、１１７…回答受付部、１３１…振動発生部、１３３…表示部、１３５…音声再生部、１３７…香り発生部、１５０…撮像部、１７０…入力部、１９０…履歴記憶部、３１１…ユーザー状態情報生成部、３１３…ソリューション決定部、３３０…ソリューション記憶部。

Claims (11)

1. ユーザーが携帯可能な携帯端末と、サーバーと、からなるコンピューターシステムであって、
   前記携帯端末は、撮像部と、表示制御部と、表示部と、回答受付部と、入力部と、ユーザー情報取得部と、ソリューション提供部とを備え
   前記サーバーは、ソリューション記憶部と、ユーザー状態情報生成部と、ソリューション決定部とを備え、
   前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
   前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
   前記回答受付部は、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を受け付け、
   前記ユーザー情報取得部は、
   前記撮像部により撮像された前記ユーザーの顔の画像の情報を取得し、
   前記顔の画像から前記ユーザーの心拍に関する情報を取得して、該心拍に関する情報と前記回答の情報とをサーバーに送信し、
   前記ユーザー状態情報生成部は、
   前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて、該ユーザーの心拍に基づく疲労状態を示す情報又は該ユーザーの自律神経バランスを示す自律神経バランス情報を取得し、
   前記取得された心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、前記回答受付部により受け付けられた前記回答の情報と、に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
   前記ソリューション決定部は、前記複数のソリューション情報から、前記ユーザー状態情報生成部が生成した前記ユーザー状態情報に応じたソリューション情報を決定して前記携帯端末に送信し、
   前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューション情報を前記ユーザーに提供する
   ことを特徴とするソリューション提供システム。
2. 請求項１に記載のソリューション提供システムにおいて、
   前記ユーザー情報取得部は、前記撮像部により撮像された前記ユーザーの顔の画像から、ＲＧＢの各色成分の輝度の変化の情報を前記心拍に関する情報として取得する
   ことを特徴とするソリューション提供システム。
3. 請求項１又は２に記載のソリューション提供システムにおいて、
   前記ユーザー状態情報生成部は、前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて該ユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値を取得し、該ユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値に基づいて前記心拍に基づく疲労状態を示す情報を取得する
   ことを特徴とするソリューション提供システム。
4. 請求項１～３の何れかに記載のソリューション提供システムにおいて、
   前記ユーザー状態情報生成部は、前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて該ユーザーのＬＦ／ＨＦ値を取得し、該ユーザーのＬＦ／ＨＦ値に基づいて前記自律神経バランス情報を取得する
   ことを特徴とするソリューション提供システム。
5. 請求項１～４の何れかに記載のソリューション提供システムにおいて、
   前記撮像部及び前記表示部は、前記携帯端末の同一の面に備えられている
   ことを特徴とするソリューション提供システム。
6. ユーザーが携帯可能な携帯端末と、サーバーと、からなるコンピューターシステムに用いられる携帯端末であって、
   前記サーバーは、ソリューション記憶部と、ユーザー状態情報生成部と、ソリューション決定部とを備え、
   前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
   前記ユーザー状態情報生成部は、
   前記携帯端末に備えられたユーザー情報取得部により取得された前記ユーザーの心拍に関する情報に基づいて、該ユーザーの心拍に基づく疲労状態を示す情報又は該ユーザーの自律神経バランスを示す自律神経バランス情報を取得し、
   前記取得された心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、前記携帯端末からの前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の情報と、に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
   前記ソリューション決定部は、前記複数のソリューション情報から、前記ユーザー状態情報生成部が生成した前記ユーザー状態情報に応じたソリューション情報を決定して前記携帯端末に送信し、
   前記携帯端末に備えられたソリューション提供部から前記ソリューション情報を前記ユーザーに提供するシステムに用いられ、
   前記携帯端末は、撮像部と、表示制御部と、表示部と、回答受付部と、入力部と、ユーザー情報取得部と、ソリューション提供部とを備え
   前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
   前記回答受付部は、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の情報の入力を受け付け、
   前記ユーザー情報取得部は、
   前記撮像部により撮像された前記ユーザーの顔の画像の情報を取得し、
   前記顔の画像から前記ユーザーの心拍に関する情報を取得して、該心拍に関する情報と前記回答の情報とをサーバーに送信し、
   前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューション情報を前記ユーザーに提供する
   ことを特徴とする携帯端末。
7. ユーザーが携帯可能な携帯端末であって、
   前記携帯端末は、ソリューション記憶部と、表示制御部と、撮像部と、表示部と、回答受付部と、入力部と、ユーザー情報取得部と、ユーザー状態情報生成部と、ソリューション決定部と、ソリューション提供部とを備え、
   前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
   前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
   前記回答受付部は、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の情報の入力を受け付け、
   前記ユーザー情報取得部は、
   前記撮像部により撮像された前記ユーザーの顔の画像の情報を取得し、
   前記顔の画像から前記ユーザーの心拍に関する情報を取得し、
   前記ユーザー状態情報生成部は、
   前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて、該ユーザーの心拍に基づく疲労状態を示す情報又は該ユーザーの自律神経バランスを示す自律神経バランス情報を取得し、
   前記取得された心拍に基づく疲労状態を示す情報又は自律神経バランス情報と、前記回答受付部により受け付けられた前記回答の情報と、に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
   前記ソリューション決定部は、前記複数のソリューション情報から、前記ユーザー状態情報生成部が生成した前記ユーザー状態情報に応じたソリューション情報を決定し、
   前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューション情報を前記ユーザーに提供する
   ことを特徴とする携帯端末。
8. 請求項６又は７に記載の携帯端末において、
   前記ユーザー情報取得部は、前記撮像部により撮像された前記ユーザーの顔の画像から、ＲＧＢの各色成分の輝度の変化の情報を前記心拍に関する情報として取得する
   ことを特徴とする携帯端末。
9. 請求項６～８の何れかに記載の携帯端末において、
   前記ユーザー状態情報生成部は、前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて該ユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値を取得し、該ユーザーのＣＶＲ－Ｒ又はＣＣＶＴＰの値に基づいて前記心拍に基づく疲労状態を示す情報を取得する
   ことを特徴とする携帯端末。
10. 請求項６～９の何れかに記載の携帯端末において、
    前記ユーザー状態情報生成部は、前記ユーザー情報取得部により取得された前記心拍に関する情報に基づいて該ユーザーのＬＦ／ＨＦ値を取得し、該ユーザーのＬＦ／ＨＦ値に基づいて前記自律神経バランス情報を取得する
    ことを特徴とする携帯端末。
11. 請求項６～１０の何れかに記載の携帯端末において、
    前記撮像部及び前記表示部は、前記携帯端末の同一の面に備えられている
    ことを特徴とする携帯端末。

Images