JP6963668B1 - Solution provision system - Google Patents

Solution provision system Download PDF

Info

Publication number
JP6963668B1
JP6963668B1 JP2020200823A JP2020200823A JP6963668B1 JP 6963668 B1 JP6963668 B1 JP 6963668B1 JP 2020200823 A JP2020200823 A JP 2020200823A JP 2020200823 A JP2020200823 A JP 2020200823A JP 6963668 B1 JP6963668 B1 JP 6963668B1
Authority
JP
Japan
Prior art keywords
user
solution
state
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020200823A
Other languages
Japanese (ja)
Other versions
JP2022088791A (en
Inventor
智紀 本川
朋美 加藤
知彦 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pola Chemical Industries Inc
Original Assignee
Pola Chemical Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pola Chemical Industries Inc filed Critical Pola Chemical Industries Inc
Priority to JP2020200823A priority Critical patent/JP6963668B1/en
Priority to JP2021124099A priority patent/JP2022089138A/en
Application granted granted Critical
Publication of JP6963668B1 publication Critical patent/JP6963668B1/en
Priority to PCT/JP2021/044468 priority patent/WO2022118955A1/en
Publication of JP2022088791A publication Critical patent/JP2022088791A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供する。【解決手段】ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶する記憶部と、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得するユーザー情報取得部と、身体または動作から取得された情報に基づいてユーザー状態情報を生成するユーザー状態情報生成部と、複数のソリューションからユーザー状態情報に応じたソリューションを決定するソリューション決定部と、決定されたソリューションをユーザーに提供するソリューション提供部とを備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a solution providing system capable of analyzing a user's emotion or fatigue state and easily providing an appropriate solution according to the user's emotion or fatigue state. SOLUTION: A storage unit for storing information of a plurality of solutions for improving a user state which is one or both of a user's emotional state and fatigue state, and user information including information obtained from the user's body or movement are acquired. A user information acquisition unit that generates user status information based on information acquired from the body or movement, a solution determination unit that determines a solution according to the user status information from multiple solutions, and a solution determination unit. It has a solution provider that provides the determined solution to the user. [Selection diagram] Fig. 1

Description

本発明は、ユーザーの感情又は疲労状態を改善するソリューションの提供システムに関する。 The present invention relates to a system for providing a solution for improving a user's emotional or fatigued state.

従来、生体測定装置、心身状態誘導装置が知られている(特許文献1、特許文献2参照)。 Conventionally, a biological measurement device and a mental and physical state guidance device are known (see Patent Document 1 and Patent Document 2).

特開2018−197910号公報JP-A-2018-197910 特開2020−62282号公報Japanese Unexamined Patent Publication No. 2020-62282

特許文献1の発明によれば、近赤外光を用いて撮影したユーザーの顔画像から得られる脈波の情報に基づいてユーザーの状態を判定し、ユーザーの状態に応じた所定の警報を発することができる。 According to the invention of Patent Document 1, the state of the user is determined based on the pulse wave information obtained from the face image of the user taken by using near-infrared light, and a predetermined alarm is issued according to the state of the user. be able to.

また特許文献2の発明によれば、ユーザーの生体情報からユーザーの体調等を特定して、体調に応じた呼吸リズムに誘導するための刺激を発することができる。 Further, according to the invention of Patent Document 2, it is possible to identify the physical condition of the user from the biometric information of the user and emit a stimulus for inducing a respiratory rhythm according to the physical condition.

これらの技術を、ユーザーの感情又は疲労状態を分析して、ユーザーの状態に応じた適切なソリューションを提供して、ユーザーの状態を改善等するシステムに応用することが考えられる。 It is conceivable to apply these technologies to a system that analyzes a user's emotional or fatigued state, provides an appropriate solution according to the user's state, and improves the user's state.

ユーザーの状態を改善等するためにユーザーに提供すべきソリューションの内容は、ユーザーの状態によって大きく異なる。そのため、ユーザーの状態に適さないソリューションを提供してしまうと、ユーザーの状態の改善に役立たないばかりか、かえって悪化させてしまうことも考えられる。 The content of the solution that should be provided to the user in order to improve the user's condition varies greatly depending on the user's condition. Therefore, if a solution that is not suitable for the user's condition is provided, it may not be useful for improving the user's condition, but may even worsen it.

しかしながら特許文献1の技術ではユーザーに対して所定の警報を発することができるのみであり、また特許文献2の技術では呼吸のリズムを整えるための刺激を発することができるのみである。そのため、ユーザーの感情又は疲労状態に応じた適切なソリューションを提供できる仕組みにはなっていない。 However, the technique of Patent Document 1 can only issue a predetermined alarm to the user, and the technique of Patent Document 2 can only issue a stimulus for adjusting the respiratory rhythm. Therefore, there is no mechanism that can provide an appropriate solution according to the user's emotions or fatigue.

そこで本発明は、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供することを目的とする。 Therefore, an object of the present invention is to provide a solution providing system capable of analyzing a user's emotion or fatigue state and easily providing an appropriate solution according to the user's emotion or fatigue state.

本発明のソリューション提供システムは、
ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶する記憶部と、
前記ユーザーが、該ユーザーの手指の肌の画像を取得する第1状況にあるか、該ユーザーの顔の肌の画像を取得する第2状況にあるか、を認識する状況認識部と、
前記ユーザーが前記第1状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第2状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
前記ユーザーが前記第1状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第2状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
ことを特徴とする。
The solution providing system of the present invention
A storage unit that stores information of a plurality of solutions that can be provided to a user to improve the user's emotional and / or fatigued state.
A situational awareness unit that recognizes whether the user is in the first situation of acquiring the image of the skin of the user's fingers or the second situation of acquiring the image of the skin of the user's face.
When the user is in the first situation, user information including an image of the skin of the finger of the user is acquired, and when the user is in the second situation, the image of the skin of the user's face is included. The user information acquisition department that acquires user information and
When the user is in the first situation, the image of the skin of the fingers included in the user information is analyzed, and when the user is in the second situation, the skin of the face included in the user information is analyzed. The skin image analysis department that analyzes the image of
A heartbeat information acquisition unit that acquires information on the user's heartbeat based on the result of analysis by the skin image analysis unit, and a heartbeat information acquisition unit.
A user state information generation unit that generates user state information indicating the user state of the user based on the information related to the user's heartbeat, and a user state information generation unit.
A solution determination unit that determines a solution according to the user status information from the plurality of solutions,
It is characterized by including a solution providing unit that provides the determined solution to the user.

ソリューション提供システムを利用しようとするユーザーが置かれている状況はさまざまである。例えば肌の画像を取得させる必要がある場合に、状況によってはユーザーが自身の顔の画像を取得させることを望まないか、あるいは顔の画像を取得させたくてもそれに適した状況にないことも考えられる。 There are various situations in which users are trying to use the solution provision system. For example, if you need to get an image of your skin, in some situations you may not want the user to get an image of your face, or you may want to get an image of your face but not in a suitable situation. Conceivable.
本発明によれば、状況認識部によりユーザーの置かれている状況が認識されて、当該認識された状況に応じてユーザーの肌の画像を取得する部位(顔又は手指)を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 According to the present invention, the situation recognition unit recognizes the situation in which the user is placed, and while changing the part (face or finger) from which the image of the user's skin is acquired according to the recognized situation, the user It is possible to accurately analyze the emotional or fatigued state and easily provide an appropriate solution according to the user's emotional or fatigued state.

本発明のソリューション提供システムにおいて、
前記状況認識部は、前記ユーザーが第1状況にあるか、第2状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第1状況及び該第2状況のいずれの状況にあるかを認識する
ことが好ましい。
これにより、手指と顔とのいずれの肌の画像を取得させるかを、ユーザーの選択に応じて切り替えて、ユーザーの感情や疲労状態に応じた適切なソリューションを簡便に提供できる。
あるいは本発明のソリューション提供システムにおいて、
前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第1状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第2状況にあると認識する
ことが好ましい。
In the solution providing system of the present invention
The situational awareness unit accepts input of selection by the user, whether the user is in the first situation or the second situation, and the user receives the first situation and the first situation according to the received selection content. Recognize which of the second situations you are in
Is preferable.
As a result, it is possible to easily provide an appropriate solution according to the user's emotions and fatigue state by switching which of the skin images of the fingers and the face is to be acquired according to the user's selection.
Alternatively, in the solution providing system of the present invention.
The situation recognition unit recognizes that the user is in the first situation if the current time zone is the daytime time zone, and if the current time zone is the nighttime time zone, the user is in the second situation. It is preferable to recognize that it is in.

これにより、例えば昼間働いている人は、昼間の時間帯は職場などで手指の肌の画像から、就寝前の夜の時間帯は自宅などで人目を気にせずに顔の肌の画像から自身の感情や疲労状態を知ることができる。 As a result, for example, a person who works in the daytime can use the image of the skin of the fingers at work during the daytime, and the image of the skin of the face at home during the nighttime before bedtime. You can know your feelings and fatigue.

このように、本発明によれば、時間帯に応じて取得する情報を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 As described above, according to the present invention, the user's emotion or fatigue state is accurately analyzed while changing the information to be acquired according to the time zone, and an appropriate solution according to the user's emotion or fatigue state can be easily obtained. Can be provided.

本発明のソリューション提供システムにおいて、
前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
ことが好ましい。
In the solution providing system of the present invention
The user information acquisition unit acquires the user information again after the solution is provided to the user.
The user state information generation unit regenerates the user state information based on the information including the user information acquired after the solution is provided to the user.
It is preferable that the solution determination unit determines a solution according to the regenerated user state information.

ソリューションの提供の結果、時間の経過等、その他の理由により、ユーザーの感情又は疲労状態は変化することが想定される。 As a result of providing the solution, it is expected that the user's emotional or fatigued state will change due to other reasons such as the passage of time.

本発明によれば、ソリューションがユーザーに提供された後に、ユーザー情報取得部によりユーザー情報が再度取得される。 According to the present invention, after the solution is provided to the user, the user information is acquired again by the user information acquisition unit.

そしてソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいて、ユーザー状態情報生成部によりユーザー状態情報が再生成されて、ソリューション決定部により当該再生成されたユーザー状態情報に応じたソリューションが決定される。 Then, the user state information is regenerated by the user state information generation unit based on the information including the user information acquired after the solution is provided to the user, and the solution determination unit responds to the regenerated user state information. The solution is decided.

本発明によれば、ユーザーの感情又は疲労状態の変化に応じた個対応のソリューションを決定してユーザーに提供することができる可能性が高まる。 According to the present invention, there is an increased possibility that an individualized solution according to a change in a user's emotion or fatigue state can be determined and provided to the user.

本発明のソリューション提供システムにおいて、
前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
本発明によれば、ユーザーが所望する感情の状態又は疲労から回復した状態に効果的に誘導することができる。
本発明のソリューション提供システムにおいて、
前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
In the solution providing system of the present invention
A desired state receiving unit that accepts input of desired state information indicating one or both of the user's emotional state or fatigue state desired by the user is provided.
The solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the desired state information based on the user state information and the desired state information.
Is preferable.
According to the present invention, it is possible to effectively induce a user's desired emotional state or a state of recovery from fatigue.
In the solution providing system of the present invention
It is preferable that the solution determination unit is configured to determine the solution that induces the user state into a relaxed state, a calm state, or an awakened state according to the user state information.

本発明によれば、ソリューション決定部により、ユーザー状態情報に応じて、ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導するソリューションが決定される。 According to the present invention, the solution determination unit determines a solution that guides the user state to a relaxed state, a calm state, or an awakened state according to the user state information.

本発明によれば、効果的にユーザーをリラックスした状態、冷静な状態、又は覚醒した状態に誘導することができる。 According to the present invention, the user can be effectively guided to a relaxed state, a calm state, or an awakened state.

このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じたリラックスした状態、冷静な状態、又は覚醒した状態に誘導するための適切なソリューションを簡便に提供できる。 Thus, according to the present invention, there is an appropriate solution for analyzing a user's emotional or fatigued state and inducing a relaxed state, a calm state, or an awakened state according to the user's emotional or fatigued state. Can be provided easily.

本発明のソリューション提供システムにおいて、
前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
In the solution providing system of the present invention
The storage unit stores reference state information indicating a reference of a state in which one or both of the user's emotional or fatigue states are improved.
It is preferable that the solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the reference state information based on the user state and the reference state information.

本発明によれば、ユーザーを基準状態情報が示す状態の感情又は疲労状態に効果的に誘導することができる。 According to the present invention, the user can be effectively guided to the emotional or fatigued state indicated by the reference state information.

本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
ことが好ましい。
In the solution providing system of the present invention
The solution determined by the solution determination unit preferably includes stimuli for the user's sense of touch, hearing, or smell.

システムから提供されるソリューションが、ユーザーに対して能動的な行動を求めるソリューションである場合には、ユーザーにソリューションの提供を受けることに伴う労力を生じさせ、かえって感情を害したり、疲労を蓄積させたりしてしまうので望ましくない。 If the solution provided by the system is a solution that requires the user to take active action, it causes the effort associated with receiving the solution from the user, and rather causes emotional offense and accumulation of fatigue. It is not desirable because it will end up.

このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切かつユーザーに労力を生じさせないソリューションを簡便に提供できる。 As described above, according to the present invention, it is possible to easily provide a solution that analyzes a user's emotion or fatigue state and is appropriate according to the user's emotion or fatigue state and does not cause labor to the user.

本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
ことが好ましい。
In the solution providing system of the present invention
The solution determined by the solution determination unit preferably includes a combination of music, read-aloud voice, and predetermined periodic vibration.

朗読音声、所定の周期的な振動には、副交感神経の働きを活性化させて人の緊張感を緩和し、疲労を解消させるなどの効果がある。また、音楽には人の緊張感を緩和し、又は交感神経の働きを活性化させて人の緊張感を高める効果がある。これらを適切に組み合わせれば、より効果的である。 The read-aloud voice and the predetermined periodic vibration have the effects of activating the function of the parasympathetic nerve, relieving the tension of the person, and relieving fatigue. In addition, music has the effect of relieving a person's tension or activating the function of the sympathetic nerve to increase the person's tension. Proper combination of these will be more effective.

本発明によれば、前記ソリューション決定部が決定するソリューションは、音楽と、朗読音声と、所定の周期的な振動との、ユーザーのユーザー状態に応じた組み合わせを含んでいる According to the present invention, the solution determined by the solution determination unit includes a combination of music, reading voice, and predetermined periodic vibration according to the user state of the user.

本発明によれば、豊富なソリューションを、ユーザー状態に応じて適切に組み合わせてユーザーの感情又は疲労状態をより効果的に改善することができる。 According to the present invention, abundant solutions can be appropriately combined according to the user's condition to more effectively improve the user's emotional or fatigued condition.

本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
ことが好ましい。
In the solution providing system of the present invention
The solution determined by the solution determination unit preferably contains a predetermined scent according to the user state of the user.

所定の香りには、人の緊張感を緩和し、疲労を解消させるなどの効果がある。 The predetermined scent has an effect of relieving a person's tension and relieving fatigue.

本発明によれば、前記ソリューション決定部が決定するソリューションは、ユーザーのユーザー状態に応じた所定の香りを含んでいるAccording to the present invention, the solution determined by the solution determination unit includes a predetermined scent according to the user state of the user.

本発明によれば、ユーザーの感情又は疲労状態を効果的に改善することができる。 According to the present invention, the user's emotional or fatigued state can be effectively improved.

本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
ことが好ましい。
In the solution providing system of the present invention
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the driver's face or fingers of the moving body through the camera installed on the moving body.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the driver.
It is preferable that the solution providing unit provides the driver with the periodic vibration via the vibration generating unit installed on one or both of the handle portion and the seat of the moving body.

本発明によれば、運転者の感情の状態、疲労状態に応じた振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。 According to the present invention, vibration according to the driver's emotional state and fatigue state is transmitted from the steering wheel or seat, and recovery from stress and fatigue is promoted.

本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
ことが好ましい。
In the solution providing system of the present invention
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the patient's face or fingers of the medical institution through the camera installed on the examination table of the medical institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the patient.
It is preferable that the solution providing unit provides the patient with the periodic vibration via the vibration generating unit installed on the examination table.

本発明によれば、医療機関で診察を受ける患者の感情の状態に応じた振動が診察台から伝わり、患者の不安感、緊張状態の低減が促されて治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。 According to the present invention, vibration according to the emotional state of a patient who is examined at a medical institution is transmitted from the examination table, which promotes reduction of anxiety and tension of the patient and facilitates treatment. It can also be expected that the pain felt by the patient due to the treatment will be alleviated by reducing the tension.

本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
ことが好ましい。
In the solution providing system of the present invention
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the student's face or finger skin through the camera installed on the tablet terminal used by the student in an educational institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the student.
It is preferable that the solution providing unit provides the student with the periodic vibration via the vibration generating unit installed on one or both of the tablet terminal and the seat in which the student is seated.

本発明によれば、生徒の感情の状態、疲労状態に応じた振動がタブレット端末又は座席から伝わり、ストレス、疲労の回復が促されるので、生徒の授業に対する集中力が高まって、学習効果が高まることが期待できる。 According to the present invention, vibrations according to the student's emotional state and fatigue state are transmitted from the tablet terminal or seat to promote recovery from stress and fatigue, so that the student's ability to concentrate on the lesson is enhanced and the learning effect is enhanced. Can be expected.

本発明のソリューション提供システムの全体像を示すブロック図。The block diagram which shows the whole picture of the solution providing system of this invention. 本発明のソリューション提供システムが処理に用いるデータの内容を示す図。The figure which shows the content of the data used for processing by the solution providing system of this invention. 本発明のソリューション提供システムの処理内容を示すフローチャート。The flowchart which shows the processing content of the solution providing system of this invention. 本発明のソリューション提供システムの処理内容を示すフローチャート。The flowchart which shows the processing content of the solution providing system of this invention. 本発明のソリューション提供システムの処理内容を示すフローチャート。The flowchart which shows the processing content of the solution providing system of this invention. 本発明のソリューション提供システムの処理内容を示すイメージ図。The image figure which shows the processing content of the solution providing system of this invention. 本発明のソリューション提供システムが処理に用いるデータの内容を示す図。The figure which shows the content of the data used for processing by the solution providing system of this invention.

<ソリューション提供システムの構成>
まず図1を用いて、本実施形態のソリューション提供システムの構成について説明する。なお同一の構成については、同一の符号を付して説明を省略することがある。
<Configuration of solution provision system>
First, the configuration of the solution providing system of the present embodiment will be described with reference to FIG. The same components may be designated by the same reference numerals and description thereof may be omitted.

本実施形態のソリューション提供システムは、携帯端末10と、サーバー30と、を含んで構成される。携帯端末10とサーバー30との間は、携帯電話網などの通信ネットワーク90により相互に通信可能に接続される。なお携帯端末10とサーバー30は、いずれも複数であってよい。 The solution providing system of the present embodiment includes a mobile terminal 10 and a server 30. The mobile terminal 10 and the server 30 are connected to each other so as to be able to communicate with each other by a communication network 90 such as a mobile phone network. The number of mobile terminals 10 and the number of servers 30 may be plural.

携帯端末10は、携帯端末制御部110と、入力部130と、出力部150と、を含んで構成される、例えばスマートフォン、タブレット端末などの汎用的な端末である。あるいは携帯端末10は、ユーザーが携帯可能な専用端末であってもよい。 The mobile terminal 10 is a general-purpose terminal such as a smartphone or a tablet terminal, which includes a mobile terminal control unit 110, an input unit 130, and an output unit 150. Alternatively, the mobile terminal 10 may be a dedicated terminal that can be carried by the user.

携帯端末制御部110は、CPU(Central Processing Unit)等の演算処理装置、メモリ、及びI/O(Input/Output)デバイスなどにより構成されている。携帯端末制御部110は、所定のプログラムを読み込んで実行することにより例えばユーザー情報取得部111と、ソリューション提供部113として機能し、あるいはさらに所望状態受付部115、肌画像分析部117、状況認識部119として機能する。 The mobile terminal control unit 110 is composed of an arithmetic processing unit such as a CPU (Central Processing Unit), a memory, an I / O (Input / Output) device, and the like. The mobile terminal control unit 110 functions as, for example, a user information acquisition unit 111 and a solution provision unit 113 by reading and executing a predetermined program, or further, a desired state reception unit 115, a skin image analysis unit 117, and a situation recognition unit. Functions as 119.

ユーザー情報取得部111は、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得する。 The user information acquisition unit 111 acquires user information including information obtained from the user's body or movement.

ユーザー情報取得部111が取得するユーザーの身体または動作から得られる情報は、例えばユーザーの心拍に関する情報、ユーザーの肌の画像、ユーザーが入力する文字及び音声の一方又は両方である言語情報の少なくとも1つの情報である。 The information obtained from the user's body or movement acquired by the user information acquisition unit 111 is, for example, at least one of information on the user's heartbeat, an image of the user's skin, and one or both of the characters and sounds input by the user. Two pieces of information.

ユーザー情報取得部111は、例えば入力部130である心拍計を介してユーザーの心拍を取得する。 The user information acquisition unit 111 acquires the user's heartbeat via, for example, a heart rate monitor which is an input unit 130.

あるいはユーザー情報取得部111は、ユーザーの肌の動画像又はユーザーの肌を連続的に撮像した静止画像を、例えば入力部130であるカメラを介してユーザー情報として取得する。なお肌の画像とは、例えばユーザーの顔の肌の画像又は手指の肌の画像であるが、その他の部位の肌の画像であってよい。 Alternatively, the user information acquisition unit 111 acquires a moving image of the user's skin or a still image in which the user's skin is continuously captured as user information via, for example, a camera which is an input unit 130. The skin image is, for example, an image of the skin of the user's face or an image of the skin of the fingers, but may be an image of the skin of other parts.

そしてユーザー情報取得部111は、ユーザーによる文字及び音声の一方又は両方である言語情報を含むユーザー情報の入力を、例えば入力部130であるタッチパネル、マイクなどを介して受け付ける。 Then, the user information acquisition unit 111 receives the input of the user information including the language information which is one or both of the characters and the voice by the user via, for example, the touch panel, the microphone, or the like which is the input unit 130.

ソリューション提供部113は、ソリューション決定部313により決定されたソリューションを、出力部150を介してユーザーに提供する。 The solution providing unit 113 provides the solution determined by the solution determining unit 313 to the user via the output unit 150.

所望状態受付部115は、ユーザーが所望するユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を、入力部130を介して受け付ける。 The desired state receiving unit 115 receives input of desired state information indicating one or both of the user's desired emotional state or fatigue state via the input unit 130.

肌画像分析部117は、ユーザー情報に含まれる記肌の画像を分析する。 The skin image analysis unit 117 analyzes the image of the recorded skin included in the user information.

状況認識部119は、ユーザーが、ユーザー情報取得部111にユーザーの手指の肌の画像を取得させる第1状況にあるか、ユーザーの顔の肌の画像を取得させる第2状況にあるか、を認識する。状況認識部119は例えば、第1状況にあるか、第2状況にあるかの、ユーザー自身による選択の入力を受け付けて、当該受け付けた選択内容に応じてユーザーが第1状況及び第2状況のいずれの状況にあるかを認識する。あるいは例えば状況認識部119は、現在の時間帯に基づいて、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識してもよい。 The situation recognition unit 119 determines whether the user is in the first situation of causing the user information acquisition unit 111 to acquire the image of the skin of the user's fingers or the second situation of causing the user information acquisition unit 111 to acquire the image of the skin of the user's face. recognize. For example, the situation recognition unit 119 accepts input of selection by the user himself / herself whether he / she is in the first situation or the second situation, and the user changes the first situation and the second situation according to the received selection content. Recognize which situation you are in. Alternatively, for example, the situational awareness unit 119 may recognize whether the user is in the first situation or the second situation based on the current time zone.

入力部130は、例えばカメラなどの映像取得手段であり、タッチパネル、キーボードなどの文字や選択結果等の入力機構であり、あるいはマイクなどの音声入力機構である。 The input unit 130 is, for example, a video acquisition means such as a camera, an input mechanism for characters such as a touch panel and a keyboard and a selection result, or a voice input mechanism such as a microphone.

出力部150は、例えばバイブレーターなどの振動発生部151と、液晶ディスプレイなどの表示部153と、スピーカなどの音声再生部155と、香りを発生させる香り発生部157と、を含んで構成される。なお出力部150の一部は外付けの装置であってよい。 The output unit 150 includes, for example, a vibration generating unit 151 such as a vibrator, a display unit 153 such as a liquid crystal display, a sound reproducing unit 155 such as a speaker, and a scent generating unit 157 that generates a scent. A part of the output unit 150 may be an external device.

すなわち例えば振動発生部151として、携帯端末10に備えられたバイブレーターに代えて又は加えて、振動発生機能を備えた外付けの装置が備えられている場合には、携帯端末10と当該外付けの装置とは、例えば無線又は有線の通信により、相互に通信可能に接続される。そして当該外付けの装置は、例えば携帯端末10から、振動のソリューションを提供するための信号を受信して、当該信号に従って、振動のソリューションをユーザーに提供する。 That is, for example, when the vibration generating unit 151 is provided with an external device having a vibration generating function in place of or in addition to the vibrator provided in the mobile terminal 10, the mobile terminal 10 and the external device are provided. The devices are communicably connected to each other, for example by wireless or wired communication. Then, the external device receives a signal for providing the vibration solution from, for example, the mobile terminal 10, and provides the vibration solution to the user according to the signal.

サーバー30は、サーバー制御部310と、サーバー記憶部330と、を含んで構成される、例えばコンピューターである。 The server 30 is, for example, a computer including a server control unit 310 and a server storage unit 330.

サーバー制御部310は、CPU等の演算処理装置、メモリ、及びI/Oデバイスなどにより構成されている。サーバー制御部310は、所定のプログラムを読み込んで実行することにより例えばユーザー状態情報生成部311、ソリューション決定部313として機能し、あるいはさらに心拍情報取得部315、自律神経バランス取得部317、言語情報分析部319として機能する。 The server control unit 310 is composed of an arithmetic processing unit such as a CPU, a memory, an I / O device, and the like. The server control unit 310 functions as, for example, a user state information generation unit 311 and a solution determination unit 313 by reading and executing a predetermined program, or further, a heart rate information acquisition unit 315, an autonomic nerve balance acquisition unit 317, and a language information analysis. It functions as a unit 319.

ユーザー状態情報生成部311は、ユーザー情報取得部111によりされた身体または動作から取得された情報に基づいてユーザーのユーザー状態を示すユーザー状態情報を生成する。 The user state information generation unit 311 generates user state information indicating the user state of the user based on the information acquired from the body or movement performed by the user information acquisition unit 111.

すなわち例えばユーザー状態情報生成部311は、ユーザー情報に含まれる心拍に関する情報、肌画像分析部117による分析の結果、言語情報分析部319による分析の結果、自律神経バランス情報に基づいて、ユーザー状態情報を生成する。 That is, for example, the user state information generation unit 311 is based on the information on the heartbeat included in the user information, the analysis result by the skin image analysis unit 117, the analysis result by the language information analysis unit 319, and the autonomic nerve balance information. To generate.

ソリューション決定部313は、複数のソリューションからユーザー状態情報に応じたソリューションを決定する。 The solution determination unit 313 determines a solution according to the user status information from a plurality of solutions.

そして心拍情報取得部315は、肌の画像からユーザーの心拍に関する情報を取得する。 Then, the heartbeat information acquisition unit 315 acquires information on the user's heartbeat from the skin image.

自律神経バランス取得部317は、ユーザー情報に含まれる心拍に関する情報又は、心拍情報取得部315により取得された心拍に関する情報に基づいて、ユーザーの自律神経バランスを示す自律神経バランス情報を取得する。 The autonomic nerve balance acquisition unit 317 acquires autonomic nerve balance information indicating the user's autonomic nerve balance based on the information on the heartbeat included in the user information or the information on the heartbeat acquired by the heartbeat information acquisition unit 315.

あるいは例えば自律神経バランス取得部317は、言語情報分析部319により取得された、言語情報の特徴に関する情報に基づいて、ユーザーの自律神経バランス情報を取得する。 Alternatively, for example, the autonomic nerve balance acquisition unit 317 acquires the user's autonomic nerve balance information based on the information regarding the characteristics of the language information acquired by the language information analysis unit 319.

言語情報分析部319は、ユーザー情報に含まれる言語情報を分析する。例えば言語情報分析部319は、言語情報からユーザー情報の特徴に関する情報を取得する。 The language information analysis unit 319 analyzes the language information included in the user information. For example, the linguistic information analysis unit 319 acquires information on the characteristics of the user information from the linguistic information.

より具体的にはたとえば言語情報分析部319は、言語情報に含まれる特徴的な語句(ネガティブな語句など)を、あるいは例えばユーザー情報に音声が含まれる場合には、該音声の抑揚をユーザー情報の特徴に関する情報として取得する。 More specifically, for example, the linguistic information analysis unit 319 uses the characteristic words (negative words, etc.) included in the linguistic information, or, for example, when the user information includes voice, the inflection of the voice. Obtained as information about the characteristics of.

サーバー記憶部330は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等の記憶装置により構成されている。サーバー記憶部330は、ユーザーに提供可能な、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶しており、あるいはさらに対応辞書331、判定モデル333、変換モデル335、基準状態情報337のほか、本実施形態のソリューション提供システムの処理結果及び、処理に必要なデータを記憶している。 The server storage unit 330 is composed of storage devices such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive). The server storage unit 330 stores information on a plurality of solutions for improving the user state, which is one or both of the user's emotional and fatigue states, which can be provided to the user, or further, a corresponding dictionary 331, a determination model. In addition to 333, the conversion model 335, and the reference state information 337, the processing result of the solution providing system of the present embodiment and the data required for the processing are stored.

サーバー記憶部330に記憶されているソリューションの情報は、音楽、音声、映像、所定の周期的な振動のパターンなどのデジタルデータそのものでもよく、あるいは例えば所定の香りを特定するIDなどの符号情報であってよい。これらのソリューションが単独で、又は組み合わせてユーザーに向けて提供されることにより、例えばユーザー状態をリラックスした状態、冷静な状態、覚醒した状態に誘導するソリューション、ユーザー状態を所望状態情報が示す状態に向けて誘導するソリューション、ユーザー状態を基準状態情報337が示す状態に向けて誘導するソリューションなどとして機能する。 The solution information stored in the server storage unit 330 may be digital data itself such as music, audio, video, a predetermined periodic vibration pattern, or code information such as an ID that identifies a predetermined scent. It may be there. By providing these solutions to the user alone or in combination, for example, a solution that induces the user state to be in a relaxed state, a calm state, or an awake state, and a state in which the desired state information indicates the user state. It functions as a solution that guides the user state toward the state indicated by the reference state information 337, and the like.

また、サーバー記憶部330に記憶されているソリューションは、例えばユーザーの触覚、聴覚又は嗅覚に対する受動的な刺激を含み、より具体的には所定の周期的な振動、音楽、朗読音声、所定の香り、ネガティブな語句に対応する前向きな言い換え又は語句に比してネガティブさの度合いの低い言い換えの語句候補などである。あるいはソリューションは、例えばユーザーに所定の方法での呼吸又は瞑想を促す情報などであってもよい。 Further, the solution stored in the server storage unit 330 includes, for example, a passive stimulus to the user's sense of touch, hearing or smell, and more specifically, a predetermined periodic vibration, music, reading voice, a predetermined scent. , Positive paraphrases corresponding to negative words, or paraphrase candidates with a lower degree of negativeness than words. Alternatively, the solution may be, for example, information that encourages the user to breathe or meditate in a predetermined manner.

なおユーザーの感情とは、喜怒哀楽、又はネガティブな状態などのいわゆる心理状態のほか、興奮状態にあるかリラックス状態にあるかの指標の一つとしての自律神経バランスの状態及び、覚醒、休息、冷静、解放などのユーザー自身による自己認識の状態を含む概念である。 The user's emotions include so-called psychological states such as emotions and negative states, as well as the state of autonomic nerve balance as one of the indicators of whether the person is in an excited state or a relaxed state, and awakening and rest. It is a concept that includes the state of self-awareness by the user such as, calmness, and liberation.

対応辞書331は、例えば図2に示すような、言語情報に含まれるネガティブな語句などの特徴的な語句と、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態の度合とを対応付けて記憶している対応テーブルであり、あるいはさらに語句の前向きな言い換えの語句又は当該語句に比してネガティブさの度合いの低い言い換えの語句とを対応付けて記憶していてもよい。あるいは対応辞書331は、音声の抑揚とユーザー状態とを対応付けて記憶している対応テーブルである。 The corresponding dictionary 331 associates a characteristic phrase such as a negative phrase included in the linguistic information with, for example, the degree of the user state, which is one or both of the user's emotional state and fatigue state, as shown in FIG. It may be a memorized correspondence table, or may be stored in association with a positive paraphrase of a phrase or a paraphrase that is less negative than the phrase. Alternatively, the correspondence dictionary 331 is a correspondence table that stores the intonation of voice and the user state in association with each other.

これらの対応辞書331は、ユーザー状態情報生成部311がユーザー状態情報を生成する際又はソリューション決定部313がソリューションを決定する際に用いられる。 These corresponding dictionaries 331 are used when the user state information generation unit 311 generates the user state information or when the solution determination unit 313 determines the solution.

判定モデル333は、例えば言語情報に含まれる特徴的な語句入力としユーザー状態を出力とする判定モデル、または音声の抑揚を入力としユーザー状態を出力とする判定モデルであり、ユーザー状態情報生成部311がユーザー状態情報を生成する際に用いられる。 The determination model 333 is, for example, a determination model that inputs a characteristic phrase included in linguistic information and outputs a user state, or a determination model that inputs voice intonation and outputs a user state, and is a user state information generation unit 311. Is used to generate user state information.

変換モデル335は、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルであり、ソリューション決定部313がソリューションを決定する際に用いられる。 The conversion model 335 is a conversion model in which a negative phrase is input and a positive paraphrase of the phrase or a paraphrase that is less negative than the phrase is output, and the solution determination unit 313 solves the problem. Is used in determining.

基準状態情報337は、ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す情報であり、例えばユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準となる心拍数、心拍間隔、自律神経バランス、及びこれらのデータから求められる感情又は疲労状態の指標値が、例えば年代、性別などのユーザーの特性ごと、あるいは昼、夜などの時間帯ごとに記憶されている。 The reference state information 337 is information indicating a reference of a state in which one or both of the user's emotions or fatigue states are improved, and is, for example, a heartbeat as a reference of a state in which one or both of the user's emotions or fatigue states are improved. The number, heart rate interval, autonomic balance, and emotional or fatigue index values obtained from these data are stored for each user characteristic such as age and gender, or for each time zone such as day and night. ..

<処理の概要>
次に、図3〜図7を参照して、本実施形態のソリューション提供システムの処理内容について説明する。
<Outline of processing>
Next, the processing contents of the solution providing system of the present embodiment will be described with reference to FIGS. 3 to 7.

<所望状態受付処理>
一連の処理を開始すると、まず必要に応じて携帯端末10の所望状態受付部115は、ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付けて、サーバー30に送信する(図3/S110)。
<Desired state reception process>
When a series of processes are started, first, if necessary, the desired state receiving unit 115 of the mobile terminal 10 accepts the input of the desired state information indicating one or both of the user's desired emotional state or fatigue state, and the server. It is transmitted to No. 30 (FIG. 3 / S110).

所望状態受付部115は、例えば携帯端末10のディスプレイにユーザーが所望する感情及び/又は疲労状態の選択肢を複数表示し、ユーザーに選択させることで所望状態情報の入力を受け付ける。所望状態受付部115が表示する選択肢は、例えば「仕事のやる気をアップしたい」、「回復力を高めて疲れを取りたい」などの抽象的なものでもよく、「明るい気持ちになりたい」、「リラックスした気持ちになりたい」、「冷静になりたい」、「覚醒した状態になりたい」、「自律神経バランスを整えたい」などのより具体的なものであってもよい。 The desired state receiving unit 115 displays, for example, a plurality of options for emotions and / or fatigue states desired by the user on the display of the mobile terminal 10, and allows the user to select the desired state information input. The options displayed by the desired state reception unit 115 may be abstract ones such as "I want to improve my motivation for work" and "I want to improve my resilience and get rid of fatigue", "I want to feel cheerful", and "Relax". It may be more specific, such as "I want to feel comfortable", "I want to be calm", "I want to be awake", and "I want to balance the autonomic nerves".

そして、サーバー30は、所望状態情報を受信してサーバー記憶部330に記憶する(図3/S130)。 Then, the server 30 receives the desired state information and stores it in the server storage unit 330 (FIG. 3 / S130).

なおこのとき状況認識部119は例えば、ユーザーが第1状況にあるか、第2状況にあるかを選択させるための選択ボタンを携帯端末10のディスプレイに表示し、ユーザーに選択させることで、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識する。 At this time, the situation recognition unit 119 displays, for example, a selection button for selecting whether the user is in the first situation or the second situation on the display of the mobile terminal 10 and allows the user to select the user. Recognize whether the situation is in the first situation or the second situation.

<ユーザー情報取得処理>
その後に、携帯端末10のユーザー情報取得部111は、ユーザー情報を取得してサーバー30に送信する(図3/S150)。
<User information acquisition process>
After that, the user information acquisition unit 111 of the mobile terminal 10 acquires the user information and transmits it to the server 30 (FIG. 3 / S150).

より具体的には、例えば図4に示すようにユーザー情報取得部111は、携帯端末10が有するカメラを介してユーザーの肌の画像を取得し(図4/S151)、携帯端末10が有するタッチパネルを介して文字や選択肢の選択結果の入力を、あるいはマイクを介して音声の入力を、言語情報として受け付ける(図4/S153)。 More specifically, for example, as shown in FIG. 4, the user information acquisition unit 111 acquires an image of the user's skin via the camera included in the mobile terminal 10 (FIG. 4 / S151), and the touch panel included in the mobile terminal 10. The input of the selection result of characters and options is received as linguistic information, or the input of voice is received as linguistic information via a microphone (FIG. 4 / S153).

なおユーザー情報取得部111は、肌の画像を取得するときに、状況認識部119による認識結果に基づいて、ユーザーがユーザーの手指の肌の画像を取得させる第1状況にある場合にはユーザーの手指の肌の画像を取得し、ユーザーが顔の肌の画像を取得させる第2状況にある場合にはユーザーの顔の肌の画像を取得する。 When the user information acquisition unit 111 acquires the skin image, the user information acquisition unit 111 is in the first situation in which the user acquires the skin image of the user's fingers based on the recognition result by the situation recognition unit 119. The image of the skin of the fingers is acquired, and when the user is in the second situation of acquiring the image of the skin of the face, the image of the skin of the user's face is acquired.

そしてユーザー情報取得部111は、例えば肌画像分析部117の機能を用いて、肌の画像から心拍に関する情報の取得に必要な情報を取得する(図4/S155)。 Then, the user information acquisition unit 111 acquires information necessary for acquiring information on the heartbeat from the skin image by using, for example, the function of the skin image analysis unit 117 (FIG. 4 / S155).

なお肌画像分析部117は、心拍に関する情報の取得に必要な情報を取得するときに、状況認識部119による認識結果に基づいて、ユーザーが第1状況にある場合にはユーザーの手指の肌の画像を分析して心拍に関する情報の取得に必要な情報を取得し、第2状況にある場合にはユーザーの顔の肌の画像を分析して当該情報を取得する。 When the skin image analysis unit 117 acquires the information necessary for acquiring the information related to the heartbeat, the skin image analysis unit 117 is based on the recognition result by the situation recognition unit 119, and when the user is in the first situation, the skin of the user's fingers The image is analyzed to acquire the information necessary for acquiring the information related to the heartbeat, and in the second situation, the image of the skin of the user's face is analyzed to acquire the information.

肌画像分析部117が肌の画像から心拍に関する情報の取得に必要な情報を取得する手法としては既知の種々の手法が用いられてよいが、肌画像分析部117は例えば、肌の画像である動画像又は連続的に撮像した静止画像から、RGBの各色成分の輝度の変化の情報を取得する。 Various known methods may be used as a method for the skin image analysis unit 117 to acquire information necessary for acquiring information on the heartbeat from the skin image. The skin image analysis unit 117 is, for example, an image of the skin. Information on changes in the brightness of each RGB color component is acquired from a moving image or a continuously captured still image.

そしてユーザー情報取得部111は、このようにして取得した、言語情報、心拍に関する情報の取得に必要な情報をユーザー情報としてサーバー30に送信する(図4/S157)。 Then, the user information acquisition unit 111 transmits the information necessary for acquiring the language information and the information related to the heartbeat acquired in this way to the server 30 as user information (FIG. 4 / S157).

<ユーザー情報分析処理>
そして、サーバー30のユーザー状態情報生成部311は、ユーザー情報を受信して(図3/S210)、心拍に関する情報の取得に必要な情報、言語情報などの、ユーザー情報に含まれる情報を分析する(図3/S230)。
<User information analysis processing>
Then, the user status information generation unit 311 of the server 30 receives the user information (FIG. 3 / S210) and analyzes the information included in the user information such as the information necessary for acquiring the information related to the heartbeat and the language information. (FIG. 3 / S230).

より具体的には例えば図5に示すように、ユーザー状態情報生成部311は、心拍情報取得部315を介して、心拍に関する情報の取得に必要な情報から心拍に関する情報を取得する(図5/S231)。 More specifically, as shown in FIG. 5, for example, the user state information generation unit 311 acquires information on the heartbeat from the information necessary for acquiring the information on the heartbeat via the heartbeat information acquisition unit 315 (FIG. 5 /). S231).

心拍情報取得部315が心拍に関する情報の取得に必要な情報からユーザーの心拍に関する情報を取得する手法としては既知の種々の手法が用いられてよいが、心拍情報取得部315は例えば、RGBの各色成分の輝度の変化の情報に含まれる特定の色成分(例えばG(緑))の輝度の変化を所定のアルゴリズムを用いて分析することにより、ユーザーの心拍を取得する。 Various known methods may be used as a method for the heartbeat information acquisition unit 315 to acquire information on the user's heartbeat from information necessary for acquiring information on the heartbeat, and the heartbeat information acquisition unit 315 may use, for example, each color of RGB. The heartbeat of the user is acquired by analyzing the change in the brightness of a specific color component (for example, G (green)) included in the information on the change in the brightness of the component using a predetermined algorithm.

また心拍情報取得部315はユーザーの心拍から例えば、心拍数、心拍間隔、あるいはこれらの情報からCVR−R、CCVTPなどの指標値を計算して取得する。 Further, the heart rate information acquisition unit 315 calculates and acquires, for example, a heart rate, a heart rate interval, or an index value such as CVR-R or CCVTP from the user's heart rate.

そして心拍情報取得部315は、例えばCVR−R、CCVTPなどの指標値から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの疲労状態を示す疲労度スコアを算出する。 Then, the heart rate information acquisition unit 315 calculates a fatigue degree score indicating the user's fatigue state in 0.1 increments between 0 and 10 using a predetermined algorithm from index values such as CVR-R and CCVTP.

またユーザー状態情報生成部311は、言語情報分析部319の機能を用いて、ユーザー情報に含まれる言語情報の特徴に関する情報を取得する(図5/S233)。 Further, the user state information generation unit 311 uses the function of the language information analysis unit 319 to acquire information regarding the characteristics of the language information included in the user information (FIG. 5 / S233).

言語情報分析部319は、言語情報の特徴に関する情報として、例えば言語情報に含まれる特徴的な語句(ネガティブな語句など)を取得する。あるいは例えば言語情報分析部319は、ユーザー情報に音声が含まれる場合には、音声の抑揚をユーザー情報の特徴に関する情報として取得する。 The linguistic information analysis unit 319 acquires, for example, characteristic words (negative words, etc.) included in the linguistic information as information regarding the characteristics of the linguistic information. Alternatively, for example, when the user information includes voice, the language information analysis unit 319 acquires the intonation of the voice as information regarding the characteristics of the user information.

言語情報分析部319が言語情報の特徴に関する情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば言語情報分析部319は、あらかじめサーバー記憶部330に記憶されたネガティブな語句の辞書を参照して、ユーザーが入力又は選択した語句に含まれるネガティブな語句を抽出し、当該ネガティブな語句を言語情報の特徴に関する情報として取得する。 Various methods may be used as a method for the linguistic information analysis unit 319 to acquire information regarding the characteristics of the linguistic information. That is, for example, the language information analysis unit 319 refers to a dictionary of negative words and phrases stored in the server storage unit 330 in advance, extracts negative words and phrases included in the words and phrases input or selected by the user, and extracts the negative words and phrases. Obtained as information on the characteristics of linguistic information.

あるいは例えば言語情報分析部319は、ユーザー情報に含まれる音声データを音節ごとに分割し、各音節を分析してその抑揚パターンを取得して、あらかじめサーバー記憶部330に記憶された、人の発言の抑揚のパターンと感情、疲労状態、自律神経バランスなどとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから特徴的な(例えば発生頻度の多い)抑揚パターンを抽出し、当該抑揚パターンを言語情報の特徴に関する情報として取得する。 Alternatively, for example, the language information analysis unit 319 divides the voice data included in the user information into syllables, analyzes each syllable, acquires the intonation pattern, and stores the voice data in the server storage unit 330 in advance. By referring to the correspondence table that associates the intonation pattern with emotions, fatigue state, autonomic nerve balance, etc., a characteristic (for example, frequently occurring) intonation pattern is extracted from the voice data included in the user information. The intonation pattern is acquired as information related to the characteristics of linguistic information.

その後にユーザー状態情報生成部311は、自律神経バランス取得部317の機能を用いて、心拍に関する情報及び/又は言語情報から取得された特徴に関する情報に基づいて自律神経バランス情報を取得する(図5/S235)。 After that, the user state information generation unit 311 acquires the autonomic nerve balance information based on the information on the heartbeat and / or the information on the feature acquired from the linguistic information by using the function of the autonomic nerve balance acquisition unit 317 (FIG. 5). / S235).

自律神経バランス取得部317が自律神経バランス情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば自律神経バランス取得部317は、心拍の変動を周波数解析して、心拍の変動の低周波成分であるLF(Low Frequency)と高周波成分であるHF(High Frequency)との比(LF/HF)を、自律神経バランス情報として取得する。 Various methods may be used as the method for the autonomic nerve balance acquisition unit 317 to acquire the autonomic nerve balance information. That is, for example, the autonomic nerve balance acquisition unit 317 performs frequency analysis of the fluctuation of the heartbeat, and the ratio (LF / HF) of the low frequency component LF (Low Frequency) of the heartbeat fluctuation and the high frequency component HF (High Frequency). ) Is acquired as autonomic nerve balance information.

そして自律神経バランス取得部317は、自律神経バランス情報から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの自律神経のバランスを示す自律神経バランススコアを算出する。 Then, the autonomic nerve balance acquisition unit 317 calculates an autonomic nerve balance score indicating the balance of the user's autonomic nerve in 0.1 increments between 0 and 10 using a predetermined algorithm from the autonomic nerve balance information.

<ユーザー状態情報生成処理>
そして、サーバー30のユーザー状態情報生成部311は、ユーザー情報分析処理における分析結果に基づいて、ユーザーのユーザー状態を示すユーザー状態情報を生成する(図3/S250)。
<User status information generation process>
Then, the user state information generation unit 311 of the server 30 generates user state information indicating the user state of the user based on the analysis result in the user information analysis process (FIG. 3 / S250).

例えばユーザー状態情報生成部311は、上記で得られた疲労度スコアと自律神経バランススコアに基づいてユーザー状態情報を生成する。 For example, the user state information generation unit 311 generates user state information based on the fatigue degree score and the autonomic nerve balance score obtained above.

そして、ユーザー状態情報生成部311は、例えば図6に示すような、疲労度を縦軸として、自律神経バランスを横軸としたマトリクス表を用いて、ユーザー疲労度と自律神経バランスとの組み合わせが当該マトリクス表のどこに位置するかを示す情報を取得して、当該取得した情報をユーザー状態情報とする。あるいは例えばユーザー状態情報生成部311は、このようにして取得したマトリクス表のどこに位置するかを示す情報及び疲労度スコアと自律神経バランススコアを組み合わせた情報をユーザー状態情報としてもよい。 Then, the user state information generation unit 311 uses a matrix table with the fatigue level as the vertical axis and the autonomic nerve balance as the horizontal axis, as shown in FIG. 6, for example, to combine the user fatigue level and the autonomic nerve balance. Information indicating where in the matrix table is acquired is acquired, and the acquired information is used as user status information. Alternatively, for example, the user state information generation unit 311 may use the information indicating where in the matrix table thus acquired and the information obtained by combining the fatigue degree score and the autonomic nerve balance score as the user state information.

すなわち例えば図6に示すように、縦軸においては上に行くほど疲労度が高く、下に行くほど疲労度は低い。そして横軸においては右に行くほど交感神経が優位なすなわち心が緊張した状態の自律神経バランスであり、左に行くほど副交感神経が優位なすなわち心が弛緩した状態の自律神経バランスである。 That is, for example, as shown in FIG. 6, on the vertical axis, the higher the degree of fatigue, the higher the degree of fatigue, and the lower the degree, the lower the degree of fatigue. On the horizontal axis, the sympathetic nerve is dominant toward the right, that is, the autonomic nerve balance in a state in which the mind is tense, and the parasympathetic nerve is dominant toward the left, that is, the autonomic nerve balance in a relaxed state.

なお図6においては、自律神経スコアが0〜3.3であれば副交感神経が優位な状態とし、3.4〜6.6であれば自律神経バランスが整っている調和状態とし、6.7〜10.0であれば交感神経が優位な状態としている。また疲労度スコアが0〜3.3であれば疲労度は低く、3.4〜6.6であれば疲労度は中程度とし、6.7〜10.0であれば疲労度が高い状態としている。 In FIG. 6, when the autonomic nerve score is 0 to 3.3, the parasympathetic nerve is predominant, and when the autonomic nerve score is 3.4 to 6.6, the autonomic nerve is in a well-balanced harmonious state, and 6.7. If it is ~ 10.0, the sympathetic nerve is in a dominant state. If the fatigue score is 0 to 3.3, the fatigue level is low, if it is 3.4 to 6.6, the fatigue level is medium, and if it is 6.7 to 10.0, the fatigue level is high. It is said.

そして、副交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度なリラックス状態(over−relax)、交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度な覚醒状態(over−active)、疲労度が高ければ危険な状態(dangerous)であり、その中でも自律神経のバランスが取れている場合は要注意な状態(caution)となる。 When the parasympathetic nerve is dominant and the fatigue level is moderate to low, it is an excessive relaxed state (over-relax), and when the sympathetic nerve is dominant and the fatigue level is medium to low. If it is, it is an excessive-active state, and if the degree of fatigue is high, it is a dangerous state (dangerous). Among them, if the autonomic nerves are balanced, it is a cautionary state (caution).

一方で、疲労度が中程度で自律神経バランスが取れている場合は平常状態(me−normal)であり、疲労度が低く自律神経バランスが取れている場合は充実した状態(me−fullness)となる。図6は、ユーザー状態が「caution」の状態であることを示している。 On the other hand, when the degree of fatigue is moderate and the autonomic nerves are balanced, it is in a normal state (me-normal), and when the degree of fatigue is low and the autonomic nerves are balanced, it is in a full state (me-fullness). Become. FIG. 6 shows that the user state is the "cution" state.

<ソリューション決定処理>
そして、サーバー30のソリューション決定部313は、ユーザー状態情報に応じたソリューションを決定して携帯端末10に送信する(図3/S270)。
<Solution decision processing>
Then, the solution determination unit 313 of the server 30 determines the solution according to the user state information and transmits it to the mobile terminal 10 (FIG. 3 / S270).

より具体的には、例えば図7に示すような、疲労度と自律神経バランスとの組み合わせと、ソリューションとの対応テーブルを予めサーバー記憶部330に記憶しておき、ソリューション決定部313は、当該対応テーブルを参照して、上記のようにして得られた疲労度と自律神経バランスとの組み合わせに対応したソリューション又はソリューションの組み合わせを取得する。 More specifically, for example, as shown in FIG. 7, the combination of the degree of fatigue and the autonomic nerve balance and the correspondence table with the solution are stored in the server storage unit 330 in advance, and the solution determination unit 313 performs the correspondence. With reference to the table, obtain a solution or a combination of solutions corresponding to the combination of the degree of fatigue and the autonomic nerve balance obtained as described above.

すなわち例えば上記の例においては、ユーザー状態が、自律神経のバランスはとれているが疲労度が高い「caution」の状態であるので、ソリューション決定部313は、振動と音声との組み合わせであって、音声としてはまずナレーション(朗読音声)が流れてそののちに音楽が流れる、6分間のソリューションの組み合わせをユーザー状態情報に応じたソリューションとして決定する。 That is, for example, in the above example, since the user state is a “caction” state in which the autonomic nerves are balanced but the degree of fatigue is high, the solution determination unit 313 is a combination of vibration and voice. As for the voice, the combination of the 6-minute solution in which the narration (reading voice) is first played and then the music is played is determined as the solution according to the user status information.

これは、疲労度の高いユーザーに対してはまず、疲労を和らげる効果を有する振動とナレーションとの組み合わせを提供し、その後に音声を自律神経のバランスを維持する音楽に入れ替えて提供することで、疲労の低減と自律神経バランスの維持を効果的に行うことを意図した組み合わせとなっている。また、ユーザーの感情又は疲労状態が良好な状態にあれば、ソリューションの時間は相対的に短く、ユーザーの感情又は疲労状態が良好な状態になければ、ソリューションの時間はユーザーにとって無理のない範囲で相対的に長く設定される。 This is done by first providing a combination of vibration and narration that has the effect of relieving fatigue to users with a high degree of fatigue, and then replacing the voice with music that maintains the balance of the autonomic nerves. The combination is intended to effectively reduce fatigue and maintain autonomic balance. Also, if the user's emotions or fatigue is in good condition, the solution time is relatively short, and if the user's emotions or fatigue is not in good condition, the solution time is within a reasonable range for the user. It is set relatively long.

なおこのとき、ソリューション決定部313は、当該ユーザーの所望状態情報がサーバー記憶部330に記憶されている場合には、ユーザーの感情又は疲労状態を所望状態情報が示す状態に向けて誘導するソリューションを決定する。すなわち例えばユーザー状態が「caution」で、ユーザーの所望状態情報が「回復力を高めて疲れを取りたい」であれば、ユーザー状態が「me−normal」又は「me−fullness」に向けて誘導できるソリューションをサーバー記憶部330に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。 At this time, when the desired state information of the user is stored in the server storage unit 330, the solution determination unit 313 guides the user's emotional or fatigue state toward the state indicated by the desired state information. decide. That is, for example, if the user state is "cution" and the user's desired state information is "to improve resilience and relieve fatigue", the user state can be guided toward "me-normal" or "me-fullness". The solution to be provided to the user is determined by selecting the solution from the solutions stored in the server storage unit 330.

あるいはユーザーの所望状態情報がサーバー記憶部330に記憶されていない場合などには、ソリューション決定部313は、例えばユーザー状態をリラックスした状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。 Alternatively, when the user's desired state information is not stored in the server storage unit 330, the solution determination unit 313, for example, moves the user state to a relaxed state, that is, a state in which the current autonomic nerve balance becomes more parasympathetic-dominant. It may be configured to determine the solution to guide.

あるいはソリューション決定部313は、例えばユーザー状態を冷静な状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に、リラックスした状態に誘導するソリューションに比して速いスピードで、向かうように誘導するソリューションを決定するように構成されていてもよく、ユーザー状態を覚醒した状態、すなわち現在の自律神経バランスがより交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。 Alternatively, the solution decision unit 313 induces the user state to move toward a calm state, that is, a state in which the current autonomic nerve balance is more parasympathetic-dominant, at a speed higher than that of a solution that induces a relaxed state. It may be configured to determine the solution, even if it is configured to determine the solution that induces the user state to be awake, that is, the current autonomic balance towards a more sympathetic predominant state. good.

あるいはユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報337がサーバー記憶部330に記憶されている場合には、ソリューション決定部313は、ソリューション決定部313は、ユーザー状態及び基準状態情報337に基づいて、ユーザー状態を基準状態情報337が示す状態に向けて誘導するソリューションを決定するように構成されていてもよい。 Alternatively, when reference state information 337 indicating a standard of a state in which one or both of the user's emotions and fatigue states are improved is stored in the server storage unit 330, the solution determination unit 313 may use the solution determination unit 313. Based on the user state and reference state information 337, it may be configured to determine a solution that guides the user state toward the state indicated by the reference state information 337.

すなわち例えば、ソリューション決定部313はソリューションの決定にあたって基準状態情報337を参照する。基準状態情報337として、例えば「疲労度=0〜3.3」が指定されていれば、ソリューション決定部313は、疲労度を3.3以下に誘導するソリューションをサーバー記憶部330に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。 That is, for example, the solution determination unit 313 refers to the reference state information 337 when determining the solution. If, for example, "fatigue level = 0 to 3.3" is specified as the reference state information 337, the solution determination unit 313 stores the solution that induces the fatigue level to 3.3 or less in the server storage unit 330. Determine which solution to offer to your users by choosing from the available solutions.

<言い換えの語句候補の決定>
なおソリューション決定部313が決定するソリューションは、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補であってもよい。
<Determination of paraphrase candidates>
The solution determined by the solution determination unit 313 may be a positive paraphrase corresponding to a negative phrase or a paraphrase candidate having a lower degree of negativeness than the phrase.

すなわち例えばソリューション決定部313は、言語情報に含まれるネガティブな語句と、該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句と、の対応辞書を用いて、該ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補をソリューションとして決定する。 That is, for example, the solution determination unit 313 uses a corresponding dictionary of a negative phrase included in the linguistic information and a positive paraphrase phrase of the phrase or a paraphrase phrase having a lower degree of negativeness than the phrase. , A positive paraphrase corresponding to the negative phrase or a paraphrase candidate with a lower degree of negativeness than the phrase is determined as a solution.

より具体的には、言語情報に「悲しい」という語句が含まれていた場合に、ソリューション決定部313は、図2に示すような対応辞書を参照して、「悲しい」の語句の感情の度合が「−99」点で、に対応する言い換えの語句が「切ない」又は「涙を誘う」であることを認識する。そしてソリューション決定部313は、例えば言語情報に「悲しい」という語句が複数回登場すれば、感情の度合を下げる必要性が高いと認識して、より感情の度合が低い「−28」点の「涙を誘う」をネガティブさの度合いの低い言い換えの語句候補として選択し、ソリューションとして決定する。 More specifically, when the linguistic information contains the phrase "sad", the solution determination unit 313 refers to the corresponding dictionary as shown in FIG. 2 and refers to the degree of emotion of the phrase "sad". Recognizes that the paraphrase word corresponding to is "painful" or "invites tears" at the point "-99". Then, the solution decision unit 313 recognizes that, for example, if the word "sad" appears multiple times in the linguistic information, it is highly necessary to lower the degree of emotion, and the "-28" point "-28", which has a lower degree of emotion. Select "Invite tears" as a paraphrase candidate with a low degree of negativeness, and decide as a solution.

あるいは言語情報に「ぐったり」という語句が含まれていた場合には、ソリューション決定部313は、図2に示すような対応辞書を参照して、「ぐったり」に対応する前向きな言い換えの語句に「充実している」、「腕の見せ所だ」などがあることを認識する。そして言語情報の内容に応じて、これらの中から適宜に語句を選択して、ソリューションとして決定する。 Alternatively, if the linguistic information contains the phrase "gutari", the solution determination unit 313 refers to the corresponding dictionary as shown in FIG. 2 and puts "gutari" in the positive paraphrase phrase corresponding to "gutari". Recognize that there are "fulfilling" and "a place to show your arms". Then, depending on the content of the linguistic information, words and phrases are appropriately selected from these and determined as a solution.

ソリューション決定部313は例えば、ユーザーが携帯端末10の入力部130を介して文字を入力し、文字変換の操作を行うたびに上記の処理を実行し、選択した語句をソリューションとして携帯端末10に送信する。 For example, the solution determination unit 313 executes the above process each time a user inputs characters via the input unit 130 of the mobile terminal 10 and performs a character conversion operation, and transmits the selected phrase as a solution to the mobile terminal 10. do.

そして携帯端末10のソリューション提供部113は例えば、後述するソリューション提供処理において、当該選択された語句を変換候補の一覧の上位に表示する。 Then, the solution providing unit 113 of the mobile terminal 10 displays, for example, the selected phrase at the top of the list of conversion candidates in the solution providing process described later.

なおソリューション決定部313は、上記の対応辞書に加えて又は代えて、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルを用いて言い換えの語句候補を決定してもよい。 In addition to or instead of the above-mentioned corresponding dictionary, the solution determination unit 313 inputs a negative phrase and outputs a positive paraphrase of the phrase or a paraphrase with a lower degree of negativeness than the phrase. The paraphrase candidate may be determined using the conversion model.

<ソリューション提供処理>
そして携帯端末10のソリューション提供部113は、ソリューションを受信して(図3/S310)、当該受信したソリューションをユーザーに向けて提供する(図3/S330)。
<Solution provision processing>
Then, the solution providing unit 113 of the mobile terminal 10 receives the solution (FIG. 3 / S310) and provides the received solution to the user (FIG. 3 / S330).

より具体的にはソリューション提供部113は、サーバー30から受信したソリューションの内容に応じて、振動発生部151、表示部153、音声再生部155、香り発生部157を介して、所定の周期的な振動などの触覚に対する刺激、音楽、朗読音声、自然音(鳥の声、小川のせせらぎ等)などの聴覚に対する刺激、所定の香りなどの嗅覚に対する刺激などの受動的な刺激や、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補、をユーザーに向けて提供する。 More specifically, the solution providing unit 113 has a predetermined periodic period via the vibration generating unit 151, the display unit 153, the voice reproducing unit 155, and the scent generating unit 157, depending on the content of the solution received from the server 30. For tactile stimuli such as vibration, auditory stimuli such as music, reading voice, natural sounds (bird's voice, stream babbling, etc.), passive stimuli such as olfactory stimuli such as predetermined scents, and negative phrases. It provides the user with a corresponding positive paraphrase or a paraphrase candidate that is less negative than the phrase.

すなわち例えば受信したソリューションが音楽のデジタルデータであれば、ソリューション提供部113は、当該音楽を音声再生部155に再生させる。あるいは例えば受信したソリューションが所定の香りを特定するIDであれば、ソリューション提供部113は、当該IDに対応する香りを香り発生部157に発生させる。 That is, for example, if the received solution is digital data of music, the solution providing unit 113 causes the voice reproduction unit 155 to play the music. Alternatively, for example, if the received solution has an ID that specifies a predetermined scent, the solution providing unit 113 generates the scent corresponding to the ID in the scent generating unit 157.

なお本実施形態のソリューション提供システムは、これら一連の処理を定期的に又は不定期的に繰り返し行うように構成されていてもよい。 The solution providing system of the present embodiment may be configured to repeat these series of processes periodically or irregularly.

すなわち例えばユーザー情報取得部111はソリューションがユーザーに提供された後にユーザー情報を再度取得し、ユーザー状態情報生成部311はソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいてユーザー状態情報を再生成し、ソリューション決定部313は再生成されたユーザー状態情報に応じたソリューションを決定するように構成されていてもよい。 That is, for example, the user information acquisition unit 111 acquires the user information again after the solution is provided to the user, and the user state information generation unit 311 acquires the user information based on the information including the user information acquired after the solution is provided to the user. The state information may be regenerated, and the solution determination unit 313 may be configured to determine the solution according to the regenerated user state information.

以上説明したように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 As described above, according to the present invention, it is possible to analyze a user's emotion or fatigue state and easily provide an appropriate solution according to the user's emotion or fatigue state.

以上、本発明の実施形態について説明したが、これに限定されない。本発明の趣旨を逸脱しない範囲で、種々の変更が可能である。 The embodiments of the present invention have been described above, but the present invention is not limited thereto. Various modifications can be made without departing from the spirit of the present invention.

<ソリューション提供システムの実装の例>
以下に、ソリューション提供システムの実装の例を記載する。
<Example of implementation of solution providing system>
An example of implementation of the solution providing system is described below.

<移動体との組み合わせ>
本発明のソリューション提供システムは、自動車などの移動体に搭載されて用いられてもよい。
<Combination with mobile>
The solution providing system of the present invention may be mounted and used on a moving body such as an automobile.

この場合、例えばユーザー情報取得部111は、例えば自動車に設置されたカメラ及び心拍計の一方又は両方を介して、自動車の運転者又は同乗者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。また、ユーザー状態情報生成部311が、取得された情報に基づいて運転者又は同乗者のユーザー状態情報を生成する。 In this case, for example, the user information acquisition unit 111 relates to an image of the skin of the driver or passenger of the automobile, an image of the skin of the fingers, and the heartbeat, for example, via one or both of the camera and the heart rate monitor installed in the automobile. Get user information including information. In addition, the user state information generation unit 311 generates user state information of the driver or passenger based on the acquired information.

そして、ソリューション決定部313が決定するソリューションは、ユーザー状態に応じた、例えばユーザーに休憩を促す情報、該ユーザー状態に応じた所定の周期的な振動又はこれらの組み合わせである。 The solution determined by the solution determination unit 313 is information according to the user state, for example, information prompting the user to take a break, predetermined periodic vibration according to the user state, or a combination thereof.

また、ソリューション提供部113は、自動車の例えばハンドル部分及び座席の一方又は両方に設置された振動発生部を介して、ユーザー状態に応じた所定の周期的な振動を運転者又は同乗者に提供する。なお、振動発生部は、ハンドル部分、座席に内蔵されていてもよく、あと付けの装置であってもよい。 Further, the solution providing unit 113 provides the driver or a passenger with a predetermined periodic vibration according to the user's condition via, for example, a vibration generating unit installed on one or both of the steering wheel portion and the seat of the automobile. .. The vibration generating portion may be built in the handle portion or the seat, or may be a retrofit device.

あるいはこれに加えて又は代えて、ユーザー状態に応じた香りがソリューションとして提供されてもよい。 Alternatively, or in place of this, a scent according to the user's condition may be provided as a solution.

本発明によれば、運転者又は同乗者のストレスなどの感情の状態、疲労状態に応じて、休憩の指示を適切に行え、また休憩時には振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。特に運転者に関しては、運転に伴うストレス、疲労による集中力の低下が防止される。 According to the present invention, a break instruction can be appropriately given according to an emotional state such as stress of the driver or a passenger and a fatigue state, and vibration is transmitted from the handle or the seat during the break to recover from stress and fatigue. Prompted. Especially for the driver, the decrease in concentration due to stress and fatigue associated with driving is prevented.

<医療機関での利用>
本発明のソリューション提供システムは、病院や歯科医院などの医療機関で用いられてもよい。
<Use at medical institutions>
The solution providing system of the present invention may be used in a medical institution such as a hospital or a dental clinic.

この場合、例えばユーザー情報取得部111は、例えば医療機関の診察室に設置されたカメラ及び心拍計の何れか一方又は両方を介して、患者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。 In this case, for example, the user information acquisition unit 111 relates to the face of the user who is the patient, the image of the skin of the fingers, and the heartbeat via, for example, one or both of the camera and the heart rate monitor installed in the examination room of the medical institution. Get user information including information.

そしてユーザー状態情報生成部311が、取得された情報に基づいて患者のユーザー状態情報を生成して、ソリューション提供部113は、医療機関の診察台に設置された振動発生部を介して、患者のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。 Then, the user state information generation unit 311 generates the user state information of the patient based on the acquired information, and the solution providing unit 113 uses the vibration generation unit installed on the examination table of the medical institution to generate the patient's user state information. It provides the patient with a predetermined periodic vibration according to the user status information.

ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、患者の心拍にほぼ同期しており、その後段階的に周期を長くしていく振動パターンの振動をソリューションとして決定する。 For example, the vibration at the start of a predetermined periodic vibration according to the user state is substantially synchronized with the heartbeat of the patient, and then the vibration of the vibration pattern in which the cycle is gradually lengthened is determined as a solution.

これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーの心拍数を下げ、ユーザーの不安感、緊張状態を低減することを意図したものである。 This is intended to reduce the user's heart rate and reduce the user's anxiety and tension by utilizing the pull-in effect that synchronizes the heart rate cycle with the vibration provided to the user. Is.

本発明によれば、不安感、緊張状態の低減によって医療機関における治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。 According to the present invention, treatment in a medical institution becomes easier by reducing anxiety and tension. It can also be expected that the pain felt by the patient due to the treatment will be alleviated by reducing the tension.

<教育機関での利用>
本発明のソリューション提供システムは、学校などの教育機関で用いられてもよい。
<Use in educational institutions>
The solution providing system of the present invention may be used in an educational institution such as a school.

この場合、例えばユーザー情報取得部111は、学校の生徒等に用いられるタブレット端末に備えられたカメラ及び心拍計の何れか一方又は両方を介して、各生徒の顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。 In this case, for example, the user information acquisition unit 111 uses one or both of the camera and the heart rate monitor provided in the tablet terminal used for school students, etc., to image the face of each student, the skin of the fingers, and the heartbeat. Get user information, including information about.

また、ユーザー状態情報生成部311が、取得された情報に基づいて生徒等のユーザー状態情報を生成して、ソリューション提供部113は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒等のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。 Further, the user state information generation unit 311 generates user state information of the student or the like based on the acquired information, and the solution providing unit 113 is a vibration generation unit installed in the tablet terminal and the seat where the student is seated. To provide the patient with a predetermined periodic vibration according to the user status information of the student or the like.

あるいはさらに自律神経バランス取得部は、ユーザー情報に基づいて各人の自律神経状態を分析してもよい。 Alternatively, the autonomic nerve balance acquisition unit may analyze the autonomic nerve state of each person based on the user information.

この場合、ソリューション決定部313は、交感神経が優位の生徒、副交感神経が優位な生徒のそれぞれに対して自律神経の分析結果に応じた異なる刺激を与えて、全生徒が交感神経と副交感神経とのバランスのとれた状態に誘導するための、所定の周期的な振動のソリューションを決定する。 In this case, the solution determination unit 313 gives different stimuli to each of the sympathetic-dominant student and the parasympathetic-dominant student according to the analysis result of the autonomic nerve, and all the students have the sympathetic nerve and the parasympathetic nerve. Determine a predetermined periodic vibration solution to induce a balanced state of the.

そしてソリューション提供部113は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒のユーザー状態情報に応じた所定の周期的な振動を生徒に提供する。 Then, the solution providing unit 113 provides the student with a predetermined periodic vibration according to the user state information of the student via the tablet terminal and the vibration generating unit installed in the seat where the student is seated.

本発明によれば、交感神経優位の生徒、副交感神経優位の生徒が混在していて生徒のコントロールが困難な、混乱した状態が解消できることが期待できる。 According to the present invention, it can be expected that a confused state in which sympathetic-dominant students and parasympathetic-dominant students are mixed and it is difficult to control the students can be resolved.

<オフィスビル等での利用>
本発明のソリューション提供システムは、オフィスビルの休憩スポット等で用いられてもよい。
<Use in office buildings, etc.>
The solution providing system of the present invention may be used in a rest spot of an office building or the like.

この場合、例えばユーザー情報取得部111は、オフィスビルの休憩スポットに設置された端末に備えられており、オフィスビルで勤務する人のユーザー情報を取得する。 In this case, for example, the user information acquisition unit 111 is provided in the terminal installed at the rest spot of the office building, and acquires the user information of the person who works in the office building.

ソリューション決定部313は、ユーザー状態に応じたソリューションを決定し、オフィスビルの休憩スポットに設置されたソリューション提供部113を介してユーザーに提供される。 The solution determination unit 313 determines the solution according to the user's condition, and provides the solution to the user via the solution provision unit 113 installed at the rest spot of the office building.

ソリューション決定部313が決定するソリューションには、例えば休憩スポット内で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。 The solution determined by the solution determination unit 313 includes, for example, music, audio, video, scent, vibration, brightness and color of lighting provided in the rest spot.

また、ユーザー情報取得部111が取得したユーザー情報、ユーザー状態情報生成部311が生成したユーザー状態情報は蓄積されて、当該オフィスビルで勤務する人の勤務先の管理者に随時に送信されてもよい。 Further, even if the user information acquired by the user information acquisition unit 111 and the user state information generated by the user state information generation unit 311 are accumulated and transmitted to the manager of the office of the person who works in the office building at any time. good.

本発明によれば、オフィスビルで勤務する人のストレス状態や疲労状態に応じて、休憩スポット内での休憩時間中に効果的にストレス状態や疲労状態を改善することができるとともに、これらの人たちの勤務先の管理者にとっては、勤務者のストレス状態や疲労状態を見える化することができるので便利である。 According to the present invention, it is possible to effectively improve the stress state and fatigue state during the break time in the rest spot according to the stress state and fatigue state of the person working in the office building, and these persons. It is convenient for the managers of our office because it can visualize the stress state and fatigue state of the workers.

<振動機能を有する電気機器への応用>
例えば会社員などが休憩時間中にリフレッシュするために、振動機能を有する美顔器で顔の筋肉のコリをほぐしてリラックスすることが考えられる。集中力を維持するために、一度リラックスすることは有効だが、美顔器の利用後に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができればなおよい。
<Application to electrical equipment with vibration function>
For example, in order for office workers to refresh themselves during breaks, it is conceivable to use a facial device having a vibrating function to loosen the stiffness of facial muscles and relax. Relaxing once is effective for maintaining concentration, but it is even better if you can change your mind after using the facial equipment so that you can start working immediately.

そのため本発明のソリューション提供システムは、振動機能を有する美顔器などの電気機器とともに用いられてもよい。 Therefore, the solution providing system of the present invention may be used together with an electric device such as a facial device having a vibration function.

この場合、ソリューション提供システムは美顔器のタイマーと連動しており、美顔のための振動などの前半段階においては、ユーザーをリラックスした状態(副交感神経が優位な状態)に誘導するためのソリューションを提供し、美顔のための振動などの後半段階においては、ユーザーを覚醒した状態(交感神経が優位な状態)に誘導するためのソリューションを提供するように構成される。 In this case, the solution provision system is linked with the timer of the facial equipment, and provides a solution to guide the user to a relaxed state (a state in which the parasympathetic nerve is dominant) in the first half stage such as vibration for facial treatment. However, in the latter half of the stage, such as vibration for facial beauty, it is configured to provide a solution for guiding the user to an awake state (a state in which the sympathetic nerve is dominant).

本発明によれば、ユーザーを一時的にリラックスさせることができるとともに、休憩後の業務に向けて、覚醒した状態に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができる。 According to the present invention, the user can be temporarily relaxed, and the user can switch his / her feelings to the awake state for the work after the break so that he / she can start the work immediately.

<宿泊施設での利用>
本発明のソリューション提供システムは、ホテル、旅館などの宿泊施設でのサービスと共に用いられてもよい。
<Use at accommodation facilities>
The solution providing system of the present invention may be used together with services in accommodation facilities such as hotels and inns.

この場合、例えばユーザー情報取得部111は、ホテル、旅館などの宿泊施設のフロントに設置された端末に備えられており、宿泊客等の当該施設利用者のユーザー情報を取得する。 In this case, for example, the user information acquisition unit 111 is provided in a terminal installed at the front of an accommodation facility such as a hotel or an inn, and acquires user information of the facility user such as a guest.

ソリューション決定部313が決定するソリューションは、ユーザーが利用する客室内で提供される香り、入浴剤、食事の内容を含む宿泊施設サービス内容などが含まれる。 The solution determined by the solution determination unit 313 includes the scent provided in the guest room used by the user, the bath salt, the content of the accommodation facility service including the content of the meal, and the like.

ソリューション決定部313の決定結果は、ホテル、旅館の接客担当者に送信されて、ユーザーへのサービス内容に反映される。 The decision result of the solution decision unit 313 is transmitted to the person in charge of customer service at the hotel or inn, and is reflected in the service content to the user.

本発明によれば、当該施設の利用者により心地よい滞在体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。 According to the present invention, it is possible to provide a more comfortable stay experience to the user of the facility and effectively guide the user to a relaxed state, a calm state, an awake state, or a state of recovery from fatigue.

<観光や旅客サービスでの利用>
本発明のソリューション提供システムは、観光や旅客サービスと共に用いられてもよい。
<Use for sightseeing and passenger services>
The solution providing system of the present invention may be used together with tourism and passenger services.

この場合、例えばユーザー情報取得部111は、旅行者が旅行中に利用する移動手段に備えられており、旅行者のユーザー情報を取得する。 In this case, for example, the user information acquisition unit 111 is provided with a means of transportation used by the traveler during the trip, and acquires the user information of the traveler.

ソリューション決定部313が決定するソリューションには、例えば移動手段の機内や座席で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。 The solution determined by the solution determination unit 313 includes, for example, music, sound, video, scent, vibration, brightness and color of lighting, etc. provided in the cabin or in the seat of the means of transportation.

本発明によれば、旅行者により心地よい旅行体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。 According to the present invention, it is possible to provide a more comfortable travel experience for the traveler and effectively guide the user to a relaxed state, a calm state, an awake state, or a state of recovery from fatigue.

<プラネタリウム・水族館・映画館等のイベント会場での利用>
本発明のソリューション提供システムは、プラネタリウム・水族館・映画館等、あるいはさらに博物館、遊園地等の室内室外のイベント会場で用いられてもよい。
<Use at event venues such as planetariums, aquariums, and movie theaters>
The solution providing system of the present invention may be used at an indoor / outdoor event venue such as a planetarium, an aquarium, a movie theater, or a museum or an amusement park.

この場合、ユーザー情報取得部111は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末10が備えるカメラ及び心拍計の何れか一方又は両方を介して、ユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。 In this case, the user information acquisition unit 111 is provided, for example, via a camera and a heart rate monitor provided in a device installed in the event venue or a portable device, or provided in the user's mobile terminal 10, or both. Acquire user information including information about the user's face, skin images of fingers, and heartbeat.

そしてユーザー状態情報生成部311が、取得された情報に基づいてユーザー状態情報を生成して、ソリューション提供部113は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末10が備える振動発生部を介して、ユーザー状態情報に応じた所定の周期的な振動をユーザーに提供する。 Then, the user state information generation unit 311 generates user state information based on the acquired information, and the solution providing unit 113 is provided in, for example, a device installed in the event venue or a portable device, or a user. Through the vibration generating unit included in the mobile terminal 10 of the above, a predetermined periodic vibration according to the user state information is provided to the user.

ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、ユーザーの心拍にほぼ同期しており、その後段階的に周期を長くしていくもしくは短くしていく振動パターンの振動をソリューションとして決定する。 For example, the cycle at the start of a predetermined periodic vibration according to the user's condition is almost synchronized with the user's heartbeat, and then the vibration of the vibration pattern in which the cycle is gradually lengthened or shortened is solved. To determine as.

これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーをよりリラックス、もしくは活性化することを意図したものである。これにより例えばプラネタリウムや水族館でよりリラックスした気持ちでユーザーに鑑賞させることができ、あるいは例えばアクション映画の映像とともに活性化するようにユーザーの気持ちを誘導することができるなど、ユーザーの気分を含む状態の変化をはかることができる。このように、ソリューション提供システムを、リアルな体験と組み合わせて用いることができるようにすることでユーザーの状態を、リラックスした状態、冷静な状態、又は興奮した状態、もしくは、疲労から回復した状態に効果的に誘導できる。 This is intended to make the user more relaxed or activated by utilizing the pull-in effect in which the heartbeat cycle is synchronized with the vibration provided to the user. This allows the user to watch with a more relaxed feeling, for example, in a planetarium or an aquarium, or can induce the user's feelings to be activated with the image of an action movie, for example, in a state including the user's mood. You can make changes. In this way, by enabling the solution providing system to be used in combination with a realistic experience, the user's state can be relaxed, calm, excited, or recovered from fatigue. Can be effectively induced.

本発明によれば、イベントの内容に合わせて、イベントの体験をより印象深くよい体験にして、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。 According to the present invention, according to the content of the event, the experience of the event is made more impressive and good, and the user is effectively guided to a relaxed state, a calm state, an awake state, or a state of recovery from fatigue. be able to.

以上、本発明の実装方法の例について説明したが、これらはあくまでも、想定される実装方法の例示であり、これらに関連する、あるいは派生するその他の実装方法に応用されてよいことは言うまでもない。また、本発明の趣旨を逸脱しない範囲で、さらに種々の変更が可能である。 Although examples of the mounting method of the present invention have been described above, it is needless to say that these are merely examples of assumed mounting methods and may be applied to other mounting methods related to or derived from them. Further, various modifications can be made without departing from the spirit of the present invention.

例えば自律神経バランス取得部317は、上述した人の発言の抑揚のパターンと自律神経バランスとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから抽出された特徴的な抑揚パターンに対応付けられた自律神経バランスを自律神経バランス情報として取得してもよい。 For example, the autonomic nerve balance acquisition unit 317 refers to the correspondence table in which the above-mentioned pattern of intonation of a person's speech and the autonomic nerve balance are associated with each other, and refers to a characteristic intonation pattern extracted from the voice data included in the user information. The autonomic nerve balance associated with may be acquired as the autonomic nerve balance information.

あるいは例えば自律神経バランス取得部317は、言語情報に含まれる特徴的な語句を入力とし、自律神経バランスを出力とするモデルに、言語情報に含まれる特徴的な語句を入力することにより出力された自律神経バランスを自律神経バランス情報として取得してもよい。 Alternatively, for example, the autonomic nerve balance acquisition unit 317 is output by inputting a characteristic phrase included in the linguistic information into a model in which the characteristic phrase included in the linguistic information is input and the autonomic nerve balance is output. The autonomic nerve balance may be acquired as the autonomic nerve balance information.

あるいは例えばユーザー状態情報生成部311は、言語情報に含まれる特徴的な語句に基づいて、語句とユーザー状態との対応辞書及び、該語句を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を取得してもよい。 Alternatively, for example, the user state information generation unit 311 is one of a dictionary corresponding to the phrase and the user state based on the characteristic phrase included in the linguistic information, and a determination model in which the phrase is input and the user state is output. Both may be used to capture the user's emotional or fatigued state.

この場合、ユーザー状態情報生成部311は例えば、語句と感情又は疲労状態との対応辞書を参照して、言語情報に含まれる特徴的な語句に対応するユーザーの感情又は疲労状態を示す指標値を取得する。 In this case, the user state information generation unit 311 refers to, for example, a dictionary of correspondence between words and emotions or fatigue states, and sets an index value indicating the user's emotions or fatigue states corresponding to the characteristic words and phrases included in the linguistic information. get.

あるいは例えばユーザー状態情報生成部311は、言語情報に含まれる特徴的な抑揚に基づいて、抑揚とユーザー状態との対応辞書及び、該抑揚を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を示す指標値を取得してもよい。 Alternatively, for example, the user state information generation unit 311 is one of a dictionary corresponding to the intonation and the user state based on the characteristic intonation included in the linguistic information, and a determination model in which the intonation is input and the user state is output. Both may be used to obtain an index value indicating the user's emotional or fatigued state.

この場合、ユーザー状態情報生成部311は例えば、言語情報に含まれる特徴的な抑揚を当該判定モデルに入力して出力されたユーザーの感情又は疲労状態を示す指標値を取得する。 In this case, the user state information generation unit 311 inputs, for example, a characteristic intonation included in the language information into the determination model and acquires an index value indicating the user's emotional or fatigue state output.

あるいは例えば上記においては対応辞書331にはネガティブな語句とユーザー状態とを対応付けて記憶させている例について説明したがこれに限定されない。すなわち例えば、喜び、楽しみを感じていることを示すポジティブな語句、又はリラックスしている、興奮していることを表す語句とユーザー状態とを対応付けて記憶していてもよい。 Alternatively, for example, in the above description, an example in which a negative phrase and a user state are stored in association with each other in the corresponding dictionary 331 has been described, but the present invention is not limited to this. That is, for example, a positive phrase indicating joy or enjoyment, or a phrase indicating relaxation or excitement may be stored in association with the user state.

あるいは例えば、ユーザー情報取得部111は、ユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を、カメラを介してユーザー情報として取得し、言語情報分析部319は、顔の動画像又は静止画像に含まれる眉毛、目、鼻又は口の形や角度などからユーザーの感情の種類及びその強度を特徴情報として取得してユーザーの感情スコアを算出し、ユーザー状態情報生成部311は、当該感情スコアを用いてユーザー状態情報を生成するように構成されていてもよい。 Alternatively, for example, the user information acquisition unit 111 acquires a moving image of the user's face or a still image in which the user's face is continuously captured as user information via a camera, and the language information analysis unit 319 acquires a moving image of the face. The user's emotion score is calculated by acquiring the type and intensity of the user's emotion as characteristic information from the shape and angle of the eyebrows, eyes, nose or mouth included in the image or still image, and the user state information generation unit 311 , The emotion score may be used to generate user state information.

あるいは例えば、ソリューション決定部313は、ユーザー状態情報及び所望状態情報に基づいて、振動の周期を決定するように構成されていてもよい。 Alternatively, for example, the solution determination unit 313 may be configured to determine the vibration cycle based on the user state information and the desired state information.

より具体的には、例えばソリューション決定部313は、心拍に関する情報に基づいて振動の開始時の周期がユーザーの現在の心拍とほぼ同期するように振動の周期を決定する。 More specifically, for example, the solution determination unit 313 determines the vibration cycle based on the information about the heartbeat so that the vibration start cycle is substantially synchronized with the user's current heartbeat.

そしてソリューション決定部313は例えば、所望状態情報に基づいて該振動の開始後の該周期及び強度の一方又は両方の変化のパターンを決定する。 Then, the solution determination unit 313 determines, for example, a pattern of change in one or both of the period and the intensity after the start of the vibration based on the desired state information.

すなわち例えばソリューション決定部313は、所望状態情報に基づいて、リラックスした状態、冷静な状態などの、ユーザーの緊張が緩和された状態に誘導するべき場合には、振動の開始後に段階的に周期が長くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導されて、リラックスした状態、冷静な状態になる。 That is, for example, when the solution determination unit 313 should induce a state in which the user's tension is relaxed, such as a relaxed state or a calm state, based on the desired state information, the cycle is gradually set after the start of vibration. Determine the solution to change the cycle to be longer. This induces the user to move the current autonomic balance toward a more parasympathetic-dominant state, resulting in a relaxed and calm state.

あるいは例えばソリューション決定部313は、所望状態情報に基づいてユーザーを覚醒した状態に誘導するべき場合には、振動の開始後に段階的に振動の周期が短く、あるいはこれに代えて又は加えて、振動の強度が強くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより交感神経優位な状態に向かうように誘導されて、覚醒した状態になる。 Alternatively, for example, when the solution determination unit 313 should guide the user to an awake state based on the desired state information, the vibration cycle is gradually shortened after the start of the vibration, or instead or in addition to the vibration. Determine the solution to vary the period so that the strength of the is stronger. As a result, the user is awakened by inducing the current autonomic balance toward a more sympathetic-dominant state.

あるいは例えばソリューション決定部313は、所望状態の入力がない場合には、基準状態情報に基づいて、ユーザー状態を基準状態情報が示す状態に向けて誘導するように、振動の周期、強度を変化させる振動のパターンをソリューションとして決定する。 Alternatively, for example, the solution determination unit 313 changes the vibration cycle and intensity so as to guide the user state toward the state indicated by the reference state information based on the reference state information when there is no input of the desired state. Determine the vibration pattern as a solution.

あるいは上記においては、携帯端末10の肌画像分析部117が肌の画像から心拍に関する情報の取得に必要な情報を取得して、サーバー30のユーザーの心拍情報取得部315が、心拍に関する情報の取得に必要な情報に基づいて心拍に関する情報を取得する構成について説明したが、これに限定されない。 Alternatively, in the above, the skin image analysis unit 117 of the mobile terminal 10 acquires the information necessary for acquiring the information related to the heartbeat from the skin image, and the heartbeat information acquisition unit 315 of the user of the server 30 acquires the information related to the heartbeat. The configuration for acquiring information on the heartbeat based on the information required for the above has been described, but the present invention is not limited to this.

すなわち例えば、肌画像分析部117又は心拍情報取得部315が肌の画像から心拍に関する情報を取得してもよい。その場合、肌画像分析部117及び心拍情報取得部315の一方は省略される。 That is, for example, the skin image analysis unit 117 or the heartbeat information acquisition unit 315 may acquire information on the heartbeat from the skin image. In that case, one of the skin image analysis unit 117 and the heart rate information acquisition unit 315 is omitted.

あるいは例えばユーザー情報取得部111は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問に対する回答をユーザー状態情報として取得してもよい。 Alternatively, for example, the user information acquisition unit 111 may acquire the answer to the question about the facial condition, which has a correlation with the emotion or fatigue condition appearing on the user's face, as the user status information.

より具体的にはユーザー情報取得部111は、まず、入力部130であるカメラにより撮像されたユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を表示部153に表示すると共に、表示部153に表示されたユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を表示部153に表示する。 More specifically, the user information acquisition unit 111 first displays a moving image of the user's face captured by the camera, which is the input unit 130, or a still image of the user's face continuously captured on the display unit 153. , A question about the facial condition, which correlates with the emotion or fatigue condition appearing on the user's face displayed on the display unit 153, is displayed on the display unit 153.

そしてユーザー情報取得部111は、入力部130を介して、質問に対するユーザーによる回答の入力を、顔の画像を表示部153に表示させた状態で受け付ける。この場合に入力部130は、質問を見ながら操作を行える位置に配置される。 Then, the user information acquisition unit 111 accepts the input of the answer by the user to the question via the input unit 130 in a state where the face image is displayed on the display unit 153. In this case, the input unit 130 is arranged at a position where the operation can be performed while looking at the question.

なお顔の状態についての質問に対する回答は、音声や文字で入力されてもよいし、例えば5段階評価のどれに該当するかをユーザーに選択させることにより入力されてもよい。また、当該質問は、1つであっても複数であってもよい。 The answer to the question about the facial condition may be input by voice or text, or may be input by letting the user select which of the five-grade evaluation corresponds to, for example. In addition, the question may be one or a plurality.

あるいは例えばユーザー情報取得部111は、顔の画像を表示部153に表示させる代わりに、ユーザーの顔を映す鏡部に写るユーザーの顔の映像を見せた状態で、質問に対するユーザーによる回答の入力を受け付けるように構成されていてもよい。 Alternatively, for example, the user information acquisition unit 111 inputs an answer to the question by the user while showing the image of the user's face reflected in the mirror unit that reflects the user's face, instead of displaying the face image on the display unit 153. It may be configured to accept.

この場合、表示部153はユーザーが鏡部に写るユーザーの顔と同時に見ることができる位置に配置され、入力部130は鏡部に写るユーザーの顔及び表示部に表示された質問を見ながら操作を行える位置に配置される。 In this case, the display unit 153 is arranged at a position where the user can see the user's face reflected in the mirror unit at the same time, and the input unit 130 operates while looking at the user's face reflected in the mirror unit and the question displayed on the display unit. Is placed in a position where

10…携帯端末、30…サーバー、111…ユーザー情報取得部、113…ソリューション提供部、115…所望状態受付部、117…肌画像分析部、119…状況認識部、311…ユーザー状態情報生成部、313…ソリューション決定部、315…心拍情報取得部、317…自律神経バランス取得部、319…言語情報分析部、330…サーバー記憶部、331…対応辞書、333…判定モデル、335…変換モデル、337…基準状態情報。 10 ... Mobile terminal, 30 ... Server, 111 ... User information acquisition unit, 113 ... Solution provision unit, 115 ... Desired state reception unit, 117 ... Skin image analysis unit, 119 ... Situation recognition unit, 311 ... User status information generation unit, 313 ... Solution determination unit, 315 ... Heart rate information acquisition unit, 317 ... Autonomous nerve balance acquisition unit, 319 ... Language information analysis unit, 330 ... Server storage unit, 331 ... Corresponding dictionary, 333 ... Judgment model, 335 ... Conversion model, 337 … Reference status information.

Claims (13)

ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶する記憶部と、
前記ユーザーが、該ユーザーの手指の肌の画像を取得する第1状況にあるか、該ユーザーの顔の肌の画像を取得する第2状況にあるか、を認識する状況認識部と、
前記ユーザーが前記第1状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第2状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
前記ユーザーが前記第1状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第2状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
ことを特徴とするソリューション提供システム。
A storage unit that stores information of a plurality of solutions that can be provided to a user to improve the user's emotional and / or fatigued state.
A situational awareness unit that recognizes whether the user is in the first situation of acquiring the image of the skin of the user's fingers or the second situation of acquiring the image of the skin of the user's face.
When the user is in the first situation, user information including an image of the skin of the finger of the user is acquired, and when the user is in the second situation, the image of the skin of the user's face is included. The user information acquisition department that acquires user information and
When the user is in the first situation, the image of the skin of the fingers included in the user information is analyzed, and when the user is in the second situation, the skin of the face included in the user information is analyzed. The skin image analysis department that analyzes the image of
A heartbeat information acquisition unit that acquires information on the user's heartbeat based on the results of analysis by the skin image analysis unit, and
A user state information generation unit that generates user state information indicating the user state of the user based on the information related to the user's heartbeat, and a user state information generation unit.
A solution determination unit that determines a solution according to the user status information from the plurality of solutions,
A solution providing system including a solution providing unit that provides the determined solution to the user.
請求項1に記載のソリューション提供システムにおいて、 In the solution providing system according to claim 1,
前記状況認識部は、前記ユーザーが第1状況にあるか、第2状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第1状況及び該第2状況のいずれの状況にあるかを認識する The situational awareness unit accepts input of selection by the user, whether the user is in the first situation or the second situation, and the user receives the first situation and the first situation according to the received selection content. Recognize which of the second situations you are in
ことを特徴とするソリューション提供システム。A solution providing system characterized by this.
請求項に記載のソリューション提供システムにおいて、
前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第1状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第2状況にあると認識する
ことを特徴とするソリューション提供システム。
In the solution providing system according to claim 1,
The situation recognition unit recognizes that the user is in the first situation if the current time zone is the daytime time zone, and if the current time zone is the nighttime time zone, the user is in the second situation. A solution providing system characterized by recognizing that it is in.
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 3,
The user information acquisition unit acquires the user information again after the solution is provided to the user.
The user state information generation unit regenerates the user state information based on the information including the user information acquired after the solution is provided to the user.
The solution determination unit is a solution providing system characterized in that it determines a solution according to the regenerated user state information.
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 4.
A desired state receiving unit that accepts input of desired state information indicating one or both of the user's emotional state or fatigue state desired by the user is provided.
The solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the desired state information based on the user state information and the desired state information. Solution providing system.
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 5,
The solution determination unit is configured to determine the solution that induces the user state into a relaxed state, a calm state, or an awakened state according to the user state information. Offering system.
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 6.
The storage unit stores reference state information indicating a reference of a state in which one or both of the user's emotional or fatigue states are improved.
The solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the reference state information based on the user state and the reference state information. Solution providing system.
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 7.
The solution provided by the solution determination unit includes a stimulus for the user's sense of touch, hearing, or smell.
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 8.
The solution determined by the solution determination unit is a solution providing system characterized in that the solution includes a combination of music, a reading voice, and a predetermined periodic vibration.
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 9.
The solution providing system, which is determined by the solution determination unit, includes a predetermined scent according to the user state of the user.
請求項1〜10の何れかに記載のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 10.
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the driver's face or fingers of the moving body through the camera installed on the moving body.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the driver.
The solution providing unit is a solution providing system characterized in that the periodic vibration is provided to the driver via the vibration generating unit installed on one or both of the handle portion and the seat of the moving body.
請求項1〜10の何れかに記載のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 10.
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the patient's face or fingers of the medical institution through the camera installed on the examination table of the medical institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the patient.
The solution providing unit is a solution providing system characterized in that the periodic vibration is provided to the patient via the vibration generating unit installed on the examination table.
請求項1〜10の何れかに記載のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
ことを特徴とするソリューション提供システム。
In the solution providing system according to any one of claims 1 to 10.
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the student's face or finger skin through the camera installed on the tablet terminal used by the student in an educational institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the student.
The solution providing unit is characterized in that the solution providing unit provides the student with the periodic vibration via the vibration generating unit installed on one or both of the tablet terminal and the seat in which the student is seated. ..
JP2020200823A 2020-12-03 2020-12-03 Solution provision system Active JP6963668B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020200823A JP6963668B1 (en) 2020-12-03 2020-12-03 Solution provision system
JP2021124099A JP2022089138A (en) 2020-12-03 2021-07-29 Solution provision system
PCT/JP2021/044468 WO2022118955A1 (en) 2020-12-03 2021-12-03 Solution providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020200823A JP6963668B1 (en) 2020-12-03 2020-12-03 Solution provision system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021124099A Division JP2022089138A (en) 2020-12-03 2021-07-29 Solution provision system

Publications (2)

Publication Number Publication Date
JP6963668B1 true JP6963668B1 (en) 2021-11-10
JP2022088791A JP2022088791A (en) 2022-06-15

Family

ID=78466152

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020200823A Active JP6963668B1 (en) 2020-12-03 2020-12-03 Solution provision system
JP2021124099A Pending JP2022089138A (en) 2020-12-03 2021-07-29 Solution provision system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021124099A Pending JP2022089138A (en) 2020-12-03 2021-07-29 Solution provision system

Country Status (1)

Country Link
JP (2) JP6963668B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023183588A (en) * 2022-06-16 2023-12-28 ポーラ化成工業株式会社 Immune strength improvement device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237668A (en) * 2004-02-26 2005-09-08 Kazuya Mera Interactive device considering emotion in computer network
JP2010187810A (en) * 2009-02-17 2010-09-02 Nissan Motor Co Ltd Apparatus and method for doze prevention
JP2012203590A (en) * 2011-03-24 2012-10-22 Nsd Co Ltd Total health support system
JP2019518572A (en) * 2016-04-01 2019-07-04 ユニバーシティ オブ ピッツバーグ −オブ ザ コモンウェルス システム オブ ハイヤー エデュケイション Adjustment device and related method
JP2020513289A (en) * 2016-12-06 2020-05-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. System and method for awaking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237668A (en) * 2004-02-26 2005-09-08 Kazuya Mera Interactive device considering emotion in computer network
JP2010187810A (en) * 2009-02-17 2010-09-02 Nissan Motor Co Ltd Apparatus and method for doze prevention
JP2012203590A (en) * 2011-03-24 2012-10-22 Nsd Co Ltd Total health support system
JP2019518572A (en) * 2016-04-01 2019-07-04 ユニバーシティ オブ ピッツバーグ −オブ ザ コモンウェルス システム オブ ハイヤー エデュケイション Adjustment device and related method
JP2020513289A (en) * 2016-12-06 2020-05-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. System and method for awaking

Also Published As

Publication number Publication date
JP2022089138A (en) 2022-06-15
JP2022088791A (en) 2022-06-15

Similar Documents

Publication Publication Date Title
KR102179983B1 (en) Systems and methods for analyzing brain activity and their applications
Petitmengin-Peugeot The intuitive experience
US20070167690A1 (en) Mind-body correlation data evaluation apparatus and method of evaluating mind-body correlation data
CN112331308A (en) Multichannel intelligent decompression relaxation management system
JP6963668B1 (en) Solution provision system
EP4066734A1 (en) Method and apparatus for providing information for respiratory training, electronic device, system, and storage medium
Wilimzig et al. NLP and Psychological Research: Rapport, Reframing and Eye Accessing Cues.
WO2022118955A1 (en) Solution providing system
US20230306860A1 (en) Training system with interaction assist feature, training arrangement and training
Siegmund et al. Talis—A design study for a wearable device to assist people with depression
JP7069390B1 (en) Mobile terminal
JP6963669B1 (en) Solution providing system and mobile terminal
JP7069389B1 (en) Solution provision system and mobile terminal
JP7061714B1 (en) Solution provision system and mobile terminal
Ellis Improving quality of life and well-being for children and the elderly through vibroacoustic sound therapy
Cook Music, Imagery, and H ea lin g
WO2022165832A1 (en) Method, system and brain keyboard for generating feedback in brain
Yap et al. Dyadic nonverbal synchrony during pre and post music therapy interventions and its relationship to self-reported therapy readiness
Gouk et al. Introduction: historical and contemporary perspectives on music, mind and well-being
Rossi Facilitating “creative moments” in hypnotherapy
Sreewichian Exploring the influence of music intervention on social and communication development in autism spectrum disorder
Zhou Language comprehension grounded in perceptual experiences: an investigation on text and speech perception
Kaser et al. Benefits of Music Therapy Free Improvisation in Forensic Mental Health
Wysocka et al. Therapy Program for Improving the Expression Speech Prosody
Lemont Integrating Creative Writing and Expressive Arts

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210106

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211015

R150 Certificate of patent or registration of utility model

Ref document number: 6963668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150