JP6963668B1 - Solution provision system - Google Patents
Solution provision system Download PDFInfo
- Publication number
- JP6963668B1 JP6963668B1 JP2020200823A JP2020200823A JP6963668B1 JP 6963668 B1 JP6963668 B1 JP 6963668B1 JP 2020200823 A JP2020200823 A JP 2020200823A JP 2020200823 A JP2020200823 A JP 2020200823A JP 6963668 B1 JP6963668 B1 JP 6963668B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- solution
- state
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
【課題】ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供する。【解決手段】ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶する記憶部と、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得するユーザー情報取得部と、身体または動作から取得された情報に基づいてユーザー状態情報を生成するユーザー状態情報生成部と、複数のソリューションからユーザー状態情報に応じたソリューションを決定するソリューション決定部と、決定されたソリューションをユーザーに提供するソリューション提供部とを備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a solution providing system capable of analyzing a user's emotion or fatigue state and easily providing an appropriate solution according to the user's emotion or fatigue state. SOLUTION: A storage unit for storing information of a plurality of solutions for improving a user state which is one or both of a user's emotional state and fatigue state, and user information including information obtained from the user's body or movement are acquired. A user information acquisition unit that generates user status information based on information acquired from the body or movement, a solution determination unit that determines a solution according to the user status information from multiple solutions, and a solution determination unit. It has a solution provider that provides the determined solution to the user. [Selection diagram] Fig. 1
Description
本発明は、ユーザーの感情又は疲労状態を改善するソリューションの提供システムに関する。 The present invention relates to a system for providing a solution for improving a user's emotional or fatigued state.
従来、生体測定装置、心身状態誘導装置が知られている(特許文献1、特許文献2参照)。
Conventionally, a biological measurement device and a mental and physical state guidance device are known (see
特許文献1の発明によれば、近赤外光を用いて撮影したユーザーの顔画像から得られる脈波の情報に基づいてユーザーの状態を判定し、ユーザーの状態に応じた所定の警報を発することができる。
According to the invention of
また特許文献2の発明によれば、ユーザーの生体情報からユーザーの体調等を特定して、体調に応じた呼吸リズムに誘導するための刺激を発することができる。
Further, according to the invention of
これらの技術を、ユーザーの感情又は疲労状態を分析して、ユーザーの状態に応じた適切なソリューションを提供して、ユーザーの状態を改善等するシステムに応用することが考えられる。 It is conceivable to apply these technologies to a system that analyzes a user's emotional or fatigued state, provides an appropriate solution according to the user's state, and improves the user's state.
ユーザーの状態を改善等するためにユーザーに提供すべきソリューションの内容は、ユーザーの状態によって大きく異なる。そのため、ユーザーの状態に適さないソリューションを提供してしまうと、ユーザーの状態の改善に役立たないばかりか、かえって悪化させてしまうことも考えられる。 The content of the solution that should be provided to the user in order to improve the user's condition varies greatly depending on the user's condition. Therefore, if a solution that is not suitable for the user's condition is provided, it may not be useful for improving the user's condition, but may even worsen it.
しかしながら特許文献1の技術ではユーザーに対して所定の警報を発することができるのみであり、また特許文献2の技術では呼吸のリズムを整えるための刺激を発することができるのみである。そのため、ユーザーの感情又は疲労状態に応じた適切なソリューションを提供できる仕組みにはなっていない。
However, the technique of
そこで本発明は、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供することを目的とする。 Therefore, an object of the present invention is to provide a solution providing system capable of analyzing a user's emotion or fatigue state and easily providing an appropriate solution according to the user's emotion or fatigue state.
本発明のソリューション提供システムは、
ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶する記憶部と、
前記ユーザーが、該ユーザーの手指の肌の画像を取得する第1状況にあるか、該ユーザーの顔の肌の画像を取得する第2状況にあるか、を認識する状況認識部と、
前記ユーザーが前記第1状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第2状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
前記ユーザーが前記第1状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第2状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
ことを特徴とする。
The solution providing system of the present invention
A storage unit that stores information of a plurality of solutions that can be provided to a user to improve the user's emotional and / or fatigued state.
A situational awareness unit that recognizes whether the user is in the first situation of acquiring the image of the skin of the user's fingers or the second situation of acquiring the image of the skin of the user's face.
When the user is in the first situation, user information including an image of the skin of the finger of the user is acquired, and when the user is in the second situation, the image of the skin of the user's face is included. The user information acquisition department that acquires user information and
When the user is in the first situation, the image of the skin of the fingers included in the user information is analyzed, and when the user is in the second situation, the skin of the face included in the user information is analyzed. The skin image analysis department that analyzes the image of
A heartbeat information acquisition unit that acquires information on the user's heartbeat based on the result of analysis by the skin image analysis unit, and a heartbeat information acquisition unit.
A user state information generation unit that generates user state information indicating the user state of the user based on the information related to the user's heartbeat, and a user state information generation unit.
A solution determination unit that determines a solution according to the user status information from the plurality of solutions,
It is characterized by including a solution providing unit that provides the determined solution to the user.
ソリューション提供システムを利用しようとするユーザーが置かれている状況はさまざまである。例えば肌の画像を取得させる必要がある場合に、状況によってはユーザーが自身の顔の画像を取得させることを望まないか、あるいは顔の画像を取得させたくてもそれに適した状況にないことも考えられる。 There are various situations in which users are trying to use the solution provision system. For example, if you need to get an image of your skin, in some situations you may not want the user to get an image of your face, or you may want to get an image of your face but not in a suitable situation. Conceivable.
本発明によれば、状況認識部によりユーザーの置かれている状況が認識されて、当該認識された状況に応じてユーザーの肌の画像を取得する部位(顔又は手指)を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 According to the present invention, the situation recognition unit recognizes the situation in which the user is placed, and while changing the part (face or finger) from which the image of the user's skin is acquired according to the recognized situation, the user It is possible to accurately analyze the emotional or fatigued state and easily provide an appropriate solution according to the user's emotional or fatigued state.
本発明のソリューション提供システムにおいて、
前記状況認識部は、前記ユーザーが第1状況にあるか、第2状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第1状況及び該第2状況のいずれの状況にあるかを認識する
ことが好ましい。
これにより、手指と顔とのいずれの肌の画像を取得させるかを、ユーザーの選択に応じて切り替えて、ユーザーの感情や疲労状態に応じた適切なソリューションを簡便に提供できる。
あるいは本発明のソリューション提供システムにおいて、
前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第1状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第2状況にあると認識する
ことが好ましい。
In the solution providing system of the present invention
The situational awareness unit accepts input of selection by the user, whether the user is in the first situation or the second situation, and the user receives the first situation and the first situation according to the received selection content. Recognize which of the second situations you are in
Is preferable.
As a result, it is possible to easily provide an appropriate solution according to the user's emotions and fatigue state by switching which of the skin images of the fingers and the face is to be acquired according to the user's selection.
Alternatively, in the solution providing system of the present invention.
The situation recognition unit recognizes that the user is in the first situation if the current time zone is the daytime time zone, and if the current time zone is the nighttime time zone, the user is in the second situation. It is preferable to recognize that it is in.
これにより、例えば昼間働いている人は、昼間の時間帯は職場などで手指の肌の画像から、就寝前の夜の時間帯は自宅などで人目を気にせずに顔の肌の画像から自身の感情や疲労状態を知ることができる。 As a result, for example, a person who works in the daytime can use the image of the skin of the fingers at work during the daytime, and the image of the skin of the face at home during the nighttime before bedtime. You can know your feelings and fatigue.
このように、本発明によれば、時間帯に応じて取得する情報を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 As described above, according to the present invention, the user's emotion or fatigue state is accurately analyzed while changing the information to be acquired according to the time zone, and an appropriate solution according to the user's emotion or fatigue state can be easily obtained. Can be provided.
本発明のソリューション提供システムにおいて、
前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
ことが好ましい。
In the solution providing system of the present invention
The user information acquisition unit acquires the user information again after the solution is provided to the user.
The user state information generation unit regenerates the user state information based on the information including the user information acquired after the solution is provided to the user.
It is preferable that the solution determination unit determines a solution according to the regenerated user state information.
ソリューションの提供の結果、時間の経過等、その他の理由により、ユーザーの感情又は疲労状態は変化することが想定される。 As a result of providing the solution, it is expected that the user's emotional or fatigued state will change due to other reasons such as the passage of time.
本発明によれば、ソリューションがユーザーに提供された後に、ユーザー情報取得部によりユーザー情報が再度取得される。 According to the present invention, after the solution is provided to the user, the user information is acquired again by the user information acquisition unit.
そしてソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいて、ユーザー状態情報生成部によりユーザー状態情報が再生成されて、ソリューション決定部により当該再生成されたユーザー状態情報に応じたソリューションが決定される。 Then, the user state information is regenerated by the user state information generation unit based on the information including the user information acquired after the solution is provided to the user, and the solution determination unit responds to the regenerated user state information. The solution is decided.
本発明によれば、ユーザーの感情又は疲労状態の変化に応じた個対応のソリューションを決定してユーザーに提供することができる可能性が高まる。 According to the present invention, there is an increased possibility that an individualized solution according to a change in a user's emotion or fatigue state can be determined and provided to the user.
本発明のソリューション提供システムにおいて、
前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
本発明によれば、ユーザーが所望する感情の状態又は疲労から回復した状態に効果的に誘導することができる。
本発明のソリューション提供システムにおいて、
前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
In the solution providing system of the present invention
A desired state receiving unit that accepts input of desired state information indicating one or both of the user's emotional state or fatigue state desired by the user is provided.
The solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the desired state information based on the user state information and the desired state information.
Is preferable.
According to the present invention, it is possible to effectively induce a user's desired emotional state or a state of recovery from fatigue.
In the solution providing system of the present invention
It is preferable that the solution determination unit is configured to determine the solution that induces the user state into a relaxed state, a calm state, or an awakened state according to the user state information.
本発明によれば、ソリューション決定部により、ユーザー状態情報に応じて、ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導するソリューションが決定される。 According to the present invention, the solution determination unit determines a solution that guides the user state to a relaxed state, a calm state, or an awakened state according to the user state information.
本発明によれば、効果的にユーザーをリラックスした状態、冷静な状態、又は覚醒した状態に誘導することができる。 According to the present invention, the user can be effectively guided to a relaxed state, a calm state, or an awakened state.
このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じたリラックスした状態、冷静な状態、又は覚醒した状態に誘導するための適切なソリューションを簡便に提供できる。 Thus, according to the present invention, there is an appropriate solution for analyzing a user's emotional or fatigued state and inducing a relaxed state, a calm state, or an awakened state according to the user's emotional or fatigued state. Can be provided easily.
本発明のソリューション提供システムにおいて、
前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
In the solution providing system of the present invention
The storage unit stores reference state information indicating a reference of a state in which one or both of the user's emotional or fatigue states are improved.
It is preferable that the solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the reference state information based on the user state and the reference state information.
本発明によれば、ユーザーを基準状態情報が示す状態の感情又は疲労状態に効果的に誘導することができる。 According to the present invention, the user can be effectively guided to the emotional or fatigued state indicated by the reference state information.
本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
ことが好ましい。
In the solution providing system of the present invention
The solution determined by the solution determination unit preferably includes stimuli for the user's sense of touch, hearing, or smell.
システムから提供されるソリューションが、ユーザーに対して能動的な行動を求めるソリューションである場合には、ユーザーにソリューションの提供を受けることに伴う労力を生じさせ、かえって感情を害したり、疲労を蓄積させたりしてしまうので望ましくない。 If the solution provided by the system is a solution that requires the user to take active action, it causes the effort associated with receiving the solution from the user, and rather causes emotional offense and accumulation of fatigue. It is not desirable because it will end up.
このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切かつユーザーに労力を生じさせないソリューションを簡便に提供できる。 As described above, according to the present invention, it is possible to easily provide a solution that analyzes a user's emotion or fatigue state and is appropriate according to the user's emotion or fatigue state and does not cause labor to the user.
本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
ことが好ましい。
In the solution providing system of the present invention
The solution determined by the solution determination unit preferably includes a combination of music, read-aloud voice, and predetermined periodic vibration.
朗読音声、所定の周期的な振動には、副交感神経の働きを活性化させて人の緊張感を緩和し、疲労を解消させるなどの効果がある。また、音楽には人の緊張感を緩和し、又は交感神経の働きを活性化させて人の緊張感を高める効果がある。これらを適切に組み合わせれば、より効果的である。 The read-aloud voice and the predetermined periodic vibration have the effects of activating the function of the parasympathetic nerve, relieving the tension of the person, and relieving fatigue. In addition, music has the effect of relieving a person's tension or activating the function of the sympathetic nerve to increase the person's tension. Proper combination of these will be more effective.
本発明によれば、前記ソリューション決定部が決定するソリューションは、音楽と、朗読音声と、所定の周期的な振動との、ユーザーのユーザー状態に応じた組み合わせを含んでいる。 According to the present invention, the solution determined by the solution determination unit includes a combination of music, reading voice, and predetermined periodic vibration according to the user state of the user.
本発明によれば、豊富なソリューションを、ユーザー状態に応じて適切に組み合わせてユーザーの感情又は疲労状態をより効果的に改善することができる。 According to the present invention, abundant solutions can be appropriately combined according to the user's condition to more effectively improve the user's emotional or fatigued condition.
本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
ことが好ましい。
In the solution providing system of the present invention
The solution determined by the solution determination unit preferably contains a predetermined scent according to the user state of the user.
所定の香りには、人の緊張感を緩和し、疲労を解消させるなどの効果がある。 The predetermined scent has an effect of relieving a person's tension and relieving fatigue.
本発明によれば、前記ソリューション決定部が決定するソリューションは、ユーザーのユーザー状態に応じた所定の香りを含んでいる。 According to the present invention, the solution determined by the solution determination unit includes a predetermined scent according to the user state of the user.
本発明によれば、ユーザーの感情又は疲労状態を効果的に改善することができる。 According to the present invention, the user's emotional or fatigued state can be effectively improved.
本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
ことが好ましい。
In the solution providing system of the present invention
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the driver's face or fingers of the moving body through the camera installed on the moving body.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the driver.
It is preferable that the solution providing unit provides the driver with the periodic vibration via the vibration generating unit installed on one or both of the handle portion and the seat of the moving body.
本発明によれば、運転者の感情の状態、疲労状態に応じた振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。 According to the present invention, vibration according to the driver's emotional state and fatigue state is transmitted from the steering wheel or seat, and recovery from stress and fatigue is promoted.
本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
ことが好ましい。
In the solution providing system of the present invention
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the patient's face or fingers of the medical institution through the camera installed on the examination table of the medical institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the patient.
It is preferable that the solution providing unit provides the patient with the periodic vibration via the vibration generating unit installed on the examination table.
本発明によれば、医療機関で診察を受ける患者の感情の状態に応じた振動が診察台から伝わり、患者の不安感、緊張状態の低減が促されて治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。 According to the present invention, vibration according to the emotional state of a patient who is examined at a medical institution is transmitted from the examination table, which promotes reduction of anxiety and tension of the patient and facilitates treatment. It can also be expected that the pain felt by the patient due to the treatment will be alleviated by reducing the tension.
本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
ことが好ましい。
In the solution providing system of the present invention
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the student's face or finger skin through the camera installed on the tablet terminal used by the student in an educational institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the student.
It is preferable that the solution providing unit provides the student with the periodic vibration via the vibration generating unit installed on one or both of the tablet terminal and the seat in which the student is seated.
本発明によれば、生徒の感情の状態、疲労状態に応じた振動がタブレット端末又は座席から伝わり、ストレス、疲労の回復が促されるので、生徒の授業に対する集中力が高まって、学習効果が高まることが期待できる。 According to the present invention, vibrations according to the student's emotional state and fatigue state are transmitted from the tablet terminal or seat to promote recovery from stress and fatigue, so that the student's ability to concentrate on the lesson is enhanced and the learning effect is enhanced. Can be expected.
<ソリューション提供システムの構成>
まず図1を用いて、本実施形態のソリューション提供システムの構成について説明する。なお同一の構成については、同一の符号を付して説明を省略することがある。
<Configuration of solution provision system>
First, the configuration of the solution providing system of the present embodiment will be described with reference to FIG. The same components may be designated by the same reference numerals and description thereof may be omitted.
本実施形態のソリューション提供システムは、携帯端末10と、サーバー30と、を含んで構成される。携帯端末10とサーバー30との間は、携帯電話網などの通信ネットワーク90により相互に通信可能に接続される。なお携帯端末10とサーバー30は、いずれも複数であってよい。
The solution providing system of the present embodiment includes a
携帯端末10は、携帯端末制御部110と、入力部130と、出力部150と、を含んで構成される、例えばスマートフォン、タブレット端末などの汎用的な端末である。あるいは携帯端末10は、ユーザーが携帯可能な専用端末であってもよい。
The
携帯端末制御部110は、CPU(Central Processing Unit)等の演算処理装置、メモリ、及びI/O(Input/Output)デバイスなどにより構成されている。携帯端末制御部110は、所定のプログラムを読み込んで実行することにより例えばユーザー情報取得部111と、ソリューション提供部113として機能し、あるいはさらに所望状態受付部115、肌画像分析部117、状況認識部119として機能する。
The mobile
ユーザー情報取得部111は、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得する。
The user
ユーザー情報取得部111が取得するユーザーの身体または動作から得られる情報は、例えばユーザーの心拍に関する情報、ユーザーの肌の画像、ユーザーが入力する文字及び音声の一方又は両方である言語情報の少なくとも1つの情報である。
The information obtained from the user's body or movement acquired by the user
ユーザー情報取得部111は、例えば入力部130である心拍計を介してユーザーの心拍を取得する。
The user
あるいはユーザー情報取得部111は、ユーザーの肌の動画像又はユーザーの肌を連続的に撮像した静止画像を、例えば入力部130であるカメラを介してユーザー情報として取得する。なお肌の画像とは、例えばユーザーの顔の肌の画像又は手指の肌の画像であるが、その他の部位の肌の画像であってよい。
Alternatively, the user
そしてユーザー情報取得部111は、ユーザーによる文字及び音声の一方又は両方である言語情報を含むユーザー情報の入力を、例えば入力部130であるタッチパネル、マイクなどを介して受け付ける。
Then, the user
ソリューション提供部113は、ソリューション決定部313により決定されたソリューションを、出力部150を介してユーザーに提供する。
The
所望状態受付部115は、ユーザーが所望するユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を、入力部130を介して受け付ける。
The desired
肌画像分析部117は、ユーザー情報に含まれる記肌の画像を分析する。
The skin
状況認識部119は、ユーザーが、ユーザー情報取得部111にユーザーの手指の肌の画像を取得させる第1状況にあるか、ユーザーの顔の肌の画像を取得させる第2状況にあるか、を認識する。状況認識部119は例えば、第1状況にあるか、第2状況にあるかの、ユーザー自身による選択の入力を受け付けて、当該受け付けた選択内容に応じてユーザーが第1状況及び第2状況のいずれの状況にあるかを認識する。あるいは例えば状況認識部119は、現在の時間帯に基づいて、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識してもよい。
The
入力部130は、例えばカメラなどの映像取得手段であり、タッチパネル、キーボードなどの文字や選択結果等の入力機構であり、あるいはマイクなどの音声入力機構である。
The
出力部150は、例えばバイブレーターなどの振動発生部151と、液晶ディスプレイなどの表示部153と、スピーカなどの音声再生部155と、香りを発生させる香り発生部157と、を含んで構成される。なお出力部150の一部は外付けの装置であってよい。
The
すなわち例えば振動発生部151として、携帯端末10に備えられたバイブレーターに代えて又は加えて、振動発生機能を備えた外付けの装置が備えられている場合には、携帯端末10と当該外付けの装置とは、例えば無線又は有線の通信により、相互に通信可能に接続される。そして当該外付けの装置は、例えば携帯端末10から、振動のソリューションを提供するための信号を受信して、当該信号に従って、振動のソリューションをユーザーに提供する。
That is, for example, when the
サーバー30は、サーバー制御部310と、サーバー記憶部330と、を含んで構成される、例えばコンピューターである。
The
サーバー制御部310は、CPU等の演算処理装置、メモリ、及びI/Oデバイスなどにより構成されている。サーバー制御部310は、所定のプログラムを読み込んで実行することにより例えばユーザー状態情報生成部311、ソリューション決定部313として機能し、あるいはさらに心拍情報取得部315、自律神経バランス取得部317、言語情報分析部319として機能する。
The
ユーザー状態情報生成部311は、ユーザー情報取得部111によりされた身体または動作から取得された情報に基づいてユーザーのユーザー状態を示すユーザー状態情報を生成する。
The user state
すなわち例えばユーザー状態情報生成部311は、ユーザー情報に含まれる心拍に関する情報、肌画像分析部117による分析の結果、言語情報分析部319による分析の結果、自律神経バランス情報に基づいて、ユーザー状態情報を生成する。
That is, for example, the user state
ソリューション決定部313は、複数のソリューションからユーザー状態情報に応じたソリューションを決定する。
The
そして心拍情報取得部315は、肌の画像からユーザーの心拍に関する情報を取得する。
Then, the heartbeat
自律神経バランス取得部317は、ユーザー情報に含まれる心拍に関する情報又は、心拍情報取得部315により取得された心拍に関する情報に基づいて、ユーザーの自律神経バランスを示す自律神経バランス情報を取得する。
The autonomic nerve
あるいは例えば自律神経バランス取得部317は、言語情報分析部319により取得された、言語情報の特徴に関する情報に基づいて、ユーザーの自律神経バランス情報を取得する。
Alternatively, for example, the autonomic nerve
言語情報分析部319は、ユーザー情報に含まれる言語情報を分析する。例えば言語情報分析部319は、言語情報からユーザー情報の特徴に関する情報を取得する。
The language
より具体的にはたとえば言語情報分析部319は、言語情報に含まれる特徴的な語句(ネガティブな語句など)を、あるいは例えばユーザー情報に音声が含まれる場合には、該音声の抑揚をユーザー情報の特徴に関する情報として取得する。
More specifically, for example, the linguistic
サーバー記憶部330は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等の記憶装置により構成されている。サーバー記憶部330は、ユーザーに提供可能な、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶しており、あるいはさらに対応辞書331、判定モデル333、変換モデル335、基準状態情報337のほか、本実施形態のソリューション提供システムの処理結果及び、処理に必要なデータを記憶している。
The
サーバー記憶部330に記憶されているソリューションの情報は、音楽、音声、映像、所定の周期的な振動のパターンなどのデジタルデータそのものでもよく、あるいは例えば所定の香りを特定するIDなどの符号情報であってよい。これらのソリューションが単独で、又は組み合わせてユーザーに向けて提供されることにより、例えばユーザー状態をリラックスした状態、冷静な状態、覚醒した状態に誘導するソリューション、ユーザー状態を所望状態情報が示す状態に向けて誘導するソリューション、ユーザー状態を基準状態情報337が示す状態に向けて誘導するソリューションなどとして機能する。
The solution information stored in the
また、サーバー記憶部330に記憶されているソリューションは、例えばユーザーの触覚、聴覚又は嗅覚に対する受動的な刺激を含み、より具体的には所定の周期的な振動、音楽、朗読音声、所定の香り、ネガティブな語句に対応する前向きな言い換え又は語句に比してネガティブさの度合いの低い言い換えの語句候補などである。あるいはソリューションは、例えばユーザーに所定の方法での呼吸又は瞑想を促す情報などであってもよい。
Further, the solution stored in the
なおユーザーの感情とは、喜怒哀楽、又はネガティブな状態などのいわゆる心理状態のほか、興奮状態にあるかリラックス状態にあるかの指標の一つとしての自律神経バランスの状態及び、覚醒、休息、冷静、解放などのユーザー自身による自己認識の状態を含む概念である。 The user's emotions include so-called psychological states such as emotions and negative states, as well as the state of autonomic nerve balance as one of the indicators of whether the person is in an excited state or a relaxed state, and awakening and rest. It is a concept that includes the state of self-awareness by the user such as, calmness, and liberation.
対応辞書331は、例えば図2に示すような、言語情報に含まれるネガティブな語句などの特徴的な語句と、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態の度合とを対応付けて記憶している対応テーブルであり、あるいはさらに語句の前向きな言い換えの語句又は当該語句に比してネガティブさの度合いの低い言い換えの語句とを対応付けて記憶していてもよい。あるいは対応辞書331は、音声の抑揚とユーザー状態とを対応付けて記憶している対応テーブルである。
The
これらの対応辞書331は、ユーザー状態情報生成部311がユーザー状態情報を生成する際又はソリューション決定部313がソリューションを決定する際に用いられる。
These
判定モデル333は、例えば言語情報に含まれる特徴的な語句入力としユーザー状態を出力とする判定モデル、または音声の抑揚を入力としユーザー状態を出力とする判定モデルであり、ユーザー状態情報生成部311がユーザー状態情報を生成する際に用いられる。
The
変換モデル335は、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルであり、ソリューション決定部313がソリューションを決定する際に用いられる。
The
基準状態情報337は、ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す情報であり、例えばユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準となる心拍数、心拍間隔、自律神経バランス、及びこれらのデータから求められる感情又は疲労状態の指標値が、例えば年代、性別などのユーザーの特性ごと、あるいは昼、夜などの時間帯ごとに記憶されている。
The
<処理の概要>
次に、図3〜図7を参照して、本実施形態のソリューション提供システムの処理内容について説明する。
<Outline of processing>
Next, the processing contents of the solution providing system of the present embodiment will be described with reference to FIGS. 3 to 7.
<所望状態受付処理>
一連の処理を開始すると、まず必要に応じて携帯端末10の所望状態受付部115は、ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付けて、サーバー30に送信する(図3/S110)。
<Desired state reception process>
When a series of processes are started, first, if necessary, the desired
所望状態受付部115は、例えば携帯端末10のディスプレイにユーザーが所望する感情及び/又は疲労状態の選択肢を複数表示し、ユーザーに選択させることで所望状態情報の入力を受け付ける。所望状態受付部115が表示する選択肢は、例えば「仕事のやる気をアップしたい」、「回復力を高めて疲れを取りたい」などの抽象的なものでもよく、「明るい気持ちになりたい」、「リラックスした気持ちになりたい」、「冷静になりたい」、「覚醒した状態になりたい」、「自律神経バランスを整えたい」などのより具体的なものであってもよい。
The desired
そして、サーバー30は、所望状態情報を受信してサーバー記憶部330に記憶する(図3/S130)。
Then, the
なおこのとき状況認識部119は例えば、ユーザーが第1状況にあるか、第2状況にあるかを選択させるための選択ボタンを携帯端末10のディスプレイに表示し、ユーザーに選択させることで、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識する。
At this time, the
<ユーザー情報取得処理>
その後に、携帯端末10のユーザー情報取得部111は、ユーザー情報を取得してサーバー30に送信する(図3/S150)。
<User information acquisition process>
After that, the user
より具体的には、例えば図4に示すようにユーザー情報取得部111は、携帯端末10が有するカメラを介してユーザーの肌の画像を取得し(図4/S151)、携帯端末10が有するタッチパネルを介して文字や選択肢の選択結果の入力を、あるいはマイクを介して音声の入力を、言語情報として受け付ける(図4/S153)。
More specifically, for example, as shown in FIG. 4, the user
なおユーザー情報取得部111は、肌の画像を取得するときに、状況認識部119による認識結果に基づいて、ユーザーがユーザーの手指の肌の画像を取得させる第1状況にある場合にはユーザーの手指の肌の画像を取得し、ユーザーが顔の肌の画像を取得させる第2状況にある場合にはユーザーの顔の肌の画像を取得する。
When the user
そしてユーザー情報取得部111は、例えば肌画像分析部117の機能を用いて、肌の画像から心拍に関する情報の取得に必要な情報を取得する(図4/S155)。
Then, the user
なお肌画像分析部117は、心拍に関する情報の取得に必要な情報を取得するときに、状況認識部119による認識結果に基づいて、ユーザーが第1状況にある場合にはユーザーの手指の肌の画像を分析して心拍に関する情報の取得に必要な情報を取得し、第2状況にある場合にはユーザーの顔の肌の画像を分析して当該情報を取得する。
When the skin
肌画像分析部117が肌の画像から心拍に関する情報の取得に必要な情報を取得する手法としては既知の種々の手法が用いられてよいが、肌画像分析部117は例えば、肌の画像である動画像又は連続的に撮像した静止画像から、RGBの各色成分の輝度の変化の情報を取得する。
Various known methods may be used as a method for the skin
そしてユーザー情報取得部111は、このようにして取得した、言語情報、心拍に関する情報の取得に必要な情報をユーザー情報としてサーバー30に送信する(図4/S157)。
Then, the user
<ユーザー情報分析処理>
そして、サーバー30のユーザー状態情報生成部311は、ユーザー情報を受信して(図3/S210)、心拍に関する情報の取得に必要な情報、言語情報などの、ユーザー情報に含まれる情報を分析する(図3/S230)。
<User information analysis processing>
Then, the user status
より具体的には例えば図5に示すように、ユーザー状態情報生成部311は、心拍情報取得部315を介して、心拍に関する情報の取得に必要な情報から心拍に関する情報を取得する(図5/S231)。
More specifically, as shown in FIG. 5, for example, the user state
心拍情報取得部315が心拍に関する情報の取得に必要な情報からユーザーの心拍に関する情報を取得する手法としては既知の種々の手法が用いられてよいが、心拍情報取得部315は例えば、RGBの各色成分の輝度の変化の情報に含まれる特定の色成分(例えばG(緑))の輝度の変化を所定のアルゴリズムを用いて分析することにより、ユーザーの心拍を取得する。
Various known methods may be used as a method for the heartbeat
また心拍情報取得部315はユーザーの心拍から例えば、心拍数、心拍間隔、あるいはこれらの情報からCVR−R、CCVTPなどの指標値を計算して取得する。
Further, the heart rate
そして心拍情報取得部315は、例えばCVR−R、CCVTPなどの指標値から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの疲労状態を示す疲労度スコアを算出する。
Then, the heart rate
またユーザー状態情報生成部311は、言語情報分析部319の機能を用いて、ユーザー情報に含まれる言語情報の特徴に関する情報を取得する(図5/S233)。
Further, the user state
言語情報分析部319は、言語情報の特徴に関する情報として、例えば言語情報に含まれる特徴的な語句(ネガティブな語句など)を取得する。あるいは例えば言語情報分析部319は、ユーザー情報に音声が含まれる場合には、音声の抑揚をユーザー情報の特徴に関する情報として取得する。
The linguistic
言語情報分析部319が言語情報の特徴に関する情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば言語情報分析部319は、あらかじめサーバー記憶部330に記憶されたネガティブな語句の辞書を参照して、ユーザーが入力又は選択した語句に含まれるネガティブな語句を抽出し、当該ネガティブな語句を言語情報の特徴に関する情報として取得する。
Various methods may be used as a method for the linguistic
あるいは例えば言語情報分析部319は、ユーザー情報に含まれる音声データを音節ごとに分割し、各音節を分析してその抑揚パターンを取得して、あらかじめサーバー記憶部330に記憶された、人の発言の抑揚のパターンと感情、疲労状態、自律神経バランスなどとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから特徴的な(例えば発生頻度の多い)抑揚パターンを抽出し、当該抑揚パターンを言語情報の特徴に関する情報として取得する。
Alternatively, for example, the language
その後にユーザー状態情報生成部311は、自律神経バランス取得部317の機能を用いて、心拍に関する情報及び/又は言語情報から取得された特徴に関する情報に基づいて自律神経バランス情報を取得する(図5/S235)。
After that, the user state
自律神経バランス取得部317が自律神経バランス情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば自律神経バランス取得部317は、心拍の変動を周波数解析して、心拍の変動の低周波成分であるLF(Low Frequency)と高周波成分であるHF(High Frequency)との比(LF/HF)を、自律神経バランス情報として取得する。
Various methods may be used as the method for the autonomic nerve
そして自律神経バランス取得部317は、自律神経バランス情報から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの自律神経のバランスを示す自律神経バランススコアを算出する。
Then, the autonomic nerve
<ユーザー状態情報生成処理>
そして、サーバー30のユーザー状態情報生成部311は、ユーザー情報分析処理における分析結果に基づいて、ユーザーのユーザー状態を示すユーザー状態情報を生成する(図3/S250)。
<User status information generation process>
Then, the user state
例えばユーザー状態情報生成部311は、上記で得られた疲労度スコアと自律神経バランススコアに基づいてユーザー状態情報を生成する。
For example, the user state
そして、ユーザー状態情報生成部311は、例えば図6に示すような、疲労度を縦軸として、自律神経バランスを横軸としたマトリクス表を用いて、ユーザー疲労度と自律神経バランスとの組み合わせが当該マトリクス表のどこに位置するかを示す情報を取得して、当該取得した情報をユーザー状態情報とする。あるいは例えばユーザー状態情報生成部311は、このようにして取得したマトリクス表のどこに位置するかを示す情報及び疲労度スコアと自律神経バランススコアを組み合わせた情報をユーザー状態情報としてもよい。
Then, the user state
すなわち例えば図6に示すように、縦軸においては上に行くほど疲労度が高く、下に行くほど疲労度は低い。そして横軸においては右に行くほど交感神経が優位なすなわち心が緊張した状態の自律神経バランスであり、左に行くほど副交感神経が優位なすなわち心が弛緩した状態の自律神経バランスである。 That is, for example, as shown in FIG. 6, on the vertical axis, the higher the degree of fatigue, the higher the degree of fatigue, and the lower the degree, the lower the degree of fatigue. On the horizontal axis, the sympathetic nerve is dominant toward the right, that is, the autonomic nerve balance in a state in which the mind is tense, and the parasympathetic nerve is dominant toward the left, that is, the autonomic nerve balance in a relaxed state.
なお図6においては、自律神経スコアが0〜3.3であれば副交感神経が優位な状態とし、3.4〜6.6であれば自律神経バランスが整っている調和状態とし、6.7〜10.0であれば交感神経が優位な状態としている。また疲労度スコアが0〜3.3であれば疲労度は低く、3.4〜6.6であれば疲労度は中程度とし、6.7〜10.0であれば疲労度が高い状態としている。 In FIG. 6, when the autonomic nerve score is 0 to 3.3, the parasympathetic nerve is predominant, and when the autonomic nerve score is 3.4 to 6.6, the autonomic nerve is in a well-balanced harmonious state, and 6.7. If it is ~ 10.0, the sympathetic nerve is in a dominant state. If the fatigue score is 0 to 3.3, the fatigue level is low, if it is 3.4 to 6.6, the fatigue level is medium, and if it is 6.7 to 10.0, the fatigue level is high. It is said.
そして、副交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度なリラックス状態(over−relax)、交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度な覚醒状態(over−active)、疲労度が高ければ危険な状態(dangerous)であり、その中でも自律神経のバランスが取れている場合は要注意な状態(caution)となる。 When the parasympathetic nerve is dominant and the fatigue level is moderate to low, it is an excessive relaxed state (over-relax), and when the sympathetic nerve is dominant and the fatigue level is medium to low. If it is, it is an excessive-active state, and if the degree of fatigue is high, it is a dangerous state (dangerous). Among them, if the autonomic nerves are balanced, it is a cautionary state (caution).
一方で、疲労度が中程度で自律神経バランスが取れている場合は平常状態(me−normal)であり、疲労度が低く自律神経バランスが取れている場合は充実した状態(me−fullness)となる。図6は、ユーザー状態が「caution」の状態であることを示している。 On the other hand, when the degree of fatigue is moderate and the autonomic nerves are balanced, it is in a normal state (me-normal), and when the degree of fatigue is low and the autonomic nerves are balanced, it is in a full state (me-fullness). Become. FIG. 6 shows that the user state is the "cution" state.
<ソリューション決定処理>
そして、サーバー30のソリューション決定部313は、ユーザー状態情報に応じたソリューションを決定して携帯端末10に送信する(図3/S270)。
<Solution decision processing>
Then, the
より具体的には、例えば図7に示すような、疲労度と自律神経バランスとの組み合わせと、ソリューションとの対応テーブルを予めサーバー記憶部330に記憶しておき、ソリューション決定部313は、当該対応テーブルを参照して、上記のようにして得られた疲労度と自律神経バランスとの組み合わせに対応したソリューション又はソリューションの組み合わせを取得する。
More specifically, for example, as shown in FIG. 7, the combination of the degree of fatigue and the autonomic nerve balance and the correspondence table with the solution are stored in the
すなわち例えば上記の例においては、ユーザー状態が、自律神経のバランスはとれているが疲労度が高い「caution」の状態であるので、ソリューション決定部313は、振動と音声との組み合わせであって、音声としてはまずナレーション(朗読音声)が流れてそののちに音楽が流れる、6分間のソリューションの組み合わせをユーザー状態情報に応じたソリューションとして決定する。
That is, for example, in the above example, since the user state is a “caction” state in which the autonomic nerves are balanced but the degree of fatigue is high, the
これは、疲労度の高いユーザーに対してはまず、疲労を和らげる効果を有する振動とナレーションとの組み合わせを提供し、その後に音声を自律神経のバランスを維持する音楽に入れ替えて提供することで、疲労の低減と自律神経バランスの維持を効果的に行うことを意図した組み合わせとなっている。また、ユーザーの感情又は疲労状態が良好な状態にあれば、ソリューションの時間は相対的に短く、ユーザーの感情又は疲労状態が良好な状態になければ、ソリューションの時間はユーザーにとって無理のない範囲で相対的に長く設定される。 This is done by first providing a combination of vibration and narration that has the effect of relieving fatigue to users with a high degree of fatigue, and then replacing the voice with music that maintains the balance of the autonomic nerves. The combination is intended to effectively reduce fatigue and maintain autonomic balance. Also, if the user's emotions or fatigue is in good condition, the solution time is relatively short, and if the user's emotions or fatigue is not in good condition, the solution time is within a reasonable range for the user. It is set relatively long.
なおこのとき、ソリューション決定部313は、当該ユーザーの所望状態情報がサーバー記憶部330に記憶されている場合には、ユーザーの感情又は疲労状態を所望状態情報が示す状態に向けて誘導するソリューションを決定する。すなわち例えばユーザー状態が「caution」で、ユーザーの所望状態情報が「回復力を高めて疲れを取りたい」であれば、ユーザー状態が「me−normal」又は「me−fullness」に向けて誘導できるソリューションをサーバー記憶部330に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。
At this time, when the desired state information of the user is stored in the
あるいはユーザーの所望状態情報がサーバー記憶部330に記憶されていない場合などには、ソリューション決定部313は、例えばユーザー状態をリラックスした状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。
Alternatively, when the user's desired state information is not stored in the
あるいはソリューション決定部313は、例えばユーザー状態を冷静な状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に、リラックスした状態に誘導するソリューションに比して速いスピードで、向かうように誘導するソリューションを決定するように構成されていてもよく、ユーザー状態を覚醒した状態、すなわち現在の自律神経バランスがより交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。
Alternatively, the
あるいはユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報337がサーバー記憶部330に記憶されている場合には、ソリューション決定部313は、ソリューション決定部313は、ユーザー状態及び基準状態情報337に基づいて、ユーザー状態を基準状態情報337が示す状態に向けて誘導するソリューションを決定するように構成されていてもよい。
Alternatively, when
すなわち例えば、ソリューション決定部313はソリューションの決定にあたって基準状態情報337を参照する。基準状態情報337として、例えば「疲労度=0〜3.3」が指定されていれば、ソリューション決定部313は、疲労度を3.3以下に誘導するソリューションをサーバー記憶部330に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。
That is, for example, the
<言い換えの語句候補の決定>
なおソリューション決定部313が決定するソリューションは、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補であってもよい。
<Determination of paraphrase candidates>
The solution determined by the
すなわち例えばソリューション決定部313は、言語情報に含まれるネガティブな語句と、該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句と、の対応辞書を用いて、該ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補をソリューションとして決定する。
That is, for example, the
より具体的には、言語情報に「悲しい」という語句が含まれていた場合に、ソリューション決定部313は、図2に示すような対応辞書を参照して、「悲しい」の語句の感情の度合が「−99」点で、に対応する言い換えの語句が「切ない」又は「涙を誘う」であることを認識する。そしてソリューション決定部313は、例えば言語情報に「悲しい」という語句が複数回登場すれば、感情の度合を下げる必要性が高いと認識して、より感情の度合が低い「−28」点の「涙を誘う」をネガティブさの度合いの低い言い換えの語句候補として選択し、ソリューションとして決定する。
More specifically, when the linguistic information contains the phrase "sad", the
あるいは言語情報に「ぐったり」という語句が含まれていた場合には、ソリューション決定部313は、図2に示すような対応辞書を参照して、「ぐったり」に対応する前向きな言い換えの語句に「充実している」、「腕の見せ所だ」などがあることを認識する。そして言語情報の内容に応じて、これらの中から適宜に語句を選択して、ソリューションとして決定する。
Alternatively, if the linguistic information contains the phrase "gutari", the
ソリューション決定部313は例えば、ユーザーが携帯端末10の入力部130を介して文字を入力し、文字変換の操作を行うたびに上記の処理を実行し、選択した語句をソリューションとして携帯端末10に送信する。
For example, the
そして携帯端末10のソリューション提供部113は例えば、後述するソリューション提供処理において、当該選択された語句を変換候補の一覧の上位に表示する。
Then, the
なおソリューション決定部313は、上記の対応辞書に加えて又は代えて、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルを用いて言い換えの語句候補を決定してもよい。
In addition to or instead of the above-mentioned corresponding dictionary, the
<ソリューション提供処理>
そして携帯端末10のソリューション提供部113は、ソリューションを受信して(図3/S310)、当該受信したソリューションをユーザーに向けて提供する(図3/S330)。
<Solution provision processing>
Then, the
より具体的にはソリューション提供部113は、サーバー30から受信したソリューションの内容に応じて、振動発生部151、表示部153、音声再生部155、香り発生部157を介して、所定の周期的な振動などの触覚に対する刺激、音楽、朗読音声、自然音(鳥の声、小川のせせらぎ等)などの聴覚に対する刺激、所定の香りなどの嗅覚に対する刺激などの受動的な刺激や、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補、をユーザーに向けて提供する。
More specifically, the
すなわち例えば受信したソリューションが音楽のデジタルデータであれば、ソリューション提供部113は、当該音楽を音声再生部155に再生させる。あるいは例えば受信したソリューションが所定の香りを特定するIDであれば、ソリューション提供部113は、当該IDに対応する香りを香り発生部157に発生させる。
That is, for example, if the received solution is digital data of music, the
なお本実施形態のソリューション提供システムは、これら一連の処理を定期的に又は不定期的に繰り返し行うように構成されていてもよい。 The solution providing system of the present embodiment may be configured to repeat these series of processes periodically or irregularly.
すなわち例えばユーザー情報取得部111はソリューションがユーザーに提供された後にユーザー情報を再度取得し、ユーザー状態情報生成部311はソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいてユーザー状態情報を再生成し、ソリューション決定部313は再生成されたユーザー状態情報に応じたソリューションを決定するように構成されていてもよい。
That is, for example, the user
以上説明したように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 As described above, according to the present invention, it is possible to analyze a user's emotion or fatigue state and easily provide an appropriate solution according to the user's emotion or fatigue state.
以上、本発明の実施形態について説明したが、これに限定されない。本発明の趣旨を逸脱しない範囲で、種々の変更が可能である。 The embodiments of the present invention have been described above, but the present invention is not limited thereto. Various modifications can be made without departing from the spirit of the present invention.
<ソリューション提供システムの実装の例>
以下に、ソリューション提供システムの実装の例を記載する。
<Example of implementation of solution providing system>
An example of implementation of the solution providing system is described below.
<移動体との組み合わせ>
本発明のソリューション提供システムは、自動車などの移動体に搭載されて用いられてもよい。
<Combination with mobile>
The solution providing system of the present invention may be mounted and used on a moving body such as an automobile.
この場合、例えばユーザー情報取得部111は、例えば自動車に設置されたカメラ及び心拍計の一方又は両方を介して、自動車の運転者又は同乗者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。また、ユーザー状態情報生成部311が、取得された情報に基づいて運転者又は同乗者のユーザー状態情報を生成する。
In this case, for example, the user
そして、ソリューション決定部313が決定するソリューションは、ユーザー状態に応じた、例えばユーザーに休憩を促す情報、該ユーザー状態に応じた所定の周期的な振動又はこれらの組み合わせである。
The solution determined by the
また、ソリューション提供部113は、自動車の例えばハンドル部分及び座席の一方又は両方に設置された振動発生部を介して、ユーザー状態に応じた所定の周期的な振動を運転者又は同乗者に提供する。なお、振動発生部は、ハンドル部分、座席に内蔵されていてもよく、あと付けの装置であってもよい。
Further, the
あるいはこれに加えて又は代えて、ユーザー状態に応じた香りがソリューションとして提供されてもよい。 Alternatively, or in place of this, a scent according to the user's condition may be provided as a solution.
本発明によれば、運転者又は同乗者のストレスなどの感情の状態、疲労状態に応じて、休憩の指示を適切に行え、また休憩時には振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。特に運転者に関しては、運転に伴うストレス、疲労による集中力の低下が防止される。 According to the present invention, a break instruction can be appropriately given according to an emotional state such as stress of the driver or a passenger and a fatigue state, and vibration is transmitted from the handle or the seat during the break to recover from stress and fatigue. Prompted. Especially for the driver, the decrease in concentration due to stress and fatigue associated with driving is prevented.
<医療機関での利用>
本発明のソリューション提供システムは、病院や歯科医院などの医療機関で用いられてもよい。
<Use at medical institutions>
The solution providing system of the present invention may be used in a medical institution such as a hospital or a dental clinic.
この場合、例えばユーザー情報取得部111は、例えば医療機関の診察室に設置されたカメラ及び心拍計の何れか一方又は両方を介して、患者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。
In this case, for example, the user
そしてユーザー状態情報生成部311が、取得された情報に基づいて患者のユーザー状態情報を生成して、ソリューション提供部113は、医療機関の診察台に設置された振動発生部を介して、患者のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。
Then, the user state
ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、患者の心拍にほぼ同期しており、その後段階的に周期を長くしていく振動パターンの振動をソリューションとして決定する。 For example, the vibration at the start of a predetermined periodic vibration according to the user state is substantially synchronized with the heartbeat of the patient, and then the vibration of the vibration pattern in which the cycle is gradually lengthened is determined as a solution.
これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーの心拍数を下げ、ユーザーの不安感、緊張状態を低減することを意図したものである。 This is intended to reduce the user's heart rate and reduce the user's anxiety and tension by utilizing the pull-in effect that synchronizes the heart rate cycle with the vibration provided to the user. Is.
本発明によれば、不安感、緊張状態の低減によって医療機関における治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。 According to the present invention, treatment in a medical institution becomes easier by reducing anxiety and tension. It can also be expected that the pain felt by the patient due to the treatment will be alleviated by reducing the tension.
<教育機関での利用>
本発明のソリューション提供システムは、学校などの教育機関で用いられてもよい。
<Use in educational institutions>
The solution providing system of the present invention may be used in an educational institution such as a school.
この場合、例えばユーザー情報取得部111は、学校の生徒等に用いられるタブレット端末に備えられたカメラ及び心拍計の何れか一方又は両方を介して、各生徒の顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。
In this case, for example, the user
また、ユーザー状態情報生成部311が、取得された情報に基づいて生徒等のユーザー状態情報を生成して、ソリューション提供部113は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒等のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。
Further, the user state
あるいはさらに自律神経バランス取得部は、ユーザー情報に基づいて各人の自律神経状態を分析してもよい。 Alternatively, the autonomic nerve balance acquisition unit may analyze the autonomic nerve state of each person based on the user information.
この場合、ソリューション決定部313は、交感神経が優位の生徒、副交感神経が優位な生徒のそれぞれに対して自律神経の分析結果に応じた異なる刺激を与えて、全生徒が交感神経と副交感神経とのバランスのとれた状態に誘導するための、所定の周期的な振動のソリューションを決定する。
In this case, the
そしてソリューション提供部113は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒のユーザー状態情報に応じた所定の周期的な振動を生徒に提供する。
Then, the
本発明によれば、交感神経優位の生徒、副交感神経優位の生徒が混在していて生徒のコントロールが困難な、混乱した状態が解消できることが期待できる。 According to the present invention, it can be expected that a confused state in which sympathetic-dominant students and parasympathetic-dominant students are mixed and it is difficult to control the students can be resolved.
<オフィスビル等での利用>
本発明のソリューション提供システムは、オフィスビルの休憩スポット等で用いられてもよい。
<Use in office buildings, etc.>
The solution providing system of the present invention may be used in a rest spot of an office building or the like.
この場合、例えばユーザー情報取得部111は、オフィスビルの休憩スポットに設置された端末に備えられており、オフィスビルで勤務する人のユーザー情報を取得する。
In this case, for example, the user
ソリューション決定部313は、ユーザー状態に応じたソリューションを決定し、オフィスビルの休憩スポットに設置されたソリューション提供部113を介してユーザーに提供される。
The
ソリューション決定部313が決定するソリューションには、例えば休憩スポット内で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。
The solution determined by the
また、ユーザー情報取得部111が取得したユーザー情報、ユーザー状態情報生成部311が生成したユーザー状態情報は蓄積されて、当該オフィスビルで勤務する人の勤務先の管理者に随時に送信されてもよい。
Further, even if the user information acquired by the user
本発明によれば、オフィスビルで勤務する人のストレス状態や疲労状態に応じて、休憩スポット内での休憩時間中に効果的にストレス状態や疲労状態を改善することができるとともに、これらの人たちの勤務先の管理者にとっては、勤務者のストレス状態や疲労状態を見える化することができるので便利である。 According to the present invention, it is possible to effectively improve the stress state and fatigue state during the break time in the rest spot according to the stress state and fatigue state of the person working in the office building, and these persons. It is convenient for the managers of our office because it can visualize the stress state and fatigue state of the workers.
<振動機能を有する電気機器への応用>
例えば会社員などが休憩時間中にリフレッシュするために、振動機能を有する美顔器で顔の筋肉のコリをほぐしてリラックスすることが考えられる。集中力を維持するために、一度リラックスすることは有効だが、美顔器の利用後に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができればなおよい。
<Application to electrical equipment with vibration function>
For example, in order for office workers to refresh themselves during breaks, it is conceivable to use a facial device having a vibrating function to loosen the stiffness of facial muscles and relax. Relaxing once is effective for maintaining concentration, but it is even better if you can change your mind after using the facial equipment so that you can start working immediately.
そのため本発明のソリューション提供システムは、振動機能を有する美顔器などの電気機器とともに用いられてもよい。 Therefore, the solution providing system of the present invention may be used together with an electric device such as a facial device having a vibration function.
この場合、ソリューション提供システムは美顔器のタイマーと連動しており、美顔のための振動などの前半段階においては、ユーザーをリラックスした状態(副交感神経が優位な状態)に誘導するためのソリューションを提供し、美顔のための振動などの後半段階においては、ユーザーを覚醒した状態(交感神経が優位な状態)に誘導するためのソリューションを提供するように構成される。 In this case, the solution provision system is linked with the timer of the facial equipment, and provides a solution to guide the user to a relaxed state (a state in which the parasympathetic nerve is dominant) in the first half stage such as vibration for facial treatment. However, in the latter half of the stage, such as vibration for facial beauty, it is configured to provide a solution for guiding the user to an awake state (a state in which the sympathetic nerve is dominant).
本発明によれば、ユーザーを一時的にリラックスさせることができるとともに、休憩後の業務に向けて、覚醒した状態に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができる。 According to the present invention, the user can be temporarily relaxed, and the user can switch his / her feelings to the awake state for the work after the break so that he / she can start the work immediately.
<宿泊施設での利用>
本発明のソリューション提供システムは、ホテル、旅館などの宿泊施設でのサービスと共に用いられてもよい。
<Use at accommodation facilities>
The solution providing system of the present invention may be used together with services in accommodation facilities such as hotels and inns.
この場合、例えばユーザー情報取得部111は、ホテル、旅館などの宿泊施設のフロントに設置された端末に備えられており、宿泊客等の当該施設利用者のユーザー情報を取得する。
In this case, for example, the user
ソリューション決定部313が決定するソリューションは、ユーザーが利用する客室内で提供される香り、入浴剤、食事の内容を含む宿泊施設サービス内容などが含まれる。
The solution determined by the
ソリューション決定部313の決定結果は、ホテル、旅館の接客担当者に送信されて、ユーザーへのサービス内容に反映される。
The decision result of the
本発明によれば、当該施設の利用者により心地よい滞在体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。 According to the present invention, it is possible to provide a more comfortable stay experience to the user of the facility and effectively guide the user to a relaxed state, a calm state, an awake state, or a state of recovery from fatigue.
<観光や旅客サービスでの利用>
本発明のソリューション提供システムは、観光や旅客サービスと共に用いられてもよい。
<Use for sightseeing and passenger services>
The solution providing system of the present invention may be used together with tourism and passenger services.
この場合、例えばユーザー情報取得部111は、旅行者が旅行中に利用する移動手段に備えられており、旅行者のユーザー情報を取得する。
In this case, for example, the user
ソリューション決定部313が決定するソリューションには、例えば移動手段の機内や座席で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。
The solution determined by the
本発明によれば、旅行者により心地よい旅行体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。 According to the present invention, it is possible to provide a more comfortable travel experience for the traveler and effectively guide the user to a relaxed state, a calm state, an awake state, or a state of recovery from fatigue.
<プラネタリウム・水族館・映画館等のイベント会場での利用>
本発明のソリューション提供システムは、プラネタリウム・水族館・映画館等、あるいはさらに博物館、遊園地等の室内室外のイベント会場で用いられてもよい。
<Use at event venues such as planetariums, aquariums, and movie theaters>
The solution providing system of the present invention may be used at an indoor / outdoor event venue such as a planetarium, an aquarium, a movie theater, or a museum or an amusement park.
この場合、ユーザー情報取得部111は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末10が備えるカメラ及び心拍計の何れか一方又は両方を介して、ユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。
In this case, the user
そしてユーザー状態情報生成部311が、取得された情報に基づいてユーザー状態情報を生成して、ソリューション提供部113は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末10が備える振動発生部を介して、ユーザー状態情報に応じた所定の周期的な振動をユーザーに提供する。
Then, the user state
ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、ユーザーの心拍にほぼ同期しており、その後段階的に周期を長くしていくもしくは短くしていく振動パターンの振動をソリューションとして決定する。 For example, the cycle at the start of a predetermined periodic vibration according to the user's condition is almost synchronized with the user's heartbeat, and then the vibration of the vibration pattern in which the cycle is gradually lengthened or shortened is solved. To determine as.
これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーをよりリラックス、もしくは活性化することを意図したものである。これにより例えばプラネタリウムや水族館でよりリラックスした気持ちでユーザーに鑑賞させることができ、あるいは例えばアクション映画の映像とともに活性化するようにユーザーの気持ちを誘導することができるなど、ユーザーの気分を含む状態の変化をはかることができる。このように、ソリューション提供システムを、リアルな体験と組み合わせて用いることができるようにすることでユーザーの状態を、リラックスした状態、冷静な状態、又は興奮した状態、もしくは、疲労から回復した状態に効果的に誘導できる。 This is intended to make the user more relaxed or activated by utilizing the pull-in effect in which the heartbeat cycle is synchronized with the vibration provided to the user. This allows the user to watch with a more relaxed feeling, for example, in a planetarium or an aquarium, or can induce the user's feelings to be activated with the image of an action movie, for example, in a state including the user's mood. You can make changes. In this way, by enabling the solution providing system to be used in combination with a realistic experience, the user's state can be relaxed, calm, excited, or recovered from fatigue. Can be effectively induced.
本発明によれば、イベントの内容に合わせて、イベントの体験をより印象深くよい体験にして、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。 According to the present invention, according to the content of the event, the experience of the event is made more impressive and good, and the user is effectively guided to a relaxed state, a calm state, an awake state, or a state of recovery from fatigue. be able to.
以上、本発明の実装方法の例について説明したが、これらはあくまでも、想定される実装方法の例示であり、これらに関連する、あるいは派生するその他の実装方法に応用されてよいことは言うまでもない。また、本発明の趣旨を逸脱しない範囲で、さらに種々の変更が可能である。 Although examples of the mounting method of the present invention have been described above, it is needless to say that these are merely examples of assumed mounting methods and may be applied to other mounting methods related to or derived from them. Further, various modifications can be made without departing from the spirit of the present invention.
例えば自律神経バランス取得部317は、上述した人の発言の抑揚のパターンと自律神経バランスとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから抽出された特徴的な抑揚パターンに対応付けられた自律神経バランスを自律神経バランス情報として取得してもよい。
For example, the autonomic nerve
あるいは例えば自律神経バランス取得部317は、言語情報に含まれる特徴的な語句を入力とし、自律神経バランスを出力とするモデルに、言語情報に含まれる特徴的な語句を入力することにより出力された自律神経バランスを自律神経バランス情報として取得してもよい。
Alternatively, for example, the autonomic nerve
あるいは例えばユーザー状態情報生成部311は、言語情報に含まれる特徴的な語句に基づいて、語句とユーザー状態との対応辞書及び、該語句を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を取得してもよい。
Alternatively, for example, the user state
この場合、ユーザー状態情報生成部311は例えば、語句と感情又は疲労状態との対応辞書を参照して、言語情報に含まれる特徴的な語句に対応するユーザーの感情又は疲労状態を示す指標値を取得する。
In this case, the user state
あるいは例えばユーザー状態情報生成部311は、言語情報に含まれる特徴的な抑揚に基づいて、抑揚とユーザー状態との対応辞書及び、該抑揚を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を示す指標値を取得してもよい。
Alternatively, for example, the user state
この場合、ユーザー状態情報生成部311は例えば、言語情報に含まれる特徴的な抑揚を当該判定モデルに入力して出力されたユーザーの感情又は疲労状態を示す指標値を取得する。
In this case, the user state
あるいは例えば上記においては対応辞書331にはネガティブな語句とユーザー状態とを対応付けて記憶させている例について説明したがこれに限定されない。すなわち例えば、喜び、楽しみを感じていることを示すポジティブな語句、又はリラックスしている、興奮していることを表す語句とユーザー状態とを対応付けて記憶していてもよい。
Alternatively, for example, in the above description, an example in which a negative phrase and a user state are stored in association with each other in the
あるいは例えば、ユーザー情報取得部111は、ユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を、カメラを介してユーザー情報として取得し、言語情報分析部319は、顔の動画像又は静止画像に含まれる眉毛、目、鼻又は口の形や角度などからユーザーの感情の種類及びその強度を特徴情報として取得してユーザーの感情スコアを算出し、ユーザー状態情報生成部311は、当該感情スコアを用いてユーザー状態情報を生成するように構成されていてもよい。
Alternatively, for example, the user
あるいは例えば、ソリューション決定部313は、ユーザー状態情報及び所望状態情報に基づいて、振動の周期を決定するように構成されていてもよい。
Alternatively, for example, the
より具体的には、例えばソリューション決定部313は、心拍に関する情報に基づいて振動の開始時の周期がユーザーの現在の心拍とほぼ同期するように振動の周期を決定する。
More specifically, for example, the
そしてソリューション決定部313は例えば、所望状態情報に基づいて該振動の開始後の該周期及び強度の一方又は両方の変化のパターンを決定する。
Then, the
すなわち例えばソリューション決定部313は、所望状態情報に基づいて、リラックスした状態、冷静な状態などの、ユーザーの緊張が緩和された状態に誘導するべき場合には、振動の開始後に段階的に周期が長くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導されて、リラックスした状態、冷静な状態になる。
That is, for example, when the
あるいは例えばソリューション決定部313は、所望状態情報に基づいてユーザーを覚醒した状態に誘導するべき場合には、振動の開始後に段階的に振動の周期が短く、あるいはこれに代えて又は加えて、振動の強度が強くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより交感神経優位な状態に向かうように誘導されて、覚醒した状態になる。
Alternatively, for example, when the
あるいは例えばソリューション決定部313は、所望状態の入力がない場合には、基準状態情報に基づいて、ユーザー状態を基準状態情報が示す状態に向けて誘導するように、振動の周期、強度を変化させる振動のパターンをソリューションとして決定する。
Alternatively, for example, the
あるいは上記においては、携帯端末10の肌画像分析部117が肌の画像から心拍に関する情報の取得に必要な情報を取得して、サーバー30のユーザーの心拍情報取得部315が、心拍に関する情報の取得に必要な情報に基づいて心拍に関する情報を取得する構成について説明したが、これに限定されない。
Alternatively, in the above, the skin
すなわち例えば、肌画像分析部117又は心拍情報取得部315が肌の画像から心拍に関する情報を取得してもよい。その場合、肌画像分析部117及び心拍情報取得部315の一方は省略される。
That is, for example, the skin
あるいは例えばユーザー情報取得部111は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問に対する回答をユーザー状態情報として取得してもよい。
Alternatively, for example, the user
より具体的にはユーザー情報取得部111は、まず、入力部130であるカメラにより撮像されたユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を表示部153に表示すると共に、表示部153に表示されたユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を表示部153に表示する。
More specifically, the user
そしてユーザー情報取得部111は、入力部130を介して、質問に対するユーザーによる回答の入力を、顔の画像を表示部153に表示させた状態で受け付ける。この場合に入力部130は、質問を見ながら操作を行える位置に配置される。
Then, the user
なお顔の状態についての質問に対する回答は、音声や文字で入力されてもよいし、例えば5段階評価のどれに該当するかをユーザーに選択させることにより入力されてもよい。また、当該質問は、1つであっても複数であってもよい。 The answer to the question about the facial condition may be input by voice or text, or may be input by letting the user select which of the five-grade evaluation corresponds to, for example. In addition, the question may be one or a plurality.
あるいは例えばユーザー情報取得部111は、顔の画像を表示部153に表示させる代わりに、ユーザーの顔を映す鏡部に写るユーザーの顔の映像を見せた状態で、質問に対するユーザーによる回答の入力を受け付けるように構成されていてもよい。
Alternatively, for example, the user
この場合、表示部153はユーザーが鏡部に写るユーザーの顔と同時に見ることができる位置に配置され、入力部130は鏡部に写るユーザーの顔及び表示部に表示された質問を見ながら操作を行える位置に配置される。
In this case, the
10…携帯端末、30…サーバー、111…ユーザー情報取得部、113…ソリューション提供部、115…所望状態受付部、117…肌画像分析部、119…状況認識部、311…ユーザー状態情報生成部、313…ソリューション決定部、315…心拍情報取得部、317…自律神経バランス取得部、319…言語情報分析部、330…サーバー記憶部、331…対応辞書、333…判定モデル、335…変換モデル、337…基準状態情報。 10 ... Mobile terminal, 30 ... Server, 111 ... User information acquisition unit, 113 ... Solution provision unit, 115 ... Desired state reception unit, 117 ... Skin image analysis unit, 119 ... Situation recognition unit, 311 ... User status information generation unit, 313 ... Solution determination unit, 315 ... Heart rate information acquisition unit, 317 ... Autonomous nerve balance acquisition unit, 319 ... Language information analysis unit, 330 ... Server storage unit, 331 ... Corresponding dictionary, 333 ... Judgment model, 335 ... Conversion model, 337 … Reference status information.
Claims (13)
前記ユーザーが、該ユーザーの手指の肌の画像を取得する第1状況にあるか、該ユーザーの顔の肌の画像を取得する第2状況にあるか、を認識する状況認識部と、
前記ユーザーが前記第1状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第2状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
前記ユーザーが前記第1状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第2状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
ことを特徴とするソリューション提供システム。 A storage unit that stores information of a plurality of solutions that can be provided to a user to improve the user's emotional and / or fatigued state.
A situational awareness unit that recognizes whether the user is in the first situation of acquiring the image of the skin of the user's fingers or the second situation of acquiring the image of the skin of the user's face.
When the user is in the first situation, user information including an image of the skin of the finger of the user is acquired, and when the user is in the second situation, the image of the skin of the user's face is included. The user information acquisition department that acquires user information and
When the user is in the first situation, the image of the skin of the fingers included in the user information is analyzed, and when the user is in the second situation, the skin of the face included in the user information is analyzed. The skin image analysis department that analyzes the image of
A heartbeat information acquisition unit that acquires information on the user's heartbeat based on the results of analysis by the skin image analysis unit, and
A user state information generation unit that generates user state information indicating the user state of the user based on the information related to the user's heartbeat, and a user state information generation unit.
A solution determination unit that determines a solution according to the user status information from the plurality of solutions,
A solution providing system including a solution providing unit that provides the determined solution to the user.
前記状況認識部は、前記ユーザーが第1状況にあるか、第2状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第1状況及び該第2状況のいずれの状況にあるかを認識する The situational awareness unit accepts input of selection by the user, whether the user is in the first situation or the second situation, and the user receives the first situation and the first situation according to the received selection content. Recognize which of the second situations you are in
ことを特徴とするソリューション提供システム。A solution providing system characterized by this.
前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第1状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第2状況にあると認識する
ことを特徴とするソリューション提供システム。 In the solution providing system according to claim 1,
The situation recognition unit recognizes that the user is in the first situation if the current time zone is the daytime time zone, and if the current time zone is the nighttime time zone, the user is in the second situation. A solution providing system characterized by recognizing that it is in.
前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 3,
The user information acquisition unit acquires the user information again after the solution is provided to the user.
The user state information generation unit regenerates the user state information based on the information including the user information acquired after the solution is provided to the user.
The solution determination unit is a solution providing system characterized in that it determines a solution according to the regenerated user state information.
前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 4.
A desired state receiving unit that accepts input of desired state information indicating one or both of the user's emotional state or fatigue state desired by the user is provided.
The solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the desired state information based on the user state information and the desired state information. Solution providing system.
前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 5,
The solution determination unit is configured to determine the solution that induces the user state into a relaxed state, a calm state, or an awakened state according to the user state information. Offering system.
前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 6.
The storage unit stores reference state information indicating a reference of a state in which one or both of the user's emotional or fatigue states are improved.
The solution determination unit is configured to determine the solution that guides the user state toward the state indicated by the reference state information based on the user state and the reference state information. Solution providing system.
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 7.
The solution provided by the solution determination unit includes a stimulus for the user's sense of touch, hearing, or smell.
前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 8.
The solution determined by the solution determination unit is a solution providing system characterized in that the solution includes a combination of music, a reading voice, and a predetermined periodic vibration.
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 9.
The solution providing system, which is determined by the solution determination unit, includes a predetermined scent according to the user state of the user.
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 10.
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the driver's face or fingers of the moving body through the camera installed on the moving body.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the driver.
The solution providing unit is a solution providing system characterized in that the periodic vibration is provided to the driver via the vibration generating unit installed on one or both of the handle portion and the seat of the moving body.
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 10.
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the skin of the patient's face or fingers of the medical institution through the camera installed on the examination table of the medical institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the patient.
The solution providing unit is a solution providing system characterized in that the periodic vibration is provided to the patient via the vibration generating unit installed on the examination table.
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
ことを特徴とするソリューション提供システム。 In the solution providing system according to any one of claims 1 to 10.
Equipped with a camera and vibration generator
The user information acquisition unit acquires the user information including an image of the student's face or finger skin through the camera installed on the tablet terminal used by the student in an educational institution.
The solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the student.
The solution providing unit is characterized in that the solution providing unit provides the student with the periodic vibration via the vibration generating unit installed on one or both of the tablet terminal and the seat in which the student is seated. ..
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020200823A JP6963668B1 (en) | 2020-12-03 | 2020-12-03 | Solution provision system |
JP2021124099A JP2022089138A (en) | 2020-12-03 | 2021-07-29 | Solution provision system |
PCT/JP2021/044468 WO2022118955A1 (en) | 2020-12-03 | 2021-12-03 | Solution providing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020200823A JP6963668B1 (en) | 2020-12-03 | 2020-12-03 | Solution provision system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021124099A Division JP2022089138A (en) | 2020-12-03 | 2021-07-29 | Solution provision system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6963668B1 true JP6963668B1 (en) | 2021-11-10 |
JP2022088791A JP2022088791A (en) | 2022-06-15 |
Family
ID=78466152
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020200823A Active JP6963668B1 (en) | 2020-12-03 | 2020-12-03 | Solution provision system |
JP2021124099A Pending JP2022089138A (en) | 2020-12-03 | 2021-07-29 | Solution provision system |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021124099A Pending JP2022089138A (en) | 2020-12-03 | 2021-07-29 | Solution provision system |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6963668B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023183588A (en) * | 2022-06-16 | 2023-12-28 | ポーラ化成工業株式会社 | Immune strength improvement device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005237668A (en) * | 2004-02-26 | 2005-09-08 | Kazuya Mera | Interactive device considering emotion in computer network |
JP2010187810A (en) * | 2009-02-17 | 2010-09-02 | Nissan Motor Co Ltd | Apparatus and method for doze prevention |
JP2012203590A (en) * | 2011-03-24 | 2012-10-22 | Nsd Co Ltd | Total health support system |
JP2019518572A (en) * | 2016-04-01 | 2019-07-04 | ユニバーシティ オブ ピッツバーグ −オブ ザ コモンウェルス システム オブ ハイヤー エデュケイション | Adjustment device and related method |
JP2020513289A (en) * | 2016-12-06 | 2020-05-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | System and method for awaking |
-
2020
- 2020-12-03 JP JP2020200823A patent/JP6963668B1/en active Active
-
2021
- 2021-07-29 JP JP2021124099A patent/JP2022089138A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005237668A (en) * | 2004-02-26 | 2005-09-08 | Kazuya Mera | Interactive device considering emotion in computer network |
JP2010187810A (en) * | 2009-02-17 | 2010-09-02 | Nissan Motor Co Ltd | Apparatus and method for doze prevention |
JP2012203590A (en) * | 2011-03-24 | 2012-10-22 | Nsd Co Ltd | Total health support system |
JP2019518572A (en) * | 2016-04-01 | 2019-07-04 | ユニバーシティ オブ ピッツバーグ −オブ ザ コモンウェルス システム オブ ハイヤー エデュケイション | Adjustment device and related method |
JP2020513289A (en) * | 2016-12-06 | 2020-05-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | System and method for awaking |
Also Published As
Publication number | Publication date |
---|---|
JP2022089138A (en) | 2022-06-15 |
JP2022088791A (en) | 2022-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102179983B1 (en) | Systems and methods for analyzing brain activity and their applications | |
Petitmengin-Peugeot | The intuitive experience | |
US20070167690A1 (en) | Mind-body correlation data evaluation apparatus and method of evaluating mind-body correlation data | |
CN112331308A (en) | Multichannel intelligent decompression relaxation management system | |
JP6963668B1 (en) | Solution provision system | |
EP4066734A1 (en) | Method and apparatus for providing information for respiratory training, electronic device, system, and storage medium | |
Wilimzig et al. | NLP and Psychological Research: Rapport, Reframing and Eye Accessing Cues. | |
WO2022118955A1 (en) | Solution providing system | |
US20230306860A1 (en) | Training system with interaction assist feature, training arrangement and training | |
Siegmund et al. | Talis—A design study for a wearable device to assist people with depression | |
JP7069390B1 (en) | Mobile terminal | |
JP6963669B1 (en) | Solution providing system and mobile terminal | |
JP7069389B1 (en) | Solution provision system and mobile terminal | |
JP7061714B1 (en) | Solution provision system and mobile terminal | |
Ellis | Improving quality of life and well-being for children and the elderly through vibroacoustic sound therapy | |
Cook | Music, Imagery, and H ea lin g | |
WO2022165832A1 (en) | Method, system and brain keyboard for generating feedback in brain | |
Yap et al. | Dyadic nonverbal synchrony during pre and post music therapy interventions and its relationship to self-reported therapy readiness | |
Gouk et al. | Introduction: historical and contemporary perspectives on music, mind and well-being | |
Rossi | Facilitating “creative moments” in hypnotherapy | |
Sreewichian | Exploring the influence of music intervention on social and communication development in autism spectrum disorder | |
Zhou | Language comprehension grounded in perceptual experiences: an investigation on text and speech perception | |
Kaser et al. | Benefits of Music Therapy Free Improvisation in Forensic Mental Health | |
Wysocka et al. | Therapy Program for Improving the Expression Speech Prosody | |
Lemont | Integrating Creative Writing and Expressive Arts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210106 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210106 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6963668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |