JP7364099B2 - 出力制御装置、出力制御方法およびプログラム - Google Patents
出力制御装置、出力制御方法およびプログラム Download PDFInfo
- Publication number
- JP7364099B2 JP7364099B2 JP2023000729A JP2023000729A JP7364099B2 JP 7364099 B2 JP7364099 B2 JP 7364099B2 JP 2023000729 A JP2023000729 A JP 2023000729A JP 2023000729 A JP2023000729 A JP 2023000729A JP 7364099 B2 JP7364099 B2 JP 7364099B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- user
- output control
- physiological index
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000007704 transition Effects 0.000 claims description 180
- 230000008035 nerve activity Effects 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 39
- 230000000694 effects Effects 0.000 claims description 28
- 210000000467 autonomic pathway Anatomy 0.000 claims description 21
- 230000017531 blood circulation Effects 0.000 claims description 18
- 210000003169 central nervous system Anatomy 0.000 claims description 10
- 210000005259 peripheral blood Anatomy 0.000 claims description 9
- 239000011886 peripheral blood Substances 0.000 claims description 9
- 210000004243 sweat Anatomy 0.000 claims description 8
- 230000010365 information processing Effects 0.000 description 94
- 230000002093 peripheral effect Effects 0.000 description 63
- 238000012549 training Methods 0.000 description 50
- 230000000875 corresponding effect Effects 0.000 description 49
- 238000012545 processing Methods 0.000 description 49
- 238000004891 communication Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 46
- 238000010801 machine learning Methods 0.000 description 45
- 230000003340 mental effect Effects 0.000 description 40
- 230000002889 sympathetic effect Effects 0.000 description 21
- 230000013016 learning Effects 0.000 description 17
- 230000004044 response Effects 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 210000005037 parasympathetic nerve Anatomy 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000005401 electroluminescence Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 239000012141 concentrate Substances 0.000 description 5
- 238000004497 NIR spectroscopy Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 4
- 230000010355 oscillation Effects 0.000 description 4
- 230000035790 physiological processes and functions Effects 0.000 description 4
- 230000002040 relaxant effect Effects 0.000 description 4
- 230000035900 sweating Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000763 evoking effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000001151 other effect Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 229910003798 SPO2 Inorganic materials 0.000 description 2
- 101100478210 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spo2 gene Proteins 0.000 description 2
- 208000010340 Sleep Deprivation Diseases 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 210000002565 arteriole Anatomy 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000001736 capillary Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001107 psychogenic effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000008326 skin blood flow Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7228—Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Description
1.内部状態のコントロールの概要
2.内部状態のコントロールの実施形態
2.1.システム構成例
2.2.情報処理装置の機能構成例
2.3.表示装置の機能構成例
2.4.出力制御装置の機能構成例
2.5.内部状態のコントロールの機能詳細
2.5.1.各種の生理指標値
2.5.2.生理指標空間
2.5.3.状態点の変化に応じたフィードバック
2.5.4.メンタルストレッチトレーニング
2.5.5.コンテンツ鑑賞を用いたメンタルストレッチトレーニング
2.5.6.教師なし個人化学習
2.5.7.教師あり個人化学習
2.5.8.メンタルスイッチトレーニング
3.推定器の生成の概要
4.推定器の生成の実施形態
5.ハードウェア構成例
6.むすび
近年、自律神経活動を正常に維持することが重要視されている。例えば、自律神経活動の正常度を診断するための技術が開示されている。また、自律神経活動は、ユーザの内部状態(例えば、集中状態、緊張状態、リラックス状態など)に関与することが知られている。ここで、ユーザが自身の内部状態をある程度コントロールできるようになることは、様々な場面において重要である。まず、内部状態のコントロールの重要性について、具体的な例を挙げて説明する。
[2.1.システム構成例]
続いて、図面を参照しながら、本開示の一実施形態に係る情報処理システムの構成例について説明する。図2は、本開示の一実施形態に係る情報処理システムの構成例を示す図である。図2に示したように、情報処理システム1は、情報処理装置10と、表示装置20と、出力制御装置30とを備える。情報処理装置10と表示装置20とは、有線または無線によって接続可能である。また、情報処理装置10と出力制御装置30とは、有線または無線によって接続可能である。
続いて、本開示の実施形態に係る情報処理装置10の機能構成例について説明する。図3は、本開示の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。図3に示したように、情報処理装置10は、制御部110、操作部120、センサ部130、記憶部140および通信部150を備える。以下、情報処理装置10が備えるこれらの機能ブロックについて説明する。
続いて、本開示の実施形態に係る表示装置20の機能構成例について説明する。図4は、本開示の実施形態に係る表示装置20の機能構成例を示すブロック図である。図4に示したように、表示装置20は、制御部210、操作部220、センサ部230、記憶部240、通信部250および表示部260を備える。以下、表示装置20が備えるこれらの機能ブロックについて説明する。
続いて、本開示の実施形態に係る出力制御装置30の機能構成例について説明する。図5は、本開示の実施形態に係る出力制御装置30の機能構成例を示すブロック図である。図5に示したように、出力制御装置30は、制御部310、操作部320、センサ部330、記憶部340、通信部350および提示部360を備える。以下、出力制御装置30が備えるこれらの機能ブロックについて説明する。
続いて、内部状態のコントロールの機能詳細について説明する。
上記したように、出力制御装置30が有するセンサ部330は、末梢血流センサ、心電センサ、脈拍センサおよび発汗センサの少なくともいずれか一つを含んでよい。また、上記したように、表示装置20が有するセンサ部230は、脳波センサを含んでよい。以下では、これらのセンサによって検出される生理指標値の例を説明する。
このように、出力制御装置30が有するセンサ部330および表示装置20が有するセンサ部230などの生体センサは、それぞれ生体センサに対応する生理指標値を検出し得る。ここで、上記の生理指標値は、交感神経活動反応および副交感神経活動反応の少なくともいずれか一方と相関がある。したがって、1つの生理指標値または複数の生理指標値の組み合わせは、交感神経活性度と副交感神経活性度とを軸とする生理指標空間のいずれかの位置にプロットされ得る。
上記したように、ユーザが自身の内部状態をある程度コントロールできるようになることは、様々な場面において重要である。そこで、本明細書においては、出力制御装置30において、データ取得部311が、センサ部330によって検出された生理指標値を取得し、処理部312が、生理指標値に対応する生理指標空間における状態点を算出する。そして、出力制御部313が、生理指標値に対応する生理指標空間における状態点の変化に応じた出力情報の出力を制御する。
ここで、ユーザが目標とする内部状態は設定されてもよいが設定されなくてもよい。例えば、ユーザの状態点を精度よく算出するための生理指標値が検出されれば、目標とする内部状態は特に設定されなくてもよい。このとき、出力制御部313は、ユーザの内部状態が不適切な内部状態に接近した場合のみ、アラートの出力を制御すればよい。まず、ユーザが目標とする内部状態を設定しない場合について説明する。ユーザが目標とする内部状態を設定しない場合において、どのような出力情報を出力するかは限定されない。
上記においては、ユーザに対して出力情報のみを提示する方法でのメンタルストレッチトレーニングについて説明した。以下では、コンテンツ鑑賞を用いてユーザの多様な内部状態を誘導する場合を主に説明する。例えば、ユーザに視認させるコンテンツを提示することによって、多様な内部状態をユーザが体験することを促す。生理指標値は、コンテンツが出力されている間に生体センサによって検出される。コンテンツの出力によって、多様な内部状態が喚起されやすくなる。
続いて、個人化学習について説明する。まず、時間経過に伴ってユーザの内部状態の複数の状態点が蓄積される。このように蓄積される複数の状態点に対して機械学習が行われれば、ユーザの内部状態の傾向が個人ごとに学習される。そこで、時間経過に伴って蓄積されるユーザの複数の状態点に対する機械学習について説明する。なお、ユーザの複数の状態点に対する機械学習は、必須ではない。ここでは、機械学習の例として教師なしの機械学習について説明する。
上記では、教師なし個人化学習について説明した。すなわち、生理指標空間における複数の状態点が、機械学習によって複数のクラスタに分類される例を説明した。しかし、コンテンツをユーザに鑑賞させることが可能であれば、コンテンツに対して付加されたラベルを教師信号として機械学習を行うことも可能である。このとき、情報処理装置10において、生成部112は、複数のクラスタそれぞれに対して、対応する生理指標値の検出に応じたタイミングに出力されたコンテンツに付加されたラベルを関連付ける。
上記においては、多様な内部状態をコンテンツによって喚起する例を説明した。一方、所望の内部状態間を効率的に遷移することも、ユーザが望むことの一つである。例えば、仕事時間に集中したのちに、休息時間に入り速やかにリラックスしたい場合などがこれにあたる。以下では、このように指定された遷移元状態と遷移先状態との間で内部状態を効率的に切り替える能力を獲得するためのトレーニングを「メンタルスイッチトレーニング」とも言う。ユーザが遷移先状態を指定することの意義を以下に説明する。
生体センサによって検出された生理指標値に基づいて、ユーザの内部状態を推定することが可能である。ユーザの内部状態を推定する推定器としては、以下に説明するような推定器を利用することも可能である。以下では、ユーザの内部状態を推定する推定器の生成の概要を説明する。まず、ウェアラブルデバイスで検出された末梢データを利用して、ユーザの内部状態を推定する場合を想定する。
図26は、本開示の実施形態に係る推定器の生成の例を説明するための図である。まず、図23を参照しながら説明したように、生成部112は、中枢データ52-2(第1の中枢データ)と中枢データ52-2に関連付けられたラベル(例えば、少数ラベルL-3)とに基づいて、高精度内部状態推定器42-1(第1の状態推定器)を生成する。より具体的には、生成部112は、ラベルを第1の教師信号として用い、かつ、中枢データ52-2を第1の入力信号として用いた機械学習によって高精度内部状態推定器42-1を生成する。取得部111は、このように生成された高精度内部状態推定器42-1を取得する。
次に、図28を参照して、本開示の実施形態に係る情報処理装置10のハードウェア構成について説明する。図28は、本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。なお、本開示の実施形態に係る表示装置20および出力制御装置30のハードウェア構成も、図28に示した情報処理装置10のハードウェア構成例と同様にして実現され得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
生体センサに基づく生理指標値に対応する生理指標空間における状態点の変化に応じた出力情報の出力を制御する出力制御部を備える、
出力制御装置。
(2)
前記出力制御部は、前記生理指標空間における現在の状態点を基準とした過去の状態点の分布密度に応じた出力情報の出力を制御する、
前記(1)に記載の出力制御装置。
(3)
前記出力制御部は、前記生理指標空間における状態点の遷移速度に応じた出力情報の出力を制御する、
前記(1)または(2)に記載の出力制御装置。
(4)
前記出力制御部は、前記生理指標空間における状態点の安定度に応じた出力情報の出力を制御する、
前記(1)~(3)のいずれか一項に記載の出力制御装置。
(5)
前記出力制御部は、前記生理指標空間における前記状態点の変化に応じた報酬値を取得し、前記報酬値に応じた前記出力情報の出力を制御する、
前記(1)~(4)のいずれか一項に記載の出力制御装置。
(6)
前記生理指標値は、コンテンツが出力されている間に前記生体センサによって検出される、
前記(1)~(5)のいずれか一項に記載の出力制御装置。
(7)
前記出力制御装置は、
ユーザによる所定の遷移元指定操作が検出された場合、前記遷移元指定操作の検出に応じたタイミングに前記生体センサによって検出された生理指標値に対応する状態点に遷移元状態を示すフラグを関連付ける処理部を備える、
前記(1)~(6)のいずれか一項に記載の出力制御装置。
(8)
前記出力制御部は、前記遷移元状態を示すフラグが関連付けられた状態点と現在の状態点とが所定の関係を満たした場合、現在の内部状態が遷移元状態に達した旨の出力を制御する、
前記(7)に記載の出力制御装置。
(9)
前記出力制御装置は、
ユーザによる所定の遷移先指定操作が検出された場合、前記遷移先指定操作の検出に応じたタイミングに前記生体センサによって検出された生理指標値に対応する状態点に遷移先状態を示すフラグを関連付ける処理部を備える、
前記(1)~(6)のいずれか一項に記載の出力制御装置。
(10)
前記出力制御部は、前記遷移先状態を示すフラグが関連付けられた状態点と現在の状態点とが所定の関係を満たした場合、現在の内部状態が遷移先状態に達した旨の出力を制御する、
前記(9)に記載の出力制御装置。
(11)
前記処理部は、遷移元状態を示すフラグが関連付けられた状態点と前記遷移先状態を示すフラグが関連付けられた状態点とが所定の距離よりも近い場合、前記遷移先状態を示すフラグが関連付けられる状態点を切り替える、
前記(9)または(10)に記載の出力制御装置。
(12)
前記生理指標値は、自律神経活動を反映する生理指標値を含む、
前記(1)~(11)のいずれか一項に記載の出力制御装置。
(13)
前記自律神経活動を反映する生理指標値は、発汗センサ、心電センサ、脈拍センサ、末梢血流センサの少なくともいずれか一つに基づく生理指標値を含む、
前記(12)に記載の出力制御装置。
(14)
前記生理指標値は、中枢神経活動を反映する生理指標値を含む、
前記(1)~(13)のいずれか一項に記載の出力制御装置。
(15)
前記中枢神経活動を反映する生理指標値は、脳波センサに基づく生理指標値を含む、
前記(14)に記載の出力制御装置。
(16)
前記生理指標空間における複数の状態点は、機械学習によって複数のクラスタに分類される、
前記(1)~(15)のいずれか一項に記載の出力制御装置。
(17)
前記複数のクラスタそれぞれに対して、対応する生理指標値の検出に応じたタイミングに出力されたコンテンツに付加されたラベルが関連付けられる、
前記(16)に記載の出力制御装置。
(18)
前記ラベルは、前記コンテンツに対する評価情報に基づいて補正される、
前記(17)に記載の出力制御装置。
(19)
プロセッサにより、生体センサに基づく生理指標値に対応する生理指標空間における状態点の変化に応じた出力情報の出力を制御することを備える、
出力制御方法。
(20)
コンピュータを、
生体センサに基づく生理指標値に対応する生理指標空間における状態点の変化に応じた出力情報の出力を制御する出力制御部を備える、
出力制御装置として機能させるためのプログラム。
(1)
第1の中枢データと前記第1の中枢データに関連付けられたラベルとに基づいて生成された第1の状態推定器を取得する取得部と、
第2の中枢データと前記第1の状態推定器とに基づいて推定されたユーザの状態と末梢データとに基づいて、第2の状態推定器を生成する生成部と、
を備える、情報処理装置。
(2)
前記ラベルは、コンテンツに付加されており、
前記コンテンツが出力されている間に検出された前記第1の中枢データに対して前記ラベルが関連付けられる、
前記(1)に記載の情報処理装置。
(3)
前記コンテンツは、VR(Virtual Reality)を用いて構成されたVRコンテンツを含む、
前記(2)に記載の情報処理装置。
(4)
前記情報処理装置は、
前記第2の中枢データに基づく前記第1の状態推定器の出力と前記末梢データに基づく前記第2の状態推定器による推定結果との関係が所定の条件を満たした場合に、所定の出力情報を出力する出力部を備える、
前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
前記所定の条件は、前記推定結果と前記第2の中枢データに基づく前記第1の状態推定器の出力との誤差が閾値よりも小さいという条件を含む、
前記(4)に記載の情報処理装置。
(6)
前記第2の中枢データと前記末梢データとは、対応するタイミングに検出される、
前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記第1の中枢データに含まれる複数の時間の区間それぞれに対して、二種類以上のラベルのうちのいずれか一つが付加される、
前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記第1の状態推定器は、前記ラベルを第1の教師信号として用い、かつ、前記第1の中枢データを第1の入力信号として用いた機械学習によって生成される、
前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記生成部は、前記ユーザの状態を第2の教師信号として用い、かつ、前記末梢データを第2の入力信号として用いた機械学習によって前記第2の状態推定器を生成する、
前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記生成部は、前記第1の中枢データと前記ラベルとに基づいて、前記第1の状態推定器を生成する、
前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記末梢データは、自律神経活動を反映する生理指標値を含む、
前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
前記自律神経活動を反映する生理指標値は、発汗センサ、心電センサ、脈拍センサ、末梢血流センサの少なくともいずれか一つに基づく生理指標値を含む、
前記(11)に記載の情報処理装置。
(13)
前記第1の中枢データおよび前記第2の中枢データそれぞれは、中枢神経活動を反映する生理指標値を含む、
前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記中枢神経活動を反映する生理指標値は、脳波センサに基づく生理指標値を含む、
前記(13)に記載の情報処理装置。
(15)
プロセッサにより、第1の中枢データと前記第1の中枢データに関連付けられたラベルとに基づいて生成された第1の状態推定器を取得することと、
第2の中枢データと前記第1の状態推定器とに基づいて推定されたユーザの状態と末梢データとに基づいて、第2の状態推定器を生成することと、
を備える、情報処理方法。
(16)
コンピュータを、
第1の中枢データと前記第1の中枢データに関連付けられたラベルとに基づいて生成された第1の状態推定器を取得する取得部と、
第2の中枢データと前記第1の状態推定器とに基づいて推定されたユーザの状態と末梢データとに基づいて、第2の状態推定器を生成する生成部と、
を備える情報処理装置として機能させるためのプログラム。
(1)
生体センサから得られた生理指標値に基づき推定されるユーザの内部状態に関する推定結果に応じて、出力情報の出力を制御する出力制御部を備え、
前記出力制御部は、当該推定結果に応じて、大きさ、色、振動のうち少なくともいずれか1つの態様を変化させるオブジェクトを、前記出力情報として表示するよう制御する、
出力制御装置。
(2)
前記ユーザの状態は、リラックス状態、集中状態、緊張状態の少なくともいずれか1つを含む、
前記(1)に記載の出力制御装置。
(3)
前記出力制御部は、前記ユーザの内部状態の変化の速度に応じて、前記オブジェクトの色を変化させる、
前記(2)に記載の出力制御装置。
(4)
前記出力制御部は、前記ユーザの内部状態の安定度に応じて、前記オブジェクトの振動の態様を変化させる、
前記(2)または(3)に記載の出力制御装置。
(5)
前記出力制御部は、前記ユーザの内部状態に関する推定結果として、前記生理指標値に対応する生理指標空間における状態点の変化を用いて、前記オブジェクトの表示を制御する、
前記(1)~(4)のいずれか一項に記載の出力制御装置。
(6)
前記出力制御部は、前記生理指標空間における現在の状態点を基準とした過去の状態点の分布密度に応じて前記オブジェクトの表示を制御する、
前記(5)に記載の出力制御装置。
(7)
前記生理指標値は、自律神経活動を反映する生理指標値を含む、
前記(1)~(6)のいずれか一項に記載の出力制御装置。
(8)
前記自律神経活動を反映する生理指標値は、発汗センサ、心電センサ、脈拍センサ、末梢血流センサの少なくともいずれか一つに基づく生理指標値を含む、
前記(7)に記載の出力制御装置。
(9)
前記生理指標値は、中枢神経活動を反映する生理指標値を含む、
前記(1)~(8)のいずれか一項に記載の出力制御装置。
(10)
前記中枢神経活動を反映する生理指標値は、脳波センサに基づく生理指標値を含む、
前記(9)に記載の出力制御装置。
(11)
前記出力制御部は、前記生理指標空間における現在の状態点を基準とした過去の状態点の遷移速度に応じて前記オブジェクトの表示を制御する、
前記(5)に記載の出力制御装置。
(12)
前記出力制御部は、前記生理指標空間における現在の状態点を基準とした過去の状態点との安定度に応じて前記オブジェクトの表示を制御する、
前記(5)に記載の出力制御装置。
(13)
プロセッサにより、生体センサから得られた生理指標値に基づき推定されるユーザの内部状態に関する推定結果に応じて、出力情報の出力を制御することを備える出力制御方法であって、
前記制御することは、当該推定結果に応じて、大きさ、色、振動のうち少なくともいずれか1つの態様を変化させるオブジェクトを、前記出力情報として表示するよう制御することを含む、
出力制御方法。
(14)
コンピュータを、
生体センサから得られた生理指標値に基づき推定されるユーザの内部状態に関する推定結果に応じて、出力情報の出力を制御する出力制御部を備える、
出力制御装置として機能させるためのプログラムであって、
前記出力制御部は、当該推定結果に応じて、大きさ、色、振動のうち少なくともいずれか1つの態様を変化させるオブジェクトを、前記出力情報として表示するよう制御する、
プログラム。
10 情報処理装置
110 制御部
111 取得部
112 生成部
113 出力部
120 操作部
130 センサ部
140 記憶部
150 通信部
20 表示装置
210 制御部
220 操作部
230 センサ部
240 記憶部
250 通信部
260 表示部
30 出力制御装置
310 制御部
311 データ取得部
312 処理部
313 出力制御部
320 操作部
330 センサ部
340 記憶部
350 通信部
360 提示部
Claims (12)
- 生体センサから得られた生理指標値に基づき推定されるユーザの内部状態に関する推定結果に応じて、出力情報の出力を制御する出力制御部を備え、
前記出力制御部は、当該推定結果に応じて、大きさ、色、振動のうち少なくともいずれか1つの態様を変化させるオブジェクトを、前記出力情報として表示するよう制御し、
さらに、前記ユーザの内部状態に関する推定結果として、前記生理指標値に対応する生理指標空間における状態点の変化を用いるとともに、前記生理指標空間における現在の状態点を基準とした過去の状態点の遷移速度に応じて前記オブジェクトの表示を制御する、
出力制御装置。 - 前記ユーザの状態は、リラックス状態、集中状態、緊張状態の少なくともいずれか1つを含む、
請求項1に記載の出力制御装置。 - 前記出力制御部は、前記ユーザの内部状態の変化の速度に応じて、前記オブジェクトの色を変化させる、
請求項2に記載の出力制御装置。 - 前記出力制御部は、前記ユーザの内部状態の安定度に応じて、前記オブジェクトの振動の態様を変化させる、
請求項2に記載の出力制御装置。 - 前記出力制御部は、前記生理指標空間における現在の状態点を基準とした過去の状態点の分布密度に応じて前記オブジェクトの表示を制御する、
請求項1に記載の出力制御装置。 - 前記生理指標値は、自律神経活動を反映する生理指標値を含む、
請求項1に記載の出力制御装置。 - 前記自律神経活動を反映する生理指標値は、発汗センサ、心電センサ、脈拍センサ、末梢血流センサの少なくともいずれか一つに基づく生理指標値を含む、
請求項6に記載の出力制御装置。 - 前記生理指標値は、中枢神経活動を反映する生理指標値を含む、
請求項1に記載の出力制御装置。 - 前記中枢神経活動を反映する生理指標値は、脳波センサに基づく生理指標値を含む、
請求項8に記載の出力制御装置。 - 前記出力制御部は、前記生理指標空間における現在の状態点を基準とした過去の状態点との安定度に応じて前記オブジェクトの表示を制御する、
請求項1に記載の出力制御装置。 - プロセッサにより、生体センサから得られた生理指標値に基づき推定されるユーザの内部状態に関する推定結果に応じて、出力情報の出力を制御することを備える出力制御方法であって、
前記制御することは、当該推定結果に応じて、大きさ、色、振動のうち少なくともいずれか1つの態様を変化させるオブジェクトを、前記出力情報として表示するよう制御し、
さらに、前記ユーザの内部状態に関する推定結果として、前記生理指標値に対応する生理指標空間における状態点の変化を用いるとともに、前記生理指標空間における現在の状態点を基準とした過去の状態点の遷移速度に応じて前記オブジェクトの表示を制御することを含む、
出力制御方法。 - コンピュータを、
生体センサから得られた生理指標値に基づき推定されるユーザの内部状態に関する推定結果に応じて、出力情報の出力を制御する出力制御部を備える、
出力制御装置として機能させるためのプログラムであって、
前記出力制御部は、当該推定結果に応じて、大きさ、色、振動のうち少なくともいずれか1つの態様を変化させるオブジェクトを、前記出力情報として表示するよう制御し、
さらに、前記ユーザの内部状態に関する推定結果として、前記生理指標値に対応する生理指標空間における状態点の変化を用いるとともに、前記生理指標空間における現在の状態点を基準とした過去の状態点の遷移速度に応じて前記オブジェクトの表示を制御する、
プログラム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232659 | 2016-11-30 | ||
JP2016232659 | 2016-11-30 | ||
JP2016232514 | 2016-11-30 | ||
JP2016232514 | 2016-11-30 | ||
JP2018553690A JP6930546B2 (ja) | 2016-11-30 | 2017-10-05 | 出力制御装置、出力制御方法およびプログラム |
JP2021131446A JP7207468B2 (ja) | 2016-11-30 | 2021-08-11 | 出力制御装置、出力制御方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021131446A Division JP7207468B2 (ja) | 2016-11-30 | 2021-08-11 | 出力制御装置、出力制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023052235A JP2023052235A (ja) | 2023-04-11 |
JP7364099B2 true JP7364099B2 (ja) | 2023-10-18 |
Family
ID=62242616
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018553690A Active JP6930546B2 (ja) | 2016-11-30 | 2017-10-05 | 出力制御装置、出力制御方法およびプログラム |
JP2021131446A Active JP7207468B2 (ja) | 2016-11-30 | 2021-08-11 | 出力制御装置、出力制御方法およびプログラム |
JP2023000729A Active JP7364099B2 (ja) | 2016-11-30 | 2023-01-05 | 出力制御装置、出力制御方法およびプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018553690A Active JP6930546B2 (ja) | 2016-11-30 | 2017-10-05 | 出力制御装置、出力制御方法およびプログラム |
JP2021131446A Active JP7207468B2 (ja) | 2016-11-30 | 2021-08-11 | 出力制御装置、出力制御方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190274630A1 (ja) |
EP (1) | EP3549630A4 (ja) |
JP (3) | JP6930546B2 (ja) |
CN (1) | CN109982737B (ja) |
WO (1) | WO2018100879A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11132211B1 (en) * | 2018-09-24 | 2021-09-28 | Apple Inc. | Neural finite state machines |
WO2021226726A1 (es) * | 2020-05-13 | 2021-11-18 | Cornejo Acuna Eduardo Alejandro | Sistema que proporciona una intervención o inmersión para la prevención del síndrome de estrés laboral (burnout) y la reducción del ausentismo laboral |
CN117204855B (zh) * | 2023-10-26 | 2024-03-01 | 厚德明心(北京)科技有限公司 | 一种基于交互设备的用户心理状态评估方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004222818A (ja) | 2003-01-21 | 2004-08-12 | Sony Corp | 生理状態誘導装置および生理状態誘導方法 |
JP2007529283A (ja) | 2004-03-18 | 2007-10-25 | ヘリコール・インコーポレーテッド | ストレスを解放するための方法及び装置 |
JP2009082299A (ja) | 2007-09-28 | 2009-04-23 | Toyobo Co Ltd | メンタルトレーニングシステム |
JP2013027570A (ja) | 2011-07-28 | 2013-02-07 | Panasonic Corp | 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0584222A (ja) | 1991-09-25 | 1993-04-06 | Sony Corp | 心拍変動解析装置 |
CN1111121A (zh) * | 1994-08-30 | 1995-11-08 | 中国科学院上海技术物理研究所 | 心电和脉搏信号自适应分析法及其装置 |
JP4096376B2 (ja) * | 1996-07-09 | 2008-06-04 | セイコーエプソン株式会社 | リラックス指導装置 |
US6527700B1 (en) * | 1999-10-29 | 2003-03-04 | Joseph A. Manico | Management of physiological and psychological state of an individual using biophilic images |
US8132117B2 (en) * | 2002-07-08 | 2012-03-06 | Innovative Solutions And Support, Inc. | Method and system for highlighting an image representative of a flight parameter of an aircraft |
NZ554108A (en) * | 2004-12-23 | 2012-04-27 | Resmed Ltd | Apparatus and method of diagnosis of Cheyne-Stokes breathing in a person |
KR20110050403A (ko) * | 2008-04-11 | 2011-05-13 | 다니엘 원철 장 | 뇌 동조를 위한 방법 및 시스템 |
WO2011109716A2 (en) * | 2010-03-04 | 2011-09-09 | Neumitra LLC | Devices and methods for treating psychological disorders |
CN101828921A (zh) * | 2010-06-13 | 2010-09-15 | 天津大学 | 基于视觉诱发脑电vep的身份识别方法 |
US20120194648A1 (en) * | 2011-02-01 | 2012-08-02 | Am Interactive Technology Ltd. | Video/ audio controller |
JP2012161558A (ja) * | 2011-02-09 | 2012-08-30 | Aisin Seiki Co Ltd | 心身状態誘導システム |
EP2698112B1 (en) * | 2012-08-13 | 2019-03-06 | Tata Consultancy Services Limited | Real-time stress determination of an individual |
US9968756B2 (en) * | 2013-06-14 | 2018-05-15 | Industrial Technology Research Institute | Pressure relief apparatus with brain entrainment |
US10321842B2 (en) * | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
KR102324735B1 (ko) * | 2015-01-19 | 2021-11-10 | 삼성전자주식회사 | 생체 정보를 이용하여 적응적 제어가 가능한 웨어러블 장치, 이를 포함하는 시스템, 및 이의 동작 방법 |
-
2017
- 2017-10-05 JP JP2018553690A patent/JP6930546B2/ja active Active
- 2017-10-05 WO PCT/JP2017/036345 patent/WO2018100879A1/ja unknown
- 2017-10-05 EP EP17876936.0A patent/EP3549630A4/en active Pending
- 2017-10-05 CN CN201780072598.7A patent/CN109982737B/zh active Active
- 2017-10-05 US US16/335,047 patent/US20190274630A1/en active Pending
-
2021
- 2021-08-11 JP JP2021131446A patent/JP7207468B2/ja active Active
-
2023
- 2023-01-05 JP JP2023000729A patent/JP7364099B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004222818A (ja) | 2003-01-21 | 2004-08-12 | Sony Corp | 生理状態誘導装置および生理状態誘導方法 |
JP2007529283A (ja) | 2004-03-18 | 2007-10-25 | ヘリコール・インコーポレーテッド | ストレスを解放するための方法及び装置 |
JP2009082299A (ja) | 2007-09-28 | 2009-04-23 | Toyobo Co Ltd | メンタルトレーニングシステム |
JP2013027570A (ja) | 2011-07-28 | 2013-02-07 | Panasonic Corp | 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6930546B2 (ja) | 2021-09-01 |
EP3549630A4 (en) | 2019-11-27 |
JP7207468B2 (ja) | 2023-01-18 |
CN109982737A (zh) | 2019-07-05 |
EP3549630A1 (en) | 2019-10-09 |
JP2021176111A (ja) | 2021-11-04 |
CN109982737B (zh) | 2022-06-28 |
US20190274630A1 (en) | 2019-09-12 |
WO2018100879A1 (ja) | 2018-06-07 |
JP2023052235A (ja) | 2023-04-11 |
JPWO2018100879A1 (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11839473B2 (en) | Systems and methods for estimating and predicting emotional states and affects and providing real time feedback | |
JP7364099B2 (ja) | 出力制御装置、出力制御方法およびプログラム | |
US11815951B2 (en) | System and method for enhanced training using a virtual reality environment and bio-signal data | |
US10901509B2 (en) | Wearable computing apparatus and method | |
US10366778B2 (en) | Method and device for processing content based on bio-signals | |
KR20190027354A (ko) | 비전 성능 데이터를 획득, 분석 및 생성하고 비전 성능 데이터에 기반하여 미디어를 수정하기 위한 방법 및 시스템 | |
US20220028296A1 (en) | Information processing apparatus, information processing method, and computer program | |
JP2016126500A (ja) | ウェアラブル端末装置およびプログラム | |
US20210401337A1 (en) | Systems and methods for estimating and predicting emotional states and affects and providing real time feedback | |
US20120194648A1 (en) | Video/ audio controller | |
JP7288064B2 (ja) | 視覚型仮想エージェント | |
JPWO2018034113A1 (ja) | コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供システム用のプログラム | |
JP2022059140A (ja) | 情報処理装置及びプログラム | |
WO2023286343A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2023152840A (ja) | 情報処理装置及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7364099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |