KR102365118B1 - The biological signal analysis system and biological signal analysis method for operating by the system - Google Patents
The biological signal analysis system and biological signal analysis method for operating by the system Download PDFInfo
- Publication number
- KR102365118B1 KR102365118B1 KR1020180129819A KR20180129819A KR102365118B1 KR 102365118 B1 KR102365118 B1 KR 102365118B1 KR 1020180129819 A KR1020180129819 A KR 1020180129819A KR 20180129819 A KR20180129819 A KR 20180129819A KR 102365118 B1 KR102365118 B1 KR 102365118B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content
- biosignal
- psychological state
- group
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 90
- 230000004044 response Effects 0.000 claims abstract description 10
- 230000036506 anxiety Effects 0.000 claims description 54
- 208000019901 Anxiety disease Diseases 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 43
- 230000000994 depressogenic effect Effects 0.000 claims description 28
- 230000006698 induction Effects 0.000 claims description 17
- 230000007177 brain activity Effects 0.000 claims description 16
- 210000004556 brain Anatomy 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004497 NIR spectroscopy Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000006641 stabilisation Effects 0.000 claims description 9
- 238000011105 stabilization Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 7
- 230000000087 stabilizing effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 10
- 230000000638 stimulation Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 20
- 210000003128 head Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 208000020016 psychiatric disease Diseases 0.000 description 7
- 208000019899 phobic disease Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 206010034912 Phobia Diseases 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000035882 stress Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 206010009244 Claustrophobia Diseases 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000008811 Agoraphobia Diseases 0.000 description 1
- 206010002869 Anxiety symptoms Diseases 0.000 description 1
- 208000032841 Bulimia Diseases 0.000 description 1
- 206010006550 Bulimia nervosa Diseases 0.000 description 1
- 206010012335 Dependence Diseases 0.000 description 1
- 206010054089 Depressive symptom Diseases 0.000 description 1
- 208000021384 Obsessive-Compulsive disease Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 208000013200 Stress disease Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 208000022531 anorexia Diseases 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 239000003181 biological factor Substances 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 206010061428 decreased appetite Diseases 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 208000019906 panic disease Diseases 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/08—Other bio-electrical signals
- A61M2230/10—Electroencephalographic signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/63—Motion, e.g. physical activity
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Physiology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Anesthesiology (AREA)
- Educational Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Dentistry (AREA)
- Business, Economics & Management (AREA)
- Hematology (AREA)
- Acoustics & Sound (AREA)
- Pain & Pain Management (AREA)
- Tourism & Hospitality (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템은 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부, 사용자에게 제공되는 가상현실 컨텐츠에 대응하여 변화되는 사용자의 생체 신호가 측정되는 생체신호측정부, 측정된 생체 신호를 기초로 사용자의 심리 상태가 분석되는 생체신호분석부 및 분석된 사용자의 심리 상태에 따라 컨텐츠제공부에서 제공되는 가상현실 컨텐츠의 카테고리, 자극 레벨 및 제공 주기 중 적어도 어느 하나를 제어하기 위한 프로세서가 포함될 수 있다.A biosignal analysis system according to an embodiment of the present invention provides a content provider that provides virtual reality content to a user through a head mounted display (HMD), and a user who changes in response to virtual reality content provided to the user A category of virtual reality content provided by a bio-signal measurement unit for measuring bio-signals, a bio-signal analysis unit for analyzing a user's psychological state based on the measured bio-signals, and a content providing unit according to the analyzed psychological state of the user; A processor for controlling at least one of the stimulation level and the provision period may be included.
Description
본 발명은 생체 신호 분석 시스템 및 이를 이용한 생체 신호 분석 방법에 관한 것으로, 더욱 상세하게는 사용자에게 가상현실(Virtual Reality) 컨텐츠를 통한 태스크를 수행하고, 뇌전도 신호 및 뇌활성 신호 등의 사용자에 대한 생체 신호를 측정하여, 측정된 결과를 분석함으로써 사용자의 심리 상태가 어떤 상태인지 파악하고, 파악된 사용자의 심리 상태에 맞추어 가상현실 컨텐츠의 종류, 자극 정도 등이 변경됨으로써 사용자 심리 치료가 수행되는 생체 신호 분석 시스템에 관한 것이다.The present invention relates to a biosignal analysis system and a biosignal analysis method using the same, and more particularly, to perform a task through virtual reality content to a user, and to provide a biometric signal to the user such as an EEG signal and brain activity signal. By measuring the signal and analyzing the measured result, the user's psychological state is identified, and the type of virtual reality content and the degree of stimulation are changed according to the identified psychological state of the user, thereby performing user psychological treatment. It is about the analysis system.
현대를 살아가는 사람들 중 우울한 감정을 느끼지 못할 정도로 바쁘게 살아가는 사람들도 많고, 때로는 본인 또는 가족이 우울증임에도 불구하고 우울증인지도 모르고 혹은 우울증이 어떠한 증세를 호소하는지도 몰라서 방치하고 있는 경우도 존재한다.Among people living in modern times, there are many people who live so busy that they do not feel depressed emotions, and sometimes even though they or their family are depressed, they do not know whether they are depressed or what symptoms they are complaining about, so they are neglected.
이러한 우울증 등 각종 정신 질환은 생물학적 요인뿐 아니라 심리적 혹은 사회적인 요인이 복합적으로 작용하여 발생되는 경우가 대부분이며, 이러한 복합적으로 발생되는 정신 질환을 치료하기 위한 다양한 방법들이 제시되고 있다.Various mental disorders such as depression are most often caused by a combination of psychological or social factors as well as biological factors, and various methods for treating these complexly occurring mental disorders are suggested.
그 중, 가상현실(VR: Virtual Reality)은 상기 정신 질환 중에서 고소공포증이나 밀실공포증 등의 공포증을 겪고 있는 사람의 치료를 위해서 사용되고 있는 추세이다. 즉, 겪고 있는 공포감을 조성하는 상황 혹은 물건 등에 사람이 노출되도록 하여 그 상황 속에서 스스로 벗어나려고 노력하는 훈련을 하는 것이다.Among them, virtual reality (VR) is a trend that is being used for the treatment of a person suffering from a phobia, such as phobia of heights or claustrophobia, among the above mental disorders. In other words, by exposing a person to a situation or object that creates a feeling of fear, he trains himself to try to get out of the situation.
그러나 정신질환 치료를 위해 가상현실을 이용함에 있어서 치료의 경과를 판단하기가 어려워 향후 치료 계획을 수정하거나 치료 방법을 바꾸는 등의 적절한 대응 및 부작용을 발견하기 어려운 실정이다.However, in using virtual reality for the treatment of mental disorders, it is difficult to judge the progress of treatment, so it is difficult to find appropriate responses and side effects such as modifying future treatment plans or changing treatment methods.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은 사용자의 심리 상태를 측정하기 위하여 기능적 근적외선 분광법, 뇌전도 측정 및 가속도 센싱을 통해 정확한 생체 신호 측정이 가능하고자 함에 그 목적이 있다.The present invention has been devised to solve the above problems, and the present invention aims to enable accurate biosignal measurement through functional near-infrared spectroscopy, electroencephalogram measurement, and acceleration sensing to measure the user's psychological state. .
또한, 스피어만 상관 계수(Spearman correlation coefficient)를 이용하여 사용자의 심리 상태가 분류되도록 하여 구체적인 심리 상태 분석 방법을 제공하고자 한다.In addition, it is intended to provide a specific psychological state analysis method by allowing the user's psychological state to be classified using a Spearman correlation coefficient.
본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.The technical objects to be achieved in the present invention are not limited to the matters mentioned above, and other technical problems not mentioned are to those of ordinary skill in the art to which the present invention pertains from the embodiments of the present invention to be described below. can be considered by
본 발명의 일 실시 예로써, 생체 신호 분석 시스템이 제공될 수 있다.As an embodiment of the present invention, a biosignal analysis system may be provided.
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템은 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부, 사용자에게 제공되는 가상현실 컨텐츠에 대응하여 변화되는 사용자의 생체 신호가 측정되는 생체신호측정부, 측정된 생체 신호를 기초로 사용자의 심리 상태가 분석되는 생체신호분석부 및 분석된 사용자의 심리 상태에 따라 컨텐츠제공부에서 제공되는 가상현실 컨텐츠의 카테고리, 자극 레벨 및 제공 주기 중 적어도 어느 하나를 제어하기 위한 프로세서가 포함될 수 있다.A biosignal analysis system according to an embodiment of the present invention provides a content provider that provides virtual reality content to a user through a head mounted display (HMD), and a user who changes in response to virtual reality content provided to the user A category of virtual reality content provided by a bio-signal measurement unit for measuring bio-signals, a bio-signal analysis unit for analyzing a user's psychological state based on the measured bio-signals, and a content providing unit according to the analyzed psychological state of the user; A processor for controlling at least one of the stimulation level and the provision period may be included.
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템의 생체신호측정부에는 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram)를 측정하기 위한 뇌전도 센싱 모듈, 기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 사용자의 뇌 활성 신호를 측정하기 위한 뇌 활성 신호 센싱 모듈 및 사용자의 두부(頭部)의 움직임 정보를 획득하기 위한 가속도 센싱 모듈이 더 포함될 수 있다.In the biosignal measurement unit of the biosignal analysis system according to an embodiment of the present invention, an electroencephalogram sensing module for measuring an electroencephalogram (EEG) generated from the user's brain, functional near-infrared spectroscopy (fNIRS) A brain activity signal sensing module for measuring a user's brain activity signal using
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템의 뇌 활성 신호 센싱 모듈에는 사용자의 뇌로 근적외선을 방출하기 위한 근적외선 방출 모듈 및 근적외선 방출 모듈로부터 방출되어 사용자의 뇌를 투과한 근적외선을 검출하기 위한 근적외선 검출 모듈이 더 포함되고, 헤드 마운티드 디스플레이(HMD)에는 사용자의 두부에 착용되기 위한 착용부가 더 포함되며, 착용부에서 사용자의 두부와 접촉되는 소정의 위치에는 적어도 하나의 근적외선 방출 모듈, 근적외선 검출 모듈, 뇌전도 센싱 모듈 및 가속도 센싱 모듈이 소정의 형태로 배치될 수 있다.In the brain activity signal sensing module of the biosignal analysis system according to an embodiment of the present invention, a near-infrared emitting module for emitting near-infrared rays to the user's brain and near-infrared detection for detecting near-infrared rays emitted from the near-infrared emitting module and transmitted through the user's brain A module is further included, and the head mounted display (HMD) further includes a wearing part to be worn on the user's head, and at a predetermined position in the wearing part in contact with the user's head, at least one near-infrared emitting module, a near-infrared detection module, The electroencephalogram sensing module and the acceleration sensing module may be arranged in a predetermined shape.
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템에 있어서, 가상현실 컨텐츠의 카테고리에는 사용자의 설문 데이터에 기초한 가상의 시나리오가 제공됨으로써 사용자의 심리 상태 요인을 파악하기 위한 진단용컨텐츠, 사용자의 심리 상태를 안정시키게 하기 위한 안정용컨텐츠 및 사용자로 하여금 스스로 심리 상태 요인을 인지할 수 있도록 하기 위한 유도용컨텐츠가 더 포함될 수 있다.In the biosignal analysis system according to an embodiment of the present invention, a virtual scenario based on the user's questionnaire data is provided in the virtual reality content category to determine the user's psychological state factor and diagnostic content for identifying the user's psychological state. Stability content for stabilization and content for induction for allowing the user to recognize the psychological state factor by themselves may be further included.
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템의 컨텐츠제공부에서는 사용자에 대하여 진단용컨텐츠가 먼저 제공되고, 프로세서는 진단용컨텐츠에 대응하여 측정된 사용자의 생체 신호를 기초로 생체신호분석부에서 분석된 사용자의 심리 상태에 따라 컨텐츠제공부에서 안정용컨텐츠 및 유도용컨텐츠 중 어느 하나로 컨텐츠의 카테고리를 변경하여 제공하도록 제어할 수 있다.In the content providing unit of the biosignal analysis system according to an embodiment of the present invention, diagnostic content is first provided to the user, and the processor analyzes the biosignal analysis unit based on the user's biosignal measured in response to the diagnostic content. According to the psychological state of the user, the content providing unit may control the content to be provided by changing the category of the content to any one of stable content and induction content.
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템은 사용자 이외의 타 사용자들에 대하여 미리 측정된 생체 신호들이 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이이터베이스 중 어느 하나에 각각 분류되어 저장되어 있는 데이터저장부가 더 포함되고, 생체신호분석부에서는 스피어만 상관 계수(Spearman correlation coefficient)를 이용하여 사용자의 심리 상태가 우울군, 불안군 및 정상군 중 어느 하나로 분류되고, 데이터저장부에는 사용자의 분류된 심리 상태에 따라 사용자의 측정된 생체 신호가 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 중 어느 하나에 저장될 수 있다.In the biosignal analysis system according to an embodiment of the present invention, biosignals measured in advance for other users other than the user are classified and stored in any one of the depressed group database, the anxious group database, and the normal group database. A data storage unit is further included, the biosignal analysis unit classifies the user's psychological state into any one of a depressed group, an anxiety group, and a normal group using a Spearman correlation coefficient, and the data storage unit classifies the user's According to the changed psychological state, the user's measured bio-signals may be stored in any one of a depressed group database, an anxious group database, and a normal group database.
본 발명의 일 실시 예로써, 생체 신호 분석 시스템을 이용한 생체 신호 분석 방법이 제공될 수 있다.As an embodiment of the present invention, a biosignal analysis method using a biosignal analysis system may be provided.
본 발명의 일 실시 예에 따른 생체 신호 분석 방법은 (a) 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 단계, (b) 사용자에게 제공되는 가상현실 컨텐츠에 대응하여 변화되는 사용자의 생체 신호가 측정되는 단계, (c) 측정된 생체 신호를 기초로 사용자의 심리 상태가 분석되는 단계 및 (d) 분석된 사용자의 심리 상태에 따라 (a) 단계에서 제공되는 가상현실 컨텐츠의 카테고리, 자극 레벨 및 제공 주기 중 적어도 어느 하나가 제어되는 단계가 포함될 수 있다.A biosignal analysis method according to an embodiment of the present invention responds to (a) providing virtual reality content to a user through a head mounted display (HMD), (b) responding to virtual reality content provided to the user The step of measuring the changed user's bio-signal, (c) analyzing the user's psychological state based on the measured bio-signal, and (d) the virtual provided in step (a) according to the analyzed psychological state of the user The step of controlling at least one of a category of real content, a stimulus level, and a provision period may be included.
본 발명의 일 실시 예에 따른 생체 신호 분석 방법에 있어서, 가상현실 컨텐츠의 카테고리에는 사용자의 설문 데이터에 기초한 가상의 시나리오가 제공됨으로써 사용자의 심리 상태 요인을 파악하기 위한 진단용컨텐츠, 사용자의 심리 상태를 안정시키게 하기 위한 안정용컨텐츠 및 사용자로 하여금 스스로 심리 상태 요인을 인지할 수 있도록 하기 위한 유도용컨텐츠가 더 포함될 수 있다.In the biosignal analysis method according to an embodiment of the present invention, a virtual scenario based on the user's questionnaire data is provided in the virtual reality content category to determine the user's psychological state factor and diagnostic content for identifying the user's psychological state. Stability content for stabilization and content for induction for allowing the user to recognize the psychological state factor by themselves may be further included.
본 발명의 일 실시 예에 따른 생체 신호 방법의 (a) 단계에서는 사용자에 대하여 진단용컨텐츠가 먼저 제공되고, (d) 단계에서는 진단용컨텐츠에 대응하여 측정된 사용자의 생체 신호를 기초로 (c) 단계에서 분석된 사용자의 심리 상태에 따라 (a) 단계에서 제공되는 가상현실 컨텐츠가 안정용컨텐츠 및 유도용컨텐츠 중 어느 하나로 변경되어 제공되도록 제어될 수 있다.In step (a) of the biosignal method according to an embodiment of the present invention, diagnostic content is first provided to the user, and in step (d), based on the user's biosignal measured in response to the diagnostic content, step (c) According to the psychological state of the user analyzed in (a), the virtual reality content provided in step (a) may be controlled to be changed to any one of stable content and induction content to be provided.
본 발명의 일 실시 예에 따른 생체 신호 방법에는 (e) 사용자 이외의 타 사용자들에 대하여 미리 측정된 생체 신호들이 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 중 어느 하나에 각각 분류되어 저장되어 있는 단계가 더 포함되고, (c) 단계에서는 스피어만 상관 계수(Spearman correlation coefficient)를 이용하여 사용자의 심리 상태가 우울군, 불안군 및 정상군 중 어느 하나로 분류되고, (e) 단계에서는 사용자의 분류된 심리 상태에 따라 사용자의 측정된 생체 신호가 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 중 어느 하나에 저장될 수 있다.In the biosignal method according to an embodiment of the present invention, (e) biosignals measured in advance for other users other than the user are classified and stored in any one of a depression group database, an anxiety group database, and a normal group database. A step is further included, and in step (c), the user's psychological state is classified into any one of a depression group, an anxiety group, and a normal group using a Spearman correlation coefficient, and in step (e), the user's classification According to the changed psychological state, the user's measured bio-signals may be stored in any one of a depressed group database, an anxious group database, and a normal group database.
한편, 본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공될 수 있다.Meanwhile, as an embodiment of the present invention, a computer-readable recording medium in which a program for implementing the above-described method is recorded may be provided.
이와 같이 본 발명의 생체신호분석부에서 분류된 사용자의 심리 상태에 따라 가상현실 컨텐츠의 내용, 자극 정도 등이 조절되어 제공되도록 하여 사용자의 심리 상태를 대폭 개선할 수 있다.As described above, the psychological state of the user can be significantly improved by adjusting the contents of virtual reality content, the degree of stimulation, etc. according to the psychological state of the user classified by the biosignal analysis unit of the present invention.
본 발명의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 발명의 실시 예들에 대한 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명을 실시함에 따른 의도하지 않은 효과들 역시 본 발명의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.Effects that can be obtained in the embodiments of the present invention are not limited to the above-mentioned effects, and other effects not mentioned are common knowledge in the art to which the present invention pertains from the description of the embodiments of the present invention below. It can be clearly derived and understood by those who have That is, unintended effects of practicing the present invention may also be derived by a person of ordinary skill in the art from the embodiments of the present invention.
도 1은 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템을 나타낸 블록도이다.
도 3은 본 발명에서 사용되는 기능적 근적외선 분광법(fNIRS)을 통해 사용자의 뇌 활성 신호가 측정되는 상태를 나타낸 예시도이다.
도 4는 헤드 마운티드 디스플레이(HMD)에 본 발명의 생체신호측정부의 센싱 모듈들이 배치된 상태를 나타낸 예시도이다.
도 5는 본 발명의 생체신호분석부에서 스피어만 상관 계수(Spearman correlation coefficient)를 이용하여 사용자의 심리 상태가 분류되는 과정을 나타낸 순서도이다.
도 6a 내지 도 6d는 본 발명의 일 실시 예에 따른 생체신호분석부에서 우울 또는 불안의 경감지수 또는 인지지수가 도출되는 과정을 나타낸 블록도이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템을 이용한 생체 신호 분석 방법을 나타낸 순서도이다.1 is an exemplary diagram illustrating a biosignal analysis system according to an embodiment of the present invention.
2 is a block diagram illustrating a biosignal analysis system according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a state in which a user's brain activity signal is measured through functional near-infrared spectroscopy (fNIRS) used in the present invention.
4 is an exemplary diagram illustrating a state in which sensing modules of the biosignal measurement unit of the present invention are disposed on a head mounted display (HMD).
5 is a flowchart illustrating a process in which a user's psychological state is classified using a Spearman correlation coefficient in the biosignal analysis unit of the present invention.
6A to 6D are block diagrams illustrating a process of deriving a depression or anxiety alleviation index or a cognitive index in the biosignal analysis unit according to an embodiment of the present invention.
7 and 8 are flowcharts illustrating a biosignal analysis method using a biosignal analysis system according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. . In addition, throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being connected "with another element in the middle".
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 일 실시 예로써, 생체 신호 분석 시스템이 제공될 수 있다.As an embodiment of the present invention, a biosignal analysis system may be provided.
도 1은 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템을 나타낸 예시도이고, 도 2는 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템을 나타낸 블록도이다.1 is an exemplary diagram illustrating a biosignal analysis system according to an embodiment of the present invention, and FIG. 2 is a block diagram illustrating a biosignal analysis system according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템은 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부(100), 사용자에게 제공되는 가상현실 컨텐츠에 대응하여 변화되는 사용자의 생체 신호가 측정되는 생체신호측정부(200), 측정된 생체 신호를 기초로 사용자의 심리 상태가 분석되는 생체신호분석부(300) 및 분석된 사용자의 심리 상태에 따라 컨텐츠제공부(100)에서 제공되는 가상현실 컨텐츠의 카테고리, 자극 레벨 및 제공 주기 중 적어도 어느 하나를 제어하기 위한 프로세서(400)가 포함될 수 있다.1 and 2 , the biosignal analysis system according to an embodiment of the present invention includes a
즉, 본 발명의 생체 신호 분석 시스템은 사용자에게 가상현실(Virtual Reality) 컨텐츠를 통한 태스크를 수행하고, 뇌전도 신호 및 뇌활성 신호 등의 사용자에 대한 생체 신호를 측정하여, 측정된 결과를 분석함으로써 사용자의 심리 상태가 어떤 상태인지 파악하고, 파악된 사용자의 심리 상태에 맞추어 가상현실 컨텐츠의 종류, 자극 정도 등이 변경됨으로써 사용자 심리 치료가 수행될 수 있다.That is, the biosignal analysis system of the present invention performs a task through virtual reality content to the user, measures the biosignal for the user, such as an EEG signal and a brain activity signal, and analyzes the measured result. The user's psychological treatment can be performed by identifying the psychological state of the user and changing the type of virtual reality content, the degree of stimulation, etc. in accordance with the identified psychological state of the user.
본 발명에서 '사용자'란 심리적 불안 혹은 우울 증세 등 정신 질환을 호소하는 환자뿐만 아니라, 상기와 같은 정신 질환을 겪고 있지는 않지만 스트레스 등의 정신적 압박을 겪고 있거나 자신의 심리 상태를 분류하고자 하는 일반인도 포함될 수 있다. 즉, 본 발명의 생체 신호 분석 시스템은 정신질환을 겪는 환자를 대상으로 하는 의료 시스템 혹은 치료 시스템이 아니라, 개인의 생체 현상을 측정 및 분석하거나 일상건강관리를 위해 의료 정보를 제공하기 위한 건강관리 시스템 또는 웰니스(wellness) 시스템에 해당될 수 있다.In the present invention, the term 'user' includes not only patients complaining of mental disorders such as psychological anxiety or depressive symptoms, but also the general public who do not suffer from the above mental disorders but are experiencing mental pressure such as stress or want to classify their psychological state. can That is, the biosignal analysis system of the present invention is not a medical system or a treatment system for a patient suffering from a mental illness, but a health management system for measuring and analyzing an individual's biological phenomenon or providing medical information for daily health management Alternatively, it may correspond to a wellness system.
본 발명의 일 실시 예에 따른 컨텐츠제공부(100)에서는 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는데, 상기 헤드 마운티드 디스플레이(HMD)는 안경처럼 착용하여 영상을 표시할 수 있는 모니터를 칭하는 것으로 본 발명의 도면에 도시된 헤드 마운티드 디스플레이(20) 형태에 제한되지 않고 다양한 형태로 형성될 수 있다. 가상현실 컨텐츠는 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 컨텐츠를 칭할 수 있으며, 상기 가상현실 컨텐츠는 현실의 이미지나 배경에 3차원 가상의 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(AR: Augmented Reality) 컨텐츠도 포함될 수 있다.In the
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템에 있어서, 가상현실 컨텐츠의 카테고리에는 사용자의 설문 데이터에 기초한 가상의 시나리오가 제공됨으로써 사용자의 심리 상태 요인을 파악하기 위한 진단용컨텐츠(101), 사용자의 심리 상태를 안정시키게 하기 위한 안정용컨텐츠(102) 및 사용자로 하여금 스스로 심리 상태 요인을 인지할 수 있도록 하기 위한 유도용컨텐츠(103)뿐만 아니라 상기 진단용컨텐츠(101), 안정용컨텐츠(102) 및 유도용컨텐츠(103)가 모두 결합된 통합컨텐츠가 더 포함될 수 있다.In the biosignal analysis system according to an embodiment of the present invention, a virtual scenario based on the user's questionnaire data is provided in the virtual reality content category to determine the user's psychological state factor by providing
상기 진단용컨텐츠(101)에는 예를 들어 'Holmes-Rahe Life Stress Inventory'에 기반하여 사용자에게 스트레스를 유발할 수 있는 사건들 혹은 환경적인 요인들을 가상현실 컨텐츠를 통해 사용자가 체험할 수 있도록 하기 위한 컨텐츠가 포함될 수 있다. In the
또한, 상기 안정용컨텐츠(102)에는 사용자의 스트레스를 완화시키거나 사용자의 심리 상태를 안정시키게 하기 위한 자연 감상 컨텐츠, 공연 감상 컨텐츠, 레저 체험 컨텐츠 등 가상현실 컨텐츠로 표현할 수 있는 컨텐츠는 모두 포함될 수 있으며, 그 종류에는 제한이 없다. 예를 들어, 상기 자연 감상 컨텐츠에는 바다, 강, 숲, 초원 등 자연 경관을 사용자로 하여금 감상할 수 있도록 하기 위한 자연 감상 컨텐츠를 제공할 수 있다. 상기 자연 감상 컨텐츠는 가상현실에 기반을 둔 것으로 사용자로 하여금 실제로 바다 위, 숲 속 등을 날아다니는 것처럼 입체감 및 현실감을 느끼도록 할 수 있다. 또한, 자연 감상 컨텐츠는 가상현실 영상에 맞추어 바람 소리, 파도 소리 등 자연음향이 함께 제공될 수 있다. 상기 공연 감상 컨텐츠를 통해서 사용자의 긴장을 완화시키거나 사용자의 심리 안정을 위한 공연을 가상현실을 통해 체험하도록 할 수 있다. 상기 공연 감상 컨텐츠에는 오케스트라, 콘서트, 연주회, 마술 공연 등 다양한 공연의 감상을 위한 가상현실 컨텐츠가 포함될 수 있다. 또한, 상기 상기 레저 체험 컨텐츠에는 패러글라이딩, 스쿠버다이빙, 스노쿨링 등 다양한 가상현실 레저 컨텐츠가 포함될 수 있다.In addition, the content for
상기 유도용컨텐츠(103)에는 사용자 스스로 우울이나 불안의 요인을 인지하여 사용자 자신을 객관적으로 바라볼 수 있도록 유도가 가능한 컨텐츠가 포함될 수 있다. 즉, 외부 환경적 요인이나 유전, 노화, 트라우마 등 내부 환경적 요인은 물론 신체적, 심리적이든 사용자의 우울 혹은 불안을 일으키는 요인을 인지하여 이를 치유하기 위하여 사용자로 하여금 적극적으로 참여하도록 하기 위한 컨텐츠가 포함될 수 있다.The content for induction 103 may include content that can induce the user to objectively look at himself/herself by recognizing factors of depression or anxiety. In other words, content to encourage users to actively participate in recognizing factors that cause depression or anxiety, whether physical or psychological, as well as external environmental factors or internal environmental factors such as genetics, aging, trauma, etc. can
본 발명의 컨텐츠제공부(100)에서는 헤드 마운티드 디스플레이(HMD)와 함께 모션의자가 함께 사용되어 사용자에게 가상현실 컨텐츠가 제공될 수 있다. 즉, 모션의자는 상기 가상현실 컨텐츠와 동기화(Synchronization)되어 사용자로 하여금 가상현실 공간에서 실제 현장(Ex. 자연, 공연장 등)에서 보고 느끼는 체험을 전달하도록 할 수 있으며, 이를 위해 모션의자에는 모션의자의 다양한 움직임을 위한 액츄에이터부(Actuator module)가 포함될 수 있다. 상기 액츄에이터부는 모션의자가 전후축(x축) 회전운동 하도록 하기 위한 롤(roll), 수평축(y축) 회전운동 하도록 하기 위한 피치(pitch), 상하축(z축) 회전운동 하도록 하기 위한 요우(yaw), 전후축(x축) 앞뒤 왕복운동을 위한 서지(surge), 수평축(y축) 좌우 왕복운동을 위한 스웨이(sway) 및 상하축(z축) 위아래 왕복운동을 위한 히브(heave) 동작으로 구동되도록 할 수 있다. 뿐만 아니라 모션의자는 VR컨텐츠에 맞추어 진동(vibration)하도록 할 수 있다. 즉, 본 발명의 일 실시 예에 따른 모션의자는 가상현실 컨텐츠의 각 장면에 맞게 모션의자가 롤(roll), 피치(pitch), 요우(yaw), 서지(surge), 스웨이(sway), 히브(heave) 및 진동(vibration) 등의 동작을 함으로써 컨텐츠와 동기화되어 구동될 수 있다.In the
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템의 생체신호측정부(200)에는 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram)를 측정하기 위한 뇌전도 센싱 모듈(210), 기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 사용자의 뇌 활성 신호를 측정하기 위한 뇌 활성 신호 센싱 모듈(220) 및 사용자의 두부(頭部)의 움직임 정보를 획득하기 위한 가속도 센싱 모듈(230)이 더 포함될 수 있다.In the
상기 뇌전도 센싱 모듈(210)에서 뇌전도(EEG)는 사람의 대뇌에서 일어나는 전위변동 또는 상기 전위변동으로 인한 뇌전류(brain current)를 두피(頭皮) 상에서 유도하여 기록한 전기기록도에 해당될 수 있다. 상기 뇌전도 센싱 모듈(210)에는 복수개의 뇌전도 채널(225) 및 노이즈(noise)의 영향을 최소화하기 위한 신호증폭기 및 필터가 더 포함될 수 있다.The electroencephalogram (EEG) in the
상기 뇌 활성 신호 센싱 모듈(220)에서는 기능성 근적외선 분광법(fNIRS)을 사용하는데, 여기서 기능성 근적외선 분광법(fNIRS)은 650nm-950nm의 근적외선 영역에서의 산화 헤모글로빈과 탈산화 헤모글로빈의 흡수율 차이를 이용하여 국부적인 뇌 활성 신호가 추출될 수 있는 생체 신호 측정법을 지칭할 수 있다. 즉, 기능적 근적외선 분광법(fNIRS)을 통해 근적외선 흡수율에 따른 혈류산소포화도를 통해 뇌의 뉴런 활동 및 뇌 활동에 대한 혈류학적 정보의 획득이 가능하다.The brain activity
상기 가속도 센싱 모듈(230)은 사용자의 두부의 움직임 정보를 기초로 상기 뇌 활성 신호 센싱 모듈(220) 및 뇌전도 센싱 모듈(210)의 움직임으로 인한 신호 보정에 사용될 수 있다. 즉, 가속도 센싱 모듈(230)을 통해 뇌 활성 신호 및 뇌전도 신호가 더욱 정확하게 측정될 수 있다.The
이외에도, 사용자의 생체 신호(Ex. 맥박, 혈압, 피부전도도, 습도 등)를 측정하기 위한 다양한 생체 신호 센싱 모듈들이 본 발명의 생체신호측정부(200)에 더 포함될 수 있다.In addition, various bio-signal sensing modules for measuring the user's bio-signals (eg, pulse, blood pressure, skin conductivity, humidity, etc.) may be further included in the
도 3은 본 발명에서 사용되는 기능적 근적외선 분광법(fNIRS)을 통해 사용자의 뇌 활성 신호가 측정되는 상태를 나타낸 예시도이고, 도 4는 헤드 마운티드 디스플레이(HMD)에 본 발명의 생체신호측정부(200)의 센싱 모듈들이 배치된 상태를 나타낸 예시도이다.3 is an exemplary diagram illustrating a state in which a user's brain activity signal is measured through functional near-infrared spectroscopy (fNIRS) used in the present invention, and FIG. 4 is a
도 3 및 도 4를 참조하면, 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템의 뇌 활성 신호 센싱 모듈(220)에는 사용자의 뇌로 근적외선을 방출하기 위한 근적외선 방출 모듈(221) 및 근적외선 방출 모듈(221)로부터 방출되어 사용자의 뇌를 투과한 근적외선을 검출하기 위한 근적외선 검출 모듈(222)이 더 포함되고, 헤드 마운티드 디스플레이(HMD)에는 사용자의 두부에 착용되기 위한 착용부(21)가 더 포함되며, 착용부(21)에서 사용자의 두부와 접촉되는 소정의 위치에는 적어도 하나의 근적외선 방출 모듈(221), 근적외선 검출 모듈(222), 뇌전도 센싱 모듈(210) 및 가속도 센싱 모듈(230)이 소정의 형태로 배치될 수 있다.3 and 4, the brain activity
상기 헤드 마운티드 디스플레이(HMD)는 다양한 형태로 형성될 수 있음은 전술한 바와 같다. 마찬가지로, 사용자의 두부에 착용되어 두부에 헤드 마운티드 디스플레이(20)가 고정되도록 하기 위한 헤드 마운티드 디스플레이(HMD)의 착용부(21)도 밴드(band), 헬멧 형태 등 다양한 형태로 형성될 수 있다. 도 4를 참조하면, 상기 착용부(21)는 사용자의 뒤통수를 감싸는 밴드부 및 상기 밴드부의 일 부분으로부터 사용자 두부의 정수리를 거쳐 헤드 마운티드 디스플레이(HMD)의 사용자에게 가상현실 컨텐츠가 제공되는 디스플레이부의 일 부분까지 연장되도록 형성될 수 있다. As described above, the head mounted display HMD may be formed in various shapes. Similarly, the wearing
상기 착용부(21)에서 사용자의 두부와 접촉되는 소정의 위치에는 적어도 하나의 근적외선 방출 모듈(221), 근적외선 검출 모듈(222), 뇌전도 센싱 모듈(210) 및 가속도 센싱 모듈(230)이 소정의 형태로 배치될 수 있다. 상기 소정의 위치는 사용자의 두부 중 상기 근적외선 방출 모듈(221) 및 근적외선 검출 모듈(222)이 사용자의 전두엽 영역으로부터 뇌 활성 신호를 추출할 수 있도록 하기 위한 위치가 포함될 수 있다.At least one near-infrared
도 4를 참조하면, 상기 헤드 마운티드 디스플레이(20)의 착용부(21)의 일 부분에 본 발명의 생체신호측정부(200)의 근적외선 방출 모듈(221), 근적외선 검출 모듈(222) 및 뇌전도 채널(225)이 소정 형태로 배치되어 있다.Referring to FIG. 4 , a near-infrared
구체적으로, 근적외선 방출 모듈(221)과 근적외선 검출 모듈(222)은 서로 교차적으로 배치가 되어 두 개의 선을 이루고 있다. 즉, 근적외선 방출 모듈(221)과 근적외선 검출 모듈(222)이 하나씩 번갈아가면서 배치된 두 개의 선이 있고, 상기 두 개의 선 각각에서 근적외선 방출 모듈(221) 및 근적외선 검출 모듈(222)은 서로 엇갈리게 배치되어 있다. 다시 말하면, 도 4에 점선으로 형성된 사각형의 배치모듈(25)이 도시되어 있는데, 도시된 배치모듈(25) 상에는 근적외선 방출 모듈(221) 및 근적외선 검출 모듈(222)이 교차적으로 배치되어 같은 모듈끼리 대각선 상에 위치하도록 배치되어 있다. 또한, 뇌전도 채널(225)은 상기 두 개의 선 가운데에 일정 간격을 두고 배치되어 있다.Specifically, the near-infrared
전술한 배치모듈(25)을 기초로 빛이 조사되는 과정에 대하여 살펴본다. 하나의 배치모듈(25)에는 두 개의 근적외선 방출 모듈(221) 및 두 개의 근적외선 검출 모듈(222)이 포함되어 있다. 각 근적외선 방출 모듈(221)에서는 근적외선 파장만 방출되는 것이 아니라 적외선이 포함된 파장 영역의 듀얼 파장이 방출될 수 있다. 즉, 근적외선 방출 모듈(221)에서는 적외선 파장(λ1) 및 근적외선 파장(λ2) 모두 방출될 수 있다. 상기 근적외선 방출 모듈(221)에서는 적외선 파장(λ1)이 방출되고 근적외선 파장(λ2)이 방출될 수 있다. 예를 들면, 도 4의 배치모듈(25) 상에서 근적외선 방출 모듈(L1, L2)로부터 빛이 조사되는 순서는 'L1(λ1) -> L1(λ2) -> L2(λ1) -> L2(λ2) -> Dark -> L1(λ1) -> ...' 또는 'L1(λ1) -> L1(λ2) -> L2(λ1) -> L2(λ2) -> L1(λ1) -> L1(λ2) -> L2(λ1) -> L2(λ2) -> Dark -> L1(λ1) -> ...'와 같이 방출될 수 있다. 근적외선 검출 모듈(D1, D2)는 'Dark'인 경우를 제외하고 근적외선 방출 모듈(L1 및 L2)로부터 방출된 빛을 검출할 수 있다. 즉, 근적외선 방출 모듈(221)로부터 빛이 방출되지 않은 경우(Dark) 근적외선 검출 모듈(222)에서는 빛을 검출할 수 없다. 본 발명의 생체신호측정부(200)에서 근적외선 방출 모듈(221), 근적외선 검출 모듈(222) 및 뇌전도 채널(225)의 배치 형태는 도 4에 제한되지 않으며, 배치 간격도 다양하게 정해질 수 있다.A process of irradiating light based on the above-described
다음으로, 본 발명의 생체신호분석부(300)에서 측정된 생체 신호를 기초로 사용자의 심리 상태가 분석되는 과정을 살펴본다.Next, a process in which the user's psychological state is analyzed based on the bio-signals measured by the
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템에서 생체신호분석부(300)를 통해서 사용자의 심리 상태는 입력된 사용자의 생체 신호를 기초로 신경망(Ex. CNN, RNN, LSTM 등), Logistic 회귀분석법, 판단 트리(Decision Tree) 분석, 주성분 분석(Principle component Analysis), 상관 분석(correlation coefficient) 등 다양한 분석방법을 통해서 분석될 수 있다.In the biosignal analysis system according to an embodiment of the present invention, the user's psychological state through the
본 발명의 생체신호분석부(300)의 상기와 같은 분석을 통해 사용자의 심리 상태는 정상, 우울 및 불안뿐만 아니라, 광장 공포증, 비행 공포증, 폐쇄 공포증, 고소 공포증, 공황 장애, 정신 분열증, 외상 후 스트레스 장애, 중독증, 불면증, 거식증, 폭식증, 강박증 등 다양한 심리 상태로 분류될 수 있지만, 이하에서는 정상, 우울 및 불안의 크게 3가지로 구분되는 것을 전제로 설명한다. Through the above analysis of the
도 5는 본 발명의 생체신호분석부(300)에서 스피어만 상관 계수(Spearman correlation coefficient)를 이용하여 사용자의 심리 상태가 분류되는 과정을 나타낸 순서도이다.5 is a flowchart illustrating a process in which a user's psychological state is classified using a Spearman correlation coefficient in the
도 5를 참조하면, 본 발명의 일 실시 예에 따른 생체 신호 분석 시스템은 사용자 이외의 타 사용자들에 대하여 미리 측정된 생체 신호들이 우울군 데이터베이스(510), 불안군 데이터베이스(520) 및 정상군 데이이터베이스 중 어느 하나에 각각 분류되어 저장되어 있는 데이터저장부(500)가 더 포함되고, 생체신호분석부(300)에서는 스피어만 상관 계수(Spearman correlation coefficient)를 이용하여 사용자의 심리 상태가 우울군, 불안군 및 정상군 중 어느 하나로 분류되고, 데이터저장부(500)에는 사용자의 분류된 심리 상태에 따라 사용자의 측정된 생체 신호가 우울군 데이터베이스(510), 불안군 데이터베이스(520) 및 정상군 데이터베이스(530) 중 어느 하나에 저장될 수 있다.Referring to FIG. 5 , in the biosignal analysis system according to an embodiment of the present invention, the biosignals measured in advance for other users other than the user are displayed in the
이하에서는 도 5를 참조하여, 본 발명의 생체신호분석부(300)에서 스피어만 상관계수를 이용하여 사용자의 심리 상태가 분류되는 과정에 대하여 살펴본다.Hereinafter, with reference to FIG. 5 , a process in which a user's psychological state is classified using the Spearman correlation coefficient in the
여기서, 스피어만 상관 계수(Spearman correlation coefficient)는 상관 계수를 계산할 두 데이터의 실제 값 대신 두 값의 순위(rank)를 사용하여 상관 계수를 계산하는 방식에 해당될 수 있다.Here, the Spearman correlation coefficient may correspond to a method of calculating the correlation coefficient using the rank of two values instead of the actual values of the two data for which the correlation coefficient is to be calculated.
먼저, 생체신호분석부(300)에서는 미리 측정된 생체신호 데이터가 분류되어 저장되어 있는 정상군 데이터베이스(530), 우울군 데이터베이스(510) 및 불안군 데이터베이스(520)로부터 소정의 개수(n)만큼의 샘플들이 임으로 추출(S310)될 수 있다. 상기에서 정상군 데이터베이스(530)로부터 임의로 추출된 샘플 집합을 DN(i), 불안군 데이터베이스(520)로부터 임의로 추출된 샘플 집합을 DF(i) 및 우울군 데이터베이스(510)로부터 임의로 추출된 샘플 집합을 DD(i)로 설정될 수 있다. 또한, 각 군별 데이터의 기준값에 해당되는 문턱값이 설정될 수 있는데, 정상군 데이터베이스(530)의 문턱값은 Nth, 우울군 데이터베이스(510)의 문턱값은 Dth 및 불안군 데이터베이스(520)의 문턱값은 Fth로 설정(S310)될 수 있다. 즉, 상기 문턱값 Nth, Dth, Fth은 유의수준의 문턱값을 의미하는 것으로, 일반적으로 통계적 유의수준의 값(Ex. 0.01, 0.05 등)이 사용될 수 있다. 다만, 상기 값들은 예시적인 것일 뿐이므로 이에 제한되지 않는다. 또한, 각 군별 평균 문턱값도 mNth, mDth mFth로 설정될 수 있다. 상기 평균 문턱값 mNth, mDth mFth은 각 군별 상관계수의 문턱치를 의미하는 것으로 상관성의 유무를 가리기 위한 값으로 상기 상관계수의 문턱치는 각 군별 데이터베이스에 저장된 상관계수의 분포를 정규화하였을 때 해당되는 다양한 값(Ex. 0.3 등)들이 채택될 수 있다. 여기에서 i는 1부터 n까지의 정수 중 하나의 값에 해당된다(이하 동일). First, in the
상기와 같이 샘플이 추출되고, 문턱값이 설정된 이후에 생체신호분석부(300)에서는 각 군별 샘플들 사이의 스피어만 상관계수 집합이 계산(S320)될 수 있다. 즉, DN(i)의 정상군 데이터베이스(530)의 샘플들 사이에서 스피어만 상관계수 집합을 rDN(i,j), DF(i)의 불안군 데이터베이스(520)의 샘플들 사이에서 스피어만 상관계수 집합을 rDF(i,j), DD(i)의 우울군 데이터베이스(510)의 샘플들 사이에서 스피어만 상관계수 집합을 rDD(i,j)로 구해질 수 있다. 여기에서 j는 1부터 n까지의 정수 중 하나의 값에 해당된다(이하 동일). 또한, 상기 i와 j는 서로 다른 값을 가지는 정수에 해당된다.After the sample is extracted and the threshold value is set as described above, the
다음으로, 스피어만 상관계수 집합으로부터 평균 값 및 표준편차 값이 계산(S321)될 수 있다. 즉, 본 발명의 생체신호분석부(300)에서는 정상군 상관계수 집합 rDN(i,j) 의 상관계수 값들의 평균 값을 mrDN, 표준편차 값을 srDN으로 계산될 수 있다. 마찬가지로, 우울군 상관계수 집합 rDD(i,j) 의 상관계수 값들의 평균 값을 mrDD, 표준편차 값을 srDD으로 계산될 수 있다. 불안군 상관계수 집합 rDF(i,j) 의 상관계수 값들의 평균 값을 mrDF, 표준편차 값을 srDF으로 계산될 수 있다.Next, an average value and a standard deviation value may be calculated from the Spearman correlation coefficient set ( S321 ). That is, in the
상기 과정(S320-S321)은 생체신호측정부(200)로부터 측정된 사용자 데이터 DU에 대하여 동일하게 적용되는데, 구체적으로 사용자 데이터 DU와 추출된 각 군별 샘플집합과의 스피어만 상관계수 집합이 계산(S330)될 수 있다. 즉, 생체신호분석부(300)에서는 사용자 데이터 DU와 정상군 데이터베이스(530)의 샘플집합 DN(i)과의 스피어만 상관계수 집합을 RDN(i), 사용자 데이터 DU와 우울군 데이터베이스(510) DD(i)의 샘플집합과의 스피어만 상관계수 집합을 RDD(i), 사용자 데이터 DU와 불안군 데이터베이스(520)의 샘플집합 DF(i)과의 스피어만 상관계수 집합을 RDF(i)로 계산될 수 있다. 또한, 스피어만 상관계수 집합으로부터 평균 값 및 표준편차 값이 계산(S331)될 수 있다. 즉, 본 발명의 생체신호분석부(300)에서는 사용자 데이터 DU와 정상군 데이터베이스(530)의 상관계수 집합 RDN(i) 의 상관계수 값들의 평균 값을 mRDN, 표준편차 값을 sRDN으로 계산될 수 있다. 마찬가지로, 사용자 데이터 DU와 우울군 데이터베이스(510)의 상관계수 집합 RDD(i) 의 상관계수 값들의 평균 값을 mRDD, 표준편차 값을 sRDD으로 계산될 수 있다. 사용자 데이터 DU와 불안군 데이터베이스(520)의 상관계수 집합 RDF(i) 의 상관계수 값들의 평균 값을 mRDF, 표준편차 값을 sRDF으로 계산될 수 있다.The above processes (S320-S321) are equally applied to the user data DU measured by the
다음으로, 상기 평균 값인 mRDN, mRDF, mRDD 각각이 샘플집합 간 상관계수 집합 rDN(i,j), rDD(i,j), rDF(i,j) 각각와의 유의수준이 계산(S340)될 수 있다. 즉, mRDN 값과 rDN(i,j), rDD(i,j), rDF(i,j) 와의 유의수준은 각각 pNN, pND, pNF로 계산되고, mRDD 값과 rDN(i,j), rDD(i,j), rDF(i,j) 와의 유의수준은 각각 pDN, pDD, pDF로 계산되며, mRDF 값과 rDN(i,j), rDD(i,j), rDF(i,j) 와의 유의수준은 각각 pFN, pFD, pFF로 계산될 수 있다.Next, the significance level of each of the average values of mRDN, mRDF, and mRDD with each of the correlation coefficient sets rDN(i,j), rDD(i,j), and rDF(i,j) between the sample sets can be calculated (S340) there is. That is, the significance levels of mRDN value and rDN(i,j), rDD(i,j), and rDF(i,j) are calculated as pNN, pND, and pNF, respectively, and mRDD value and rDN(i,j), rDD The significance level of (i,j) and rDF(i,j) is calculated as pDN, pDD, and pDF, respectively, and the significance level of mRDF value and rDN(i,j), rDD(i,j) The significance level can be calculated as pFN, pFD, and pFF, respectively.
상기와 같이 유의수준이 계산된 후에 본 발명의 생체신호분석부(300)에서는 측정된 사용자 데이터 DU가 정상군, 불안군 및 우울군 중 어느 군에 속하게 되는지 분류(S350)될 수 있다.After the significance level is calculated as described above, the
구체적으로, 도 5와 함께 살펴보면 pNN이 Nth보다 크고, pNF가 Fth보다 작으며, pND가 Dth보다 작고, mRDN이 mNth보다 큰 값을 가진다면(조건 1: pNN > Nth & pNF < Fth & pND < Dth & mRDN > mNth) 사용자 데이터 DU는 정상군에 속하는 것으로 분류(S351)될 수 있다. 즉, 상기 조건 1의 'pNN > Nth'는 사용자의 데이터는 정상군과 비교해서 유의한 차이가 없음을 의미한다. 또한, 조건 1의 'mRDN > mNth'는 정상군 상관계수 집합의 평균 값이 정상군 상관계수의 문턱치보다 크다는 것을 의미한다. 다만, 상기 조건 1 중 어느 조건도 만족하지 못한다면 불안군 및 우울군 중 어느 군에 속하는지 판단된다. 즉, pFF이 Fth보다 크고, pFN가 Nth보다 작으며, pFD가 Dth보다 작고, mRDF이 mFth보다 큰 값을 가진다면(조건 2: pFF > Fth & pFN < Nth & pFD < Dth & mRDF > mFth) 사용자 데이터 DU는 불안군에 속하는 것으로 판단(S352)된다. 다만, 상기 조건 2 중 어느 조건도 만족하지 못한다면 우울군에 속하는지 판단된다. 즉, pDD이 Dth보다 크고, pDN가 Nth보다 작으며, pDF가 Fth보다 작고, mRDD이 mDth보다 큰 값을 가진다면(조건 3: pDD > Dth & pDN < Nth & pDF < Fth & mRDD > mDth) 사용자 데이터 DU는 우울군에 속하는 것으로 판단(S353)된다. 다만, 상기 조건 3 중 어느 조건도 만족하지 못한다면 사용자 데이터 DU는 정상군에 속하는 것으로 분류될 수 있다.Specifically, when viewed together with FIG. 5, if pNN is greater than N th , pNF is less than F th , pND is less than D th , and mRDN has a value greater than mN th (Condition 1: pNN > N th & pNF) < F th &pND < D th & mRDN > mN th ) The user data DU may be classified as belonging to a normal group ( S351 ). That is, 'pNN > N th ' of
다만, 도 5와 같이 단순히 사용자 데이터가 정상군, 우울군 및 불안군 중 어느 군에 속하는지뿐만 아니라 우울군 및 불안군 중 어느 군에 속하는 경우에는 우울 또는 불안의 요인별로 등급을 나누어 세분화될 수 있다. 즉, 본 발명의 생체신호분석부(300)에서는 사용자 데이터 DU가 불안군에 속하는 것으로 판단된 경우에는 mRDF가 mrDF 보다 큰 값을 가진다면(mRDF > mrDF) 불안 1급, mRDF가 mrDF에 srDF를 더한 값보다 큰 값을 가진다면(mRDF > mrDF + srDF) 불안 2급, mRDF가 mrDF에 2*srDF를 더한 값보다 큰 값을 가진다면(mRDF > mrDF + 2*srDF) 불안 3급으로 불안등급까지 세분화되어 분류될 수 있다. 여기에서 불안 1급에서 불안 3급으로 갈수록 불안 정도가 심한 것으로 판단될 수 있다. 본 발명의 생체신호분석부(300)에서는 사용자 데이터 DU가 불안군에 속하는 것으로 판단된 경우에도 상기와 마찬가지로 세분화 분류가 가능하다. 즉, mRDD가 mrDD 보다 큰 값을 가진다면(mRDD > mrDD) 우울 1급, mRDD가 mrDD에 srDD를 더한 값보다 큰 값을 가진다면(mRDD > mrDD + srDD) 우울 2급, mRDD가 mrDD에 2*srDD를 더한 값보다 큰 값을 가진다면(mRDD > mrDD + 2*srDD) 우울 3급으로 불안등급까지 세분화되어 분류될 수 있다. 여기에서 우울 1급에서 우울 3급으로 갈수록 우울 정도가 심한 것으로 판단될 수 있다.However, as shown in FIG. 5, when the user data belongs not only to which group of the normal group, the depressed group, and the anxiety group, but also the depressed group and the anxiety group, it can be subdivided by classifying by factors of depression or anxiety. there is. That is, when the
상기와는 달리, 본 발명의 생체신호분석부(300)에서는 사용자 데이터가 우울군 혹은 불안군에 속하는 것으로 판단된 경우에 우울 혹은 불안 정도가 경감하는 정도인 경감 변화율에 따라서 사용자의 심리 상태가 더욱 구체적으로 분류될 수 있다. 즉, 본 발명의 생체 신호 분석 시스템에서 사용자는 가상현실 컨텐츠로써 진단용컨텐츠(101)를 체험한 후 사용자 심리 상태를 파악한 이후에 안정용컨텐츠(102) 또는 유도용컨텐츠(103)를 체험하고(여기까지 과정이 1SET), 이후에 다시 진단용컨텐츠(101)를 체험한 뒤 사용자 심리 상태를 파악하는 과정이 반복될 수 있다. 상기 반복되는 과정에서 사용자의 우울 또는 불안 정도가 경감되었는지가 파악될 수 있다.Unlike the above, in the
예를 들어, 사용자가 X번의 SET를 경험한다고 가정한다. 즉, 진단용컨텐츠(101) 체험 후 사용자 심리 상태가 분류되고 안정용컨텐츠(102)가 체험되는 과정이 X번 반복된다면 사용자의 우울 또는 불안 정도가 경감된 정도를 본 발명의 생체신호분석부(300)에서 판단될 수 있다.For example, assume that the user experiences X SETs. That is, if the user's psychological state is classified after experiencing the
도 6a 내지 도 6d는 본 발명의 일 실시 예에 따른 생체신호분석부(300)에서 우울 또는 불안의 경감지수 또는 인지지수가 도출되는 과정을 나타낸 블록도이다.6A to 6D are block diagrams illustrating a process of deriving a depression or anxiety alleviation index or a cognitive index in the
먼저, 도 6a 및 도 6b를 참조하면, 본 발명의 생체신호분석부(300)에서는 i차 SET 체험시 i+1차 체험시에 비해 우울 또는 불안 정도가 얼마나 변화되었는지 아래의 수학식 1과 같이 판단될 수 있다. 아래의 수학식 1에서는 불안 정도를 기초로 판단하였는데, 우울 정도를 판단하는 과정도 동일하게 수행될 수 있다.First, referring to FIGS. 6A and 6B , in the
[수학식 1][Equation 1]
상기 수학식 1에서 mRDF(i)는 i차 SET 체험 후 mRDF 값을 나타내고, 
[수학식 2][Equation 2]
상기 수학식 2에 따른 경감지수에 따라 사용자의 심리 상태가 본 발명의 생체 신호 분석 시스템을 통해 변화되는 정도가 파악될 수 있다. 경감지수가 큰 값일수록 본 발명의 생체 신호 분석 시스템을 통해 사용자의 우울 또는 불안 정도가 많이 경감된 것으로 판단될 수 있다. 즉, 안정용컨텐츠(102)를 통해 사용자의 심리 상태가 우울 또는 불안으로부터 안정되는 상태로 변화되고 있는 것으로 판단될 수 있다.According to the mitigation index according to
또한, 도 6c 및 도 6d를 참조하면, 사용자가 본 발명의 생체 신호 분석 시스템을 사용하여 스스로 불안 또는 우울의 요인을 찾아 치유하고자 하는 정도를 나타내는 인지지수를 도출하는 과정이 나타나 있다. 다만, 인지지수를 도출하는 과정은 상기 경감지수를 도출하는 과정과 동일한 방법에 따라 수행되므로, 이하에서 별도의 설명은 생략하였다.In addition, referring to FIGS. 6C and 6D , a process of deriving a cognitive index indicating the degree to which a user intends to find and heal anxiety or depression factors on their own using the biosignal analysis system of the present invention is shown. However, since the process of deriving the cognitive index is performed according to the same method as the process of deriving the relief index, a separate description is omitted below.
추가적으로, 본 발명의 일 실시 예에 따른 생체신호분석부(300)에는 입력된 사용자의 생체 신호가 1차적으로 고속 퓨리에 변환(FFT: Fast Fourier Transform)을 이용하여 필터링 과정이 수행되는 전처리부(미도시), 상기 전처리부에서 필터링된 생체 신호에 대한 추가적인 노이즈 필터링이 수행되는 노이즈필터링부(미도시) 및 시계열적(Ex. 제 1 상황, 제 2상황 ?? 제 n 상황 등)으로 입력되어 상기 생체신호분석부에서 상관관계 분석 등의 방법에 의해 분류된 생체 신호에 대하여 상황 별 유의성 지수가 계산되는 상황별유의성지수계산부(미도시)가 더 포함될 수 있다.Additionally, in the
상기 전처리부(미도시)에서는 사용자의 측정된 생체 신호 별 퓨리에 변환을 이용하여 주파수 영역에서 저주파 필터(LPF: Low Pass Filter), 고주파 필터(HPF: High Pass Filter) 등 주파수 필터링 과정을 통해 생체 신호 주파수 이외의 성분이 필터링될 수 있다.The preprocessor (not shown) uses a Fourier transform for each biosignal measured by the user to perform a frequency filtering process such as a low-pass filter (LPF) and a high-pass filter (HPF) in the frequency domain to process the biosignal. Components other than the frequency may be filtered out.
상기 노이즈필터링부(미도시)에서는 전처리된 생체 신호에 대하여 독립 성분 분석(ICA: Independent Component Analysis)와 같은 성분 분석 알고리즘을 이용하여 생체 신호에 추가적으로 포함될 수 있는 노이즈(noise)가 필터링될 수 있다.In the noise filtering unit (not shown), noise that may be additionally included in the biosignal may be filtered by using a component analysis algorithm such as Independent Component Analysis (ICA) with respect to the preprocessed biosignal.
상기 상황별유의성지수계산부(미도시)에서는 시계열적 상황 별 생체 신호에 대하여 제트 스코어(z-score) 계산을 통해 각 상황 별 유의성 지수가 계산될 수 있는데, 상기 계산된 상황 별 유의성 지수의 값이 작을수록 해당 상황과의 유의성 정도가 높은 것으로 판단될 수 있다.The significance index calculator for each situation (not shown) may calculate a significance index for each situation by calculating a z-score with respect to a biosignal for each time-series situation. The value of the calculated significance index for each situation It can be determined that the smaller the value, the higher the degree of significance with the corresponding situation.
본 발명의 일 실시 예에 따른 생체 신호 분석 시스템의 컨텐츠제공부(100)에서는 사용자에 대하여 진단용컨텐츠(101)가 먼저 제공되고, 프로세서(400)는 진단용컨텐츠(101)에 대응하여 측정된 사용자의 생체 신호를 기초로 생체신호분석부(300)에서 분석된 사용자의 심리 상태에 따라 컨텐츠제공부(100)에서 안정용컨텐츠(102) 및 유도용컨텐츠(103) 중 어느 하나로 컨텐츠의 카테고리를 변경하여 제공하도록 제어할 수 있다.In the
즉, 전술한 바와 같이 진단용컨텐츠(101)가 사용자에게 제공된 후 생체신호측정부(200)에서 사용자의 생체 신호를 측정하고, 측정된 신호를 기초로 사용자의 심리 상태가 생체신호분석부(300)에서 분석되며, 분석된 사용자의 심리 상태를 토대로 피드백함으로써 제공될 컨텐츠의 종류가 안정용컨텐츠(102) 혹은 유도용컨텐츠(103)로 변경될 수 있다. That is, as described above, after the
본 발명의 일 실시 예로써, 생체 신호 분석 시스템을 이용한 생체 신호 분석 방법이 제공될 수 있다.As an embodiment of the present invention, a biosignal analysis method using a biosignal analysis system may be provided.
본 발명의 일 실시 예에 따른 생체 신호 분석 방법은 (a) 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 단계, (b) 사용자에게 제공되는 가상현실 컨텐츠에 대응하여 변화되는 사용자의 생체 신호가 측정되는 단계, (c) 측정된 생체 신호를 기초로 사용자의 심리 상태가 분석되는 단계 및 (d) 분석된 사용자의 심리 상태에 따라 (a) 단계에서 제공되는 가상현실 컨텐츠의 카테고리, 자극 레벨 및 제공 주기 중 적어도 어느 하나가 제어되는 단계가 포함될 수 있다.A biosignal analysis method according to an embodiment of the present invention responds to (a) providing virtual reality content to a user through a head mounted display (HMD), (b) responding to virtual reality content provided to the user The step of measuring the changed user's bio-signal, (c) analyzing the user's psychological state based on the measured bio-signal, and (d) the virtual provided in step (a) according to the analyzed psychological state of the user The step of controlling at least one of a category of real content, a stimulus level, and a provision period may be included.
본 발명의 일 실시 예에 따른 생체 신호 분석 방법에 있어서, 가상현실 컨텐츠의 카테고리에는 사용자의 설문 데이터에 기초한 가상의 시나리오가 제공됨으로써 사용자의 심리 상태 요인을 파악하기 위한 진단용컨텐츠(101), 사용자의 심리 상태를 안정시키게 하기 위한 안정용컨텐츠(102) 및 사용자로 하여금 스스로 심리 상태 요인을 인지할 수 있도록 하기 위한 유도용컨텐츠(103)가 더 포함될 수 있다.In the biosignal analysis method according to an embodiment of the present invention, a virtual scenario based on the user's questionnaire data is provided in the virtual reality content category to determine the user's psychological state factor by providing
본 발명의 일 실시 예에 따른 생체 신호 방법의 (a) 단계에서는 사용자에 대하여 진단용컨텐츠(101)가 먼저 제공되고, (d) 단계에서는 진단용컨텐츠(101)에 대응하여 측정된 사용자의 생체 신호를 기초로 (c) 단계에서 분석된 사용자의 심리 상태에 따라 (a) 단계에서 제공되는 가상현실 컨텐츠가 안정용컨텐츠(102) 및 유도용컨텐츠(103) 중 어느 하나로 변경되어 제공되도록 제어될 수 있다.In step (a) of the biosignal method according to an embodiment of the present invention, the
본 발명의 일 실시 예에 따른 생체 신호 방법에는 (e) 사용자 이외의 타 사용자들에 대하여 미리 측정된 생체 신호들이 우울군 데이터베이스(510), 불안군 데이터베이스(520) 및 정상군 데이터베이스(530) 중 어느 하나에 각각 분류되어 저장되어 있는 단계가 더 포함되고, (c) 단계에서는 스피어만 상관 계수(Spearman correlation coefficient)를 이용하여 사용자의 심리 상태가 우울군, 불안군 및 정상군 중 어느 하나로 분류되고, (e) 단계에서는 사용자의 분류된 심리 상태에 따라 사용자의 측정된 생체 신호가 우울군 데이터베이스(510), 불안군 데이터베이스(520) 및 정상군 데이터베이스(530) 중 어느 하나에 저장될 수 있다.In the biosignal method according to an embodiment of the present invention, (e) biosignals measured in advance for other users other than the user are selected from among the
본 발명의 일 실시예에 따른 시스템의 동작 방법과 관련하여서는 전술한 시스템에 대한 내용이 적용될 수 있다. 따라서, 방법과 관련하여, 전술한 시스템에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.Regarding the operating method of the system according to an embodiment of the present invention, the contents of the above-described system may be applied. Accordingly, in relation to the method, descriptions of the same contents as those of the above-described system are omitted.
한편, 본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공될 수 있다.Meanwhile, as an embodiment of the present invention, a computer-readable recording medium in which a program for implementing the above-described method is recorded may be provided.
또한, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.In addition, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. In addition, the structure of the data used in the above-described method may be recorded in a computer-readable medium through various means. A recording medium recording an executable computer program or code for performing various methods of the present invention should not be construed as including temporary objects such as carrier waves or signals. The computer-readable medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optically readable medium (eg, a CD-ROM, a DVD, etc.).
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
20 : 헤드 마운티드 디스플레이 21 : 착용부
25 : 배치모듈
100 : 컨텐츠제공부 101 : 진단용컨텐츠
102 : 안정용컨텐츠 122 : 유도용컨텐츠
200 : 생체신호측정부 210 : 뇌전도 센싱 모듈
220 : 뇌 활성 신호 센싱 모듈 221 : 근적외선 방출 모듈
222 : 근적외선 검출 모듈 225 : 뇌전도 채널
230 : 가속도 센싱 모듈
300 : 생체신호분석부 400 : 프로세서
500 : 데이터저장부 510 : 우울군 데이터베이스
520 : 불안군 데이터베이스 530 : 정상군 데이터베이스20: head mounted display 21: wearing part
25: batch module
100: content providing unit 101: diagnostic content
102: content for stability 122: content for induction
200: bio-signal measurement unit 210: electroencephalogram sensing module
220: brain activity signal sensing module 221: near-infrared emission module
222: near-infrared detection module 225: electroencephalogram channel
230: acceleration sensing module
300: biosignal analysis unit 400: processor
500: data storage unit 510: depressed group database
520: anxiety group database 530: normal group database
Claims (11)
헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부;
상기 사용자에게 제공되는 가상현실 컨텐츠에 대응하여 변화되는 상기 사용자의 생체 신호가 측정되는 생체신호측정부;
상기 측정된 생체 신호를 기초로 상기 사용자의 심리 상태가 분석되는 생체신호분석부;
상기 분석된 사용자의 심리 상태에 따라 상기 컨텐츠제공부에서 제공되는 가상현실 컨텐츠의 카테고리, 자극 레벨 및 제공 주기 중 적어도 어느 하나를 제어하기 위한 프로세서; 및
상기 사용자 이외의 타 사용자들에 대하여 미리 측정된 생체 신호들이 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 중 어느 하나에 각각 분류되어 저장되어 있는 데이터저장부;를 포함하고,
상기 생체신호분석부는,
상기 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스의 기준 스피어만 상관계수 집합을 산출하고,
상기 사용자의 생체신호와 상기 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 사이의 사용자 스피어만 상관계수 집합을 각각 산출하며, 상기 사용자 스피어만 상관계수 집합의 평균을 산출하고,
상기 기준 스피어만 상관계수의 집합과 상기 사용자 스피어만 상관계수 집합의 평균 사이의 유의수준을 각각 산출하고,
상기 유의수준을 기준으로 상기 사용자의 생체신호가 정상군, 우울군 및 불안군 중 어느 군에 속하는지 분류하며,
상기 생체신호측정부에는 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram)를 측정하기 위한 뇌전도 센싱 모듈;
기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 상기 사용자의 뇌 활성 신호를 측정하기 위한 뇌 활성 신호 센싱 모듈; 및
상기 사용자의 두부(頭部)의 움직임 정보를 획득하기 위한 가속도 센싱 모듈;이 더 포함되고,
상기 뇌 활성 신호 센싱 모듈에는 사용자의 뇌로 근적외선을 방출하기 위한 근적외선 방출 모듈; 및
상기 근적외선 방출 모듈로부터 방출되어 사용자의 뇌를 투과한 근적외선을 검출하기 위한 근적외선 검출 모듈;이 더 포함되고,
상기 헤드 마운티드 디스플레이(HMD)에는 상기 사용자의 정수리에 착용되기 위한 착용부;가 더 포함되며,
상기 착용부에서 상기 사용자의 두부와 접촉되는 소정의 위치에는 적어도 하나의 상기 근적외선 방출 모듈, 근적외선 검출 모듈, 뇌전도 센싱 모듈 및 가속도 센싱 모듈이 소정의 형태로 배치되는 것을 특징으로 하는 생체 신호 분석 시스템.
In the biosignal analysis system,
a content providing unit that provides virtual reality content to a user through a head mounted display (HMD);
a bio-signal measuring unit for measuring the user's bio-signal that is changed in response to the virtual reality content provided to the user;
a bio-signal analysis unit analyzing the psychological state of the user based on the measured bio-signals;
a processor for controlling at least one of a category, a stimulus level, and a provision period of the virtual reality content provided by the content providing unit according to the analyzed psychological state of the user; and
A data storage unit in which bio-signals previously measured for other users other than the user are classified and stored in any one of a depression group database, an anxiety group database, and a normal group database;
The biosignal analysis unit,
Calculating the reference Spearman correlation coefficient set of the depression group database, the anxiety group database and the normal group database,
Calculating a set of user Spearman correlation coefficients between the user's biosignal and the depression group database, the anxiety group database, and the normal group database, respectively, and calculating the average of the user Spearman correlation coefficient set,
Calculate the significance level between the set of the reference Spearman correlation coefficient and the average of the user Spearman correlation coefficient set, respectively,
Classifying which group the user's biosignal belongs to among a normal group, a depression group, and an anxiety group based on the significance level,
The biosignal measuring unit includes an electroencephalogram sensing module for measuring an electroencephalogram (EEG) generated from the user's brain;
a brain activity signal sensing module for measuring the user's brain activity signal using functional near-infrared spectroscopy (fNIRS); and
An acceleration sensing module for acquiring movement information of the user's head; further included;
The brain activation signal sensing module includes a near-infrared emitting module for emitting near-infrared to the user's brain; and
A near-infrared detection module for detecting near-infrared radiation emitted from the near-infrared emitting module and passing through the user's brain; further included;
The head mounted display (HMD) further includes a wearing part to be worn on the user's crown;
At least one of the near-infrared emitting module, the near-infrared detection module, the electroencephalogram sensing module, and the acceleration sensing module are arranged in a predetermined shape at a predetermined position in the wearing part in contact with the user's head.
상기 가상현실 컨텐츠의 카테고리에는 상기 사용자의 설문 데이터에 기초한 가상의 시나리오가 제공됨으로써 상기 사용자의 심리 상태 요인을 파악하기 위한 진단용컨텐츠, 상기 사용자의 심리 상태를 안정시키게 하기 위한 안정용컨텐츠 및 상기 사용자로 하여금 스스로 심리 상태 요인을 인지할 수 있도록 하기 위한 유도용컨텐츠가 더 포함되는 생체 신호 분석 시스템.
The method of claim 1,
In the category of the virtual reality content, a virtual scenario based on the user's questionnaire data is provided, so that diagnostic content for identifying factors of the user's psychological state, stabilizing content for stabilizing the user's psychological state, and allowing the user A biosignal analysis system that further includes content for induction to enable self-recognition of psychological state factors.
상기 컨텐츠제공부에서는 상기 사용자에 대하여 상기 진단용컨텐츠가 먼저 제공되고,
상기 프로세서는 상기 진단용컨텐츠에 대응하여 측정된 상기 사용자의 생체 신호를 기초로 상기 생체신호분석부에서 분석된 사용자의 심리 상태에 따라 상기 컨텐츠제공부에서 상기 안정용컨텐츠 및 유도용컨텐츠 중 어느 하나로 상기 컨텐츠의 카테고리를 변경하여 제공하도록 제어하는 생체 신호 분석 시스템.
5. The method of claim 4,
In the content providing unit, the diagnostic content is first provided to the user,
The processor converts the content into any one of the content for stabilization and the content for induction by the content providing unit according to the psychological state of the user analyzed by the biosignal analysis unit based on the user's biosignal measured in response to the diagnostic content. A biosignal analysis system that controls to provide by changing the category of
상기 데이터저장부는 상기 사용자의 분류된 심리 상태에 따라 상기 사용자의 생체 신호가 상기 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 중 어느 하나에 저장되는 것을 특징으로 하는 생체 신호 분석 시스템.
The method of claim 1,
The data storage unit is a biosignal analysis system, characterized in that the user's biosignal is stored in any one of the depressed group database, the anxiety group database, and the normal group database according to the classified psychological state of the user.
(a) 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 단계;
(b) 상기 사용자에게 제공되는 가상현실 컨텐츠에 대응하여 변화되는 상기 사용자의 생체 신호가 측정되는 단계;
(c) 상기 측정된 생체 신호를 기초로 상기 사용자의 심리 상태가 분석되는 단계; 및
(d) 상기 분석된 사용자의 심리 상태에 따라 상기 (a) 단계에서 제공되는 가상현실 컨텐츠의 카테고리, 자극 레벨 및 제공 주기 중 적어도 어느 하나가 제어되는 단계;를 포함하고,
상기 (c)단계는,
(c1) 상기 사용자 이외의 타 사용자들에 대하여 미리 측정된 생체 신호들이 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 중 어느 하나에 각각 분류되어 저장되고, 상기 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스의 기준 스피어만 상관계수 집합을 산출하는 단계;
(c2) 상기 사용자의 생체신호와 상기 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 사이의 사용자 스피어만 상관계수 집합을 각각 산출하고, 상기 사용자 스피어만 상관계수 집합의 평균을 각각 산출하는 단계;
(c3) 상기 기준 스피어만 상관계수의 집합과 상기 사용자 스피어만 상관계수 집합의 평균 사이의 유의수준을 각각 산출하는 단계; 및
(c4) 상기 유의수준을 기준으로 상기 사용자의 생체신호가 정상군, 우울군 및 불안군 중 어느 군에 속하는지 분류하는 단계를 더 포함하는 생체 신호 분석 방법.
[Claim 7] In the biosignal analysis method using the biosignal analysis system according to any one of claims 1 to 6,
(a) providing virtual reality content to a user through a head mounted display (HMD);
(b) measuring the user's bio-signals that change in response to the virtual reality content provided to the user;
(c) analyzing the psychological state of the user based on the measured bio-signals; and
(d) controlling at least one of a category, a stimulus level, and a provision period of the virtual reality content provided in step (a) according to the analyzed psychological state of the user;
Step (c) is,
(c1) Pre-measured biosignals for other users other than the user are classified and stored in any one of a depression group database, an anxiety group database, and a normal group database, respectively, and the depression group database, the anxiety group database and the normal group database calculating a reference Spearman correlation coefficient set of the database;
(c2) calculating a set of user Spearman correlation coefficients between the user's biosignal and the database of the depressed group, the database of the anxiety group, and the database of the normal group, respectively, and calculating an average of the set of Spearman correlation coefficients of the user;
(c3) calculating a significance level between the reference set of Spearman correlation coefficients and the average of the set of user Spearman correlation coefficients, respectively; and
(c4) classifying which group the user's biosignal belongs to among a normal group, a depressed group, and an anxiety group based on the significance level.
상기 가상현실 컨텐츠의 카테고리에는 상기 사용자의 설문 데이터에 기초한 가상의 시나리오가 제공됨으로써 상기 사용자의 심리 상태 요인을 파악하기 위한 진단용컨텐츠, 상기 사용자의 심리 상태를 안정시키게 하기 위한 안정용컨텐츠 및 상기 사용자로 하여금 스스로 심리 상태 요인을 인지할 수 있도록 하기 위한 유도용컨텐츠가 더 포함되는 생체 신호 분석 방법.
8. The method of claim 7,
In the category of the virtual reality content, a virtual scenario based on the user's questionnaire data is provided, so that diagnostic content for identifying factors of the user's psychological state, stabilizing content for stabilizing the user's psychological state, and allowing the user A biosignal analysis method that further includes induction content for self-recognition of psychological state factors.
상기 (a) 단계에서는 상기 사용자에 대하여 상기 진단용컨텐츠가 먼저 제공되고,
상기 (d) 단계에서는 상기 진단용컨텐츠에 대응하여 측정된 상기 사용자의 생체 신호를 기초로 상기 (c) 단계에서 분석된 사용자의 심리 상태에 따라 상기 (a) 단계에서 제공되는 가상현실 컨텐츠가 상기 안정용컨텐츠 및 유도용컨텐츠 중 어느 하나로 변경되어 제공되도록 제어되는 생체 신호 분석 방법.
9. The method of claim 8,
In the step (a), the diagnosis content is first provided to the user,
In the step (d), the virtual reality content provided in the step (a) according to the psychological state of the user analyzed in the step (c) based on the user's bio-signals measured in response to the diagnostic content is used for stabilization. A biosignal analysis method controlled to be changed to any one of content and content for induction.
상기 (c) 단계는,
(c5) 상기 사용자의 분류된 심리 상태에 따라 상기 사용자의 측정된 생체 신호가 상기 우울군 데이터베이스, 불안군 데이터베이스 및 정상군 데이터베이스 중 어느 하나에 저장되는 단계를 더 포함하는 생체 신호 분석 방법.
8. The method of claim 7,
Step (c) is,
(c5) The biosignal analysis method further comprising the step of storing the measured biosignal of the user in any one of the depressed group database, the anxiety group database, and the normal group database according to the classified psychological state of the user.
A computer-readable recording medium in which a program for implementing the method of any one of claims 7 to 10 is recorded.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180129819A KR102365118B1 (en) | 2018-10-29 | 2018-10-29 | The biological signal analysis system and biological signal analysis method for operating by the system |
| KR1020220019546A KR102378278B1 (en) | 2018-10-29 | 2022-02-15 | The biological signal analysis system and biological signal analysis method for operating by the system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180129819A KR102365118B1 (en) | 2018-10-29 | 2018-10-29 | The biological signal analysis system and biological signal analysis method for operating by the system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220019546A Division KR102378278B1 (en) | 2018-10-29 | 2022-02-15 | The biological signal analysis system and biological signal analysis method for operating by the system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200049930A KR20200049930A (en) | 2020-05-11 |
| KR102365118B1 true KR102365118B1 (en) | 2022-02-22 |
Family
ID=70729400
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180129819A KR102365118B1 (en) | 2018-10-29 | 2018-10-29 | The biological signal analysis system and biological signal analysis method for operating by the system |
| KR1020220019546A KR102378278B1 (en) | 2018-10-29 | 2022-02-15 | The biological signal analysis system and biological signal analysis method for operating by the system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220019546A KR102378278B1 (en) | 2018-10-29 | 2022-02-15 | The biological signal analysis system and biological signal analysis method for operating by the system |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102365118B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102282101B1 (en) * | 2020-06-23 | 2021-08-02 | 김성연 | Method and system for determining state of object using functional near-infrared spectroscopy |
| KR102461909B1 (en) * | 2020-07-22 | 2022-11-01 | 사회복지법인 삼성생명공익재단 | System and method for providing virtual-reality contents for relaxation training to the user so that the user's phychology is stabilized |
| US11789533B2 (en) | 2020-09-22 | 2023-10-17 | Hi Llc | Synchronization between brain interface system and extended reality system |
| WO2022066396A1 (en) * | 2020-09-22 | 2022-03-31 | Hi Llc | Wearable extended reality-based neuroscience analysis systems |
| KR102379132B1 (en) * | 2021-06-30 | 2022-03-30 | 액티브레인바이오(주) | device and method for providing digital therapeutics information |
| FR3124937A1 (en) * | 2021-07-12 | 2023-01-13 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Device for determining a cerebral response to a sensory stimulus |
| CN117503143A (en) * | 2023-12-06 | 2024-02-06 | 深圳市恒必达电子科技有限公司 | VR intelligent mask device and method capable of collecting various human body biological information |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017212474A (en) * | 2014-09-30 | 2017-11-30 | コニカミノルタ株式会社 | Head mount display |
| JP6295954B2 (en) | 2012-07-31 | 2018-03-20 | ソニー株式会社 | Content output device, content output method, control device, and control method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130120691A (en) | 2012-04-26 | 2013-11-05 | 주식회사 티움씨앤씨 | System and method for improving mental state using self media file |
| KR20170130204A (en) * | 2016-05-18 | 2017-11-28 | 주식회사 메딕션 | Mental illness improvement system using virtual reality contents and bio-signal analysis |
| KR101928415B1 (en) * | 2016-12-09 | 2018-12-12 | 주식회사 옴니씨앤에스 | Method, system and non-transitory computer-readable recording medium for managing mental health using virtual reality |
| KR101945452B1 (en) * | 2017-02-24 | 2019-02-08 | (주)에프앤아이 | Furniture for examinating and treating mental state of user |
| KR101913845B1 (en) * | 2017-02-24 | 2018-11-01 | (주)에프앤아이 | Method for obtaining psychological state data of user to assess psychological state thereof, and user terminal, server and psychological assessment kit using the same |
-
2018
- 2018-10-29 KR KR1020180129819A patent/KR102365118B1/en active IP Right Grant
-
2022
- 2022-02-15 KR KR1020220019546A patent/KR102378278B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6295954B2 (en) | 2012-07-31 | 2018-03-20 | ソニー株式会社 | Content output device, content output method, control device, and control method |
| JP2017212474A (en) * | 2014-09-30 | 2017-11-30 | コニカミノルタ株式会社 | Head mount display |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102378278B9 (en) | 2022-07-06 |
| KR20220027900A (en) | 2022-03-08 |
| KR102378278B1 (en) | 2022-03-25 |
| KR20200049930A (en) | 2020-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102378278B1 (en) | The biological signal analysis system and biological signal analysis method for operating by the system | |
| KR102595088B1 (en) | The virtual reality contents control system and the virtual reality contents control method operating by the same | |
| KR20190101951A (en) | Systems and methods for analyzing brain activity and their applications | |
| WO2015111331A1 (en) | Cognitive function evaluation apparatus, method, system, and program | |
| Hong et al. | Intelligent system for drowsiness recognition based on ear canal electroencephalography with photoplethysmography and electrocardiography | |
| US20160029965A1 (en) | Artifact as a feature in neuro diagnostics | |
| KR102379132B1 (en) | device and method for providing digital therapeutics information | |
| da Silva Junior et al. | Exploratory study of the effect of binaural beat stimulation on the EEG activity pattern in resting state using artificial neural networks | |
| Maaoui et al. | Automatic human stress detection based on webcam photoplethysmographic signals | |
| Pane et al. | Identifying severity level of cybersickness from eeg signals using cn2 rule induction algorithm | |
| Hakimi et al. | Proposing a convolutional neural network for stress assessment by means of derived heart rate from functional near infrared spectroscopy | |
| KR102420359B1 (en) | Apparatus and method for generating 1:1 emotion-tailored cognitive behavioral therapy in metaverse space through AI control module for emotion-customized CBT | |
| CN114999237A (en) | Intelligent education interactive teaching method | |
| Al-Shargie | Early detection of mental stress using advanced neuroimaging and artificial intelligence | |
| Akella et al. | Classifying multi-level stress responses from brain cortical EEG in nurses and non-health professionals using machine learning auto encoder | |
| Gupta et al. | Multimodal physiological quality-of-experience assessment of text-to-speech systems | |
| Bălan et al. | A machine learning approach to automatic phobia therapy with virtual reality | |
| KR20080107961A (en) | User adaptative pattern clinical diagnosis/medical system and method using brain waves and the sense infomation treatment techniques | |
| Pandiyan et al. | Mental stress level classification using eigenvector features and principal component analysis | |
| Yasemin et al. | Emotional state estimation using sensor fusion of EEG and EDA | |
| KR20230112197A (en) | Method and apparatus for controlling anxiety using virtual reality | |
| JP2023537255A (en) | A system and method for providing virtual reality content for relaxation training to a user so as to stabilize the user's mind | |
| Khan et al. | Detection and classification of pilots cognitive state using EEG | |
| da Silva Júnior et al. | Using artificial neural networks on multi-channel eeg data to detect the effect of binaural stimuli in resting state | |
| Pereira | Sleep at the Wheel: Wearable Sensors for Detection of Drowsy Driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |