KR102300194B1 - Method and device for neuro/biofeedback serious game to reduce mental stress based on biomedcal signals - Google Patents
Method and device for neuro/biofeedback serious game to reduce mental stress based on biomedcal signals Download PDFInfo
- Publication number
- KR102300194B1 KR102300194B1 KR1020200183902A KR20200183902A KR102300194B1 KR 102300194 B1 KR102300194 B1 KR 102300194B1 KR 1020200183902 A KR1020200183902 A KR 1020200183902A KR 20200183902 A KR20200183902 A KR 20200183902A KR 102300194 B1 KR102300194 B1 KR 102300194B1
- Authority
- KR
- South Korea
- Prior art keywords
- emotional
- emotional state
- user
- eeg
- training
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/08—Other bio-electrical signals
- A61M2230/10—Electroencephalographic signals
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pain & Pain Management (AREA)
- Acoustics & Sound (AREA)
- Radiology & Medical Imaging (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
본 발명은 생체신호 기반 기능성게임을 이용하여 스트레스를 완화시킬 수 있는 뉴로-바이오 피드백 방법과 장치에 관한 것으로, 보다 상세하게는 생체신호를 기반으로 한 기능성 게임을 이용하여 정신적 스트레스 상태를 완화시킬 수 있는 뉴로-바이오 피드백 방법과 이를 수행하는 장치에 관한 것이다.The present invention relates to a neuro-biofeedback method and apparatus capable of relieving stress using a functional game based on biosignals, and more particularly, to a functional game based on biosignals to relieve mental stress. It relates to a neuro-biofeedback method and an apparatus for performing the same.
인간은 사회생활을 하면서 다양한 내적 외적 요인으로 정신적 스트레스를 받으며 살고 있다. 일반적으로 정신적 스트레스 상태는 Russell의 감성평면에서 제 II사분면(불쾌, 각성)에 존재하는데 만병의 근원이며 삶의 질을 악화시킨다. 이러한 이유로 스트레스 탈피 또는 완화를 위한 다양한 방법이 시도되고 있다.Human beings are living under a variety of internal and external factors during their social life under psychological stress. In general, mental stress states exist in the II quadrant (discomfort, arousal) in Russell's emotional plane, and it is the root of all diseases and worsens the quality of life. For this reason, various methods for escaping or relieving stress have been tried.
Russell 등은 인간이 느끼는 모든 감성을 표현할 수 있는 원형의 2차원 감성평면(X축: 쾌-불쾌, Y축: 각성-이완)을 제안하였다. 즉, 2차원 원형 평면의 제 I사분면(쾌, 각성), 제 II사분면(불쾌, 각성), 제 III사분면(불쾌, 이완), 제 IV사분면(쾌, 이완)에 모든 감성을 나타낼 수 있다. 또한, Heller의 뇌파 기반 감성평가 모형을 참고하면, 인간의 뇌는 느끼는 감성의 종류에 따라 활성화되는 부위가 다르다. 즉, 감성상태에 따라 쾌(좌측 전전두엽 활성화), 불쾌(우측 전전두엽 활성화), 각성(우측 두정측두엽 활성화)으로 활성화되며, 뇌파의 알파대역 power가 뇌 피질의 활성화에 반비례하므로 뇌파를 측정하여 감성을 평가할 수 있으며, 심신을 이완시켜서 Russell이 제안한 2차원 감성평면의 제 IV사분면(쾌, 이완)에 속하는 느긋한 상태로 이동시켜 스트레스를 완화할 수 있다고 알려져 있다.Russell et al. proposed a circular two-dimensional emotional plane (X-axis: pleasure-discomfort, Y-axis: awakening-relaxation) that can express all human emotions. That is, all emotions can be expressed in the I quadrant (pleasant, arousal), II quadrant (discomfort, arousal), III quadrant (discomfort, relaxation), and IV quadrant (pleasant, relaxed) quadrant of a two-dimensional circular plane. Also, referring to Heller's EEG-based emotion evaluation model, the human brain has different activated parts according to the type of emotion it feels. That is, depending on the emotional state, it is activated by pleasure (left prefrontal lobe activation), unpleasant (right prefrontal lobe activation), and awakening (right parietal temporal lobe activation). It is known that stress can be relieved by relaxing the mind and body and moving to a relaxed state belonging to the IV quadrant (pleasant, relaxed) of the two-dimensional emotional plane proposed by Russell.
최근 디지털 기술이 발달함에 따라, 제 II사분면에서 제 IV사분면으로 이동하려고 심신을 이완할 때 생체신호를 측정하여 얼마나 이완되는지를 시각화하여 피드백시킴으로써 효과적인 이완 방법을 스스로 터득하도록 돕는 뉴로-바이오 피드백 방법을 사용하고 있다. 지금까지의 이완훈련용 뉴로-바이오 피드백 방식은 자율신경계에서 항진된 교감신경계의 활성화를 억제하고 부교감신경계를 활성화시키는 방식으로서 Russell의 2차원 감성평면에서 각성-이완축만 고려한 방식이므로 쾌-불쾌 정도를 평가할 수는 없기 때문에 Russell의 2차원 감성평면에서 이완훈련 전에 감성상태가 제 I사분면에 있었는지 제 II사분면에 있었는지 알 수 없을 뿐만 아니라, 훈련 후에 제 III사분면으로 이동하였는지 제 IV사분면으로 이동하였는지 역시 알 수 없는 문제점이 있다 With the recent development of digital technology, a neuro-biofeedback method that helps students learn an effective relaxation method on their own by measuring biosignals and visualizing how much they relax and feeding them back when they relax their mind and body to move from the II quadrant to the IV quadrant. are using The neuro-biofeedback method for relaxation training so far is a method that suppresses the activation of the sympathetic nervous system that is stimulated in the autonomic nervous system and activates the parasympathetic nervous system. In Russell's two-dimensional emotional plane, it is not possible to know whether the emotional state was in the I quadrant or the II quadrant before relaxation training, as well as whether it moved to the III quadrant or the IV quadrant after training. There is also a problem that I do not know whether
예를 들어, 감성에 반응하는 감성 발원(source)들은 머릿속에 공간적으로 분포되어 있는데, 기존 Heller의 감성평가 모델은 감성변화에 순간적으로 반응하는 뇌파를 머리 표면에서 측정한 결과들을 분석하여 도출한 모델이므로 감성평가를 위한 시간분해능은 높지만 공간분해능이 낮으며 특히 뇌 속의 쾌-불쾌 감성발원이 공간적으로 겹쳐있어 쾌-불쾌 감성을 정확히 측정할 수 없는 문제점이 있으며, 각성-이완 반응은 우측 두정측두엽에서 발생하므로 뇌파 측정시 전극부착이 어려운 문제점이 있다. 또한, 지금까지 알려진 스트레스 완화 훈련 방법의 대부분은 무료(無聊)하여 사용자가 지속적으로 사용하지 않아 훈련의 효과가 낮은 문제점이 있으며, 일부 게임과 접목시킨 방법이 있지만 사용자의 감성반응을 실시간으로 피드백 시켜주지 않아서 훈련의 효과가 낮은 문제점이 있다.For example, emotional sources that respond to emotions are spatially distributed in the head. The existing Heller's emotional evaluation model is a model derived by analyzing the results of measuring brain waves instantaneously responding to emotional changes on the surface of the head. Therefore, the temporal resolution for emotional evaluation is high, but the spatial resolution is low. In particular, there is a problem that the pleasure-discomfort emotions cannot be accurately measured because the pleasure-discomfort emotional sources in the brain are spatially overlapped. Therefore, there is a problem in that it is difficult to attach electrodes during EEG measurement. In addition, most of the stress relief training methods known so far are free and the user does not use them continuously, so there is a problem that the training effect is low. There is a problem that the effectiveness of training is low because it is not given.
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 사용자의 감성상태가 Russell이 제안한 2차원 감성평면의 제 II사분면에 속하는 정신적 스트레스 상태를 제 IV사분면의 편안하고 느긋한 상태로 심신을 이완시키는 것을 돕기 위하여 지루하지 않도록 기능성 게임(serious game)을 이용한 뉴로-바이오 피드백 훈련 방법 및 장치에 필요한 기술을 제공하는 것이다. The present invention has been devised to solve the problems of the prior art as described above, and an object of the present invention is to reduce the emotional state of the user to the mental stress state belonging to the II quadrant of the two-dimensional emotional plane proposed by Russell of the IV quadrant. It is to provide a technology necessary for a neuro-biofeedback training method and apparatus using a serious game so as not to be bored in order to help relax the mind and body in a comfortable and relaxed state.
상기 목적을 달성하기 위한 본 발명의 생체신호 기반 기능성게임을 이용한 스트레스 완화용 뉴로-바이오 피드백 방법은, 사용자의 안정상태와 감성상태에 상응하는 생체신호를 획득하는 생체신호 획득단계; 상기 생체신호 획득단계에서 획득된 사용자의 생체신호를 분석하여, 사용자의 감성상태를 평가하는 감성상태 평가단계; 상기 감성상태 평가단계에서 평가된 사용자의 감성상태를 컴퓨터 모니터의 글로벌 2차원 감성평면에 마킹하는 감성상태 마킹단계; 상기 마킹단계에서 글로벌 2차원 감성평면에 마킹된 점의 위치로부터 사용자의 스트레스 상태 여부를 판단하는 스트레스 판단단계; 상기 스트레스 판단단계에서 사용자가 스트레스 상태에 있다고 판단되면 뉴로-바이오 피드백 훈련을 실시하는 뉴로-바이오 피드백 훈련단계; 상기 뉴로-바이오 피드백 훈련단계 과정에서 사용자의 훈련반응으로서의 감성상태를 평가하여 훈련목적과의 일치 여부를 판단하여 사용자에게 이득 또는 손실을 제공하는 보상점수 제공단계; 및 상기 뉴로-바이오 피드백 훈련단계 과정에서 사용자의 훈련반응으로서의 감성상태를 평가하여 사용자에게 제시하는 피드백 제시단계;를 포함한다. In order to achieve the above object, a neuro-bio feedback method for stress relief using a functional game based on biosignals of the present invention includes: obtaining biosignals corresponding to a user's stable state and emotional state; an emotional state evaluation step of analyzing the user's bio-signals obtained in the bio-signal acquisition step and evaluating the user's emotional state; an emotional state marking step of marking the emotional state of the user evaluated in the emotional state evaluation step on a global two-dimensional emotional plane of a computer monitor; a stress determination step of determining whether the user is in a stress state from the position of the point marked on the global two-dimensional emotional plane in the marking step; a neuro-bio-feedback training step of performing neuro-bio-feedback training when it is determined in the stress determination step that the user is in a stress state; a reward score providing step of providing a gain or a loss to the user by evaluating the emotional state as a training response of the user in the neuro-bio feedback training step process and determining whether it matches the training purpose; and a feedback presentation step of evaluating the emotional state as a training response of the user in the neuro-bio feedback training step process and presenting it to the user.
또한, 상기 사용자의 안정상태와 감성상태에 상응하는 생체신호 획득단계는, 생체신호로서 뇌파, 얼굴근전도, 및 심전도를 획득하기 위하여 전극을 부착하는 생체신호전극 부착단계를 포함하는 것을 특징으로 한다.In addition, the biosignal obtaining step corresponding to the user's stable state and emotional state is characterized in that it comprises a biosignal electrode attaching step of attaching electrodes to obtain an EEG, a facial electromyogram, and an electrocardiogram as biosignals.
또한, 상기 사용자의 뇌파 전극 부착단계는, 10-10 system 전극배치 방법을 이용하여, 쾌 감성인 경우는 F5 위치에 전극을 부착하고, 불쾌 감성인 경우는 AF8 위치에 전극을 부착하며, 각성-이완 감성인 경우는 Fz 위치에 전극을 부착하는 것을 특징으로 한다. In addition, the user's EEG electrode attachment step uses the 10-10 system electrode arrangement method to attach the electrode to the F5 position in the case of a pleasant feeling, and attach the electrode to the AF8 position in the case of an unpleasant feeling, arousal- In the case of relaxation sensitivity, it is characterized by attaching an electrode to the Fz position.
또한, 상기 사용자의 얼굴근전도 전극 부착단계는, 쾌 감성인 경우는 큰광대근(zygomaticus major)에 전극을 부착하고 불쾌감성인 경우는 눈썹주름근(corrugator supercilii)에 전극을 부착하는 것을 특징으로 한다.In addition, the user's face electromyography electrode attachment step is characterized in that the electrode is attached to the zygomaticus major in the case of pleasant feeling, and the electrode is attached to the corrugator supercilii in the case of unpleasant feeling.
또한, 상기 사용자의 심전도 전극 부착단계는, 각성-이완 감성을 평가하기 위하여 Einthoven’s triangle Lead II 방식으로 전극을 부착하는 것을 특징으로 한다.In addition, the user's electrocardiogram electrode attachment step is characterized in that the electrode is attached in the Einthoven's triangle Lead II method in order to evaluate arousal-relaxation sensitivity.
또한, 상기 사용자의 감성상태 평가단계는, 사용자의 쾌-불쾌 감성상태와 각성-이완 감성상태를 수치로 나타내는 감성상태 수치화단계; 상기 수치화단계에서 산출된 수치들의 크기는 동일한 감성상태에 대하여도 개인별로 그 크기가 다를 수 있으므로 수치들의 크기 분포를 표준정규분포로 변환시킨 뒤, 특정 시점에서의 사용자의 감성상태 수치를 표준점수로 변환시키는 표준점수 산출단계; 및 상기 표준점수 산출단계에서 감성평가의 신뢰성을 높이기 위하여 서로 다른 종류(異種)의 생체신호들을 동시에 측정하고, 서로 다른 종류의 이종(異種) 생체신호들을 각각 표준점수로 산출한 뒤, 상기 이종(異種) 생체신호들의 표준점수들을 합하는 이종(異種) 표준점수 합성단계;를 포함하여 평가하는 것을 특징으로 한다.In addition, the emotional state evaluation step of the user may include: an emotional state quantification step of numerically representing the user's pleasant-discomfort emotional state and arousal-relaxing emotional state; Since the size of the numerical values calculated in the digitization step can be different for each individual even for the same emotional state, the size distribution of the numerical values is converted into a standard normal distribution, and then the emotional state value of the user at a specific point in time is converted into a standard score. a standard score calculation step for converting; And in the standard score calculation step, in order to increase the reliability of emotional evaluation, different kinds of bio-signals are simultaneously measured, and different kinds of heterogeneous bio-signals are calculated as standard scores, respectively, and the heterogeneous ( It is characterized in that it is evaluated including; heterogeneous standard score synthesis step of summing standard scores of biosignals.
또한, 상기 사용자의 쾌-불쾌 감성상태 평가단계는, 뇌파 측정을 이용한 쾌-불쾌 감성(Va(EEG))은 하기의 수학식 (1)로부터 수치화하고 얼굴근전도 측정을 이용한 쾌-불쾌 감성(Va(fEMG))은 하기의 수학식 (2)로부터 수치화하는 것을 특징으로 한다.In addition, in the user's pleasure-discomfort emotional state evaluation step, the pleasant-discomfort emotion ( Va(EEG )) using EEG measurement is quantified from the following Equation (1), and pleasant-discomfort emotion (Va) using facial electromyography measurement (fEMG)) is characterized in numerical value from the following formula (2).
[수학식 1][Equation 1]
여기에서,From here,
[수학식 2][Equation 2]
여기에서,From here,
또한, 상기 사용자의 각성-이완 감성상태 평가단계는, 뇌파 측정을 이용한 각성-이완 감성(Ar(EEG))은 하기의 수학식 (3)으로부터 수치화하고 심전도 측정을 이용한 각성-이완 감성(Ar(ECG))은 하기의 수학식 (4)로부터 수치화하는 것을 특징으로 한다. In addition, in the evaluation step of the user's arousal-relaxation emotional state, the arousal-relaxation emotion ( Ar(EEG )) using EEG measurement is quantified from the following Equation (3), and arousal-relaxation emotion (Ar( ECG)) is characterized in numerical value from the following formula (4).
[수학식 3][Equation 3]
여기에서,From here,
[수학식 4][Equation 4]
여기에서,From here,
또한, 상기 쾌-불쾌 감성상태 수치로부터 표준점수 산출단계는, 국제정서사진체계(IAPS)의 제 I사분면을 한국인 정서에 맞도록 수정한 한국인정서사진체계(KAPS)의 제 I, II, III, IV사분면 각각의 감성유발 사진 5개씩 총 20개를 사진 하나에 10초씩 무작위로 사용자에게 제시하여 사용자의 감성상태에 따라 변하는 상기 감성상태 수치들 크기의 분포를 확보하는 감성상태 수치분포 확보단계; 및 상기 감성상태 수치분포에 훈련동안 특정 시점의 뇌파와 얼굴근전도 각각의 쾌-불쾌 감성수치를 포함시켜서 하기의 수학식 (8)을 이용하여 상기 훈련동안 특정 시점의 뇌파와 얼굴근전도 각각의 쾌-불쾌 감성상태 표준점수를 산출하는 단계;를 포함하는 것을 특징으로 한다.In addition, the step of calculating the standard score from the pleasant-discomfort emotional state values is the I, II, III, An emotional state numerical distribution securing step of securing a distribution of the emotional state numerical values that change according to the emotional state of the user by randomly presenting a total of 20 five emotionally evoking photos in each of the IV quadrants to the user for 10 seconds per photo; And each pleasure-discomfort emotional value of EEG and facial electromyogram at a specific point in time during training is included in the emotional state numerical distribution, and each pleasure- It characterized in that it comprises; calculating the standard score of the unpleasant emotional state.
[수학식 8][Equation 8]
여기에서,From here,
또한, 상기 쾌-불쾌 감성상태의 뇌파와 얼굴근전도 각각의 이종(異種) 표준점수들의 합성단계는, 상기 쾌-불쾌 감성상태 표준점수를 산출하는 단계에서 산출된 뇌파와 얼굴근전도 각각의 표준점수를 하기의 수학식 (5)에 적용하여 합성하는 것을 특징으로 한다.In addition, in the step of synthesizing the different standard scores of the EEG and the facial EMG of the pleasant-discomfort emotional state, the standard scores of the EEG and the facial EMG calculated in the step of calculating the standard score of the pleasant-discomfort emotional state It is characterized in that it is synthesized by applying the following Equation (5).
[수학식 5] [Equation 5]
여기에서,From here,
또한, 상기 각성-이완 감성상태 수치로부터 표준점수 산출단계는, 상기 감성상태 수치분포 확보단계에서 확보한 감성상태 수치분포에 훈련동안 특정 시점의 뇌파와 심전도 각각의 각성-이완 감성수치를 포함시키고, 수학식 (8)을 이용하여 상기 훈련동안 특정 시점의 뇌파와 심전도 각각의 각성-이완 감성상태 표준점수를 산출하는 것을 특징으로 한다.In addition, the step of calculating the standard score from the value of the arousal-relaxation emotional state includes each arousal-relaxation emotional value of the EEG and the electrocardiogram at a specific time during training in the emotional state numerical distribution secured in the step of securing the emotional state numerical distribution, Equation (8) is used to calculate the standard score of each arousal-relaxed emotional state of the EEG and electrocardiogram at a specific time point during the training.
또한, 상기 각성-이완 감성상태의 뇌파와 심전도 각각의 이종(異種) 표준점수들의 합성단계는, 상기 뇌파와 심전도 각각의 각성-이완 감성상태 표준점수를 하기의 수학식 (6)에 적용하여 합성하는 것을 특징으로 한다.In the step of synthesizing the different standard scores of each of the EEG and ECG of the arousal-relaxed emotional state, the standard score of each of the aroused-relaxed emotional state of the EEG and the ECG is applied to the following equation (6) to synthesize characterized in that
[수학식 6][Equation 6]
여기에서,From here,
또한, 상기 사용자의 감성상태를 마킹하는 감성상태 마킹단계는, 상기 쾌-불쾌 감성상태의 뇌파와 얼굴근전도 각각의 이종(異種) 표준점수들을 합성한 수치를 X좌표로 하고, 제 12항에서 산출된 상기 각성-이완 감성상태의 뇌파와 심전도 각각의 이종(異種) 표준점수들을 합성한 수치를 Y좌표로 할 때, 상기 X좌표, Y좌표(X, Y)좌표를 99% 수용할 수 있는 Russell의 2차원 감성평면(X축: 쾌-불쾌, Y축: 각성-이완)의 반경의 크기가 3이 되도록 글로벌 2차원 감성평면에 제공하고, 하기의 수학식 (7)을 이용하여 상기 사용자의 감성상태를 상기 글로벌 2차원 감성평면에 X 및 Y좌표로 마킹하는 것을 특징으로 한다. In addition, in the emotional state marking step of marking the emotional state of the user, the X-coordinate is a numerical value obtained by synthesizing the EEG and the facial electromyography of the pleasant-discomfort emotional state, respectively, and calculated in claim 12 Russell, which can accommodate 99% of the X-coordinate and Y-coordinate (X, Y) coordinates, when the values obtained by combining the different standard scores of the EEG and the electrocardiogram of the aroused-relaxed emotional state are used as the Y coordinates. It is provided to the global two-dimensional emotional plane so that the size of the radius of the two-dimensional emotional plane (X-axis: pleasure-discomfort, Y-axis: arousal-relaxation) of It is characterized in that the emotional state is marked with X and Y coordinates on the global two-dimensional emotional plane.
[수학식 7][Equation 7]
여기에서,From here,
또한, 상기 스트레스 판단단계는, 상기 감성상태 마킹단계에서 글로벌 2차원 감성평면의 X좌표와 Y좌표로 마킹한 점이 제 II사분면에 존재하면 사용자가 스트레스 상태에 있다고 판단하는 것을 특징으로 한다. In addition, the stress determination step is characterized in that if the point marked with the X and Y coordinates of the global two-dimensional emotional plane in the emotional state marking step exists in the second quadrant, it is determined that the user is in a stress state.
또한, 상기 뉴로-바이오 피드백 훈련단계는, 사용자가 뉴로-바이오 피드백 훈련을 통하여 글로벌 2차원 감성평면의 제 II사분면(불쾌-각성)에서 제 IV사분면(쾌-이완)으로 이동하는 과정에서의 감성상태를 뇌파, 얼굴근전도, 및 심전도를 측정하여 훈련목적과 일치 여부를 2차원적으로 이동하는 경로의 궤적, 정보색, 정보음, 및 보상점수로 피드백시키는 것을 특징으로 한다.In addition, in the neuro-bio feedback training step, the user moves from the II quadrant (discomfort-awakening) to the IV quadrant (pleasant-relaxation) of the global two-dimensional emotional plane through neuro-bio feedback training. It is characterized in that by measuring the EEG, facial electromyography, and electrocardiogram of the state, it is characterized by feeding back the trajectory of the moving path in two dimensions, information color, information sound, and reward score to determine whether or not it matches the training purpose.
또한, 상기 보상점수 제공단계는, 훈련반응으로서의 감성상태를 평가하여 훈련목적과의 일치 여부를 판단하여 사용자에게 이득 또는 손실을 제공하고, 글로벌 2차원 감성평면 내에 로컬 2차원 감성평면(반경크기는 일실시예로서 글로벌 2차원 감성평면 반경의 0.4배로 함)을 제공하는 단계; 및 바로 이전의 감성상태 마킹점에 상기 로컬 2차원 감성평면의 원점을 일치시켰을 때 바로 이전의 감성상태 마킹점에서 현재의 감성상태 마킹점으로 향하는 화살표가 로컬 2차원 감성평면의 제 1사분면 또는 제 3사분면에 속하면 누적된 보상점수에 변화가 없고 제 4사분면에 속하면 누적된 보상점수에 10점을 증가시키고 제 2사분면에 속하면 누적된 보상점수에 10점을 감소시키는 것을 특징으로 한다.In addition, the reward score providing step provides a gain or loss to the user by evaluating the emotional state as a training response to determine whether it matches the training purpose, and a local two-dimensional emotional plane (radius size is providing as an embodiment 0.4 times the radius of the global two-dimensional emotional plane); And when the origin of the local two-dimensional emotional plane is matched with the previous emotional state marking point, the arrow from the previous emotional state marking point to the current emotional state marking point is the first quadrant or the second of the local two-dimensional emotional state marking point. If it belongs to the third quadrant, there is no change in the accumulated reward points, if it belongs to the fourth quadrant, 10 points are increased to the accumulated reward points, and if it belongs to the second quadrant, the accumulated reward points are decreased by 10 points.
또한, 상기 피드백 제시단계는, 상기 바로 이전의 감성상태 마킹점에서 현재의 감성상태 마킹점으로 향하는 화살표가 로컬 감성 2차원 평면의 제 IV사분면으로 향하면 녹색으로 제 1 또는 제 3사분면으로 향하면 청색으로 제 II사분면으로 향하면 보라색으로 변하며 마지막 화살표와 갱신된 점수를 0.5초 간격으로 3회 깜빡여서 현재의 감성상태로 갱신되었음을 알려주는 정보색 제공단계; 및 상기 훈련반응을 시각적으로 피드백 시켜주는 것에 추가하여 상기 화살표가 제 IV사분면으로 향하면 딩동댕~!, 제 I 또는 제 III사분면으로 향하면 딩동~!, 제 II사분면으로 향하면 땡~! 으로 알려주고 음의 크기는 사용자가 훈련 시작 전에 적절한 크기로 조절할 수 있는 기능을 부여하는 정보음 제공단계를 포함하는 것을 특징으로 한다.In addition, in the feedback presentation step, if the arrow from the previous emotional state marking point to the current emotional state marking point is directed to the IV quadrant of the local emotional two-dimensional plane, it is green, and if it is directed to the first or third quadrant, it is blue. an information color providing step informing that the current emotional state has been updated by changing to purple when heading to the II quadrant and blinking the last arrow and the updated score three times at 0.5 second intervals; And in addition to providing a visual feedback of the training response, when the arrow points to the IV quadrant, ding-dong-dang! It is characterized in that it includes an information sound providing step in which the user is given the ability to adjust the sound level to an appropriate level before the start of training.
또한, 상기 피드백 제시단계는, 컴퓨터 모니터의 글로벌 2차원 감성평면에 사용자의 감성상태를 새롭게 마킹할 때마다 화살표를 추가로 연결시킴으로써 훈련 과정동안 사용자의 훈련반응에 상응하여 2차원적으로 이동하는 감성상태 변화과정 전체를 매번 피드백 시켜줌으로써 직전 단계의 훈련반응과 그 이전의 일련의 훈련반응 이력에 대한 기억을 돕는 것을 특징으로 한다.In addition, in the feedback presentation step, each time the user's emotional state is newly marked on the global two-dimensional emotional plane of the computer monitor, an arrow is additionally connected to the emotion that moves two-dimensionally in response to the user's training response during the training process. It is characterized in that it helps the memory of the training response of the previous stage and the training response history of the previous stage by feeding back the entire state change process every time.
한편, 본 발명의 뉴로-바이오 피드백 장치는 앞선 뉴로-바이오 피드백 방법을 수행하기 위한 것으로서, 사용자의 감성반응에 상응하는 생체신호를 획득하는 생체신호 획득부; 획득한 생체신호로부터 사용자의 감성상태를 평가하는 평가부; 및 평가한 결과를 모니터에 뉴로-바이오 피드백으로 제시하는 제시부;를 포함하여 구성된다.On the other hand, the neuro-bio-feedback device of the present invention is for performing the preceding neuro-bio-feedback method, comprising: a bio-signal acquisition unit for acquiring a bio-signal corresponding to a user's emotional response; an evaluation unit for evaluating a user's emotional state from the acquired bio-signals; and a presentation unit for presenting the evaluation result as neuro-bio feedback to the monitor.
상기와 같은 구성에 의한 본 발명의 생체신호 기반 스트레스 완화를 위한 기능성게임을 이용한 뉴로-바이오 피드백 방법 및 장치는 사용자의 감성상태가 스트레스를 느끼는 상태에 있을 경우 편안하고 느긋한 감성상태로 이동시키는 효과가 있다.The neuro-bio feedback method and device using a functional game for stress relief based on biosignals of the present invention according to the above configuration has the effect of moving the user to a comfortable and relaxed emotional state when the user's emotional state is in a stressful state. have.
상세하게는, 사용자의 감성상태가 스트레스 상태에 있는지를 판단하고, 스트레스 상태에 있으면 그 감성상태를 Russell의 2차원 감성평면에서 각성-이완축의 이완축 방향으로 이동시키는 신체적 이완상태 뿐만 아니라 쾌-불쾌 축의 쾌축 방향으로도 이동시켜서 정신적 이완상태가 되도록 돕는 효과가 있다. In detail, it is determined whether the user's emotional state is in a stress state, and if the user is in a stress state, the emotional state is moved from Russell's two-dimensional emotional plane to the relaxation axis of the arousal-relaxation axis, as well as the physical relaxation state, as well as pleasure-discomfort. It also has the effect of helping to achieve a state of mental relaxation by moving it in the direction of the pleasure axis.
또한, 훈련과정이 각본에 짜여진 지루한 방식이 아니라 훈련동안의 감성상태 변화를 실시간으로 시각화시켜서 보여줌으로써 훈련이 목표한 방향으로 진행되고 있으면 이익을 주고 반대 방향으로 진행되면 손실을 주는 게임을 제공함으로써 훈련에 재미를 주는 효과가 있다. In addition, the training process is not a boring method woven in the script, but by visualizing and showing the change in emotional state during training in real time. has a fun effect.
또한, 훈련이 목표한 방향으로 진행되고 있는지를 알려주는 방법에서 화살표의 방향뿐만 아니라 색상 정보(정보색)와 소리 정보(정보음)를 제공함으로써 훈련의 효과를 높이는 장점이 있다.In addition, there is an advantage of increasing the effectiveness of training by providing color information (information color) and sound information (information sound) as well as the direction of the arrow in the method of indicating whether training is progressing in the target direction.
또한, 생체신호 기반 쾌-불쾌 감성평가에서 뇌파 전극 배치를 선행연구로서의 기능적 자기공명영상(functional magnetic resonance imaging, fMRI) 연구결과(Dolcos et al., 2004)를 참고한 앞이마 속의 감성발원들(sources)의 위치를 반영함으로써 쾌-불쾌 감성평가의 정확도를 높이는 효과가 있고 뇌파뿐만 아니라 얼굴근전도를 동시에 측정하여 쾌-불쾌 감성평가에 반영시킴으로써 그 정확도를 높이는 효과가 있다.In addition, sources of emotion in the forehead referring to functional magnetic resonance imaging (fMRI) research results (Dolcos et al., 2004) as a prior study on EEG electrode placement in biosignal-based pleasure-discomfort emotion evaluation ) has the effect of increasing the accuracy of the pleasure-discomfort emotional evaluation, and it has the effect of increasing the accuracy of the pleasure-discomfort emotional evaluation by simultaneously measuring not only the EEG but also the facial EMG.
또한, 생체신호 기반 각성-이완 감성평가에서 뇌파 전극 배치를 상기 fMRI 연구결과로부터 도출된 앞이마 속의 감성발원들(sources)에 근거하여 앞이마에서 측정할 수 있는 위치를 제공함으로써 전극부착이 용이한 장점이 있을 뿐만 아니라 심전도를 동시에 측정하여 각성-이완 감성평가에 반영시킴으로써 그 정확도를 높이는 효과가 있다. In addition, in the biosignal-based arousal-relaxation emotional evaluation, the EEG electrode placement is based on the emotional sources in the forehead derived from the fMRI research result, and by providing a position where it can be measured, electrode attachment is easy. In addition, it has the effect of increasing the accuracy by measuring the electrocardiogram at the same time and reflecting it in the arousal-relaxation emotional evaluation.
또한, 사용자별로 동일한 감성반응 크기에도 생체신호 변화 정도가 다를 수 있는 문제를 해결하기 위하여 국제정서사진체계(International Affective Picture System: IAPS)를 한국인 정서에 맞도록 수정한 한국인정서사진체계(Korean Affective Picture System: KAPS) 사진에 반응하는 개인별 감성반응 생체신호 크기 범위의 데이터를 도출하여 표준정규분포(Standard Normalization Distribution)를 구하고 이 분포를 토대로 훈련동안 측정되는 감성상태의 생체신호를 표준점수(Z-score)로 변환하여 감성상태 평가에 반영시킴으로써 개인별 감성반응 생체신호 편차를 감소시키는 효과가 있다. In addition, the International Affective Picture System (IAPS) was modified to match the Korean sentiment in order to solve the problem that the degree of biosignal change may be different even for the same emotional response size for each user. System: KAPS) The standard normal distribution is obtained by deriving the data of the size range of the emotional response biosignal for each individual responding to the photo, and the standard score (Z-score) of the biosignal of the emotional state measured during training based on this distribution. ) and reflected in the emotional state evaluation, it has the effect of reducing the deviation of individual emotional response biosignals.
또한, 얼굴근전도 측정시 동일한 위치에서 기저상태의 측정값에 대한 백분율을 산출하여 감성평가에 적용함으로써 측정위치에 따른 편차를 감소시키는 효과가 있다.In addition, there is an effect of reducing the deviation according to the measurement position by calculating the percentage of the measured value of the ground state at the same position when measuring the facial EMG and applying it to the emotional evaluation.
또한, 쾌-불쾌 감성상태를 평가시 뇌파로부터 평가한 감성 수치를 표준점수로 변환하고 얼굴근전도로부터 평가한 감성수치를 표준점수로 변환한 뒤, 이들 이종(異種) 생체신호 값을 합성함으로써 한 종류의 생체신호로만 평가한 경우보다 더 높은 신뢰성을 갖는 쾌-불쾌 감성을 평가할 수 있는 효과가 있다.In addition, when evaluating the pleasant-discomfort emotional state, the emotional value evaluated from the brain wave is converted into a standard score, the emotional value evaluated from the facial electromyogram is converted into a standard score, and then these heterogeneous biosignal values are synthesized to create one type There is an effect that can evaluate the pleasure-discomfort emotion with higher reliability than the case of evaluating only the biosignals of
또한, 각성-이완 감성상태를 평가시 뇌파로부터 평가한 감성 수치를 표준점수로 변환하고 심전도로부터 평가한 감성수치를 표준점수로 변환한 뒤, 이들 이종(異種) 생체신호 값을 합성함으로써 한 종류의 생체신호로만 평가한 경우보다 더 높은 신뢰성을 갖는 각성-이완 감성을 평가할 수 있는 효과가 있다.In addition, when evaluating the arousal-relaxation emotional state, the emotional value evaluated from the brain wave is converted into a standard score, the emotional value evaluated from the electrocardiogram is converted into a standard score, and then these heterogeneous biosignal values are synthesized to form one kind of There is an effect that can evaluate the arousal-relaxation sensibility having higher reliability than the case of evaluating only the biosignals.
또한, 상기 이종(異種) 생체신호 값을 합성한 쾌-불쾌 감성상태 표준점수를 X좌표로 하고 상기 이종(異種) 생체신호 값을 합성한 각성-이완 감성상태 표준점수를 Y좌표로 하여 Russell의 2차원 감성평면에 사용자의 감성상태를 직관적으로 파악할 수 있도록 제시하는 효과가 있다. In addition, the standard score of the pleasant-discomfort emotional state synthesized from the heterogeneous biosignal values was taken as the X-coordinate, and the standard score of the arousal-relaxed emotional state synthesized from the heterogeneous biosignal values was taken as the Y-coordinate of Russell's It has the effect of presenting the user's emotional state intuitively on the two-dimensional emotional plane.
또한, 상기 Russell의 2차원 감성평면의 반경 크기를 숫자 3으로 정함으로써 상기 쾌-불쾌 감성상태 표준점수 X좌표와 상기 각성-이완 감성상태 표준점수 Y좌표의 정상적인 분포(표준점수의 99%가 ±3 이내에 존재하며 ±3 범위를 벗어나는 나머지 1%는 이상치로 간주할 수 있으므로)를 상기 2차원 감성평면 내에 모두 마킹할 수 있는 장점이 있다.In addition, by setting the radius size of Russell's two-dimensional emotional plane as the
또한, 상기 감성상태 표준점수 X좌표와 Y좌표가 마킹되는 반경이 3인 Russell의 2차원 감성평면을 글로벌 2차원 감성평면으로 명명하고, 상기의 글로벌 2차원 감성평면 내에 로컬 2차원 감성평면을 제공하여, 훈련과정에 따라 변하는 감성상태가 훈련이 목표하는 방향과 일치하는지를 평가할 수 있도록 하는 효과가 있다.In addition, the two-dimensional emotional plane of Russell whose radius where the emotional state standard score X and Y coordinates are marked is named as a global two-dimensional emotional plane, and a local two-dimensional emotional plane is provided within the global two-dimensional emotional plane. Thus, it is effective to evaluate whether the emotional state that changes according to the training process is consistent with the training target direction.
또한, 상기 훈련과정에 따라 변하는 사용자의 감성상태가 훈련이 목표하는 방향과 일치하는지를 평가하여 보상점수로 피드백 제시함으로써 상기 훈련의 목적을 게임을 하며 달성할 수 있는 기능성 게임을 제공하는 효과가 있다.In addition, there is an effect of providing a functional game that can achieve the purpose of the training by playing the game by evaluating whether the emotional state of the user, which is changed according to the training process, matches the training target direction and presenting feedback as a reward score.
또한, 컴퓨터 모니터에 사용자의 감성상태를 새롭게 마킹할 때마다 화살표를 추가로 연결시킴으로써 훈련 과정동안 사용자의 훈련반응에 상응하여 2차원적으로 이동하는 감성상태 변화과정 전체를 매번 피드백 시켜줌으로써 직전 단계의 훈련반응뿐만 아니라 그 이전의 일련의 훈련반응 이력에 대한 기억을 도움으로써 목표 달성을 위한 훈련 요령을 스스로 터득할 수 있도록 시행착오 학습의 효과를 높일 수 있다.In addition, each time the user's emotional state is newly marked on the computer monitor, an arrow is additionally connected to provide feedback on the entire emotional state change process that moves two-dimensionally in response to the user's training response during the training process. By helping to remember not only the training response but also the previous training response history, the effect of trial and error learning can be enhanced so that the training tips for achieving the goal can be learned by oneself.
이를 통해서, 틱 장애 등 정신적 스트레스에 취약한 사용자들에게 스트레스를 완화시키는 훈련을 도와줌으로써 그 증상을 완화시키는 효과를 기대할 수 있다. Through this, the effect of alleviating the symptoms can be expected by helping users who are vulnerable to mental stress, such as tic disorders, with stress-relieving training.
도 1은 본 발명의 일실시예에 따른 스트레스 완화를 위한 뉴로-바이오 피드백 장치의 기본 구성을 설명한 도면이다.
도 2는 본 발명의 일실시예에 따른 사용자의 감성상태에 따른 생체신호를 획득하기 위한 전극부착 방법을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 뉴로-바이오 피드백 훈련과정의 사용자 감성상태를 마킹하는데 사용되는 Russell이 제안한 2차원 감성평면을 나타낸 도면이다.
도 4는 본 발명의 일실시예로서 사용자 개인별 감성상태에 따른 생체신호 크기의 범위를 평가하기 위하여 사용되는 감성유발용 사진을 나타낸 도면이다.
도 5는 본 발명의 일실시예로서 훈련 시작 시점에 사용자의 감성상태를 표준점수로 변환하여 글로벌 2차원 감성평면에 마킹하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일실시예로서 훈련 끝 시점에 사용자의 감성상태를 표준점수로 변환하여 글로벌 2차원 감성평면에 마킹하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일실시예로서 훈련반응 감성상태의 변화가 훈련목적의 방향으로 향하는지 여부를 로컬 2차원 감성평면을 도입하여 평가한 결과 훈련목적의 방향으로 향하여 보상점수가 +10 추가됨을 나타낸 도면이다.
도 8은 본 발명의 일실시예로서 훈련반응 감성상태의 변화가 훈련목적의 방향에 부합하지도 반대 방향도 아니므로 보상점수의 변화가 없음을 나타낸 도면이다.
도 9는 본 발명의 일실시예로서 훈련반응 감성상태의 변화가 훈련목적의 반대 방향이므로 보상점수가 -10 추가됨을 나타낸 도면이다.
도 10 및 11은 본 발명의 일실시예로서 훈련 시작부터 끝 시점까지 사용자 감성상태 변화가 훈련목적에 부합하는지를 평가하여 제시하는 방법을 나타낸 도면이다.
도 12는 본 발명의 일실시예로서 생체신호 기반 스트레스 완화를 위한 기능성 게임을 이용한 뉴로-바이오 피드백 방법을 도시한 흐름도이다.1 is a view for explaining the basic configuration of a neuro-biofeedback device for stress relief according to an embodiment of the present invention.
2 is a diagram illustrating an electrode attachment method for obtaining a biosignal according to a user's emotional state according to an embodiment of the present invention.
3 is a diagram illustrating a two-dimensional emotional plane proposed by Russell used to mark a user's emotional state in a neuro-bio feedback training process according to an embodiment of the present invention.
4 is a view showing an emotion-inducing photograph used to evaluate the range of the bio-signal size according to each user's individual emotional state as an embodiment of the present invention.
5 is a diagram illustrating a method of converting a user's emotional state into a standard score at the start of training and marking it on a global two-dimensional emotional plane as an embodiment of the present invention.
6 is a diagram illustrating a method of converting a user's emotional state into a standard score at the end of training and marking it on a global two-dimensional emotional plane as an embodiment of the present invention.
7 is an embodiment of the present invention, as a result of evaluating whether the change in the training response emotional state is directed in the direction of the training purpose by introducing a local two-dimensional emotional plane, it is shown that +10 reward points are added toward the direction of the training purpose. the drawing shown.
8 is a diagram showing that there is no change in the reward score because the change in the emotional state of the training reaction does not match the direction of the training purpose or in the opposite direction as an embodiment of the present invention.
FIG. 9 is a diagram showing that a reward score of -10 is added because the change in the emotional state of the training reaction is in the opposite direction of the training purpose as an embodiment of the present invention.
10 and 11 are diagrams illustrating a method of evaluating and presenting whether a change in a user's emotional state from the start to the end of training meets the training objective as an embodiment of the present invention.
12 is a flowchart illustrating a neuro-biofeedback method using a functional game for stress relief based on biosignals as an embodiment of the present invention.
이하 첨부한 도면들을 참조하여 본 발명의 생체신호 기반 스트레스 완화를 위한 기능성게임을 이용한 뉴로-바이오 피드백 방법 및 장치를 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, a neuro-biofeedback method and apparatus using a functional game for stress relief based on biosignals of the present invention will be described in detail with reference to the accompanying drawings. The drawings introduced below are provided as examples in order to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Also, like reference numerals refer to like elements throughout.
이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.At this time, if there is no other definition in the technical terms and scientific terms used, it has the meaning commonly understood by those of ordinary skill in the technical field to which this invention belongs, and the gist of the present invention in the following description and accompanying drawings Descriptions of known functions and configurations that may be unnecessarily obscure will be omitted.
도 1은 본 발명의 일실시예에 따른 생체신호 기반 스트레스 완화를 위한 기능성게임을 이용한 뉴로-바이오 피드백 장치의 구성도이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 생체신호 기반 스트레스 완화를 위한 기능성게임을 이용한 뉴로-바이오 피드백 장치(이하 ‘뉴로-바이오 피드백 장치’로 약칭함)(100)는, 획득부(110), 평가부(120) 및 제시부(130)를 포함하여 구성할 수 있다.1 is a block diagram of a neuro-biofeedback device using a functional game for stress relief based on biosignals according to an embodiment of the present invention. Referring to FIG. 1 , a neuro-bio-feedback device (hereinafter abbreviated as 'neuro-bio-feedback device') 100 using a functional game for stress relief based on biosignals according to an embodiment of the
우선, 획득부(110)는 사용자의 감성상태에 반응하는 생체신호로서 뇌파(electroencephalogram: EEG), 얼굴근전도(facial electromyogram: fEMG), 심전도(electrocardiogram: ECG)를 획득한다.First, the
도 2를 참조하면, 획득부(110)에서 뇌파는 전극배치 방법으로서 10-10 system을 이용하여 쾌 감성인 경우는 F5 위치에 전극을 부착하여 획득하고, 불쾌 감성인 경우는 AF8 위치에 전극을 부착하여 획득하며, 각성-이완 감성인 경우는 Fz 위치에 전극을 부착하여 획득한다. 획득부(110)의 얼굴근전도는 쾌 감성인 경우는 도 2(b)에서와 같이 코 아래 측면에 위치한 큰광대근(zygomaticus major)에 전극을 부착하여 획득하고 불쾌감성인 경우는 눈썹주름근(corrugator supercilii)에 전극을 부착하여 획득한다. 도 2(c)에서와 같이 획득부(110)의 심전도는 각성-이완 감성을 평가하기 위하여 Einthoven’s triangle Lead II 방식으로 전극을 부착하여 획득한다.Referring to FIG. 2 , the EEG in the
다음으로, 평가부(120)는 상기 획득부(110)에서 획득한 생체신호를 분석하여 사용자의 감성상태를 평가한다. 즉, 생체신호를 분석하여 사용자의 쾌-불쾌 감성(valence: Va)과 각성-이완 감성(arousal: Ar)을 평가할 수 있다. Next, the
예를 들어, 뇌파 측정을 이용한 쾌-불쾌 감성(Va(EEG))은 하기의 수학식 1로부터 평가하고, 얼굴근전도 측정을 이용한 쾌-불쾌 감성(Va(fEMG))은 하기의 수학식 2로부터 산출할 수 있다. 이때 얼굴근전도의 크기가 전극을 부착하는 위치에 따라 변하는데 이러한 영향을 최소화 시키기 위하여 하기의 수학식 2에서와 같이 얼굴근전도 측정시 동일한 위치에서 기저상태(baseline)의 측정값에 대한 백분율을 산출하여 감성평가에 적용함으로써 측정위치에 따른 편차를 감소시킬 수 있다.For example, pleasure-discomfort emotion ( Va(EEG) ) using EEG measurement is evaluated from
[수학식 1][Equation 1]
여기에서,From here,
[수학식 2][Equation 2]
여기에서,From here,
또한, 뇌파 측정을 이용한 각성-이완 감성(Ar(EEG))은 하기의 수학식 3으로부터 평가하고, 심전도 측정을 이용한 각성-이완 감성(Ar(ECG))은 하기의 수학식 4로부터 산출할 수 있다.In addition, arousal-relaxation emotion ( Ar(EEG )) using EEG measurement is evaluated from
[수학식 3][Equation 3]
여기에서,From here,
[수학식 4][Equation 4]
여기에서,From here,
그런데, 동일한 크기의 감성을 느끼더라도 개인별로 반응하는 생체신호의 크기가 다를 수 있다. 이러한 문제를 해결하기 위하여, 도 3에 도시한 바와 같이 Russell이 제안한 2차원 감성평면(X축: 쾌-불쾌, Y축: 각성-이완)의 제 I사분면( 쾌-각성), 제 II사분면(불쾌-각성), 제 III사분면(불쾌-이완), 제 IV사분면(쾌-이완) 각각의 감성을 유발시키는 사진을 사용자에게 제시하여 개인별 감성상태에 반응하는 생체신호의 범위를 도출하여 표준정규분포(Standard Normalization Distribution)를 산출할 수 있다. However, the magnitude of the bio-signal that responds to each individual may be different even if the emotion of the same magnitude is felt. In order to solve this problem, as shown in Fig. 3, the I quadrant (pleasant-wake) and II quadrant of the two-dimensional emotional plane (X-axis: pleasure-discomfort, Y-axis: arousal-relaxation) proposed by Russell Discomfort-arousal), quadrant III (discomfort-relaxation), and quadrant IV (pleasure-relaxation) are presented to the user and the range of bio-signals responding to individual emotional states is derived and standard normal distribution (Standard Normalization Distribution) can be calculated.
구체적으로 국제정서사진체계(International Affective Picture System: IAPS)의 제 I사분면의 정서가 한국인 정서와 잘 맞지 않아서 수정한 한국인정서사진체계(Korean Affective Picture System: KAPS)(도 4 참조)의 제 I, II, III, IV사분면 각각의 감성유발 사진들을 사용자에게 제시하여 개인별로 감성상태에 따라 변하는 생체신호 데이터 크기의 분포를 도출하고 여기에 훈련동안 측정되는 감성상태의 생체신호를 포함시켜서 상기 훈련동안의 감성상태 생체신호 데이터를 하기의 수식 5와 같이 표준점수(Z-score)로 변환하여(평균이 ‘0’이고 표준편차가 ‘1’인 표준정규분포가 되도록 변환) 감성상태 평가에 활용함으로써 개인별 감성반응 생체신호 크기의 편차를 감소시킬 수 있다. Specifically, the I of the Korean Affective Picture System (KAPS) (see Fig. 4), which was modified because the emotions in the I quadrant of the International Affective Picture System (IAPS) did not match well with the Korean sentiments. By presenting the emotion-inducing photos of each of the quadrants II, III, and IV to the user, the distribution of the biosignal data size that changes according to the emotional state for each individual is derived, and the biosignal of the emotional state measured during the training is included in this. By converting the emotional state biosignal data into a standard score (Z-score) as shown in Equation 5 below (converted to become a standard normal distribution with mean '0' and standard deviation '1'), by using it for emotional state evaluation It is possible to reduce the variation in the magnitude of the emotional response biosignal.
또한, 동일한 사용자로부터 서로 다른 독립적인 생체신호들을 측정하여 이들 각각의 생체신호로부터 감성을 평가한 결과의 일관성(consistency)을 반영함으로써 감성평가의 정확성을 높일 수 있지만 서로 다른 생체신호들은 그 크기의 범위(scale)가 다르므로 직접 비교할 수 없는 문제점이 있다. 이를 해결하기 위하여 서로 다른 생체신호들 각각을 상기의 표준정규분포로 변환시키면 대등한 조건으로 비교가 가능하므로 합성도 가능하다. In addition, the accuracy of emotional evaluation can be improved by measuring different independent biosignals from the same user and reflecting the consistency of the emotional evaluation result from each biosignal, but different biosignals have a range of sizes. Because the scale is different, there is a problem that cannot be directly compared. In order to solve this problem, if each of the different biosignals is converted into the standard normal distribution, it is possible to compare them under equal conditions, so that synthesis is possible.
예를 들어, 쾌-불쾌 감성상태를 평가시 하기의 수학식 5에서와 같이 뇌파로부터 평가한 감성 수치(Va(EEG))를 표준점수로 변환(Z(Va(EEG))하고 얼굴근전도로부터 평가한 감성수치(Va(fEMG))를 표준점수로 변환(Z(Va(fEMG))한 뒤, 이들 값을 합성함으로써 한 종류의 생체신호로만 평가한 경우보다 더 높은 신뢰성을 갖는 쾌-불쾌 감성(Va)을 평가할 수 있다. 또한, 각성-이완 감성상태를 평가시 하기의 수학식 6에서와 같이 뇌파로부터 평가한 감성 수치(Ar(EEG))를 표준점수로 변환(Z(Ar(EEG))하고 심전도로부터 평가한 감성수치(Ar(ECG))를 표준점수로 변환(Z(Ar(ECG))한 뒤, 이들 값을 합성함으로써 한 종류의 생체신호로만 평가한 경우보다 더 높은 신뢰성을 갖는 각성-이완 감성(Ar)을 평가할 수 있다. For example, when evaluating the pleasant-discomfort emotional state, the emotional value (Va(EEG)) evaluated from the EEG as in Equation 5 below is converted into a standard score (Z(Va(EEG)) and evaluated from the facial electromyography. After converting one emotional value (Va(fEMG)) into a standard score (Z(Va(fEMG)), by synthesizing these values, pleasant-discomfort emotions ( Va ) In addition, when evaluating the awakening-relaxing emotional state, the emotional value (Ar(EEG)) evaluated from the EEG as in Equation 6 below is converted into a standard score (Z(Ar(EEG) ) and converting the emotional value (Ar(ECG)) evaluated from the electrocardiogram into a standard score (Z(Ar(ECG))) - The relaxation sensitivity (Ar) can be evaluated.
[수학식 5] [Equation 5]
여기에서,From here,
[수학식 6][Equation 6]
여기에서,From here,
다음으로, 제시부(130)는 사용자의 감성을 컴퓨터의 모니터를 통하여 Russell의 2차원 감성평면에 제시한다. 구체적으로 하기의 수학식 5에서 산출한 쾌-불쾌 감성(Va)와 수학식 6에서 산출한 각성-이완 감성(Ar)을 하기의 수학식 7에서와 같이 Russell이 제안한 2차원 감성평면의 X 및 Y좌표로 제시한다. Next, the
[수학식 7][Equation 7]
여기에서,From here,
일실시예로, 본 발명의 뉴로-바이오 피드백 장치(100)는 사용자가 도착하면, 우선 훈련에 대한 설명(생체신호 측정에 대한 안전성 및 훈련 요령)을 하고, 생체신호 전극 부착 및 올바르게 획득되는지 확인한 뒤, 안정상태의 생체신호를 100초간 측정한다(안정상태 측정단계). 그 후, 사용자의 감성변화 범위 생체신호 측정을 위하여, 제시부(130)를 통하여 국제정서사진체계(IAPS)를 한국인 정서를 반영하여 수정한 한국인정서사진체계(KAPS: 도면 4 참조)로부터 2차원 감성평면의 4개 사분면 각각의 감성사진 5개씩 총 20개를 사용자에게 사진 하나에 10초씩 총 200초 동안 무작위로 제시함으로써 이에 반응하는 생체신호를 획득부(110)를 통하여 획득한다. 그런 뒤, 획득한 생체신호를 평가부(120)에서 상기의 수학식 1을 적용하여 산출한 뇌파 측정을 이용한 쾌-불쾌 감성(Va(EEG)), 수학식 2를 적용하여 산출한 얼굴근전도 측정을 이용한 쾌-불쾌 감성(Va(fEMG)), 수학식 3을 적용하여 산출한 뇌파 측정을 이용한 각성-이완 감성(Ar(EEG)), 및 수학식 4를 적용하여 산출한 심전도 측정을 이용한 각성-이완 감성(Ar(ECG)) 수치들을 확보함으로써 사용자 개인의 생체신호 기반 감성지표별 수치 데이터의 분포를 확보한 결과를 표 1에 나타내었다(감성상태 평가-데이터분포 확보단계). In one embodiment, when the user arrives, the neuro-
구체적으로, 평가부(120)에서는 상기 사진 하나에 10초씩 반응하는 생체신호 중에서 앞부분 3초는 이전 사진에 의한 감성의 영향을 많이 받으므로 제외시키고 뒷부분 7초만 분석한다. Specifically, the
또한, 뉴로-바이오 피드백 장치(100)를 이용하여 훈련 시작 시점(훈련을 시작하기 전에 스트레스 상태에 있는지 판단하는 시점: Tr-start)(도 11 참조)에서 측정한 생체신호로부터 상기의 수학식 1부터 4까지를 적용하여 산출한 Va(EEG), Va(fEMG), Ar(EEG), Ar(ECG) 수치들을 표 2에 나타내었다. 그런 뒤, 상기 4개 변수 Va(EEG), Va(fEMG), Ar(EEG), VAr(ECG) 각각에 대하여 표 1의 20개 수치와 훈련 시작 시점(Tr-start)에서의 1개의 수치 모두를 평균한 값(μ)과 표준편차(σ)를 표 2에 나타내었다.In addition, using the neuro-
이로부터, 상기의 수학식 5를 이용하여 훈련의 시작 시점(Tr-strat)에 상기 4개 변수 Va(EEG), Va(fEMG), Ar(EEG), Ar(ECG) 각각에 대한 표준점수(Z-score)를 산출하여 표 2에 나타내었다(감성상태 평가-표준정규분포화 단계). From this, the standard score for the four variable Va (EEG) at the start (Tr-strat) of the train by using the above Equation 5, Va (fEMG), Ar (EEG), Ar (ECG), respectively ( Z-score) was calculated and shown in Table 2 (emotional state evaluation-standard normal distribution step).
그런 뒤, 상기 뇌파 측정에 의한 쾌-불쾌 감성 표준점수와 얼굴근전도 측정에 의한 쾌-불쾌 감성 표준점수를 상기의 수학식 6을 이용하여 합성한 결과(Va=-1.65)와 상기 뇌파 측정에 의한 각성-이완 감성 표준점수와 심전도 측정에 의한 각성-이완 감성 표준점수를 상기의 수학식 7을 이용하여 합성한 결과(Ar=2.18)를 표 3에 나타내었다. Then, the result of synthesizing the standard score of pleasant-discomfort emotion by EEG measurement and the standard score of pleasant-discomfort emotion by measurement of facial electromyography using Equation 6 (Va=-1.65) and the result of the EEG measurement Table 3 shows the results of synthesizing the standard score of arousal-relaxation emotion and the standard score of arousal-relaxation emotion by electrocardiogram
제시부(130)는 상기 합성한 쾌-불쾌 감성 표준점수(Va=-1.65)와 상기 합성한 각성-이완 감성 표준점수(Ar=2.18)를 도 5에서와 같이 글로벌 2차원 감성평면에 상기 수학식 8을 이용하여 사용자의 훈련 시작 시점(Tr-start)의 감성(affect) 상태를 X 좌표(Va=-1.65) 및 Y 좌표(Ar=2.18)로 마킹한다(Aff(-1.65, 2.18))(훈련시작 시점 감성상태-마킹단계). The
또한, 뉴로-바이오 피드백 장치(100)를 이용하여 훈련이 끝나는 시점(Tr-end)에 측정한 생체신호로부터 상기의 수학식 1부터 4까지를 적용하여 산출한 Va(EEG), Va(fEMG), Ar(EEG), Ar(ECG) 수치들을 표 3에 나타내었다. 그런 뒤, 상기 4개 변수 Va(EEG), Va(fEMG), Ar(EEG), Ar(ECG) 각각에 대하여 표 1의 20개 수치와 훈련 끝나는 시점 1개의 수치 모두를 평균한 값(μ)과 표준편차(σ)를 표 3에 나타내었다. In addition, Va(EEG ) and Va(fEMG) calculated by applying
이로부터, 하기의 수학식 8을 이용하여 훈련이 끝나는 시점(Tr-end)에서 상기 4개 변수 Va(EEG), Va(fEMG), Ar(EEG), Ar(ECG) 각각에 대한 표준점수(Z-score)를 산출하여 표 3에 나타내었고, 그 후, 상기 뇌파 측정에 의한 쾌-불쾌 감성 표준점수와 얼굴근전도 측정에 의한 쾌-불쾌 감성 표준점수를 상기의 수학식 5를 이용하여 합성한 결과(Va=1.50)와 상기 뇌파 측정에 의한 각성-이완 감성 표준점수와 심전도 측정에 의한 각성-이완 감성 표준점수를 상기의 수학식 6을 이용하여 합성한 결과(Ar=-2.59)를 표 3에 함께 나타내었다. From this, at the time (Tr-end) training the end of using the equation (8) below the standard score for each of the four variable Va (EEG), Va (fEMG ), Ar (EEG), Ar (ECG) ( Z-score) was calculated and shown in Table 3, and then, the standard score for pleasant-discomfort emotion by EEG measurement and standard score for pleasant-discomfort emotion by facial electromyography were synthesized using Equation 5 above. Table 3 shows the result (Va = 1.50) and the result of synthesizing the standard score for arousal-relaxation emotion by the EEG measurement and the standard score for the arousal-relaxation emotion by the electrocardiogram measurement using Equation 6 above (Ar=-2.59) shown together in
[수학식 8][Equation 8]
여기에서,From here,
다음으로, 제시부(130)는 상기 합성한 쾌-불쾌 감성 표준점수(Va=1.50)와 상기 합성한 각성-이완 감성 표준점수(Ar=-2.59)를 도 6에서와 같이 글로벌 2차원 감성평면에 상기 수학식 7을 이용하여 사용자의 훈련 끝나는 시점(Tr-end)에서의 감성(affect) 상태를 X 좌표(Va=1.50) 및 Y 좌표(Ar=-2.59)로 마킹한다(Aff(1.50, -2.59))(훈련 끝 시점 감성상태-마킹단계). Next, the
즉, 뉴로-바이오 피드백 장치(100)는 사용자의 훈련과정에서 변화되는 감성상태에 상응하는 생체신호를 획득부(110)를 통하여 획득하고, 평가부(120)를 통하여 감성상태를 평가한 결과를, 제시부(130)를 통하여 컴퓨터 모니터의 글로벌 2차원 감성평면에 쾌-불쾌 감성(Va)과 각성-이완 감성(Ar)를 X좌표 및 Y좌표, 즉 Aff(Va, Ar)로 마킹하여 사용자에게 피드백 제시한다. That is, the neuro-
구체적으로, 제시부(130)는 사용자가 목표 달성을 위한 훈련 요령을 스스로 터득할 수 있도록 훈련과정 동안 사용자의 감성상태가 어떻게 변화되고 있는지 매번 새로운 감성상태를 마킹할 때마다 이전 감성상태의 마킹점으로부터 현재의 감성상태 마킹점 방향으로 화살표를 추가로 연결한다. 즉, 도 6에서와 같이 기존 마킹점들을 연결한 화살표들은 그대로 두고 새롭게 감성상태를 마킹할 때마다 화살표를 추가로 연결시킴으로써 훈련 과정동안 사용자의 훈련반응에 상응하여 변하는 감성상태 전체를 매번 피드백 시켜줌으로써 직전 단계의 훈련반응뿐만 아니라 그 이전의 일련의 훈련반응 이력에 대한 기억을 도움으로써 시행착오 학습의 효과를 높일 수 있다(훈련과정 감성상태-마킹단계). Specifically, the
또한, 제시부(130)는 사용자가 훈련과정에서 감성상태가 목표한 방향으로 변하면 보상(reward)을 주고 반대 방향으로 변할 경우 불이익(penalty)을 주는 기능성 게임(serious game)을 제공함으로써 사용자가 재미를 느끼면서 훈련을 받을 수 있도록 할 수 있다. In addition, the
더욱 상세하게 설명하면, 획득부(110)가 사용자의 훈련과정에서 획득한 생체신호를 평가부(120)로 보내면, 평가부(120)에서는 상기 수학식 1부터 수학식 8을 통하여 개인에 따른 동일 감성반응에 대한 생체신호 크기 범위의 차이를 표준정규분포로 변환하고 또한 뇌파, 얼굴근전도, 및 심전도 각각의 특성에 따른 신호크기 범위의 차이를 표준정규분포로 변환하여 특정한 감성상태에 상응하는 뇌파와 얼굴근전도 모두를 고려한 쾌-불쾌 감성의 표준점수 Va를 산출하고, 또한 뇌파와 심전도를 모두 고려한 각성-이완 감성의 표준점수 Ar를 산출하여 제시부(130)로 보내면, 제시부(130)에서는 상기 쾌-불쾌 감성의 표준점수 Va와 상기 각성-이완 감성의 표준점수 Ar을 Russell이 제안한 원형(circumplex)의 2차원 감성평면에 Va는 X좌표로 마킹하고 Ar은 Y좌표로 마킹한다. 이때 상기 표준점수 Va와 Ar 각각의 크기가 ±3 이내의 값을 갖을 확률이 99% 이므로, 상기 표준점수 Va와 Ar의 크기가 ±3 보다 클 경우를 이상치(outlier)로 갖주할 수 있으므로, 상기 원형의 2차원 감성평면의 반경 크기를 3으로 정할 수 있으며, 이를 글로벌 2차원 감성평면이라고 명명하고, 도 5에서와 같이 4개 사분면의 영역을 제 I, II, III, IV사분면으로 표현한다. In more detail, when the
일실시예로, 도 11의 흐름도를 참조하면 훈련 시작 시점의 감성상태에서 산출한 상기 표준점수 Va와 Ar이 도 5에서와 같이 상기 글로벌 2차원 감성평면의 제 II사분면(스트레스 상태)에 마킹되면 상기 뉴로-바이오 피드백 훈련을 실시한다(스트레스 상태 판별단계). 만약 훈련 시작 시점의 감성상태에서 산출한 상기 표준점수 Va와 Ar이 상기 글로벌 2차원 감성평면의 제 II사분면에 마킹되지 않으면 상기 훈련 시작 시점의 감성상태 마킹 과정을 추가적으로 2회 더 실시할 수 있으며, 상기 추가적 2회 실시중 1회라도 제 II사분면에 마킹되면 곧바로 상기 뉴로-바이오 피드백 훈련을 실시하고 상기 추가적 2회 실시한 결과 모두 제 II사분면에 마킹되지 않으면 상기 뉴로-바이오 피드백 훈련을 실시하지 않고 종료한다. 또한, 마킹한 점이 제 II사분면에 있는 경우 상기 훈련의 효과를 높이기 위하여 사용자의 훈련반응에 따라 사용자에게 이득 또는 손실을 줌으로써 훈련에 집중시킬 수 있다. As an embodiment, referring to the flowchart of FIG. 11 , when the standard scores Va and Ar calculated from the emotional state at the start of training are marked in the second quadrant (stress state) of the global two-dimensional emotional plane as in FIG. 5 , The neuro-biofeedback training is performed (stress state determination step). If the standard scores Va and Ar calculated from the emotional state at the start of training are not marked in the second quadrant of the global two-dimensional emotional plane, the emotional state marking process at the start of the training may be additionally performed two more times, If even one of the two additional executions is marked in the II quadrant, the neuro-bio-feedback training is carried out immediately. do. In addition, when the marked point is in the II quadrant, it is possible to focus on training by giving a gain or a loss to the user according to the user's training response in order to increase the training effect.
한편, 도 7을 참조하면, 기 설정된 시간마다 생체신호를 분석하여 산출한 Va와 Ar을 상기 훈련 시작시 마킹한 점에 이어서 마킹하고 직전의 마킹점으로부터 현재의 마킹점 방향으로 화살표로 연결한다. 이때, 화살표 방향이 본 발명의 훈련목표 방향으로 향하고 있는지를 판단하기 위하여 상기 글로벌 2차원 감성평면 속에 새로운 2차원 감성평면(일실시예로서, 직경이 글로벌 2차원 감성평면 직경의 0.4배 크기; 영역을 제 1, 2, 3, 4사분면으로 표현)을 생성하여 이를 로컬 2차원 감성평면으로 명명하고, 상기 로컬 2차원 감성평면의 중심을 직전의 마킹점에 일치시켜서 도 7에서와 같이 현재의 마킹점으로 향하는 화살표를 생성하고 이 화살표가 훈련의 목표 방향인지를 판단하여 점수를 부여할 수 있다. On the other hand, referring to FIG. 7 , Va and Ar calculated by analyzing biosignals for each preset time are marked following the marked point at the start of the training, and connected with an arrow from the immediately preceding marking point in the direction of the current marking point. At this time, in order to determine whether the arrow direction is directed in the direction of the training target of the present invention, a new two-dimensional emotional plane in the global two-dimensional emotional plane (in one embodiment, the diameter is 0.4 times the diameter of the global two-dimensional emotional plane; area; (expressed in the first, second, third, and fourth quadrants) and named it as a local two-dimensional emotional plane, and by matching the center of the local two-dimensional emotional plane with the immediately preceding marking point, the current marking as shown in FIG. Points can be created by creating an arrow pointing to a point and judging whether the arrow is in the target direction of training and giving a score.
더욱 상세하게는, 도 7에서와 같이 상기 화살표 방향이 로컬 2차원 감성평면의 제 4사분면으로 향하면 기존 훈련 점수에 10점을 추가시키고(일실시예로서, 이전 감성상태 점수가 0점이어서 누계점수가 10점으로 됨), 도 8에서와 같이 제 1 또는 제 3사분면으로 향하면 0점을 추가시키고(일실시예로서, 이전 감성상태 점수가 20점이어서 누계점수가 20점 그대로임), 도 9에서와 같이 제 2사분면으로 향하면 -10점을 추가시킨다(일실시예로서, 이전 감성상태 점수가 40점이어서 누계점수가 30점으로 됨)(훈련과정 감성상태-보상점수 제공단계). More specifically, as in FIG. 7, if the arrow direction is directed to the fourth quadrant of the local two-dimensional emotional plane, 10 points are added to the existing training score (in one embodiment, the previous emotional state score is 0, so the cumulative score becomes 10 points), and 0 points are added when heading to the first or third quadrant as in FIG. When heading to the second quadrant, -10 points are added (as an example, the cumulative score becomes 30 points because the previous emotional state score was 40) (training process emotional state - reward point provision step).
또한, 도 9를 참조하면, 상기 화살표에 정보색을 부여할 수 있다. 즉, 화살표가 로컬 감성 2차원 평면의 제 4사분면으로 향하면 녹색으로 제 1 또는 제 3사분면으로 향하면 청색으로 제 2사분면으로 향하면 보라색으로 나타내고, 마지막 화살표와 갱신된 점수를 0.5초 간격으로 3회 깜빡여서 현재의 감성상태로 갱신되었음을 알려준다. 도 10 및 11은 본 발명의 일실시예로서 훈련 시작부터 끝 시점까지 사용자 감성상태 변화가 훈련목적에 부합하는지를 평가하는 과정을 나타내고 있다.Also, referring to FIG. 9 , an information color may be assigned to the arrow. That is, if the arrow is directed to the fourth quadrant of the local emotional two-dimensional plane, it is indicated in green, if it is directed to the first or third quadrant, it is blue, if it is directed to the second quadrant, it is shown in purple, and the last arrow and the updated score are blinked 3 times at 0.5 second intervals This indicates that it has been updated to the current emotional state. 10 and 11 show a process of evaluating whether a change in a user's emotional state from the start to the end of training meets the training objective as an embodiment of the present invention.
또한, 훈련반응을 시각적으로 피드백 시켜주는 것에 추가하여 상기 화살표가 제 4사분면으로 향하면 딩동댕~!, 제 1 또는 제 3사분면으로 향하면 딩동~!, 제 2사분면으로 향하면 땡~! 으로 정보음을 줄 수 있으며 음의 크기는 사용자가 훈련 시작 전에 적절한 크기로 조절할 수 있는 기능을 부여한다.In addition, in addition to providing visual feedback on the training response, when the arrow points to the fourth quadrant, ding-dong-dang!, toward the first or third quadrant, ding-dong-! can give an information sound, and the sound volume gives the user the ability to adjust the sound to an appropriate size before starting training.
상기 화살표에 정보색과 정보음을 부여함으로써 시청각이 정상인에게 집중도를 높혀줄 수 있을 뿐만 아니라 시각 또는 청각에 장애가 있을 경우에도 훈련반응을 더욱 효과적으로 피드백시킬 수 있다(훈련과정 감성상태 변화경로 및 보상점수 피드백 단계). By giving information color and information sound to the arrow, it is possible not only to increase the concentration of audiovisually normal people, but also to more effectively feed back the training response even when there is a visual or hearing impairment (training process emotional state change path and reward score) feedback step).
또한 도 12를 참조하면, 상기 훈련시작 시점에서 스트레스 상태에 있다고 판별되면 훈련단계를 시작하는데 훈련단계는 감성상태 변화에 따른 글로벌 2차원 감성평면의 X 및 Y좌표 산출단계, (X, Y)좌표 마킹 및 화살표 연결단계, 정보색/정보음 제공단계, 보상점수 부여단계, 및 피드백 제시단계를 포함한 세트로 구성된다. 상기 세트는 1회 수행에 10초가 소요되며 훈련단계에서는 상기 세트를 30회 반복함으로써 총 300초 소요된다.Also, referring to FIG. 12, if it is determined that the training is in a stress state at the start of the training, a training phase is started. It consists of a set including a marking and arrow connection step, an information color/information sound providing step, a reward point granting step, and a feedback presentation step. The set takes 10 seconds to perform once, and in the training phase, the set is repeated 30 times, so a total of 300 seconds is required.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with specific details such as specific components and limited embodiment drawings, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above one embodiment. No, various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims described below, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
100 : 뉴로-바이오 피드백 장치
110 : 획득부 120 : 평가부
130 : 제시부100: neuro-biofeedback device
110: acquisition unit 120: evaluation unit
130: presentation part
Claims (19)
상기 생체신호 획득단계에서 획득된 사용자의 생체신호를 분석하여, 사용자의 감성상태를 평가하는 감성상태 평가단계;
상기 감성상태 평가단계에서 평가된 사용자의 감성상태를 컴퓨터 모니터의 글로벌 2차원 감성평면에 마킹하는 감성상태 마킹단계;
상기 마킹단계에서 글로벌 2차원 감성평면에 마킹된 점의 위치로부터 사용자의 스트레스 상태 여부를 판단하는 스트레스 판단단계;
상기 스트레스 판단단계에서 사용자가 스트레스 상태에 있다고 판단되면 뉴로-바이오 피드백 훈련을 실시하는 뉴로-바이오 피드백 훈련단계;
상기 뉴로-바이오 피드백 훈련단계 과정에서 사용자의 훈련반응으로서의 감성상태를 평가하여 훈련목적과의 일치 여부를 판단하여 사용자에게 이득 또는 손실을 제공하는 보상점수 제공단계; 및
상기 뉴로-바이오 피드백 훈련단계 과정에서 사용자의 훈련반응으로서의 감성상태를 평가하여 사용자에게 제시하는 피드백 제시단계;를 포함하는, 뉴로-바이오 피드백 방법.
a biosignal obtaining step of obtaining biosignals corresponding to the user's stable state and emotional state;
an emotional state evaluation step of analyzing the user's bio-signals obtained in the bio-signal acquisition step and evaluating the user's emotional state;
an emotional state marking step of marking the emotional state of the user evaluated in the emotional state evaluation step on a global two-dimensional emotional plane of a computer monitor;
a stress determination step of determining whether the user is in a stress state from the position of the point marked on the global two-dimensional emotional plane in the marking step;
a neuro-bio-feedback training step of performing neuro-bio-feedback training when it is determined in the stress determination step that the user is in a stress state;
a reward score providing step of providing a gain or a loss to the user by evaluating the emotional state as a training response of the user in the neuro-bio feedback training step process and determining whether it matches the training purpose; and
In the neuro-bio-feedback training step, a feedback presentation step of evaluating the user's emotional state as a training response and presenting it to the user; including, a neuro-bio-feedback method.
상기 사용자의 안정상태와 감성상태에 상응하는 생체신호 획득단계는,
생체신호로서 뇌파, 얼굴근전도, 및 심전도를 획득하기 위하여 전극을 부착하는 생체신호전극 부착단계를 포함하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
The method of claim 1,
The bio-signal acquisition step corresponding to the user's stable state and emotional state,
Neuro-biofeedback method, characterized in that it comprises a biosignal electrode attachment step of attaching electrodes to obtain EEG, facial electromyography, and electrocardiogram as biosignals.
상기 사용자의 뇌파 전극 부착단계는,
10-10 system 전극배치 방법을 이용하여, 쾌 감성인 경우는 F5 위치에 전극을 부착하고, 불쾌 감성인 경우는 AF8 위치에 전극을 부착하며, 각성-이완 감성인 경우는 Fz 위치에 전극을 부착하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
3. The method of claim 2,
The user's EEG electrode attachment step is,
Using the 10-10 system electrode arrangement method, in the case of pleasant sensation, attach the electrode to the F5 position, in the case of unpleasant sensitivity, attach the electrode to the AF8 position, and in the case of arousal-relaxation, attach the electrode to the Fz position. Characterized in that, neuro-bio-feedback method.
상기 사용자의 얼굴근전도 전극 부착단계는,
쾌 감성인 경우는 큰광대근(zygomaticus major)에 전극을 부착하고 불쾌감성인 경우는 눈썹주름근(corrugator supercilii)에 전극을 부착하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
3. The method of claim 2,
The user's face electromyography electrode attachment step,
In the case of pleasant sensation, the electrode is attached to the zygomaticus major, and in the case of discomfort, the electrode is attached to the corrugator supercilii, neuro-biofeedback method.
상기 사용자의 심전도 전극 부착단계는,
각성-이완 감성을 평가하기 위하여 Einthoven’s triangle Lead II 방식으로 전극을 부착하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
3. The method of claim 2,
The user's electrocardiogram electrode attachment step,
A neuro-biofeedback method, characterized in that electrodes are attached in Einthoven's triangle Lead II method to evaluate arousal-relaxation sensitivity.
상기 사용자의 감성상태 평가단계는,
사용자의 쾌-불쾌 감성상태와 각성-이완 감성상태를 수치로 나타내는 감성상태 수치화단계;
상기 수치화단계에서 산출된 수치들의 크기는 동일한 감성상태에 대하여도 개인별로 그 크기가 다를 수 있으므로 수치들의 크기 분포를 표준정규분포로 변환시킨 뒤, 특정 시점에서의 사용자의 감성상태 수치를 표준점수로 변환시키는 표준점수 산출단계; 및
상기 표준점수 산출단계에서 감성평가의 신뢰성을 높이기 위하여 서로 다른 종류(異種)의 생체신호들을 동시에 측정하고, 서로 다른 종류의 이종(異種) 생체신호들을 각각 표준점수로 산출한 뒤, 상기 이종(異種) 생체신호들의 표준점수들을 합하는 이종(異種) 표준점수 합성단계;를 포함하여 평가하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
The method of claim 1,
The user's emotional state evaluation step,
An emotional state quantification step of numerically representing the user's pleasant-discomfort emotional state and arousal-relaxing emotional state;
Since the size of the numerical values calculated in the digitization step can be different for each individual even for the same emotional state, the size distribution of the numerical values is converted into a standard normal distribution, and then the emotional state value of the user at a specific point in time is converted into a standard score. a standard score calculation step for converting; and
In the standard score calculation step, in order to increase the reliability of emotional evaluation, different types of bio-signals are simultaneously measured, and different types of heterogeneous bio-signals are calculated as standard scores, respectively, and then the heterogeneous ) A heterogeneous standard score synthesis step of summing the standard scores of the biosignals; characterized in that it is evaluated, including the neuro-biofeedback method.
상기 사용자의 쾌-불쾌 감성상태 평가단계는,
뇌파 측정을 이용한 쾌-불쾌 감성(Va(EEG))은 하기의 수학식 (1)로부터 수치화하고 얼굴근전도 측정을 이용한 쾌-불쾌 감성(Va(fEMG))은 하기의 수학식 (2)로부터 수치화하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
[수학식 1]
여기에서,
[수학식 2]
여기에서,
7. The method of claim 6,
The user's pleasure-discomfort emotional state evaluation step is,
Pleasure-discomfort emotion ( Va(EEG )) using EEG measurement is quantified from Equation (1) below, and pleasure-discomfort emotion (Va(fEMG)) using EMG measurement is quantified from Equation (2) below. Characterized in that, neuro-bio-feedback method.
[Equation 1]
From here,
[Equation 2]
From here,
상기 사용자의 각성-이완 감성상태 평가단계는,
뇌파 측정을 이용한 각성-이완 감성(Ar(EEG))은 하기의 수학식 (3)으로부터 수치화하고 심전도 측정을 이용한 각성-이완 감성(Ar(ECG))은 하기의 수학식 (4)로부터 수치화하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
[수학식 3]
여기에서,
[수학식 4]
여기에서,
7. The method of claim 6,
The user's arousal-relaxation emotional state evaluation step is,
Arousal-relaxation sensibility ( Ar(EEG )) using EEG measurement is quantified from the following equation (3), and arousal-relaxation sensibility (Ar(ECG)) using electrocardiogram measurement is quantified from the following equation (4) Characterized in that, neuro-bio-feedback method.
[Equation 3]
From here,
[Equation 4]
From here,
상기 쾌-불쾌 감성상태 수치로부터 표준점수 산출단계는,
국제정서사진체계(IAPS)의 제 I사분면을 한국인 정서에 맞도록 수정한 한국인정서사진체계(KAPS)의 제 I, II, III, IV사분면 각각의 감성유발 사진 5개씩 총 20개를 사진 하나에 10초씩 무작위로 사용자에게 제시하여 사용자의 감성상태에 따라 변하는 상기 감성상태 수치들 크기의 분포를 확보하는 감성상태 수치분포 확보단계; 및
상기 감성상태 수치분포에 훈련동안 특정 시점의 뇌파와 얼굴근전도 각각의 쾌-불쾌 감성수치를 포함시켜서 하기의 수학식 (8)을 이용하여 상기 훈련동안 특정 시점의 뇌파와 얼굴근전도 각각의 쾌-불쾌 감성상태 표준점수를 산출하는 단계;를 포함하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
[수학식 8]
여기에서,
7. The method of claim 6,
The step of calculating a standard score from the pleasant-discomfort emotional state value is,
A total of 20 photos, each with 5 emotional-inducing photos in each of the I, II, III, and IV quadrants of the Korean Affective Photo System (KAPS), in which the I quadrant of the International Affective Photography System (IAPS) was modified to match the Korean sentiment. an emotional state numerical distribution securing step of securing the distribution of the emotional state numerical values that change according to the emotional state of the user by randomly presenting it to the user for 10 seconds; and
In the emotional state numerical distribution, each pleasure-discomfort emotional value of EEG and facial EMG at a specific point in time during training is included, and each pleasure-discomfort of EEG and facial EMG at a specific point in time during the training using Equation (8) below. Calculating the emotional state standard score; characterized in that it comprises, neuro-bio-feedback method.
[Equation 8]
From here,
상기 쾌-불쾌 감성상태의 뇌파와 얼굴근전도 각각의 이종(異種) 표준점수들의 합성단계는,
상기 쾌-불쾌 감성상태 표준점수를 산출하는 단계에서 산출된 뇌파와 얼굴근전도 각각의 표준점수를 하기의 수학식 (5)에 적용하여 합성하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
[수학식 5]
여기에서,
10. The method of claim 9,
The synthesis step of each heterogeneous standard score of the EEG and facial electromyography of the pleasant-discomfort emotional state is,
A neuro-bio-feedback method, characterized in that the standard scores of EEG and facial electromyography calculated in the step of calculating the standard score of the pleasant-discomfort emotional state are synthesized by applying the following Equation (5).
[Equation 5]
From here,
상기 각성-이완 감성상태 수치로부터 표준점수 산출단계는,
상기 감성상태 수치분포 확보단계에서 확보한 감성상태 수치분포에 훈련동안 특정 시점의 뇌파와 심전도 각각의 각성-이완 감성수치를 포함시키고,
수학식 (8)을 이용하여 상기 훈련동안 특정 시점의 뇌파와 심전도 각각의 각성-이완 감성상태 표준점수를 산출하는 것을 특징으로 하는 뉴로-바이오 피드백 방법.
10. The method of claim 9,
The standard score calculation step from the arousal-relaxation emotional state value is,
Including each arousal-relaxation emotional value of EEG and electrocardiogram at a specific point in time during training in the emotional state numerical distribution secured in the emotional state numerical distribution securing step,
Neuro-bio-feedback method, characterized in that the standard score of each arousal-relaxation emotional state is calculated for each of the EEG and electrocardiogram at a specific time point during the training using Equation (8).
상기 각성-이완 감성상태의 뇌파와 심전도 각각의 이종(異種) 표준점수들의 합성단계는,
상기 뇌파와 심전도 각각의 각성-이완 감성상태 표준점수를 하기의 수학식 (6)에 적용하여 합성하는 것을 특징으로 하는 뉴로-바이오 피드백 방법.
[수학식 6]
여기에서,
12. The method of claim 11,
The step of synthesizing the different standard scores of each of the EEG and ECG of the awakened-relaxed emotional state is,
Neuro-bio-feedback method, characterized in that the standard scores of each of the arousal-relaxation emotional state of the EEG and the electrocardiogram are synthesized by applying the following Equation (6).
[Equation 6]
From here,
상기 사용자의 감성상태를 마킹하는 감성상태 마킹단계는,
상기 쾌-불쾌 감성상태의 뇌파와 얼굴근전도 각각의 이종(異種) 표준점수들을 합성한 수치를 X좌표로 하고, 제 12항에서 산출된 상기 각성-이완 감성상태의 뇌파와 심전도 각각의 이종(異種) 표준점수들을 합성한 수치를 Y좌표로 할 때,
상기 X좌표, Y좌표(X, Y)를 99% 수용할 수 있는 Russell의 2차원 감성평면(X축: 쾌-불쾌, Y축: 각성-이완)의 반경의 크기가 3이 되도록 글로벌 2차원 감성평면에 제공하고,
하기의 수학식 (7)을 이용하여 상기 사용자의 감성상태를 상기 글로벌 2차원 감성평면에 X 및 Y좌표로 마킹하는 것을 특징으로 하는 뉴로-바이오 피드백 방법.
[수학식 7]
여기에서,
[수학식 5]
여기에서,
[수학식 6]
여기에서,
11. The method of claim 10,
The emotional state marking step of marking the emotional state of the user,
The value obtained by synthesizing the standard scores of each of the EEG and the facial electromyogram of the pleasant-discomfort emotional state is the X-coordinate, and the EEG and the ECG of the aroused-relaxed emotional state calculated in claim 12 are each different. ) When the combined number of standard scores is used as the Y-coordinate,
A global two-dimensional dimension such that the radius of Russell's two-dimensional emotional plane (X-axis: pleasure-discomfort, Y-axis: arousal-relaxation) that can accommodate 99% of the X and Y coordinates (X, Y) is 3 provided on the emotional plane,
Neuro-bio-feedback method, characterized in that the user's emotional state is marked with X and Y coordinates on the global two-dimensional emotional plane using Equation (7) below.
[Equation 7]
From here,
[Equation 5]
From here,
[Equation 6]
From here,
상기 스트레스 판단단계는,
상기 감성상태 마킹단계에서 글로벌 2차원 감성평면의 X좌표와 Y좌표로 마킹한 점이 제 II사분면에 존재하면 사용자가 스트레스 상태에 있다고 판단하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
14. The method of claim 13,
The stress determination step is,
In the emotional state marking step, if the points marked with the X and Y coordinates of the global two-dimensional emotional plane exist in the II quadrant, it is characterized in that it is determined that the user is in a stress state, neuro-bio feedback method.
상기 뉴로-바이오 피드백 훈련단계는,
사용자가 뉴로-바이오 피드백 훈련을 통하여 글로벌 2차원 감성평면의 제 II사분면(불쾌-각성)에서 제 IV사분면(쾌-이완)으로 이동하는 과정에서의 감성상태를 뇌파, 얼굴근전도, 및 심전도를 측정하여 훈련목적과 일치 여부를 2차원적으로 이동하는 경로의 궤적, 정보색, 정보음, 및 보상점수로 피드백시키는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
The method of claim 1,
The neuro-biofeedback training step is,
EEG, facial electromyography, and electrocardiogram are measured for the emotional state in the process of the user moving from the II quadrant (discomfort-arousal) to the IV quadrant (pleasant-relaxation) of the global two-dimensional emotional plane through neuro-bio feedback training. A neuro-bio-feedback method, characterized in that it feeds back whether or not it matches the training purpose with the trajectory of the two-dimensional moving path, information color, information sound, and reward score.
상기 보상점수 제공단계는,
훈련반응으로서의 감성상태를 평가하여 훈련목적과의 일치 여부를 판단하여 사용자에게 이득 또는 손실을 제공하고, 글로벌 2차원 감성평면 내에 로컬 2차원 감성평면을 제공하는 단계; 및
바로 이전의 감성상태 마킹점에 상기 로컬 2차원 감성평면의 원점을 일치시켰을 때 바로 이전의 감성상태 마킹점에서 현재의 감성상태 마킹점으로 향하는 화살표가 로컬 2차원 감성평면의 제 1사분면 또는 제 3사분면에 속하면 누적된 보상점수에 변화가 없고 제 4사분면에 속하면 누적된 보상점수에 10점을 증가시키고 제 2사분면에 속하면 누적된 보상점수에 10점을 감소시키는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
14. The method of claim 13,
In the step of providing the reward points,
providing a gain or loss to the user by evaluating the emotional state as a training response to determine whether it matches the training purpose, and providing a local two-dimensional emotional plane within the global two-dimensional emotional plane; and
When the origin of the local two-dimensional emotional plane is matched with the immediately previous emotional state marking point, the arrow from the previous emotional state marking point to the current emotional state marking point is the first quadrant or the third of the local two-dimensional emotional plane. Neuro, characterized in that if it belongs to the quadrant, the accumulated reward points do not change, if it belongs to the fourth quadrant, the accumulated reward points are increased by 10 points, and if it belongs to the second quadrant, the accumulated reward points are decreased by 10 points. - Biofeedback method.
상기 피드백 제시단계는,
바로 이전의 감성상태 마킹점에서 현재의 감성상태 마킹점으로 향하는 화살표가 로컬 감성 2차원 평면의 제 4사분면으로 향하면 녹색으로, 제 1 또는 제 3사분면으로 향하면 청색으로, 제 2사분면으로 향하면 보라색으로 변하며, 마지막 화살표와 갱신된 점수를 0.5초 간격으로 3회 깜빡여서 현재의 감성상태로 갱신되었음을 알려주는 정보색 제공단계; 및
상기 훈련반응을 시각적으로 피드백 시켜주는 것에 추가하여 상기 화살표가 제 4사분면으로 향하면 딩동댕~!, 제 1 또는 제 3사분면으로 향하면 딩동~!, 제 2사분면으로 향하면 땡~! 으로 알려주고, 음의 크기는 사용자가 훈련 시작 전에 적절한 크기로 조절할 수 있는 기능을 부여하는 정보음 제공단계를 포함하는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
The method of claim 1,
The feedback presentation step is
If the arrow from the previous emotional state marking point to the current emotional state marking point is directed to the fourth quadrant of the local emotional two-dimensional plane, it is green, if it is directed to the first or third quadrant, it is blue, and if it is directed to the second quadrant, it is purple. an information color providing step indicating that the last arrow and the updated score have been updated to the current emotional state by blinking 3 times at 0.5 second intervals; and
In addition to providing a visual feedback of the training response, when the arrow points to the fourth quadrant, ding-dong-dang! A method for providing an information sound that informs the user and gives the user the ability to adjust the sound level to an appropriate level before starting training.
상기 피드백 제시단계는,
컴퓨터 모니터의 글로벌 2차원 감성평면에 사용자의 감성상태를 새롭게 마킹할 때마다 화살표를 추가로 연결시킴으로써 훈련 과정동안 사용자의 훈련반응에 상응하여 2차원적으로 이동하는 감성상태 변화과정 전체를 매번 피드백 시켜줌으로써 직전 단계의 훈련반응과 그 이전의 일련의 훈련반응 이력에 대한 기억을 돕는 것을 특징으로 하는, 뉴로-바이오 피드백 방법.
The method of claim 1,
The feedback presentation step is
Each time the user's emotional state is newly marked on the computer monitor's global two-dimensional emotional plane, an arrow is additionally connected to feed back the entire emotional state change process that moves two-dimensionally in response to the user's training response during the training process. A neuro-biofeedback method, characterized in that it helps the memory of the training response of the previous stage and the training response history of the previous series by giving.
사용자의 감성반응에 상응하는 생체신호를 획득하는 생체신호 획득부;
획득한 생체신호로부터 사용자의 감성상태를 평가하는 평가부; 및
평가한 결과를 모니터에 뉴로-바이오 피드백으로 제시하는 제시부를 포함하는, 뉴로-바이오 피드백 장치.
The neuro-biofeedback method of any one of claims 1 to 18 as an apparatus for performing the method,
a bio-signal acquisition unit that acquires a bio-signal corresponding to the user's emotional response;
an evaluation unit for evaluating a user's emotional state from the acquired bio-signals; and
Neuro-bio feedback device comprising a presentation unit for presenting the evaluation result as neuro-bio feedback on the monitor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183902A KR102300194B1 (en) | 2020-12-24 | 2020-12-24 | Method and device for neuro/biofeedback serious game to reduce mental stress based on biomedcal signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183902A KR102300194B1 (en) | 2020-12-24 | 2020-12-24 | Method and device for neuro/biofeedback serious game to reduce mental stress based on biomedcal signals |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102300194B1 true KR102300194B1 (en) | 2021-09-10 |
Family
ID=77777103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200183902A KR102300194B1 (en) | 2020-12-24 | 2020-12-24 | Method and device for neuro/biofeedback serious game to reduce mental stress based on biomedcal signals |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102300194B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230136991A (en) | 2022-03-21 | 2023-10-04 | 주식회사 후원 | Method and device for neuro/biofeedback to stabilize motor cortex of tic-disorders based on biomedcal signals |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170097380A (en) * | 2016-02-18 | 2017-08-28 | 아주대학교산학협력단 | Method and apparatus for emotion classification of smart device user |
| KR20180059388A (en) * | 2016-11-25 | 2018-06-04 | 한국표준과학연구원 | Method tracking affect triggering immersion based on affect vector by measuring biomedical signals in real-time |
| KR20190074606A (en) | 2017-12-20 | 2019-06-28 | 주식회사 나도소프트 | Vr neurofeedback device for relieving symptoms of ptsd |
| KR102015097B1 (en) * | 2017-04-26 | 2019-10-21 | 클라트 주식회사 | Apparatus and computer readable recorder medium stored program for recognizing emotion using biometric data |
| KR102063752B1 (en) * | 2018-11-06 | 2020-01-08 | (주)유니즈소프트 | Game recommending system using wearable sensor and ai |
| KR20200128900A (en) | 2019-05-07 | 2020-11-17 | 엠브레인웍스 주식회사 | System and method of neuro feedback for improving study concentration and digital detox |
-
2020
- 2020-12-24 KR KR1020200183902A patent/KR102300194B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170097380A (en) * | 2016-02-18 | 2017-08-28 | 아주대학교산학협력단 | Method and apparatus for emotion classification of smart device user |
| KR20180059388A (en) * | 2016-11-25 | 2018-06-04 | 한국표준과학연구원 | Method tracking affect triggering immersion based on affect vector by measuring biomedical signals in real-time |
| KR102015097B1 (en) * | 2017-04-26 | 2019-10-21 | 클라트 주식회사 | Apparatus and computer readable recorder medium stored program for recognizing emotion using biometric data |
| KR20190074606A (en) | 2017-12-20 | 2019-06-28 | 주식회사 나도소프트 | Vr neurofeedback device for relieving symptoms of ptsd |
| KR102063752B1 (en) * | 2018-11-06 | 2020-01-08 | (주)유니즈소프트 | Game recommending system using wearable sensor and ai |
| KR20200128900A (en) | 2019-05-07 | 2020-11-17 | 엠브레인웍스 주식회사 | System and method of neuro feedback for improving study concentration and digital detox |
Non-Patent Citations (6)
| Title |
|---|
| Allen, J. J., Coan, J. A., & Nazarian, M. (2004). Issues and assumptions on the road from raw signals to metrics of frontal EEG asymmetry in emotion. Biological psychology, 67(1-2), 183-218. |
| Dolcos, F., LaBar, K. S., and Cabeza, R. (2004). Dissociable effects of arousal and valence on prefrontal activity indexing emotional evaluation and subsequent memory: an event-related fMRI study. Neuroimage 23, 64-74. doi: 10.1016/j.neuroimage.2004.05.015 |
| Heller, W. (1993). Neuropsychological Mechanisms of Individual Differences in Emotion, Personality, and Arousal. Neuropsychology, 7(4), 476-489. |
| McMahon, S. D., Grant, K. E., Compas, B. E., Thurm, A. E., & Ey, S. (2003). Stress and psychopathology in children and adolescents: is there evidence of specificity?. Journal of Child Psychology and Psychiatry, 44(1), 107-133. |
| Reese, H. E., Vallejo, Z., Rasmussen, J., Crowe, K., Rosenfield, E., & Wilhelm, S. (2015). Mindfulness-based stress reduction for Tourette syndrome and chronic tic disorder: a pilot study. Journal of psychosomatic research, 78(3), 293-298. |
| Russell, J. A., & Barrett, L. F. (1999). Core affect, prototypical emotional episodes, and other things called emotion: dissecting the elephant. Journal of personality and social psychology, 76(5), 805-819. |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230136991A (en) | 2022-03-21 | 2023-10-04 | 주식회사 후원 | Method and device for neuro/biofeedback to stabilize motor cortex of tic-disorders based on biomedcal signals |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Giannakakis et al. | Review on psychological stress detection using biosignals | |
| Peterson et al. | Effects of virtual reality high heights exposure during beam-walking on physiological stress and cognitive loading | |
| Andreassi | Psychophysiology: Human behavior and physiological response | |
| Neumann et al. | The psychophysiological measurement of empathy | |
| Chittaro et al. | Affective computing vs. affective placebo: Study of a biofeedback-controlled game for relaxation training | |
| Bauer | Physiologic measures of emotion | |
| van Boxtel et al. | A novel self-guided approach to alpha activity training | |
| Lin et al. | Exploring the brain responses to driving fatigue through simultaneous EEG and fNIRS measurements | |
| Monteiro et al. | Evaluating engagement of virtual reality games based on first and third person perspective using EEG and subjective metrics | |
| Hayashi et al. | Beta activities in EEG associated with emotional stress | |
| Liu et al. | Measuring visually induced motion sickness using wearable devices | |
| Nacke | Introduction to biometric measures for games user research | |
| Bălan et al. | A machine learning approach to automatic phobia therapy with virtual reality | |
| US20230233121A1 (en) | A method and system for measuring a level of anxiety | |
| KR102300194B1 (en) | Method and device for neuro/biofeedback serious game to reduce mental stress based on biomedcal signals | |
| JP2023537996A (en) | Methods and systems for measuring levels of anxiety combined and/or correlated with modified levels of consciousness and/or pain levels | |
| Thompson et al. | Treating postconcussion syndrome with LORETA Z-score neurofeedback and heart rate variability biofeedback: Neuroanatomical/neurophysiological rationale, methods, and case examples | |
| Peng et al. | EEG correlates of sustained attention variability during discrete multi-finger force control tasks | |
| Qu et al. | The effects of a virtual reality rehabilitation task on elderly subjects: An experimental study using multimodal data | |
| KR102508163B1 (en) | Method and device for affect evaluation based on new eeg electrode placement reflecting affect sources in the brain | |
| Browne | Biofeedback and neurofeedback | |
| Ngamsomphornpong et al. | Development of Hybrid EEG-fEMG-based Stress Levels Classification and Biofeedback Training System | |
| US20220104751A1 (en) | A method and system for monitoring a level of non-pharmacologically-induced modified state of consciousness | |
| Moyosola et al. | Development of a low-cost and user-friendly neurofeedback tool to treat depression, insomnia, anxiety, pain and ADHD using an Arduino and Android Application | |
| Rodero | Measuring People's Cognitive and Emotional Response: Psychophysiological Methods to Study Sound Design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |