KR102239430B1 - Method and apparatus for determining emotion using interoception-related brainwave - Google Patents
Method and apparatus for determining emotion using interoception-related brainwave Download PDFInfo
- Publication number
- KR102239430B1 KR102239430B1 KR1020190012481A KR20190012481A KR102239430B1 KR 102239430 B1 KR102239430 B1 KR 102239430B1 KR 1020190012481 A KR1020190012481 A KR 1020190012481A KR 20190012481 A KR20190012481 A KR 20190012481A KR 102239430 B1 KR102239430 B1 KR 102239430B1
- Authority
- KR
- South Korea
- Prior art keywords
- eeg
- induced
- emotional
- signal
- information
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
다양한 실시예들에 따른 내수용 뇌파를 이용한 감정 자극 판독 방법 및 장치는, 감정 자극에 대응하여 심박 유발 뇌파 정보를 저장하고, 검출되는 뇌파 신호에 기반하여, 심박 유발 뇌파 정보를 검출하고, 심박 유발 뇌파 정보에 대응하여, 감정 자극을 판독하도록 구성될 수 있다. A method and apparatus for reading emotional stimulation using internal EEG according to various embodiments includes storing heart rate-induced EEG information in response to emotional stimulation, detecting heart rate-induced EEG information based on the detected EEG signal, and detecting heart rate-induced EEG. In response to the information, it may be configured to read an emotional stimulus.
Description
다양한 실시예들은 전자 장치 및 그의 동작 방법에 관한 것으로, 특히 내수용 뇌파를 이용한 감정 자극 판독 방법 및 장치에 관한 것이다. Various embodiments relate to an electronic device and a method of operating the same, and more particularly, to a method and apparatus for reading emotional stimulation using internal brain waves.
두뇌 활동을 측정할 수 있는 기술들이 개발되면서, 인간의 정신 상태를 판독하려는 연구가 진행되고 있다. 일반적으로, 시각적 자극에 따른 두뇌 활동을 기반으로, 인간의 정신 상태를 판독하려는 연구가 진행되고 있다. 이러한 연구 결과가 시각적 자극에 대한 두뇌 반응에 기반하여, 신원을 확인하거나, 음성을 식별하는 데 이용되고 있다. As technologies capable of measuring brain activity are developed, research is being conducted to read the mental state of humans. In general, research is being conducted to read the mental state of humans based on brain activity according to visual stimuli. These findings are being used to identify or identify speech, based on the brain's response to visual stimuli.
그런데, 상기와 같은 연구 결과에 따르면, 두뇌 활동으로부터 감정 자극을 판독하는 데 어려움이 있다. 따라서, 두뇌 활동에 기반하여, 감정 자극을 판독하는 방안이 요구된다. However, according to the above research results, it is difficult to read emotional stimuli from brain activity. Therefore, a method of reading emotional stimuli based on brain activity is required.
다양한 실시예들에 따른 전자 장치의 감정 자극 판독 방법은, 감정 자극에 대응하여 심박 유발 뇌파(heartbeat evoked potential; HEP) 정보를 저장하는 동작, 검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하는 동작, 및 상기 심박 유발 뇌파 정보에 대응하여, 상기 감정 자극을 판독하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, a method of reading emotional stimulation of an electronic device includes an operation of storing heartbeat evoked potential (HEP) information in response to the emotional stimulation, and based on the detected EEG signal, the heartbeat-induced EEG information is stored. The detection operation may include an operation of reading the emotional stimulus in response to the heartbeat-induced EEG information.
다양한 실시예들에 따른 전자 장치는, 감정 자극 판독을 위한 장치로서, 메모리, 및 상기 메모리와 연결되는 프로세서를 포함할 수 있다. 다양한 실시예들에 따르면, 상기 프로세서는, 감정 자극에 대응하여 심박 유발 뇌파 정보를 상기 메모리에 저장하고, 검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하고, 상기 심박 유발 뇌파 정보에 대응하여, 상기 감정 자극을 판독하도록 구성될 수 있다. An electronic device according to various embodiments of the present disclosure is a device for reading emotional stimuli, and may include a memory and a processor connected to the memory. According to various embodiments, the processor stores heart rate-induced EEG information in the memory in response to emotional stimulation, detects the heart rate-induced EEG information based on the detected EEG signal, and determines the heart rate-induced EEG information. Correspondingly, it may be configured to read the emotional stimulus.
다양한 실시예들에 따르면, 전자 장치가 감정 자극을 판독하는 데 심박 유발 뇌파 정보를 이용함으로써, 감정 자극에 대한 판독 성능을 향상시킬 수 있다. 이를 통해, 우울증, 불안장애, 경계성 인격장애 등의 감정 관련 정신과적 질환에 대한 정밀한 진단 및 치료 경과를 판단하는 데 있어서, 정확성 및 효율성이 증대될 수 있다.According to various embodiments, the electronic device may improve the reading performance of the emotional stimulus by using the heartbeat-induced brainwave information to read the emotional stimulus. Through this, accuracy and efficiency can be increased in precise diagnosis and determination of treatment progress for emotion-related psychiatric disorders such as depression, anxiety disorder, borderline personality disorder, and the like.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
도 3은 도 2의 데이터 베이스 저장 동작을 도시하는 도면이다.
도 4는 도 3의 감정 자극 발생 동작을 설명하기 위한 도면이다.
도 5는 도 3의 심박 유발 뇌파 정보 검출 동작을 도시하는 도면이다.
도 6, 도 7, 도 8, 도 9 및 도 10은 도 2의 심박 유발 뇌파 정보 검출 동작을 설명하기 위한 도면이다.
도 11은 도 2의 감정 자극 판독 동작을 도시하는 도면이다.
도 12는 도 2의 감정 자극 판독 동작을 설명하기 위한 도면이다. 1 is a diagram illustrating an electronic device according to various embodiments.
2 is a diagram illustrating a method of operating an electronic device according to various embodiments.
3 is a diagram illustrating a database storage operation of FIG. 2.
FIG. 4 is a diagram for describing an operation of generating emotional stimulation of FIG. 3.
5 is a diagram illustrating an operation of detecting heartbeat-induced brainwave information of FIG. 3.
6, 7, 8, 9, and 10 are diagrams for explaining an operation of detecting heartbeat-induced EEG information of FIG. 2.
11 is a diagram illustrating an emotional stimulus reading operation of FIG. 2.
12 is a diagram for explaining an emotional stimulus reading operation of FIG. 2.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다. Hereinafter, various embodiments of the present document will be described with reference to the accompanying drawings.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.Various embodiments of the present document and terms used therein are not intended to limit the technology described in this document to a specific embodiment, and should be understood to include various modifications, equivalents, and/or substitutes of the corresponding embodiment. In connection with the description of the drawings, similar reference numerals may be used for similar elements. Singular expressions may include plural expressions unless the context clearly indicates otherwise. In this document, expressions such as "A or B", "at least one of A and/or B", "A, B or C" or "at least one of A, B and/or C" are all of the items listed together. It can include possible combinations. Expressions such as "first", "second", "first" or "second" can modify the corresponding elements regardless of their order or importance, and are only used to distinguish one element from another. It does not limit the components. When any (eg, first) component is referred to as being “(functionally or communicatively) connected” or “connected” to another (eg, second) component, the component is It may be directly connected to the component, or may be connected through another component (eg, a third component).
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다. The term "module" used in this document includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic blocks, parts, or circuits. The module may be an integrally configured component or a minimum unit that performs one or more functions, or a part thereof. For example, the module may be configured as an application-specific integrated circuit (ASIC).
신체 표지자 가설(somatic marker hypothesis)에 따르면, 사람의 주관적 감정 경험은 인체 내부의 장기(viscera)에서 발생되는 말초 신경 신호를 뇌, 특히 대뇌피질에서 처리하는 것과 밀접한 관련이 있다. 이 때 내부 장기에서 발생하는 신호는 내수용 감각 신호(interoceptive signal)로 표현되고, 뇌에서 이러한 신호를 감지하는 것이 내수용 감각(interoception)이라고 표현될 수 있다. 내수용 감각 신호는 뇌에서 여러 단계를 거쳐서 가공 및 처리되며, 내수용 감각 신호가 어떻게 대뇌피질에서 해석되는 가에 따라, 주관적 감정 경험이 달라질 수 있다. 따라서, 내수용 감각 신호를 적절히 처리하지 못하는 경우, 여러 가지 정신과적 질환, 특히 감정과 관련된 정신과적 질환이 유발될 수 있으며, 대표적인 예로는 우울증, 불안장애, 경계성 인격장애 등이 있다. According to the somatic marker hypothesis, a person's subjective emotional experience is closely related to the processing of peripheral nerve signals generated by the internal organs (viscera) in the brain, especially in the cerebral cortex. At this time, signals generated from internal organs are expressed as interoceptive signals, and detecting these signals in the brain can be expressed as interoception. Sensory signals for internal acceptance are processed and processed in the brain through several stages, and subjective emotional experiences may vary depending on how the internal sensory signals are interpreted in the cerebral cortex. Therefore, if the internal sensory signals are not properly processed, various psychiatric diseases, especially emotional psychiatric diseases, may be caused, and representative examples include depression, anxiety disorder, borderline personality disorder, and the like.
상기와 같은 이유로, 내수용 감각 신호의 가공 및 처리는 감정 처리 과정에 있어서 가장 핵심적이라고 해도 과언이 아니다. 다만, 일반적으로 신체에서 일어나는 자율신경계 반응, 예컨대 심박 변이도나 피부저항, 또는 시각적 자극이나 청각적 자극과 관련된 뇌 반응에 기반하여, 감정 처리 과정이 판독되고 있다. 그러나, 자율신경계 반응은 감정 상태에 특이적이지 않으며, 시각적 자극이나 청각적 자극과 관련된 뇌 반응으로 감정 처리 과정을 판독하는 경우, 자극의 종류에 따라 판독 성능이 낮을 수 있다. 따라서, 내수용 감각 신호의 가공 및 처리에 기반하여, 감정 처리 과정을 판독하는 것은, 감정 처리의 본질적인 메커니즘을 이용하여, 감정 자극의 종류 에 관계없이 감정 처리 과정을 판독할 수 있게 해줄 것이다.For the above reasons, it is no exaggeration to say that processing and processing of sensory signals for domestic use is the most essential in the emotional processing process. However, in general, based on an autonomic nervous system response occurring in the body, for example, heart rate variability or skin resistance, or a brain response related to a visual or auditory stimulus, an emotion processing process is being read. However, the autonomic nervous system response is not specific to an emotional state, and when an emotion processing process is read by a brain response related to a visual or auditory stimulus, the reading performance may be low depending on the type of stimulus. Therefore, reading the emotion processing process based on the processing and processing of sensory signals for domestic use will enable reading the emotion processing process irrespective of the type of emotional stimulus, using an intrinsic mechanism of emotion processing.
다양한 실시예들에 따르면, 내수용 감각 신호의 가공 및 처리에 기반하여, 감정 처리 과정을 판독하기 위해, 심박 유발 뇌파(heartbeat evoked potential) 정보가 이용될 수 있다. 심박 유발 뇌파 정보는, 심박 신호가 발생된 후 200 ms 내지 600 ms의 시간대역에서 발생하는 뇌파 신호로, 심박이 미주신경(vagus nerve)을 통해 중추신경계에서 대뇌피질을 자극할 때 나타나는 뇌파 신호로부터 검출될 수 있다. 이러한 뇌파 신호는 심박 신호를 대뇌에서 처리하는 과정을 반영하는 것으로 알려져 있으며, 우울증, 불안장애, 경계성 인격장애 등의 감정 관련 정신과적 질환에서 민감하게 변화하는 것으로 알려져 있다. 감정적 자극과 중립적 자극에 따른 뇌파 신호의 시공간적 패턴 변화로부터, 심박 유발 뇌파 정보가 검출될 수 있다. According to various embodiments, heartbeat evoked potential information may be used to read an emotion processing process based on processing and processing of sensory signals for domestic use. Heart rate-induced EEG information is an EEG signal generated in a time range of 200 ms to 600 ms after the heart rate signal is generated, and is derived from the EEG signal that appears when the heart rate stimulates the cerebral cortex in the central nervous system through the vagus nerve. Can be detected. These EEG signals are known to reflect the process of processing heartbeat signals in the brain, and are known to change sensitively in emotion-related psychiatric disorders such as depression, anxiety disorder, and borderline personality disorder. Heart rate-induced EEG information may be detected from changes in spatiotemporal patterns of EEG signals according to emotional stimulation and neutral stimulation.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다. 1 is a diagram illustrating an electronic device according to various embodiments.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는, 감정 자극을 판독하기 위한 장치로서, 감지부(110), 메모리(120), 표시부(130) 또는 프로세서(140) 중 적어도 어느 하나를 포함할 수 있다. Referring to FIG. 1, an
감지부(110)는 객체의 생체 신호를 감지할 수 있다. 여기서, 객체는 사람을 포함할 수 있다. 예를 들면, 감지부(110)는 인체에 접촉하여, 생체 신호를 감지할 수 있다. 이 때 생체 신호는 심전도 신호와 뇌파 신호를 포함할 수 있다. The sensing unit 110 may detect a biosignal of an object. Here, the object may include a person. For example, the sensing unit 110 may detect a biosignal by contacting a human body. In this case, the biosignal may include an electrocardiogram signal and an EEG signal.
메모리(120)는 전자 장치(100)의 적어도 하나의 구성 요소에 의해 사용되는 데이터를 저장할 수 있다. 메모리(120)는 프로그램과 같은 소프트웨어 및 그와 관련된 명령에 대한 입력 데이터 또는 출력 데이터 중 적어도 어느 하나를 저장할 수 있다. 프로그램은 운영 체제, 미들웨어 또는 어플리케이션 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. 일 실시예에 따르면, 메모리(120)는 감정 자극과 관련된 데이터 베이스를 포함할 수 있다. 예를 들면, 데이터 베이스는 복수 개의 코드화 모델들을 저장할 수 있으며, 코드화 모델들은 각각의 감정 자극과 관련된 심박 유발 뇌파(heartbeat evoked potential; HEP) 정보를 나타낼 수 있다. The memory 120 may store data used by at least one component of the
표시부(130)는 전자 장치(100)의 외부로 데이터를 시각적으로 제공할 수 있다. 예를 들면, 표시부(130)는 디스플레이, 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. The display unit 130 may visually provide data to the outside of the
프로세서(140)는 프로그램에 기반하여 전자 장치(100)의 적어도 하나의 구성 요소를 제어하고, 데이터 처리 및 연산을 수행할 수 있다. 프로세서(140)는 감정 자극에 대응하여 심박 유발 뇌파 정보를 메모리(120)에 저장할 수 있다. 이를 위해, 프로세서(140)는 감지부(110)를 통하여 감정 자극과 관련된 심정도 신호와 뇌파 신호를 검출하고, 심전도 신호와 뇌파 신호로부터 심박 유발 뇌파 정보를 검출할 수 있다. 일 실시예에 따르면, 프로세서(140)는 심박 유발 뇌파 정보를 코딩하고, 감정 자극과 심박 유발 뇌파 정보를 연관시켜, 데이터 베이스에 저장할 수 있다. 그리고 프로세서(140)는 메모리(120)의 심박 유발 뇌파 정보를 이용하여, 감정 자극을 판독할 수 있다. 프로세서(140)는 감지부(110)를 통하여 검출되는 뇌파 신호에 기반하여, 심박 유발 뇌파 정보를 검출하고, 심박 유발 뇌파 정보에 대응하여, 감정 자극을 판독할 수 있다. 일 실시예에 따르면, 프로세서(140)는 데이터 베이스의 심박 유발 뇌파 정보를 디코딩하여 추출되는 뇌파 신호와 감지부(110)를 통하여 검출되는 뇌파 신호를 비교하여, 데이터 베이스로부터 심박 유발 뇌파 정보와 그에 대응하는 감정 자극을 선택할 수 있다. The processor 140 may control at least one component of the
다양한 실시예들에 따른 전자 장치(100)는, 감정 자극 판독을 위한 장치로서, 메모리(120), 및 메모리(120)와 연결되는 프로세서(140)를 포함할 수 있다. The
다양한 실시예들에 따르면, 상기 프로세서(140)는, 감정 자극에 대응하여 심박 유발 뇌파 정보를 상기 메모리(120)에 저장하고, 검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하고, 상기 심박 유발 뇌파 정보에 대응하여, 상기 감정 자극을 판독하도록 구성될 수 있다. According to various embodiments, the processor 140 stores heartbeat-induced EEG information in the memory 120 in response to emotional stimulation, and detects the heartbeat-induced EEG information based on the detected EEG signal, In response to the heart rate-induced brain wave information, it may be configured to read the emotional stimulus.
다양한 실시예들에 따르면, 상기 전자 장치(100)는, 심전도 신호 및 뇌파 신호를 감지하도록 구성되는 감지부(110)를 더 포함할 수 있다. According to various embodiments, the
다양한 실시예들에 따르면, 상기 프로세서(140)는, 상기 감지부(110)를 통하여, 상기 감정 자극과 관련된 심전도 신호와 뇌파 신호를 검출하고, 상기 심전도 신호와 뇌파 신호를 분석하여, 상기 심박 유발 뇌파 정보를 검출하고, 상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 상기 메모리(120)에 저장하도록 구성될 수 있다. According to various embodiments, the processor 140, through the sensing unit 110, detects an electrocardiogram signal and an EEG signal related to the emotional stimulation, analyzes the electrocardiogram signal and the EEG signal, and causes the heartbeat. It may be configured to detect EEG information and store the heart rate-induced EEG information in the memory 120 in response to the emotional stimulation.
다양한 실시예들에 따르면, 상기 프로세서(140)는, 상기 심전도 신호에서 R-피크를 검출하고, 상기 뇌파 신호에서 상기 R-피크로부터 정해진 시간이 경과된 일부 영역을 검출하고, 상기 일부 영역을 이용하여, 상기 심박 유발 뇌파 정보를 검출하도록 구성될 수 있다. According to various embodiments, the processor 140 detects an R-peak in the electrocardiogram signal, detects a partial region in which a predetermined time has elapsed from the R-peak in the EEG signal, and uses the partial region. Thus, it may be configured to detect the heart rate-induced brain wave information.
다양한 실시예들에 따르면, 상기 일부 영역은 상기 R-피크로부터 상기 정해진 시간이 경과된 지점으로부터 시작되며, 정해진 시간 간격으로 형성될 수 있다.According to various embodiments, the partial region starts from a point where the predetermined time has elapsed from the R-peak, and may be formed at predetermined time intervals.
다양한 실시예들에 따르면, 상기 메모리(120)는, 상기 감정 자극과 심박 유발 뇌파 정보가 상호 연관되어 저장되는 데이터 베이스를 포함할 수 있다. According to various embodiments, the memory 120 may include a database in which the emotional stimulation and heartbeat-induced brainwave information are correlated and stored.
다양한 실시예들에 따르면, 상기 프로세서(140)는, 상기 심박 유발 뇌파 정보를 코딩하고, 상기 감정 자극과 상기 심박 유발 뇌파 정보를 연관시켜, 상기 데이터 베이스에 저장하도록 구성될 수 있다.According to various embodiments, the processor 140 may be configured to code the heartbeat-induced EEG information, associate the emotional stimulus with the heartbeat-induced EEG information, and store the data in the database.
다양한 실시예들에 따르면, 상기 프로세서(140)는, 상기 검출되는 뇌파 신호에 기반하여, 상기 데이터 베이스로부터 상기 심박 유발 뇌파 정보를 검출하도록 구성될 수 있다.According to various embodiments, the processor 140 may be configured to detect the heartbeat-induced EEG information from the database based on the detected EEG signal.
다양한 실시예들에 따르면, 상기 프로세서(140)는, 상기 데이터 베이스에 기반하여, 상기 심박 유발 뇌파 정보를 디코딩하여, 뇌파 신호를 추출하고, 상기 검출되는 뇌파 신호와 상기 추출되는 뇌파 신호를 비교하여, 상기 데이터 베이스로부터 상기 심박 유발 뇌파 정보를 선택하도록 구성될 수 있다. According to various embodiments, the processor 140, based on the database, decodes the heartbeat-induced EEG information, extracts an EEG signal, and compares the detected EEG signal with the extracted EEG signal. , It may be configured to select the heart rate-induced EEG information from the database.
다양한 실시예들에 따르면, 상기 프로세서(140)는, 상기 감정 자극을 발생하고, 상기 감지부(110)를 통하여, 상기 심전도 신호와 뇌파 신호를 검출하도록 구성될 수 있다.According to various embodiments, the processor 140 may be configured to generate the emotional stimulation and detect the ECG signal and the EEG signal through the sensing unit 110.
다양한 실시예들에 따르면, 상기 프로세서(140)는, 상기 감정 자극과 관련된 감정적 조건과 중립전 조건을 정해진 시간 간격으로 발생하도록 구성될 수 있다. According to various embodiments, the processor 140 may be configured to generate an emotional condition related to the emotional stimulation and a pre-neutral condition at predetermined time intervals.
도 2는 다양한 실시예들에 따른 전자 장치(100)의 동작 방법을 도시하는 도면이다. 2 is a diagram illustrating a method of operating an
도 2를 참조하면, 전자 장치(100)는 210 동작에서 감정 자극에 대응하여 심박 유발 뇌파 정보를 저장할 수 있다. 이를 위해, 전자 장치(100)가 감정 자극과 관련된 심박 유발 뇌파 정보에 대한 학습을 수행할 수 있다. 여기서, 전자 장치(100)는 복수의 객체들과 다양한 감정 자극에 대하여, 반복적으로 학습을 수행할 수 있다. 이 때 프로세서(140)가 감정 자극과 심박 유발 뇌파 정보를 연관시켜, 메모리(120)의 감정 자극과 관련된 데이터 베이스에 저장할 수 있다. 프로세서(140)는 감정 자극에 대응하여 심박 유발 뇌파 정보를 검출할 수 있다. Referring to FIG. 2, in
도 3은 도 2의 데이터 베이스 저장 동작을 도시하는 도면이다. 도 4는 도 3의 감정 자극 발생 동작을 설명하기 위한 도면이다. 3 is a diagram illustrating a database storage operation of FIG. 2. FIG. 4 is a diagram for describing an operation of generating emotional stimulation of FIG. 3.
도 3을 참조하면, 전자 장치(100)는 310 동작에서 감정 자극을 발생할 수 있다. 프로세서(140)는 감정 자극을 시각적 또는 청각적 중 적어도 어느 하나로 발생시킬 수 있다. 일 실시예에 따르면, 프로세서(140)는, 도 4에 도시된 바와 같이 표시부(130)를 통하여, 시각적으로 감정 자극을 발생할 수 있다. 다른 실시예에 따르면, 프로세서(140)는 오디오 신호로서, 청각적으로 감정 자극을 발생할 수 있다. 이 때 프로세서(140)는 감정 자극과 관련된 감정적 조건과 중립적 조건을 정해진 시간 간격으로 발생할 수 있다. Referring to FIG. 3, the
예를 들면, 감정 자극은 행복 자극과 슬픔 자극을 포함하며, 감정적 조건은 행복 자극과 관련된 행복 조건과 슬픔 자극과 관련된 슬픔 조건을 포함할 수 있다. 일 예로, 프로세서(140)는, 도 4의 (a)에 도시된 바와 같이 슬픔 조건을 발생하고 0.5 s 동안 슬픔 조건을 유지한 다음, 도 4의 (b)에 도시된 바와 같이 중립적 조건을 발생하고 1 s 동안 중립적 조건을 유지할 수 있다. 다른 예로, 프로세서(140)는, 도 4의 (c)에 도시된 바와 같이 슬픔 조건을 발생하고 0.5 s 동안 행복 조건을 유지한 다음, 도 4의 (b)에 도시된 바와 같이 중립적 조건을 발생하고 1 s 동안 중립적 조건을 유지할 수 있다. 여기서, 객체의 지속적인 관심이 유지되도록, 프로세서(140)는 어떤 중립적 조건을 유지한 다음, 도 4의 (d)에 도시된 바와 같이 임의로 지정된 지시자를 제공할 수 있다. For example, the emotional stimulus may include a happiness stimulus and a sadness stimulus, and the emotional condition may include a happiness condition related to the happiness stimulus and a sadness condition related to the sadness stimulus. For example, the processor 140 generates a sadness condition as shown in FIG. 4(a) and maintains the sadness condition for 0.5 s, and then generates a neutral condition as shown in FIG. 4(b). And maintain a neutral condition for 1 s. As another example, the processor 140 generates a sad condition as shown in FIG. 4(c) and maintains the happy condition for 0.5 s, and then generates a neutral condition as shown in FIG. 4(b). And maintain a neutral condition for 1 s. Here, in order to maintain the continuous interest of the object, the processor 140 may maintain a certain neutral condition and then provide an indicator arbitrarily designated as shown in (d) of FIG. 4.
전자 장치(100)는 320 동작에서 감정 자극과 관련된 심전도 신호와 뇌파 신호를 검출할 수 있다. 감정 자극이 발생되는 동안, 프로세서(140)가 감지부(110)를 통하여, 객체의 심전도 신호와 뇌파 신호를 검출할 수 있다. 이 때 심전도 신호와 뇌파 신호는 감정 자극에 대한 객체의 반응 결과로서 나타낼 수 있다. 어떤 실시예에서, 프로세서(140)는 감정 자극을 발생하기 전부터 계속해서 객체의 심전도 신호와 뇌파 신호를 수집할 수 있다. 예를 들면, 프로세서(140)는 감정 자극의 시작 시점을 기준으로, 700 ms 전부터 1300 ms 후의 시간 동안 객체의 심전도 신호와 뇌파 신호를 수집할 수 있다. The
전자 장치(100)는 330 동작에서 심전도 신호와 뇌파 신호로부터 심박 유발 뇌파 정보를 검출할 수 있다. 프로세서(140)는 심전도 신호와 뇌파 신호를 분석하여, 심박 유발 뇌파 정보를 검출할 수 있다. 이 때 프로세서(140)는 심전도 신호의 R-피크(peak)에 기반하여, 뇌파 신호의 일부 영역을 검출할 수 있다. 이를 통해, 프로세서(140)는 뇌파 신호의 일부 영역으로부터 심박 유발 뇌파 정보를 검출할 수 있다. In
도 5는 도 3의 심박 유발 뇌파 정보 검출 동작을 도시하는 도면이다. 도 6, 도 7, 도 8, 도 9 및 도 10은 도 2의 심박 유발 뇌파 정보 검출 동작을 설명하기 위한 도면이다. 5 is a diagram illustrating an operation of detecting heartbeat-induced brainwave information of FIG. 3. 6, 7, 8, 9, and 10 are diagrams for explaining an operation of detecting heartbeat-induced EEG information of FIG. 2.
도 5를 참조하면, 전자 장치(100)는 510 동작에서 감정 자극과 관련하여, 심전도 신호를 분석할 수 있다. 이 때 프로세서(140)는 심전도 신호에서 R-피크(peak)를 검출할 수 있다. 예를 들면, 도 6에 도시된 바와 같이, 심전도 신호에서 R-피크가 나타날 수 있다. 사람에 있어서, 시각적 자극은 망막을 통해 즉시 중추 신경계로 전달되고, 심장 박동은 미주 신경 자극에 의한 R-피크로부터 약 200 ms 후에 중추 신경계로 전달된다. 이러한 이유로, 프로세서(140)는 감정 자극의 시작 시점으로부터 200 ms 이전에 발생되는 R-피크는 무시할 수 있다. Referring to FIG. 5, in
전자 장치(100)는 520 동작에서 심전도 신호에 기반하여, 뇌파 신호를 분석할 수 있다. 프로세서(140)는 뇌파 신호에서 R-피크를 기준으로 일부 영역을 검출할 수 있다. 예를 들면, 프로세서(140)는 R-피크를 기준으로, 500 ms 전부터 600 ms 후의 시간에 대응하여, 뇌파 신호의 일부 영역을 검출할 수 있다. 일 실시예에 따르면, 프로세서(140)는, 도 7 및 도 8에 도시된 바와 같이 뇌파 신호에서 R-피크로부터 정해진 시간이 경과된 일부 영역을 검출할 수 있다. 예를 들면, 프로세서(140)는, 도 7에 도시된 바와 같이 우측 전두엽의 뇌파 신호로부터 일부 영역을 검출할 수 있으며, 도 8에 도시된 바와 같이 RGP(right globus pallidus), RAI(right anterior insula), RACC(right anterior cingulated cortex) 또는 RSFG(right superior frontal gyrus) 중 적어도 어느 하나의 뇌파 신호로부터 일부 영역을 검출할 수 있다. 여기서, 뇌파 신호의 일부 영역은 R-피크로부터 정해진 시간이 경과된 지점으로부터 시작되며, 정해진 시간 간격으로 형성될 수 있다. 예를 들면, 정해진 시간은 488 ms 내지 515 ms 중 적어도 어느 한 값을 포함할 수 있다. 일 예로, 정해진 시간은 488 ms이고, 정해진 시간 간격은 R-피크로부터 488 ms부터 515 ms 까지일 수 있다. The
전자 장치(100)는 530 동작에서 감정 자극과 뇌파 신호의 인과 관계를 분석할 수 있다. 프로세서(140)는 뇌파 신호의 일부 영역에 기반하여, 감정 자극과 뇌파 신호의 인과 관계를 분석할 수 있다. 이 때 프로세서(140)는 그랜저 인과 관계(granger causality; GC) 분석을 수행하여, 감정 자극에 따른 뇌파 신호를 분석할 수 있다. 예를 들면, 프로세서(140)는 RAI의 뇌파 신호와 RACC의 뇌파 신호를 비교할 수 있다. 한편, 프로세서(140)는 감정 자극과 관련된 감정적 조건에 따른 인과 관계와 중립적 조건에 따른 인과 관계를 비교할 수 있다. The
전자 장치(100)는 540 동작에서 심박 유발 뇌파 정보를 검출할 수 있다. 프로세서(140)는 뇌파 신호의 일부 영역을 이용하여, 심박 유발 뇌파 정보를 검출할 수 있다. 이 때 프로세서(140)는 심박 유발 뇌파 정보를 코딩(coding)할 수 있다. 예를 들면, 프로세서(140)는, 도 9에 도시된 바와 같이 합성곱 신경망(convolution neural network; CNN) 구조에 기반하여, 심박 유발 뇌파 정보를 학습할 수 있다. 합성곱 신경망 구조는 5 개의 숨은 레이어, 예컨대 2 개의 합성곱 레이어(convolution layer)들, 2 개의 풀링 레이어(pooling layer)들 및 1 개의 소프트맥스 레이어(softmax layer)와 출력 레이어를 포함할 수 있다. 함성곱 신경망 구조에 따르면, 도 10에 도시된 바와 같이, 학습이 반복될수록, 학습 결과에 대한 정확도가 향상될 수 있다. 이 후 전자 장치(100)는 도 3으로 리턴할 수 있다. In
전자 장치(100)는 340 동작에서 감정 자극과 심박 유발 전위를 대응시킬 수 있다. 프로세서(140)는 감정 자극과 심박 유발 뇌파 정보를 연관시켜, 메모리(120)의 감정 자극과 관련된 데이터 베이스에 저장할 수 있다. 예를 들면, 데이터 베이스는 복수 개의 코드화 모델들을 저장할 수 있으며, 코드화 모델들은 각각의 감정 자극과 관련된 심박 유발 뇌파 정보를 나타낼 수 있다. 예를 들면, 프로세서(140)는 코드화 모델들 중 어느 하나를 업데이트할 수 있으며, 새로운 코드화 모델을 생성할 수 있다. 이 후 전자 장치(100)는 도 2로 리턴할 수 있다. The
전자 장치(100)는 220 동작에서 뇌파 신호를 기반으로 감정 자극을 판독할 수 있다. 이 때 프로세서(140)는 메모리(120)의 감정 자극과 관련된 데이터 베이스를 이용하여, 감정 자극을 판독할 수 있다. 프로세서(140)는 감지부(110)를 통하여 검출되는 뇌파 신호에 기반하여, 데이터 베이스로부터 심박 유발 뇌파 정보를 검출하고, 심박 유발 뇌파 정보에 대응하여, 감정 자극을 판독할 수 있다. 여기서, 프로세서(140)는 특정한 객체의 뇌파 신호에 대응하는 감정 자극을 판독할 수 있다. 이를 통해, 전자 장치(100)가 객체의 감정 처리 과정을 판독할 수 있다. The
도 11은 도 2의 감정 자극 판독 동작을 도시하는 도면이다. 도 12는 도 2의 감정 자극 판독 동작을 설명하기 위한 도면이다. 11 is a diagram illustrating an emotional stimulus reading operation of FIG. 2. 12 is a diagram for explaining an emotional stimulus reading operation of FIG. 2.
도 11을 참조하면, 전자 장치(100)는 1110 동작에서 뇌파 신호를 검출할 수 있다. 프로세서(140)는 감지부(110)를 통하여, 객체의 뇌파 신호를 검출할 수 있다. 여기서, 프로세서(140)는 정해진 시간 동안, 객체의 뇌파 신호를 검출할 수 있다. Referring to FIG. 11, the
전자 장치(100)는 1120 동작에서 뇌파 신호에 기반하여 심박 유발 뇌파 정보를 검출할 수 있다. 프로세서(140)는, 데이터 베이스(1210)로부터, 심박 유발 뇌파 정보를 선택할 수 있다. 예를 들면, 프로세서(140)는, 도 12에 도시된 바와 같이 데이터 베이스(1210)의 코드화 모델들에 각각 저장된 심박 유발 뇌파 정보를 디코딩하여, 각각의 뇌파 신호(점선)를 추출할 수 있다. 그리고 프로세서(140)는 감지부(110)를 통하여 검출된 뇌파 신호(실선)와 데이터 베이스(1210)로부터 추출된 뇌파 신호(점선)를 비교할 수 있다. 이 때 프로세서(140)는 감지부(110)를 통하여 검출된 뇌파 신호(실선)와 데이터 베이스(1210)로부터 추출된 뇌파 신호(점선)의 유사도를 확인할 수 있다. 이를 통해, 프로세서(140)는 감지부(110)를 통하여 검출된 뇌파 신호(실선)와 유사도에 기반하여, 데이터 베이스(1210)의 코드화 모델들 중 어느 하나의 심박 유발 뇌파 정보를 선택할 수 있다.In
전자 장치(100)는 1130 동작에서 심박 유발 뇌파 정보에 대응하는 감정 자극을 판독할 수 있다. 프로세서(140)는 메모리(120)의 데이터 베이스(1210)로부터 심박 유발 뇌파 정보에 대응하는 감정 자극을 판독할 수 있다. 이를 통해, 전자 장치(100)가 객체의 뇌파 신호에 대응하는 감정 자극을 판독할 수 있다. In
다양한 실시예들에 따른 전자 장치(100)의 감정 자극 판독 방법은, 감정 자극에 대응하여 심박 유발 뇌파 정보를 저장하는 동작, 검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하는 동작, 및 상기 심박 유발 뇌파 정보에 대응하여, 상기 감정 자극을 판독하는 동작을 포함할 수 있다. The method of reading emotional stimulation of the
다양한 실시예들에 따르면, 상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 저장하는 동작은, 상기 감정 자극과 관련된 심전도 신호와 뇌파 신호를 검출하는 동작, 상기 심전도 신호와 뇌파 신호를 분석하여, 상기 심박 유발 뇌파 정보를 검출하는 동작, 및 상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 저장하는 동작을 포함할 수 있다. According to various embodiments, the storing of the heartbeat-induced EEG information in response to the emotional stimulation includes an operation of detecting an electrocardiogram signal and an EEG signal related to the emotional stimulation, analyzing the electrocardiogram signal and the EEG signal, An operation of detecting heartbeat-induced EEG information, and an operation of storing the heartbeat-induced EEG information in response to the emotional stimulation.
다양한 실시예들에 따르면, 상기 심전도 신호와 뇌파 신호를 분석하여, 상기 심박 유발 뇌파 정보를 검출하는 동작은, 상기 심전도 신호에서 R-피크를 검출하는 동작, 상기 뇌파 신호에서 상기 R-피크로부터 정해진 시간이 경과된 일부 영역을 검출하는 동작, 및 상기 일부 영역을 이용하여, 상기 심박 유발 뇌파 정보를 검출하는 동작을 포함할 수 있다. According to various embodiments, the operation of analyzing the electrocardiogram signal and the EEG signal to detect the heartbeat-induced EEG information includes an operation of detecting an R-peak from the EEG signal, and determined from the R-peak in the EEG signal. An operation of detecting a partial region that has elapsed with time, and an operation of detecting the heartbeat-induced EEG information by using the partial region.
다양한 실시예들에 따르면, 상기 일부 영역은 상기 R-피크로부터 상기 정해진 시간이 경과된 지점으로부터 시작되며, 정해진 시간 간격으로 형성될 수 있다. According to various embodiments, the partial region starts from a point where the predetermined time has elapsed from the R-peak, and may be formed at predetermined time intervals.
다양한 실시예들에 따르면, 상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 저장하는 동작은, 상기 심박 유발 뇌파 정보를 코딩하는 동작, 및 상기 감정 자극과 상기 심박 유발 뇌파 정보를 연관시켜, 데이터 베이스에 저장하는 동작을 포함할 수 있다. According to various embodiments, the storing of the heart rate-induced EEG information in response to the emotional stimulus includes an operation of coding the heart rate-induced EEG information, and associating the emotional stimulus with the heart rate-induced EEG information, and a database It may include an operation of saving to.
다양한 실시예들에 따르면, 상기 검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하는 동작은, 상기 데이터 베이스로부터 상기 심박 유발 뇌파 정보를 검출하는 동작을 포함할 수 있다. According to various embodiments, the detecting of the heartbeat-induced EEG information based on the detected EEG signal may include detecting the heartbeat-induced EEG information from the database.
다양한 실시예들에 따르면, 상기 데이터 베이스로부터 상기 심박 유발 뇌파 정보를 검출하는 동작은, 상기 데이터 베이스에 기반하여, 상기 심박 유발 뇌파 정보를 디코딩하여, 뇌파 신호를 추출하는 동작, 및 상기 검출되는 뇌파 신호와 상기 추출되는 뇌파 신호를 비교하여, 상기 데이터 베이스로부터 상기 심박 유발 뇌파 정보를 선택하는 동작을 포함할 수 있다. According to various embodiments, the operation of detecting the heart rate-induced EEG information from the database includes an operation of extracting an EEG signal by decoding the heart rate-induced EEG information based on the database, and the detected EEG. Comparing the signal and the extracted EEG signal, the operation of selecting the heart rate-induced EEG information from the database may be included.
다양한 실시예들에 따르면, 상기 감정 자극과 관련된 상기 심전도 신호와 뇌파 신호를 검출하는 동작은, 상기 감정 자극을 발생하는 동작, 및 상기 심전도 신호와 뇌파 신호를 검출하는 동작을 포함할 수 있다. According to various embodiments, the operation of detecting the electrocardiogram signal and the EEG signal related to the emotional stimulation may include an operation of generating the emotional stimulation and an operation of detecting the electrocardiogram signal and the EEG signal.
다양한 실시예들에 따르면, 상기 감정 자극을 시각적으로 발생하는 동작은, 상기 감정 자극과 관련된 감정적 조건과 중립적 조건을 정해진 시간 간격으로 발생하는 동작을 포함할 수 있다. According to various embodiments, the operation of visually generating the emotional stimulation may include an operation of generating an emotional condition and a neutral condition related to the emotional stimulation at predetermined time intervals.
다양한 실시예들에 따르면, 상기 정해진 시간은 488 ms 내지 515 ms 중 적어도 어느 한 값을 포함할 수 있다. According to various embodiments, the predetermined time may include at least one of 488 ms to 515 ms.
다양한 실시예들에 따르면, 전자 장치(100)가 감정 자극을 판독하는 데 심박 유발 뇌파 정보를 이용함으로써, 감정 자극에 대한 판독 성능을 향상시킬 수 있다. 이를 통해, 우울증, 불안장애, 경계성 인격장애 등의 감정 관련 정신과적 질환에 대한 정밀한 진단 및 치료 경과를 판단하는 데 있어서, 정확성 및 효율성이 증대될 수 있다.According to various embodiments, the
본 문서의 다양한 실시예들에 관해 설명되었으나, 본 문서의 다양한 실시예들의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 문서의 다양한 실시예들의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. Although various embodiments of the present document have been described, various modifications may be made without departing from the scope of the various embodiments of the present document. Therefore, the scope of the various embodiments of the present document is limited to the described embodiments and should not be defined by the scope of the claims to be described later, as well as the scope and equivalents of the claims.
Claims (20)
감정 자극에 대응하여 심박 유발 뇌파 정보를 저장하는 동작;
검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하는 동작; 및
상기 심박 유발 뇌파 정보에 대응하여, 상기 감정 자극을 판독하는 동작을 포함하고,
상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 저장하는 동작은,
상기 감정 자극과 관련된 심전도 신호와 뇌파 신호를 검출하는 동작;
상기 심전도 신호와 뇌파 신호를 분석하여, 상기 심박 유발 뇌파 정보를 검출하는 동작; 및
상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 저장하는 동작을 포함하고,
상기 심전도 신호와 뇌파 신호를 분석하여, 상기 심박 유발 뇌파 정보를 검출하는 동작은,
상기 심전도 신호에서 R-피크를 검출하는 동작;
상기 뇌파 신호에서 상기 R-피크로부터 정해진 시간이 경과된 일부 영역을 검출하는 동작; 및
상기 일부 영역을 이용하여, 상기 심박 유발 뇌파 정보를 검출하는 동작을 포함하고,
상기 일부 영역은 상기 뇌파 신호에서 상기 R-피크로부터 상기 정해진 시간이 경과된 지점에서 시작되며, 정해진 시간 간격으로 형성되고,
상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 저장하는 동작은,
상기 심박 유발 뇌파 정보를 코딩하여, 코드화 모델을 생성하는 동작; 및
상기 감정 자극과 상기 코드화 모델을 연관시켜, 상기 코드화 모델을 데이터 베이스에 저장하는 동작을 포함하고,
상기 검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하는 동작은,
상기 데이터 베이스에 저장된 복수의 코드화 모델들을 디코딩하여, 상기 코드화 모델들의 뇌파 신호들을 각각 추출하는 동작; 및
상기 추출되는 뇌파 신호들의 각각과 상기 검출되는 뇌파 신호의 유사도에 기반하여, 상기 코드화 모델들 중 하나로부터 상기 심박 유발 뇌파 정보를 검출하는 동작을 포함하는 방법.
In the method for reading emotional stimuli of an electronic device,
Storing heartbeat-induced brainwave information in response to emotional stimulation;
Detecting the heartbeat-induced brainwave information based on the detected brainwave signal; And
In response to the heart rate-induced brain wave information, including an operation of reading the emotional stimulus,
The operation of storing the heartbeat-induced brainwave information in response to the emotional stimulation,
Detecting an electrocardiogram signal and an EEG signal related to the emotional stimulation;
Analyzing the ECG signal and the EEG signal to detect the heartbeat-induced EEG information; And
And storing the heartbeat-induced brainwave information in response to the emotional stimulation,
Analyzing the ECG signal and the EEG signal to detect the heart rate-induced EEG information,
Detecting an R-peak from the ECG signal;
Detecting a partial region of the brainwave signal in which a predetermined time has elapsed from the R-peak; And
And detecting the heartbeat-induced brainwave information by using the partial region,
The partial region starts at a point where the predetermined time has elapsed from the R-peak in the EEG signal, and is formed at a predetermined time interval,
The operation of storing the heartbeat-induced brainwave information in response to the emotional stimulation,
Generating a coded model by coding the heartbeat-induced brainwave information; And
Associating the emotional stimulus with the coded model, and storing the coded model in a database,
Based on the detected EEG signal, the operation of detecting the heartbeat-induced EEG information,
Decoding a plurality of coded models stored in the database and extracting EEG signals of the coded models, respectively; And
And detecting the heart rate-induced EEG information from one of the coding models based on the similarity between each of the extracted EEG signals and the detected EEG signal.
상기 감정 자극을 발생하는 동작; 및
상기 심전도 신호와 뇌파 신호를 검출하는 동작을 포함하는 방법.
The method of claim 1, wherein the detecting of the ECG signal and the EEG signal related to the emotional stimulation comprises:
Generating the emotional stimulation; And
A method comprising the operation of detecting the ECG signal and the EEG signal.
상기 감정 자극과 관련된 감정적 조건과 중립적 조건을 정해진 시간 간격으로 발생하는 동작을 포함하는 방법.
The method of claim 8, wherein the operation of visually generating the emotional stimulation,
And generating an emotional condition and a neutral condition related to the emotional stimulation at predetermined time intervals.
상기 정해진 시간은 488 ms 내지 515 ms 중 적어도 어느 한 값을 포함하는 방법.
The method of claim 1,
The predetermined time includes at least one of 488 ms to 515 ms.
메모리;
상기 메모리와 연결되는 프로세서; 및
심전도 신호 및 뇌파 신호를 감지하도록 구성되는 감지부를 포함하고,
상기 프로세서는,
감정 자극에 대응하여 심박 유발 뇌파 정보를 상기 메모리에 저장하고,
검출되는 뇌파 신호에 기반하여, 상기 심박 유발 뇌파 정보를 검출하고,
상기 심박 유발 뇌파 정보에 대응하여, 상기 감정 자극을 판독하도록 구성되고,
상기 프로세서는,
상기 감지부를 통하여, 상기 감정 자극과 관련된 심전도 신호와 뇌파 신호를 검출하고,
상기 심전도 신호와 뇌파 신호를 분석하여, 상기 심박 유발 뇌파 정보를 검출하고,
상기 감정 자극에 대응하여 상기 심박 유발 뇌파 정보를 상기 메모리에 저장하도록 구성되고,
상기 프로세서는,
상기 심전도 신호에서 R-피크를 검출하고,
상기 뇌파 신호에서 상기 R-피크로부터 정해진 시간이 경과된 일부 영역을 검출하고,
상기 일부 영역을 이용하여, 상기 심박 유발 뇌파 정보를 검출하도록 구성되고,
상기 일부 영역은 상기 뇌파 신호에서 상기 R-피크로부터 상기 정해진 시간이 경과된 지점에서 시작되며, 정해진 시간 간격으로 형성되고,
상기 프로세서는,
상기 심박 유발 뇌파 정보를 코딩하여, 코드화 모델을 생성하고,
상기 감정 자극과 상기 코드화 모델을 연관시켜, 상기 코드화 모델을 상기 메모리의 데이터 베이스에 저장하도록 구성되고,
상기 프로세서는,
상기 데이터 베이스에 저장된 복수의 코드화 모델들을 디코딩하여, 상기 코드화 모델들의 뇌파 신호들을 각각 추출하고,
상기 추출되는 뇌파 신호들의 각각과 상기 검출되는 뇌파 신호의 유사도에 기반하여, 상기 코드화 모델들 중 하나로부터 상기 심박 유발 뇌파 정보를 검출하도록 구성되는 전자 장치.
In the electronic device for reading emotional stimulus,
Memory;
A processor connected to the memory; And
Including a sensing unit configured to detect an electrocardiogram signal and an EEG signal,
The processor,
In response to emotional stimulation, heart rate-induced brain wave information is stored in the memory,
Based on the detected EEG signal, detecting the heart rate-induced EEG information,
In response to the heart rate-induced brain wave information, configured to read the emotional stimulus,
The processor,
Through the sensing unit, detecting an electrocardiogram signal and an EEG signal related to the emotional stimulation,
By analyzing the ECG signal and the EEG signal, detecting the heart rate-induced EEG information,
In response to the emotional stimulation, configured to store the heartbeat-induced brainwave information in the memory,
The processor,
Detecting the R-peak in the ECG signal,
In the brainwave signal, a partial region in which a predetermined time has elapsed from the R-peak is detected,
Using the partial region, configured to detect the heartbeat-induced brainwave information,
The partial region starts at a point where the predetermined time has elapsed from the R-peak in the EEG signal, and is formed at a predetermined time interval,
The processor,
By coding the heart rate-induced brain wave information, a coding model is generated,
Associating the emotional stimulus with the coding model, and storing the coded model in a database of the memory,
The processor,
By decoding a plurality of coded models stored in the database, each of the EEG signals of the coded models is extracted,
An electronic device configured to detect the heartbeat-induced EEG information from one of the coded models based on a similarity between each of the extracted EEG signals and the detected EEG signal.
상기 감정 자극을 발생하고,
상기 감지부를 통하여, 상기 심전도 신호와 뇌파 신호를 검출하도록 구성되는 전자 장치.
The method of claim 11, wherein the processor,
Generating the emotional stimulation,
An electronic device configured to detect the ECG signal and the EEG signal through the sensing unit.
상기 감정 자극과 관련된 감정적 조건과 중립적 조건을 정해진 시간 간격으로 발생하도록 구성되는 전자 장치. The method of claim 19, wherein the processor,
An electronic device configured to generate an emotional condition and a neutral condition related to the emotional stimulation at predetermined time intervals.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180122305 | 2018-10-15 | ||
KR20180122305 | 2018-10-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200042372A KR20200042372A (en) | 2020-04-23 |
KR102239430B1 true KR102239430B1 (en) | 2021-04-13 |
Family
ID=70472625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190012481A KR102239430B1 (en) | 2018-10-15 | 2019-01-31 | Method and apparatus for determining emotion using interoception-related brainwave |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102239430B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240125713A (en) | 2020-04-29 | 2024-08-19 | 주식회사 에스알파테라퓨틱스 | Antiviral digital device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007501657A (en) * | 2003-08-08 | 2007-02-01 | クアンタム・インテック・インコーポレーテッド | Electrophysiological intuition indicator |
KR101507657B1 (en) | 2013-10-10 | 2015-03-31 | 재단법인대구경북과학기술원 | Apparatus and method for detecting sensibility information based brain wave |
KR101719546B1 (en) * | 2015-10-08 | 2017-03-27 | 세종대학교산학협력단 | Real-time emotion recognition interface using multiple physiological signals of eeg and ecg |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100397188B1 (en) * | 2002-10-21 | 2003-09-13 | 한국표준과학연구원 | Real-time integrated sensibility assessments method and system thereof |
KR101945452B1 (en) * | 2017-02-24 | 2019-02-08 | (주)에프앤아이 | Furniture for examinating and treating mental state of user |
-
2019
- 2019-01-31 KR KR1020190012481A patent/KR102239430B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007501657A (en) * | 2003-08-08 | 2007-02-01 | クアンタム・インテック・インコーポレーテッド | Electrophysiological intuition indicator |
KR101507657B1 (en) | 2013-10-10 | 2015-03-31 | 재단법인대구경북과학기술원 | Apparatus and method for detecting sensibility information based brain wave |
KR101719546B1 (en) * | 2015-10-08 | 2017-03-27 | 세종대학교산학협력단 | Real-time emotion recognition interface using multiple physiological signals of eeg and ecg |
Also Published As
Publication number | Publication date |
---|---|
KR20200042372A (en) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yuan et al. | A multi-view deep learning framework for EEG seizure detection | |
CN107530012B (en) | system for brain activity resolution | |
US10849526B1 (en) | System and method for bio-inspired filter banks for a brain-computer interface | |
CN110853605B (en) | Music generation method and device and electronic equipment | |
KR101727940B1 (en) | Apparatus and method for decision of psychological state using bio signals | |
CN112617747B (en) | State estimation device, state estimation method, and storage medium | |
Bong et al. | Methods and approaches on inferring human emotional stress changes through physiological signals: A review | |
Hoffman et al. | Cortical mechanisms of sensory learning and object recognition | |
Zabihi et al. | Patient-specific epileptic seizure detection in long-term EEG recording in paediatric patients with intractable seizures | |
JP2012529286A (en) | Biological conditioning | |
KR102239430B1 (en) | Method and apparatus for determining emotion using interoception-related brainwave | |
Dash et al. | Automatic speech activity recognition from MEG signals using seq2seq learning | |
Das et al. | Eliminating individual bias to improve stress detection from multimodal physiological data | |
Mekruksavanich et al. | Deep learning approaches for epileptic seizures recognition based on eeg signal | |
KR102509544B1 (en) | Emotion recognition method and system based on heart-expression synchronization | |
Kim et al. | Development of person-independent emotion recognition system based on multiple physiological signals | |
Cecotti et al. | Suboptimal sensor subset evaluation in a p300 brain-computer interface | |
CN107802258A (en) | The massage helmet and its method of work alleviated for negative feeling | |
CN113343798A (en) | Training method, device, equipment and medium for brain-computer interface classification model | |
Lackner et al. | Event‐related potentials elicited to performance feedback in high‐shy and low‐shy adolescents | |
KR20220087113A (en) | System and Method of Stress Level Classification Using Electrogastrogram | |
Placidi et al. | Self-induced emotions as alternative paradigm for driving brain–computer interfaces | |
KR20200057309A (en) | Method and apparatus for re-learning emotion recognition based on physiological signals | |
Sun et al. | Emotion recognition of physical activities for health monitoring using machine learning | |
Eqlimi et al. | Time course of EEG complexity reflects attentional engagement during listening to speech in noise |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |