KR20210034458A - Deep neural network based conscious state determination device and method - Google Patents

Deep neural network based conscious state determination device and method Download PDF

Info

Publication number
KR20210034458A
KR20210034458A KR1020200019480A KR20200019480A KR20210034458A KR 20210034458 A KR20210034458 A KR 20210034458A KR 1020200019480 A KR1020200019480 A KR 1020200019480A KR 20200019480 A KR20200019480 A KR 20200019480A KR 20210034458 A KR20210034458 A KR 20210034458A
Authority
KR
South Korea
Prior art keywords
state
consciousness
user
probability
model
Prior art date
Application number
KR1020200019480A
Other languages
Korean (ko)
Other versions
KR102370627B1 (en
Inventor
이성환
이민지
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20210034458A publication Critical patent/KR20210034458A/en
Application granted granted Critical
Publication of KR102370627B1 publication Critical patent/KR102370627B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Disclosed is a deep neural network-based conscious state determination device, which includes: a collection unit for collecting brain signals; a preprocessing unit for generating 3D EEG information; a learning model generation unit for learning the awakening state of the 3D EEG information and learning the awakening state of the 3D EEG information; a consciousness level evaluation unit for inputting 3D EEG information into a model to calculate arousal probability and awareness probability; a consciousness state determination unit for determining a consciousness state; and an output unit for outputting a state of consciousness.

Description

심층신경망 기반 의식 상태 판단 장치 및 방법{DEEP NEURAL NETWORK BASED CONSCIOUS STATE DETERMINATION DEVICE AND METHOD}DEEP NEURAL NETWORK BASED CONSCIOUS STATE DETERMINATION DEVICE AND METHOD}

본 발명은 심층신경망 기반 의식 상태 판단 장치 및 방법에 관한 것으로, 보다 상세하게는, 뇌 신호를 각성 상태 및 지각 상태에 대해 각각 분석하여 사용자의 의식 상태를 판단하는 의식 상태 판단 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for determining a state of consciousness based on a deep neural network, and more particularly, to an apparatus and method for determining a state of consciousness of a user by analyzing a brain signal for an arousal state and a perceptual state, respectively. .

의식은 깨어 있는 상태에서 자기 자신이나 사물을 인식하는 작용을 의미한다. 정상적인 신경생리학적 측면에서, 수면이 이에 해당된다. 일반적으로, 의식은 수면 도중에 의식 상태에서 무의식 상태로 전환된다. 약물학적인 측면에서, 의식은 프로포폴(Propofol)과 같은 마취제에 의해 의식 상태에서 무의식 상태로 변화한다. 이와 관련하여, 인간은 마취를 통해 고통이나 또는, 다른 의식적인 경험을 없애고 움직임을 방지할 수 있으며, 호흡 등의 기능을 조절하는 자율신경계를 수 시간동안 안정적으로 유지할 수 있다. 한편, 병리학적인 측면에서, 움직일 수 있으나, 정상인과 비교하여 의식에 이상이 있는 의식 장애(Disorder of Consciousness)가 존재한다. 의식 장애는 식물인간 등으로 불리우는 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome, UWS), 최소의식상태(MCS: Minimally Conscious State) 등이 존재한다. 무반응 각성 증후군은 주기적으로 수면 상태에서 비수면 상태로 전환되나, 타인의 의사소통 시도에 어떠한 반응도 하지 못하는 상태를 의미한다. 구체적으로, 호흡과 수면, 심장박동과 동공 반응 등의 뇌간 반사만이 가능한 상태이다. 반면에, 최소의식상태는 말을 하지는 못하나, 때때로 본인의 의도를 전달할 수 있는 상태를 의미한다. 예를 들어, 웃거나 울기도 하며, 소리나 몸짓에 따라 눈으로 대상을 쫓기도 한다. Consciousness refers to the act of recognizing oneself or an object while awake. In terms of normal neurophysiology, this is sleep. In general, consciousness transitions from a conscious state to an unconscious state during sleep. On the pharmacological side, consciousness is changed from a conscious state to an unconscious state by an anesthetic such as Propofol. In this regard, humans can eliminate pain or other conscious experiences and prevent movement through anesthesia, and can stably maintain the autonomic nervous system that controls functions such as breathing for several hours. On the other hand, in the pathological aspect, there is a Disorder of Consciousness, which is movable but has an abnormality in consciousness compared to a normal person. Consciousness disorders include Unresponsive Wakefulness Syndrome (UWS) and Minimally Conscious State (MCS), which are called vegetative humans. Non-response arousal syndrome refers to a state in which a person is periodically converted from a sleep state to a non-sleep state, but does not respond to other people's attempts to communicate. Specifically, it is a state in which only brainstem reflexes such as breathing and sleep, heartbeat and pupil response are possible. On the other hand, a state of minimal consciousness refers to a state in which one cannot speak, but is able to convey one's intentions from time to time. For example, they may laugh or cry, or follow an object with their eyes according to a sound or gesture.

과거에는, 의식(Consciousness)과 반응(Responsiveness)이 동일한 것으로 인식되었다. 이와 관련하여, 자극에 대한 반응이 존재하지 않는 경우는 무의식 상태인 것으로 판단되었다. 그러나, 수면 중에 꿈을 꾸는 상태인 램(REM: Rapid Eye Movement)수면은 자극에 대한 반응은 불가능하나, 꿈을 꾸는 경험 등에 따라 의식이 존재하는 것으로 이해할 수 있다. 또한, 마취제의 일종인 케타민(Ketamine)의 경우, 프로포폴(Propofol)이나 제논(Xenon)과 같은 마취제와는 달리 마취 상태 동안 꿈과 같은 의식적 경험을 하기도 한다. 이는, 램수면과 유사한 상태로 이해할 수 있다. 따라서, 의식을 자극에 따른 반응의 유무로 판별하는 것은 정확하지 않을 수 있으며, 자극에 대한 반응 여부를 나타내는 각성(Arousal)과 의식이 존재하는지 여부를 나타내는 자각(Awareness)의 두 측면에서 의식 상태를 판단하는 방안이 요구되는 실정이다.In the past, Consciousness and Responsiveness were perceived as being the same. In this regard, when there is no response to the stimulus, it was judged to be an unconscious state. However, REM (Rapid Eye Movement) sleep, which is a state of dreaming during sleep, cannot respond to stimuli, but it can be understood that consciousness exists depending on the experience of dreaming. In addition, in the case of ketamine, which is a type of anesthetic, unlike anesthetics such as Propofol or Xenon, while under anesthesia, a conscious experience like a dream may be experienced. This can be understood as a state similar to RAM sleep. Therefore, it may not be accurate to determine the consciousness as the presence or absence of a response to the stimulus, and the state of consciousness is determined in two aspects: arousal, which indicates whether or not there is a response to the stimulus, and awareness, which indicates whether or not there is consciousness. There is a demand for a way to judge.

본 발명이 해결하고자 하는 기술적 과제는 뇌 신호를 각성 상태 및 지각 상태에 대해 각각 분석하여 사용자의 의식 상태를 판단하는 의식 상태 판단 장치 및 방법을 제공하는 것이다.The technical problem to be solved by the present invention is to provide a consciousness state determination apparatus and method for determining a user's consciousness state by analyzing brain signals for an arousal state and a perceived state, respectively.

본 발명의 일측면은, 뇌 신호를 수집하는 수집부; 상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 전처리부; 상기 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성하고, 상기 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성하는 학습 모델 생성부; 상기 3차원 뇌파 정보를 상기 각성 모델 및 자각 모델에 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 의식 수준 평가부; 상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 의식 상태 판단부; 및 상기 사용자의 의식 상태를 출력하는 출력부를 포함할 수 있다.One aspect of the present invention, a collection unit for collecting brain signals; A preprocessor for generating 3D brain wave information according to the location, frequency, and time of the brain region from the brain signal; A learning model generation unit generating an awakening model by learning a user's arousal state according to the pattern of the 3D EEG information, and generating a self-awareness model by learning the user's awakening state according to the pattern of the 3D EEG information; A consciousness level evaluation unit that inputs the 3D brain wave information into the arousal model and the awareness model to calculate an awakening probability representing a probability that the user generating the brain signal is in an awake state and an awareness probability representing a probability that the user is in an awake state; A consciousness state determination unit that determines a user's consciousness state according to the awakening probability and the awakening probability; And an output unit that outputs the user's consciousness state.

또한, 상기 의식 수준 평가부는, 상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.In addition, the consciousness level evaluation unit searches for at least one feature point among elements provided in the 3D EEG information based on at least one model of the arousal model and the awareness model, and a brain region matching the position of the feature point It is possible to generate feature area information indicating.

또한, 상기 전처리부는, 상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하며, 상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.In addition, the preprocessor may generate 2D EEG information according to the location of the brain region from the brain signal, and convert the 2D EEG information into 3D EEG information according to the location, frequency, and time of the brain region.

또한, 상기 각성 모델은, 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 하강 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습할 수 있다.In addition, the awakening model, when the user exists in the basic environment, learns the rising output for the non-sleep state, learns the falling output for the RAM (REM) sleep state, and descends for the non-RAM (NREM) sleep state. You can learn the output.

또한, 상기 각성 모델은, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습할 수 있다.In addition, the arousal model, when the user is in an anesthesia environment, learns the descent output in the state of ketamine anesthesia, learns the descent output in the state of Propofol anesthesia, and descends in the Xenon anesthesia state. You can learn the output.

또한, 상기 각성 모델은, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력을 학습할 수 있다.In addition, the arousal model, when the user is in a consciousness disorder environment, learns an ascending output in a Minimally Conscious State (MCS) state, and a descending output in an Unresponsive Wakefulness Syndrome (UWS) state. You can learn.

또한, 상기 자각 모델은, 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 상승 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습할 수 있다.In addition, the awareness model, when the user exists in the basic environment, learns the rising output for the non-sleep state, learns the rising output for the RAM (REM) sleep state, and descends for the non-RAM (NREM) sleep state. You can learn the output.

또한, 상기 자각 모델은, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습할 수 있다.In addition, the awareness model, when the user is in an anesthesia environment, learns an ascending output in a state of ketamine anesthesia, learns a descending output in a state of propofol anesthesia, and descends in a Xenon anesthesia state. You can learn the output.

또한, 상기 자각 모델은, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력을 학습할 수 있다.In addition, the awareness model, when the user is in a consciousness disorder environment, learns an ascending output in a Minimally Conscious State (MCS) state, and an ascending output in an Unresponsive Wakefulness Syndrome (UWS) state. You can learn.

본 발명의 다른 일측면은, 심층신경망 기반 의식 상태 판단 장치를 이용하여 의식 상태를 판단하는 의식 상태 판단 방법에 있어서, 뇌 신호를 수집하는 단계; 상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 단계; 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태가 학습된 각성 모델 및 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태가 학습된 자각 모델에 상기 3차원 뇌파 정보를 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 단계; 상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 단계; 및 상기 사용자의 의식 상태를 출력하는 단계를 포함할 수 있다.Another aspect of the present invention is a method for determining a state of consciousness using a device for determining a state of consciousness based on a deep neural network, the method comprising: collecting a brain signal; Generating 3D brain wave information according to the location, frequency, and time of the brain region from the brain signal; The 3D EEG information is added to the awakening model in which the user's arousal state according to the pattern of 3D EEG information provided in advance is learned, and the user's consciousness model in which the user's arousal state according to the pattern of 3D EEG information provided in advance is learned. Calculating an arousal probability representing a probability that the user who generated the brain signal by inputting is an awakened state and an awakening probability representing a probability that the user is in an awakening state; Determining a state of consciousness of a user according to the awakening probability and the awakening probability; And outputting the user's consciousness state.

또한, 상기 확률을 산출하는 단계는, 상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하는 단계; 및 상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성하는 단계를 더 포함할 수 있다.In addition, the calculating of the probability may include searching for at least one feature point among elements provided in the 3D brainwave information based on at least one of the arousal model and the subjective model; And generating feature region information indicating a brain region matching the position of the feature point.

또한, 상기 3차원 뇌파 정보를 생성하는 단계는, 상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하는 단계; 및 상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환하는 단계를 더 포함할 수 있다.In addition, generating the 3D EEG information may include: generating 2D EEG information according to a location of a brain region from the brain signal; And converting the 2D EEG information into 3D EEG information according to the location, frequency, and time of the brain region.

상술한 본 발명의 일측면에 따르면, 심층신경망 기반 의식 상태 판단 장치 및 방법을 제공함으로써, 뇌 신호를 각성 상태 및 지각 상태에 대해 각각 분석하여 사용자의 의식 상태를 판단할 수 있다.According to an aspect of the present invention described above, by providing an apparatus and method for determining a state of consciousness based on a deep neural network, it is possible to determine the state of consciousness of a user by analyzing brain signals for an arousal state and a perceived state, respectively.

도1은 본 발명의 일 실시예에 따른 의식 상태 판단 장치를 포함하는 의식 상태 판단 시스템의 개략도이다.
도2는 본 발명의 일 실시예에 따른 의식 상태 판단 장치의 제어블록도이다.
도3은 도2의 의식 상태 판단부에서 의식 상태를 판단하는 과정을 나타내는 블록도이다.
도4는 도2의 수집부에서 수집되는 뇌 신호를 나타내는 개략도이다.
도5는 도2의 전처리부에서 생성되는 3차원 뇌파 정보를 나타내는 개략도이다.
도6은 도2의 출력부의 일 실시예를 나타내는 개략도이다.
도7은 본 발명의 일 실시예에 따른 의식 상태 판단 방법의 순서도이다.1 is a schematic diagram of a consciousness state determination system including a consciousness state determination apparatus according to an embodiment of the present invention.
2 is a control block diagram of an apparatus for determining a state of consciousness according to an embodiment of the present invention.
3 is a block diagram illustrating a process of determining a conscious state by the conscious state determination unit of FIG. 2.
4 is a schematic diagram showing brain signals collected by the collection unit of FIG. 2.
5 is a schematic diagram showing 3D EEG information generated by the preprocessor of FIG. 2.
6 is a schematic diagram showing an embodiment of the output unit of FIG. 2.
7 is a flowchart of a method of determining a consciousness state according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention described below refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable a person skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention in connection with one embodiment. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description to be described below is not intended to be taken in a limiting sense, and the scope of the present invention, if appropriately described, is limited only by the appended claims, along with all ranges equivalent to those claimed by the claims. Like reference numerals in the drawings refer to the same or similar functions over several aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

도1은 본 발명의 일 실시예에 따른 의식 상태 판단 장치를 포함하는 의식 상태 판단 시스템의 개략도이다.1 is a schematic diagram of a consciousness state determination system including a consciousness state determination apparatus according to an embodiment of the present invention.

의식 상태 판단 시스템(1)은 뇌 신호 측정 장치(100) 및 의식 상태 판단 장치(200)를 포함할 수 있다.The consciousness state determination system 1 may include a brain signal measurement device 100 and a consciousness state determination device 200.

뇌 신호 측정 장치(100)는 사용자의 뇌 신호 또는 생체 신호 등을 검측하도록 적어도 하나의 전극이 마련될 수 있으며, 뇌 신호 측정 장치(100)는 전극으로부터 전달되는 뇌 신호 또는 생체 신호 등을 기록하는 측정기가 마련될 수 있다.The brain signal measurement apparatus 100 may be provided with at least one electrode to detect a user's brain signal or a bio signal, and the brain signal measurement apparatus 100 records a brain signal or a bio signal transmitted from the electrode. A measuring device can be provided.

여기에서, 뇌 신호는 대뇌피질의 활동에 의한 전위변화와 뇌파에 의하여 일어나는 뇌전류를 의미할 수 있으며, 이에 따라, 뇌 신호 측정 장치(100)는 뇌전류를 기록하는 뇌전도(EEG: Electroencephalography)가 이용될 수 있다.Here, the brain signal may mean a change in potential due to the activity of the cerebral cortex and a brain current generated by brain waves, and accordingly, the brain signal measurement device 100 uses an electroencephalography (EEG) to record a brain current. I can.

이와 관련하여, 측정기는 전극으로부터 유선 또는 무선 통신을 통해 뇌 신호 또는 생체 신호를 전달받을 수 있다.In this regard, the measuring device may receive a brain signal or a bio-signal from the electrode through wired or wireless communication.

한편, 뇌 신호 측정 장치(100)는 복수개의 뇌 영역에서 뇌 신호를 측정하여, 의식 상태 판단 장치(200)에 유선 또는 무선 네트워크를 이용하여 전달할 수 있다.Meanwhile, the apparatus 100 for measuring brain signals may measure brain signals in a plurality of brain regions and transmit them to the apparatus 200 for determining a state of consciousness using a wired or wireless network.

이때, 뇌 신호 측정 장치(100)는 외부의 입력에 의해 뇌 신호 또는 생체 신호의 측정을 수행할 수 있으며, 또는, 뇌 신호 측정 장치(100)는 사전에 설정되는 시간 간격마다 뇌 신호 또는 생체 신호의 측정을 수행할 수도 있다.At this time, the brain signal measurement device 100 may measure a brain signal or a bio-signal by an external input, or the brain signal measurement device 100 may perform a brain signal or a bio-signal at each preset time interval. It is also possible to perform the measurement of.

이에 따라, 의식 상태 판단 장치(200)는 뇌 신호를 수집할 수 있다.Accordingly, the apparatus 200 for determining the state of consciousness may collect brain signals.

의식 상태 판단 장치(200)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.The consciousness state determination apparatus 200 may generate 3D brain wave information according to a location, frequency, and time of a brain region from a brain signal.

이를 위해, 의식 상태 판단 장치(200)는 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성할 수 있으며, 의식 상태 판단 장치(200)는 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.To this end, the consciousness state determination apparatus 200 may generate 2D EEG information according to the location of the brain region from the brain signal, and the consciousness state determination apparatus 200 may transmit the 2D EEG information to the location, frequency, and position of the brain region. It can be converted into 3D brainwave information over time.

이때, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하고, 추출된 뇌파 정보에 단시간 푸리에 변환(Short Time Fourier Transform)을 수행하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.At this time, the consciousness state determination apparatus 200 extracts EEG information for a predetermined time interval from the two-dimensional EEG information generated according to at least one location of the brain region, and short-time Fourier transforms the extracted EEG information. Transform) can be performed to generate 3D EEG information according to the location, frequency, and time of the brain region.

예를 들어, 의식 상태 판단 장치(200)는 2차원 뇌파 정보로부터 5ms 간격으로 400ms 간격 동안의 뇌파 정보를 추출할 수 있으며, 추출된 뇌파 정보에 단시간 푸리에 변환을 수행하여 3차원 뇌파 정보를 생성할 수 있다.For example, the consciousness state determination apparatus 200 may extract EEG information for 400 ms intervals at 5 ms intervals from 2D EEG information, and generate 3D EEG information by performing a short Fourier transform on the extracted EEG information. I can.

한편, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보를 고속 푸리에 변환(FFT: Fast Fourier Transform) 등의 기법을 이용하여 주파수 정보를 추출하고, 추출된 주파수 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.On the other hand, the consciousness state determination apparatus 200 extracts the frequency information by using a technique such as Fast Fourier Transform (FFT) on the 2D brain wave information generated according to at least one position of the brain region, and extracts the extracted frequency information. EEG information for an arbitrary time interval may be extracted from the frequency information to generate 3D EEG information according to the location, frequency, and time of the brain region.

예를 들어, 의식 상태 판단 장치(200)는 2차원 뇌파 정보에 고속 푸리에 변환을 수행하여 주파수 정보를 추출하고, 추출된 주파수 정보로부터 5ms 간격으로 400ms 간격 동안의 뇌파 정보를 추출하여 3차원 뇌파 정보를 생성할 수 있다.For example, the consciousness state determination apparatus 200 extracts frequency information by performing a fast Fourier transform on 2D EEG information, and extracts EEG information for 400 ms intervals at 5 ms intervals from the extracted frequency information to obtain 3D EEG information. Can be created.

한편, 의식 상태 판단 장치(200)는 뇌 신호로부터 머리 또는 안구의 움직임에 의한 잡음을 제거할 수 있다. 이를 위해, 의식 상태 판단 장치(200)는 머리 또는 안구의 움직임에 의한 잡음을 제거하도록 머리 또는 안구의 움직임으로부터 발생하는 주파수 영역을 대역 차단 필터(Band Reject Filter) 등을 이용하여 제거할 수 있다.Meanwhile, the apparatus 200 for determining the state of consciousness may remove noise caused by movement of the head or the eyeball from the brain signal. To this end, the apparatus 200 for determining the state of consciousness may remove the frequency domain generated from the movement of the head or the eye by using a band reject filter or the like so as to remove noise due to the movement of the head or the eye.

또는, 의식 상태 판단 장치(200)는 머리 또는 안구의 움직임에 의한 잡음 외의 주파수 대역이 추출되도록 대역 통과 필터(Band Pass Filter)를 이용할 수도 있다.Alternatively, the consciousness state determination apparatus 200 may use a band pass filter to extract a frequency band other than noise caused by movement of the head or eyeball.

의식 상태 판단 장치(200)는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성할 수 있으며, 의식 상태 판단 장치(200)는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성할 수 있다.The consciousness state determination device 200 may generate an awakening model by learning the user's arousal state according to the pattern of 3D EEG information, and the consciousness state determination device 200 may generate the user's awareness according to the pattern of 3D EEG information. By learning the state, you can create a self-aware model.

이때, 의식 상태 판단 장치(200)는 각성 모델과 관련하여, 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 각성 상태의 여부를 학습할 수 있으며, 이에 따라, 의식 상태 판단 장치(200)는 학습된 각성 모델에 기초하여 임의의 3차원 뇌파 정보가 각성 상태일 확률을 판단할 수 있다.At this time, the consciousness state determination device 200 may learn whether an awakening state is present according to a pattern of 3D brainwave information provided in advance in relation to the arousal model, and accordingly, the consciousness state determination device 200 learns Based on the awakening model, it is possible to determine the probability that the arbitrary 3D EEG information is in the awakening state.

또한, 의식 상태 판단 장치(200)는 자각 모델과 관련하여, 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 각성 상태의 여부를 학습할 수 있으며, 이에 따라, 의식 상태 판단 장치(200)는 학습된 자각 모델에 기초하여 임의의 3차원 뇌파 정보가 각성 상태일 확률을 판단할 수 있다.In addition, the consciousness state determination device 200 may learn whether an awakening state is present according to a pattern of 3D brainwave information provided in advance in relation to the consciousness model, and accordingly, the consciousness state determination device 200 learns It is possible to determine the probability that the arbitrary 3D EEG information is in an awake state based on the self-aware model.

이를 위해, 의식 상태 판단 장치(200)는 합성곱 신경망(Convolution Neural Network), 순환 신경망(Recurrent Neural Network) 등의 딥러닝 기법을 이용하여 각성 모델 및 자각 모델을 생성할 수 있다.To this end, the apparatus 200 for determining the state of consciousness may generate an arousal model and a self-aware model using a deep learning technique such as a convolution neural network and a recurrent neural network.

이와 관련하여, 합성곱 신경망은 입력층, 적어도 하나의 특징추출층 및 예측층을 포함할 수 있으며, 이에 따라, 합성곱 신경망은 입력 정보가 입력층으로 입력되는 경우에, 적어도 하나의 특징 추출층에서 사전에 마련되는 필터와 입력 정보 간의 합성곱을 수행하여 특징을 추출하는 기법으로, 추출된 특징에 따라 입력 정보를 분류할 수 있다.In this regard, the convolutional neural network may include an input layer, at least one feature extraction layer, and a prediction layer. Accordingly, the convolutional neural network may include at least one feature extraction layer when input information is input to the input layer. This is a technique of extracting features by performing convolution between a filter prepared in advance and input information, and can classify input information according to the extracted features.

이때, 의식 상태 판단 장치(200)는 3차원 뇌파 정보의 각 요소에 대한 전력 스펙트럼 밀도(PSD: Power Spectrum Density)를 계산한 결과 값을 이용하여 각성 모델 및 자각 모델을 생성할 수도 있다.At this time, the consciousness state determination apparatus 200 may generate an arousal model and a self-awareness model using a result of calculating a power spectrum density (PSD) for each element of 3D EEG information.

이와 관련하여, 전력 스펙트럼 밀도는 유한한 신호로부터 나타나는 에너지를 의미하는 것으로, 전력 스펙트럼 밀도를 계산하는 방법은 상용화되어 있는 바, 자세한 설명은 생략하도록 한다.In this regard, the power spectral density refers to energy appearing from a finite signal, and a method of calculating the power spectral density is commercially available, and a detailed description thereof will be omitted.

한편, 의식 상태 판단 장치(200)는 병원, 의료 기관, 연구 기관 등에 구비되는 서버 장치 등으로부터 3차원 뇌파 정보의 패턴에 따른 각성 상태 및 자각 상태를 전달받을 수 있다.Meanwhile, the consciousness state determination apparatus 200 may receive an awakening state and an awakening state according to a pattern of 3D EEG information from a server device provided in a hospital, a medical institution, a research institution, or the like.

이때, 의식 상태 판단 장치(200)는 사용자의 환경에 따라 동일한 패턴으로부터 다른 각성 상태 및 다른 자각 상태를 학습할 수도 있으며, 사용자의 환경은 평상시의 비수면, 램(REM)수면, 비램(NREM)수면 등의 수면 상태에 따른 의식 상태 변화를 나타내는 기본 환경, 케타민(Ketamine), 프로포폴(Propofol), 제논(Xenon) 등의 약물에 의한 마취에 따른 의식 상태 변화를 나타내는 마취 환경 및 최소의식상태(MCS: Minimally Conscious State), 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome)등의 질환에 의한 의식 상태 변화를 나타내는 의식 장애 환경을 포함할 수 있다.At this time, the consciousness state determination device 200 may learn different arousal states and different awareness states from the same pattern according to the user's environment, and the user's environment is normal non-sleep, RAM (REM) sleep, and non-RAM (NREM). Anesthesia environment and minimal consciousness (MCS) indicating changes in consciousness according to anesthesia by drugs such as ketamine, propofol, and xenon. : Minimally Conscious State), Unresponsive Wakefulness Syndrome (UWS).

이와 관련하여, 각성 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 하강 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 각성 모델은 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력이 학습될 수 있다.In this regard, in the awakening model, when the user exists in the basic environment, the rising output is learned for the non-sleep state, the falling output is learned for the RAM (REM) sleep state, and the falling for the non-RAM (NREM) sleep state. The output can be learned, and the arousal model is that when the user is in an anesthesia environment, the descending output is learned in the state of ketamine anesthesia, the descending output is learned in the state of Propofol anesthesia, and Xenon anesthesia. In the state, the descending output can be learned, and if the user is in a consciousness disorder environment, the ascending output is learned in the Minimally Conscious State (MCS) state, and the Unresponsive Wakefulness Syndrome (UWS) state The descending output can be learned at.

또한, 자각 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 상승 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력이 학습될 수 있다.In addition, in the awareness model, when the user exists in the basic environment, the rising output is learned for the non-sleep state, the rising output is learned for the RAM (REM) sleep state, and the descending output for the non-RAM (NREM) sleep state. When the user is in an anesthesia environment, the ascending output is learned in the state of ketamine anesthesia, the descending output is learned in the state of Propofol anesthesia, and the descending output is learned in the Xenon anesthesia state. It can be learned, and if the user is in a consciousness disorder environment, the ascending output is learned in the Minimally Conscious State (MCS) state, and the ascending output is learned in the Unresponsive Wakefulness Syndrome (UWS) state. Can be.

이와 관련하여, 기본 환경의 램수면 상태는 수면 중에 꿈을 꾸고 있는 상태를 의미할 수 있으며, 비램수면 상태는 수면 중 꿈을 꾸지 않는 깊은 잠에 빠진 상태를 의미할 수 있다.In this regard, the RAM sleep state of the basic environment may mean a state of dreaming during sleep, and the non-RAM sleep state may mean a state of deep sleep without dreaming during sleep.

또한, 마취 환경의 케타민 마취 상태는 일반적으로 램수면 상태와 유사하게 나타나며, 케타민 마취 상태 외의 프로포폴, 제논 등의 다른 마취 상태는 비램수면 상태와 유사하게 나타날 수 있다.In addition, ketamine anesthesia in an anesthetic environment generally appears similar to RAM sleep, and other anesthesia states such as propofol and xenon other than ketamine anesthesia may appear similar to non-RAM sleep states.

또한, 의식 장애 환경의 최소의식상태는 약간의 의식이 있고, 환자가 움직일 수도 있는 것으로 알려져 있으며, 무반응 각성 증후군은 환자가 움직일 수는 있으나, 의식은 없는 상태인 것으로 알려져 있다.In addition, it is known that the minimum consciousness state of the consciousness disorder environment is slightly conscious and the patient may move, and the non-response arousal syndrome is known to be a state in which the patient can move but is not conscious.

한편, 의식 상태 판단 장치(200)는 각성 모델 및 자각 모델을 저장할 수 있으며, 의식 상태 판단 장치(200)는 각성 모델 및 자각 모델을 생성하는데 이용된 3차원 뇌파 정보와 그에 따른 각성 상태 및 자각 상태를 더 저장할 수 있다.On the other hand, the consciousness state determination device 200 may store an awakening model and a self-awareness model, and the consciousness state determination device 200 includes three-dimensional brainwave information used to generate an awakening model and an awakening model, and the resulting arousal state and awakening state. You can save more.

의식 상태 판단 장치(200)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 의식 상태 판단 장치(200)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.The consciousness state determination device 200 may input 3D EEG information into the arousal model and the consciousness model, and the consciousness state determination device 200 includes an awakening probability indicating the probability that the user who generated the brain signal is in an awakening state, and the user The self-awareness probability indicating the probability of being in the self-aware state can be calculated.

이때, 의식 상태 판단 장치(200)는 각성 모델 및 자각 모델 중 적어도 하나의 모델에 기초하여 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.At this time, the consciousness state determination apparatus 200 searches for at least one feature point among elements provided in the 3D EEG information based on at least one of the arousal model and the self-awareness model, and searches for a brain region matching the location of the searched feature point. The indicated feature area information can be generated.

여기에서, 특징점은 각성 모델 및 자각 모델 중 적어도 하나의 모델에 따라 각성 상태 또는 자각 상태로 판단되는 3차원 뇌파 정보의 요소 중에서 관련도가 가장 크게 나타나는 지점일 수 있다.Here, the feature point may be a point at which a relevance is greatest among elements of 3D EEG information determined as an arousal state or an awakening state according to at least one of an arousal model and an awakening model.

한편, 의식 상태 판단 장치(200)에서 특징 영역 정보를 생성하는 것은 Layer-wise Relevance Propagation, Class Activation Mapping 등의 기법에 의해 각성 확률 및 자각 확률이 생성된 이유를 나타내도록 생성되는 것일 수 있다.Meanwhile, the generation of the feature region information in the consciousness state determination apparatus 200 may be generated to indicate the reason for the generation of the awakening probability and the awakening probability by techniques such as Layer-wise Relevance Propagation and Class Activation Mapping.

의식 상태 판단 장치(200)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있다.The consciousness state determination apparatus 200 may determine the user's consciousness state according to the awakening probability and the self-awareness probability.

이때, 의식 상태 판단 장치(200)는 각성 확률 및 자각 확률에 대한 기준 값을 설정할 수 있으며, 이에 따라, 의식 상태 판단 장치(200)는 각성 확률 및 자각 확률을 기준 값과 비교하여, 기준 값에 대한 각성 확률 및 자각 확률의 대소 관계에 따라 사용자의 의식 상태를 판단할 수 있다.At this time, the consciousness state determination apparatus 200 may set a reference value for the awakening probability and the arousal probability, and accordingly, the consciousness state determination apparatus 200 compares the awakening probability and the arousal probability with the reference value, The user's state of consciousness may be determined according to the relationship between the awakening probability and the awakening probability.

예를 들어, 각성 확률 및 자각 확률에 대한 기준 값은 50%로 설정될 수 있으며, 이때, 각성 확률이 64%로 예측되고, 자각 확률이 75%로 예측된 경우에, 의식 상태 판단 장치(200)는 사용자가 비수면 상태 또는 최소의식상태 상태인 것으로 판단할 수 있다.For example, the reference value for the awakening probability and the awakening probability may be set to 50%, and in this case, when the awakening probability is predicted to be 64% and the awakening probability is predicted to be 75%, the consciousness state determination apparatus 200 ) May be determined that the user is in a non-sleeping state or a minimally conscious state.

이와 관련하여, 의식 상태 판단 장치(200)는 사용자의 환경을 입력 받을 수도 있으며, 이러한 경우에, 의식 상태 판단 장치(200)는 각성 확률 및 자각 확률로부터 사용자의 환경에 따른 의식 상태를 판단할 수 있다.In this regard, the consciousness state determination apparatus 200 may receive an input of the user's environment, and in this case, the consciousness state determination apparatus 200 may determine the consciousness state according to the user's environment from the awakening probability and the consciousness probability. have.

예를 들어, 사용자의 환경은 기본 환경, 마취 환경 및 의식 장애 환경이 존재할 수 있으며, 의식 상태 판단 장치(200)는 기본 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 비수면 상태인 것으로 판단할 수 있고, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 램수면 상태인 것으로 판단할 수 있으며, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에 사용자가 비램수면 상태인 것으로 판단할 수 있다.For example, the user's environment may include a basic environment, an anesthetic environment, and an consciousness disorder environment, and the consciousness state determination apparatus 200 is in the basic environment, when the awakening probability is greater than the reference value and the awareness probability is greater than the reference value. In the basic environment, when the awakening probability is lower than the reference value and the awakening probability is greater than the reference value, it can be determined that the user is in a non-sleep state, and in the basic environment, When the awakening probability is lower than the reference value and the awakening probability is lower than the reference value, it may be determined that the user is in a non-RAM sleep state.

또한, 의식 상태 판단 장치(200)는 마취 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 케타민 마취 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에, 사용자가 프로포폴 마취 상태, 제논 마취 상태 등의 마취 상태인 것으로 판단할 수 있다.In addition, in an anesthesia environment, when the arousal probability is lower than the reference value and the awareness probability is greater than the reference value, the consciousness state determination device 200 may determine that the user is in a ketamine anesthesia state, and the arousal probability is lower than the reference value. , When the self-awareness probability is lower than the reference value, it may be determined that the user is in an anesthetic state such as a propofol anesthesia state and a xenon anesthesia state.

또한, 의식 상태 판단 장치(200)는 의식 장애 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 최소의식상태 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 무반응 각성 증후군 상태인 것으로 판단할 수 있다.In addition, the consciousness state determination apparatus 200 may determine that the user is in the least conscious state when the awakening probability is greater than the reference value and the awareness probability is greater than the reference value in the consciousness disorder environment, and the awakening probability is the reference value. If it is lower than that and the subjective probability is greater than the reference value, it may be determined that the user is in a state of non-response arousal syndrome.

이에 따라, 의식 상태 판단 장치(200)는 사용자의 의식 상태를 출력할 수 있으며, 이때, 의식 상태 판단 장치(200)는 각성 확률과 자각 확률을 더 출력할 수도 있고, 의식 상태 판단 장치(200)는 특징 영역 정보를 더 출력할 수 있다.Accordingly, the consciousness state determination apparatus 200 may output the user's consciousness state, and at this time, the consciousness state determination apparatus 200 may further output an awakening probability and a consciousness probability, or the consciousness state determination apparatus 200 May further output feature region information.

도2는 본 발명의 일 실시예에 따른 의식 상태 판단 장치의 제어블록도이다.2 is a control block diagram of an apparatus for determining a state of consciousness according to an embodiment of the present invention.

의식 상태 판단 장치(200)는 수집부(210), 전처리부(220), 학습 모델 생성부(230), 의식 수준 평가부(240), 의식 상태 판단부(250) 및 출력부(260)를 포함할 수 있다.The consciousness state determination device 200 includes a collection unit 210, a preprocessor 220, a learning model generation unit 230, a consciousness level evaluation unit 240, a consciousness state determination unit 250, and an output unit 260. Can include.

수집부(210)는 뇌 신호를 수집할 수 있다.The collection unit 210 may collect brain signals.

전처리부(220)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.The preprocessor 220 may generate 3D brain wave information according to a location, frequency, and time of a brain region from a brain signal.

이를 위해, 전처리부(220)는 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성할 수 있으며, 전처리부(220)는 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.To this end, the preprocessor 220 may generate 2D EEG information according to the location of the brain region from the brain signal, and the preprocessor 220 may generate 3D EEG information according to the location, frequency, and time of the brain region. It can be converted into dimensional brainwave information.

학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성할 수 있으며, 학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성할 수 있다.The learning model generation unit 230 may generate an awakening model by learning a user's arousal state according to a pattern of 3D EEG information, and the learning model generation unit 230 may generate a user's awareness according to a pattern of 3D EEG information. By learning the state, you can create a self-aware model.

이때, 학습 모델 생성부(230)는 사용자의 환경에 따라 동일한 패턴으로부터 다른 각성 상태 및 다른 자각 상태를 학습할 수도 있으며, 사용자의 환경은 평상시의 비수면, 램(REM)수면, 비램(NREM)수면 등의 수면 상태에 따른 의식 상태 변화를 나타내는 기본 환경, 케타민(Ketamine), 프로포폴(Propofol), 제논(Xenon) 등의 약물에 의한 마취에 따른 의식 상태 변화를 나타내는 마취 환경 및 최소의식상태(MCS: Minimally Conscious State), 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome)등의 질환에 의한 의식 상태 변화를 나타내는 의식 장애 환경을 포함할 수 있다.At this time, the learning model generation unit 230 may learn different arousal states and different awareness states from the same pattern according to the user's environment, and the user's environment is normal non-sleep, RAM (REM) sleep, and non-RAM (NREM). Anesthesia environment and minimal consciousness (MCS) indicating changes in consciousness according to anesthesia by drugs such as ketamine, propofol, and xenon. : Minimally Conscious State), Unresponsive Wakefulness Syndrome (UWS).

이와 관련하여, 각성 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 하강 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 각성 모델은 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력이 학습될 수 있다.In this regard, in the awakening model, when the user exists in the basic environment, the rising output is learned for the non-sleep state, the falling output is learned for the RAM (REM) sleep state, and the falling for the non-RAM (NREM) sleep state. The output can be learned, and the arousal model is that when the user is in an anesthesia environment, the descending output is learned in the state of ketamine anesthesia, the descending output is learned in the state of Propofol anesthesia, and Xenon anesthesia. In the state, the descending output can be learned, and if the user is in a consciousness disorder environment, the ascending output is learned in the Minimally Conscious State (MCS) state, and the Unresponsive Wakefulness Syndrome (UWS) state The descending output can be learned at.

또한, 자각 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 상승 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력이 학습될 수 있다.In addition, in the awareness model, when the user exists in the basic environment, the rising output is learned for the non-sleep state, the rising output is learned for the RAM (REM) sleep state, and the descending output for the non-RAM (NREM) sleep state. When the user is in an anesthesia environment, the ascending output is learned in the state of ketamine anesthesia, the descending output is learned in the state of Propofol anesthesia, and the descending output is learned in the Xenon anesthesia state. It can be learned, and if the user is in a consciousness disorder environment, the ascending output is learned in the Minimally Conscious State (MCS) state, and the ascending output is learned in the Unresponsive Wakefulness Syndrome (UWS) state. Can be.

의식 수준 평가부(240)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 의식 수준 평가부(240)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.The consciousness level evaluation unit 240 may input 3D EEG information into the arousal model and the awareness model, and the consciousness level evaluation unit 240 includes an awakening probability indicating the probability that the user who generated the brain signal is in an arousal state, and the user The self-awareness probability indicating the probability of being in the self-aware state can be calculated.

이때, 의식 수준 평가부(240)는 차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.In this case, the consciousness level evaluation unit 240 may search for at least one feature point among elements provided in the dimensional EEG information, and may generate feature region information indicating a brain region matching the location of the retrieved feature point.

의식 상태 판단부(250)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있다.The consciousness state determination unit 250 may determine the user's consciousness state according to the awakening probability and the awakening probability.

예를 들어, 사용자의 환경은 기본 환경, 마취 환경 및 의식 장애 환경이 존재할 수 있으며, 의식 상태 판단부(250)는 기본 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 비수면 상태인 것으로 판단할 수 있고, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 램수면 상태인 것으로 판단할 수 있으며, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에 사용자가 비램수면 상태인 것으로 판단할 수 있다.For example, the user's environment may include a basic environment, an anesthesia environment, and an consciousness disorder environment, and the consciousness state determination unit 250 is in the basic environment, when the awakening probability is greater than the reference value and the awareness probability is greater than the reference value. In the basic environment, when the awakening probability is lower than the reference value and the awakening probability is greater than the reference value, it can be determined that the user is in a non-sleep state, and in the basic environment, When the awakening probability is lower than the reference value and the awakening probability is lower than the reference value, it may be determined that the user is in a non-RAM sleep state.

또한, 의식 상태 판단부(250)는 마취 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 케타민 마취 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에, 사용자가 프로포폴 마취 상태, 제논 마취 상태 등의 마취 상태인 것으로 판단할 수 있다.In addition, the consciousness state determination unit 250 may determine that the user is in ketamine anesthesia state when the awakening probability is lower than the reference value and the awareness probability is greater than the reference value in an anesthesia environment, and the arousal probability is lower than the reference value. , When the self-awareness probability is lower than the reference value, it may be determined that the user is in an anesthetic state such as a propofol anesthesia state and a xenon anesthesia state.

또한, 의식 상태 판단부(250)는 의식 장애 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 최소의식상태 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 무반응 각성 증후군 상태인 것으로 판단할 수 있다.In addition, in a consciousness disorder environment, when the awakening probability is greater than the reference value and the awareness probability is greater than the reference value, the consciousness state determination unit 250 may determine that the user is in the least conscious state, and the arousal probability is the reference value. If it is lower than that and the subjective probability is greater than the reference value, it may be determined that the user is in a state of non-response arousal syndrome.

출력부(260)는 사용자의 의식 상태를 출력할 수 있으며, 이때, 출력부(260)는 각성 확률과 자각 확률을 더 출력할 수도 있고, 출력부(260)는 특징 영역 정보를 더 출력할 수도 있다.The output unit 260 may output the user's consciousness state, and at this time, the output unit 260 may further output an awakening probability and an awareness probability, and the output unit 260 may further output feature region information. have.

도3은 도2의 의식 상태 판단부에서 의식 상태를 판단하는 과정을 나타내는 블록도이다.3 is a block diagram illustrating a process of determining a conscious state by the conscious state determination unit of FIG. 2.

도3을 참조하면, 수집부(210)는 뇌 신호 측정 장치(100)로부터 뇌 신호를 수집할 수 있으며, 이에 따라, 전처리부(220)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.Referring to FIG. 3, the collection unit 210 may collect brain signals from the brain signal measuring apparatus 100, and accordingly, the preprocessor 220 may be configured according to the location, frequency, and time of the brain region from the brain signal. 3D brainwave information can be generated.

이때, 학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성할 수 있으며, 학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성할 수 있다.In this case, the learning model generation unit 230 may generate an awakening model by learning the user's arousal state according to the pattern of 3D EEG information, and the learning model generation unit 230 may generate the user according to the pattern of the 3D EEG information. It is possible to create a self-awareness model by learning the self-awareness state of.

한편, 학습 모델 생성부(230)에서 각성 모델 및 자각 모델을 생성하는 것은 전처리부(220)에서 생성되는 3차원 뇌파 정보에 대한 각성 상태 및 자각 상태를 입력 받아 학습하는 것일 수 있으며, 학습 모델 생성부(230)에서 각성 모델 및 자각 모델을 생성하는 것은 외부 서버 장치로부터 3차원 뇌파 정보에 따른 각성 상태 및 자각 상태를 전달받아 학습하는 것일 수 있다.On the other hand, generating the awakening model and the awakening model in the learning model generation unit 230 may be learning by receiving the awakening state and the awakening state for 3D EEG information generated by the preprocessing unit 220, and generating a learning model. The generation of the arousal model and the self-awareness model in the unit 230 may be learning by receiving an awakening state and an awakening state according to 3D EEG information from an external server device.

이에 따라, 의식 수준 평가부(240)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 의식 수준 평가부(240)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.Accordingly, the consciousness level evaluation unit 240 may input 3D EEG information into the arousal model and the awareness model, and the consciousness level evaluation unit 240 is an awakening probability indicating the probability that the user who generated the brain signal is in an awakening state. And a self-awareness probability indicating a probability that the user is in the self-awareness state may be calculated.

한편, 의식 수준 평가부(240)는 차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.Meanwhile, the consciousness level evaluation unit 240 may search for at least one feature point among elements provided in the dimensional EEG information, and may generate feature region information indicating a brain region matching the location of the retrieved feature point.

의식 상태 판단부(250)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있으며, 출력부(260)는 사용자의 의식 상태, 각성 확률, 자각 확률 및 특징 영역 정보 중 적어도 하나의 정보를 출력할 수 있다.The consciousness state determination unit 250 may determine the user's consciousness state according to the awakening probability and the consciousness probability, and the output unit 260 is at least one of the user's consciousness state, awakening probability, awakening probability, and feature region information. Can be printed.

도4는 도2의 수집부에서 수집되는 뇌 신호를 나타내는 개략도이다.4 is a schematic diagram showing brain signals collected by the collection unit of FIG. 2.

도4를 참조하면, 뇌 신호 측정 장치(100)에 의해 측정되고, 의식 상태 판단 장치(200)의 수집부(210)에서 수집되는 뇌 신호를 확인할 수 있다.Referring to FIG. 4, a brain signal measured by the brain signal measuring device 100 and collected by the collection unit 210 of the consciousness state determination device 200 may be checked.

이때, 뇌 신호는 적어도 하나의 뇌 영역에서 측정되는 신호를 의미할 수 있으며, 이와 관련하여, 뇌 신호는 대뇌피질의 활동에 의한 전위변화와 뇌파에 의하여 일어나는 뇌전류를 의미할 수 있으며, 이를 위해, 뇌 신호 측정 장치(100)는 뇌전류를 기록하는 뇌전도(EEG: Electroencephalography) 등이 이용될 수 있다.In this case, the brain signal may refer to a signal measured in at least one brain region, and in this regard, the brain signal may refer to a change in potential due to the activity of the cerebral cortex and a brain current caused by brain waves. For this purpose, The brain signal measuring apparatus 100 may use electroencephalography (EEG) for recording a brain current.

도5는 도2의 전처리부에서 생성되는 3차원 뇌파 정보를 나타내는 개략도이다.5 is a schematic diagram showing 3D EEG information generated by the preprocessor of FIG. 2.

도5를 참조하면, 2차원 뇌파 정보로부터 뇌 영역의 위치, 주파수 및 시간에 따라 변환된 3차원 뇌파 정보를 확인할 수 있다.Referring to FIG. 5, 3D EEG information converted according to a location, frequency, and time of a brain region from the 2D EEG information can be confirmed.

이를 위해, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하고, 추출된 뇌파 정보에 단시간 푸리에 변환(Short Time Fourier Transform)을 수행하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.To this end, the consciousness state determination apparatus 200 extracts EEG information for an arbitrary time interval from the two-dimensional EEG information generated according to at least one location of the brain region, and uses a Short Time Fourier Transform on the extracted EEG information. Fourier Transform) can be performed to generate 3D EEG information according to the location, frequency, and time of the brain region.

또한, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보를 고속 푸리에 변환(FFT: Fast Fourier Transform) 등의 기법을 이용하여 주파수 정보를 추출하고, 추출된 주파수 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.In addition, the consciousness state determination apparatus 200 extracts frequency information by using a technique such as Fast Fourier Transform (FFT) on the 2D brain wave information generated according to at least one location of the brain region, and extracts the extracted frequency information. EEG information for an arbitrary time interval may be extracted from the frequency information to generate 3D EEG information according to the location, frequency, and time of the brain region.

한편, 3차원 뇌파 정보는 대역 차단 필터 또는 대역 통과 필터 등에 의해 뇌 신호로부터 머리 또는 안구의 움직임에 의한 잡음이 제거된 정보일 수도 있다.Meanwhile, the 3D EEG information may be information obtained by removing noise due to movement of the head or eyeball from a brain signal by a band cut filter or a band pass filter.

도6은 도2의 출력부의 일 실시예를 나타내는 개략도이다.6 is a schematic diagram showing an embodiment of the output unit of FIG. 2.

도6을 참조하면, 각성 모델에 따라 3차원 뇌파 정보로부터 산출된 각성 확률과 자각 모델에 따라 3차원 뇌파 정보로부터 산출된 자각 확률을 확인할 수 있으며, 이때, 각성 모델 및 자각 모델 중 적어도 하나의 모델에 기초하여 3차원 뇌파 정보에 마련되는 요소로부터 검색되는 특징점을 나타낸 개략도를 확인할 수 있다. 또한, 특징점의 위치에 매칭되는 뇌 영역인 특징 영역 정보를 확인할 수 있다. 또한, 각성 확률과 자각 확률을 2차원 그래프로 출력하고, 각성 확률과 자각 확률에 따른 사용자의 의식 상태를 출력한 것으로 이해할 수 있다.Referring to FIG. 6, the arousal probability calculated from 3D EEG information according to the arousal model and the self-awareness probability calculated from 3D EEG information according to the self-awareness model can be confirmed. In this case, at least one of the arousal model and the self-awareness model A schematic diagram showing a feature point searched from an element provided in the 3D EEG information can be confirmed based on. In addition, information on the feature region, which is a brain region that matches the location of the feature point, can be checked. In addition, it can be understood that the arousal probability and the self-awareness probability are output as a two-dimensional graph, and the user's consciousness state according to the arousal probability and the self-awareness probability is output.

이와 관련하여, 도6에서, 각성 확률은 0.72로 확인되며, 자각 확률은 0.27로 확인된다. 또한, 각성 상태에서의 특징 영역 정보는 두정엽 부위로 확인되며, 자각 상태에서의 특징 영역 정보는 중앙 부위로 확인된다. 또한, 각성 확률과 자각 확률에 따른 사용자의 의식 상태는 무반응 각성 증후군으로 판단된 것으로 확인된다.In this regard, in Fig. 6, the arousal probability is identified as 0.72, and the arousal probability is identified as 0.27. In addition, the feature region information in the arousal state is identified as a parietal lobe, and the feature region information in the arousal state is identified as the central region. In addition, it is confirmed that the state of consciousness of the user according to the arousal probability and the self-awareness probability is determined as an unresponsive arousal syndrome.

도7은 본 발명의 일 실시예에 따른 의식 상태 판단 방법의 순서도이다.7 is a flowchart of a method of determining a consciousness state according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 의식 상태 판단 방법은 도 1에 도시된 의식 상태 판단 장치(200)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 의식 상태 판단 장치(200)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.Since the consciousness state determination method according to an embodiment of the present invention proceeds on substantially the same configuration as the consciousness state determination apparatus 200 shown in FIG. 1, the same components as the consciousness state determination apparatus 200 of FIG. The same reference numerals are assigned, and repeated descriptions will be omitted.

의식 상태 판단 방법은 뇌 신호를 수집하는 단계(600), 3차원 뇌파 정보를 생성하는 단계(610), 확률을 산출하는 단계(620), 의식 상태를 판단하는 단계(630) 및 의식 상태를 출력하는 단계(640)를 포함할 수 있다.The consciousness state determination method includes: collecting brain signals (600), generating 3D brainwave information (610), calculating probability (620), determining consciousness state (630), and outputting consciousness state. It may include a step (640).

뇌 신호를 수집하는 단계(600)는 뇌 신호를 수집할 수 있다.The step 600 of collecting brain signals may collect brain signals.

3차원 뇌파 정보를 생성하는 단계(610)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.In the step 610 of generating 3D EEG information, 3D EEG information according to a location, frequency, and time of a brain region may be generated from a brain signal.

이를 위해, 3차원 뇌파 정보를 생성하는 단계(610)는 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성할 수 있으며, 3차원 뇌파 정보를 생성하는 단계(610)는 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.To this end, the step 610 of generating 3D EEG information may generate 2D EEG information according to the location of the brain region from the brain signal, and the step 610 of generating the 3D EEG information is 2D EEG information. Can be converted into 3D brainwave information according to the location, frequency, and time of the brain region.

확률을 산출하는 단계(620)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 확률을 산출하는 단계(620)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.Step 620 of calculating the probability may input 3D EEG information into the arousal model and the awakening model, and the step of calculating the probability 620 includes an awakening probability indicating the probability that the user who generated the brain signal is in an awake state, and The self-awareness probability indicating the probability that the user is in the self-aware state can be calculated.

이때, 각성 모델은 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태가 학습되어 생성된 것일 수 있으며, 자각 모델은 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태가 학습되어 생성된 것일 수 있다.In this case, the arousal model may be generated by learning a user's arousal state according to a pattern of 3D EEG information, and the awareness model may be generated by learning a user's arousal state according to a pattern of 3D EEG information.

한편, 확률을 산출하는 단계(620)는 차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.Meanwhile, in the step 620 of calculating the probability, at least one feature point among the elements provided in the dimensional EEG information may be searched, and feature region information indicating a brain region matching the location of the searched feature point may be generated.

의식 상태를 판단하는 단계(630)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있다.In the step 630 of determining the state of consciousness, the state of consciousness of the user may be determined according to the awakening probability and the awakening probability.

예를 들어, 사용자의 환경은 기본 환경, 마취 환경 및 의식 장애 환경이 존재할 수 있으며, 의식 상태를 판단하는 단계(630)는 기본 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 비수면 상태인 것으로 판단할 수 있고, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 램수면 상태인 것으로 판단할 수 있으며, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에 사용자가 비램수면 상태인 것으로 판단할 수 있다.For example, the user's environment may include a basic environment, an anesthesia environment, and an consciousness disorder environment, and in the step 630 of determining the consciousness state, in the basic environment, the awakening probability is greater than the reference value, and the awareness probability is greater than the reference value. In a large case, it can be determined that the user is in a non-sleeping state, and in the basic environment, when the awakening probability is lower than the reference value and the awakening probability is greater than the reference value, the user can be determined to be in RAM sleep state. In the case where the awakening probability is lower than the reference value and the awakening probability is lower than the reference value, it may be determined that the user is in a non-RAM sleep state.

또한, 의식 상태를 판단하는 단계(630)는 마취 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 케타민 마취 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에, 사용자가 프로포폴 마취 상태, 제논 마취 상태 등의 마취 상태인 것으로 판단할 수 있다.In addition, in the step 630 of determining the state of consciousness, in an anesthesia environment, when the arousal probability is lower than the reference value and the awareness probability is greater than the reference value, it may be determined that the user is in a ketamine anesthesia state, and the arousal probability is When the probability is lower than that and the self-awareness probability is lower than the reference value, it may be determined that the user is in an anesthetic state such as a propofol anesthesia state and a xenon anesthesia state.

또한, 의식 상태를 판단하는 단계(630)는 의식 장애 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 최소의식상태 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 무반응 각성 증후군 상태인 것으로 판단할 수 있다.In addition, in the step 630 of determining the consciousness state, in the consciousness disorder environment, when the awakening probability is greater than the reference value and the awakening probability is greater than the reference value, it may be determined that the user is in the least conscious state, and the awakening probability is If it is lower than the reference value and the self-awareness probability is greater than the reference value, it may be determined that the user is in a state of non-response arousal syndrome.

의식 상태를 출력하는 단계(640)는 사용자의 의식 상태를 출력할 수 있으며, 이때, 의식 상태를 출력하는 단계(640)는 각성 확률과 자각 확률을 더 출력할 수도 있고, 의식 상태를 출력하는 단계(640)는 특징 영역 정보를 더 출력할 수도 있다.The step 640 of outputting the consciousness state may output the user's consciousness state, and in this case, the step of outputting the consciousness state 640 may further output the awakening probability and the self-awareness probability, or outputting the consciousness state. 640 may further output feature region information.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention described in the following claims. I will be able to.

1: 의식 상태 판단 시스템
100: 뇌 신호 측정 장치
200: 의식 상태 판단 장치1: state of consciousness judgment system
100: brain signal measurement device
200: consciousness state determination device

Claims (12)

뇌 신호를 수집하는 수집부;
상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 전처리부;
상기 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성하고, 상기 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성하는 학습 모델 생성부;
상기 3차원 뇌파 정보를 상기 각성 모델 및 자각 모델에 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 의식 수준 평가부;
상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 의식 상태 판단부; 및
상기 사용자의 의식 상태를 출력하는 출력부를 포함하는, 심층신경망 기반 의식 상태 판단 장치.
A collection unit for collecting brain signals;
A preprocessor for generating 3D brain wave information according to the location, frequency, and time of the brain region from the brain signal;
A learning model generation unit generating an awakening model by learning a user's arousal state according to the pattern of the 3D EEG information, and generating a self-awareness model by learning the user's awakening state according to the pattern of the 3D EEG information;
A consciousness level evaluation unit that inputs the 3D brain wave information into the arousal model and the awareness model to calculate an awakening probability representing a probability that the user generating the brain signal is in an awake state and an awareness probability representing a probability that the user is in an awake state;
A consciousness state determination unit that determines a user's consciousness state according to the awakening probability and the awakening probability; And
A device for determining a state of consciousness based on a deep neural network, including an output unit that outputs the state of consciousness of the user.
 제1항에 있어서, 상기 의식 수준 평가부는,
상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the consciousness level evaluation unit,
Searching for at least one feature point among elements provided in the 3D EEG information based on at least one of the arousal model and the self-aware model, and generating feature region information indicating a brain region matching the position of the feature point. , Deep neural network based consciousness state judgment device.
 제1항에 있어서, 상기 전처리부는,
상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하며, 상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the pre-processing unit,
A device for determining a state of consciousness based on a deep neural network for generating 2D EEG information according to the location of the brain region from the brain signal, and converting the 2D EEG information into 3D EEG information according to the location, frequency and time of the brain region.
 제1항에 있어서, 상기 각성 모델은,
사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 하강 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the arousal model,
Deep neural network that learns the rising output for the non-sleep state, learns the descending output for the RAM (REM) sleep state, and the descending output for the NREM sleep state when the user is in the basic environment. Based on the state of consciousness judgment device.
 제1항에 있어서, 상기 각성 모델은,
사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the arousal model,
When a user is in an anesthesia environment, it learns the descent output under Ketamine anesthesia, learns the descent output under Propofol anesthesia, and learns the descent output under Xenon anesthesia. Based on the state of consciousness judgment device.
 제1항에 있어서, 상기 각성 모델은,
사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the arousal model,
When the user is in a consciousness disorder environment, learning the ascending output in the Minimally Conscious State (MCS) state, and learning the descending output in the Unresponsive Wakefulness Syndrome (UWS) state, based on a deep neural network A device for determining the state of consciousness.
 제1항에 있어서, 상기 자각 모델은,
사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 상승 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the self-awareness model,
When the user is in the basic environment, it learns the ascending output for the non-sleep state, learns the ascending output for the RAM (REM) sleep state, and learns the descending output for the non-RAM (NREM) sleep state. Based on the state of consciousness judgment device.
 제1항에 있어서, 상기 자각 모델은,
사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the self-awareness model,
When the user is in an anesthesia environment, it learns the ascending output in the state of ketamine anesthesia, learns the descending output in the state of propofol anesthesia, and learns the descending output in the state of Xenon anesthesia. Based on the state of consciousness judgment device.
 제1항에 있어서, 상기 자각 모델은,
사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
The method of claim 1, wherein the self-awareness model,
When the user is in a consciousness disorder environment, learning the ascending output in the Minimally Conscious State (MCS) state and learning the ascending output in the Unresponsive Wakefulness Syndrome (UWS) state, based on a deep neural network Conscious state judgment device.
 심층신경망 기반 의식 상태 판단 장치를 이용하여 의식 상태를 판단하는 의식 상태 판단 방법에 있어서,
뇌 신호를 수집하는 단계;
상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 단계;
사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태가 학습된 각성 모델 및 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태가 학습된 자각 모델에 상기 3차원 뇌파 정보를 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 단계;
상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 단계; 및
상기 사용자의 의식 상태를 출력하는 단계를 포함하는, 의식 상태 판단 방법.
In the consciousness state determination method for determining the consciousness state using a consciousness state determination device based on a deep neural network,
Collecting brain signals;
Generating 3D brain wave information according to the location, frequency, and time of the brain region from the brain signal;
The 3D EEG information is added to the awakening model in which the user's arousal state according to the pattern of 3D EEG information provided in advance is learned, and the user's consciousness model in which the user's arousal state according to the pattern of 3D EEG information provided in advance is learned. Calculating an arousal probability representing a probability that the user who generated the brain signal by inputting is an awakened state and an awakening probability representing a probability that the user is in an awakening state;
Determining a state of consciousness of a user according to the awakening probability and the awakening probability; And
And outputting the user's consciousness state.
 제10항에 있어서, 상기 확률을 산출하는 단계는,
상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하는 단계; 및
상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성하는 단계를 더 포함하는, 의식 상태 판단 방법.
The method of claim 10, wherein calculating the probability comprises:
Searching for at least one feature point among elements provided in the 3D brainwave information based on at least one of the arousal model and the subjective model; And
The method of determining a state of consciousness further comprising the step of generating feature region information indicating a brain region matched with the position of the feature point.
 제10항에 있어서, 상기 3차원 뇌파 정보를 생성하는 단계는,
상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하는 단계; 및
상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환하는 단계를 더 포함하는, 의식 상태 판단 방법.

The method of claim 10, wherein generating the 3D brain wave information comprises:
Generating 2D brain wave information according to the location of the brain region from the brain signal; And
The method of determining a state of consciousness further comprising the step of converting the two-dimensional EEG information into three-dimensional EEG information according to a location, frequency, and time of a brain region.
KR1020200019480A 2019-09-20 2020-02-18 Deep neural network based conscious state determination device and method KR102370627B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190116324 2019-09-20
KR20190116324 2019-09-20

Publications (2)

Publication Number Publication Date
KR20210034458A true KR20210034458A (en) 2021-03-30
KR102370627B1 KR102370627B1 (en) 2022-03-07

Family

ID=75265039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019480A KR102370627B1 (en) 2019-09-20 2020-02-18 Deep neural network based conscious state determination device and method

Country Status (1)

Country Link
KR (1) KR102370627B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113558640A (en) * 2021-07-13 2021-10-29 杭州电子科技大学 Minimum consciousness state degree evaluation method based on electroencephalogram characteristics
CN113598791A (en) * 2021-07-13 2021-11-05 杭州电子科技大学 Consciousness disturbance classification method using space-time convolution neural network based on resting electroencephalogram

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034875B1 (en) * 2009-12-03 2011-05-17 숭실대학교산학협력단 Intention reasoning method using pattern of brain waves
KR20170078135A (en) * 2015-12-29 2017-07-07 주식회사 인바디 Methods and apparatus for monitoring consciousness
KR20190030612A (en) * 2017-09-14 2019-03-22 고려대학교 산학협력단 System for providing subject-independent brain-computer interface and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034875B1 (en) * 2009-12-03 2011-05-17 숭실대학교산학협력단 Intention reasoning method using pattern of brain waves
KR20170078135A (en) * 2015-12-29 2017-07-07 주식회사 인바디 Methods and apparatus for monitoring consciousness
KR20190030612A (en) * 2017-09-14 2019-03-22 고려대학교 산학협력단 System for providing subject-independent brain-computer interface and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
뇌파 분석에 인공지능 활용해 정확한 각성 및 수면 단계 구분, MEDICAL Observer 2019. 8. 16. 1~2면* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113558640A (en) * 2021-07-13 2021-10-29 杭州电子科技大学 Minimum consciousness state degree evaluation method based on electroencephalogram characteristics
CN113598791A (en) * 2021-07-13 2021-11-05 杭州电子科技大学 Consciousness disturbance classification method using space-time convolution neural network based on resting electroencephalogram
CN113598791B (en) * 2021-07-13 2024-04-02 杭州电子科技大学 Consciousness disturbance classification method based on time-space convolution neural network used by resting state electroencephalogram

Also Published As

Publication number Publication date
KR102370627B1 (en) 2022-03-07

Similar Documents

Publication Publication Date Title
JP7007484B2 (en) Systems and methods for determining sleep onset latency
CN110706816B (en) Method and equipment for sleep environment regulation and control based on artificial intelligence
KR102383921B1 (en) Methods and system for customized sleep management
KR102378278B1 (en) The biological signal analysis system and biological signal analysis method for operating by the system
CN103584872A (en) Psychological stress assessment method based on multi-physiological-parameter integration
WO2007149553A2 (en) Alertness/drowsiness and cognitive capacity index
CN105476631A (en) EEG (electroencephalogram) based sleep detection and sleep aid method and device
JPWO2018221750A1 (en) Sleep determination device, sleep determination method, and sleep determination program
CA2936343A1 (en) Systems and methods for diagnosing sleep
KR20200046598A (en) Apparatus and method for inducing sleep using neuro-feedback
KR102370627B1 (en) Deep neural network based conscious state determination device and method
CN112617747A (en) State estimation device, state estimation method, and storage medium
Purnamasari et al. Mobile EEG based drowsiness detection using K-nearest neighbor
Takeda et al. Time-dependent sleep stage transition model based on heart rate variability
Dávila-Montero et al. Exploring the relationship between speech and skin conductance for real-time arousal monitoring
Vettivel et al. System for detecting student attention pertaining and alerting
Hassan et al. Sigmoid wake probability model for high-resolution detection of drowsiness using electroencephalogram
Widasari et al. Automatic sleep stage detection based on HRV spectrum analysis
Murugan et al. Analysis of different measures to detect driver states: A review
KR102488616B1 (en) Method for Emotion Evaluation using heart dynamics, and system adopting the method
CN108852313A (en) Non-interference Intellisense method and system based on radar
Locharla et al. EEG-based deep learning neural net for apnea detection
US20220233805A1 (en) Customized-type sleep management method and system
Mrudula et al. Covariance normalization and bottleneck features for improving the performance of sleep apnea screening system
Moyeenudin et al. Analysis of Electroencephalographic Signals to Study the Behavior of Brain Frequencies for the Study of Academic Stress

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant