KR102370627B1 - 심층신경망 기반 의식 상태 판단 장치 및 방법 - Google Patents

심층신경망 기반 의식 상태 판단 장치 및 방법 Download PDF

Info

Publication number
KR102370627B1
KR102370627B1 KR1020200019480A KR20200019480A KR102370627B1 KR 102370627 B1 KR102370627 B1 KR 102370627B1 KR 1020200019480 A KR1020200019480 A KR 1020200019480A KR 20200019480 A KR20200019480 A KR 20200019480A KR 102370627 B1 KR102370627 B1 KR 102370627B1
Authority
KR
South Korea
Prior art keywords
state
awakening
consciousness
probability
user
Prior art date
Application number
KR1020200019480A
Other languages
English (en)
Other versions
KR20210034458A (ko
Inventor
이성환
이민지
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20210034458A publication Critical patent/KR20210034458A/ko
Application granted granted Critical
Publication of KR102370627B1 publication Critical patent/KR102370627B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

뇌 신호를 수집하는 수집부; 3차원 뇌파 정보를 생성하는 전처리부; 3차원 뇌파 정보의 각성 상태를 학습하고, 3차원 뇌파 정보의 자각 상태를 학습하는 학습 모델 생성부; 3차원 뇌파 정보를 모델에 입력하여 각성 확률 및 자각 확률을 산출하는 의식 수준 평가부; 의식 상태를 판단하는 의식 상태 판단부; 및 의식 상태를 출력하는 출력부를 포함하는, 심층신경망 기반 의식 상태 판단 장치를 개시한다.

Description

심층신경망 기반 의식 상태 판단 장치 및 방법{DEEP NEURAL NETWORK BASED CONSCIOUS STATE DETERMINATION DEVICE AND METHOD}
본 발명은 심층신경망 기반 의식 상태 판단 장치 및 방법에 관한 것으로, 보다 상세하게는, 뇌 신호를 각성 상태 및 지각 상태에 대해 각각 분석하여 사용자의 의식 상태를 판단하는 의식 상태 판단 장치 및 방법에 관한 것이다.
의식은 깨어 있는 상태에서 자기 자신이나 사물을 인식하는 작용을 의미한다. 정상적인 신경생리학적 측면에서, 수면이 이에 해당된다. 일반적으로, 의식은 수면 도중에 의식 상태에서 무의식 상태로 전환된다. 약물학적인 측면에서, 의식은 프로포폴(Propofol)과 같은 마취제에 의해 의식 상태에서 무의식 상태로 변화한다. 이와 관련하여, 인간은 마취를 통해 고통이나 또는, 다른 의식적인 경험을 없애고 움직임을 방지할 수 있으며, 호흡 등의 기능을 조절하는 자율신경계를 수 시간동안 안정적으로 유지할 수 있다. 한편, 병리학적인 측면에서, 움직일 수 있으나, 정상인과 비교하여 의식에 이상이 있는 의식 장애(Disorder of Consciousness)가 존재한다. 의식 장애는 식물인간 등으로 불리우는 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome, UWS), 최소의식상태(MCS: Minimally Conscious State) 등이 존재한다. 무반응 각성 증후군은 주기적으로 수면 상태에서 비수면 상태로 전환되나, 타인의 의사소통 시도에 어떠한 반응도 하지 못하는 상태를 의미한다. 구체적으로, 호흡과 수면, 심장박동과 동공 반응 등의 뇌간 반사만이 가능한 상태이다. 반면에, 최소의식상태는 말을 하지는 못하나, 때때로 본인의 의도를 전달할 수 있는 상태를 의미한다. 예를 들어, 웃거나 울기도 하며, 소리나 몸짓에 따라 눈으로 대상을 쫓기도 한다.
과거에는, 의식(Consciousness)과 반응(Responsiveness)이 동일한 것으로 인식되었다. 이와 관련하여, 자극에 대한 반응이 존재하지 않는 경우는 무의식 상태인 것으로 판단되었다. 그러나, 수면 중에 꿈을 꾸는 상태인 램(REM: Rapid Eye Movement)수면은 자극에 대한 반응은 불가능하나, 꿈을 꾸는 경험 등에 따라 의식이 존재하는 것으로 이해할 수 있다. 또한, 마취제의 일종인 케타민(Ketamine)의 경우, 프로포폴(Propofol)이나 제논(Xenon)과 같은 마취제와는 달리 마취 상태 동안 꿈과 같은 의식적 경험을 하기도 한다. 이는, 램수면과 유사한 상태로 이해할 수 있다. 따라서, 의식을 자극에 따른 반응의 유무로 판별하는 것은 정확하지 않을 수 있으며, 자극에 대한 반응 여부를 나타내는 각성(Arousal)과 의식이 존재하는지 여부를 나타내는 자각(Awareness)의 두 측면에서 의식 상태를 판단하는 방안이 요구되는 실정이다.
본 발명이 해결하고자 하는 기술적 과제는 뇌 신호를 각성 상태 및 지각 상태에 대해 각각 분석하여 사용자의 의식 상태를 판단하는 의식 상태 판단 장치 및 방법을 제공하는 것이다.
본 발명의 일측면은, 뇌 신호를 수집하는 수집부; 상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 전처리부; 상기 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성하고, 상기 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성하는 학습 모델 생성부; 상기 3차원 뇌파 정보를 상기 각성 모델 및 자각 모델에 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 의식 수준 평가부; 상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 의식 상태 판단부; 및 상기 사용자의 의식 상태를 출력하는 출력부를 포함할 수 있다.
또한, 상기 의식 수준 평가부는, 상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.
또한, 상기 전처리부는, 상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하며, 상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.
또한, 상기 각성 모델은, 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 하강 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습할 수 있다.
또한, 상기 각성 모델은, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습할 수 있다.
또한, 상기 각성 모델은, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력을 학습할 수 있다.
또한, 상기 자각 모델은, 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 상승 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습할 수 있다.
또한, 상기 자각 모델은, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습할 수 있다.
또한, 상기 자각 모델은, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력을 학습할 수 있다.
본 발명의 다른 일측면은, 심층신경망 기반 의식 상태 판단 장치를 이용하여 의식 상태를 판단하는 의식 상태 판단 방법에 있어서, 뇌 신호를 수집하는 단계; 상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 단계; 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태가 학습된 각성 모델 및 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태가 학습된 자각 모델에 상기 3차원 뇌파 정보를 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 단계; 상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 단계; 및 상기 사용자의 의식 상태를 출력하는 단계를 포함할 수 있다.
또한, 상기 확률을 산출하는 단계는, 상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하는 단계; 및 상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 3차원 뇌파 정보를 생성하는 단계는, 상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하는 단계; 및 상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환하는 단계를 더 포함할 수 있다.
상술한 본 발명의 일측면에 따르면, 심층신경망 기반 의식 상태 판단 장치 및 방법을 제공함으로써, 뇌 신호를 각성 상태 및 지각 상태에 대해 각각 분석하여 사용자의 의식 상태를 판단할 수 있다.
도1은 본 발명의 일 실시예에 따른 의식 상태 판단 장치를 포함하는 의식 상태 판단 시스템의 개략도이다.
도2는 본 발명의 일 실시예에 따른 의식 상태 판단 장치의 제어블록도이다.
도3은 도2의 의식 상태 판단부에서 의식 상태를 판단하는 과정을 나타내는 블록도이다.
도4는 도2의 수집부에서 수집되는 뇌 신호를 나타내는 개략도이다.
도5는 도2의 전처리부에서 생성되는 3차원 뇌파 정보를 나타내는 개략도이다.
도6은 도2의 출력부의 일 실시예를 나타내는 개략도이다.
도7은 본 발명의 일 실시예에 따른 의식 상태 판단 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 의식 상태 판단 장치를 포함하는 의식 상태 판단 시스템의 개략도이다.
의식 상태 판단 시스템(1)은 뇌 신호 측정 장치(100) 및 의식 상태 판단 장치(200)를 포함할 수 있다.
뇌 신호 측정 장치(100)는 사용자의 뇌 신호 또는 생체 신호 등을 검측하도록 적어도 하나의 전극이 마련될 수 있으며, 뇌 신호 측정 장치(100)는 전극으로부터 전달되는 뇌 신호 또는 생체 신호 등을 기록하는 측정기가 마련될 수 있다.
여기에서, 뇌 신호는 대뇌피질의 활동에 의한 전위변화와 뇌파에 의하여 일어나는 뇌전류를 의미할 수 있으며, 이에 따라, 뇌 신호 측정 장치(100)는 뇌전류를 기록하는 뇌전도(EEG: Electroencephalography)가 이용될 수 있다.
이와 관련하여, 측정기는 전극으로부터 유선 또는 무선 통신을 통해 뇌 신호 또는 생체 신호를 전달받을 수 있다.
한편, 뇌 신호 측정 장치(100)는 복수개의 뇌 영역에서 뇌 신호를 측정하여, 의식 상태 판단 장치(200)에 유선 또는 무선 네트워크를 이용하여 전달할 수 있다.
이때, 뇌 신호 측정 장치(100)는 외부의 입력에 의해 뇌 신호 또는 생체 신호의 측정을 수행할 수 있으며, 또는, 뇌 신호 측정 장치(100)는 사전에 설정되는 시간 간격마다 뇌 신호 또는 생체 신호의 측정을 수행할 수도 있다.
이에 따라, 의식 상태 판단 장치(200)는 뇌 신호를 수집할 수 있다.
의식 상태 판단 장치(200)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
이를 위해, 의식 상태 판단 장치(200)는 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성할 수 있으며, 의식 상태 판단 장치(200)는 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.
이때, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하고, 추출된 뇌파 정보에 단시간 푸리에 변환(Short Time Fourier Transform)을 수행하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
예를 들어, 의식 상태 판단 장치(200)는 2차원 뇌파 정보로부터 5ms 간격으로 400ms 간격 동안의 뇌파 정보를 추출할 수 있으며, 추출된 뇌파 정보에 단시간 푸리에 변환을 수행하여 3차원 뇌파 정보를 생성할 수 있다.
한편, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보를 고속 푸리에 변환(FFT: Fast Fourier Transform) 등의 기법을 이용하여 주파수 정보를 추출하고, 추출된 주파수 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
예를 들어, 의식 상태 판단 장치(200)는 2차원 뇌파 정보에 고속 푸리에 변환을 수행하여 주파수 정보를 추출하고, 추출된 주파수 정보로부터 5ms 간격으로 400ms 간격 동안의 뇌파 정보를 추출하여 3차원 뇌파 정보를 생성할 수 있다.
한편, 의식 상태 판단 장치(200)는 뇌 신호로부터 머리 또는 안구의 움직임에 의한 잡음을 제거할 수 있다. 이를 위해, 의식 상태 판단 장치(200)는 머리 또는 안구의 움직임에 의한 잡음을 제거하도록 머리 또는 안구의 움직임으로부터 발생하는 주파수 영역을 대역 차단 필터(Band Reject Filter) 등을 이용하여 제거할 수 있다.
또는, 의식 상태 판단 장치(200)는 머리 또는 안구의 움직임에 의한 잡음 외의 주파수 대역이 추출되도록 대역 통과 필터(Band Pass Filter)를 이용할 수도 있다.
의식 상태 판단 장치(200)는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성할 수 있으며, 의식 상태 판단 장치(200)는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성할 수 있다.
이때, 의식 상태 판단 장치(200)는 각성 모델과 관련하여, 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 각성 상태의 여부를 학습할 수 있으며, 이에 따라, 의식 상태 판단 장치(200)는 학습된 각성 모델에 기초하여 임의의 3차원 뇌파 정보가 각성 상태일 확률을 판단할 수 있다.
또한, 의식 상태 판단 장치(200)는 자각 모델과 관련하여, 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 각성 상태의 여부를 학습할 수 있으며, 이에 따라, 의식 상태 판단 장치(200)는 학습된 자각 모델에 기초하여 임의의 3차원 뇌파 정보가 각성 상태일 확률을 판단할 수 있다.
이를 위해, 의식 상태 판단 장치(200)는 합성곱 신경망(Convolution Neural Network), 순환 신경망(Recurrent Neural Network) 등의 딥러닝 기법을 이용하여 각성 모델 및 자각 모델을 생성할 수 있다.
이와 관련하여, 합성곱 신경망은 입력층, 적어도 하나의 특징추출층 및 예측층을 포함할 수 있으며, 이에 따라, 합성곱 신경망은 입력 정보가 입력층으로 입력되는 경우에, 적어도 하나의 특징 추출층에서 사전에 마련되는 필터와 입력 정보 간의 합성곱을 수행하여 특징을 추출하는 기법으로, 추출된 특징에 따라 입력 정보를 분류할 수 있다.
이때, 의식 상태 판단 장치(200)는 3차원 뇌파 정보의 각 요소에 대한 전력 스펙트럼 밀도(PSD: Power Spectrum Density)를 계산한 결과 값을 이용하여 각성 모델 및 자각 모델을 생성할 수도 있다.
이와 관련하여, 전력 스펙트럼 밀도는 유한한 신호로부터 나타나는 에너지를 의미하는 것으로, 전력 스펙트럼 밀도를 계산하는 방법은 상용화되어 있는 바, 자세한 설명은 생략하도록 한다.
한편, 의식 상태 판단 장치(200)는 병원, 의료 기관, 연구 기관 등에 구비되는 서버 장치 등으로부터 3차원 뇌파 정보의 패턴에 따른 각성 상태 및 자각 상태를 전달받을 수 있다.
이때, 의식 상태 판단 장치(200)는 사용자의 환경에 따라 동일한 패턴으로부터 다른 각성 상태 및 다른 자각 상태를 학습할 수도 있으며, 사용자의 환경은 평상시의 비수면, 램(REM)수면, 비램(NREM)수면 등의 수면 상태에 따른 의식 상태 변화를 나타내는 기본 환경, 케타민(Ketamine), 프로포폴(Propofol), 제논(Xenon) 등의 약물에 의한 마취에 따른 의식 상태 변화를 나타내는 마취 환경 및 최소의식상태(MCS: Minimally Conscious State), 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome)등의 질환에 의한 의식 상태 변화를 나타내는 의식 장애 환경을 포함할 수 있다.
이와 관련하여, 각성 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 하강 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 각성 모델은 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력이 학습될 수 있다.
또한, 자각 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 상승 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력이 학습될 수 있다.
이와 관련하여, 기본 환경의 램수면 상태는 수면 중에 꿈을 꾸고 있는 상태를 의미할 수 있으며, 비램수면 상태는 수면 중 꿈을 꾸지 않는 깊은 잠에 빠진 상태를 의미할 수 있다.
또한, 마취 환경의 케타민 마취 상태는 일반적으로 램수면 상태와 유사하게 나타나며, 케타민 마취 상태 외의 프로포폴, 제논 등의 다른 마취 상태는 비램수면 상태와 유사하게 나타날 수 있다.
또한, 의식 장애 환경의 최소의식상태는 약간의 의식이 있고, 환자가 움직일 수도 있는 것으로 알려져 있으며, 무반응 각성 증후군은 환자가 움직일 수는 있으나, 의식은 없는 상태인 것으로 알려져 있다.
한편, 의식 상태 판단 장치(200)는 각성 모델 및 자각 모델을 저장할 수 있으며, 의식 상태 판단 장치(200)는 각성 모델 및 자각 모델을 생성하는데 이용된 3차원 뇌파 정보와 그에 따른 각성 상태 및 자각 상태를 더 저장할 수 있다.
의식 상태 판단 장치(200)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 의식 상태 판단 장치(200)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.
이때, 의식 상태 판단 장치(200)는 각성 모델 및 자각 모델 중 적어도 하나의 모델에 기초하여 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.
여기에서, 특징점은 각성 모델 및 자각 모델 중 적어도 하나의 모델에 따라 각성 상태 또는 자각 상태로 판단되는 3차원 뇌파 정보의 요소 중에서 관련도가 가장 크게 나타나는 지점일 수 있다.
한편, 의식 상태 판단 장치(200)에서 특징 영역 정보를 생성하는 것은 Layer-wise Relevance Propagation, Class Activation Mapping 등의 기법에 의해 각성 확률 및 자각 확률이 생성된 이유를 나타내도록 생성되는 것일 수 있다.
의식 상태 판단 장치(200)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있다.
이때, 의식 상태 판단 장치(200)는 각성 확률 및 자각 확률에 대한 기준 값을 설정할 수 있으며, 이에 따라, 의식 상태 판단 장치(200)는 각성 확률 및 자각 확률을 기준 값과 비교하여, 기준 값에 대한 각성 확률 및 자각 확률의 대소 관계에 따라 사용자의 의식 상태를 판단할 수 있다.
예를 들어, 각성 확률 및 자각 확률에 대한 기준 값은 50%로 설정될 수 있으며, 이때, 각성 확률이 64%로 예측되고, 자각 확률이 75%로 예측된 경우에, 의식 상태 판단 장치(200)는 사용자가 비수면 상태 또는 최소의식상태 상태인 것으로 판단할 수 있다.
이와 관련하여, 의식 상태 판단 장치(200)는 사용자의 환경을 입력 받을 수도 있으며, 이러한 경우에, 의식 상태 판단 장치(200)는 각성 확률 및 자각 확률로부터 사용자의 환경에 따른 의식 상태를 판단할 수 있다.
예를 들어, 사용자의 환경은 기본 환경, 마취 환경 및 의식 장애 환경이 존재할 수 있으며, 의식 상태 판단 장치(200)는 기본 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 비수면 상태인 것으로 판단할 수 있고, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 램수면 상태인 것으로 판단할 수 있으며, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에 사용자가 비램수면 상태인 것으로 판단할 수 있다.
또한, 의식 상태 판단 장치(200)는 마취 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 케타민 마취 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에, 사용자가 프로포폴 마취 상태, 제논 마취 상태 등의 마취 상태인 것으로 판단할 수 있다.
또한, 의식 상태 판단 장치(200)는 의식 장애 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 최소의식상태 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 무반응 각성 증후군 상태인 것으로 판단할 수 있다.
이에 따라, 의식 상태 판단 장치(200)는 사용자의 의식 상태를 출력할 수 있으며, 이때, 의식 상태 판단 장치(200)는 각성 확률과 자각 확률을 더 출력할 수도 있고, 의식 상태 판단 장치(200)는 특징 영역 정보를 더 출력할 수 있다.
도2는 본 발명의 일 실시예에 따른 의식 상태 판단 장치의 제어블록도이다.
의식 상태 판단 장치(200)는 수집부(210), 전처리부(220), 학습 모델 생성부(230), 의식 수준 평가부(240), 의식 상태 판단부(250) 및 출력부(260)를 포함할 수 있다.
수집부(210)는 뇌 신호를 수집할 수 있다.
전처리부(220)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
이를 위해, 전처리부(220)는 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성할 수 있으며, 전처리부(220)는 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.
학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성할 수 있으며, 학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성할 수 있다.
이때, 학습 모델 생성부(230)는 사용자의 환경에 따라 동일한 패턴으로부터 다른 각성 상태 및 다른 자각 상태를 학습할 수도 있으며, 사용자의 환경은 평상시의 비수면, 램(REM)수면, 비램(NREM)수면 등의 수면 상태에 따른 의식 상태 변화를 나타내는 기본 환경, 케타민(Ketamine), 프로포폴(Propofol), 제논(Xenon) 등의 약물에 의한 마취에 따른 의식 상태 변화를 나타내는 마취 환경 및 최소의식상태(MCS: Minimally Conscious State), 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome)등의 질환에 의한 의식 상태 변화를 나타내는 의식 장애 환경을 포함할 수 있다.
이와 관련하여, 각성 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 하강 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 각성 모델은 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력이 학습될 수 있다.
또한, 자각 모델은 사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력이 학습되고, 램(REM)수면 상태에 대해 상승 출력이 학습되며, 비램(NREM)수면 상태에 대해 하강 출력이 학습될 수 있고, 사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력이 학습되고, 프로포폴(Propofol) 마취 상태에서 하강 출력이 학습되며, 제논(Xenon) 마취 상태에서 하강 출력이 학습될 수 있으며, 사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력이 학습되고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력이 학습될 수 있다.
의식 수준 평가부(240)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 의식 수준 평가부(240)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.
이때, 의식 수준 평가부(240)는 차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.
의식 상태 판단부(250)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있다.
예를 들어, 사용자의 환경은 기본 환경, 마취 환경 및 의식 장애 환경이 존재할 수 있으며, 의식 상태 판단부(250)는 기본 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 비수면 상태인 것으로 판단할 수 있고, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 램수면 상태인 것으로 판단할 수 있으며, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에 사용자가 비램수면 상태인 것으로 판단할 수 있다.
또한, 의식 상태 판단부(250)는 마취 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 케타민 마취 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에, 사용자가 프로포폴 마취 상태, 제논 마취 상태 등의 마취 상태인 것으로 판단할 수 있다.
또한, 의식 상태 판단부(250)는 의식 장애 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 최소의식상태 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 무반응 각성 증후군 상태인 것으로 판단할 수 있다.
출력부(260)는 사용자의 의식 상태를 출력할 수 있으며, 이때, 출력부(260)는 각성 확률과 자각 확률을 더 출력할 수도 있고, 출력부(260)는 특징 영역 정보를 더 출력할 수도 있다.
도3은 도2의 의식 상태 판단부에서 의식 상태를 판단하는 과정을 나타내는 블록도이다.
도3을 참조하면, 수집부(210)는 뇌 신호 측정 장치(100)로부터 뇌 신호를 수집할 수 있으며, 이에 따라, 전처리부(220)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
이때, 학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성할 수 있으며, 학습 모델 생성부(230)는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성할 수 있다.
한편, 학습 모델 생성부(230)에서 각성 모델 및 자각 모델을 생성하는 것은 전처리부(220)에서 생성되는 3차원 뇌파 정보에 대한 각성 상태 및 자각 상태를 입력 받아 학습하는 것일 수 있으며, 학습 모델 생성부(230)에서 각성 모델 및 자각 모델을 생성하는 것은 외부 서버 장치로부터 3차원 뇌파 정보에 따른 각성 상태 및 자각 상태를 전달받아 학습하는 것일 수 있다.
이에 따라, 의식 수준 평가부(240)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 의식 수준 평가부(240)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.
한편, 의식 수준 평가부(240)는 차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.
의식 상태 판단부(250)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있으며, 출력부(260)는 사용자의 의식 상태, 각성 확률, 자각 확률 및 특징 영역 정보 중 적어도 하나의 정보를 출력할 수 있다.
도4는 도2의 수집부에서 수집되는 뇌 신호를 나타내는 개략도이다.
도4를 참조하면, 뇌 신호 측정 장치(100)에 의해 측정되고, 의식 상태 판단 장치(200)의 수집부(210)에서 수집되는 뇌 신호를 확인할 수 있다.
이때, 뇌 신호는 적어도 하나의 뇌 영역에서 측정되는 신호를 의미할 수 있으며, 이와 관련하여, 뇌 신호는 대뇌피질의 활동에 의한 전위변화와 뇌파에 의하여 일어나는 뇌전류를 의미할 수 있으며, 이를 위해, 뇌 신호 측정 장치(100)는 뇌전류를 기록하는 뇌전도(EEG: Electroencephalography) 등이 이용될 수 있다.
도5는 도2의 전처리부에서 생성되는 3차원 뇌파 정보를 나타내는 개략도이다.
도5를 참조하면, 2차원 뇌파 정보로부터 뇌 영역의 위치, 주파수 및 시간에 따라 변환된 3차원 뇌파 정보를 확인할 수 있다.
이를 위해, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하고, 추출된 뇌파 정보에 단시간 푸리에 변환(Short Time Fourier Transform)을 수행하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
또한, 의식 상태 판단 장치(200)는 뇌 영역의 적어도 하나의 위치에 따라 생성된 2차원 뇌파 정보를 고속 푸리에 변환(FFT: Fast Fourier Transform) 등의 기법을 이용하여 주파수 정보를 추출하고, 추출된 주파수 정보로부터 임의의 시간 간격 동안의 뇌파 정보를 추출하여 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
한편, 3차원 뇌파 정보는 대역 차단 필터 또는 대역 통과 필터 등에 의해 뇌 신호로부터 머리 또는 안구의 움직임에 의한 잡음이 제거된 정보일 수도 있다.
도6은 도2의 출력부의 일 실시예를 나타내는 개략도이다.
도6을 참조하면, 각성 모델에 따라 3차원 뇌파 정보로부터 산출된 각성 확률과 자각 모델에 따라 3차원 뇌파 정보로부터 산출된 자각 확률을 확인할 수 있으며, 이때, 각성 모델 및 자각 모델 중 적어도 하나의 모델에 기초하여 3차원 뇌파 정보에 마련되는 요소로부터 검색되는 특징점을 나타낸 개략도를 확인할 수 있다. 또한, 특징점의 위치에 매칭되는 뇌 영역인 특징 영역 정보를 확인할 수 있다. 또한, 각성 확률과 자각 확률을 2차원 그래프로 출력하고, 각성 확률과 자각 확률에 따른 사용자의 의식 상태를 출력한 것으로 이해할 수 있다.
이와 관련하여, 도6에서, 각성 확률은 0.72로 확인되며, 자각 확률은 0.27로 확인된다. 또한, 각성 상태에서의 특징 영역 정보는 두정엽 부위로 확인되며, 자각 상태에서의 특징 영역 정보는 중앙 부위로 확인된다. 또한, 각성 확률과 자각 확률에 따른 사용자의 의식 상태는 무반응 각성 증후군으로 판단된 것으로 확인된다.
도7은 본 발명의 일 실시예에 따른 의식 상태 판단 방법의 순서도이다.
본 발명의 일 실시예에 따른 의식 상태 판단 방법은 도 1에 도시된 의식 상태 판단 장치(200)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 의식 상태 판단 장치(200)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
의식 상태 판단 방법은 뇌 신호를 수집하는 단계(600), 3차원 뇌파 정보를 생성하는 단계(610), 확률을 산출하는 단계(620), 의식 상태를 판단하는 단계(630) 및 의식 상태를 출력하는 단계(640)를 포함할 수 있다.
뇌 신호를 수집하는 단계(600)는 뇌 신호를 수집할 수 있다.
3차원 뇌파 정보를 생성하는 단계(610)는 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성할 수 있다.
이를 위해, 3차원 뇌파 정보를 생성하는 단계(610)는 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성할 수 있으며, 3차원 뇌파 정보를 생성하는 단계(610)는 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환할 수 있다.
확률을 산출하는 단계(620)는 3차원 뇌파 정보를 각성 모델 및 자각 모델에 입력할 수 있으며, 확률을 산출하는 단계(620)는 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출할 수 있다.
이때, 각성 모델은 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태가 학습되어 생성된 것일 수 있으며, 자각 모델은 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태가 학습되어 생성된 것일 수 있다.
한편, 확률을 산출하는 단계(620)는 차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 검색된 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성할 수 있다.
의식 상태를 판단하는 단계(630)는 각성 확률과 자각 확률에 따라 사용자의 의식 상태를 판단할 수 있다.
예를 들어, 사용자의 환경은 기본 환경, 마취 환경 및 의식 장애 환경이 존재할 수 있으며, 의식 상태를 판단하는 단계(630)는 기본 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 비수면 상태인 것으로 판단할 수 있고, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 램수면 상태인 것으로 판단할 수 있으며, 기본 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에 사용자가 비램수면 상태인 것으로 판단할 수 있다.
또한, 의식 상태를 판단하는 단계(630)는 마취 환경에서, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 케타민 마취 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 낮은 경우에, 사용자가 프로포폴 마취 상태, 제논 마취 상태 등의 마취 상태인 것으로 판단할 수 있다.
또한, 의식 상태를 판단하는 단계(630)는 의식 장애 환경에서, 각성 확률이 기준 값보다 크고, 자각 확률이 기준 값보다 큰 경우에 사용자가 최소의식상태 상태인 것으로 판단할 수 있으며, 각성 확률이 기준 값보다 낮고, 자각 확률이 기준 값보다 큰 경우에 사용자가 무반응 각성 증후군 상태인 것으로 판단할 수 있다.
의식 상태를 출력하는 단계(640)는 사용자의 의식 상태를 출력할 수 있으며, 이때, 의식 상태를 출력하는 단계(640)는 각성 확률과 자각 확률을 더 출력할 수도 있고, 의식 상태를 출력하는 단계(640)는 특징 영역 정보를 더 출력할 수도 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 의식 상태 판단 시스템
100: 뇌 신호 측정 장치
200: 의식 상태 판단 장치

Claims (12)

  1. 뇌 신호를 수집하는 수집부;
    상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 전처리부;
    상기 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태를 학습하여 각성 모델을 생성하고, 상기 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태를 학습하여 자각 모델을 생성하는 학습 모델 생성부;
    상기 3차원 뇌파 정보를 상기 각성 모델 및 자각 모델에 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 의식 수준 평가부;
    상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 의식 상태 판단부; 및
    상기 사용자의 의식 상태를 출력하는 출력부를 포함하고,
    상기 학습 모델 생성부는,
    상기 사용자가 평상시의 비수면, 램(REM)수면, 비램(RAM)수면중 적어도 하나의 수면 상태에 따른 의식 상태 변화를 나타내는 기본 환경, 상기 사용자가 케타민(Ketamine), 프로포폴(Propofol), 제논(Xenon) 중 적어도 하나의 약물에 의한 마취에 따른 의식 상태 변화를 나타내는 마취 환경 및 최소의식상태(MCS: Minimally Conscious State), 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome)중 적어도 하나의 질환에 의한 의식 상태 변화를 나타내는 의식 장애 환경을 포함하는 사용자의 환경에 따라 동일한 패턴으로부터 서로 다른 상기 각성 상태 및 상기 자각 상태를 학습하고,
    상기 의식 상태 판단부는,
    상기 각성 확률 및 자각 확률에 대한 기준 값을 설정하고, 상기 각성 확률 및 상기 자각 확률과 상기 기준 값을 비교하여 대소 관계에 따라 의식 상태를 판단하고,
    상기 의식 상태 판단부에서 상기 기준 값을 비교하여 상기 상용자의 의식 상태를 판단하는 것은,
    상기 기본 환경에서 상기 각성 확률이 상기 기준 값보다 크고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 비수면 상태로 판단하고,
    상기 기본 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 램(REM)수면 상태로 판단하고,
    상기 기본 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 낮은 경우, 상기 사용자를 비렘(RAM)수면 상태로 판단하고,
    상기 마취 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 케타민(Ketamine) 마취 상태로 판단하고,
    상기 마취 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 낮은 경우, 상기 사용자를 프로포폴(Propofol) 마취 상태 및 제논(Xenon) 마취 상태 중 어느 하나의 마취 상태로 판단하고,
    상기 의식 장애 환경에서 상기 각성 확률이 상기 기준 값보다 크고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 최소의식상태(MCS: Minimally Conscious State)로 판단하고,
    상기 의식 장애 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 무반응 각성 증후군 상태(UWS: Unresponsive Wakefulness Syndrome)로 판단하는, 심층신경망 기반 의식 상태 판단 장치.
  2. 제1항에 있어서, 상기 의식 수준 평가부는,
    상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하고, 상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성하는, 심층신경망 기반 의식 상태 판단 장치.
  3. 제1항에 있어서, 상기 전처리부는,
    상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하며, 상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환하는, 심층신경망 기반 의식 상태 판단 장치.
  4. 제1항에 있어서, 상기 각성 모델은,
    사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 하강 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
  5. 제1항에 있어서, 상기 각성 모델은,
    사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 하강 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
  6. 제1항에 있어서, 상기 각성 모델은,
    사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
  7. 제1항에 있어서, 상기 자각 모델은,
    사용자가 기본 환경에 존재하는 경우, 비수면 상태에 대해 상승 출력을 학습하고, 램(REM)수면 상태에 대해 상승 출력을 학습하고, 비램(NREM)수면 상태에 대해 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
  8. 제1항에 있어서, 상기 자각 모델은,
    사용자가 마취 환경에 존재하는 경우, 케타민(Ketamine) 마취 상태에서 상승 출력을 학습하고, 프로포폴(Propofol) 마취 상태에서 하강 출력을 학습하며, 제논(Xenon) 마취 상태에서 하강 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
  9. 제1항에 있어서, 상기 자각 모델은,
    사용자가 의식 장애 환경에 존재하는 경우, 최소의식상태(MCS: Minimally Conscious State) 상태에서 상승 출력을 학습하고, 무반응 각성 증후군(UWS: Unresponsive Wakefulness Syndrome) 상태에서 상승 출력을 학습하는, 심층신경망 기반 의식 상태 판단 장치.
  10. 심층신경망 기반 의식 상태 판단 장치를 이용하여 의식 상태를 판단하는 의식 상태 판단 방법에 있어서,
    뇌 신호를 수집하는 단계;
    상기 뇌 신호로부터 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보를 생성하는 단계;
    사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 각성 상태가 학습된 각성 모델 및 사전에 구비되는 3차원 뇌파 정보의 패턴에 따른 사용자의 자각 상태가 학습된 자각 모델에 상기 3차원 뇌파 정보를 입력하여 상기 뇌 신호를 발생시킨 사용자가 각성 상태일 확률을 나타내는 각성 확률 및 사용자가 자각 상태일 확률을 나타내는 자각 확률을 산출하는 단계;
    상기 각성 확률과 상기 자각 확률에 따라 사용자의 의식 상태를 판단하는 단계; 및
    상기 사용자의 의식 상태를 출력하는 단계를 포함하고,
    상기 사전에 준비된 각성 모델 및 상기 자각 모델은,
    상기 사용자가 평상시의 비수면, 램(REM)수면, 비램(RAM)수면중 적어도 하나의 수면 상태에 따른 의식 상태 변화를 나타내는 기본 환경, 상기 사용자가 케타민(Ketamine), 프로포폴(Propofol), 제논(Xenon) 중 적어도 하나의 약물에 의한 마취에 따른 의식 상태 변화를 나타내는 마취 환경 및 최소의식상태(MCS: Minimally Conscious State), 무반응각성증후군(UWS: Unresponsive Wakefulness Syndrome)중 적어도 하나의 질환에 의한 의식 상태 변화를 나타내는 의식 장애 환경을 포함하는 사용자의 환경에 따라 동일한 패턴으로부터 서로 다른 상기 각성 상태 및 상기 자각 상태를 학습하고,
    상기 사용자의 의식 상태를 판단하는 단계는,
    상기 각성 확률 및 자각 확률에 대한 기준 값을 설정하고, 상기 각성 확률 및 상기 자각 확률과 상기 기준 값을 비교하여 대소 관계에 따라 의식 상태를 판단하고,
    상기 사용자의 의식 상태를 판단하는 단계는,
    상기 기본 환경에서 상기 각성 확률이 상기 기준 값보다 크고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 비수면 상태로 판단하고,
    상기 기본 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 램(REM)수면 상태로 판단하고,
    상기 기본 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 낮은 경우, 상기 사용자를 비렘(RAM)수면 상태로 판단하고,
    상기 마취 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 케타민(Ketamine) 마취 상태로 판단하고,
    상기 마취 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 낮은 경우, 상기 사용자를 프로포폴(Propofol) 마취 상태 및 제논(Xenon) 마취 상태 중 어느 하나의 마취 상태로 판단하고,
    상기 의식 장애 환경에서 상기 각성 확률이 상기 기준 값보다 크고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 최소의식상태(MCS: Minimally Conscious State)로 판단하고,
    상기 의식 장애 환경에서 상기 각성 확률이 상기 기준 값보다 낮고, 상기 자각 확률이 상기 기준 값보다 큰 경우, 상기 사용자를 무반응 각성 증후군 상태(UWS: Unresponsive Wakefulness Syndrome)로 판단하는, 의식 상태 판단 방법.
  11. 제10항에 있어서, 상기 확률을 산출하는 단계는,
    상기 각성 모델 및 상기 자각 모델 중 적어도 하나의 모델에 기초하여 상기 3차원 뇌파 정보에 마련되는 요소 중 적어도 하나의 특징점을 검색하는 단계; 및
    상기 특징점의 위치에 매칭되는 뇌 영역을 나타내는 특징 영역 정보를 생성하는 단계를 더 포함하는, 의식 상태 판단 방법.
  12. 제10항에 있어서, 상기 3차원 뇌파 정보를 생성하는 단계는,
    상기 뇌 신호로부터 뇌 영역의 위치에 따른 2차원 뇌파 정보를 생성하는 단계; 및
    상기 2차원 뇌파 정보를 뇌 영역의 위치, 주파수 및 시간에 따른 3차원 뇌파 정보로 변환하는 단계를 더 포함하는, 의식 상태 판단 방법.

KR1020200019480A 2019-09-20 2020-02-18 심층신경망 기반 의식 상태 판단 장치 및 방법 KR102370627B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190116324 2019-09-20
KR20190116324 2019-09-20

Publications (2)

Publication Number Publication Date
KR20210034458A KR20210034458A (ko) 2021-03-30
KR102370627B1 true KR102370627B1 (ko) 2022-03-07

Family

ID=75265039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019480A KR102370627B1 (ko) 2019-09-20 2020-02-18 심층신경망 기반 의식 상태 판단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102370627B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113598791B (zh) * 2021-07-13 2024-04-02 杭州电子科技大学 基于静息态脑电图使用时空卷积神经网络的意识障碍分类方法
CN113558640A (zh) * 2021-07-13 2021-10-29 杭州电子科技大学 基于脑电特征的最小意识状态程度的评估方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034875B1 (ko) * 2009-12-03 2011-05-17 숭실대학교산학협력단 뇌파의 패턴을 이용한 의사 추론 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101939574B1 (ko) * 2015-12-29 2019-01-17 주식회사 인바디 의식 상태 모니터링 방법 및 장치
KR102143900B1 (ko) * 2017-09-14 2020-08-12 고려대학교 산학협력단 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034875B1 (ko) * 2009-12-03 2011-05-17 숭실대학교산학협력단 뇌파의 패턴을 이용한 의사 추론 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
뇌파 분석에 인공지능 활용해 정확한 각성 및 수면 단계 구분, MEDICAL Observer 2019. 8. 16. 1~2면*

Also Published As

Publication number Publication date
KR20210034458A (ko) 2021-03-30

Similar Documents

Publication Publication Date Title
US9655559B2 (en) Automated sleep staging using wearable sensors
RU2634624C2 (ru) Система и способ для определения сна и стадий сна человека
EP2185063B1 (en) Method and system for monitoring sleepiness
JP7007484B2 (ja) 入眠潜時を決定するためのシステム及び方法
KR102383921B1 (ko) 사용자 맞춤형 수면 관리 방법 및 시스템
CN110706816B (zh) 一种基于人工智能进行睡眠环境调控的方法及设备
Hong et al. Intelligent system for drowsiness recognition based on ear canal electroencephalography with photoplethysmography and electrocardiography
CN107106085A (zh) 用于睡眠监测的设备和方法
KR102226640B1 (ko) 뉴로 피드백을 이용한 수면 유도 장치 및 방법
KR102370627B1 (ko) 심층신경망 기반 의식 상태 판단 장치 및 방법
KR102211647B1 (ko) 인공지능 수면개선 비침습적 뇌회로 조절치료시스템 및 방법
CA2936343A1 (en) Systems and methods for diagnosing sleep
CN115298746A (zh) 表征刺激响应以检测睡眠障碍
CN112617747B (zh) 状态推定装置、状态推定方法以及存储介质
Sanjaya et al. Review on the application of physiological and biomechanical measurement methods in driving fatigue detection
Purnamasari et al. Mobile EEG based drowsiness detection using K-nearest neighbor
Takeda et al. Time-dependent sleep stage transition model based on heart rate variability
CN113677270A (zh) 基于额叶脑活动监测传感器的信息增强深度睡眠
KR100718941B1 (ko) 졸음 경고장치 및 졸음 경고방법
Hassan et al. Sigmoid wake probability model for high-resolution detection of drowsiness using electroencephalogram
Murugan et al. Analysis of different measures to detect driver states: A review
Dávila-Montero et al. Exploring the relationship between speech and skin conductance for real-time arousal monitoring
KR102488616B1 (ko) 심장의 동적 특성을 이용한 감성 인식 방법 및 시스템
Sivakumar et al. Analysis of alpha and theta band to detect driver drowsiness using electroencephalogram (EEG) signals.
JP2010012100A (ja) 眠気検出装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant