KR20230095431A - 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치 - Google Patents

단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치 Download PDF

Info

Publication number
KR20230095431A
KR20230095431A KR1020210184893A KR20210184893A KR20230095431A KR 20230095431 A KR20230095431 A KR 20230095431A KR 1020210184893 A KR1020210184893 A KR 1020210184893A KR 20210184893 A KR20210184893 A KR 20210184893A KR 20230095431 A KR20230095431 A KR 20230095431A
Authority
KR
South Korea
Prior art keywords
sleep stage
sleep
electroencephalogram
stage classification
posterior probability
Prior art date
Application number
KR1020210184893A
Other languages
English (en)
Inventor
김동주
이철희
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020210184893A priority Critical patent/KR20230095431A/ko
Publication of KR20230095431A publication Critical patent/KR20230095431A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

수면단계 분류장치에 의해 수행되는 단일 뇌전도 기반 수면단계 분류방법은, 일정시간동안 뇌전도 신호(EEG, electroencephalogram)만을 측정하여 원본신호를 획득하는 단계; 상기 원본신호를 전처리하여 복수의 추출신호를 생성하는 단계; 상기 원본신호 및 상기 복수의 추출신호를 통합하여 통합데이터를 생성하는 단계; 상기 통합데이터에 기초하여 사후 확률을 산출하는 단계; 산출된 사후 확률로부터 수면단계를 분류하는 단계를 포함하는, 단일 뇌전도 기반 수면단계를 포함한다. 이에 의해 고도로 훈련받는 수면전문가의 도움없이 수면단계를 자동으로 분류할 수 있는 것은 물론 단일 뇌전도 신호(EEG)만을 사용하여 생체신호의 측정을 용이하게 할 수 있다.

Description

단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치{Single electroencephalogram-based sleep stage classification method and sleep stage classification device}
본 발명은 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치에 관한 것으로 의료전문가의 도움없이 단일 뇌전도 신호만을 사용하여 수면단계를 분류하는 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치에 관한 것이다.
오늘날, 현대인들은 학업, 가사일, 인간관계, 과도한 업무 등으로 인해 스트레스를 받으며 살아가고 있다. 이러한 스트레스 때문에 현대인들은 숙면을 취하지 못하고 부족한 수면시간으로 인해 고통받고 있다. 게다가, 컴퓨터나 스마트폰의 보급이 증가한 이후, 수면의 질이 급격히 떨어져 수면장애로 고통을 호소하며 병원을 내원하는 환자가 급증하는 추세이다.
특히 수면은 삶의 질과 직접적인 연관성을 가지기 때문에 매우 중요하고, 적절한 수면을 취하지 않으면 혈압을 증가시키거나 면역체계까지 약해질 뿐만 아니라 인지장애와 같은 심각한 문제 또한 발생하게 된다.
이에 많은 연구자들은 수면에 대해 더욱 잘 이해하기 위해 수면의 단계를 분류하였는데 이에 의해 수면 무호흡증, 불면증, 기면증과 같은 다양한 수면장애를 진단할 수 있게 되었다.
하지만 수면의 단계를 구별하기 위해서는 수면을 하는 도중 뇌전도, 안전도, 심전도, 근전도, 맥박산소측정 등 다양한 생체신호를 측정하는 수면다원검사를 실시한 후 훈련된 수면전문가가 수면의 단계를 수기로 구별하기 때문에 많은 시간과 자원이 소요되는 것은 물론 접근성이 떨어지는 문제가 발생한다.
한국공개특허공보 제2014-0058441호
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은 수면단계를 자동으로 분류할 수 있는 것은 물론 단일 뇌전도 신호(EEG)만을 사용하여 생체신호의 측정을 용이하게 할 수 있는, 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 수면단계 분류장치에 의해 수행되는 단일 뇌전도 기반 수면단계 분류방법은, 일정시간동안 뇌전도 신호(EEG, electroencephalogram)만을 측정하여 원본신호를 획득하는 단계; 상기 원본신호를 전처리하여 복수의 추출신호를 생성하는 단계; 상기 원본신호 및 상기 복수의 추출신호를 통합하여 통합데이터를 생성하는 단계; 상기 통합데이터에 기초하여 사후 확률을 산출하는 단계; 및 산출된 사후 확률로부터 수면단계를 분류하는 단계를 포함한다.
그리고 상기 사후 확률을 산출하는 단계에서는, 시공간 합성곱 심층 신경망 (Spectral-Temporal Convolution Neural Network), 자기주의 심층 신경망 (Self-Attention or Multi-Head Attention) 및 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 포함하는 수면분류 모델을 통해 상기 사후 확률을 산출할 수 있다.
또한, 상기 수면분류 모델은, 상기 시공간 합성곱 심층 신경망을 통해 상기 통합데이터로부터 추출된 뇌전도 특징 정보들간의 상관관계를 상기 자기주의 심층 신경망을 통해 학습할 수 있다.
그리고, 상기 수면분류 모델은, 상기 뇌전도 특징 정보들간의 상관관계 데이터를 에폭(Epoch) 단위의 시간에 따라 변하는 뇌전도의 시계열적인 특징을 상기 양방향 장단기 기억 순환 신경망에 기초하여 학습할 수 있다.
한편, 상기 복수의 추출신호는, 주파수 필터링에 기초하여 상기 원본신호로부터 특정 주파수 대역별로 신호를 추출하여 생성될 수 있다.
그리고 상기 산출하는 단계에서 산출된 사후 확률들을 일정한 시간간격으로 이동시키면서 사후 확률 뭉치들을 추출하고, 상기 사후 확률 뭉치들의 평균값을 산출하는 단계를 더 포함할 수 있다.
또한, 상기 분류하는 단계에서는, 상기 평균값을 산출하는 단계에서 산출된 평균값 중에서 가장 큰 값을 가지는 구간에 기초하여 수면단계를 분류할 수 있다.
한편 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 수면단계 분류장치는, 일정시간동안 뇌전도 신호(EEG, electroencephalogram)만을 측정하여 원본신호를 획득하는 획득부; 상기 원본신호를 전처리하여 복수의 추출신호를 생성하고, 상기 원본신호 및 상기 복수의 추출신호를 통합하여 통합데이터를 생성하는 전처리부; 상기 통합데이터에 기초하여 사후 확률을 산출하는 산출부; 및 산출된 사후 확률로부터 수면단계를 분류하는 분류부를 포함한다.
그리고 상기 산출부는, 시공간 합성곱 심층 신경망 (Spectral-Temporal Convolution Neural Network), 자기주의 심층 신경망 (Self-Attention or Multi-Head Attention) 및 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 포함하는 수면분류 모델을 통해 상기 사후 확률을 산출할 수 있다.
또한, 상기 수면분류 모델은, 상기 시공간 합성곱 심층 신경망을 통해 상기 통합데이터로부터 추출된 뇌전도 특징 정보들간의 상관관계를 상기 자기주의 심층 신경망에 기초하여 학습할 수 있다.
상술한 본 발명의 일측면에 따르면, 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치를 제공함으로써, 고도로 훈련받는 수면전문가의 도움없이 수면단계를 자동으로 분류할 수 있는 것은 물론 단일 뇌전도 신호(EEG)만을 사용하여 생체신호의 측정을 용이하게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 수면단계 분류장치에서 수면단계를 분류하는 개략도,
도 2는 본 발명의 일 실시예에 따른 수면단계 분류장치의 구성을 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 수면단계 분류장치에서의 전처리과정을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른 학습부를 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른 수면단계 분류방법을 설명하기 위한 흐름도,
도 6은 본 발명의 일 실시예에 따른 수면분류 모델의 세부 구성을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른 시공간 합성곱 심층 신경망의 구조의 개략도,
도 8은, 본 발명의 일 실시예에 따른 사후 확률에 기반한 예측 알고리즘의 개략도,
도 9는 도 8의 사후 확률에 기반한 예측 알고리즘을 적용하기 전후를 비교하기 위한 도면, 그리고
도 10은 본 발명의 수면단계 분류방법에 따른 수면단계 예측 결과와 수면 전문가가 판단한 수면단계를 비교하기 위한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 수면단계 분류장치(100)에서 수면단계를 분류하는 개략도이고, 도 2는 본 발명의 일 실시예에 따른 수면단계 분류장치(100)의 구성을 설명하기 위한 도면, 도 3은 본 발명의 일 실시예에 따른 수면단계 분류장치(100)에서의 전처리과정을 설명하기 위한 도면, 도 4는 본 발명의 일 실시예에 따른 학습부(140)를 설명하기 위한 도면, 도 5은 본 발명의 일 실시예에 따른 수면분류 모델의 세부 구성을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 시공간 합성곱 심층 신경망의 구조의 개략도이다.
본 발명의 수면단계 분류장치(100)는, 종래와는 달리 단일 뇌전도 신호(EEG, electroencephalogram)만을 사용하고 고도화된 심층신경망 알고리즘을 사용하여 수면전문가의 도움 없이도 수면의 단계를 자동으로 분류하기 위해 마련된다.
수면단계 분류장치(100)는 도 1에 도시된 바와 같이 먼저 일정 시간동안 환자로부터 측정된 뇌전도 신호만을 획득하고, 획득한 뇌전도 신호를 전처리하고, 전처리된 데이터를 딥러닝 알고리즘을 이용해 최종적으로 수면단계를 분류할 수 있다. 이를 통해 수면단계 분류에 따른 객관적인 기준을 제시할 수 있고, 판정자 간 판정 오차를 줄일 수 있으며 수면다원검사 결과 분석을 자동화할 수 있게 되어 수면다원 검사에 소요되는 시간을 최소화할 수 있는 효과를 제공할 수 있게 된다.
이를 위해 수면단계 분류장치(100) 획득부(110), 저장부(120), 제어부(130) 및 학습부(140)를 포함하여 마련될 수 있다.
획득부(110)는 환자로부터 일정시간동안 뇌전도 신호(EEG)만을 측정하여 수집된 원본신호를 획득하기 위해 마련될 수 있다. 이러한 획득부(110)는 환자의 신체에 부착되는 뇌전도 센서와 유무선으로 연결되어 실시간으로 직간접적으로 원본신호를 획득할 수 있다.
그리고 획득부(110)에서 획득하는 원본신호는 실시간이 아닌, 저장부(120)에 저장되어 있는 뇌전도 신호일 수도 있으며, 획득부(110)에서 실시간으로 획득한 원본신호가 저장부(120)에 저장되도록 전달하거나, 수면단계 분류를 위해 제어부(130)로 전달할 수 있다.
한편 저장부(120)는 획득부(110)에서 획득한 뇌전도 신호를 원본신호로써 저장하거나 사전에 수행된 수면다원 검사에 의해 수면다원 검사 데이터베이스에 기록된 뇌전도 신호를 원본신호로 저장할 수 있다.
그리고 저장부(120)에는 단일 뇌전도 기반 수면단계 분류방법을 수행하기 위한 프로그램이 기록된다. 또한 제어부(130)에서 처리하는 데이터를 일시적 또는 영국적으로 저장하며, 휘발성 저장매체 또는 비휘발성 저장매체를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한 저장부(120)는 수면단계 분류방법을 수행하면서 누적되는 데이터가 저장될 수 있는데 예를 들면, 수면단계 분류모델에 사용되는 학습데이터, 수면단계 분류모델, 임베딩 벡터 등이 저장될 수 있다.
제어부(130)는 단일 뇌전도 기반 수면단계 분류방법을 제공하는 전체 과정을 제어하기 위해 마련되며, 단일 뇌전도 기반 수면단계 분류방법 방법을 수행하기 위한 소프트웨어(어플리케이션)에 의해 제어될 수 있다.
그리고 제어부(130)는 획득부(110) 및 저장부(120)를 제어하고, 획득부(110)에서 획득한 단일 뇌전도 신호에 기초하여 학습부(140)를 통해 생성된 수면단계 분류모델을 통해 수면단계를 분류할 수 있다. 이러한 제어부(130)는 도시된 바와 같이 전처리부(131), 산출부(133) 및 분류부(135)를 포함할 수 있다.
전처리부(131)는 획득부(110)로부터 전달받은 원본신호를 전처리하여 복수의 추출신호를 생성하고, 원본신호 및 복수의 추출신호를 통합하여 통합데이터를 생성하기 위해 마련된다.
구체적으로, 수면의 단계에 따라서 활성화되는 주파수 대역이 다르기 때문에 원본신호로부터 특정 주파수 대역의 신호들을 추출하는 과정이 필요하다. 이에 전처리부(131)는 도 3에서와 같이 Band-Pass filter를 사용하여 원본신호로부터 델타(δ, 0.5~4Hz), 세타(
Figure pat00001
, 4~8Hz), 알파(α, 8~12Hz), 스핀들(spindle, 12~15Hz), 베타(
Figure pat00002
, 15~30Hz)의 주파수 대역별 신호를 추출할 수 있다.
그리고 전처리부(131)는 이렇게 원본신호로부터 주파수 대역별로 신호를 추출하여 복수의 추출신호를 생성하고 나면, 추출된 다섯가지의 신호와 원본신호를 통합하여 30초 간격의 20개 데이터를 통합데이터로써 생성할 수 있다. 이후 전처리부(131)는 이렇게 생성된 통합데이터를 산출부(133)로 전달할 수 있다.
한편 산출부(133)는 전처리부(131)에서 생성된 통합데이터를 전달받고, 전달받은 통합데이터를 수면분류 모델에 입력하여 사후 확률을 산출하기 위해 마련된다.
이 때 수면분류 모델은 시공간 합성곱 심층 신경망 (Spectral-Temporal Convolution Neural Network), 자기주의 심층 신경망 (Self-Attention or Multi-Head Attention) 및 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 포함할 수 있다. 수면분류 모델은 인공지능 모델로서 에폭(Epoch) 단위의 시계열 데이터를 이용하며, AASM(American Academy of Sleep Medicine) 표준 또는 R&K(Rechtschaffen and Kales) 표준을 참고해서 수면단계를 분류할 수 있도록 한다.
이에 산출부(133)는 통합데이터를 입력으로 하여 이상의 총 3단계의 심층 신경망을 거쳐 최종적으로 사후 확률을 산출할 수 있다. 이러한 수면분류 모델은 학습부(140)에 의해 생성될 수 있고, 수면분류 모델을 생성하기 위한 구체적인 학습과정에 대해서는 학습부(140)에서 후술하기로 한다.
또한 본 실시예에 따른 산출부(133)는 학습이 완료된 수면분류 모델을 이용해 수면의 단계를 더욱 정확하게 구별하도록 할 수 있다.
이를 위해 산출부(133)는 30초 간격의 20개의 신호인 통합데이터를 학습된 수면분류 모델에 입력하여 산출된 사후 확률들을 일정한 시간간격, 즉 30초 간격으로 이동시키면서 사후 확률 뭉치들을 추출할 수 있다. 또한 산출부(133)는 이렇게 추출된 사후 확률 뭉치들의 평균값을 산출할 수 있다.
한편 분류부(135)는 이렇게 산출된 사후 확률 뭉치들의 평균값 중에서 가장 큰 값을 가지는 곳을 수면의 단계로 분류할 수 있는데, 구체적으로는 아래 표 1과 같이 분류될 수 있다.
Event Frequency / Duration Related Stage
Alpha rhythm 8-13 Hz W
Low amplitude, mixed frequency activity 4-7 Hz N1
Vertex shape waves < 0.5 s N1
K complex 1.6-4 Hz >= 0.5 s N2
Sleep spindle 11-16 Hz >= 0.5 s N2, N3
Slow wave activity 0.5-2 Hz N3
Sawtooth waves 2-6 Hz REM
한편 학습부(140)는 수면단계 분류를 위한 수면단계 분류모델을 생성하기 위해 마련될 수 있으며, 인공지능 기반의 수면단계 분류모델은 처리된 특성을 가지는 에폭 단위의 시계열 데이터를 입력으로 받아 딥러닝 기술로 분석하여 수면단계를 분류할 수 있다. 최적의 성능을 위한 수면단계 분류모델을 구현하기 위해서는 최적화된 변수인 하이퍼파라미터가 존재하며 이는 각각의 레이어마다 정의될 수 있다.
상술한 바와 같이 본 실시예의 수면단계 분류모델은 시공간 합성곱 심층 신경망 (Spectral-Temporal Convolution Neural Network), 자기주의 심층 신경망 (Self-Attention or Multi-Head Attention) 및 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 포함하여 딥러닝 모델의 형태로 설계된다.
이를 위해 학습부(140)는 시공간 합성곱 모듈(141), 자기주의 모듈(143), 양방향 LSTM 모듈(145)을 포함하여 마련될 수 있다.
시공간 합성곱 모듈(141)은 도 5에 도시된 바와 같이 획득부(110)에서 30초 단위(epoch)로 나누어 측정되는 총 20개의 전체 뇌전도 신호가 전처리부(131)를 통해 전처리되어 생성된 통합데이터를 입력받게 된다.
그러면 시공간 합성곱 모듈(141)은 시공간 합성곱 심층 신경망을 적용하여 뇌전도 신호의 특징을 자동으로 추출하고, 특징벡터에서 중요한 부분에 집중하여 최종적인 특징벡터를 추출하여 임베딩벡터를 생성할 수 있다.
보다 구체적으로 시공간 합성곱 심층 신경망은 도 6에 도시된 바와 같이 통합데이터에서 몇 가지의 매개변수를 사용하여 EEG 신호의 신경 생리학적 특징을 추출하고, 이 때 커널 크기(kernel size)를 조정하여 프로세스를 수행할 수 있다. 그리고 도 6과 같이 두 컨볼루션 레이어에 대해 배치 정규화(batch normalization) 및 ELU(Exponential linear unit) 활성화 함수가 두 컨볼루션 레이어에서 생성된 피처 맵에 적용될 수 있고, 매개변수의 수를 줄이기 위해 편향을 제거할 수 있다.
보다 구체적으로 시공간 합성곱 심층 신경망에서 두 개의 컨볼루션 레이어는 (1, k)의 커널 크기를 이용하여 EEG 신호에서 시간적 특징을 추출할 수 있다. 첫 번째 컨볼루션 레이어의 커널 크기는 100Hz 샘플링 속도의 절반인 (1, 50)으로 설정되고, 두 번째 컨볼루션 레이어의 경우 EEG 신호에서 0.5Hz 이상의 주파수 정보를 캡처하기 위하여 커널 크기 (1, 100)으로 설정될 수 있다. 두 개의 컨볼루션 레이어는 입력의 차원을 유지하기 위해 25와 50으로 채워(fadded)질 수 있다.
시공간 합성곱 심층 신경망은 도 6에 도시된 바와 같이 깊이별 컨볼루션 레이어(depthwise convolution layer)와 포인트별 컨볼루션 레이어(pointwise convolution layer)를 포함할 수 있다. 이 때 깊이별 컨볼루션 레이어는 (1, 6)의 커널 크기를 사용하여 주파수별 공간 정보를 학습하고, 각 수면 단계에서 주파수 간 정보를 캡처한다. 한편 포인트별 컨볼루션 레이어는 (1, 1)의 커널 크기를 사용하여 각 피처 맵을 최적으로 혼합한다. 이러한 시공간 합성곱 심층 신경망은 이전의 모든 피처 맵에 풀링(fully)이 적용되지 않으므로, 훈련 가능한 매개변수의 수를 줄일 수 있다. 1000개의 출력 뉴런 유닛과 5개의 출력 뉴런이 있는 2개의 적층된 풀링 레이어(fully connected layer)는 컨볼루션 프로세스의 최종 피처 맵을 사용하여 수면 단계를 분류하는데 사용될 수 있다.
이 때 피처 맵은 단일 벡터로 평면화되고 2개의 적층된 풀링 레이어에 입력되고, 이를 통해 5개의 출력 벡터를 기반으로 5개의 수면 단계에 대한 점수를 계산할 수 있다. 그럼 다음 SoftMax 레이어가 적용된다.
보다 구체적인 시공간 합성곱 심층 신경망의 레이어 및 하이퍼파라미터는 아래의 표 2와 같을 수 있다.
Figure pat00003
시공간 합성곱 모듈(141)은 수면과 관련된 뇌파 신호의 특성을 포함하는 임베딩벡터를 생성하기 위해 사전 훈련된 시공간 합성곱 심층 신경망을 사용하여 전이 학습을 수행할 수 있다. 전이 학습은 다양한 기계 학습에 사용되는 것으로 이는 관련 소스 작업(source tasks)의 지식을 대상 작업(target task)으로 이전하여 성능을 향상시키고 훈련 시간을 단축할 수 있게 된다. 도 6와 같이 사전 훈련된 시공간 합성곱 심층 신경망에서 추출한 최종 특징 맵을 2,000개의 출력 뉴런을 포함하는 풀링 레이어에 선형 투영(linearly projected)하여 임베딩 벡터를 생성할 수 있다.
이렇게 생성된 임베딩 벡터는 도 5에 도시된 바와 같이 자기주의 모듈(143)에 입력되며 수면분류 모델에 맞게 미세 조정할 수 있도록 비고정 상태(non-static state)로 설정될 수 있다.
한편 자기주의 모듈(143)은 자기주의 심층 신경망(Self-Attention or Multi-Head Attention)을 적용하여 시공간 합성곱 모듈(141)에서 추출된 20개의 뇌전도 특징 정보들 간의 상관관계를 학습할 수 있다. 이를 통해 통합데이터들 간의 서로 비슷한 특성을 가지는지 그렇지 않는지를 확인할 수 있게 된다.
자기주의 심층 신경망은 타임스탬프(timestamps)가 서로 다른 다수의 에폭(epoch) 간의 상관관계 및 종속성을 캡처할 수 있다.
시공간 합성곱 모듈(141)로부터 20개의 연속 에폭(epoch)가 임베딩 벡터로 변환된 다음 자기주의 심층 신경망에 입력되는데, 자기주의 메커니즘은 시퀀스 정보를 반영하지 않기 때문에 위치 정보를 추가하기 위해 임베딩 매트릭스에 위치 인코딩이 적용될 수 있으며, 이러한 위치 인코딩은 다음의 수학식 1에 의해 구현될 수 있다.
[수학식 1]
Figure pat00004
Figure pat00005
)
여기서 i는 차원의 인덱스이고, pos는 20으로 에폭 간의 종속성을 학습하기 위한 고정 길이 부분 시퀀스의 위치 인덱스를 의미하고 dmodel은 임베딩벡터와 동일한 크기인 2,000으로 정의될 수 있다.
그리고 자기주의 심층 신경망은 입력 벡터와 크기가 동일한 쿼리(Query), 키(Key), 값(Value)을 포함할 수 있으며, 주의 가중치(attention weight)는 세 단계를 통해 계산될 수 있다.
먼저 키와 쿼리 간의 유사성 도출을 위해 모든 키가 있는 쿼리의 내적을 계산하고 벡터 차원의 제곱으로 나누게 된다. 두번째로는 SoftMax 활성화를 사용하여 서로 다른 값(value)들의 주의 가중치를 얻고, 마지막으로 두번째 단계에서 생성된 모든 값의 가중치를 합하여 주의 값(attention value)을 계산할 수 있게 된다.
주의 가중치는 쿼리, 키 및 값을 각각 Q, K 및 V에 패킹하여 계산되고 출력 행렬은 하기의 수학식 2를 통해 계산할 수 있다.
[수학식 2]
Figure pat00006
여기서 Q, K 및 V는 입력 임베딩 벡터에 의해 형성된 행렬이고,
Figure pat00007
은 벡터의 차원이며, T는 전치 행렬을 의미할 수 있다.
그리고 자기주의 메커니즘은 Q, K 및 V에 대해 h 선형 투영을 수행하여 다양한 관점에서 특징을 추출할 수 있는데, 여기서 h는 헤드의 수일 수 있으며, 이 때에는 하기 수학식 3을 사용할 수 있다.
[수학식 3]
Figure pat00008
Figure pat00009
이상에서
Figure pat00010
는 학습가능한 파라미터를 의미할 수 있다.
이후 자기주의 모듈(143)은 다른 헤드의 출력을 연결한 다음 선형 투영을 다시 수행할 수 있다. 본 실시예에 따른 자기주의 모듈(143)은 100개의 출력 뉴런이 있는 풀링 레이어(fully connected layer)를 사용하여 차원이 2,000인 임베딩 벡터(즉, 10개의 헤드)를 투영하고, 최종 출력 벡터는 딥 러닝의 수렴을 개선하고, 성능 저하 문제를 극복하며 정보 흐름을 향상시키기 위해 스킵 연결(skip connection)을 통해 입력 벡터에 추가될 수 있다.
그리고 자기주의 심층 신경망은 GELU 활성화 함수와 함께 두 개의 풀링 레이어로 구성된 위치별 피드포워드 네트워크(position-wise Feed-forward network)에 동일하게 적용되는데 위치별 피드포워드 네트워크는 하기의 수학식 4과 같이 구현될 수 있다.
[수학식 4]
Figure pat00011
여기서
Figure pat00012
과
Figure pat00013
는 각각
Figure pat00014
와
Figure pat00015
형식의 학습 가능한 매개변수(parameter)이고 f는 100이며,
Figure pat00016
및
Figure pat00017
는 편향 항(bias terms)을 의미할 수 있다.
이상의 자기주의 심층 신경망을 적용하여 자기주의 모듈(143)에서는 서로 다른 신호 간의 상관관계를 캡처하는 것이 가능해지고 자기주의 모듈(143)은 자기주의 심층 신경망을 통해 출력된 출력 벡터를 양방향 LSTM 모듈(145)에 입력되도록 할 수 있다.
한편 양방향 LSTM 모듈(145)은 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 적용하여 시간에 따라 변하는 뇌전도의 시계열적인 특징을 학습하기 위해 마련될 수 있다. 장단기 기억 순환 신경망의 경우에는 시계열 데이터를 순차적으로 학습할 때 주로 사용되며, 과거의 정보들이 학습이 진행됨에 따라 정보가 손실되는 것을 방지해 준다. 이런 장단기 기억 순환 신경망을 양방향으로 학습하게 되면 신호에서 다양한 정보들을 추출하여 학습할 수 있게 된다.
보다 구체적으로, 자기주의 모듈(143)에서 서로 다른 신호 간의 상관관계를 캡처하는 것은 가능하지만, 시간이 지남에 따라 수면 단계의 변화를 반영하는 데에는 한계가 있고, 이러한 문제를 해결하기 위해 자기주의 심층 신경망을 통해 추출된 출력 벡터는 서로 다른 에폭 간의 상관관계와 수면 단계의 변화를 고려하는 양방향 LSTM 모듈(145)에 입력되도록 할 수 있다.
본 실시예에 따른 양방향 LSTM 모듈(145)은 시간에 따른 수면 단계의 변화를 학습하기 위해 고려되는 정보의 양을 증가시킬 수 있도록 전후 방향으로 2개의 LSTM을 포함하는 양방향 장단기 기억 순환 신경망을 적용하여 RNN의 장기 종속성 문제를 해결할 수 있게 된다.
이러한 양방향 LSTM 모듈(145)에 적용되는 양방향 장단기 기억 순환 신경망의 LSTM(Long Short Term Memory)은 하기의 수학식 5에 따라 구현될 수 있다.
[수학식 5]
Figure pat00018
Figure pat00019
Figure pat00020
Figure pat00021
Figure pat00022
이상에서
Figure pat00023
는 시그모이드 함수이고, w와 b는 각각 가중치 행렬 및 편향을 의미한다. I, f, c 및 o는 입력 게이트, 망각(forget) 게이트, 셀 백터 및 출력 게이트를 의미하는 것으로, 은닉 벡터 h와 크기가 같을 수 있다.
본 실시예에 따른 양방향 장단기 기억 순환 신경망은 레이어 당 200개의 은닉 유닛과 2,000개의 입력 뉴런을 포함할 수 있다. 그리고 5개의 수면단계를 분류하기 위해 자기주의 심층 신경망과 양방향 장단기 기억 순환 신경망의 출력 벡터를 연결(출력 벡터의 차원은 2,400)한 다음 풀링 레이어 및 SoftMax 레이어에 차례로 입력되도록 할 수 있다.
이상의 과정을 통해 학습부(140)는 3개의 심층 신경망을 이용하여 학습을 완료하여 수면분류 모델을 생성할 수 있게 된다. 그리고 이렇게 생성된 수면분류 모델을 통해 제어부(130)에서 최종 수면단계를 분류할 수 있게 된다.
그리고 수면단계 분류모델을 성공적으로 학습시키기 위해 클래스 불균형 문제를 해결해야 하는데 일반적으로 각 수면단계의 지속 시간은 다양하므로 각 클래스의 인스턴스 수에는 차이가 있게 된다. 예를 들면 'N2' 단계는 전체 수면의 약 45-55%를 차지하는 반면, 'N1' 단계는 약 2-5%만 차지하게 된다.
대부분의 기계학습 알고리즘은 오분류 비용이 모든 클래스에 대해 동일하다고 가정하여 학습하지만, 비용에 민감한 학습(cost-sensitive learning)은 각 클래스에 서로 다른 오분류 비용을 적절하게 할당하여 총 비용을 최소화하는 훈련 방식이다. 이 방식은 훈련시간이나 계산비용을 증가시키지 않고 모든 클래스를 동등하게 학습할 수 있다는 장점이 있고 다른 데이터 샘플링 방법에 비해 클래스 불균형 문제를 완화할 수 있다.
이에 본 실시예의 학습 대상인 Sleep-EDF(Expanded) 데이터세트(data set)의 경우 각 수면의 단계의 클래스 개수가 고르지 못한 데이터 불균형의 문제를 가질 수 있다.
이에 해당 데이터세트로 학습을 진행한 경우 다수의 클래스에 더 관심을 가지고 학습을 진행하기 때문에 모든 클래스에 대해서 고르게 학습을 진행하기 위해서 본 실시예에서의 학습부(140)는 초점 손실(focus loss) 함수를 사용하여 오분류 비용(misclassification cost)을 최소화시킬 수 있다. 초점 손실 함수는 하기의 수학식 6에 기초하여 구현될 수 있다.
[수학식 6]
Figure pat00024
이 때
Figure pat00025
는 SoftMax 활성화 함수를 기반으로 발생하는 특정 수면 단계와 관련된 확률을 의미할 수 있고,
Figure pat00026
는 가중인자(weighting factor), 초점 매개변수(focusing parameter)
Figure pat00027
는 균형변조인자(balance modulation factor)로써, 클래스 불균형 문제를 해결하기 위해 도입되었다.
또한 본 실시예에서의 학습부(140)는 'N1' 클래스가 다른 클래스에 비해 상대적으로 성능이 떨어지기 때문에 가중 랜덤 샘플링(weighted random sampling 적용하여 'N1' 클래스를 가지는 샘플들을 자주 학습시켜 'N2' 클래스의 성능 향상을 도모하였다.
이때 학습부(140)는 가중 랜덤 샘플링을 적용하기 위해 다중 출력(multiple output)은 세 그룹으로 그룹화할 수 있다. 그룹 1은 모든 레이블이 'w'단계에 있는 경우이고, 그룹 2는 'N1'이 레이블에 포함되지 않고 그룹 1에 속하지 않은 경우이며, 그룹 3은 'N1'이 레이블에 포함되고 그룹 1에 속하지 않는 경우일 수 있다.
표본 확률은 각 그룹에 대해 1:5:5의 비율로 설정되고, 이 절차를 통해 학습 세트는 대다수 클래스이 'W' 이외의 수면 단계(특히 N1)에 초점을 맞추도록 효과적으로 재조정되었다.
도 7은, 본 발명의 일 실시예에 따른 사후 확률에 기반한 예측 알고리즘의 개략도이다.
상술한 바와 같이 산출부(133)는 학습부(140)에서 학습이 완료되어 생성된 수면분류 모델을 통해 출력된 사후 확률들을 30초 간격으로 옮겨 가면서 추출할 수 있다. 본 수면단계 분류장치(100)는 사후 확률에 기반한 예측 알고리즘을 이용하여 수면단계를 분류할 수 있게 되는데, 도면에서와 같이 입력 시퀀스는 20 에폭(epoch)으로 구성되고 1에폭(epoch)만큼 오프셋된다.
그리고 산출부(133)는 각 에폭에 대한 사후 확률을 합산하고 각 클래스에 대해 평균값을 산출할 수 있으며 최종 사후 확률의 시간 인덱스 t는 하기의 수학식 7에 따라 계산될 수 있다.
[수학식 7]
Figure pat00028
여기서
Figure pat00029
은 n번째 예측 결과이고,
Figure pat00030
는 i번째 데이터이며,
Figure pat00031
는 사후 확률을 의미한다.
한편 도 8은 본 발명의 일 실시예에 따른 수면단계 분류방법을 설명하기 위한 흐름도로써, 본 실시예에 따른 단일 뇌전도 기반 수면단계 분류방법은 상술한 수면단계 분류장치(100)에 의해 수행될 수 있다.
이러한 본 실시예에 따른 수면단계 분류방법은, 원본신호를 획득하는 단계(S100), 복수의 추출신호를 생성하는 단계(S200), 통합데이터를 생성하는 단계(S300), 사후 확률을 산출하는 단계(400) 및 수면단계를 분류하는 단계(S500)를 포함할 수 있다.
원본신호를 획득하는 단계(S100)는 일정시간동안 뇌전도 신호(EEG, electroencephalogram)만을 측정하여 뇌전도 신호를 원본신호로써 획득하는 단계일 수 있다. 이러한 원본신호를 획득하는 단계(S100)는 수면분류 장치(100)에 구비된 EEG 센서에 의해 직접 수집되거나 별도의 EEG 센서와 유무선 통신을 통해 전달받을 수도 있다.
한편 복수의 추출신호를 생성하는 단계(S200)는 획득부(110)에서 획득한 원본신호를 전처리부(131)에서 전처리하여 복수의 추출신호를 생성하는 단계로, Band-Pass filter를 사용하여 원본신호로부터 델타(δ, 0.5~4Hz), 세타(
Figure pat00032
, 4~8Hz), 알파(α, 8~12Hz), 스핀들(spindle, 12~15Hz), 베타(
Figure pat00033
, 15~30Hz)의 주파수 대역별 신호를 추출하는 단계일 수 있다.
이렇게 복수의 추출신호가 생성된 이후에는 통합데이터를 생성하는 단계(300)를 수행할 수 있다. 통합데이터를 생성하는 단계(300)는 전처리부(131)가 원본신호와 추출된 5가지의 추출신호를 통합하여 통합데이터로써 생성할 수 있다.
그리고나서 통합데이터에 기초하여 사후 확률을 산출하는 단계(400)를 수행할 수 있다. 사후 확률을 산출하는 단계(S400)는 생성된 통합데이터를 수면분류 모델에 입력하여 사후 확률을 산출하는 단계이며, 이 때 수면분류 모델은 시공간 합성곱 심층 신경망 (Spectral-Temporal Convolution Neural Network), 자기주의 심층 신경망 (Self-Attention or Multi-Head Attention) 및 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 포함할 수 있다. 수면분류 모델은 인공지능 모델로서 에폭(Epoch) 단위의 시계열 데이터를 이용하며, AASM(American Academy of Sleep Medicine) 표준 또는 R&K(Rechtschaffen and Kales) 표준을 참고해서 수면단계를 분류할 수 있도록 한다.
이에 사후 확률을 산출하는 단계(S400)에서는 상술한 학습부(140)에서 생성된 총 3단계의 심층 신경망을 포함하는 수면분류 모델을 통해 최종적으로 사후 확률을 산출할 수 있다. 이 때 시공간 합성곱 심층 신경망을 통해 통합데이터로부터 추출된 뇌전도 특징 정보들간의 상관관계를 자기주의 심층 신경망을 통해 추출할 수 있게 된다. 그리고 양방향 장단기 기억 순환 신경망에 기초하여 뇌전도 특징 정보들 간의 상관관계 데이터를 에폭 단위의 시간에 따라 변하는 뇌전도의 시계열적인 특징을 추출할 수 있게 된다.
그리고 본 실시예에 따른 단일 뇌전도 기반 수면단계 분류방법(S500)은 사후 확률을 산출하는 단계(S400) 이후에 사후 확률 뭉치들의 평균값을 산출하는 단계(미도시)를 더 포함할 수도 있다.
이러한 사후 확률 뭉치들의 평균값을 산출하는 단계(미도시)에서는, 통합데이터를 생성하는 단계(S300)를 통해 생성된 30초 간격의 20개의 신호를 상술한 3단계의 심층 신경망을 포함하는 수면분류 모델에 입력하여 나온 사후 확률들을 30초 간격으로 옮겨가면서 추출할 수 있다. 그리고 이렇게 추출된 사후 확률 뭉치들의 평균값들을 구하게 된다.
그리고나서 수면단계를 분류하는 단계(S500)를 수행할 수 있다. 수면단계를 분류하는 단계(S500)는 사후 확률 뭉치들의 평균값을 산출하는 단계(S500)에서 산출된 평균값 중에서 가장 큰 값을 가지는 곳을 기준으로하여 수면의 단계를 분류할 수 있다.
한편 도 9는 본 실시예의 사후 확률에 기반한 예측 알고리즘을 적용하기 전후를 비교하기 위한 도면, 그리고 도 10은 본 발명의 수면단계 분류방법에 따른 수면단계 예측 결과와 수면 전문가가 판단한 수면단계를 비교하기 위한 도면으로, 이하에서는 본 실시예에 따른 수면단계 분류모델의 성능을 평가한 실험결과에 대해 설명하기로 한다.
본 실험에서는 Sleep-EDF(Expanded) 데이터베이스(version 2018)을 사용하였고 데이터 세트는 수면 카세트 하위 세트(sleep cassette subset)와 수면 원격 측정 하위 세트(sleep telemetry subset)의 두 가지 하위 세트로 구성됩니다. 수면 카세트(SC) 하위 집합은 수면과 연령 간의 관계를 연구하기 위해 측정된 25-101세 사이의 대상자 153명의 수면다원검사(PSG, Polysomnography)로 구성되었다.
수면 원격 측정 하위 집합은 수면제 처방 약물인 테마제팜(temazepam)과 수면 사이의 관계를 연구하기 위해 측정된 18-79세 사이의 대상자 44명의 수면다원검사로 구성되었다. 그리고 수면 카세트 하위 세트는 본 실험에서 타겟 도메인(target domain)으로 채택되었다.
수면다원검사는 두개의 양극성 EEG 채널(Fpz-Cz 및 Pz-OZ), 수평 EOG 채널 및 턱밑 EMG 채널로 구성되었다. EEG 및 EOG 신호는 100Hz에서 측정되었고, EMG 신호는 1Hz에서 샘플링되었다. 녹음의 각 30초 에폭에서 수면 전문가는 R&K 표준에 따라 8가지 클래스인 'W', 'N1', 'N2', 'N3', 'N4', 'REM', 'M', '?'중 하나에 레이블을 지정하였고, 'M', '?'은 각각 움직임과 미지수를 의미한다. AASM 표준에 따르면 'N3'과 'N4'는 'N3'으로 병합되었고, 'M'과 '?'는 제외되었으며, 모든 생리적 신호 중 Fpz-Cz EEG 신호는 본 실시예에 따른 학습에만 사용되었다.
그리고 본 실시예에 따른 수면단계 분류모델의 성능을 비교하기 위해 딥러닝을 사용하는 기존의 두 가지 머신러닝 방법과 8가지 최신 방법을 구현하였다.
두 가지 기존 방법은 EEG 신호에서 전력 스펙트럼 밀도를 학습하는 지원 벡터 머신(support vector machine)과 랜덤 포레스트(random forest)이고, 최신 방식의 구현을 위해 공개된 코드(Phan, et al. 2019; Mousavi, et al. 2019; Supratak, et al. 2017; Supratak and Guo 2020; Eldele, et al. 2021)를 활용하였다.
본 발명의 수면단계 분류모델은 머신러닝 모델에 대한 쉽고 빠른 연구를 가능하게 하도록 설계된 라이브러리인 PyTorch v1.3.1로 구현하였고, 훈련 및 평가는 E5-2680 2.40GHz CPU, 256GB RAM 및 NVIDIA TITAN XP 12GH GPU가 장착된 컴퓨터에서 수행되었다.
학습을 위해 먼저 시공간 합성곱 심층 신경망이 400 크기의 미니배치(minibatch)를 사용하여 사전 훈련되었고, 시공간 합성곱 심층 신경망 학습이 종료된 후 사전학습된 두 개의 풀링 레이어를 제외한 나머지 매개변수는 초기화되고 50 크기의 미니배치를 사용하여 학습하였으며, 학습과정에서 개선이 감지되지 않을 때 학습을 중단하기 위해 10 에폭에 대한 유효성 검사 손실을 기반으로 한 조기 중단 기준을 사용하였다.
수면단계 분류모델의 매개변수를 최적화하기 위해 AdamW(Loshchilov and Hutter 2017)최적화 프로그램을 채택하였다. 매개변수 학습률, 베타1(beta1), 베타2(beta2) 및 가중치 감쇠 매개변수는 AdamW 최적화 프로그램에서 각각 1e-3, 0.9, 0.999 및 1e-2로 설정되었다.
또한 수면단계 분류모델을 평가하기 위해 Sleep-EDFX 데이터 세트에 대해 10-ford 교차 검증을 수행하였고, 총 153명의 수면다원검사 피험자를 모델 학습을 위한 학습 세트와 평가를 위한 테스트 세트로 나누었고, 학습 세트에서 검증을 위해 4개의 주제를 세분화하였으며, 이 과정을 10회 반복하여 모든 주제를 시험하였으며, 보다 구체적으로는 하기의 표 3과 같다.
Figure pat00034
일반적으로 뇌파는 주파수 대역에 따라 델타파(δ, 0.5~4Hz), 쎄타파(
Figure pat00035
, 4~8Hz), 알파파(α, 8~12Hz), 스핀들(spindle, 12~15Hz), 베타파(
Figure pat00036
, 15~30Hz), 감마파(γ, 30~50Hz)로 분류된다. 또한 알파파를 기준으로 해서 8Hz 미만을 서파(Slow Wave), 13Hz이상을 속파(Fast Wave)라고 구분한다. 뇌파에 의해 연구되어 온 자발뇌파는 일반적 생리현상에서 감각 등 뇌 활동으로 나타나며, 유발뇌파는 뇌 활동 상태를 알아보기 위해 인위적으로 뇌 활동을 유도하여 관찰할 수 있다.
그리고 본 실시예에 따른 수면단계 분류모델의 수면단계 분류성능을 평가하기 위해 전체 정확도(overall accuracy)(ACC), 매크로-F1 점수(macro-F1 score)(MF1), Cohen's Kappa coefficient(k)의 세가지 메트릭을 사용하였다. ACC 및 MF1은 일반적으로 사용되는 평가 지표이고, 특히 MF1은 데이터 클래스가 불균형할 때 유용한 지표이며 이러한 평가 지표는 하기의 수학식 8을 통해 계산될 수 있다.
[수학식 8]
Figure pat00037
Figure pat00038
여기서
Figure pat00039
와 N은 각각 true positive와 전체 에폭의 수이고,
Figure pat00040
와 K는 각각 i번째 수면단계(stage)의 F1 점수와 전체 수면단계의 총 수를 의미할 수 있다.
그리고 Cohen's Kappa coefficient(k)는 두 관찰자 간의 측정 범주 값에 대한 일치도를 측정하는 방법으로 하기의 수학식 9를 통해 계산될 수 있다.
[수학식 9]
Figure pat00041
이 때
Figure pat00042
는 정확도를 나타내고,
Figure pat00043
는 변화율(change rate)를 나타내며 이 공식은 분류결과와 실제 값이 얼마나 잘 일치하는지를 나타낸다.
또한 하기의 표 4에서와 같이 다양한 메트릭을 기반으로 제안된 본 실시예에 따른 수면단계 분류모델(proposed model)과 이전 연구들의 성능을 비교한 결과 본 실시예에 따른 수면단계 분류모델의 성능이 다른 알고리즘들에 비해 전체 성능이 가장 우수함을 알 수 있다.
Figure pat00044
또한 도 9에 도시된 바와 같이 본 발명의 수면단계 분류모델과 사후 확률 산출을 함께 사용하여 수면단계를 분류한 결과(오른쪽)와 사후 확률을 산출하지 않고 수면단계 분류모델만을 사용하여 수면단계를 분류한 결과(왼쪽)를 비교해보면, 본 실시예에 따른 수면단계 분류방법이 모든 클래스에 대해 뛰어난 예측 성능을 보이는 것을 알 수 있다.
그리고 도 10에서와 같이 본 실시예에 따른 수면단계 분류방법을 통해 수면단계를 분류한 결과(아래)와 수면전문가가 수기로 판단한 수면단계 분류결과(위)를 비교해보면 수면단계 분류의 결과가 매우 유사함을 알 수 있다.
즉, 본 실시예에 따른 단일 뇌전도 기반 수면단계 분류방법은 고도로 훈련받는 수면전문가의 도움없이 수면단계를 자동으로 분류할 수 있는 것은 물론, 단일 뇌전도 신호(EEG)만을 사용함으로써 시간 및 자원의 효율성을 높일 수 있게 된다.
본 발명에 따른 구성요소들은 물리적인 구분이 아니라 기능적인 구분에 의해서 정의되는 구성 요소들로써 각각이 수행하는 기능들에 의해서 정의될 수 있다. 각각의 구성요소들은 하드웨어 또는 각각의 기능을 수행하는 프로그램 코드 및 프로세싱 유닛으로 구현될 수 있을 것이며, 두 개 이상의 구성요소의 기능이 하나의 구성요소에 포함되어 구현될 수도 있을 것이다. 따라서 이하의 실시예에서 구성요소에 부여되는 명칭은 각각의 구성요소를 물리적으로 구분하기 위한 것이 아니라 각각의 구성요소가 수행되는 대표적인 기능을 암시하기 위해서 부여된 것이며, 구성요소의 명칭에 의해서 본 발명의 기술적 사상이 한정되지 않는 것임에 유의하여야 한다.
이와 같은 본 발명의 단일 뇌전도 기반 수면단계 분류방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들인 것은 물론 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 수면단계 분류장치 110 : 획득부
120 : 저장부 130 : 제어부
131 : 전처리부 133 : 산출부
135 : 분류부 140 : 학습부
141 : 시공간 합성곱 모듈 143 : 자기주의 모듈
145 : 양방향 LSTM 모듈

Claims (10)

  1. 수면단계 분류장치에 의해 수행되는 단일 뇌전도 기반 수면단계 분류방법에 있어서,
    일정시간동안 뇌전도 신호(EEG, electroencephalogram)만을 측정하여 원본신호를 획득하는 단계;
    상기 원본신호를 전처리하여 복수의 추출신호를 생성하는 단계;
    상기 원본신호 및 상기 복수의 추출신호를 통합하여 통합데이터를 생성하는 단계;
    상기 통합데이터에 기초하여 사후 확률을 산출하는 단계;
    산출된 사후 확률로부터 수면단계를 분류하는 단계를 포함하는, 단일 뇌전도 기반 수면단계 분류방법.
  2. 제1항에 있어서,
    상기 사후 확률을 산출하는 단계에서는,
    시공간 합성곱 심층 신경망 (Spectral-Temporal Convolution Neural Network), 자기주의 심층 신경망 (Self-Attention or Multi-Head Attention) 및 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 포함하는 수면분류 모델을 통해 상기 사후 확률을 산출하는 것을 특징으로 하는 단일 뇌전도 기반 수면단계 분류방법.
  3. 제2항에 있어서,
    상기 수면분류 모델은,
    상기 시공간 합성곱 심층 신경망을 통해 상기 통합데이터로부터 추출된 뇌전도 특징 정보들간의 상관관계를 상기 자기주의 심층 신경망을 통해 학습하는 것을 특징으로 하는 단일 뇌전도 기반 수면단계 분류방법.
  4. 제3항에 있어서,
    상기 수면분류 모델은,
    상기 뇌전도 특징 정보들간의 상관관계 데이터를 에폭(Epoch) 단위의 시간에 따라 변하는 뇌전도의 시계열적인 특징을 상기 양방향 장단기 기억 순환 신경망에 기초하여 학습하는 것을 특징으로 하는 단일 뇌전도 기반 수면단계 분류방법.
  5. 제1항에 있어서,
    상기 복수의 추출신호는,
    주파수 필터링에 기초하여 상기 원본신호로부터 특정 주파수 대역별로 신호를 추출하여 생성되는 것을 특징으로 하는, 단일 뇌전도 기반 수면단계 분류방법.
  6. 제1항에 있어서,
    상기 산출하는 단계에서 산출된 사후 확률들을 일정한 시간간격으로 이동시키면서 사후 확률 뭉치들을 추출하고, 상기 사후 확률 뭉치들의 평균값을 산출하는 단계를 더 포함하는 것을 특징으로 하는, 단일 뇌전도 기반 수면단계 분류방법.
  7. 제6항에 있어서,
    상기 분류하는 단계에서는,
    상기 평균값을 산출하는 단계에서 산출된 평균값 중에서 가장 큰 값을 가지는 구간에 기초하여 수면단계를 분류하는 것을 특징으로 하는, 단일 뇌전도 기반 수면단계 분류방법.
  8. 일정시간동안 뇌전도 신호(EEG, electroencephalogram)만을 측정하여 원본신호를 획득하는 획득부;
    상기 원본신호를 전처리하여 복수의 추출신호를 생성하고, 상기 원본신호 및 상기 복수의 추출신호를 통합하여 통합데이터를 생성하는 전처리부;
    상기 통합데이터에 기초하여 사후 확률을 산출하는 산출부; 및
    산출된 사후 확률로부터 수면단계를 분류하는 분류부를 포함하는 수면단계 분류장치.
  9. 제1항에 있어서,
    상기 산출부는,
    시공간 합성곱 심층 신경망 (Spectral-Temporal Convolution Neural Network), 자기주의 심층 신경망 (Self-Attention or Multi-Head Attention) 및 양방향 장단기 기억 순환 신경망(Bidirectional-Long Short Term Memory)을 포함하는 수면분류 모델을 통해 상기 사후 확률을 산출하는 것을 특징으로 하는 수면단계 분류장치.
  10. 제9항에 있어서,
    상기 수면분류 모델은,
    상기 시공간 합성곱 심층 신경망을 통해 상기 통합데이터로부터 추출된 뇌전도 특징 정보들간의 상관관계를 상기 자기주의 심층 신경망에 기초하여 학습하는 것을 특징으로 하는 수면단계 분류장치.
KR1020210184893A 2021-12-22 2021-12-22 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치 KR20230095431A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210184893A KR20230095431A (ko) 2021-12-22 2021-12-22 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210184893A KR20230095431A (ko) 2021-12-22 2021-12-22 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치

Publications (1)

Publication Number Publication Date
KR20230095431A true KR20230095431A (ko) 2023-06-29

Family

ID=86946305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210184893A KR20230095431A (ko) 2021-12-22 2021-12-22 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치

Country Status (1)

Country Link
KR (1) KR20230095431A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116898455A (zh) * 2023-07-06 2023-10-20 湖北大学 一种基于深度学习模型的睡眠脑电信号检测方法及系统
CN117349684A (zh) * 2023-12-04 2024-01-05 南京邮电大学 基于向量排列最大距离的睡眠脑电分析方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140058441A (ko) 2011-05-18 2014-05-14 브이-워치 에스에이 개인의 수면 및 수면 단계들을 결정하기 위한 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140058441A (ko) 2011-05-18 2014-05-14 브이-워치 에스에이 개인의 수면 및 수면 단계들을 결정하기 위한 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116898455A (zh) * 2023-07-06 2023-10-20 湖北大学 一种基于深度学习模型的睡眠脑电信号检测方法及系统
CN116898455B (zh) * 2023-07-06 2024-04-16 湖北大学 一种基于深度学习模型的睡眠脑电信号检测方法及系统
CN117349684A (zh) * 2023-12-04 2024-01-05 南京邮电大学 基于向量排列最大距离的睡眠脑电分析方法
CN117349684B (zh) * 2023-12-04 2024-02-06 南京邮电大学 基于向量排列最大距离的睡眠脑电分析方法

Similar Documents

Publication Publication Date Title
US20230039900A1 (en) Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning
US20200337580A1 (en) Time series data learning and analysis method using artificial intelligence
Wagh et al. Eeg-gcnn: Augmenting electroencephalogram-based neurological disease diagnosis using a domain-guided graph convolutional neural network
CN109645990B (zh) 一种癫痫患者脑电信号的计算机模式识别方法
US6070098A (en) Method of and apparatus for evaluation and mitigation of microsleep events
Surantha et al. Sleep stage classification using extreme learning machine and particle swarm optimization for healthcare big data
Exarchos et al. EEG transient event detection and classification using association rules
Burrello et al. An ensemble of hyperdimensional classifiers: Hardware-friendly short-latency seizure detection with automatic iEEG electrode selection
Buscema et al. The IFAST model allows the prediction of conversion to Alzheimer disease in patients with mild cognitive impairment with high degree of accuracy
Korshunova et al. Towards improved design and evaluation of epileptic seizure predictors
Yang et al. Subject-specific channel selection using time information for motor imagery brain–computer interfaces
US6463321B2 (en) Method and computer program product for assessing neurological conditions and treatments using evoked response potentials
KR20230095431A (ko) 단일 뇌전도 기반 수면단계 분류방법 및 수면단계 분류장치
Daoud et al. Deep learning based reliable early epileptic seizure predictor
Li et al. Electroencephalogram signals classification for sleep-state decision–a Riemannian geometry approach
Supakar et al. A deep learning based model using RNN-LSTM for the Detection of Schizophrenia from EEG data
El-Manzalawy et al. Sleep/wake state prediction and sleep parameter estimation using unsupervised classification via clustering
Movahed et al. Automatic diagnosis of mild cognitive impairment based on spectral, functional connectivity, and nonlinear EEG-based features
CN107767934B (zh) 一种用于描述压力的hrv特征范围估计方法
Lv et al. A multilevel temporal context network for sleep stage classification
Paul et al. Hybrid shallow and deep learned feature mixture model for arrhythmia classification
CN113951886A (zh) 一种脑磁纹生成系统及测谎决策系统
Buscema et al. The implicit function as squashing time model: a novel parallel nonlinear EEG analysis technique distinguishing mild cognitive impairment and Alzheimer's disease subjects with high degree of accuracy
Krori Dutta et al. Time and frequency domain pre-processing methods for multi-class seizure classification of epileptic EEG signals
Subramaniam et al. An Efficient Convolutional Neural Network for Acute Pain Recognition Using HRV Features

Legal Events

Date Code Title Description
E902 Notification of reason for refusal