KR102236791B1 - 뇌파 분석 기반 환자진단 지원 시스템 및 방법 - Google Patents
뇌파 분석 기반 환자진단 지원 시스템 및 방법 Download PDFInfo
- Publication number
- KR102236791B1 KR102236791B1 KR1020190157747A KR20190157747A KR102236791B1 KR 102236791 B1 KR102236791 B1 KR 102236791B1 KR 1020190157747 A KR1020190157747 A KR 1020190157747A KR 20190157747 A KR20190157747 A KR 20190157747A KR 102236791 B1 KR102236791 B1 KR 102236791B1
- Authority
- KR
- South Korea
- Prior art keywords
- eeg
- signal
- section
- interest
- indicator
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004458 analytical method Methods 0.000 title claims description 160
- 238000003745 diagnosis Methods 0.000 claims abstract description 63
- 238000002372 labelling Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 105
- 230000008667 sleep stage Effects 0.000 claims description 63
- 230000009257 reactivity Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000033764 rhythmic process Effects 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 14
- 206010015037 epilepsy Diseases 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 208000014644 Brain disease Diseases 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000000193 eyeblink Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010010904 Convulsion Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004450 analytical method by type Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
Abstract
실시예들은 분석 대상의 뇌파 신호를 획득하는 신호 입력 장치, 및 상기 분석 대상의 뇌파 신호를, 관심 구간을 레이블링하도록 구성된 뇌파 분석 모델에 적용하고, 그리고 레이블링 결과에 기초하여 뇌파 지표를 산출하도록 구성된 데이터 처리 장치를 포함하는 환자진단 지원 시스템 및 이에 의해 수행되는 환자진단 지원 방법에 관련된다.
Description
본 발명의 실시예들은 뇌파(EEG, Electroencephalogram) 분석을 통해 환자 진단을 지원하는 기술에 관한 것으로서, 보다 상세하게는 뇌파 분석에 요구되는 관심 구간에 기초하여 뇌파 신호에 대한 정량 지표를 산출한 뇌파 분석 결과를 제공함으로써 환자의 상태에 대한 진단을 지원하는 시스템 및 방법에 관련된다.
뇌파는 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름으로, 심신의 상태에 따라 다르게 나타난다. 이러한 뇌의 활동 상태를 신호 형태로 측정하여 분석하면 사람의 상태를 판단할 수 있다. 이러한 뇌파는 사람의 심신 상태는 물론, 뇌에 질환이 있는지 여부를 판단할 수 있다.
다양한 뇌 관련 질환 중에서 가장 대표적인 질환은 뇌전증이다. 뇌전증은 뇌전증은 전 세계 인구의 약 1-2%가 겪고 있는 질병으로, 뇌전증 환자는 발작을 주된 증상이 가진다. 이 뇌전증에 의한 발작은 예측이 불가능하고, 일상생활에서 관리하는데 큰 어려움이 따른다.
종래의 뇌전증 진단은 장시간의 뇌파 신호(예컨대, EEG)를 기록한 뇌파 뷰어(viewer)를 통해 뇌파를 판독(또는 분석)하여 환자의 상태를 진단하고, 진단 결과를 별도의 EMR(Electronic Medical Record)에 입력하는 과정으로 진행된다. 이 과정에서, 전문의의 숙련도에 따라 진료 품질의 편차가 발생한다. 특히, 뇌질환 관련 전문의의 수가 부족한 1, 2차 의료기관에서는 비숙련 전문의에 의해 뇌전증 진단이 수행되는 경우가 많은데, 이 경우 뇌파 신호의 판독부터 진단까지 많은 시간이 소요되며, 판독이 불가하거나 오진을 내릴 가능성이 존재하는 문제점이 있다.
본 발명의 실시예들은 뇌파 분석에 요구되는 관심 구간을 유형별로 레이블링하도록 기계학습된 하나 이상의 기계학습 모델을 이용하여, 레이블링 결과에 기초해 뇌파 신호에 대한 정량 지표를 산출한 뇌파 분석 결과를 제공함으로써 환자 진단을 지원하는 시스템 및 방법을 제공하고자 한다.
본 발명의 일 측면에 따른 뇌파 분석을 통한 환자진단 지원 방법은, 분석 대상의 뇌파 신호를 획득하는 단계; 상기 분석 대상의 뇌파 신호에서 노이즈를 제거하여 전처리 신호를 획득하는 단계; 뇌파 신호에서 관심 구간을 레이블링하도록 학습된 뇌파 분석 모델에 상기 전처리 신호를 적용하여, 상기 분석 대상의 뇌파 신호에서 특징 패턴이 나타난 관심 구간을 유형에 따라 레이블링하는 단계; 및 레이블링 결과에 기초하여 뇌파와 관련된 정량적인 뇌파 지표를 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 뇌파 분석 모델은 수면 상태가 나타난 부분 구간을 관심 구간으로 레이블링하도록 구성된 제1 분석 모델을 포함할 수 있다. 여기서, 상기 제1 분석 모델은, 분할된 뇌파 신호로부터 시간 도메인 상 특징을 추출하는 시간 도메인 레이어; 주파수 도메인 상 특징을 입력된 뇌파 신호로부터 추출하는 주파수 도메인 레이어; 및 시간 도메인 상 추출된 특징과 주파수 도메인 상 추출된 특징에 기초하여 입력된 뇌파 신호를 연관된 수면 스테이지의 유형으로 레이블링하는 분류 레이어를 포함할 수 있다.
일 실시예에서, 상기 제1 분석 모델은, 입력된 뇌파 신호를 소정 시간 단위로 분할하고, 분할된 세그먼트 신호를 상기 시간 도메인 레이어 및 주파수 도메인으로 전달하는 세그먼트 레이어를 더 포함할 수 있다.
일 실시예에서, 상기 분류 레이어는, 입력된 뇌파 신호에서 수면 스테이지를 결정하려는 시점의 이전 시점에서의 연산 결과를 전달하는 체인 레이어; 및 상기 체인 레이어의 출력을 수신하여 입력된 뇌파 신호에 연관된 수면 스테이지의 유형을 결정하는 완전 연결 레이어를 포함할 수 있다.
일 실시에에서, 상기 제1 분석 모델은, 트레이닝 샘플 세트를 이용하여 학습되며, 각 트레이닝 샘플은 특정 에폭(epoch) 동안의 트레이닝 대상의 뇌파 신호, 및 상기 트레이닝 대상의 뇌파 신호에 대한 수면 스테이지의 유형을 포함할 수 있다.
일 실시예에서, 상기 뇌파 분석 모델은 수면 스테이지와 상이한 패턴을 갖는 신호가 나타난 부분 구간을 관심 구간으로 레이블링하도록 구성된 제2 분석 모델을 포함할 수 있다. 여기서, 상기 제2 분석 모델은, 상기 전처리 신호에서 관심 구간과 관련된 특징을 추출하는 인코더; 추출된 특징을 구간 신호로 복원하는 디코더; 및 복원된 구간 신호에 기초하여 상기 분석 대상의 뇌파 신호의 부분 구간을 연관된 관심 구간의 유형으로 레이블링하는 분류기를 포함할 수 있다.
일 실시예에서, 상기 구간 신호는, 입력 데이터의 벡터와 가장 가까운 간격을 갖는 벡터 데이터의 신호일 수 있다.
일 실시예에서, 상기 제2 분석 모델은 복수의 서브 세트를 포함한 트레이닝 샘플 세트를 이용하여 학습되며, 각 서브 세트에 포함된 각 트레이닝 샘플은 트레이닝 뇌파 신호로부터 획득된, 사인파 패턴이 표현된 트레이닝 이미지 및, 상기 사인파 패턴에 연관된, 관심 구간의 유형 정보를 포함할 수 있다. 각 서브 세트는 관심 구간의 동일한 유형에 관련된 트레이닝 뇌파 신호로 서브 세트화된 것이다.
일 실시예에서, 상기 트레이닝 이미지는, 상기 트레이닝 뇌파 신호를 전처리한 제1 신호 및 해당 관심 구간의 유형에 연관된 필터를 상기 제1 신호에 적용하여 추출된 제2 신호를 결합하여 생성될 수 있다.
일 실시예에서, 상기 필터는, 몽타주(montage), 수면 스테이지, 최소 에폭(minimum epoch), 및 특징 패턴을 추출할 대상 전극인 채널 중 적어도 하나에 기초하여 선택될 수 있다.
일 실시예에서, 상기 제2 신호는, 불규칙한 뇌파 신호에서 규칙성 있는 사인파 형태의 패턴을 포함할 수 있다.
일 실시예에서, 상기 뇌파 지표를 산출하는 단계는, 상기 분석 대상의 뇌파 신호에서 수면 스테이지 W, N1, 또는 N2가 레이블링되는 경우, 해당 구간 상의 뇌파 신호에 대한 뇌파 지표를 산출하는 단계를 포함하며, 상기 뇌파 지표는, 구간 주파수 지표 또는 구간 진폭 지표를 포함할 수 있다. 여기서, 상기 구간 주파수 지표는 다음의 수학식에 의해 산출되며,
구간 주파수 지표 = max(mean(전체 채널의 Power Spectral Density))
상기 구간 진폭 지표는 다음의 수학식에 산출된다.
구간 진폭 지표 = mean(peak-to-peak amplitude)
여기서, peak-to-peak amplitude는 미리 설정된 윈도우 사이즈 내 피크 신호의 진폭에 기초한다.
일 실시예에서, 상기 뇌파 지표는 비대칭성 지표를 더 포함할 수 있다. 상기 비대칭성 지표는 분석 대상의 좌측 채널과 우측 채널에서 획득된 뇌파 신호의 구간 진폭 지표 간의 비율 또는 구간 주파수 지표 간의 차이에 기초한 것이다.
일 실시예에서, 상기 뇌파 지표는 전방-후방 경사 지표를 더 포함할 수 있다. 여기서, 상기 전방-후방 경사 지표는 전방 채널(anterior channel) 및 후방 채널(posterior channel)의 구간 진폭 지표에 기초하여 산출되는 것일 수 있다.
일 실시예에서, 뇌파 신호에서 관심 구간의 유형으로서 PDR(posterior dominant rhythm)이 레이블링되는 경우, 해당 구간 상의 뇌파 신호에 대한 뇌파 지표를 산출하는 단계를 포함할 수 있다. 여기서, 상기 뇌파 지표는, 구간 주파수 지표 또는 구간 진폭 지표를 포함하고, 상기 구간 주파수 지표는 다음의 수학식에 의해 산출되며,
구간 주파수 지표 = max (선택 채널의 Power Spectral Density)
상기 구간 진폭 지표는 다음의 수학식에 산출된다.
구간 진폭 지표 = 선택 채널의 peak-to-peak amplitude
일 실시예에서, 상기 뇌파 지표는 변조 지표를 더 포함할 수 있다. 여기서, 상기 변조 지표는 다음의 수학식에 의해 산출될 수 있다.
변조 지표 = mean(에폭별 엔벨로프 진폭의 표준 편차)
여기서, 엔벨로프 진폭은 에폭 동안의 뇌파 신호에 기초한다.
일 실시예에서, 상기 뇌파 지표는 개안(eye-opening)에 대한 반응성 지표를 더 포함하며, 상기 개안에 대한 반응성 지표는 다음의 수학식으로 산출되며,
반응성 지표 = (ratio_1+ratio_2)/2
여기서, ratio_1은 개안 시간의 주파수 구간 면적/폐안 시간의 주파수 구간 면적을 나타내고, ratio_2는 개안 시간의 주파수 구간 면적/재-폐안 시간에서의 주파수 구간의 면적을 나타낸다.
일 실시예에서, 환자진단 지원 방법은 레이블링 결과 및 산출된 뇌파 지표 중 하나 이상을 포함한 분석 결과를 사용자에게 제공하는 단계를 더 ?l마할 수도 있다.
일 실시예에서, 상기 레이블링 결과는 제1 관심 구간 및 제2 관심 구간을 포함한 복수의 관심 구간을 포함할 수 있다. 여기서, 상기 제1 관심 구간의 적어도 일부와 상기 제2 관심 구간의 적어도 일부는 중첩할 수도 있다.
일 실시예에서, 상기 분석 결과를 제공하는 단계는, 산출된 뇌파 지표를 제공하는 경우, 상기 산출된 뇌파 지표를 산출하는데 사용된 채널별 뇌파 신호 또는 PSD(Power Spectral Density)를 제공하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따른 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체는, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 실시예들에 따른 환자진단 지원 방법을 수행하게 할 수 있다.
본 발명의 또 다른 일 측면에 따른 환자진단 지원 시스템은, 분석 대상의 뇌파 신호를 획득하는 신호 입력 장치, 및 상기 분석 대상의 뇌파 신호를, 관심 구간을 레이블링하도록 구성된 뇌파 분석 모델에 적용하고, 그리고 레이블링 결과에 기초하여 뇌파 지표를 산출하도록 구성된 데이터 처리 장치를 포함할 수 있다.
본 발명의 일 측면에 따른 환자진단 지원 시스템은, 기존에는 전문의가 수동으로 설정하는 관심 구간을, 관심 구간의 유형별 시각적 특징 패턴에 기초하여 분석하여 레이블링할 수 있다. 이로 인해, 관심 구간의 설정이 전문의의 숙련도에 의존하지 않고, 일관된 정확도를 유지한다.
특히, 환자진단 지원 시스템에서는 단일 모델을 사용해 다수의 관심구간의 유형을 레이블링할 수 있어 n개의 레이블이 요구될 때 n개의 모델로 확장할 필요가 없다. 그 결과, 시스템 구축에 상대적으로 짧은 시간이 소요된다.
또한, 상기 환자진단 지원 시스템은 분석 결과의 요약, 상세 데이터, 및/또는 정량화된 지표를 산출한 결과를 의료진에게 제공하여, 높은 진단의 정확도를 지원한다.
이러한 환자진단 지원 시스템의 레이블링 결과 및/또는 정량적인 뇌파 지표 산출 결과는 뇌전증을 포함한 뇌질환 등을 진단하는데 활용될 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 환자진단 지원 시스템의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, 제1 분석 모델의 개념적인 구조도(architecture diagram)이다.
도 3은, 본 발명의 일 실시예에 따른, 제2 분석 모델의 개념적인 구조도이다.
도 4는, 본 발명의 일 실시예에 따른, 인코딩/디코딩 부분의 파라미터를 결정하는 과정의 흐름도이다.
도 5는, 본 발명의 일 실시예에 따른, 관심 주파수 영역의 필터의 선택을 설명하기 위한 테이블이다.
도 6a 및 도 6b는, 본 발명의 일 실시예에 따른, 2차원 시각 패턴의 이미지를 도시한 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 환자진단 지원 방법의 흐름도이다.
도 8은, 본 발명의 일 실시예에 따른, 뇌파 신호에서 관심 구간을 레이블링한 결과를 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 구간 주파수/진폭 지표 관련 사용자에게 제공되는 화면을 도시한 도면이다.
도 10은, 본 발명의 일 실시예에 따른, 국부 대칭성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 11은, 본 발명의 일 실시예에 따른, 느린 활성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 12는, 본 발명의 일 실시예에 따른, 전방-후방 경사 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 13은, 본 발명의 일 실시예에 따른, 구간 주파수/진폭 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 14는, 본 발명의 일 실시예에 따른, 개안에 대한 반응성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 1은, 본 발명의 일 실시예에 따른, 환자진단 지원 시스템의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, 제1 분석 모델의 개념적인 구조도(architecture diagram)이다.
도 3은, 본 발명의 일 실시예에 따른, 제2 분석 모델의 개념적인 구조도이다.
도 4는, 본 발명의 일 실시예에 따른, 인코딩/디코딩 부분의 파라미터를 결정하는 과정의 흐름도이다.
도 5는, 본 발명의 일 실시예에 따른, 관심 주파수 영역의 필터의 선택을 설명하기 위한 테이블이다.
도 6a 및 도 6b는, 본 발명의 일 실시예에 따른, 2차원 시각 패턴의 이미지를 도시한 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 환자진단 지원 방법의 흐름도이다.
도 8은, 본 발명의 일 실시예에 따른, 뇌파 신호에서 관심 구간을 레이블링한 결과를 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 구간 주파수/진폭 지표 관련 사용자에게 제공되는 화면을 도시한 도면이다.
도 10은, 본 발명의 일 실시예에 따른, 국부 대칭성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 11은, 본 발명의 일 실시예에 따른, 느린 활성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 12는, 본 발명의 일 실시예에 따른, 전방-후방 경사 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 13은, 본 발명의 일 실시예에 따른, 구간 주파수/진폭 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 14는, 본 발명의 일 실시예에 따른, 개안에 대한 반응성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
본 명세서에서 뇌파 신호를 발생하는 분석 대상 및 트레이닝 대상은 사람 또는 사람외 동물, 사람 또는 사람외 동물의 일부를 포함할 수 있다. 예를 들어, 분석 대상은, 상태의 진단에 있어 뇌파 분석이 요구되는 사람일 수 있다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 환자진단 지원 시스템의 개념도이다.
도 1을 참조하면, 환자진단 지원 시스템(1)은 다수의 전극을 통해 획득된 뇌파 신호를 미리 학습된 뇌파 분석 모델에 적용하여 뇌파 신호의 전체 구간에서 뇌파 분석에 요구되는 관심 구간을 유형별로 레이블링하고, 레이블링 결과(예컨대, 레이블링된 관심 구간, 식별된 레이블링 값)에 기초하여 뇌파 신호와 관련된 정량적 지표를 산출하도록 구성된다. 또한, 레이블링 결과 및/또는 정량적 지표를 포함한 진단지원 결과를 사용자에게 제공할 수 있다. 예를 들어, 환자진단 지원 시스템(1)은 레이블링된 관심 구간을 뇌파 신호의 전체 구간 상에서 표시한 이미지를 제공할 수 있다.
실시예들에 따른 환자진단 지원 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
상기 환자진단 지원 시스템(1)은 분석 대상(예컨대, 진단 대상)의 뇌파 신호를 획득하는 신호 입력 장비(미도시) 및 뇌파 신호를 분석하는 데이터 처리 장치(10)를 포함한다. 또한, 일부 실시예에서, 환자진단 지원 시스템(1)은 분석 결과를 제공하는 사용자 단말(미도시)를 더 포함할 수도 있다.
뇌파 신호를 통한 진단 대상은 진단 목적에 의존한다. 예를 들어, 뇌전증 환자인지 여부를 판단하기 위한 진단의 경우, 상기 진단 대상은 뇌전증 진단을 받지 않는, 정상 환자일 수 있다. 여기서, 정상 환자는 실제로 뇌전증이 없는 환자를 의미하는 것은 아니며, 뇌전증 여부가 미정인 환자를 지칭한다.
상기 신호 입력 장비는 복수의 전극을 통해 분석 대상의 뇌파를 신호로 획득하도록 구성된다. 상기 신호 입력 장비는 분석 대상의 뇌파 신호를 획득하여 데이터 처리 장치(10)에 제공한다.
복수의 전극은 뇌에서 방출되는 뇌파 정보를 획득하고, 뇌파 정보를 신호 형태로 출력한다. 각 전극은 뇌의 타겟 부위에 대응하는 분석 대상의 두부의 부위별로 장착되며, 한 전극쌍에서 획득한 신호는 채널로 지칭된다.
상기 신호 입력 장비는, 예를 들어, 19채널의 뇌전도(EEG) 계측 장비일 수 있으나, 이에 제한되진 않는다.
상기 데이터 처리 장치(10)는 프로세서를 포함한 컴퓨팅 장치로서, 신호 입력 장비로부터 뇌파 신호를 직접적 또는 간접적으로 수신하고, 뇌파 신호를 분석하여 뇌파 신호에 포함된 관심 구간을 유형에 따라 식별(또는 표시)하는, 레이블링 동작을 수행하도록 구성된다. 또한, 레이블링 결과에 기초하여 뇌파와 관련된 정량적 지표를 산출하는, 정량적 분석 동작을 수행할 수 있다.
상기 데이터 처리 장치(10)는, 예를 들어 개인용 컴퓨터(PC) 또는 노트북과 같은 컴퓨터, 스마트 폰, 서버 등을 포함한 다양한 컴퓨팅 장치(computing device)일 수 있다.
일 실시예에서, 상기 데이터 처리 장치(10)는 서버로 구현될 수 있으며, 데이터 처리 장치(10)로의 입력은 상기 서버에 연결된 장치(예컨대, 사용자 단말 또는 신호 입력 장비) 등을 통해 수행될 수 있다.
이 경우, 서버는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어로서, 다양한 정보를 웹 사이트로 구성하여 제공할 수 있다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 예를 들어, 각종 데이터 베이스를 포함하는 경우, 데이터 처리 장치(10)는 클라우드와 같은 외부 데이터베이스 정보를 이용하도록 구성되며, 이 경우, 데이터 처리 장치(10)는 동작에 따라서 외부 데이터베이스 서버(예컨대, 클라우드 서버)에 접속하여 데이터 통신할 수 있다.
데이터 처리 장치(10)는 수신한 뇌파 신호를 뇌파 데이터로 변환할 수 있다. 획득된 뇌파 신호는 파싱(parshing)되어 뇌파 신호(즉, 뇌파 정보)가 기계어로 변환된다. 상기 뇌파 데이터는 뇌파 신호 및/또는 뇌파 신호가 획득된 장비(예컨대, 뇌파 전극)에 관한 데이터를 포함한다.
일 실시예에서, 신호 입력 장비의 뇌파 신호는 뇌파 표준 포맷의 데이터로 변환될 수 있다. 여기서, 뇌파 표준 포맷은 EDF(European Data Format)일 수 있다.
데이터 처리 장치(10)에서 관심 구간을 레이블링하기 위한 일련의 과정들(예컨대, 뇌파 신호의 분석)은 뇌파 신호를 기계어로 변환한 데이터(예컨대, EDF 데이터)를 대상으로 갖는 동작을 의미한다.
상기 데이터 처리 장치(10)는 뇌파 분석 모델을 통해 진단 대상의 뇌파 신호에서 관심 구간을 미리 학습된 유형별로 레이블링하고, 레이블링된 관심 구간에 기초하여 진단 대상의 뇌파 상태를 정량적으로 분석한 정량 지표를 산출하도록 구성된다.
관심 구간은 불규칙한 사인파 형태의 뇌파 신호에서 뇌파 분석을 위해 식별 또는 검출이 요구되는 구간이다. 일 실시예에서, 관심 구간은 잡파 신호가 나타난 부분 구간, 아래의 뇌파 지표를 산출하는데 사용되는 분석구간, 및 잡파와 상이한 신호로서 사람의 뇌에서 정상적으로 나타난 구간인 정상 특징 구간 등을 포함한다.
잡파는 뇌파계에 의해 두피를 따라 감지되나 대뇌 밖에서 비롯된 전기 신호이다. 잡파의 유형은, 예를 들어, EO(Eye open), EC(eye close), EB(Eye blink), Pulse artifact, EKG artifact, Ms(muscle artifact), EP(electrode pop) 등을 포함한다. 잡파는 분석구간에 포함되지 않아야 하는 요소이다.
분석구간은 통상적으로 뇌파 분석을 위해 사용되는 신호가 나타난 구간으로서, 뇌파의 정상적/비정상적 활동 또는 신호 패턴에 관련된다. 뇌파 리듬(rhythm)은 유사한 모양과 기간을 가진 파형이 규칙적으로 나타나는 신호로서, 피질과 더 깊은 피질 하부의 구조 사이에서 일어나는 변동성 소통(oscillatory communications)으로 여겨질 수 있다 이러한 분석구간은, 예를 들어 PDR(posterior dominant rhythm), 배경파(background rhythm) 등이 나타난 구간을 포함한다. 예를 들어, 분석구간의 신호는 정량화 분석을 진행하는 시공간적 구간(예: O1 채널에서 3초)으로서, 분석구간에서 신호분석하여 정량화지표(예: peak frequency 등)를 도출하는데 사용된다.
정상 특징 구간(normal features)은 잡파와는 상이한 신호로서, 사람의 뇌에서 정상적으로 나타나는 요소이다. 상기 정상 특징 구간은, 예를 들어, Posterior slow wave of youth, Mu rhythm, Lambda, Hypnagogic hypersynchrony, Vertex sharp transients, Positive occipital sharp transients, Sleep spindles, K-complex 등을 포함한다.
또한, 관심 구간은 수면 상태가 나타난 구간을 포함한다. 수면 상태가 나타난 구간은 W, N1, N2, N3 등의 수면 스테이지(sleep stage)로 지칭될 수 있다. 수면 스테이지는 경우에 따라서는 상기 분석 구간에 포함될 수 있으나, 수면 스테이지는 다른 분석구간의 신호(예컨대, PDR) 등과 비교하여 상대적으로 긴 시간 동안 나타나므로, 분석구간 중에서도 별도의 관심 구간으로 취급될 수 있다.
뇌파 분석 시스템(1)은 이러한 관심 구간을 레이블링하도록 구성된 뇌파 분석 모델을 사용하여, 예컨대 잡파를 포함한 뇌파 신호를 수신한 경우, 잡파가 나타난 구간을 해당 잡파 신호에 연관된 유형으로 레이블링할 수 있다. 예를 들어, 환자진단 지원 시스템(1)은 뇌파 신호에서 잡파가 나타난 부분 구간을 해당 잡파의 유형으로 레이블링하고, 뇌파 신호에서 수면 상태가 나타난 부분 구간을 수면 상태의 유형으로 레이블링한다.
일 실시예에서, 뇌파 분석 모델에는 뇌파 신호를 이미지로 표현한 뇌파 신호 이미지가 입력된다. 데이터 처리 장치(10)에 의해 수행되는 뇌파 신호에서 부분 구간을 관심 구간으로 레이블링하는 과정에 대해서는 아래의 도 2, 도 3 및 도 5를 참조하여 보다 상세하게 서술한다.
뇌파 분석 모델은 하나 이상의 서브 모델을 포함할 수도 있다. 하나의 서브 모델을 포함한 경우, 뇌파 분석 모델은 단일 모델로 구현된다. 복수의 서브 모델을 포함한 경우, 뇌파 분석 모델은 레이블링되는 관심 구간의 수 보다 적은 수의 서브 모델을 포함한다.
일 실시예에서, 뇌파 분석 모델은 뇌파 신호에서 수면 상태가 나타난 부분 구간을 수면 스테이지로 레이블링하도록 구성된 제1 분석 모델을 포함할 수 있다. .
일 실시예에서, 제1 분석 모델은 주파수 도메인 상에서의 시변 주파수 특징 및 시간 도메인 상에서의 시공간(temporal and spatial) 특징을 추출하고, 두 특징에 기초하여 입력 데이터에 연관된 수면 스테이지의 유형(클래스)을 결정한다.
도 2는, 본 발명의 일 실시예에 따른, 수면 스테이지를 관심 구간으로 레이블링하는 제1 분석 모델의 개념적인 구조도(architecture diagram)이다.
도 2를 참조하면, 제1 분석 모델은 특징을 추출하는 특징 추출 레이어, 및 추출된 특징에 기초하여 입력 데이터를 연관된 스테이지로 분류하는 분류 레이어를 포함한다. 특징 추출 레이어는 서로 상이한 도메인 상의 특징을 추출하도록 구성된다.
일 실시예에서, 특징 추출 레이어는 시간 도메인 레이어(TDL), 및 주파수 도메인 레이어(FDL)를 포함한다. 뇌파 신호에서 원본 신호(original signal)(예컨대, 원시 신호(raw signal) 또는 전처리 신호)의 시간에 따른 내용이 중요한 정보이지만, 또한 주파수 내용도 중요한 정보이다. 제1 분석 모델은 시간 도메인 상의 정보 및 주파수 도메인 상의 정보를 동시에 모델링하기 위해 두 개의 독립적인 레이어를 포함한다.
시간 도메인 레이어(TDL)는 세그먼트 레이어, 및 컨볼루션 레이어를 포함한다. 세그먼트 레이어는 공간적 특징 및 시간적 특징을 모두 활용할 수 있도록, 뇌파 신호를 분할한다. 예를 들어, 30초의 에폭 구간을 갖는 뇌파 신호가 획득된 경우, 이 에폭 구간은 1초의 세그먼트로 분할될 수 있으나, 이에 제한되진 않는다. 세그먼트 레이어에 의해, 제1 분석 모델의 파라미터는 뇌파 신호에서 시간적 특징 및 공간적 특징을 모두 학습할 수 있다.
컨볼루션 레이어는 시간 도메인 상에서 공간적 특징 및 시간적 특징을 추출하도록 구성된다. 또한, 시간 도메인 레이어는 배치 정규화 레이어, 활성화 레이어(예컨대, ReLU), 풀링 레이어 등과 같은, 기계학습 모델의 성능을 개선할 수 있는 다른 레이어를 더 포함할 수도 있다.
일 예에서, 시간 도메인 레이어는, 도 2에 도시된 바와 같이, 세그먼트 레이어, (예컨대, 5의 사이즈를 갖는 컨볼루션 필터를 갖는) 컨볼루션 레이어, 배치 정규화 레이어, 활성화 레이어(ReLU), 및 (예컨대, 컨볼루션 필터의 커널과 동일 사이즈를 갖는) 맥스-풀링 레이어를 포함할 수 있다. 그러나, 이에 제한되진 않는다.
시간 도메인 레이어(TDL)의 은닉 벡터(hidden representation)은 다음의 수학식으로 표현될 수 있다.
여기서, 
는 뇌파 신호(EEG)의 i번째 에폭에서 j번째 세그먼트를 의미하고, TDLθ은, 시간 정보로부터 결정되는 파라미터(θ)를 갖는, 상기 모델에서 사용된 시간 도메인 레이어(TDL)를 의미하며, C와 L은 채널의 수 및 세그먼트의 길이를 각각 가리킨다.
컨볼루션 레이어 등은 i번째 에폭에서 1번째 세그먼트 내지 j번째 세그먼트를 수신하여 특징을 추출함으로써, 특징 추출 값(즉, 은닉 벡터h)을 산출한다. 도 2에서 1번째 세그먼트와 j번째 세그먼트가 입력되는 컨볼루션 레이어는 개별적으로 도시되어있으나, 실제로 개별적인 레이어로 구성된 것을 의미하지 않고, 입력 데이터만이 상이한 것으로 통상의 기술자에게 명백히 이해될 것이다.
주파수 도메인 레이어(FDL)는 시간 도메인 레이어(TDL)와 입력 데이터가 상이할 뿐, 특징을 추출하는 부분은 유사하므로, 차이점을 위주로 아래에서 서술한다.
주파수 도메인 레이어(FDL)의 세그먼트 레이어는 시간 도메인 상에서 분할된 세그먼트를 주파수 정보로 변환하도록 더 구성된다. 그러면, 입력 신호의 모든 세그먼트는 주파수 정보로 변환된다. 따라서, 주파수 도메인 레이어(FDL)는 주파수 도메인 상에서의 특징을 추출한다. 이를 위해, 주파수 도메인 레이어(FDL)는, 시간 도메인 레이어의 파라미터(θ)와 독립적인, 파라미터(θf)를 가진다.
주파수 도메인 레이어(FDL)의 세그먼트 레이어가 원시 신호(xi j)를 주파수 정보로 변환하는 함수(f(xi j))로 구성된 경우, 주파수 도메인 레이어(FDL)의 은닉 벡터(g i j)은 다음의 수학식으로 표현된다.
여기서, FDLθ은, 주파수 정보로부터 결정되는 파라미터(θf)를 갖는, 상기 모델에서 사용된 주파수 도메인 레이어(FDL)를 의미한다.
주파수 변환 함수(f(x))에 대해서, 통상적인 PSD 추정 대신에, IF(Instantaneous frequency)가 이용된다. IF는 짧은 시간 범위를 갖는 신호 세그먼트에 있어서 시변 위상(time-varying phase)을 고려하기에 적합하다. 각각의 뇌파 신호(EEG) 세그먼트(xi j)가 시간에 의존하는 점을 고려하면, 분석 형태(z(t))는 아래의 수학식으로 표현될 수 있다.
여기서, Ai j는 z(t)의 포락선(envelope) 및 Фi j는 z(t)의 위상, 즉 arctan(H(xi j(t))/xi j(t))이다. H(x(t))는 힐버트 변환(Hilbert transform)을 의미한다. IF는 시간에 대한 Фi j(t)의 미분을 스케일링하여 취할 수 있으며, 아래의 수학식으로 표현된다.
시간 도메인 레이어 및 주파수 도메인 레이어는, 전술한 실시예들에 제한되지 않으며, 뇌파 신호의 특징을 추출하는 CNN(Convolution Nueral Network) 구조를 가질 수 있다.
한편, 제1 분석 모델에서 입력 신호의 시간 도메인 상의 특징 및 주파수 도메인 상의 특징이 각각 추출되면, 추출된 특징이 결합되어 분류 레이어에 입력된다. 예를 들어, 시간 및 주파수 도메인 레이어의 은닉 벡터가 각각 산출되면, 각 은닉 벡터가 결합되어(concatenated) 분류 레이어에 입력된다. 일 실시예에서, 추출된 특징의 결합은 동일한 세그먼트 상에서 추출된 특징의 결합이다.
분류 레이어(CL)는 내부의 다수의 뉴럴 네트워크가 연결된 체인 레이어, 및 완전 연결 레이어를 포함한다. 체인 레이어의 내부 뉴럴 네트워크는 셀로도 지칭될 수 있다. 각 셀은 상이한 입력 데이터의 시간에 연관된다. 체인 레이어의 셀의 수는 에폭 구간과 세그먼트 구간에 의존한다. 예를 들어, 에폭 구간이 30초이고 세그먼트가 1초인 경우, 체인 레이어에서 동일 레이어에 포함된 셀은 30개일 수 있다.
체인 레이어는 이전 뉴럴 네트워크의 정보에 의존하는 구조를 갖는 레이어이다. 여기서, 이전 뉴럴 네트워크의 정보에 의존하는 것은 제1 분석 모델이 t초에서 추론 동작을 수행할 경우, 그 이전 시간에서의 연산 결과 또한 고려하여 해당 동작을 수행한다는 것을 의미한다. 예를 들어, 입력된 뇌파 신호가 0초 내지 t초의 시간을 갖는 경우, t초에서의 수면 스테이지는 0초 내지 t-1초의 연산 결과에 의존하여 결정된다. 상기 체인 레이어는, 예를 들어, RNN, LSTM 구조 등을 포함할 수도 있으나 이에 제한되진 않는다.
일 실시예에서, 체인 레이어는 두 개의 은닉 레이어(hidden layer)를 포함한다. 제1 은닉 레이어는 제2 은닉 레이어와 전방향 연결(forward connection)을 가지며, 각 은닉 레이어 내부의 셀은 서로 전방향 및/또는 후방향(backward)으로 정보 전달이 가능한, 양방향 연결을 가진다. 여기서, 동일한 은닉 레이어 내부에서 다른 셀로부터/로의 정보 전달은 상이한 입력(예컨대, 상이한 세그먼트)에 의한 산출 결과에 의존한다. 도 2를 참조하면, t초에서 추론 동작은 t초에서의 세그먼트(xi j, f(xi j)) 및 그 이전 시간에서의 세그먼트(예컨대, 1초 내지 t-1초에서의 세그먼트)에 기초한다.
일 실시예에서, t초에서 입력 에폭에 대한 체인 레이어의 연산 결과(li t)는 체인 레이어의 마지막 타임 스텝 벡터(last time step vector)일 수 있다.
완전 연결 레이어는 체인 레이어에 의해 산출된 값(li t)에 기초하여 입력 신호가 연관된 클래스(즉, 수면 스테이지의 유형)를 결정한다. 일 실시예에서, 완전 연결 레이어는 확률 값을 산출하여 클래스를 결정하도록 더 구성된다. 상기 확률 값은, 예를 들어 SoftMax 함수에 의해 산출되나, 이에 제한되진 않는다.
예를 들어, 분류 레이어에서의 데이터 처리 흐름은 다음의 수학식으로 각각 표현된다.
여기서, ci={ci1, ci2, …, ciN}은 두 은닉 벡터가 결합된 벡터를 의미한다. li는 체인 레이어(예컨대, LSTM)의 마지막 타임 스텝의 벡터이다. li가 SoftMax 함수를 갖는 완전 연결 레이어에 입력되면, 클래스를 결정하는데 사용되는 확률 p가 산출된다. 상기 분류 레이어는 상기 확률 p에 기초하여 입력 데이터에 연관된 수면 스테이지를 레이블링하도록 구성된다.
상기 시간 도메인 레이어, 주파수 도메인 레이어 및 분류 레이어는 다수의 트레이닝 샘플에 의해 학습된다. 각 트레이닝 샘플은 트레이닝 대상으로부터 획득된, 특정 에폭 구간(예컨대, 30초)의 트레이닝 뇌파 신호 및 에폭 구간에 연관된 수면 스테이지를 나타내는 레이블링 데이터를 포함한다. 학습을 위해, 세그먼트 레이어는 단일 트레이닝 뇌파 신호의 전체 구간을 세그먼트 단위로 분할하여 다수의 세그먼트를 획득한다. 시간 도메인 레이어 및 주파수 도메인 레이어는 상기 세그먼트를 트레이닝 데이터로 학습될 수 있다. 예를 들어, 트레이닝 샘플 세트의 레이블링 데이터가 W, N1, N2 3가지 유형인 경우, 도 2와 같이 3가지 유형의 수면 스테이지를 레이블링하도록 학습된다. 그러나, 이에 제한되지 않으며, W, N1, N2, N3 등과 같은 보다 더 많은 수면 스테이지의 유형의 수로 학습될 수도 있다.
시간 도메인 레이어, 주파수 도메인 레이어 및/또는 분류 레이어의 학습 방식은 CNN, RNN, LSTM 구조의 기계학습 모델에 대해 통상적으로 사용되는 학습 방식이므로, 자세한 설명은 생략한다.
이와 같이, 도 2의 제1 분석 모델은 서로 상이한 뉴럴 네트워크(CNN, RNN(또는 LSTM)) 구조를 가지며, 다수의 도메인 상의 특징을 사용하도록 학습되는, 멀티-도메인 하이브리드 뉴럴 네트워크(mult-domain HNN) 구조를 가진다. 도 2의 구조를 갖는 제1 분석 모델은 뇌파 신호(EEG)의 시간적 불변성 측면의 특징(local time-invariant features) 뿐만 아니라 시간적 의존성(temporal dependencies) 측면의 특징을 학습할 수 있다.
일 실시예에서, 뇌파 분석 모델은 수면 스테이지(W, N1, N2 등)와 상이한 패턴이 나타난 부분 구간을 미리 학습된 유형으로 레이블링하도록 구성된 제2 분석 모델을 포함할 수 있다. 즉, 관심 구간은 수면 스테이지가 나타난 부분 구간 또는 그 이외의 부분 구간으로 분류될 수 있으며, 제2 분석 모델에 의해 레이블링되는 관심 구간은 수면 스테이지 이외의 다른 뇌파 신호가 나타난 부분 구간이다.
제2 분석 모델의 관심 구간은, 수면 스테이지와 상이한 관심 구간이다. 제2 분석 모델의 관심 구간은 예를 들어, 전술한 잡파구간, 분석구간, 정상 특징 구간 중에서 수면 스테이지 이외의 적어도 일부를 포함한다.
일 실시예에서, 뇌파 신호에서 수면 스테이지와 상이한 패턴을 갖는 신호를 레이블링하기 위해, 제2 분석 모델은 입력 데이터에서 특징을 추출하고, 추출한 특징을 복원하는 네트워크 아키텍처를 가진다.
도 3은, 본 발명의 일 실시예에 따른, 제2 분석 모델의 개념적인 구조도(architecture diagram)이다.
일 실시예에서, 제2 분석 모델은 입력 데이터에서 특징을 추출하는 인코더(E)와 추출된 특징을 변환하는 디코더(D) 부분을 포함한다. 예를 들어, 제2 분석 모델은 입력 데이터를 잠재변수(z)로 인코더한 후, 스스로 입력 데이터를 복원한다. 여기서, 잠재변수(z)는 학습 목표에 대해 의미론적인 성분으로 활용되지 않는다. 제2 분석 모델은, 예를 들어, 오토인코더(AutoEncoder) 등의 구조를 가질 수 있으나, 이에 제한되진 않으며, 입력 데이터를 인코더한 후, 스스로 입력 데이터를 복원하는 다양한 네트워크 아키텍처를 가질 수도 있다.
인코더(E)는 특징을 추출하는 컨볼루션 레이어를 포함한다. 여기서, 추출되는 특징은 레이블링 대상인 관심 구간의 신호와 관련된 특징(normal feature)을 포함한다. 관심 구간의 특징은 예를 들어, 잡파의 유형과 관련된 특징(artifact feature) 또는 리듬의 유형과 관련된 특징(rhythm feature)을 포함한다.
또한, 인코더(E)는 풀링 레이어, 배치 정규화 레이어(batch normalization layer), 드롭 아웃(drop-out) 레이어 등과 같은, 제2 분석 모델의 성능을 개선할 수 있는 다른 레이어를 더 포함할 수 있다. 인코더는, 예를 들어, CNN(Convolution Nueral Network), RNN(Recurrent Boltzmann Machine), DBN(deep belief network) 등의 구조를 가질 수 있으나, 이에 제한되지 않으며 다양한 기계학습 모델의 특징 추출 구조를 가질 수 있다.
디코더(D)는 인코더(E)에서 출력되는 데이터(예컨대, 추출된 특징)를 수신하여 인코더의 입력 데이터로 복원한다. 여기서 복원은 인코더의 입력 데이터와 유사한 데이터로 변환하는 동작이다. 예컨대, 디코더는 변환 당시의 제2 분석 모델 구조에서 입력 데이터의 벡터와 가장 가까운 간격을 갖도록 추출된 특징을 변환하여, 추출된 특징을 모델의 입력 데이터로 복원한다.
제2 분석 모델에서 인코더/디코더의 학습에는 복수의 트레이닝 샘플이 사용된다.
일 실시예에서, 각 트레이닝 샘플은 뇌파 신호에서 사인파 패턴을 보다 정확하게 표현하는 트레이닝 이미지(training image)를 각각 포함한다. 상기 트레이닝 이미지는 트레이닝 대상의 뇌파 신호로부터 획득된다.
도 4는, 본 발명의 일 실시예에 따른, 제2 분석 모델의 파라미터를 결정하는 과정의 흐름도이다.
도 4를 참조하면, 트레이닝 이미지를 획득하기 위해, 우선 트레이닝 대상의 뇌파 신호(이하, “트레이닝 뇌파 신호”)를 획득한다(S410). 단계(S410)에서 복수의 채널을 통해 복수의 트레이닝 뇌파 신호를 포함한 트레이닝 뇌파 신호 세트가 획득된다.
단계(S410) 이후, 트레이닝 뇌파 신호에서 노이즈를 제거한다(S430). 노이즈 제거의 전처리를 통해 전처리된 트레이닝 뇌파 신호가 획득된다(S430). 여기서, 노이즈는 델타 파(delta wave)를 포함하거나, 또는 뇌파 분석을 저해하는 다른 신호를 더 포함할 수도 있다.
그러나, 뇌분석 기술 분야에서 통상적으로 노이즈로 간주되는 잡파(artifact)는 단계(S430)에서 제거되는 본 출원의 노이즈에 포함되지 않는다.
일 실시예에서, 고주파 필터를 단계(S410)의 트레이닝 뇌파 신호에 적용하여 포함된 델타 파(delta wave)를 제거한다(S430). 델타 파가 제거되면 평탄화된 뇌파 신호가 획득된다. 상기 고주파 필터는, 예를 들어 4Hz HPF 일 수 있으나, 이에 제한되지 않으며, 델타 파를 제거하기에 적합한 다른 필터 영역을 갖는 고주파 필터일 수 있다.
이하, 설명의 명료성을 위해, 트레이닝 뇌파 신호는 전처리된 것으로 지칭하여 트레이닝 이미지의 생성 과정을 상세히 설명한다.
단계(S410 및 S430)가 적용된 복수의 트레이닝 뇌파 신호는 미리 설정된 관심 구간의 유형에 따라 분류되어, 유형별 서브 세트를 형성한다(S440). 이 경우, 유형별 서브 세트는 관심 구간에 연관된 특정 패턴을 갖는 뇌파 신호를 포함한다. 또한, 각 서브 세트는 해당 관심 구간의 유형을 나타내는 레이블 데이터를 더 포함할 수 있다. 제2 분석 모델이 검출할 수 있는 관심 구간의 레이블의 수는 서브 세트의 수에 의존한다.
예를 들어, 잡파의 특징이 나타난 특정 패턴을 갖는 다수의 뇌파 신호가 트레이닝 뇌파 신호로 사용될 수 있다. 이 경우, 잡파의 유형별로 트레이닝 뇌파 신호는 서브 세트화되며, 각 서브 세트는 동일한 유형에 속하는 잡파를 포함한 트레이닝 뇌파 신호를 포함한다. 또한, 각 서브 세트는 해당하는 잡파를 식별하는 잡파의 유형(label) 데이터를 더 포함할 수도 있다. 그러면, 제2 분석 모델이 검출할 수 있는 잡파의 유형의 수는 서브 세트의 수에 의존한다.
일 실시예에서, 트레이닝 뇌파 신호는 전술한 잡파 구간, 분석구간, 정상 특징 구간 등을 포함한 뇌파 신호이다. 예를 들어, 트레이닝 뇌파 신호는 PDR(posterior dominant rhythm), BG(Background) Ms(Muscle), EO(Eye-open), EC(Eye-closed), EP(Electrode pop), Pulse artifact, EKG artifact, VST(vertex sharp transient), SS(Sleep spindles), PSWY(posterior slow waves of youth), KC (K-complex) 등을 포함하나, 이에 제한되지 않는다. 일부 실시예에서, 상기 트레이닝 뇌파 신호는 하나 이상의 관심 구간을 포함할 수도 있다.
단계(S440)에서 트레이닝 뇌파 신호가 미리 설정된 유형별로 서브 세트화되면, 각 서브 세트 내 트레이닝 뇌파 신호로부터 관심 구간에 대한 특징 패턴을 연관된 유형별로 추출한다. 예를 들어, 잡파를 포함한 트레이닝 뇌파 신호가 자신이 연관된 유형별로 서브 세트화되면, 각 서브 세트 내 트레이닝 뇌파 신호로부터 해당 잡파의 유형에 대한 특징 패턴을 추출한다.
일 실시예에서, 관심 구간에 대한 특징 패턴은: 서브 세트의 트레이닝 뇌파 신호를 하나 이상의 관심 구간에 대해서 미리 설정된 관심 주파수 영역으로 필터링하여 추출된다. 예를 들어, 잡파에 대한 특징 패턴은 하나 이상의 잡파 유형에 대해서 미리 설정된 관심 주파수 영역으로 필터링되어 추출된다.
관심 주파수 영역은 뇌파 신호에서 특정 잡파의 신호적 특성이 규칙성 있는 사인파 형태로 나타나는 고유한 주파수 영역이다. 불규칙한 사인파 형태를 갖는 뇌파 신호에서 관심 주파수 영역을 필터링하면, 규칙성을 보이는 부분 영역이 검출된다. 이러한 규칙성을 보이는 부분이 뇌파 분석에서 요구되는 관심 구간으로서, 레이블 대상이다. 즉, 특징 패턴은 뇌파 신호에서 일부 구간이 특정 관심 구간으로 식별되는데 요구되는, 신호적 특성이 반영된 구간의 신호 패턴이다.
일 실시예에서, 각 서브 세트에 연관된 관심 구간의 유형에 대한 관심 주파수 영역은 몽타주, 수면 스테이지, 최소 에폭, 및 특징 패턴을 추출할 채널 중 하나 이상에 기초하여 상기 관심 주파수 영역을 필터 영역으로 갖는 필터를 선택하여 추출된다.
관심 구간의 유형에 연관된 필터를 선택하기 위해, 뇌파 신호의 몽타주(montage) 및/또는 수면 스테이지(stage)에 대한 입력을 수신할 수 있다. 상기 입력의 유형은 트레이닝 데이터의 서브 세트에 의존한다. 예를 들어, 잡파가 나타난 관심 구간에 연관된 필터를 선택하기 위해, 각 잡파의 유형 별로 몽타주 및/또는 수면 스테이지에 대한 입력을 수신할 수 있다.
몽타주는 뇌파 측정을 위해 전극의 배치와 유도법과 배열에 따라 뇌파를 기록하는 방식을 지칭한다. 상기 몽타주는 뇌파 신호가 측정된 채널에 기초하여 결정된다. 상기 뇌파 신호의 몽타주는, 예를 들어 ARM(Average Reference Montage), 또는 LBM(Longitudinal Bipolar Montage)을 포함한다.
상기 수면 스테이지는 수면과 관련된 상태를 나타내며, 수면 중 측정한 뇌파의 특성 변화를 바탕으로 선택된다. 상기 수면 스테이지는, 예를 들어 W, N1, N2 등을 포함한다. 뇌파 신호가 장시간 동안 획득된 경우, 상기 뇌파 신호는 하나 이상의 스테이지 유형을 가질 수 있다.
일 실시예에서, 상기 제1 모델에 의해 출력된 수면 스테이지가 필터를 선택하기 위한 수면 스테이지 정보로 사용될 수 있다.
또한, 필터 선택 이전에, 특징 패턴을 검출할 구간(duration)에 대한 입력을, 트레이닝 샘플에 의해 결정된, 각 레이블 별로 수신할 수도 있다. 일부 실시예에서, 상기 구간은 최소 에폭(Min. epoch)으로 선택된다.
또한, 필터 선택 이전에, 특징 패턴을 검출할 채널에 대한 입력을 수신할 수 있다. 사용자의 입력에 의해 대상 전극이 선택된 경우, 선택된 대상 전극이 특징 패턴을 검출할 채널로 결정된다.
이와 같이, 트레이닝 샘플에 의하 결정된, 각 레이블 별로 몽타주(ARM 또는 LBM), 수면 스테이지(W, N1, 및/또는 N2), 최소 에폭, 및/또는 특징 패턴을 추출할 채널 등에 대한 입력이 수신되면, 입력에 기초하여 각 레이블에 대한 필터가 선택된다.
도 5는, 본 발명의 일 실시예에 따른, 관심 주파수 영역의 필터의 선택을 설명하기 위한 테이블이다.
도 5에 도시된 바와 같이, 분석구간의 유형(PDR)에 있어서, a) 분석구간의 유형(PDR)에 대한 몽타주(예컨대, ARM) 및 수면 스테이지(예컨대, W)에 대한 입력을 수신하고; 분석구간의 유형(PDR)에 대해 검출할 최소 에폭(즉, 구간)에 대한 입력(예컨대, 1초 내지 2 초 중 임의의 초)을 수신하며; 분석구간의 유형(PDR)에 대해 검출할 채널에 대한 입력을 수신한 이후, 전술한 입력에 기초하여 5-13Hz의 필터 영역을 갖는 BPS(Band Pass Filter)가 분석구간의 유형(PDR)에 대한 필터로 선택된다.
그러면, 분석구간의 유형(PDR)에 대한 서브 세트의 트레이닝 뇌파 신호(예컨대, 평탄화된 트레이닝 뇌파 신호)에 상기 BPS가 적용되고, 결국 분석구간의 유형(PDR)과 관련된, 규칙성을 보이는 뇌파 신호의 일부가 분석구간의 유형(PDR)에 대한 특징 패턴으로 추출된다.
또한, 정상 특징 구간의 유형(SS)에 있어서도, 도 4와 같이, 정상 특징 구간의 유형(SS)에 대한 몽타주 및 수면 스테이지에 대한 입력, 정상 특징 구간의 유형(SS)에 대해 검출할 최소 에폭(즉, 구간)에 대한 입력, 정상 특징 구간의 유형(SS)에 대해 검출할 채널에 대한 입력을 수신한 이후, 전술한 입력에 기초하여 11-16Hz의 필터 영역을 갖는 BPS(Band Pass Filter)가 정상 특징 구간의 유형(SS)에 대한 필터로 선택된다.
그러면, 정상 특징 구간의 유형(SS)에 대한 서브 세트의 트레이닝 뇌파 신호(예컨대, 평탄화된 트레이닝 뇌파 신호)에 상기 BPS가 적용되고, 결국 정상 특징 구간의 유형(SS)과 관련된, 규칙성을 보이는 뇌파 신호의 일부가 정상 특징 구간의 유형(SS)에 대한 특징 패턴으로 추출된다.
또한, 잡파 구간의 유형(Ms)에 있어서도, 도 4와 같이, 잡파 구간의 유형(Ms)에 대한 몽타주 및 수면 스테이지에 대한 입력, 잡파 구간의 유형(Ms)에 대해 검출할 최소 에폭(즉, 구간)에 대한 입력, 잡파 구간의 유형(Ms)에 대해 검출할 채널에 대한 입력을 수신한 이후, 전술한 입력에 기초하여 30Hz의 필터 영역을 갖는 BPS(Band Pass Filter)가 잡파 구간의 유형(Ms)에 대한 필터로 선택된다.
그러면, 잡파 구간의 유형(Ms)에 대한 서브 세트의 트레이닝 뇌파 신호(예컨대, 평탄화된 트레이닝 뇌파 신호)에 상기 BPS가 적용되고, 결국 잡파 구간의 유형(Ms)과 관련된, 규칙성을 보이는 뇌파 신호의 일부가 잡파 구간의 유형(Ms)에 대한 특징 패턴으로 추출된다.
단계(S440)에서, 각 레이블별로 특징 패턴 서브 세트가 추출된다. 동일한 특징 패턴 서브 세트에 포함된 동일 레이블에 대한 복수의 특징 패턴은 반드시 동일하지는 않는다. 트레이닝 대상 사이의 신체적 차이로 인해, 미세한 차이가 있을 수 있다.
단계(S430)에 의해 평탄화된 트레이닝 뇌파 신호가 획득되고, 단계(S340)에 의해 각 레이블에 대응하는 특징 패턴이 획득되면, 평탄화된 트레이닝 뇌파 신호 및 추출된 특징 패턴을 결합하여 시각 패턴을 생성한다(S450). 일부 실시예에서, 상기 시각 패턴은, 2차원의 특징 패턴이 시각적으로 나타난 (예컨대, 그래프 형태의), 2차원 이미지로 표현될 수도 있다.
도 6a 및 도 6b는, 본 발명의 일 실시예에 따른, 2차원 시각 패턴의 이미지를 도시한 도면이다.
도 6a는 분석구간의 유형(PDR)에 대한 2차원 시각 패턴을 도시한 도면이고, 도 6b는, 잡파 구간의 유형(Ms)에 대한 2차원 시각 패턴을 도시한 도면이다.
도 6a에서 분석구간의 유형(PDR)에 대한 원시(raw) 트레이닝 뇌파 신호(노란색 선)는 전처리되어 평탄화된 트레이닝 뇌파 신호(파란색 선)이 획득된다. 이후, 분석구간의 유형(PDR)에 연관된 필터를 적용하여 (도 6a의 윈도우에 도시된) 분석구간의 유형(PDR)의 관심 구간(DI, Duration of Interest)을 추출한다. 이 평탄화된 트레이닝 뇌파 신호와 관심 구간을 결합하여 도 6a의 하단의 2차원 시각 패턴이 생성된다.
도 6b에서 잡파 구간의 유형(Ms)에 대한 원시(raw) 트레이닝 뇌파 신호(노란색 선)는 전처리되어 평탄화된 트레이닝 뇌파 신호(파란색 선)이 획득된다. 이후, 잡파 구간의 유형(Ms)에 연관된 필터를 적용하여 (도 6b의 윈도우에 도시된) 잡파 구간의 유형(Ms)의 관심 구간을 추출한다. 이 평탄화된 트레이닝 뇌파 신호와 관심 구간을 결합하여 도 6b의 하단의 2차원 시각 패턴이 생성된다(S450).
제2 분석 모델의 트레이닝 이미지는 상기 시각 패턴의 이미지 데이터이다. 상기 트레이닝 이미지는 전체 뇌파 신호 구간에서 관심 구간 영역의 사인파 패턴을 정확히 표현한다. 이 트레이닝 이미지를 각각 포함한 각 트레이닝 샘플을 이용하여, 제2 분석 모델이 학습되고, 결국 제2 분석 모델의 파라미터 또한 결정된다(S360). 이러한 학습에 의해 제2 분석 모델의 파라미터가 수렴하는 경우, 제2 분석 모델의 학습이 완료된다.
일 실시예에서, 인코더 및 디코더를 갖는 제2 분석 모델은 입력 데이터(x)와 복원된 데이터(x', 즉 디코더된 x) 사이의 차이(즉, 손실함수)를 최소화하도록 학습된다. 예를 들어, 제2 분석 모델은 인코더된 입력 데이터에서 관심 구간에 대응하는 영역(예컨대, 추출된 특징 패턴의 영역)은 잡파의 유형에 따른 특징 패턴에 가깝게 복원하고, 반면 비-관심 구간 영역은 뇌파 신호(예컨대, 전처리 신호)에 가깝게 복원한다. 즉, 제2 분석 모델은 관심 구간과 비-관심 구간의 신호 패턴의 차이가 구별되는 출력 데이터를 생성한다.
도 6의 트레이닝 이미지를 통해, 인코더/디코더의 파라미터가 결정된다.
일 실시예에서, 제2 분석 모델은 입력 데이터에 연관된 클래스를 결정하는 분류기(C)를 더 포함한다. 다시 도 3을 참조하면, 분류기는 인코더/디코더에서 생성된, 관심 구간과 비-관심 구간의 신호 패턴의 차이가 더 부각된 출력 데이터를 입력 데이터로 수신한다. 분류기는 이 입력 데이터의 특징 패턴에 연관된 클래스를 결정하도록 학습된다.
상기 분류기(C)는, 예를 들어, 완전 연결 레이어를 포함하나, 이에 제한되지 않으며, 입력 데이터의 클래스를 결정하는 다양한 분류기 구조를 가질 수 있다.
상기 분류기(C)의 파라미터(예컨대, 가중치)는 트레이닝 데이터와 클래스 정보를 포함한 트레이닝 샘플을 통해 학습된다. 일 실시예에서, 분류기(C)의 파라미터를 학습하기 위한 트레이닝 샘플은, 인코더/디코더(D/E) 부분의 학습을 위한 트레이닝 샘플일 수 있다. 여기서, 트레이닝 샘플은 시각 패턴인 트레이닝 이미지 및 시각 패턴에 연관된 잡파의 유형 정보를 레이블링 데이터로 포함한다.
분류기(C)의 학습 과정은, 예를 들어 전향 계산(bias calucation), 오류 역전파, 가중치 업데이트의 3단계를 통해 수행된다. 그러나, 이에 제한되지 않으며, 레이어 내 연결선에 가중치가 할당된 네트워크 아키텍처의 파라미터를 학습할 수 있는 다양한 기계학습 방식이 적용될 수 있다. 이러한 학습 과정의 단계들은 뉴럴 네트워크 구조의 학습 모델에 대해 통상적으로 사용되는 학습 과정이므로, 자세한 설명은 생략한다.
학습이 완료되면, 제2 분석 모델은 뇌파 신호의 전체 구간에서 특정 패턴이 나타난 관심 구간을 상기 특정 패턴에 연관된 유형으로 레이블링할 수 있다.
학습 시 사용되는 트레이닝 샘플 세트가 복수의 레이블링(예컨대, 다수의 잡파 유형)과 연관되므로, 학습이 완료된 단일 제2 분석 모델은 다수의 관심 구간을 레이블링할 수 있다.
다른 일 실시예에서, 뇌파 분석 모델은 제1 분석 모델 및 제2 분석 모델 중 하나 이상을 포함할 수도 있다.
전술한 뇌파 분석 모델에 의해, 환자진단 지원 시스템(1)에서, n개의 유형의 관심 구간을 레이블링하고자 경우, 특정 레이블에 대해서만 각각 식별하도록 학습된, n개의 모델이 더 이상 요구될 필요가 없다.
상기 뇌파 분석 모델의 학습은 프로세서를 포함한, 컴퓨팅 장치에 의해 수행될 수 있다. 상기 컴퓨팅 장치는, 예를 들어 전술한 환자진단 지원 시스템(1)(또는 일부 구성요소), 또는 다른 외부 장치(예컨대, 컴퓨터 등)를 포함할 수 있다. 다른 외부 장치에 의해 학습된 경우, 유/무선의 전기 통신을 통해 학습된 뇌파 분석 모델을 사용하기 이전에 수신하여 환자진단 지원 시스템(1)에 저장한다. 이 경우, 환자진단 지원 시스템(1)은 미리 학습된 뇌파 분석 모델을 저장하기 위한 저장 장치(미도시)를 더 포함할 수 있다. 예를 들어, 저장 장치는 ROM(Read-only memory), 플래시 메모리, SSD(solid state drive), HDD(Hard disk drive) 등을 포함할 수 있다. 또는 뇌파 분석 모델은 클라우드 서버에 저장되고, 시스템(1)은 상기 클라우드 서버와 통신하여 뇌파 분석 모델을 이용하도록 구성될 수도 있다.
또한, 데이터 처리 장치(10)는 미리 학습된 유형별로 레이블링된 관심 구간에 기초하여 분석 대상의 뇌파 신호를 정량적으로 분석한 뇌파 지표를 산출하도록 더 구성된다. 예를 들어, 데이터 처리 장치(10)는 잡파, 리듬, 수면 스테이지와 관련된 하나 이상의 유형으로 레이블링된 관심 구간에 기초하여 뇌파 지표를 산출한다.
또한, 데이터 처리 장치(10)는 뇌파 지표 산출 결과 및/또는 레이블링 결과를 포함한 환자의 뇌파 분석 보고를 사용자에게 제공하도록 더 구성된다. 여기서, 레이블링 결과는 레이블링된 관심 구간 또는 관심 구간의 유형(예컨대, 수면 스테이지, 잡파의 유형 등)을 포함한다.
이러한 뇌파 지표 및 뇌파 분석 보고를 제공함으로써, 데이터 처리 장치(10)는 환자진단을 지원할 수 있다. 이에 대해서는 아래의 도 7 등을 참조하여 보다 상세하게 서술한다.
도 7은, 본 발명의 일 실시예에 따른, 환자진단 지원 방법의 흐름도이다.
도 7을 참조하면, 우선 분석 대상의 뇌파 신호를 획득한다(S710). 일 실시예에서, 상기 분석 대상의 뇌파 신호는 환자진단 지원 시스템(예컨대, 신호 입력 장비)에 의해 획득된다. 분석 대상의 뇌파 신호는 다수의 채널에서 획득된 신호 세트일 수 있다. 단계(S710)의 동작은 단계(S410)의 동작과 유사하므로, 자세한 설명은 생략한다.
단계(S710)의 분석 대상의 뇌파 신호에서 노이즈를 제거하여, 전처리 신호를 획득한다(S730). 델타 파가 노이즈로 제거된 경우, 평탄화된 분석 대상의 뇌파 신호가 획득된다. 단계(S730)의 동작은 단계(S430)의 동작과 유사하므로, 자세한 설명은 생략한다.
평탄화된 분석 대상의 뇌파 신호는 미리 학습된 뇌파 분석 모델에 적용되어 뇌파 신호에서 관심 구간이 레이블링된다(S770 및 S780). 여기서, 관심 구간은 전술한 바와 같이, 잡파 구간, 분석구간, 수면 스테이지 및/또는 정상 특징 구간 등을 포함한다.일 실시예에서, 분석 대상의 뇌파 신호에서 수면 스테이지를 레이블링하기 위해 상기 분석 대상의 뇌파 신호를 제1 분석 모델에 적용한다(S770).
단계(S770)의 제1 분석 모델은 도 2에 도시된 바와 같이, 뇌파 신호에서 시간 내용을 추출하는 시간 도메인 레이어, 주파수 내용을 추출하는 주파수 도메인 레이어, 및 추출된 내용에 기초하여 입력된 뇌파 신호에 연관된 수면 스테이지를 결정하는 분류 레이어를 포함한다. 상기 제1 분석 모델은 트레이닝 샘플 세트를 사용하여, 뇌파 신호의 에폭 구간에 연관된 수면 스테이지를 레이블링하도록 미리 학습된다. 각 트레이닝 샘플은 에폭 구간 상의 뇌파 신호 및 에폭 구간의 수면 스테이지 정보를 포함한다.
또한, 분석 대상의 뇌파 신호에서 수면 스테이지와 상이한 패턴이 나타난 관심 구간을 레이블링하기 위해 상기 분석 대상의 뇌파 신호를 제2 분석 모델에 적용한다(S780).
단계(S780)의 뇌파 분석 모델은, 도 3에 도시된 바와 같이, 인코더, 디코더 및 분류기를 포함한다. 뇌파 분석 모델의 파라미터는, 도 4를 참조하여 위에서 서술한 바와 같이, 트레이닝 샘플 세트를 사용하여, 잡파 유형에 대응하는 관심 구간을 레이블링하도록 미리 학습되었다. 트레이닝 샘플 세트는 각 레이블에 각각 연관된, 복수의 서브 세트를 포함한다. 각 레이블별 서브 세트의 각 트레이닝 샘플은 단계(S330)의 신호(즉, 평탄화된 트레이닝 뇌파 신호) 및 단계(S340)의 신호(즉, 특징 패턴)이 결합된 시각 패턴 및 추출된 특징 패턴에 연관된 레이블 정보(예컨대, 잡파의 유형 정보)를 포함한다. 여기서, 시각 패턴은 2차원 이미지일 수 있다.
뇌파 분석 모델에 적용한 결과, 뇌파 신호가 잡파를 포함하는 경우, 잡파의 유형별로 관심 구간이 레이블링된다(S780). 단계(S730)의 뇌파 신호가 뇌파 분석 모델에 입력되면, 인코더/디코더(D/E) 부분에 의해, 관심 구간에 해당하는 부분의 신호 패턴과 비-관심 구간의 신호 패턴의 차이가 두드러지도록 복원된 데이터가 생성된다. 복원된 데이터가 분류기에 입력되면, 뇌파 신호의 전체 구간에서 관심 구간에 대응하는 부분의 클래스(예컨대, 잡파의 유형)이 레이블링된다.
일 실시예에서, 환자진단 지원 시스템(1)은 상기 분석 대상의 뇌파 신호의 부분 구간을 연관된 관심 구간의 유형으로 레이블링한 결과를 사용자에게 제공할 수 있다. 예를 들어, 이러한 레이블링 결과는 유형 별로 구분되도록 표시되어 사용자에게 제공된다.
도 8은, 본 발명의 일 실시예에 따른, 뇌파 신호에서 관심 구간을 레이블링한 결과를 도시한 도면이다. 다수의 채널을 통해 분석 대상의 뇌파 신호가 획득되면 도 8과 같은 결과가 사용자에게 제공될 수도 있다.
레이블링된 관심 구간은 다른 관심 구간의 일부를 포함하거나, 또는 전부를 포함할 수도 있다. 일부를 포함하는 경우, 레이블링된 서로 다른 관심 구간은 부분적으로 중첩되어 표시된다. 전부를 포함하는 경우, 레이블링된 서로 다른 관심 구간 중 하나는 다른 관심 구간에 부분으로서 포함된다.
채널(Fp1-AVG)에서는, 뇌파 분석 모델에 의해, 도 8의 시간 구간 동안 3개의 관심 구간이 유형에 따라서 각각 EO, EC, EC로 레이블링된다.
채널(O2-AVG)에서는, 뇌파 분석 모델에 의해, 도 8의 시간 구간 동안 5개의 관심 구간이 유형에 따라서 각각 PSW, PDR, PDR, PDR, PDR로 레이블링된다. 여기서, PDR과 PDR의 관심 구간은 부분적으로 중첩된다.
뇌파 분석 모델은 채널별로 관심 구간을 검출하여 유형별로 레이블링할 뿐만 아니라, 채널 세트에서 관심 구간(즉, 관심 영역)을 검출하여 레이블링할 수도 있다. 여기서 복수의 채널 상에서의 뇌파 신호에서 검출되는 관심 영역은 면적을 갖는 형태, 또는 선 형태일 수 있다.
우선 도 8에서 19개의 채널 상의 뇌파 신호에서 수면 스테이지 W가 레이블링된다. 또한, 도 8에서 19개의 채널 상의 뇌파 신호에서 관심 영역8개는 유형에 따라서 BG, EO, EB, EB, EB, EC로 각각 레이블링된다. 도 8의 분석구간의 유형(BG)과 분석구간의 유형(PDR)과 같이, 관심 구간의 뇌파 신호는 관심 영역의 일부 뇌파 신호일 수도 있다. 또는 도 8의 잡파 구간의 유형(EB)과 잡파 구간의 유형(EO)과 같이, 관심 영역의 뇌파 신호는 관심 구간의 일부 뇌파 신호일 수도 있다.
일부 실시예에서, 도 8에 도시된, 관심 구간을 레이블링한 결과는 토글(toggle) 형식으로 제공될 수 있다. 사용자에게 레이블링 결과를 제공하는 인터페이스에 따라 레이블링 결과가 표시되거나, 표시되지 않은 상태로 뇌파 신호의 그래프가 제공될 수 있다.
단계(S770)의 수면 스테이지 또는 단계(S780)의 잡파 유형과 같은, 레이블링 결과에 기초하여 뇌파 분석과 관련된 정량적 지표(뇌파 지표)가 산출된다(S790).
일 실시예에서, 뇌파 신호에서 수면 스테이지 W가 레이블링되는 경우, 해당 구간 상의 뇌파 신호에 대한 뇌파 지표가 산출된다. 여기서, 뇌파 지표는, 예를 들어, 구간 주파수 지표 또는 구간 진폭 지표(이하, “구간 주파수/진폭 지표”), 비대칭성(asymmetry) 지표, 국부 대칭성(local asymmetry) 지표, 활성(activity) 지표, 전방 후방 경사(anterior-posterior gradient) 지표 등을 포함할 수 있다.
구간 주파수/진폭 지표는 채널을 선택하고, 선택된 채널에서 수면 스테이지 W 구간 상의 뇌파 신호에 대한 주파수 및 진폭 관련 정보에 기초하여 산출된다. 일 실시예에서, 구간 주파수/진폭 지표는 피크 주파수 및/또는 진폭 범위(ranged amplitude)일 수 있다. 여기서, 구간 주파수 지표로서 피크 주파수는 다음의 수학식에 의해 산출된다.
이를 위해, 데이터 처리 장치(10)는 뇌파 신호의 PSD를 산출하도록 더 구성된다.
한편, 구간 진폭 지표로서 진폭 범위는 다음의 수학식에 의해 산출된다.
여기서, window size는 미리 설정된 값으로서, 예를 들어 1초 일 수 있으나 이에 제한되진 않는다. Window는 서로 오버랩되지 않도록 설정될 수 있다.
일 실시예에서, 선택된 채널은 전체 채널일 수 있다. 일부 실시예에서, 전체 채널 중 PDR 채널을 제외한 채널이 선택될 수도 있다.
수면 스테이지 W의 구간이 복수의 에폭을 포함하는 경우, 상기 피크 주파수 및 진폭 범위는 에폭별로 산출된다. 즉, 에폭의 수가 분석 구간의 개수이다. 에폭별 피크 주파수의 평균 및 에폭별 진폭 범위의 평균이 뇌파 지표로 산출된다. 산출된 구간 주파수/진폭 지표는 사용자에게 제공될 수 있다. 또한, 구간 주파수/진폭 지표를 산출하는데 사용된 정보 또한 사용자에게 제공될 수 있다.
도 9는, 본 발명의 일 실시예에 따른, 구간 주파수/진폭 지표 관련 사용자에게 제공되는 화면을 도시한 도면이다.
도 9a에 도시된 바와 같이, 에폭별 피크 주파수 및 진폭 범위가 산출되고, 산출된 정보는 뇌파 지표로서 사용자에게 제공될 수 있다.
또한, 도 9b 및 도 9c에 도시된 바와 같이, 에폭별 원시 신호(raw signal) 또는 에폭별 PSD가 각 채널마다 표시되어 사용자에게 제공될 수도 있다.
비대칭성 지표는 좌측/우측 채널의 신호 간의 일치 정도를 나타낸다. 비대칭성 지표는 좌측/우측 채널에서의 피크 주파수에 관련된 인자 또는 진폭 범위에 관련된 인자를 포함한다.
일 실시예에서, 비대칭성 지표는 좌측 채널의 피크 주파수 및 우측 채널의 피크 주파수 차이에 기초하여 산출된다. 일부 실시예에서, 피크 주파수는 에폭별 피크 주파수의 평균을 나타낸다.
일 실시예에서, 비대칭성 지표는 구간 진폭 지표(예컨대, 좌측 채널의 진폭 범위) 및 우측 채널의 구간 진폭 지표(예컨대, 진폭 범위) 간의 비율로 산출된다. 일부 실시예에서, 진폭 범위는 에폭별 진폭 범위의 평균을 나타낸다.
산출된 비대칭성 지표는 사용자에게 제공될 수 있다. 또한, 비대칭성 지표를 산출하는데 사용된 정보 또한 사용자에게 제공될 수 있다.
예를 들어, 에폭별 피크 주파수 및 진폭 범위, 에폭별 원시 신호(raw signal), 에폭별 PSD가 좌측 채널별로 또는 우측 채널별로 사용자에게 제공될 수도 있다. 예를 들어, 좌측 채널의 구간 주파수 및 진폭 범위 정보, 좌측 채널의 에폭별 원시 신호, 좌측 채널의 에폭별 PSD가 도 9와 유사하게 좌측 채널에 포함된 각 채널별로 표시되어 사용자에게 제공될 수 있다.
국부 대칭성(local symmetry) 지표는 채널 배치와 관련된 체인 또는 좌/우 채널의 쌍으로부터 획득된 뇌파 신호에 기초하여 산출된다. 여기서, 체인은: temporal(좌/우), parasagittal (좌/우), mid-line 등을 포함한다.
상기 국부 대칭성 지표는 체인 또는 좌측/우측 특정 채널의 쌍을 선택하고, 선택된 체인 또는 쌍에 대한 구간 주파수/진폭에 기초하여 산출된다.
산출된 국부 대칭성 지표는 사용자에게 제공될 수 있다. 또한, 국부 대칭성 지표를 산출하는데 사용된 정보 또한 사용자에게 제공될 수 있다.
도 10은, 본 발명의 일 실시예에 따른, 국부 대칭성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 10a에 도시된 바와 같이, 선택된 체인(예컨대, parasagittal chain) 에 대한 주파수/진폭 지표가 뇌파 지표로서 사용자에게 제공된다. 여기서, 주파수/진폭 지표는 전체 에폭에 대한 평균 값이다.
또한, 도 10b 내지 도 10e에 도시된 바와 같이, 선택된 체인(예컨대, parasagittal chain)의 각 에폭에 대한 채널별 주파수/진폭 지표, 좌측/우측의 주파수/진폭 지표, 원시 신호, 및 PSD 등이 표시되어 사용자에게 더 제공될 수도 있다.
활성(acitivity) 지표는 뇌의 활성과 관련된 지표로서 느린 활성 지표로 지칭될 수 있다. 느린 활성 지표는, 전체 채널을 선택하고, 전체 채널에서 에폭별 PSD를 계산하여 제공된다. 여기서, 에폭은 시간 순서로 나열되어야 하며, 에폭별로 주파수 밴드 별 전력과 전체 전력 간의 비율로 나타난다. 또한, 느린 활성을 산출하는데 사용된 정보(예컨대, 채널별 PSD 등)를 사용자에게 제공할 수 있다.
도 11은, 본 발명의 일 실시예에 따른, 느린 활성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 11a 및 도 11b에 도시된 바와 같이, 전체 채널 상에서의 에폭별 PSD를 산출하고, 각 채널별로 3차원으로 도시한 그래프 또는 3차원 그래프의 평면도(top-veiw)가 사용자에게 제공될 수 있다.
전방-후방 경사는 몽타주가 LBM인 경우에 산출된다. 전방 채널(예컨대, F1-F3, Fp2, F4 등)에서 분석 대상의 전방 뇌파 신호가 획득되고 그리고 후방 채널(예컨대, P3-O1, P4-O2 등)에서 분석 대상의 후방 뇌파 신호가 획득되면, 에폭별로 경사를 계산하여 전방-후방 경사 지표를 산출한다. 여기서, 경사는 전방 채널 및 후방 채널의 구간 진폭 지표(예컨대, 진폭 범위)에 기초하여 산출된다. 일부 실시예에서, 이 경사 지표는 에폭별로 계산 후 평균 값일 수 있다.
도 12는, 본 발명의 일 실시예에 따른, 전방-후방 경사 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
도 12a에 도시된 바와 같이, 전방-후방 경사를 에폭별 평균 값으로 계산한 결과가 전방-후방 경사 지표로서 사용자에게 제공된다. 또한, 도 11b에 도시된 바와 같이, 전방-후방 경사를 산출하는데 사용된 정보(예컨대, 에폭 상에서 채널별 진폭)가 사용자에게 더 제공될 수도 있다.
일 실시예에서, 뇌파 신호에서 수면 스테이지 N1, N2, 또는 N3이 레이블링 되는 경우, 해당 구간 상의 뇌파 지표가 산출된다. 여기서, 뇌파 지표는, 예를 들어, 구간 주파수 및 진폭 정보, 비대칭성성, 국부 대칭성성, 느린 활성, 전방-후방 경사 등과 같은, 수면 스테이지 W이 레이블링 된 경우와 동일한 뇌파 지표를 포함할 수 있다.
일 실시예에서, 뇌파 신호에서 잡파의 유형 PDR이 레이블링되는 경우, 해당 구간 상의 뇌파 신호에 대한 뇌파 지표가 산출된다. 여기서, 뇌파 지표의 항목은, 예를 들어, 구간 주파수/진폭 지표, 조절(regulation), 비대칭성(asymmetry), 변조(modulation), 개안(eyes-opening)에 대한 반응성(reactivity) 등을 포함할 수 있다.
잡파의 유형(PDR)에 대응하는 구간의 뇌파 신호에 있어 구간 주파수/진폭 지표는 후방(posterior) 채널 중 좌/우측 채널을 선택하고, 선택된 채널의 뇌파 신호로부터 피크 주파수 및 피크-투-피크 진폭을 산출하여 획득된다.
일 실시예에서, 에폭별 주파수 및 히스토그램이 산출되고, 다음의 수학식에 의해 구간 주파수 지표로서 피크 주파수가 산출된다.
또한, 에폭별 진폭 및 히스토그램이 산출되고, 다음의 수학식에 의해 구간 진폭 지표로서 진폭 값이 산출된다.
도 13은, 본 발명의 일 실시예에 따른, 구간 주파수/진폭 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
이와 같이 PDR 구간 상에서의 구간 주파수/진폭 지표가 산출되면, 도 13 a 및 도 13b에 도시된 바와 같이, 구간 주파수 및 히스토그램, 그리고 구간 진폭 및 히스토그램이 뇌파 지표로서 사용자에게 제공된다. 또한, 상기 구간 주파수/진폭 지표를 산출하는데 사용된 정보(예컨대, 에폭별 원시 신호, 에폭별 PSD 등)가, 도 13c 및 도 13d에 도시된 바와 같이, 사용자에게 제공될 수 있다.
한편, 조절(regulation) 지표는 전술한 구간 주파수 지표를 산출하는 과정과 유사하다. 에폭별 주파수 및 히스토그램, 에폭별 원시 신호, 에폭별 PSD 등을 산출하고 사용자에게 제공할 수 있다.
비대칭성 지표는 좌/우측 채널의 피크 주파수 또는 진폭 범위에 기초하여 산출한다. PDR 구간에서의 비대칭성 지표의 산출 및 제공하는 과정은 수면 스테이지 W에서의 비대칭성 지표를 산출 및 제공하는 과정과 유사하므로, 자세한 설명은 생략한다.
변조(modulation)는: PDR 구간에서의 뇌파 신호의 엔벨로프 진폭의 표준 편차(SD)를 산출한 뒤, 다음의 수학식을 통해 산출된다.
여기서, 엔벨로프 진폭은 에폭 동안의 뇌파 신호에 기초한다.
일 실시예에서, 엔벨로프 진폭은 국부적 피크에 의한 스플라인 보간법(spline interpolation)을 통해 산출될 수 있다. 여기서, 엔벨로프 진폭은 abs(upper-lower)일 수 있다.
개안에 대한 반응성(reactivity to eyes-opening)은 특정 주파수 구간에서 개안 시간 동안의 주파수 구간의 면적 및 폐안 시간 동안의 주파수 구간 면적에 기초하여 산출된다.
일 실시예에서, 주파수 구간을 설정하고(예컨대, 8~13Hz), 시간-주파수 분포에서 폐안(eyes-closed) 시간, 개안(eyes-opening) 시간, 및 재-폐안 시간에서의 주파수 구간의 면적에 기초하여 산출된다. 여기서, 폐안 시간, 개안 시간, 재-폐안 시간은 미리 설정된 시간으로서, 예를 들어, 각각 3초일 수 있으나, 이에 제한되진 않는다.
일 실시예에서, 개안에 대한 반응성 지표는 다음의 수학식으로 산출된다.
여기서, ratio_1은 개안 시간의 주파수 구간 면적/폐안 시간의 주파수 구간 면적을 나타내고, ratio_2는 개안 시간의 주파수 구간 면적/재-폐안 시간에서의 주파수 구간의 면적을 나타낸다.
도 14는, 본 발명의 일 실시예에 따른, 개안에 대한 반응성 지표와 관련하여 사용자에게 제공되는 화면을 도시한 도면이다.
이와 같이 산출된 개안에 대한 반응성 지표는 사용자에게 제공될 수 있다. 또한, 도 14a 내지 도 14c에 도시된 같이, 반응성 지표를 산출하는데 사용된 정보(도 14a의 ratio_1 및 ratio_2, 도 14 b의 에폭별 시간-주파수 분포, 도 14 c의 원시 신호)가 사용자에게 더 제공될 수도 있다.
환자진단 지원 시스템(1)은 단계(S770 내지 S790)의 결과를 포함한 환자진단 지원 보고서를 사용자에게 제공할 수 있다.
일 실시예에서, 환자진단 지원 보고서는 수면 스테이지의 레이블링 결과 및/또는 잡파유형의 레이블링 결과를 포함한다. 또한, 상기 환자진단 지원 보고서는 단계(S790)의 뇌파 지표를 더 포함할 수 있다.
상기 환자진단 지원 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 환자진단 지원 시스템(1)은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
이러한 환자진단 지원 시스템(1)의 레이블링 결과 및/또는 정량적인 뇌파 지표 산출 결과는 뇌전증과 같은 뇌질환을 진단하는데 활용될 수 있다. 또는, 뇌파 신호를 통해 진단될 수 있는 뇌질환 이외의 다른 질환을 진단하는데도 활용될 수 있다.
이상에서 설명한 실시예들에 따른 환자진단 지원 시스템 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
본 발명의 일 측면에 따른 환자진단 지원 시스템은 비침습적이면서 4차 산업 기술 중 하나인 기계학습(machine learning)을 이용하여 뇌파 신호에서 잡파 및/또는 수면 스테이지를 나타내는 관심 구간을 검출하고 검출된 관심 구간에 대응하는 잡파 및/또는 수면 스테이지의 유형을 레이블링할 수 있다.
이러한 기계학습을 통해 뇌파 신호의 구간을 검출함에 있어서, 의료진의 전문성에 의존하지 않아, 뇌질환 관련 전문의가 부족한 1, 2차 병원 기관에서도 뇌질환 관련 환자를 진단하는데 도움을 줄 수 있어, 의료 산업 분야에서 높은 산업상 이용가능성을 가질 수 있을 것으로 기대된다.
Claims (22)
- 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 뇌파 분석을 통한 환자진단 지원 방법에 있어서,
분석 대상의 뇌파 신호를 획득하는 단계;
상기 분석 대상의 뇌파 신호에서 노이즈를 제거하여 전처리 신호를 획득하는 단계;
뇌파 신호에서 관심 구간을 레이블링하도록 학습된 뇌파 분석 모델에 상기 전처리 신호를 적용하여, 상기 분석 대상의 뇌파 신호에서 특징 패턴이 나타난 관심 구간을 유형에 따라 레이블링하는 단계; 및
레이블링 결과에 기초하여 뇌파와 관련된 정량적인 뇌파 지표를 산출하는 단계를 포함하되,
상기 뇌파 분석 모델은 수면 스테이지와 상이한 패턴을 갖는 신호가 나타난 부분 구간을 관심 구간으로 레이블링하도록 구성된 제2 분석 모델을 포함하며,
상기 제2 분석 모델은 복수의 서브 세트를 포함한 트레이닝 샘플 세트를 이용하여 학습되며, 각 서브 세트에 포함된 각 트레이닝 샘플은 트레이닝 뇌파 신호로부터 획득된 트레이닝 이미지 및, 관심 구간의 유형 정보를 포함하며,
상기 관심 구간의 유형은 상기 상기 트레이닝 이미지에 표현된 사인파 패턴에 연관되고, 각 서브 세트 내 트레이닝 뇌파 신호는 동일한 관심 구간의 유형에 속하며,
상기 트레이닝 이미지는 제1 신호 및 제2 신호를 결합하여 생성된 이미지로서, 상기 제1 신호는 상기 트레이닝 뇌파 신호를 전처리한 신호이고, 상기 제2 신호는 해당 관심 구간의 유형에 연관된 필터를 상기 제1 신호에 적용하여 추출된 신호로서 불규칙한 뇌파 신호에서 규칙성 있는 사인파 형태의 패턴을 포함하는 것을 특징으로 하는 환자진단 지원 방법.
- 제1항에 있어서,
상기 뇌파 분석 모델은 수면 상태가 나타난 부분 구간을 관심 구간으로 레이블링하도록 구성된 제1 분석 모델을 포함하며,
상기 제1 분석 모델은,
분할된 뇌파 신호로부터 시간 도메인 상 특징을 추출하는 시간 도메인 레이어; 주파수 도메인 상 특징을 입력된 뇌파 신호로부터 추출하는 주파수 도메인 레이어; 및 시간 도메인 상 추출된 특징과 주파수 도메인 상 추출된 특징에 기초하여 입력된 뇌파 신호를 연관된 수면 스테이지의 유형으로 레이블링하는 분류 레이어를 포함하는 것을 특징으로 하는 환자진단 지원 방법.
- 제2항에 있어서, 상기 제1 분석 모델은,
입력된 뇌파 신호를 소정 시간 단위로 분할하고, 분할된 세그먼트 신호를 상기 시간 도메인 레이어 및 주파수 도메인으로 전달하는 세그먼트 레이어를 더 포함하는 것을 특징으로 하는 환자진단 지원 방법.
- 제2항에 있어서, 상기 분류 레이어는,
입력된 뇌파 신호에서 수면 스테이지를 결정하려는 시점의 이전 시점에서의 연산 결과를 전달하는 체인 레이어; 및 상기 체인 레이어의 출력을 수신하여 입력된 뇌파 신호에 연관된 수면 스테이지의 유형을 결정하는 완전 연결 레이어를 포함하는 것을 특징으로 하는 환자진단 지원 방법.
- 제2항에 있어서,
상기 제1 분석 모델은, 트레이닝 샘플 세트를 이용하여 학습되며, 각 트레이닝 샘플은 특정 에폭(epoch) 동안의 트레이닝 대상의 뇌파 신호, 및 상기 트레이닝 대상의 뇌파 신호에 대한 수면 스테이지의 유형을 포함하는 것을 특징으로 하는 환자진단 지원 방법.
- 제1항에 있어서,
상기 제2 분석 모델은,
상기 전처리 신호에서 관심 구간과 관련된 특징을 추출하는 인코더; 추출된 특징을 구간 신호로 복원하는 디코더; 및 복원된 구간 신호에 기초하여 상기 분석 대상의 뇌파 신호의 부분 구간을 연관된 관심 구간의 유형으로 레이블링하는 분류기를 포함하는 것을 특징으로 하는 환자진단 지원 방법.
- 제6항에 있어서, 상기 구간 신호는,
입력 데이터의 벡터와 가장 가까운 간격을 갖는 벡터 데이터의 신호인 것을 특징으로 하는 환자진단 지원 방법.
- 삭제
- 삭제
- 제1항에 있어서, 상기 필터는,
몽타주(montage), 수면 스테이지, 최소 에폭(minimum epoch), 및 특징 패턴을 추출할 대상 전극인 채널 중 적어도 하나에 기초한 것을 특징으로 하는 환자진단 지원 방법.
- 삭제
- 제1항에 있어서, 상기 뇌파 지표를 산출하는 단계는,
상기 분석 대상의 뇌파 신호에서 수면 스테이지 W, N1, 또는 N2가 레이블링되는 경우, 해당 구간 상의 뇌파 신호에 대한 뇌파 지표를 산출하는 단계를 포함하며, 상기 뇌파 지표는, 구간 주파수 지표 또는 구간 진폭 지표를 포함하고,
상기 구간 주파수 지표는 다음의 수학식에 의해 산출되며,
구간 주파수 지표 = max(mean(전체 채널의 Power Spectral Density))
상기 구간 진폭 지표는 다음의 수학식에 산출되며,
구간 진폭 지표 = mean(peak-to-peak amplitude)
여기서, peak-to-peak amplitude는 미리 설정된 윈도우 사이즈 내 피크 신호의 진폭에 기초한 것을 특징으로 하는 환자진단 지원 방법.
- 제12항에 있어서,
상기 뇌파 지표는 비대칭성 지표를 더 포함하며,
상기 비대칭성 지표는 분석 대상의 좌측 채널과 우측 채널에서 획득된 뇌파 신호의 구간 진폭 지표 간의 비율 또는 구간 주파수 지표 간의 차이에 기초한 것을 특징으로 하는 환자진단 지원 방법.
- 제12항에 있어서,
상기 뇌파 지표는 전방-후방 경사 지표를 더 포함하며,
상기 전방-후방 경사 지표는 전방 채널(anterior channel) 및 후방 채널(posterior channel)의 구간 진폭 지표에 기초하여 산출되는 것을 특징으로 하는 환자진단 지원 방법.
- 제12항에 있어서,
뇌파 신호에서 관심 구간의 유형으로서 PDR(posterior dominant rhythm)이 레이블링되는 경우, 해당 구간 상의 뇌파 신호에 대한 뇌파 지표를 산출하는 단계를 포함하며, 상기 뇌파 지표는, 구간 주파수 지표 또는 구간 진폭 지표를 포함하고,
상기 구간 주파수 지표는 다음의 수학식에 의해 산출되며,
구간 주파수 지표 = max (선택 채널의 Power Spectral Density)
상기 구간 진폭 지표는 다음의 수학식에 산출되며,
구간 진폭 지표 = 선택 채널의 peak-to-peak amplitude
인 것을 특징으로 하는 환자진단 지원 방법.
- 제15항에 있어서,
상기 뇌파 지표는 변조 지표를 더 포함하며,
상기 변조 지표는 다음의 수학식에 의해 산출되고,
변조 지표 = mean(에폭별 엔벨로프 진폭의 표준 편차)
여기서, 엔벨로프 진폭은 에폭 동안의 뇌파 신호에 기초한 것을 특징으로 하는 환자진단 지원 방법.
- 제15항에 있어서,
상기 뇌파 지표는 개안(eye-opening)에 대한 반응성 지표를 더 포함하며,
상기 개안에 대한 반응성 지표는 다음의 수학식으로 산출되며,
반응성 지표 = (ratio_1+ratio_2)/2
여기서, ratio_1은 개안 시간의 주파수 구간 면적/폐안 시간의 주파수 구간 면적을 나타내고, ratio_2는 개안 시간의 주파수 구간 면적/재-폐안 시간에서의 주파수 구간의 면적을 나타내는 것을 특징으로 하는 환자진단 지원 방법.
- 제1항에 있어서,
레이블링 결과 및 산출된 뇌파 지표 중 하나 이상을 포함한 분석 결과를 사용자에게 제공하는 단계를 더 포함하는 환자진단 지원 방법.
- 제18항에 있어서,
상기 레이블링 결과는 제1 관심 구간 및 제2 관심 구간을 포함한 복수의 관심 구간을 포함하며,
상기 제1 관심 구간의 적어도 일부와 상기 제2 관심 구간의 적어도 일부는 중첩하는 것을 특징으로 하는 환자진단 지원 방법.
- 제18항에 있어서, 상기 분석 결과를 제공하는 단계는,
산출된 뇌파 지표를 제공하는 경우, 상기 산출된 뇌파 지표를 산출하는데 사용된 채널별 뇌파 신호 또는 PSD(Power Spectral Density)를 제공하는 단계를 포함하는 것을 특징으로 하는 환자진단 지원 방법.
- 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제7항, 제10항 그리고 제12항 내지 제20항 중 어느 하나의 항에 따른 환자진단 지원 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
- 분석 대상의 뇌파 신호를 획득하는 신호 입력 장치, 및
상기 분석 대상의 뇌파 신호를, 관심 구간을 레이블링하도록 구성된 뇌파 분석 모델에 적용하고, 그리고 레이블링 결과에 기초하여 뇌파 지표를 산출하도록 구성된 데이터 처리 장치를 포함하되,
상기 뇌파 분석 모델은 수면 스테이지와 상이한 패턴을 갖는 신호가 나타난 부분 구간을 관심 구간으로 레이블링하도록 구성된 제2 분석 모델을 포함하며,
상기 제2 분석 모델은 복수의 서브 세트를 포함한 트레이닝 샘플 세트를 이용하여 학습되며, 각 서브 세트에 포함된 각 트레이닝 샘플은 트레이닝 뇌파 신호로부터 획득된 트레이닝 이미지 및, 관심 구간의 유형 정보를 포함하며,
상기 관심 구간의 유형은 상기 상기 트레이닝 이미지에 표현된 사인파 패턴에 연관되고, 각 서브 세트 내 트레이닝 뇌파 신호는 동일한 관심 구간의 유형에 속하며,
상기 트레이닝 이미지는 제1 신호 및 제2 신호를 결합하여 생성된 이미지로서, 상기 제1 신호는 상기 트레이닝 뇌파 신호를 전처리한 신호이고, 상기 제2 신호는 해당 관심 구간의 유형에 연관된 필터를 상기 제1 신호에 적용하여 추출된 신호로서 불규칙한 뇌파 신호에서 규칙성 있는 사인파 형태의 패턴을 포함하는 것을 특징으로 하는 환자진단 지원 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190157747A KR102236791B1 (ko) | 2019-11-29 | 2019-11-29 | 뇌파 분석 기반 환자진단 지원 시스템 및 방법 |
| PCT/KR2020/008202 WO2021107310A1 (ko) | 2019-11-29 | 2020-06-23 | 뇌파 분석 기반 환자진단 지원 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190157747A KR102236791B1 (ko) | 2019-11-29 | 2019-11-29 | 뇌파 분석 기반 환자진단 지원 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102236791B1 true KR102236791B1 (ko) | 2021-04-06 |
Family
ID=75472928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190157747A KR102236791B1 (ko) | 2019-11-29 | 2019-11-29 | 뇌파 분석 기반 환자진단 지원 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102236791B1 (ko) |
| WO (1) | WO2021107310A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102423483B1 (ko) * | 2022-02-21 | 2022-07-21 | 가천대학교 산학협력단 | 뇌파 검사 데이터에 기초하여 우울증 예측정보를 제공하는 인공지능 시스템 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420672B (zh) * | 2021-06-24 | 2023-03-14 | 清华大学 | 一种基于gpu对脑电信号处理过程进行并行加速的方法 |
| CN113842152B (zh) * | 2021-09-28 | 2023-05-30 | 西交利物浦大学 | 脑电信号分类网络训练方法、分类方法、设备及存储介质 |
| CN117612702B (zh) * | 2023-11-23 | 2024-05-10 | 石家庄市第八医院(石家庄市精神病医院) | 一种基于脑电图信号分析的精神分裂症分类方法及系统 |
| CN117547286B (zh) * | 2023-12-29 | 2024-05-28 | 中国人民解放军东部战区总医院 | 一种基于智能修补材料的脑电信号数据分析管理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6231480B2 (ko) * | 1977-08-29 | 1987-07-08 | Tokyo Shibaura Electric Co | |
| KR20190033972A (ko) * | 2017-09-22 | 2019-04-01 | 주식회사 아이메디신 | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 |
| US20190142291A1 (en) * | 2015-03-23 | 2019-05-16 | Temple University-Of The Commonwealth System Of Higher Education | System and Method for Automatic Interpretation of EEG Signals Using a Deep Learning Statistical Model |
| KR20190111570A (ko) | 2018-03-23 | 2019-10-02 | 인하대학교 산학협력단 | 확률모델 및 기계학습과 함께 특징추출을 이용한 뇌전도 신호의 멀티 주파수 대역 계수 기반 간질 발작파 검출 시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130072809A1 (en) * | 2011-09-19 | 2013-03-21 | Persyst Development Corporation | Method And System For Analyzing An EEG Recording |
| KR101400316B1 (ko) * | 2012-11-13 | 2014-05-27 | 재단법인대구경북과학기술원 | 생체 신호 잡음 제거 장치 및 그 방법 |
-
2019
- 2019-11-29 KR KR1020190157747A patent/KR102236791B1/ko active IP Right Grant
-
2020
- 2020-06-23 WO PCT/KR2020/008202 patent/WO2021107310A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6231480B2 (ko) * | 1977-08-29 | 1987-07-08 | Tokyo Shibaura Electric Co | |
| US20190142291A1 (en) * | 2015-03-23 | 2019-05-16 | Temple University-Of The Commonwealth System Of Higher Education | System and Method for Automatic Interpretation of EEG Signals Using a Deep Learning Statistical Model |
| KR20190033972A (ko) * | 2017-09-22 | 2019-04-01 | 주식회사 아이메디신 | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 |
| KR20190111570A (ko) | 2018-03-23 | 2019-10-02 | 인하대학교 산학협력단 | 확률모델 및 기계학습과 함께 특징추출을 이용한 뇌전도 신호의 멀티 주파수 대역 계수 기반 간질 발작파 검출 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102423483B1 (ko) * | 2022-02-21 | 2022-07-21 | 가천대학교 산학협력단 | 뇌파 검사 데이터에 기초하여 우울증 예측정보를 제공하는 인공지능 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021107310A1 (ko) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102236791B1 (ko) | 뇌파 분석 기반 환자진단 지원 시스템 및 방법 | |
| Fan et al. | Detecting abnormal pattern of epileptic seizures via temporal synchronization of EEG signals | |
| KR102169529B1 (ko) | 뇌파 분석과 관련된 관심 구간을 뇌파 신호에서 레이블링하는 방법 및 이를 수행하는 뇌파 분석 시스템 | |
| Şen et al. | A comparative study on classification of sleep stage based on EEG signals using feature selection and classification algorithms | |
| Halford | Computerized epileptiform transient detection in the scalp electroencephalogram: Obstacles to progress and the example of computerized ECG interpretation | |
| Zhang et al. | Multimodal depression detection: Fusion of electroencephalography and paralinguistic behaviors using a novel strategy for classifier ensemble | |
| Cai et al. | Study on feature selection methods for depression detection using three-electrode EEG data | |
| Lopes et al. | Automatic electroencephalogram artifact removal using deep convolutional neural networks | |
| De Lucia et al. | A novel method for automated classification of epileptiform activity in the human electroencephalogram-based on independent component analysis | |
| Soni et al. | Graphical representation learning-based approach for automatic classification of electroencephalogram signals in depression | |
| Mohammadi et al. | Automatic seizure detection using a highly adaptive directional time–frequency distribution | |
| Jiménez-González et al. | Blind extraction of fetal and maternal components from the abdominal electrocardiogram: An ICA implementation for low-dimensional recordings | |
| US10085684B2 (en) | State identification in data with a temporal dimension | |
| Shayeste et al. | Automatic seizure detection based on Gray Level Co-occurrence Matrix of STFT imaged-EEG | |
| Tang et al. | Dimensionality reduction methods for brain imaging data analysis | |
| Houssein et al. | EEG signals classification for epileptic detection: a review | |
| Wu et al. | A new localization method for epileptic seizure onset zones based on time-frequency and clustering analysis | |
| US20210315507A1 (en) | System and methods for consciousness evaluation in non-communicating subjects | |
| Magesh et al. | Ensemble feature extraction-based prediction of fetal arrhythmia using cardiotocographic signals | |
| US20220130357A1 (en) | Decoding chord information from brain activity | |
| Mu et al. | Automatic detection for epileptic seizure using graph-regularized nonnegative matrix factorization and Bayesian linear discriminate analysis | |
| Jibon et al. | Epileptic seizure detection from electroencephalogram (EEG) signals using linear graph convolutional network and DenseNet based hybrid framework | |
| Zhang et al. | High-speed image analysis reveals chaotic vibratory behaviors of pathological vocal folds | |
| KR102513398B1 (ko) | 뇌파 신호를 정량적으로 분석한 결과를 이용한 뇌파 판독 소견 작성 장치 및 방법 | |
| Cai et al. | Emotion recognition through combining EEG and EOG over relevant channels with optimal windowing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |