KR20120012364A - 생체신호 기반 자동 수면단계 분류시스템 - Google Patents
생체신호 기반 자동 수면단계 분류시스템 Download PDFInfo
- Publication number
- KR20120012364A KR20120012364A KR1020100095032A KR20100095032A KR20120012364A KR 20120012364 A KR20120012364 A KR 20120012364A KR 1020100095032 A KR1020100095032 A KR 1020100095032A KR 20100095032 A KR20100095032 A KR 20100095032A KR 20120012364 A KR20120012364 A KR 20120012364A
- Authority
- KR
- South Korea
- Prior art keywords
- biosignal
- eeg
- sleep stage
- gsr
- ppg
- Prior art date
Links
- 230000008667 sleep stage Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000010183 spectrum analysis Methods 0.000 claims description 3
- 239000008186 active pharmaceutical agent Substances 0.000 claims 2
- 238000013186 photoplethysmography Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 10
- 239000000284 extract Substances 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 abstract description 7
- 231100000430 skin reaction Toxicity 0.000 abstract description 2
- 230000004461 rapid eye movement Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 108090000623 proteins and genes Proteins 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 206010062519 Poor quality sleep Diseases 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000003403 autonomic nervous system Anatomy 0.000 description 4
- 210000000349 chromosome Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000000540 analysis of variance Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000036471 bradycardia Effects 0.000 description 1
- 208000006218 bradycardia Diseases 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001543 one-way ANOVA Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000028016 temperature homeostasis Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/682—Mouth, e.g., oral cavity; tongue; Lips; Teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6825—Hand
- A61B5/6826—Finger
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명은 생체신호 기반 자동 수면단계 분류시스템에 관한 것으로, 서로 다른 조건의 생체신호를 이용하여 수면 단계를 예측하기 위한 것이다.
이를 위하여 본 발명은 EEG, EOG, EMG, PPG, SKT, GSR 센서를 이용하여 서로 다른 채널을 통해 다양한 생체 신호를 획득하는 생체신호 검출부, 생체신호 검출부에서 각 채널을 통해 획득된 다양한 생체신호를 각 생체신호의 특징 추출에 적합한 방법으로 신호 처리를 실시하여 각각의 생체신호로부터 각 생체신호의 특징을 나타내는 특징점을 추출하는 신호 처리 및 특징 추출부, 신호 처리 및 특징 추출부의 각 생체신호에 대한 특징점을 기준으로 생체신호 조합을 생성하는 서브셋 발생부, 및 서브셋 발생부에서 조합된 생체신호 조합을 통하여 수면단계(REM,LS,DS)를 분류하고, 각 단계에 따른 조합의 성능 평가를 분석하는 성능 평가부를 포함하는 생체신호 기반 자동 수면단계 분류시스템을 제공하여, 서로 다른 조건의 생체신호를 이용한 수면 단계 분석시 측정의 정확도와 편리성을 고려한 최적의 생체신호 조합으로 수면 단계를 정확하고 편리하게 예측할 수 있게 한다.
이를 위하여 본 발명은 EEG, EOG, EMG, PPG, SKT, GSR 센서를 이용하여 서로 다른 채널을 통해 다양한 생체 신호를 획득하는 생체신호 검출부, 생체신호 검출부에서 각 채널을 통해 획득된 다양한 생체신호를 각 생체신호의 특징 추출에 적합한 방법으로 신호 처리를 실시하여 각각의 생체신호로부터 각 생체신호의 특징을 나타내는 특징점을 추출하는 신호 처리 및 특징 추출부, 신호 처리 및 특징 추출부의 각 생체신호에 대한 특징점을 기준으로 생체신호 조합을 생성하는 서브셋 발생부, 및 서브셋 발생부에서 조합된 생체신호 조합을 통하여 수면단계(REM,LS,DS)를 분류하고, 각 단계에 따른 조합의 성능 평가를 분석하는 성능 평가부를 포함하는 생체신호 기반 자동 수면단계 분류시스템을 제공하여, 서로 다른 조건의 생체신호를 이용한 수면 단계 분석시 측정의 정확도와 편리성을 고려한 최적의 생체신호 조합으로 수면 단계를 정확하고 편리하게 예측할 수 있게 한다.
Description
본 발명은 생체신호 기반 자동 수면단계 분류시스템에 관한 것으로, 보다 상세하게는 quadratic classifier를 이용한 생체신호 측정의 편리성을 기반으로 한 생체신호 조합에 대한 시스템에 관한 것이다. 본 발명의 구성과 결과를 통해 수면단계를 보다 정확하게 분석하고 편리하게 측정할 수 있다.
다시 말해, 본 발명은 서로 다른 조건의 생체신호를 이용한 수면 단계 분석시 측정의 정확도와 편리성을 고려하여 최적의 생체신호 조합으로 서브셋을 구성하고, 실험 날짜에 독립적인 데이터 셋의 구성 및 반복적인 성능 평가를 통해 수면 단계를 정확하고 편리하게 분석할 수 있도록 한 생체신호 기반 자동 수면단계 분류시스템에 관한 것이다.
또한 본 발명은 유전자-퍼지 알고리즘을 이용한 개인별 최적화 과정(높은 정확도 요구시)에 의해 선택적으로 보충되어 그 정확도가 더욱 향상될 수 있다.
일반적으로 수면 단계는 급속 동공운동(Rapid Eye Movement)상태(REM), 얕은 수면 상태, 깊은 수면 상태로 나뉘며, 수면 상태에서 수면 1, 2단계는 얕은 수면(light sleep: LS)으로 분류되고, 수면 3, 4단계는 깊은 수면(Deep Sleep : DS)으로 분류된다.
위와 같이 정의 되는 수면단계의 분류기법에는 R&K 기법(EEG, EOG, EMG)을 기반으로 하는 생체신호 판독 방법(visual inspection, manual inspection)이 있다.
최근에, 컴퓨터-기반의 수면단계 분류시 수면생체신호 응답의 개인별 차이로 인해 자동 수면패턴 분석에 한계가 존재한다.사용되는 표준 criteria기반 시각적 식별과정은 전문가들에게조차 어렵다고 선행연구에서 보고된 바 있다.
또한 특정한 주파수 대역에 대한 확률적 식별방법 역시 그 경계가 모호하다. 예를 들어, 수면단계를 나누는 표준방식에 따르면 수면단계(3단계)의 한 period는 델타파가 20% 이상 50% 미만 존재하여야 한다. 그러나 델타파가 20% 미만 나타날 경우 수면단계(2단계)으로 간주된다.
따라서 이러한 불분명한 경계를 구별하기 위하여 정량적인 성능 평가가 이루어지는 생체신호 기반의 자동 수면단계 분류가 이루어질 수 있는 시스템의 개발이 필수적으로 요구되었다.
자동 수면 패턴분석 기법은 유비쿼터스 헬스케어에 대한 관심이 증대되면서, 현대인은 얼마나 잘 잤는지에 대한 질 높은 수면의 정량적 평가를 할 수 있는 모니터링 시스템에 대한 필요성을 요구하고 있다.
본 발명이 해결하고자 하는 기술적 과제는, 서로 다른 조건의 생체신호를 이용한 수면 단계 분석시 측정의 정확도와 편리성을 고려한 최적의 생체신호 조합으로 부분집합을 구성하여 그것으로부터 수면 단계를 정확하고 편리하게 예측할 수 있도록 한다.
상기의 목적을 달성하기 위한 본 발명의 실시 형태는, EEG, EOG, EMG, PPG, SKT, GSR 센서 등 복수의 센서 중 적어도 하나 이상을 이용하여 서로 다른 채널을 통해 다양한 생체 신호를 획득하는 생체신호 검출부, 생체신호 검출부에서 각 채널을 통해 획득된 다양한 생체신호를 각 생체신호의 특징 추출에 적합한 방법으로 신호 처리를 실시하여 각각의 생체신호로부터 각 생체신호의 특징을 나타내는 특징점을 추출하는 신호 처리 및 특징 추출부, 신호 처리 및 특징 추출부의 각 생체신호에 대한 특징점을 기준으로 생체신호 조합을 생성하는 서브셋 발생부, 및 서브셋 발생부에서 조합된 생체신호 조합을 통하여 수면단계(REM,LS,DS)를 분류하고, 각 단계에 따른 조합의 성능 평가를 분석하는 성능 평가부, 그리고 유전자-퍼지 알고리즘을 통한 개인별 최적화 과정를 포함하는 생체신호 기반 자동 수면단계 분류시스템이다.
본 발명에 따른 생체신호 기반 자동 수면단계 분류시스템에 의하면, 서로 다른 조건의 생체신호를 이용한 수면 단계 분석시 측정의 정확도와 편리성을 고려한 다양한 생체신호 조합으로 부분집합을 구성하고 2차 선형분리기로 수면단계를 나누고, 유전자-퍼지 알고리즘으로 최적화 하여, 그것으로부터 수면 단계를 정확하고 예측하고 측정신호의 개수를 줄임으로써 편리하게 수면단계를 예측할 수 있게 한다.
도 1은 본 발명의 실시예에 따른 생체신호 기반 자동 수면단계 분류시스템의 전체적인 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시예에서 이루어지는 2차 선형 분리기의 수면 단계 분류 과정을 좀더 상세히 설명하기 위하여 예시한 분류 개념도이다.
도 3은 2차 선형 분리기를 이용한 실험자-종속 데이터 셋을 평가한 결과를 예시한 그래프이다.
도 4는 2차 선형 분리기를 이용한 실험자-독립 데이터 셋을 평가한 결과를 예시한 그래프이다.
도 5a는 본 발명의 일실시예로서 서브셋 발생부로부터 별도의 생체 데이터에 관한 서브셋을 입력받아 수면단계를 분석하는 유전자-퍼지 최적화부를 도시한 블록도이다.
도 5b는 유전자-퍼지 알고리즘을 이용한 수면단계분류의 개인별 최적화 과정을 도시한 블록도이다.
도 6은 유전자-퍼지 알고리즘을 이용하는 경우에, 한 피실험자의 생체신호에 대한 상대적 파워 스펙트럼과 수면 단계의 정규화 결과를 예시한 그래프이다.
도 7은 유전자-퍼지 알고리즘을 이용하는 경우에, 연속되는 수면 단계에서의 5개의 주파수 대역(알파, 세타, 감마, 시그마, 베타)의 상대적 파워 스펙트럼 값을 정규화시켜 개별적으로 비교한 차이점을 나타낸 그래프이다.
도 2는 본 발명의 실시예에서 이루어지는 2차 선형 분리기의 수면 단계 분류 과정을 좀더 상세히 설명하기 위하여 예시한 분류 개념도이다.
도 3은 2차 선형 분리기를 이용한 실험자-종속 데이터 셋을 평가한 결과를 예시한 그래프이다.
도 4는 2차 선형 분리기를 이용한 실험자-독립 데이터 셋을 평가한 결과를 예시한 그래프이다.
도 5a는 본 발명의 일실시예로서 서브셋 발생부로부터 별도의 생체 데이터에 관한 서브셋을 입력받아 수면단계를 분석하는 유전자-퍼지 최적화부를 도시한 블록도이다.
도 5b는 유전자-퍼지 알고리즘을 이용한 수면단계분류의 개인별 최적화 과정을 도시한 블록도이다.
도 6은 유전자-퍼지 알고리즘을 이용하는 경우에, 한 피실험자의 생체신호에 대한 상대적 파워 스펙트럼과 수면 단계의 정규화 결과를 예시한 그래프이다.
도 7은 유전자-퍼지 알고리즘을 이용하는 경우에, 연속되는 수면 단계에서의 5개의 주파수 대역(알파, 세타, 감마, 시그마, 베타)의 상대적 파워 스펙트럼 값을 정규화시켜 개별적으로 비교한 차이점을 나타낸 그래프이다.
이하, 본 발명의 일실시예에 의한 생체신호 기반 자동 수면단계 분류시스템의 구성 및 동작을 첨부한 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 생체신호 기반 자동 수면단계 분류시스템의 전체적인 구성을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 실시예에서 이루어지는 수면 단계 분류 과정을 좀더 상세히 설명하기 위하여 예시한 분류 개념도이다.
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 생체신호 기반 자동 수면 단계 분류시스템은 생체신호 검출부(100), 신호 처리 및 특징 추출부(200), 서브셋 발생부(300), 성능 평가부(400), 및 성능 최적화부(500)를 포함한다.
생체신호 검출부(100)는 7-채널 증폭기(Biopac MP150TM)를 사용하여 신체의 각 부분으로부터 다양한 생체신호를 측정하는 블록으로서, 7-채널 증폭기에는 두 개 채널의 EEG(Electroencephalogram) 센서(110,120), EOG(electro-oculogram) 센서(130), EMG(electromyogram) 센서(140), PPG(photoplethysmography) 센서(150), GSR(galvanic skin response) 센서(160), 및 SKT(skin temperature) 센서(170)를 구비하여, 각 센서들로부터 감지되는 다양한 생체신호를 서로 다른 채널을 통해 각각 획득한다. 여기서 7-채널 증폭기의 샘플링율은 1000Hz로 디지털화하는 것이 바람직할 것이다. 2-채널 EEG 센서(110,120)는 컨덕티브 젤을 이용하여 신체에 부착되며, Grass 전극을 두피의 중앙측 C3, C4에 각각 부착된다. 안구의 위치이동을 측정하는 EOG 센서(130)는 왼쪽 눈(+)과 오른쪽 눈(-)에 각각 부착되고, 이마에 그라운드 전극이 부착된다. 근전도를 측정하는 EMG 센서(140)는 턱 아래에 부착된다. PPG 센서(150)는 반사적 IR 센서를 이용하여 손가락에 부착된다. GSR 센서(160)는 중지와 약지에 2개의 전극을 이용하여 부착된다. 피부온도 측정을 위한 SKT 센서(170)는 calibrated 센서를 이용하여 소지에 부착된다.
신호 처리 및 특징 추출부(200)는 생체신호 검출부(100)에서 각 채널을 통해 획득된 다양한 생체신호를 각 생체신호의 특징 추출에 적합한 방법으로 신호 처리를 실시하여 각각의 생체신호로부터 각 생체신호의 특징을 나타내는 특징점을 추출한다. 여기서 신호 처리 및 특징 추출부(200)에서는 EEG(1) 센서(110) 및 EEG(2) 센서(120)와 EOG 센서(130)의 검출파형은 스펙트럼 분석을 통하여 생체신호의 특징점을 추출하고, PPG 센서(150)의 검출파형은 HRV 분석방법을 통하여 생체신호의 특징점을 추출하며, GSR 센서(160)의 검출파형은 phasic 분석을 통해 생체신호의 특징점을 추출하고, SKT 센서(170)의 검출파형은 평균값과 표준 편차값을 이용하여 생체신호의 특징점을 추출한다.
상기 신호 처리 및 특징 추출부(200)에서 이루어지는 각각의 생체신호 검출 파형에 대한 신호 처리과정은 다음과 같다.
EEG 신호는, 신체위치에 관한 10-20 국제적 전극위치 가이드라인에 따라 C3-A2에서 판독된 연속적인 단일 EEG 신호의 각 에폭(epochs)에 hanning window를 씌워 잡음 제거 없이 고속 푸리에 변환(FFT)를 수행한다. 이러한 고속 푸리에 변환을 수행하기 위한 Hanning window의 길이는 예를 들면 32,768(2^15)이 적당하며, 파워스펙트럼의 대역폭(bandwidths)은 델타(1-4Hz), 세타(4-7.5Hz), 알파(7.5-12Hz), 시그마(12-14Hz) 그리고 베타(16-25Hz)이다. 이때 각 에폭의 상대적인 파워 스펙트럼은 (각 밴드폭의 파워)/(총 파워)로 계산하고, 그 파워는 각각의 5개의 에폭마다의 파워를 합산함으로써 계산한다.
각 에폭은 각 시퀀스 안에서 6개의 주기 중에 중앙값을 나타낸다(6 주기*30 초 = 3 분). 이러한 중앙값 조정 후에는 기록에서의 0과 1사이에서 정규화된 상대적인 파워 값은 퍼지추론 알고리즘(fuzzy classifier)의 입력으로 셋팅되도록 구성할 수 있다.
EOG 신호는, REM 상태에서의 동공의 움직임을 측정하기 위해 직류(DC) 레벨을 제거하고 전체적 스펙트럼 파워 값을 제거하여 사용한다.
심박변이도(Heart rate variability; HRV)는 자율신경계(Autunomic nerve system; ANS)를 반영하는 값으로 대표되며, PPG와 심박동은 수면 동안의 변화량을 알아보기 위해 사용된다. 또한 일시적인 심박 급속증 또는 서맥이 발생하는지를 고려하기도 한다. 심박동의 변화는 또한 수면으로부터의 각성과 연관이 있기도 한다.
PPG를 이용한 HRV 분석하기 위해서는 시간 영역(time-domain), 주파수 영역(frequency-domain), 비선형(non-linear) 방법을 적용한다. 시간 영역 분석을 통해 mean HR(the mean of RR interval), SDNN(the standard deviation of RR interval), RMSSD(the root mean square of successive RR interval)와 NN50(the number of successive intervals differing more than 50ms)을 추출한다.
주파수 영역 분석에서 단기(short-term) HRV 분석 시, 일반적으로 사용하는 특징들은 LF/HF, HF(0.15Hz-0.4Hz), LF(0.04-0.15Hz)가 있다. 저주파 요소(<0.04Hz)를 제거하기 위해서는 고주파 대역 필터에 기초한 최소자승근사값(least mean square)으로 저주파 성분을 제거한다. 각 수면단계 안에서의 연이은 3분의 길이는 fourier 방법으로 분석한다. HF와 LF는 상대적인 파워를 계산하여 특징을 추출한다(power per bandwidth)/(total power).
비선형 HRV 분석 방법에서 흔하게 사용되고 있는 Poincar plot(SD1, SD2)은 연속적인 RR 간격 간의 상관관계(correlation)을 보여준다. SD1은 호흡에 관련이 있는 단기 변동(short-term variability)을 해석하는 것과 관련이 있고, SD2는 장기변동(long-term variability)와 관련이 있다.
GSR 변화량은 저전압의 전류를 공급해줬을 때의 두 전극 사이에 전압 측정으로 얻을 수 있으며, tonic(저주파 요소)와 phasic(고주파 요소) 파형으로 나타나고 특히 phasic 성분은 수면 중 체온 조절을 파악하는데 중요한 생리신호이다. 따라서 본 발명에서는 샘플링율을 1000Hz 에서 20 샘플/초로 다운 샘플링시킨 후, Bartlett 창을 이용하여 각각을 구별하고, 연속적으로 콘볼루션한다. Phasic의 성분은 2개의 연속적인 영 교차율(zero-crossing)에 의해 측정할 수 있다. 영 교차율은 0을 기준으로 음(-)에서 양(+)으로 가거나 양(+)에서 음(-)으로 가는 것을 하나의 에폭으로 검출하는 것을 말한다. 3분의 신호 길이에서의 phasic 성분 검출 수는 GSR 센서의 신호로부터 추출한다.
SKT 신호는 구간의 평균값과 표준 편차를 통해 계산한다. 피부는 체온 조절 매커니즘을 통해 열 생산과 열 발산의 밸런스를 유지하며, 이러한 매커니즘은 수면 단계에 영향을 받아 피부 온도와 일시적인 수면 단계는 서로 가깝게 연관되어 있다. 즉 SKT 신호의 평균은 REM 상태일 때가 얕은 수면상태나 깊은 수면상태보다 상대적으로 낮은 값으로 나타나고, 구간 내에서(3분의 신호길이) ANS(자율신경계)의 일시적인 마비로 변이가 상대적으로 크다.
서브셋 발생부(300)는 신호 처리 및 특징 추출부(200)에서 추출된 각 생체신호에 대한 특징점을 기준으로 하여, 서로 다른 조건의 생체신호 조합으로 수면 단계 분류에 필요한 다수의 서브셋을 구성한다. 이때 만들어지는 생체 신호의 조합은 EEG 기반의 생체신호 조합과 PPG 기반의 생체신호 조합으로서, EEG 기반의 생체신호 조합은 EEG, EEG+EOG, EEG+EOG+GSR, EEG+GSR 서브셋이고, PPG 기반의 생체신호 조합은 PPG, PPG+GSR+SKT, PPG+GSR, PPG+SKT, GSR+SKT, GSR, SKT 서브셋이다. 각 신호 내에서도 특징점을 기준으로 하여 다수의 신호가 존재하므로, 예컨대, EEG 신호의 경우 복수의 주파수 대역인 알파, 세타, 감마, 시그마, 베타 대역의 상대적 파워스펙트럼 값의 정규화된 값을 서브셋 조합으로 이용할 수 있다.
이와 같은 서브셋 조합에 선택되는 생체신호는 수면단계 예측 정확도와 생체신호 측정의 편리성에 중점을 두어 구분되는 것이 바람직하다.
서브셋의 기초가 되는 데이터는 가급적 외부적 요인에 영향을 받지 않는 객관적인 데이터인 것이 바람직하다. 예컨대, 상기 서브셋 들은 실험 데이터 셋과 훈련 데이터 셋이 실험한 날짜에 대하여 서로 독립적인 데이터 셋(Day-independent 데이터 셋)으로서, 이 Day-independent 데이터 셋은 한 실험자 내에서 3일 중 하루를 실험 데이터 셋으로 하고, 나머지 2일을 훈련 데이터 셋으로 하여 구성한 실험자-종속(subject-dependent) 데이터 셋과, 한 실험자의 랜덤하게 고른 1일을 실험 데이터 셋으로 하고 그것을 제외한 전체 피실험자의 실험 일수들에 대한 데이터 셋을 훈련 데이터 셋으로 구성한 실험자-독립(subject-independent) 데이터 셋으로 구성된다.
성능 평가부(400)는 서브셋 발생부(300)에서 조합된 각 기반의 생체신호 조합을 2차 선형 분리기(Quadratic linear classfier)를 통하여 수면 단계(REM,LS,DS)를 분류하고, 각 수면단계에 따른 서브셋 조합의 성능 평가를 분석한다. 이 성능 평가부(400)에서는 수면 단계를 예측할 수 있는 실험자-종속 데이터 셋과 실험자-독립 데이터 셋 모두를 동일한 방식으로 성능 평가한다.
상기 2차 선형 분리기는 본 발명에 의해 개발된 툴로서, Bayes's rule에 기반한 2차 선형 분리기(Quadratic linear classifier)이며, 이것은 후부 확률 P(Sy│x)값이 최대인 것을 선별하여 수면 단계 Sy =1,2,3(S1: 깊은 수면, S2: 얕은 수면, S3: REM)를 분류한다. 상기 후부 확률 최대값을 선별하는 수식은 아래의 수학식 1과 같다.
상기 2차 선형 분리기를 보다 상세히 설명하면 다음과 같다.
도 2를 참조하면, 각각의 특징(feature) x1,x2,x3, ..., xn에 대해서 그 각각이 정상 밀도함수(normal density function)라 가정하면, 각각의 밀도 함수는 아래의 수학식 2와 같이 정의할 수 있다.
이것을 베이즈 룰(Bayes rule)에 따라서 MAP(Maximum A Posterior) 판별함수(discriminate function)를 나타내면, 아래의 수학식 3과 같이 정의되며,
여기서 상수항을 제거하면, (2π)n/2, 1/p(x)는 없어도 되므로, 아래의 수학식 4와 같이 재정의될 수 있다.
상기 수학식 4에 자연 로그를 취해주면 지수항이 사라지고 아래의 수학식 5로 나타낼 수 있다.
따라서 이와 같은 2차 선형 분리기를 이용하는 경우 도 2에 도시된 바와 같은 과정을 통해 각각의 특징들로부터 수면 단계를 간단히 분류해낼 수 있게 된다.
여기서 x1,x2,x3, ..., xn은 특징이고 이것은 multivariate normal density 구조를 가지고 있다고 가정(수학식 2)하는 경우, 2차 방정식의 기본 구조는 로 나타낼 수 있고, 판별함수와 비교해보면, 이므로 수학식 5와 같은 결과를 나타낼 수 있게 된다.
생체 신호 |
특징명 |
수면 단계 | ANOVA p 값 |
post hoc multiple comparison not significant | ||
NREM | REM [mean±SD] |
|||||
깊은수면상태 [mean±SD] |
얕은수면상태 [mean±SD] |
|||||
EEG |
Delta | 0.8335±0.08541 | 0.5165±0.131 | 0.4294±0.0962 | <0.05 | |
Theta | 0.3538±0.1498 | 0.5160±0.1592 | 0.712±0.1363 | <0.05 | ||
Alpha | 0.2776±0.1024 | 0.5055±0.1277 | 0.6261±0.1473 | <0.05 | ||
Sigma | 0.4093±0.1560 | 0.6768±0.1739 | 0.3721±0.0956 | <0.05 | ||
Beta | 0.3349±0.0509 | 0.4975±0.1256 | 0.7994±0.0898 | <0.05 | ||
EOG | power | (-)0.0161±0.1283 | (-)0.0223±0.1411 | 0.0553±0.1850 | <0.05 | 얕은수면, 깊은수면 |
PPG |
meanHR | 0.5779±0.1352 | 0.5278±0.1782 | 0.3537±0.1754 | <0.05 | |
SDNN | 0.4202±0.1399 | 0.5674±0.1937 | 0.6212±0.1701 | <0.05 | ||
RMSSD | 0.5227±0.1725 | 0.5489±0.1901 | 0.4746±0.2135 | <0.05 | 얕은수면, 깊은수면 | |
NN50 | 0.5506±0.1735 | 0.5425±0.1817 | 0.4191±0.2026 | <0.05 | 얕은수면, 깊은수면 | |
SD1 | 0.5867±0.174 | 0.503±0.2115 | 0.4166±0.2018 | <0.05 | ||
SD2 | 0.4133±0.1740 | 0.4970±0.2115 | 0.5834±0.2018 | <0.05 | ||
LF/HF | 0.3965±0.1062 | 0.531±0.1769 | 0.6227±0.1599 | <0.05 | ||
power | 0.4497±0.1247 | 0.5739±0.1746 | 0.6152±0.1741 | <0.05 | ||
HF(nu) | 0.7029±0.1596 | 0.5171±0.2074 | 0.3979±0.1516 | <0.05 | ||
LF(nu) | 0.2971±0.1596 | 0.4829±0.2074 | 0.6021±0.1516 | <0.05 | ||
GSR | phasic | 0.6861±0.1708 | 0.5446±0.1392 | 0.474±0.0845 | <0.05 | |
SKT | mean | 0.5836±0.1695 | 0.5115±0.1778 | 0.3757±0.2158 | <0.05 | |
SD | 0.4417±0.1187 | 0.5318±0.1636 | 0.6076±0.1814 | <0.05 |
위의 표 1은 본 발명에 의한 수면단계 분류 시스템을 이용하여 실험자로부터 취득한 각 생체신호에서 추출된 특징값들을 3가지 수면 단계에 따라 one-way analysis of variance(ANOVA) 분석을 수행하여 그 결과값을 기록한 테이블이고, 도 3은 2차 선형 분리기를 이용한 실험자-종속 데이터 셋을 평가한 결과를 예시한 그래프로서, 실험자-종속 데이터 셋에 관련한 결과에서는 모든 데이터가 3번의 독립적인 훈련 데이터 셋을 생성했고, 나머지 데이터는 검증하는데에 사용되었다. EEG 기반 수면 단계 예측 결과는 85% 이상의 정확도를 나타내고 있으며, PPG/GSR/SKT 조합이 80% 이상의 정확도를 나타내고 있고, 나머지 생체신호 조합은 80% 이상의 정확도를 나타내고 있음을 알 수 있다.
도 4는 2차 선형 분리기를 이용한 실험자-독립 데이터 셋을 평가한 결과를 예시한 그래프로서, EEG 기반 결과는 87% 이상의 결과를 나타내고 있으며, 실험자-종속 데이터 셋과 비교해볼 때 상대적으로 높은 정확도와 낮은 SD를 나타내고 있으나, PPG, GSR, 및 SKT를 이용한 수면 단계 평가에서는 실험자-종속 데이터 셋에 비해 상대적으로 낮은 정확도를 나타내고 있음을 알 수 있다.
***** 퍼지 추론에 의한 선택적, 보충적인 정확도 향상 *****
한편, 본 발명에 따른 수면단계 분류 시스템은, 선택적으로 퍼지이론에 의한 분석을 보충시킴으로써 정확도를 더욱 향상시킬 수 있다. 도 5a는 본 발명의 일실시예로서 2차 선형 분리기를 이용한 성능평가부(400) 외에 서브셋 발생부로부터 별도의 생체 데이터에 관한 서브셋을 입력받아 수면단계를 분석하는 유전자-퍼지 최적화부(500)를 도시한 블록도이고, 도 5b는 유전자-퍼지 알고리즘을 이용한 수면단계분류의 개인별 최적화 과정을 도시한 블록도이다.
퍼지-유전자 최적화 부(500)는 Mamdani라고 불리우는 Fuzzy logic control의 공통 유형이 퍼지 추론 알고리즘에 적용됐다. 이 시스템은 Xi의 복수개의 입력 셋과 출력 셋 Y, 그리고 퍼지 알고리즘이 적용되는 j로 구성되어 있다.
도 6은 일실시예에 있어서, 유전자-퍼지 최적화부(500)에 입력되는 서브셋 신호가 가장 간단한 경우를 나타낸 것으로서, 'EEG 신호의 델타, 세타, 알파, 시그마, 베타 신호의 각 대역의 파워 스펙트럼에 대한 상대적인 파워값을 정규화시킨 상태'를 예시하는 도면이고, 도 6(e)는 R-K법칙에 의한 수면단계를 분류한 그래프이다. EEG 신호의 각 대역의 신호는 델타, 세타, 알파, 시그마, 베타 신호로 구분되는 각 대역에서의 상대적인 파워를 각 대역의 파워/전체 파워로 계산하고, 전체 파워는 각 대역에서 매 개 대역의 합을 계산하여 각 대역의 파워 스펙트럼을 취득함으로써 얻어진다.
따라서, 일실시예에 있어서, 이 시스템은 Xi의 5개의 입력 셋과 출력 셋이 Y, 그리고 퍼지 알고리즘이 적용되는 j로 구성될 수 있다. Y 는 일반적인 출력을 나타내고 깨어있는 상태(WA), 얕은 수면(LS), 깊은 수면(DS), REM으로 분류된다. 입력 셋인 Xi는 2개의 퍼지 데이터 셋인 높은 구간인 와 낮은 구간인 로 나뉘고, 입력 벡터 는 멤버쉽 함수를 통하여 와 로 변환된다. 퍼지 추론 알고리즘의 입력 셋은 수학식 7 같이 표현된다.
와 의 멤버쉽 함수로 나뉜 것은 셋 안에서 을 일반화시키고, 이것은 입력 범위가 -1과 1사이이고 출력 범위는 0과 1로 선정되어 적절한 멤버쉽 인 지도로 나타나게 되어 입력 데이터 셋인 와 관련이 있다. 멤버쉽 함수의 등급을 구하는 수식은 수학식 8과 같다.
와 이 상대적으로 각각 낮은 구간과 높은 구간을 의미하는 반면에, 는 낮은 구간에서 높은 구간 사이에서 변화가 되는 구간의 경계선을 나타낸다. , , 의 행렬은 각 구간에서의 멤버쉽 함수로 셋팅됐다.
는 앞 부분의 입력 단 에서 또는 중 하나와 연관되어 있고, 는 뒷 부분의 수면 단계를 판별하는 단계인 Y의 분할(WA, REM, 얕은 수면, 깊은 수면) 중 하나를 나타낸다. 앞 단의 가 의미하는 신호의 개수(알파, 베타, 세타, 감마, 시그마)의 발생 경우인 이고, 각각의 룰은 퍼지의 출력을 결정할 수 있는 룰이 되고, 룰을 선정하는 과정이 training과 추론을 통해서이다. 출력 셋에 할당된 각각의 법칙과 퍼지 법칙 셋의 일반화는 퍼지의 inference system으로 결정된다.
적절한 퍼지 추론 알고리즘 적용 후, 각 추론 알고리즘의 선행 파트는 결과 파트의 재정의된 퍼지 셋과의 퍼지 결합에 의해 계산된다. 각 추론 알고리즘의 선행 파트가 계산되면, 퍼지의 disjunction은 결과 집계로 계산된다. 이러한 실행은 수학식 10과 같은 방식으로 계산된다.
여기서 u(y)는 각 법칙들에 의해 나타내는 출력 변수들과 단일 퍼지 셋과 결합된 총 집합의 결과를 의미한다.
퍼지 추론 알고리즘의 crisp output은 u(y)의 defuzzification에 의해 평가된다. 본 발명에서는 모든 local 멤버쉽 함수의 최대값들의 평균값을 나타내는 최대값의 중앙값을 defuzzification하는 방법으로 수행하였다. 일실시예에 있어서, 수명 단계는 crisp 출력 값이 1로 표시될 땐, 각성 상태이고, 2로 표시될 땐, 급속안구운동(REM) 상태, 3으로 표시될 땐, 얕은 수면, 4로 표시될 땐, 깊은 수면으로 결정될 수 있다.
도 5a에 도시된 바와 같이, 생체신호의 복수의 서브셋을 입력받은 유전자-퍼지 최적화부(500)는 퍼지 추론 알고리즘을 거쳐 defuzzification하여 수면단계를 출력하고, 비교부(600)에서 유전자-퍼지 최적화부(500)에서 분석된 수면단계와 성능평가부(400)에서 분석된 수면단계가 비교된다. 비교부(600)는 유전자-퍼지 최적화부(500)에서 분석된 수면단계와 성능평가부(400)에서 분석된 수면단계가 동일한지 여부를 판단하여 표시함으로써 사용자로 하여금 정확도를 판가름하는데 도움을 준다.
한편, 퍼지 추론 알고리즘을 구성함에 있어서는, 멤버쉽 함수의 grade를 찾는 것과 주어진 조건 하에서 안정적으로 수행되는 퍼지 추론 알고리즘 셋을 표현하는 것이 문제된다. 이 문제점을 해결하기 위하여는, membership function의 행렬 파라미터와 퍼지 추론 알고리즘 셋을 결정하기 위한 유전자구조를 구성해야 한다.
퍼지-유전자 알고리즘에 적용되는 유전자의 구조는 멤버쉽함수의 C의 등급과 S 퍼지 추론 알고리즘 셋을 정의하는 2진 시퀀스로 구성되어 있다. C는 수학식 11과 같이 표현된다.
시퀀스 S의 퍼지 추론 알고리즘 셋은 수학식 13과 같이 표현된다.
퍼지-유전자 최적화부(500)의 성공적 일반화를 고려함에 있어서 가장 중요한 것 중 하나는 적합성 기능이다. 시스템의 구성은 목표로 하는 수면 단계 값에 어울려야 한다. 본 연구에서는 4개의 수면 단계에 대한 평균 오차율을 위한 적합성 기능을 고려하였다. 평균 오차율을 위한 적합성 기능 수식은 수학식 14와 같다.
TP는 정확하게 측정된 수면 단계의 개수를 의미하고, N은 수면 단계의 길이를 나타낸다. K=1,2,3, 또는 4는 각각의 수면 단계인 WA, REM, SS(얕은 수면), DS(깊은 수면)를 표시한다.
퍼지-유전자 최적화부(500)의 유전자구조는 20, 50 크기의 population size를 생성하는 알고리즘으로써,
본 발명에서는 전형적인 선택 방법과 roulette wheel 선택법을 사용했다. Roulette wheel 선택에서, 유전자는 직접적으로 적합성에 비례하는 선택된 것들에 확률성을 가진다. 2개의 유전자가 이러한 확률성에 기반하여 무작위로 선택된 다음, offspring을 생산한다.
분산 기능(scatter function)에서 유전자 알고리즘의 교차율은 0.8이다. 이것은 첫 번째 부모 유전자 에서 획득한 '1'과 두 번째 부모 유전자로부터 획득한 '0'으로 무작위적인 2진 벡터를 생성했다. 그리고 여기서 얻어진 염색체는 새로운 세대인 유전자와의 형식을 조합했다. 가우시안 분포 (Gaussian distribution)로부터 선택된 가우시안 변형이 부모 염색체를 변형 시키는 데 적용됐다. 분포된 표준 편차에 비례한 돌연 변이의 정도는 각 새로운 세대에서 선형적으로 감소하여 최종적으로는 마지막 단계인 0에 다다랐다.
염색체 표현에서, 는 5비트로 인코딩 되었고, 는 75비트로 나타났고, C는 5개의 입력 셋이다. 의 입력을 가지는 의 입력 셋 당 2개의 퍼지 추론 알고리즘 셋의 가정에 기반하여, 확률 법칙이 생기고, 이러한 각각의 법칙은 과 에 의해 표현되는 출력 변수들 중 하나에 할당된다. 그리고나서, 에 의해 개의 확률적인 법칙으로부터의 퍼지 추론 알고리즘 셋은 정정된다. 결과적으로, 염색체는 171 비트로 표현되고, 그것은 최적화된 membership function(75비트)와 퍼지추론 알고리즘 선택(96비트)에 의해서이다.
도 7은 연속되는 수면 단계에서의 5개의 주파수 대역(알파, 세타, 감마, 시그마, 베타)의 상대적 파워 스펙트럼 값을 정규화시켜 개별적으로 비교한 차이점을 나타낸 그래프로서, 피실험자 개개인마다의 차이점은 REM 단계에서의 델타와 알파 대역, 깊은 수면단계에서의 세타 대역, 각성 상태에서의 알파와 베타 대역, 얕은 수면 단계에서의 시그마 대역으로 나타나는 것을 알 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 생체신호 검출부 110,120 : EEG 센서
130 : EOG 센서 140 : EMG 센서
150 : PPG 센서 160 : GSR 센서
170 : SKT 센서 200 : 신호 처리 및 특징 추출부
300 : 서브셋 발생부 400 : 성능 평가부
500 : 유전자-퍼지 최적화부 600 : 비교부
130 : EOG 센서 140 : EMG 센서
150 : PPG 센서 160 : GSR 센서
170 : SKT 센서 200 : 신호 처리 및 특징 추출부
300 : 서브셋 발생부 400 : 성능 평가부
500 : 유전자-퍼지 최적화부 600 : 비교부
Claims (31)
- 생체신호 측정용 센서를 이용하여 서로 다른 채널을 통해 다양한 생체 신호를 획득하는 생체신호 검출부;
상기 생체신호 검출부에서 각 채널을 통해 획득된 다양한 생체신호를 각 생체신호의 특징 추출에 적합한 방법으로 신호 처리를 실시하여 각각의 생체신호로부터 각 생체신호의 특징을 나타내는 특징점을 추출하는 신호 처리 및 특징 추출부;
상기 신호 처리 및 특징 추출부의 각 생체신호에 대한 특징점을 기준으로 하나 이상의 생체신호 조합을 생성하는 서브셋 발생부;
상기 서브셋 발생부에서 조합된 생체신호 조합을 2차 선형 분리기를 통하여 수면단계(REM,LS,DS)를 판별하는 성능 평가부;를 포함하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제1항에 있어서,
상기 생체신호 측정용 센서는 EEG, EOG, EMG, PPG, SKT, GSR 센서 중의 적어도 하나 이상을 포함하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제2항에 있어서,
상기 신호 처리 및 특징 추출부에서,
EEG와 EOG 센서의 검출파형은 스펙트럼 분석을 통하여 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제2항에 있어서,
상기 신호 처리 및 특징 추출부에서,
상기 PPG 센서의 검출파형은 HRV 분석방법을 통하여 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제2항에 있어서,
상기 신호 처리 및 특징 추출부에서,
상기 GSR 센서의 검출파형은 phasic 분석을 통해 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제2항에 있어서,
상기 신호 처리 및 특징 추출부에서,
상기 SKT 센서의 검출파형은 평균값과 표준 편차값을 이용하여 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제1항에 있어서,
상기 서브셋 발생부는, 수면단계의 예측 정확도와 생체신호 측정의 편리성에 중점을 두어 생체신호의 서브셋 조합을 발생시키는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제1항에 있어서,
상기 서브셋 발생부는,
EEG, EEG+EOG, EEG+EOG+GSR, EEG+GSR 조합 중 적어도 하나 이상으로 구성된 EEG 기반의 생체신호 조합에 의한 서브셋을 발생시키는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제8항에 있어서,
상기 EEG 조합은 EEG 신호의 복수의 주파수 대역 신호의 조합인 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제9항에 있어서,
상기 EEG 신호의 복수의 주파수 대역 신호는 델타파, 세타파, 알파파, 시그마파, 베타파 중 적어도 둘 이상의 조합인 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제1항에 있어서,
상기 서브셋 발생부는,
PPG, PPG+GSR+SKT, PPG+GSR, PPG+SKT, GSR+SKT 조합 중 적어도 하나 이상으로 구성된 PPG 기반의 생체신호 조합으로 구성된 서브셋을 발생시키는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제1항에 있어서,
상기 서브셋 발생부는,
EEG, EEG+EOG, EEG+EOG+GSR, EEG+GSR, PPG, PPG+GSR+SKT, PPG+GSR, PPG+SKT, GSR+SKT, GSR, SKT로 구분된 서브셋을 조합하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제1항에 있어서,
상기 성능 평가부의 2차 선형 분리기는,
Bayes's rule에 기반한 2차 선형 분리기(Quadratic linear classifier)이며, 이것은 후부 확률 P(Sy│x)값이 최대인 것을 선별하여 수면 단계 Sy =1,2,3(S1: 깊은 수면, S2: 얕은 수면, S3: REM)를 분류하는 것을 특징으로 하는 생체신호 기반 자동 수면 단계 분류 시스템. - 제1항에 있어서,
상기 성능 평가부는,
서로 다른 조건의 생체신호 조합으로 구성된 서브셋을 이용하여 수면단계를 예측할 수 있는 실험자-종속/독립 데이터 셋에 대해 성능을 평가하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제1항 내지 제15항 중 어느 한 항에 있어서,
상기 생체신호 조합으로부터 퍼지 추론을 통하여 수면단계를 판별하는 유전자-퍼지 최적화부; 및
상기 성능 평가부의 판별값과 상기 유전자-퍼지 최적화부의 판별값을 비교하는 비교부;를 더 포함하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 생체신호 측정용 센서를 이용하여 서로 다른 채널을 통해 다양한 생체 신호를 획득하는 생체신호 검출부;
상기 생체신호 검출부에서 각 채널을 통해 획득된 다양한 생체신호를 각 생체신호의 특징 추출에 적합한 방법으로 신호 처리를 실시하여 각각의 생체신호로부터 각 생체신호의 특징을 나타내는 특징점을 추출하는 신호 처리 및 특징 추출부;
상기 신호 처리 및 특징 추출부의 각 생체신호에 대한 특징점을 기준으로 하나 이상의 생체신호 조합을 생성하는 서브셋 발생부;
상기 서브셋 발생부에서 조합된 생체신호 조합을 2차 선형 분리기를 통하여 수면단계(REM,LS,DS)를 판별하는 성능 평가부;
상기 생체신호 조합으로부터 퍼지 추론을 통하여 수면단계를 판별하는 유전자-퍼지 최적화부;
상기 성능 평가부의 판별값과 상기 유전자-퍼지 최적화부의 판별값을 비교하는 비교부;를 포함하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제17항에 있어서,
상기 생체신호 측정용 센서는 EEG, EOG, EMG, PPG, SKT, GSR 센서 중의 적어도 하나 이상을 포함하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제18항에 있어서,
상기 신호 처리 및 특징 추출부에서,
EEG와 EOG 센서의 검출파형은 스펙트럼 분석을 통하여 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제18항에 있어서,
상기 신호 처리 및 특징 추출부에서,
상기 PPG 센서의 검출파형은 HRV 분석방법을 통하여 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제18항에 있어서,
상기 신호 처리 및 특징 추출부에서,
상기 GSR 센서의 검출파형은 phasic 분석을 통해 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제18항에 있어서,
상기 신호 처리 및 특징 추출부에서,
상기 SKT 센서의 검출파형은 평균값과 표준 편차값을 이용하여 생체신호의 특징점을 추출하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제17항에 있어서,
상기 서브셋 발생부는, 수면단계의 예측 정확도와 생체신호 측정의 편리성에 중점을 두어 생체신호의 서브셋 조합을 발생시키는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제17항에 있어서,
상기 서브셋 발생부는,
EEG, EEG+EOG, EEG+EOG+GSR, EEG+GSR 조합 중 적어도 하나 이상으로 구성된 EEG 기반의 생체신호 조합에 의한 서브셋을 발생시키는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제24항에 있어서,
상기 EEG 조합은 EEG 신호의 복수의 주파수 대역 신호의 조합인 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제25항에 있어서,
상기 EEG 신호의 복수의 주파수 대역 신호는 델타파, 세타파, 알파파, 시그마파, 베타파 중 적어도 둘 이상의 조합인 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제17항에 있어서,
상기 서브셋 발생부는,
PPG, PPG+GSR+SKT, PPG+GSR, PPG+SKT, GSR+SKT 조합 중 적어도 하나 이상으로 구성된 PPG 기반의 생체신호 조합으로 구성된 서브셋을 발생시키는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제17항에 있어서,
상기 서브셋 발생부는,
EEG, EEG+EOG, EEG+EOG+GSR, EEG+GSR, PPG, PPG+GSR+SKT, PPG+GSR, PPG+SKT, GSR+SKT, GSR, SKT로 구분된 서브셋을 조합하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템. - 제17항에 있어서,
상기 성능 평가부의 2차 선형 분리기는,
Bayes's rule에 기반한 2차 선형 분리기(Quadratic linear classifier)이며, 이것은 후부 확률 P(Sy│x)값이 최대인 것을 선별하여 수면 단계 Sy =1,2,3(S1: 깊은 수면, S2: 얕은 수면, S3: REM)를 분류하는 것을 특징으로 하는 생체신호 기반 자동 수면 단계 분류 시스템. - 제17항에 있어서,
상기 성능 평가부는,
서로 다른 조건의 생체신호 조합으로 구성된 서브셋을 이용하여 수면단계를 예측할 수 있는 실험자-종속/독립 데이터 셋에 대해 성능을 평가하는 것을 특징으로 하는 생체신호 기반 자동 수면단계 분류시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100074472 | 2010-08-01 | ||
KR20100074472 | 2010-08-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120012364A true KR20120012364A (ko) | 2012-02-10 |
KR101235441B1 KR101235441B1 (ko) | 2013-02-20 |
Family
ID=45559645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100095032A KR101235441B1 (ko) | 2010-08-01 | 2010-09-30 | 생체신호 기반 자동 수면단계 분류시스템 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101235441B1 (ko) |
WO (1) | WO2012018157A1 (ko) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014112824A1 (ko) * | 2013-01-17 | 2014-07-24 | Kang Seung Wan | 생체 정보 측정 장치 및 생체 정보 측정 방법 |
WO2014210588A1 (en) * | 2013-06-28 | 2014-12-31 | North Carolina State University | Systems and methods for determining sleep patterns and circadian rhythms |
US10123735B2 (en) | 2014-12-04 | 2018-11-13 | Samsung Electronics Co., Ltd. | Electronic device for determining sleep state and method of controlling same |
KR20200075711A (ko) * | 2018-12-07 | 2020-06-26 | 이화여자대학교 산학협력단 | 인공지능 수면개선 비침습적 뇌회로 조절치료시스템 및 방법 |
KR20200079676A (ko) * | 2018-12-26 | 2020-07-06 | (주)허니냅스 | 딥러닝 기반의 수면다원 검사장치 및 그 방법 |
KR20210008848A (ko) * | 2015-01-06 | 2021-01-25 | 데이비드 버톤 | 모바일 웨어러블 모니터링 시스템 |
KR20210019273A (ko) * | 2019-08-12 | 2021-02-22 | (주)허니냅스 | 딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 동작 방법 |
KR20210019277A (ko) * | 2019-08-12 | 2021-02-22 | (주)허니냅스 | 딥러닝을 이용한 수면질환 판정 자동화 장치 및 그 동작 방법 |
KR102236420B1 (ko) * | 2020-11-06 | 2021-04-06 | (주)에이아이딥 | 인공지능을 이용한 수면 분석 시스템 및 방법 |
KR20230013301A (ko) * | 2021-07-19 | 2023-01-26 | 이화여자대학교 산학협력단 | 딥러닝 모델을 이용한 수면 단계 예측 방법 및 분석장치 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3917167A3 (en) * | 2013-06-14 | 2022-03-09 | Oticon A/s | A hearing assistance device with brain computer interface |
EP3229661B1 (en) * | 2014-12-11 | 2022-11-30 | Koninklijke Philips N.V. | System and method for determining spectral boundaries for sleep stage classification |
KR102501837B1 (ko) | 2015-11-09 | 2023-02-21 | 삼성전자주식회사 | 신호 특징 추출 방법 및 장치 |
WO2018027141A1 (en) | 2016-08-05 | 2018-02-08 | The Regents Of The University Of Colorado, A Body Corporate | In-ear sensing systems and methods for biological signal monitoring |
CN106709469B (zh) * | 2017-01-03 | 2020-06-23 | 中国科学院苏州生物医学工程技术研究所 | 基于脑电和肌电多特征的自动睡眠分期方法 |
CN107361745B (zh) * | 2017-08-08 | 2021-01-01 | 浙江纽若思医疗科技有限公司 | 一种有监督式睡眠脑电眼电混合信号分期判读方法 |
CN108056770A (zh) * | 2018-02-02 | 2018-05-22 | 合肥芯福传感器技术有限公司 | 一种基于人工智能的心率检测方法 |
CN112568873B (zh) * | 2021-02-25 | 2021-06-08 | 南京畅享医疗科技有限公司 | 一种实时睡眠监测记录与分析方法 |
CN113080966A (zh) * | 2021-03-22 | 2021-07-09 | 华南师范大学 | 一种基于睡眠分期的抑郁症自动检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06311974A (ja) * | 1993-04-28 | 1994-11-08 | Nec San-Ei Instr Co Ltd | 睡眠状態表示方法 |
JP3877615B2 (ja) * | 2002-03-11 | 2007-02-07 | 三洋電機株式会社 | 睡眠深度推定装置 |
US20060293608A1 (en) | 2004-02-27 | 2006-12-28 | Axon Sleep Research Laboratories, Inc. | Device for and method of predicting a user's sleep state |
KR100809041B1 (ko) * | 2006-06-20 | 2008-03-03 | 삼성전자주식회사 | 수면 상태 감지 장치 및 그 방법 |
-
2010
- 2010-09-30 KR KR1020100095032A patent/KR101235441B1/ko active IP Right Grant
- 2010-09-30 WO PCT/KR2010/006703 patent/WO2012018157A1/ko active Application Filing
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101464066B1 (ko) * | 2013-01-17 | 2014-11-20 | 강승완 | 생체 정보 측정 장치 및 생체 정보 측정 방법 |
WO2014112824A1 (ko) * | 2013-01-17 | 2014-07-24 | Kang Seung Wan | 생체 정보 측정 장치 및 생체 정보 측정 방법 |
US11357445B2 (en) | 2013-06-28 | 2022-06-14 | North Carolina State University | Systems and methods for determining sleep patterns and circadian rhythms |
WO2014210588A1 (en) * | 2013-06-28 | 2014-12-31 | North Carolina State University | Systems and methods for determining sleep patterns and circadian rhythms |
US10368798B2 (en) | 2013-06-28 | 2019-08-06 | North Carolina State University | Systems and methods for determining sleep patterns and circadian rhythms |
US10123735B2 (en) | 2014-12-04 | 2018-11-13 | Samsung Electronics Co., Ltd. | Electronic device for determining sleep state and method of controlling same |
KR20210008848A (ko) * | 2015-01-06 | 2021-01-25 | 데이비드 버톤 | 모바일 웨어러블 모니터링 시스템 |
KR20200075711A (ko) * | 2018-12-07 | 2020-06-26 | 이화여자대학교 산학협력단 | 인공지능 수면개선 비침습적 뇌회로 조절치료시스템 및 방법 |
KR20200079676A (ko) * | 2018-12-26 | 2020-07-06 | (주)허니냅스 | 딥러닝 기반의 수면다원 검사장치 및 그 방법 |
KR20210019277A (ko) * | 2019-08-12 | 2021-02-22 | (주)허니냅스 | 딥러닝을 이용한 수면질환 판정 자동화 장치 및 그 동작 방법 |
KR20210019273A (ko) * | 2019-08-12 | 2021-02-22 | (주)허니냅스 | 딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 동작 방법 |
US11464445B2 (en) | 2019-08-12 | 2022-10-11 | Honeynaps Co., Ltd. | Data processing apparatus for automatically determining sleep disorder using deep learning and operation method of the data processing apparatus |
KR102236420B1 (ko) * | 2020-11-06 | 2021-04-06 | (주)에이아이딥 | 인공지능을 이용한 수면 분석 시스템 및 방법 |
KR20230013301A (ko) * | 2021-07-19 | 2023-01-26 | 이화여자대학교 산학협력단 | 딥러닝 모델을 이용한 수면 단계 예측 방법 및 분석장치 |
Also Published As
Publication number | Publication date |
---|---|
KR101235441B1 (ko) | 2013-02-20 |
WO2012018157A1 (ko) | 2012-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101235441B1 (ko) | 생체신호 기반 자동 수면단계 분류시스템 | |
Karthikeyan et al. | Detection of human stress using short-term ECG and HRV signals | |
Xiang et al. | The detection of epileptic seizure signals based on fuzzy entropy | |
Narin et al. | Early prediction of paroxysmal atrial fibrillation based on short-term heart rate variability | |
Orosco et al. | A survey of performance and techniques for automatic epilepsy detection | |
Peker | An efficient sleep scoring system based on EEG signal using complex-valued machine learning algorithms | |
Cai et al. | Study on feature selection methods for depression detection using three-electrode EEG data | |
Yan et al. | Multi-modality of polysomnography signals’ fusion for automatic sleep scoring | |
Tong et al. | Emotion recognition based on photoplethysmogram and electroencephalogram | |
Ranganathan et al. | Estimation of heart rate signals for mental stress assessment using neuro fuzzy technique | |
Schetinin et al. | Classification of newborn EEG maturity with Bayesian averaging over decision trees | |
Takeda et al. | Time-dependent sleep stage transition model based on heart rate variability | |
CN113040788B (zh) | 基于频谱分析的脑电信号质量的检测方法 | |
O'Sullivan et al. | Development of an EEG artefact detection algorithm and its application in grading neonatal hypoxic-ischemic encephalopathy | |
Beiramvand et al. | Mental Workload Assessment using Low-Channel Prefrontal EEG Signals | |
Benchekroun et al. | Comparison of Stress Detection through ECG and PPG signals using a Random Forest-based Algorithm | |
Martínez-Vargas et al. | Detection of obstructive sleep apnoea using dynamic filter-banked features | |
Lopes et al. | Ensemble deep neural network for automatic classification of eeg independent components | |
George et al. | Predicting Autonomic Dysfunction in Anxiety Disorder from ECG and Respiratory Signals Using Machine Learning Models. | |
Lucena et al. | The performance of short-term heart rate variability in the detection of congestive heart failure | |
Leitner et al. | Personalized blood pressure estimation using photoplethysmography and wavelet decomposition | |
US20220059210A1 (en) | Systems, methods, and devices for custom sleep age implementation | |
Guzman et al. | Model for Glycemic Level Detection using Heart Rate Variability in a Mexican Sample | |
Senyukova et al. | Multi-expert evolving system for objective psychophysiological monitoring and fast discovery of effective personalized therapies | |
Orlandic et al. | Wearable and Continuous Prediction of Passage of Time Perception for Monitoring Mental Health |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160104 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170103 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180102 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190523 Year of fee payment: 7 |