KR102076759B1 - 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치 - Google Patents

심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치 Download PDF

Info

Publication number
KR102076759B1
KR102076759B1 KR1020180032036A KR20180032036A KR102076759B1 KR 102076759 B1 KR102076759 B1 KR 102076759B1 KR 1020180032036 A KR1020180032036 A KR 1020180032036A KR 20180032036 A KR20180032036 A KR 20180032036A KR 102076759 B1 KR102076759 B1 KR 102076759B1
Authority
KR
South Korea
Prior art keywords
sleep
wake
feature
rem
nrem
Prior art date
Application number
KR1020180032036A
Other languages
English (en)
Other versions
KR20190110276A (ko
Inventor
장준혁
정구영
송광섭
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020180032036A priority Critical patent/KR102076759B1/ko
Publication of KR20190110276A publication Critical patent/KR20190110276A/ko
Application granted granted Critical
Publication of KR102076759B1 publication Critical patent/KR102076759B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치가 제시된다. 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법은, 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하는 단계; 상기 수면 시간 동안 상기 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 단계; 상기 레이더 신호 특징 및 상기 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계; 및 상기 수면 단계 결정 파라미터를 이용하여 웨이크 및 슬립 클래스를 결정한 다음, 상기 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정하는 단계를 포함하여 이루어질 수 있다.

Description

심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치{MULTI-SENSOR BASED NONCONTACT SLEEP MONITORING METHOD AND APPARATUS USING ENSEMBLE OF DEEP NEURAL NETWORK AND RANDOM FOREST}
아래의 실시예들은 비접촉식 수면 단계 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치에 관한 것이다.
수면 단계 검출 기술은 사용자로부터 추출된 수면 관련 신호들을 기반으로 웨이크(wake), NREM(Non-Rapid Eye Movement) 수면 또는 REM(Rapid Eye Movement) 수면을 검출함으로써 사용자의 건강 상태를 파악하는 데에 필수적인 기술이다. 수면 단계 검출의 황금 레퍼런스라고 불리는 수면 다원 검사(PolySomnoGraphy, PSG)는 가정 환경이 아닌 병원 환경에서 수많은 센서들을 사용자에게 부착한 상태로 수면을 취해야 하고, 수면 단계를 확인하기 위해 훈련된 수면기사와 전문의의 검증을 받아야 하는 복잡한 과정을 거치게 된다.
이러한 복잡함을 보완하고 사용자들에게 다가가기 위해 최근에는 레이더와 같은 비접촉식 센서들을 기반으로 수면 단계를 검출하기 위한 사물인터넷(Internet-of-Things, IoT) 디바이스들이 출시되고 있다.
하지만 기존에 출시된 디바이스들에 대한 선행연구를 분석한 결과 발견된 오점은 전문의나 수면기사가 검증하지 않은 레퍼런스들을 기반으로 설계를 했다는 점과, 실험에 투입된 사용자들은 정작 이 장비가 필요한 수면 이상 환자들이 아닌 건강한 사람들이 대부분이었다는 사실이다. 또한, 기존에 출시된 디바이스들은 환자들의 건강과 직접적인 영향이 큰 NREM 수면과 REM 수면의 검출 능력이 저조하다.
수면 단계 검출 기술은 다양한 센서들을 기반으로 수면 연관 신호들을 추출하여 30초 단위로 수면 단계를 분류한다. 이는 수면의 질을 확인하기 위한 기술의 필수적인 요소이다. 하지만 기존의 수면 단계 검출 장비는 값이 너무 비싸거나 수면의 질을 떨어뜨리는 부착식 센서들을 사용하며, 또한 신뢰가 가지 않는 데이터를 기반으로 설계되었다. 따라서 저비용으로 높은 성능을 얻을 수 있고 수면의 질을 떨어뜨리지 않는 검출 기술이 필요하다.
종래에 사용된 알고리즘은 병원에서 검사된 수면 이상 환자들의 데이터베이스를 기반으로 두 개의 랜덤 포레스트(random forest) 머신을 설계하여 수면 단계를 검출했다. 그러나 수면건강에 매우 중요한 요소인 NREM 수면 및 REM 수면의 검출 성능이 비교적 낮다는 한계가 있다.
한국공개특허 특2003-0066632호는 이러한 신경망을 이용한 ＣＰＡＰ용 방법 및 장치에 관한 것으로, 심화신경망을 이용하여 수면 중에 일어날 수 있는 호흡 장애를 검출 및 치료하기 위한 기술을 기재하고 있다.
한국공개특허 특2003-0066632호
실시예들은 비접촉식 수면 단계 검출 방법 및 장치에 관하여 기술하며, 보다 구체적으로 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치를 제공한다.
실시예들은 연속파 도플러 레이더 센서를 주축으로 사용하여 수면과 관련된 움직임, 호흡, 심장박동 등과 관련 특징들을 추출한 뒤 수면 단계 분류를 위해 앙상블 구조의 랜덤 포레스트 분류기와 깊은 구조 머신러닝 기법인 심화신경망을 도입하고, 마이크로폰 센서를 보조 센서로 사용하여 상황인지기술을 적용함으로써, 수면 단계 검출 성능을 향상시킬 수 있는 비접촉식 수면 단계 검출 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법은, 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하는 단계; 상기 수면 시간 동안 상기 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 단계; 상기 레이더 신호 특징 및 상기 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계; 및 상기 수면 단계 결정 파라미터를 이용하여 웨이크(wake) 및 슬립(sleep) 클래스를 결정한 다음, 상기 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정하는 단계를 포함하여 이루어질 수 있다.
상기 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하는 단계는, 상기 레이더 신호를 프레임화 하여 하나의 프레임당 52 개의 특징 벡터들을 추출하는 단계; 및 상기 사용자의 웨이크(wake) 상태를 나타내는 움직임 및 부재를 검출하는 사용자의 움직임 및 부재 특징 벡터를 추출하는 단계를 포함할 수 있다.
상기 수면 시간 동안 상기 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 단계는, 상기 오디오 신호를 통해 코골이 신호로부터 코골이 이벤트 개수를 검출하고, 호흡신호로부터 사이클 강도(Cycle Intensity, CI) 특징을 추출할 수 있다.
상기 심화신경망과 상기 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계는, 상기 레이더 신호 특징으로부터 통계적, 수학적 특징 벡터들을 선별하여 심화신경망 분류기와 랜덤 포레스트 분류기의 앙상블 구조를 비접촉식 수면 단계 검출에 적용할 수 있다.
상기 심화신경망과 상기 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계는, 상기 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하는 단계; 상기 특징 정규화를 거친 특징 벡터를 학습된 웨이크 및 슬립 심화신경망 분류기를 통과시키고, 웨이크 및 슬립 확률비를 산정하는 단계; 상기 웨이크 및 슬립 확률비를 기반으로 웨이크 및 슬립 개별 조절 문턱값(personal-adjusted threshold)을 생성하는 단계; 상기 오디오 신호를 통해 획득된 코골이 이벤트 개수 기반의 상황인지기술을 적용하여 웨이크 및 슬립 클래스 검출 성능을 향상시키는 단계; 상기 슬립(sleep) 클래스로 결정된 프레임들을 대상으로 상기 특징 선택을 거친 특징 벡터를 학습된 NREM 및 REM 랜덤 포레스트 분류기에 통과시키고, NREM 및 REM 확률비를 산정하는 단계; 및 상기 NREM 및 REM 확률비와 전문의의 의학적 지식을 기반으로 설계된 두 개의 NREM 및 REM 개별 조절 문턱값을 생성하는 단계를 포함할 수 있다.
상기 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하는 단계는, 웨이크 및 슬립 분류를 위해, 상기 레이더 신호 특징으로부터 웨이크 및 슬립 클래스에 대한 분포 분석결과 선별된 특징 벡터들을 선별하며, 부트스트랩(bootstrap) 방식으로 데이터를 증폭시켜 의사 데이터(pseudo data)를 생성하여 웨이크 및 슬립 심화신경망을 학습시킴에 따라 상기 학습된 웨이크 및 슬립 심화신경망 분류기가 구성될 수 있다.
상기 최종 수면 단계를 결정하는 단계는, 상기 웨이크 및 슬립 확률비를 상기 웨이크 및 슬립 개별 조절 문턱값과 비교하여 웨이크 및 슬립 클래스를 분류하는 단계; 상기 오디오 신호를 통해 검출된 코골이 이벤트 개수와 사용자의 움직임 및 부재 특징 벡터를 통해 분류된 상기 웨이크 및 슬립 클래스를 보정하는 단계; 및 상기 슬립(sleep) 클래스로 결정된 프레임에 대해 상기 NREM 및 REM 확률비를 상기 NREM 및 REM 개별 조절 문턱값과 비교하여 NREM 및 REM 클래스를 분류하는 단계를 포함할 수 있다.
상기 최종 수면 단계를 결정하는 단계는, 후처리 단계를 더 포함하고, 상기 후처리 단계는, 상기 오디오 신호를 통해 검출된 호흡신호 기반의 사이클 강도(CI)와 코골이 신호 기반의 코골이 이벤트 개수 특징을 기반으로 상황인지기술을 적용하여 웨이크(wake) 검출 성능을 향상시키는 단계; 및 REM의 오류검출을 방지하기 위해 설계된 REM 보정 알고리즘을 통과시켜 최종 NREM 클래스와 REM 클래스를 결정하는 단계를 포함할 수 있다.
다른 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치는, 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하고, 상기 수면 시간 동안 상기 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 특징 추출부; 상기 레이더 신호 특징 및 상기 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 수면 단계 결정 파라미터 추출부; 및 상기 수면 단계 결정 파라미터를 이용하여 웨이크 및 슬립 클래스를 결정한 다음, 상기 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정하는 수면 단계 결정부를 포함하여 이루어질 수 있다.
상기 특징 추출부는, 상기 레이더 신호를 프레임화 하여 하나의 프레임당 52 개의 특징 벡터들을 추출하고, 상기 사용자의 웨이크(wake) 상태를 나타내는 움직임 및 부재를 검출하는 사용자의 움직임 및 부재 특징 벡터를 추출할 수 있다.
상기 특징 추출부는, 상기 오디오 신호를 통해 코골이 신호로부터 코골이 이벤트 개수를 검출하고, 호흡신호로부터 사이클 강도(Cycle Intensity, CI) 특징을 추출할 수 있다.
상기 수면 단계 결정 파라미터 추출부는, 상기 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하여, 상기 특징 정규화를 거친 특징 벡터를 학습된 웨이크 및 슬립 심화신경망 분류기를 통과시키고, 웨이크 및 슬립 확률비를 산정하는 웨이크 및 슬립 심화신경망 분류기; 상기 슬립(sleep) 클래스로 결정된 프레임들을 대상으로 상기 특징 선택을 거친 특징 벡터를 학습된 NREM 및 REM 랜덤 포레스트 분류기에 통과시키고, NREM 및 REM 확률비를 산정하는 NREM 및 REM 랜덤 포레스트 분류기; 및 상기 웨이크 및 슬립 확률비를 기반으로 웨이크 및 슬립 개별 조절 문턱값을 생성하고, 상기 NREM 및 REM 확률비와 전문의의 의학적 지식을 기반으로 설계된 두 개의 NREM 및 REM 개별 조절 문턱값을 생성하는 개별 조절 문턱값 생성부를 포함할 수 있다.
상기 수면 단계 결정 파라미터 추출부는, 웨이크 및 슬립 분류를 위해, 상기 레이더 신호 특징으로부터 웨이크 및 슬립 클래스에 대한 분포 분석결과 선별된 특징 벡터들을 선별하며, 부트스트랩(bootstrap) 방식으로 데이터를 증폭시켜 의사 데이터(pseudo data)를 생성하는 의사 특징 생성부; 상기 의사 데이터를 이용하여 웨이크 및 슬립 심화신경망을 학습시켜 상기 학습된 웨이크 및 슬립 심화신경망 분류기로 정보를 전달하는 웨이크 및 슬립 심화신경망 학습부; 및 상기 레이더 신호 특징에 대해 상기 특징 선택을 거친 특징 벡터를 이용하여 NREM 및 REM 랜덤 포레스트 학습시켜 상기 학습된 NREM 및 REM 랜덤 포레스트 분류기로 정보를 전달하는 NREM 및 REM 랜덤 포레스트 학습부를 포함할 수 있다.
상기 수면 단계 결정부는, 상기 웨이크 및 슬립 확률비를 상기 웨이크 및 슬립 개별 조절 문턱값과 비교하여 웨이크 및 슬립 클래스를 분류하고, 상기 오디오 신호를 통해 검출된 코골이 이벤트 개수와 사용자의 움직임 및 부재 특징 벡터를 통해 분류된 상기 웨이크 및 슬립 클래스를 보정하는 웨이크 및 슬립 결정부; 및 상기 슬립(sleep) 클래스로 결정된 프레임에 대해 상기 NREM 및 REM 확률비를 상기 NREM 및 REM 개별 조절 문턱값과 비교하여 NREM 및 REM 클래스를 분류하는 NREM 및 REM 결정부를 포함할 수 있다.
상기 수면 단계 결정부는, 후처리부를 더 포함하고, 상기 후처리부는, 상기 오디오 신호를 통해 검출된 호흡신호 기반의 사이클 강도(CI)와 코골이 신호 기반의 코골이 이벤트 개수 특징을 기반으로 상황인지기술을 적용하여 웨이크(wake) 검출 성능을 향상시키며, REM의 오류검출을 방지하기 위해 설계된 REM 보정 알고리즘을 통과시켜 최종 NREM 클래스와 REM 클래스를 결정할 수 있다.
실시예들에 따르면 연속파 도플러 레이더 센서를 주축으로 사용하여 수면과 관련된 움직임, 호흡, 심장박동 등과 관련 특징들을 추출한 뒤 수면 단계 분류를 위해 앙상블 구조의 랜덤 포레스트 분류기와 깊은 구조 머신러닝 기법인 심화신경망을 도입하고 마이크로폰 센서를 보조 센서로 사용하여 상황인지기술을 적용함으로써, 수면 단계 검출 성능을 향상시킬 수 있다.
도 1은 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치를 개략적으로 나타내는 블록도이다.
도 3은 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법을 나타내는 흐름도이다.
도 4a는 일 실시예에 따른 분류기로부터 출력된 확률비의 예시를 나타내는 도면이다.
도 4b는 일 실시예에 따른 개별 조절 문턱값의 예시를 나타내는 도면이다.
도 5는 일 실시예에 따른 웨이크 및 슬립 클래스에 대하여 코골이 이벤트 개수 분포를 나타내는 도면이다.
도 6은 일 실시예에 따른 사용자의 움직임 관련 특징을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 상황인지기술 기반 후처리의 웨이크 검출 성능을 설명하기 위한 도면이다.
도 8a 내지 도 8c는 일 실시예에 따른 REM 보정 후처리의 효과를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 비접촉식 수면 단계 검출 기술에 관한 것으로, 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치에 관한 것이다.
실시예들은 연속파 도플러 레이더(Continuous Wave Doppler Radar) 센서를 주축으로 사용하여 수면과 관련된 움직임, 호흡, 심장박동 등과 관련 특징들을 추출한 뒤 수면 단계 분류를 위해 앙상블 구조의 랜덤 포레스트(random forest) 분류기와 깊은 구조 머신러닝 기법인 심화신경망(Deep Neural Network, DNN)을 도입하고, 마이크로폰(microphone) 센서를 보조 센서로 사용하여 상황인지기술을 적용하여 수면 단계 검출 성능을 향상시킬 수 있다.
또한, 실시예들은 전문의의 의학지식과 통계적인 지식을 알고리즘 설계에 적용하여 수면 단계 검출 성능을 향상시킬 수 있으며, 의학적 용도로 상용화를 위해 한양대학교 병원으로부터 받은 수면 이상 환자들에 대한 데이터베이스를 기반으로 랜덤 포레스트 분류기를 설계하였다.
본 실시예들의 스마트 의료기기로써 상용화를 위해, 한양대학교 병원에서 수면 다원 검사를 진행한 수면 이상 환자들의 데이터를 전문의로부터 검증 받아 이를 기반으로 알고리즘을 설계할 수 잇다. 또한, 두 개의 랜덤 포레스트 모델을 기반으로 수면 단계를 검출한 종래기술의 한계점인, 저조한 NREM 및 REM 수면의 검출성능을 보완하기 위해 심화신경망과 랜덤 포레스트 머신의 앙상블을 적용하여 NREM 및 REM 수면 검출 성능을 고도화할 수 있다.
도 1은 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치는 제어부(120)를 포함하여 구성될 수 있다. 실시예에 따라 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치는 입력부(110) 및 메모리를 더 포함하여 구성될 수 있다.
입력부(110)는 제어부(120)에 대하여 소정의 입력 데이터를 전송하는 부분으로서, 예를 들어, 마이크로폰 등과 같이 소리를 전기 신호로 변환하는 입력 수단을 포함할 수 있다. 예를 들어, 입력부(110)에 제공되는 음성 데이터(즉, 주변 잡음에 의해 오염된 음성 신호)는 제어부(120)에 제공될 수 있다.
제어부(120)는 입력부(110)와 전기적으로 연결될 수 있다. 이러한 제어부(120)는 학습 과정을 통하여 최적화된 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출을 수행하는 부분으로, 소정의 연산 속도를 갖는 연산 유닛을 포함할 수 있다. 예를 들어, 제어부(120)는 CPU(central processing unit), GPU(graphical processing unit) 등과 같은 연산 유닛을 포함할 수 있다.
또한, 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치는 제어부(120)의 소정의 프로세스에 필요한 데이터를 저장하기 위한 메모리를 더 포함할 수 있다.
도 2는 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치를 개략적으로 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치(200)는 학습 단계(210) 및 테스트 단계(220)를 포함할 수 있다.
학습 단계(210)에서는 전처리부(211)에서 연속파 레이더 신호를 전처리하며, 레이더 특징 추출부(212)에서 추출된 레이더 신호 특징을 의사 특징 생성부(213)에서 데이터를 증폭시켜 웨이크(wake) 및 슬립(sleep) 심화신경망 학습부(214)를 학습시킬 수 있다. 또한, 레이더 특징 추출부(212)에서 추출된 레이더 신호 특징을 이용하여 NREM 및 REM 랜덤 포레스트 학습부(215)를 학습시킬 수 있다.
테스트 단계(220)에서는 전처리부(221)에서 연속파 레이더 신호 및 오디오 신호를 전처리하며, 레이더 특징 추출부(222)에서 추출된 특징을 이용하여 웨이크 및 슬립 심화신경망 분류기(223)를 통과시키고, NREM 및 REM 랜덤 포레스트 분류기(224)를 통과시킬 수 있다. 여기서, 웨이크 및 슬립 심화신경망 분류기(223)는 학습 단계(210)의 웨이크 및 슬립 심화신경망 학습부(214)로부터 학습된 분류기를 나타내며, NREM 및 REM 랜덤 포레스트 분류기(224)는 학습 단계(210)의 NREM 및 REM 랜덤 포레스트 학습부(215)로부터 학습된 분류기를 나타낼 수 있다.
개별 조절 문턱값 생성부(225)에서는 웨이크 및 슬립 심화신경망 분류기(223)와 NREM 및 REM 랜덤 포레스트 분류기(224)로부터 각각 웨이크 및 슬립 개별 조절 문턱값(personal-adjusted threshold) 및 NREM 및 REM 개별 조절 문턱값이 산정되며, 이를 이용하여 웨이크 및 슬립 결정부(226)에서 웨이크 및 슬립이 결정되고, 슬립(sleep)인 경우에 대해 NREM 및 REM 결정부(227)에서 NREM 및 REM를 결정하고, 후처리부(228)에서 후처리를 수행함으로써 수면 단계(230)를 비접촉식으로 검출할 수 있다. 한편, 학습 단계(210)의 구성은 테스트 단계(220)의 구성과 동일하거나 별도로 구성될 수 있으며, 예컨대 학습 단계(210)의 전처리부(211)와 테스트 단계(220)의 전처리부(221)는 동일하거나 별도로 구성될 수 있다. 아래에서 각각의 구성에 대해 하나의 예를 들어 보다 구체적으로 설명한다.
일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치(200)는 특징 추출부(222), 수면 단계 결정 파라미터 추출부 및 수면 단계 결정부를 포함할 수 있다. 실시예에 따라 전저리부(221)가 더 포함될 수 있다.
특징 추출부(222)는 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출할 수 있다. 예컨대, 특징 추출부(222)는 레이더 신호를 프레임화 하여 하나의 프레임당 52 개의 특징 벡터들을 추출하고, 사용자의 웨이크(wake) 상태를 나타내는 움직임 및 부재를 검출하는 사용자의 움직임 및 부재 특징 벡터 D Move 를 추출할 수 있다.
또한, 특징 추출부(222)는 수면 시간 동안 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출할 수 있다. 예컨대, 특징 추출부(222)는 오디오 신호를 통해 i 프레임에서의 코골이 신호로부터 코골이 이벤트 개수 S E (i)를 검출하고, 호흡신호로부터 사이클 강도(Cycle Intensity, CI) CI(i) 특징을 추출할 수 있다.
수면 단계 결정 파라미터 추출부는 레이더 신호 특징 및 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출할 수 있다.
수면 단계 결정 파라미터 추출부는 특징 추출부(222)에서 추출한 52 개의 특징 벡터 중 특징 선택(feature selection) 및 특징 정규화(feature normalization)를 거친 후, 웨이크 및 슬립 심화신경망 분류기(223)를 통과하여 추후 최종단계에서 사용될 모든 프레임에 대한 확률비
Figure 112018027749664-pat00001
을 저장할 수 있다. 그리고
Figure 112018027749664-pat00002
를 기반으로 추후 사용될 웨이크 및 슬립 개별 조절 문턱값
Figure 112018027749664-pat00003
를 생성하여, 이를 기준으로 웨이크 및 슬립 클래스를 각각 임시적으로 결정하고 S E 기반의 상황인지기술을 적용하여 슬립(sleep) 클래스 검출 성능을 향상시킬 수 있다. 이어서, 슬립(sleep) 클래스로 결정된 프레임들을 NREM 및 REM 랜덤 포레스트 분류기(224)에 통과시켜 확률비
Figure 112018027749664-pat00004
를 구하여 저장할 수 있다. 또한,
Figure 112018027749664-pat00005
과 전문의의 의학적 지식을 바탕으로 설계된 NREM 및 REM 개별 조절 문턱값
Figure 112018027749664-pat00006
과
Figure 112018027749664-pat00007
를 생성할 수 있다.
다시 말하면, 수면 단계 결정 파라미터 추출부는 웨이크 및 슬립 심화신경망 분류기(223), NREM 및 REM 랜덤 포레스트 분류기(224) 및 개별 조절 문턱값 생성부(225)를 포함하여 이루어질 수 있다.
웨이크 및 슬립 심화신경망 분류기(223)는 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하여, 특징 정규화를 거친 특징 벡터를 학습된 웨이크 및 슬립 심화신경망 분류기(223)를 통과시키고, 웨이크 및 슬립 확률비를 산정할 수 있다.
NREM 및 REM 랜덤 포레스트 분류기(224)는 슬립(sleep) 클래스로 결정된 프레임들을 대상으로 특징 선택을 거친 특징 벡터를 학습된 NREM 및 REM 랜덤 포레스트 분류기(224)에 통과시키고, NREM 및 REM 확률비를 산정할 수 있다.
개별 조절 문턱값 생성부(225)는 웨이크 및 슬립 확률비를 기반으로 웨이크 및 슬립 개별 조절 문턱값을 생성하고, NREM 및 REM 확률비와 전문의의 의학적 지식을 기반으로 설계된 두 개의 NREM 및 REM 개별 조절 문턱값을 생성할 수 있다.
또한, 수면 단계 결정 파라미터 추출부는 의사 특징 생성부(213), 웨이크 및 슬립 심화신경망 학습부(214) 및 NREM 및 REM 랜덤 포레스트 학습부(215)를 더 포함할 수 있다.
의사 특징 생성부(213)는 웨이크 및 슬립 분류를 위해, 레이더 신호 특징으로부터 웨이크 및 슬립 클래스에 대한 분포 분석결과 선별된 특징 벡터들을 선별하며, 부트스트랩(bootstrap) 방식으로 데이터를 증폭시켜 의사 데이터(pseudo data)를 생성할 수 있다.
웨이크 및 슬립 심화신경망 학습부(214)는 의사 데이터를 이용하여 웨이크 및 슬립 심화신경망을 학습시켜 학습된 웨이크 및 슬립 심화신경망 분류기(223)로 정보를 전달할 수 있다.
NREM 및 REM 랜덤 포레스트 학습부(215)는 레이더 신호 특징에 대해 특징 선택을 거친 특징 벡터를 이용하여 NREM 및 REM 랜덤 포레스트 학습시켜 학습된 NREM 및 REM 랜덤 포레스트 분류기(224)로 정보를 전달할 수 있다.
수면 단계 결정부는 수면 단계 결정 파라미터를 이용하여 웨이크 및 슬립 클래스를 결정한 다음, 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정할 수 있다.
수면 단계 결정부는 기저장된
Figure 112018027749664-pat00008
를
Figure 112018027749664-pat00009
에 대하여 비교하여 1차적으로 웨이크 및 슬립 클래스를 분류할 수 있다. 그 후, 상황인지기술 특징 벡터 S E 를 적용하고, 사용자의 움직임 및 부재를 D Move 로 파악하여 2차적으로 웨이크 및 슬립 클래스를 분류할 수 있다. 이어서, 기저장된 슬립(sleep)으로 결정된 프레임들의 확률비
Figure 112018027749664-pat00010
을
Figure 112018027749664-pat00011
과
Figure 112018027749664-pat00012
에 대하여 비교하여 1차적으로 NREM 및 REM 클래스를 분류할 수 있다.
보다 구체적으로, 수면 단계 결정부는 웨이크 및 슬립 결정부(226), NREM 및 REM 결정부(227) 및 후처리부(228)를 포함할 수 있다.
웨이크 및 슬립 결정부(226)는 웨이크 및 슬립 확률비를 웨이크 및 슬립 개별 조절 문턱값과 비교하여 웨이크 및 슬립 클래스를 분류하고, 오디오 신호를 통해 검출된 코골이 이벤트 개수와 사용자의 움직임 및 부재 특징 벡터를 통해 분류된 웨이크 및 슬립 클래스를 보정할 수 있다.
NREM 및 REM 결정부(227)는 슬립(sleep) 클래스로 결정된 프레임에 대해 NREM 및 REM 확률비를 NREM 및 REM 개별 조절 문턱값과 비교하여 NREM 및 REM 클래스를 분류할 수 있다.
후처리부(228)는 웨이크(wake) 검출률을 높이기 위해 호흡신호 기반 상황인지기술을 적용한 웨이크(wake) 구간을 검출하는 알고리즘을 적용하여 최종 웨이크(wake) 클래스를 결정할 수 있다. 그리고 후처리부(228)는 REM의 오류검출을 방지하기 위해 설계된 REM 보정 알고리즘을 통과시켜 최종 NREM 클래스와 REM 클래스를 결정할 수 있다.
다시 말하면, 후처리부(228)는 오디오 신호를 통해 검출된 호흡신호 기반의 사이클 강도(CI)와 코골이 신호 기반의 코골이 이벤트 개수 특징을 기반으로 상황인지기술을 적용하여 웨이크(wake) 검출 성능을 향상시키며, REM의 오류검출을 방지하기 위해 설계된 REM 보정 알고리즘을 통과시켜 최종 NREM 클래스와 REM 클래스를 결정할 수 있다.
도 3은 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법을 나타내는 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법은 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하는 단계(310), 수면 시간 동안 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 단계(320), 레이더 신호 특징 및 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계(330) 및 수면 단계 결정 파라미터를 이용하여 웨이크 및 슬립 클래스를 결정한 다음, 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정하는 단계(340)를 포함하여 이루어질 수 있다.
아래에서 각 단계에 대해 하나의 예를 들어 보다 구체적으로 설명한다.
일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법은 도 2에서 설명한 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치를 이용하여 보다 구체적으로 설명할 수 있다. 일 실시예에 따른 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 장치는 특징 추출부, 수면 단계 결정 파라미터 추출부 및 수면 단계 결정부를 포함할 수 있으며, 실시예에 따라 전저리부가 더 포함될 수 있다.
먼저, 전처리부는 연속파 레이더 및 오디오 신호에 대해 전처리를 수행할 수 있다.
전처리부에서는 시간 도메인에서 송신되는 레이더 신호 T x (t)가 전압 제어 발진기(Voltage Controlled Oscillator, VCO)로부터 생성된 24 GHz의 캐리어 주파수
Figure 112018027749664-pat00013
의 연속파와 위상 잡음
Figure 112018027749664-pat00014
이 더해져 전송될 수 있다. 여기서, 시간 도메인에서 송신되는 레이더 신호 T x (t)는 다음 식과 같이 표현될 수 있다.
Figure 112018027749664-pat00015
여기서, t 는 시간을 나타낸다.
이러한 시간 도메인에서 송신되는 레이더 신호 T x (t)는 사용자의 신체로부터 반사된 도플러 신호 R x (t) 1000 Hz로 샘플링이 되고, 이는 사용자의 움직임 정보 x m (t), 호흡 정보 x b (t), 그리고 심장 박동 정보 x h (t)가 모두 내제되어있는 생체 신호 x(t)가 포함되어 있으며, 다음 식과 같이 표현될 수 있다.
Figure 112018027749664-pat00016
여기서, d 0는 사용자와 레이더 간의 거리를 의미하고,
Figure 112018027749664-pat00017
는 송신호의 파장을 의미하고, c는 빛의 속도
Figure 112018027749664-pat00018
를 의미한다.
본 실험에 사용된 레이더 송수신기는 구적법(quadrature) 수신기(receiver) 방식을 사용하는 안테나이기에 R x (t)는
Figure 112018027749664-pat00019
위상차의 특징을 가지고 있는 베이스밴드(baseband) 신호, 동상(in-phase) 신호 B I (t)와 구적법 신호 B Q (t)로 분리되며, 다음 식들과 같이 각각 표현될 수 있다.
Figure 112018027749664-pat00020
Figure 112018027749664-pat00021
여기서,
Figure 112018027749664-pat00022
는 레이더와 사용자의 거리의 정보가 담겨있는 위상차를 의미한다.
레이더 신호의 특성상 거리에 따라 널 포인트(null-point)가 생길 수 있는데, 이것은 B I (t)와 B Q (t)의 사분위 범위(InterQuartile Range, IQR)를 비교하여 더욱 큰 값을 가진 채널을 널 포인트(null-point)가 존재하지 않은 신호라고 결정짓고 신호처리 기술을 진행할 수 있다.
또한, 마이크로폰 센서로부터 측정된 시간 도메인에서 오디오 신호 S(t)는 16000 Hz로 샘플링이 되고, 이는 사용자의 수면 상황 데이터를 지니고 있는 오디오 신호 S s (t) 및 잡음 n s (t)이 더해져 형성된다. 마이크로폰 센서로부터 측정된 시간 도메인에서 오디오 신호 S(t)는 다음 식과 같이 표현될 수 있다.
Figure 112018027749664-pat00023
이는 데이터 구동(data-driven) 기법으로 잡음을 제거하는 전처리 과정을 거칠 수 있다.
단계(310)에서, 특징 추출부는 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출할 수 있다.
특징 추출부는 연속파 레이더 신호 특징을 추출할 수 있으며, 보다 구체적으로, 통계적 및 수학적 특징을 추출하고, 사용자의 움직임 및 부재를 검출할 수 있다.
특징 추출부는 통계적 및 수학적 특징 추출을 위해 레이더 신호를 프레임화 하여 하나의 프레임당 52 개의 특징 벡터들을 추출할 수 있다.
수면 시간 동안 사용자로부터 추출된 레이더 신호는 수면 다원 검사(PSG)의 결과와 동등하게 분석하기 위해 30초 단위로 프레임화 되고, 프레임 단위로 레이더 신호의 DC-오프셋(offset)을 제거하기 위해 원(raw) 신호의 평균값을 제거할 수 있다.
그 후, 각 대역폭(bandwidth)이 다른 3 개의 버터워스 필터(Butterworth filter)를 통과하여 움직임, 호흡, 심장박동 관련 신호들을 추출한 뒤, 각각 신호로부터 최소(min), 최대(max), 평균(mean), 제곱평균제곱근(rms), 중간값(median), 1 분위(1st-quartile), 3 분위(3rd-quartile), 표준편차(standard deviation), 사분위 범위(InterQuartile Range, IQR), 피크(peak) 개수, 피크 사이의 평균거리, 피크 평균 높이, 제로 크로스 비율(zero cross rate), 선형 회귀 기울기(linear regression slope)를 추출하고, 호흡신호와 심장박동 신호를 주파수 도메인으로 변환하여 최대(maximum) 피크를 추출할 수 있다.
또한, 원 신호로부터 왜도(skewness)와 첨도(kurtosis)를 추출할 수 있다. 레이더 신호 프레임별로 46 개의 특징들을 모든 프레임에 대해 추출한 뒤, 이 행렬(matrix)에 대하여 특이값 분해(Singular Value Decomposition, SVD)를 적용하여 3 개의 최대 고유값(eigenvalue)에 위치한 열 벡터(column vector) 특징(feature)들을 각각 프레임별로 추가하고, 주성분 분석(Principal Component Analysis, PCA) 또한 적용하여 3 개의 최대 고유값에 위치한 열 벡터 특징들을 각각 프레임별로 추가할 수 있다. 즉, 한 프레임 당 52 개의 특징 벡터들이 생성될 수 있다.
특징 추출부는 사용자의 웨이크(wake) 상태를 나타내는 움직임 및 부재를 검출하는 사용자의 움직임 및 부재 특징 벡터를 추출할 수 있다.
사용자가 수면 중 웨이크(wake) 상태를 의미하는 움직임을 보이거나, 몽유병과 같은 수면공간을 벗어나는, 사용자의 부재를 검출하기 위한 알고리즘(Wake-Related Movement Existence and Absence Detection, WRMEnAD)이 구성될 수 있다. 해당 알고리즘을 구현하기 위해 DC-오프셋만 제거한 원(raw) 레이더 신호의 i 번째 프레임에 대하여, 다양한 실험에 의해 결정된 경험적 문턱값(heuristic threshold)을 기준으로 레벨 크로스 비율(level cross rate) 특징을 추출하여, 사용자의 부재와 웨이크(wake) 상태를 의미하는 특징 D Move (i)을 검출할 수 있다.
단계(320)에서, 특징 추출부는 수면 시간 동안 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출할 수 있다. 예를 들어, 특징 추출부는 오디오 신호를 통해 코골이 신호로부터 코골이 이벤트 개수를 검출하고, 호흡신호로부터 사이클 강도(Cycle Intensity, CI) 특징을 추출할 수 있다.
수면 시간 동안 사용자로부터 추출된 오디오 신호는 상황인지기술을 적용하기 위한 보조 센서의 역할을 할 수 있다. 잡음이 제거된 오디오 신호로부터 프레임 단위로 다음과 같은 상황인지 특징들을 추출할 수 있다. 코골이 신호기반의 코골이 이벤트 개수(Snore Events, S E )를 검출하고, 호흡신호 기반의 사이클 강도(Cycle Intensity, CI) 특징을 검출할 수 있다. 예컨대, 잡음이 제거된 오디오 신호로부터 30초 프레임 단위로 코골이 신호기반의 코골이 이벤트 개수(S E )를 검출하고, 호흡신호 기반의 사이클 강도(CI) 특징을 검출할 수 있다.
사이클 강도(CI)를 검출하기 위해, 잡음이 제거된 오디오 신호 S s (t)에 대하여 스펙트로그램(spectrogram)을 계산한 뒤, 각 주파수 bin에 해당하는 신호에 대하여 시간 도메인 자기 상관(time-domain autocorrelation)을 계산하고, 그 결과에서의 첫 번째 피크에 대한 진폭을 기준으로 크기가 큰 순서대로 정렬하여 가장 첫 번째의 피크 증폭을 그 프레임에 대한 사이클 강도(CI)라고 정의할 수 있다.
단계(330)에서, 수면 단계 결정 파라미터 추출부는 레이더 신호 특징 및 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출할 수 있다. 이러한 수면 단계 결정 파라미터 추출부는 레이더 신호 특징으로부터 통계적, 수학적 특징 벡터들을 선별하여 심화신경망 분류기와 랜덤 포레스트 분류기의 앙상블 구조를 비접촉식 수면 단계 검출에 적용할 수 있다.
보다 구체적으로, 수면 단계 결정 파라미터 추출부는 웨이크 및 슬립 심화신경망 분류기, NREM 및 REM 랜덤 포레스트 분류기 및 개별 조절 문턱값 생성부를 포함하여 이루어질 수 있다.
먼저, 웨이크 및 슬립 심화신경망 분류기는 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하여, 특징 정규화를 거친 특징 벡터를 학습된 웨이크 및 슬립 심화신경망 분류기를 통과시킬 수 있다. 이 때, 웨이크 및 슬립 심화신경망 분류기를 통과함에 따라 산정된 웨이크 및 슬립 확률비를 저장할 수 있다.
여기서, 웨이크 및 슬립 분류를 위해, 레이더 신호 특징으로부터 웨이크 및 슬립 클래스에 대한 분포 분석결과 선별된 특징 벡터들을 선별하며, 부트스트랩(bootstrap) 방식으로 데이터를 증폭시켜 의사 데이터(pseudo data)를 생성하여 웨이크 및 슬립 심화신경망을 학습시킴에 따라 학습된 웨이크 및 슬립 심화신경망 분류기가 구성될 수 있다.
그리고, 개별 조절 문턱값 생성부는 웨이크 및 슬립 확률비를 기반으로 웨이크 및 슬립 개별 조절 문턱값을 생성할 수 있다.
이후, 오디오 신호를 통해 획득된 코골이 이벤트 개수 기반의 상황인지기술을 적용하여 웨이크 및 슬립 클래스 검출 성능을 향상시킬 수 있다.
그리고, NREM 및 REM 랜덤 포레스트 분류기는 슬립(sleep) 클래스로 결정된 프레임들을 대상으로 특징 선택을 거친 특징 벡터를 학습된 NREM 및 REM 랜덤 포레스트 분류기에 통과시킬 수 있다. 이 때, NREM 및 REM 랜덤 포레스트 분류기를 통과함에 따라 산정된 NREM 및 REM 확률비를 저장할 수 있다.
이후, 개별 조절 문턱값 생성부는 NREM 및 REM 확률비와 전문의의 의학적 지식을 기반으로 설계된 두 개의 NREM 및 REM 개별 조절 문턱값을 생성할 수 있다.
아래에서 각 단계에 대해 보다 구체적으로 설명한다.
1) 심화신경망을 통한 웨이크 및 슬립 분류
수면 단계를 웨이크(wake), NREM, REM 수면으로 분류하기 이전에, 사용자의 웨이크 및 슬립 분류를 수행할 수 있다. 웨이크 및 슬립 분류를 위해, 앞에서 추출된 52 개의 레이더 신호기반 특징들로부터, 웨이크 및 슬립 클래스에 대한 분포 분석결과 선별된 특징 벡터들을 선별할 수 있다.
그리고 적은 데이터의 양을 보완하기 위해 부트스트랩(bootstrap) 기술을 적용할 수 있다. 여기서, 부트스트랩 기술은 기존의 특징 벡터의 통계적인 데이터를 기반으로 리샘플링(resampling)하여 데이터를 증폭시킴으로써 의사 데이터(pseudo data)를 생성하는 알고리즘이다. 생성된 의사 데이터로부터 n 번째 특징 벡터 F(n)에 대한 표준화(standardization) 방식의 정규화(normalization)
Figure 112018027749664-pat00024
을 진행할 수 있으며, 다음 식과 같이 표현할 수 있다.
Figure 112018027749664-pat00025
여기서,
Figure 112018027749664-pat00026
와
Figure 112018027749664-pat00027
는 각각 n 번째 특징 벡터에 대한 평균과 표준편차를 의미한다.
정규화된 특징 벡터는 학습된 심화신경망으로 입력되어 다수의 은닉층을 통하여 보다 변별력을 가지는 특징 벡터로 재표현되고, 최종적으로 웨이크 및 슬립 확률로 맵핑될 수 있으며, 다음 식과 같이 표현할 수 있다.
Figure 112018027749664-pat00028
여기서, p 0와 p 1은 각각 웨이크(wake) 확률과 슬립(sleep) 확률을 나타낸다. 이 때 웨이크(wake) 확률은 웨이크(wake) 상태일 확률을 의미하며, 슬립(sleep) 확률은 슬립(sleep) 상태일 확률을 의미한다. 또한, W l 와 b l 는 각각 l 번째 은닉층의 가중치 매트릭스와 바이어스 벡터를 나타낸다. 또한,
Figure 112018027749664-pat00029
는 활성함수를 나타내며, 실시예들에서는 ReLU(Rectified Linear Unit) 함수를 적용할 수 있다.
웨이크 및 슬립 분류기는 웨이크(wake)와 슬립(sleep) 대한 두 가지 경우를 고려하기 때문에 심화신경망의 출력 층은 두 개의 노드로 구성되며, 목표 값은 웨이크(wake)에 대하여 [1 0], 슬립(sleep)에 대하여 [0 1]이다. 따라서 심화신경망의 결과 값은 다음 식과 같이 하나의 값으로 단순화될 수 있다.
Figure 112018027749664-pat00030
이 때, i 는 프레임 번호를 의미한다.
단순화된 심화신경망의 출력값으로부터 웨이크 및 슬립 확률을 추정하기 위하여 실시예들에서는 시그모이드(sigmoid) 함수를 도입할 수 있다. 웨이크 및 슬립 확률은 단순화된 심화신경망의 출력 값으로부터 시그모이드 함수를 통해서 다음 식과 같이 구할 수 있다.
Figure 112018027749664-pat00031
여기서, A와 B는 웨이크 및 슬립 검출을 위한 시그모이드 함수의 기울기 파라미터와 바이어스 파라미터를 각각 의미한다.
웨이크 및 슬립 확률 추정을 위한 시그모이드 함수의 두 개의 파라미터는 Negative Log-Likelihood(교차 엔트로피 오차 함수(cross entropy error function))를 최소화하는 변별적 학습을 통해서 구할 수 있다. 이때, 학습에 사용된 학습율(learning rate)
Figure 112018027749664-pat00032
는 적응 학습율(adaptive learning rate) 방식인, Adadelta 방식으로 정해질 수 있다.
웨이크 및 슬립 심화신경망 분류기를 통과시켜 나온 결과물 p out 을 기반으로 확률 평활화(smoothing)를 진행할 수 있다. 단, 첫 번째와 두 번째 프레임, 즉 첫 1분은 무조건 사람이 웨이크(wake) 상태라고 가정한다.
Figure 112018027749664-pat00033
여기서,
Figure 112018027749664-pat00034
는 평활화(smoothing) 파라미터로, 일례로 0.9로 지정하였다. 확률 평활화가 진행된 후, 전체 프레임에 대한 p out 의 웨이크 및 슬립 확률비
Figure 112018027749664-pat00035
를 계산하여 추후에 사용되기 위해 저장할 수 있다.
도 4a는 일 실시예에 따른 분류기로부터 출력된 확률비의 예시를 나타내는 도면이다.
2) 개별 조절 문턱값
앞에서 구한
Figure 112018027749664-pat00036
을 기반으로, 웨이크 및 슬립 개별 조절 문턱값
Figure 112018027749664-pat00037
를 계산할 수 있다. 여기서, 개별 조절 문턱값은 사람마다 수면패턴과 생체신호패턴이 다르기에 모든 사람들에 대해 알고리즘을 최적화시키기 위한 적응 문턱값(adaptive threshold)의 일종이며, 이는 추후 웨이크 및 슬립 최종 결정에 사용될 주요 파라미터가 될 수 있다.
도 4b는 일 실시예에 따른 개별 조절 문턱값의 예시를 나타내는 도면이다.
개별 조절 문턱값을 구하기 위해서 가장 먼저, 도 4a와 같이 랜덤 포레스트 분류기에서 출력된 각 클래스에 대한 확률비(ratio)를 도 4b와 같이 모두 오름차순으로 정렬할 수 있다. 그 후, 그리드 서치(grid-search)를 통해 얻어진 특정 퍼센타일 파라미터(percentile parameter, P)(도 4b에 P로 표시됨)를 기반으로, 그 퍼센타일(percentile)에 해당하는 확률비값을 개별 조절 문턱값으로 지정할 수 있다.
3) 코골이 이벤트(snore event) 기반 상황인지 기법
도 5는 일 실시예에 따른 웨이크 및 슬립 클래스에 대하여 코골이 이벤트 개수 분포를 나타내는 도면이다.
NREM 및 REM 랜덤 포레스트 분류기를 적용하기 이전에, 앞에서 추출한 코골이 신호기반의 코골이 이벤트 개수 S E 특징들을 기반으로 상황인지기술을 적용하여 웨이크 및 슬립 검출 성능을 향상시킬 수 있다.
이 기법은 도 5의 웨이크 및 슬립 클래스에 대하여 코골이 이벤트 개수 분포를 비교한 결과로 제안한 알고리즘이므로, 특정 프레임에서 웨이크 및 슬립 심화신경망 분류기의 결과가 웨이크(wake)로 결정되었을 당시, 코골이 이벤트 개수 S E 가 3 개 이상 검출될 경우, 슬립(sleep)으로 보정해주는 알고리즘이다.
4) 랜덤 포레스트를 통한 NREM 및 REM 분류
앞에서 슬립(sleep) 클래스로 결정된 프레임들에 대하여, NREM 및 REM 바이너리 랜덤 포레스트 분류기를 통과시킬 수 있다. NREM 및 REM 분류기에 사용되는 레이더 특징 벡터들은 기존 52 개의 특징 벡터들의 NREM과 REM 클래스에 대한 분포의 분석결과 선별된 특징 벡터들이다. 이는 [수학식 6] 및 [수학식 10]의 단계를 동일하게 거친 후, NREM 및 REM에 대한 확률비
Figure 112018027749664-pat00038
를 추후 사용을 위해 저장할 수 있다.
그리고 NREM 및 REM에 대한 확률비
Figure 112018027749664-pat00039
를 기반으로 개별 조절 문턱값 또한 동일하게 구할 수 있다. 그러나, 기존 웨이크 및 슬립 개별 조절 문턱값과 달리, NREM 및 REM 개별 조절 문턱값은 전문의의 의학적 지식을 기반으로 설계된 2 개의 문턱값
Figure 112018027749664-pat00040
과
Figure 112018027749664-pat00041
를 생성할 수 있다. 적용된 의학적 지식이란, 사람이 수면을 시작했을 때 첫 50분까지는 REM 수면이 발생되지 않는다는 전문의의 지식을 바탕으로 첫 50분은 REM 검출 확률을 낮춘 문턱값
Figure 112018027749664-pat00042
과, 50분 이후에는 그리드 서치(grid-search)를 통해 결정된 퍼센타일 파라미터를 기반으로 설계된
Figure 112018027749664-pat00043
를 사용할 수 있다.
단계(340)에서, 수면 단계 결정부는 수면 단계 결정 파라미터를 이용하여 웨이크 및 슬립 클래스를 결정한 다음, 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정할 수 있다.
수면 단계 결정부는 웨이크 및 슬립 결정부, NREM 및 REM 결정부 및 후처리부를 포함할 수 있다.
웨이크 및 슬립 결정부는 웨이크 및 슬립 확률비를 웨이크 및 슬립 개별 조절 문턱값과 비교하여 웨이크 및 슬립 클래스를 분류할 수 있다. 그리고, 웨이크 및 슬립 결정부는 오디오 신호를 통해 검출된 코골이 이벤트 개수와 사용자의 움직임 및 부재 특징 벡터를 통해 분류된 웨이크 및 슬립 클래스를 보정할 수 있다.
최종 수면 단계를 결정하기 위해, 앞서 저장된 웨이크 및 슬립 관련 파라미터들을 기반으로 웨이크(wake)과 슬립(sleep)을 구분한 뒤, 슬립(sleep)으로 결정된 프레임들에 대하여 NREM 및 REM 클래스 결정을 할 수 있다.
웨이크 및 슬립 최종 결정을 위해, 우선 i 번째 프레임의 확률비 R WS (i)가 웨이크 및 슬립 개별 조절 문턱값
Figure 112018027749664-pat00044
보다 클 경우 슬립(sleep) 클래스로 결정하고, 작을 경우 웨이크(wake) 클래스로 결정할 수 있다.
단, 첫 1분(i=1, i=2) 동안은 사용자가 무조건 웨이크(wake) 클래스라고 가정한다. 이 때, 프레임 인덱스 i 가 2보다 클 경우, 웨이크(wake) 클래스로 지정된 프레임의 오류를 보정하기 위해 앞서 추출한 코골이 이벤트 개수 S E (i)를 사용할 수 있다. i 번째 코골이 이벤트 개수 S E (i)가 3번 이상일 경우 이를 슬립(sleep)으로 보정하는데, 이는 웨이크 및 슬립 클래스에 대한 코골이 이벤트 개수 분포에 의해 결정되었다.
슬립(sleep) 클래스로 결정된 프레임을 NREM 및 REM 클래스로 결정짓기 이전에, 앞에서 추출한 사용자의 움직임 관련 특징 D Move (i)의 도움으로 마지막 웨이크 및 슬립 보정을 할 수 있다. i 번째 프레임을 기준으로 양측 프레임,
Figure 112018027749664-pat00045
와
Figure 112018027749664-pat00046
의 클래스가 웨이크(wake)로 결정되었지만, i 번째 프레임이 슬립(sleep)으로 결정되었으나 D Move (i)에서 사용자의 움직임이 검출되었거나 부재로 판단되었다면, i 번째 프레임의 클래스를 웨이크(wake)로 보정할 수 있다.
도 6은 일 실시예에 따른 사용자의 움직임 관련 특징을 설명하기 위한 도면이다.
도 6을 참조하면, 사용자의 움직임 관련 특징 D Move (i)의 효과를 보여주는 예시로, 사용자의 수면연관 움직임 및 부재 검출 결과와 웨이크 및 슬립 의 연관성을 나타낸다.
그리고, NREM 및 REM 결정부는 슬립(sleep) 클래스로 결정된 프레임에 대해 NREM 및 REM 확률비를 NREM 및 REM 개별 조절 문턱값과 비교하여 NREM 및 REM 클래스를 분류할 수 있다.
슬립(sleep)으로 확정된 i 번째 프레임이 수면 단계 검사를 시작한지 50분 이하일 경우, 전문의의 지식을 바탕으로 설계된 낮은 REM 검출률의 NREM 및 REM 개별 조절 문턱값
Figure 112018027749664-pat00047
를 기준으로 확률비 R RNR (i)를 비교하여, 확률비 R RNR (i)가 클 경우 REM으로 결정짓고, 작을 경우 NREM으로 결정할 수 있다.
그리고 수면시간이 50분이 넘어가는 경우, 그리드 서치(grid-search)로 결정된 경험적 문턱값(heuristic threshold)
Figure 112018027749664-pat00048
를 기준으로 확률비를 비교하여 NREM 혹은 REM을 결정할 수 있다.
후처리부는 오디오 신호를 통해 검출된 호흡신호 기반의 사이클 강도(CI)와 코골이 신호 기반의 코골이 이벤트 개수 특징을 기반으로 상황인지기술을 적용하여 웨이크(wake) 검출 성능을 향상시키고, REM의 오류검출을 방지하기 위해 설계된 REM 보정 알고리즘을 통과시켜 최종 NREM 클래스와 REM 클래스를 결정할 수 있다.
도 7은 일 실시예에 따른 상황인지기술 기반 후처리의 웨이크(wake) 검출 성능을 설명하기 위한 도면이다.
도 7을 참조하면, 최종적으로 수면 단계를 결정짓기 이전에, 마지막으로 후처리를 수행할 수 있다. 앞에서 추출한 호흡신호 기반의 특징 사이클 강도(CI)와 코골이 신호기반의 코골이 이벤트 개수 S E 특징을 기반으로 상황인지기술을 적용하여 웨이크(wake) 검출 성능을 향상시킬 수 있다. i 번째 프레임에서 S E (i)가 3보다 작고 CI(i)/max(CI)가 0.3보다 크거나 같을 경우를 제외하고, 모든 프레임에 대한 사이클 강도(CI)를 0으로 변경할 수 있다. 이 때, 사이클 강도(CI)가 다수 모여있는 곳을 웨이크(wake) 구간으로 추정한 후, 연속된 프레임 길이가 110에서 170 사이인 경우를 웨이크(wake) 구간으로 결정할 수 있다.
이어서, NREM 및 REM의 검출 오류를 줄이기 위해 REM 클래스로 연속적으로 3 프레임 이하로 지속될 경우, 이를 NREM으로 보정하고, 가까이 붙어있는 REM 프레임들은 하나의 REM 수면 구간으로 보정할 수 있다.
도 8a 내지 도 8c는 일 실시예에 따른 REM 보정 후처리의 효과를 나타내는 도면이다.
도 8a 내지 도 8c를 참조하면, 일 실시예에 따른 REM 오검출 방지 후처리 기법을 나타내는 것으로, 보다 구체적으로 도 8a는 일 실시예에 따른 PSG 결과를 나타내며, 도 8b는 일 실시예에 따른 REM 후처리 적용 이전 상태를 나타내고, 도 8c는 일 실시예에 따른 REM 후처리 적용 이후 상태를 나타낸다.
실시예들에서 제안하는 수면 단계 검출 성능을 평가하기 위하여 한양대학교 병원에서 받은 수면 이상 환자들의 레이더, 오디오, PSG 데이터들을 기반으로 랜덤 포레스트 분류기 기반의 분류기를 설계하여, 상술한 실시예들의 상용화 가능성 여부를 위해 현재 상용화된 수면 단계 측정 IoT 장비 ResMed S+와 각 수면 단계 검출 성능을 비교하였다.
실시예들에서 제안하는 수면 단계 검출 기술 성능을 평가하기 위해서 한양대학교 병원에 있는 수면 다원 검사실에 레이더 센서, 레이더 측정 장비, 마이크로폰, 그리고 녹음기를 설치하였고, 비교 상용화 제품 ResMed S+ 또한 동일한 조건에 실험되도록 배치하여 실제 수면 다원 검사를 진행할 때, 환자의 수면 데이터를 수집하였다. 수집된 환자들의 대한 데이터는 수면기사를 통해 일차적으로 검증되고, 한양대학교 의과대학 이비인후과 교수의 지도하에 2차 검증이 된 후 사용하였다. 또한, 한양대학교 병원의 수면 다원 검사 결과에 수면 단계, 코골이 이벤트에 관한 매뉴얼이 포함되어 있으며, 이를 기반으로 정답지를 구성했다.
수면 단계 검출을 위한 심화신경망 및 랜덤 포레스트 분류기의 학습을 위하여 약 12,600분(30명) 길이의 레이더 데이터와 오디오 데이터를 사용했으며 성능 검증을 위해 약 3,360분(8명)의 보이지 않는(unseen) 데이터를 사용했다. 학습을 위한 레이더와 오디오 데이터는 매 30초 마다 수면 단계 상태를 수동으로 라벨링 하였다.
표 1은 심화신경망에 기반하는 음향환경인지 기술의 분류 성능을 나타낸다.
Figure 112018027749664-pat00049
표 1을 참조하면, 실시예들에 따른 멀티 센서를 이용한 수면 단계 검출 기술과 실시예들의 상용화 가능성 검증을 위해 동일한 실험을 진행한 ResMed S+의 각 수면 단계별 검출 성능을 보여준다.
표 1로부터 제안하는 실시예들의 수면 단계 검출 성능은 상용화 가능성 확인을 위해 동일한 환경에서 측정된 ResMed S+ 대비 전체 정확도(total accuracy)는 10.2% 높았고, 웨이크(wake) 검출률, REM 검출률, NREM 검출률은 각각 3.7%, 19.8%, 11.9%만큼 월등히 높았다.
이와 같이, 정제된 데이터가 아닌 대학병원 수면 다원 검사실에서 전문의의 검증 하에 수집한 데이터를 기반으로 모델링함으로써 의료기기에 더욱 가까운 장비를 구현할 수 있다. 그리고 저렴하고 수면에 지장을 주지 않는 원격 센서, 레이더를 기반으로 수면 단계 검출에 대한 성능을 개선할 수 있으며, 오디오 신호 기반의 상황인지기술과 전문의의 의학지식 및 통계학적 지식을 적용함으로써 학습 단계에서 고려되지 않았던 보이지 않는 환경에 대한 성능도 개선할 수 있다. 또한, 수면건강에 매우 중요한 요소인 NREM 수면과 REM 수면의 검출률 또한 개선할 수 있다.
이상과 같이, 실시예들에 따르면 수면 중인 사용자로부터 가까이 둘 수 있는 알람 시계, 천장에 있는 형광등, 혹은 기타 스마트 홈 기기들에 탑재함으로써 스마트폰과 연동하여 사용자가 수면 직후 곧바로 수면 단계를 확인이 가능한 제품에 적용할 수 있다. 또한, 사용자의 부재를 확인할 수 있는 레이더 센서의 기능과 마이크 센서의 상황인지기술을 스마트 홈 기기에 적용함으로써 갓난아기, 독거노인 혹은 애완견의 안전에 적용될 수도 있다.
예컨대, 스마트 홈 기기에 대하여 별도의 알고리즘을 적용할 경우 몽유병과 같은 수면이상 환자들이 병원에 가지 않더라도 매일 수면건강 상태를 확인하여 쾌적한 생활을 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 특징 추출부에서 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하는 단계;
    상기 특징 추출부에서 상기 수면 시간 동안 상기 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 단계;
    수면 단계 결정 파라미터 추출부에서 상기 레이더 신호 특징 및 상기 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계; 및
    수면 단계 결정부에서 상기 수면 단계 결정 파라미터를 이용하여 웨이크(wake) 및 슬립(sleep) 클래스를 결정한 다음, 상기 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정하는 단계
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  2. 제1항에 있어서,
    상기 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하는 단계는,
    상기 특징 추출부에서 상기 레이더 신호를 프레임화 하여 하나의 프레임당 52 개의 특징 벡터들을 추출하는 단계; 및
    상기 특징 추출부에서 상기 사용자의 웨이크(wake) 상태를 나타내는 움직임 및 부재를 검출하는 사용자의 움직임 및 부재 특징 벡터를 추출하는 단계
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  3. 제1항에 있어서,
    상기 수면 시간 동안 상기 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 단계는,
    상기 특징 추출부에서 상기 오디오 신호를 통해 코골이 신호로부터 코골이 이벤트 개수를 검출하고, 호흡신호로부터 사이클 강도(Cycle Intensity, CI) 특징을 추출하는 것
    을 특징으로 하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  4. 제1항에 있어서,
    상기 심화신경망과 상기 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계는,
    상기 레이더 신호 특징으로부터 통계적, 수학적 특징 벡터들을 선별하여 심화신경망 분류기와 랜덤 포레스트 분류기의 앙상블 구조를 비접촉식 수면 단계 검출에 적용하는 것
    을 특징으로 하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  5. 제1항에 있어서,
    상기 심화신경망과 상기 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 단계는,
    웨이크 및 슬립 심화신경망 분류기에서 상기 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하는 단계;
    상기 웨이크 및 슬립 심화신경망 분류기에서 상기 특징 정규화를 거친 특징 벡터를 학습된 웨이크 및 슬립 심화신경망 분류기를 통과시키고, 웨이크 및 슬립 확률비를 산정하는 단계;
    개별 조절 문턱값 생성부에서 상기 웨이크 및 슬립 확률비를 기반으로 웨이크 및 슬립 개별 조절 문턱값(personal-adjusted threshold)을 생성하는 단계;
    후처리부에서 상기 오디오 신호를 통해 획득된 코골이 이벤트 개수 기반의 상황인지기술을 적용하여 웨이크 및 슬립 클래스 검출 성능을 향상시키는 단계;
    NREM 및 REM 랜덤 포레스트 분류기에서 상기 슬립(sleep) 클래스로 결정된 프레임들을 대상으로 상기 특징 선택을 거친 특징 벡터를 학습된 NREM 및 REM 랜덤 포레스트 분류기에 통과시키고, NREM 및 REM 확률비를 산정하는 단계; 및
    상기 개별 조절 문턱값 생성부에서 상기 NREM 및 REM 확률비와 전문의의 의학적 지식을 기반으로 설계된 두 개의 NREM 및 REM 개별 조절 문턱값을 생성하는 단계
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  6. 제5항에 있어서,
    상기 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하는 단계는,
    웨이크 및 슬립 분류를 위해, 상기 레이더 신호 특징으로부터 웨이크 및 슬립 클래스에 대한 분포 분석결과 선별된 특징 벡터들을 선별하며, 부트스트랩(bootstrap) 방식으로 데이터를 증폭시켜 의사 데이터(pseudo data)를 생성하여 웨이크 및 슬립 심화신경망을 학습시킴에 따라 상기 학습된 웨이크 및 슬립 심화신경망 분류기가 구성되는 것
    을 특징으로 하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  7. 제5항에 있어서,
    상기 최종 수면 단계를 결정하는 단계는,
    웨이크 및 슬립 결정부에서 상기 웨이크 및 슬립 확률비를 상기 웨이크 및 슬립 개별 조절 문턱값과 비교하여 웨이크 및 슬립 클래스를 분류하는 단계;
    상기 웨이크 및 슬립 결정부에서 상기 오디오 신호를 통해 검출된 코골이 이벤트 개수와 사용자의 움직임 및 부재 특징 벡터를 통해 분류된 상기 웨이크 및 슬립 클래스를 보정하는 단계; 및
    NREM 및 REM 결정부에서 상기 슬립(sleep) 클래스로 결정된 프레임에 대해 상기 NREM 및 REM 확률비를 상기 NREM 및 REM 개별 조절 문턱값과 비교하여 NREM 및 REM 클래스를 분류하는 단계
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  8. 제7항에 있어서,
    상기 최종 수면 단계를 결정하는 단계는,
    후처리부의 후처리 단계를 더 포함하고,
    상기 후처리 단계는,
    상기 후처리부에서 상기 오디오 신호를 통해 검출된 호흡신호 기반의 사이클 강도(CI)와 코골이 신호 기반의 코골이 이벤트 개수 특징을 기반으로 상황인지기술을 적용하여 웨이크(wake) 검출 성능을 향상시키는 단계; 및
    상기 후처리부에서 REM의 오류검출을 방지하기 위해 설계된 REM 보정 알고리즘을 통과시켜 최종 NREM 클래스와 REM 클래스를 결정하는 단계
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 방법.
  9. 수면 시간 동안 사용자로부터 추출된 레이더 신호로부터 레이더 신호 특징을 추출하고, 상기 수면 시간 동안 상기 사용자로부터 추출된 오디오 신호로부터 상황인지를 위한 오디오 신호 특징을 추출하는 특징 추출부;
    상기 레이더 신호 특징 및 상기 오디오 신호 특징을 이용하여 심화신경망과 랜덤 포레스트의 앙상블 기반으로 수면 단계 결정 파라미터를 추출하는 수면 단계 결정 파라미터 추출부; 및
    상기 수면 단계 결정 파라미터를 이용하여 웨이크(wake) 및 슬립(sleep) 클래스를 결정한 다음, 상기 슬립(sleep) 클래스로 결정된 경우에 대하여 NREM 및 REM 클래스를 결정하여, 최종 수면 단계를 결정하는 수면 단계 결정부
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 장치.
  10. 제9항에 있어서,
    상기 특징 추출부는,
    상기 레이더 신호를 프레임화 하여 하나의 프레임당 52 개의 특징 벡터들을 추출하고, 상기 사용자의 웨이크(wake) 상태를 나타내는 움직임 및 부재를 검출하는 사용자의 움직임 및 부재 특징 벡터를 추출하는 것
    을 특징으로 하는, 멀티센서 기반의 비접촉식 수면 단계 검출 장치.
  11. 제9항에 있어서,
    상기 특징 추출부는,
    상기 오디오 신호를 통해 코골이 신호로부터 코골이 이벤트 개수를 검출하고, 호흡신호로부터 사이클 강도(Cycle Intensity, CI) 특징을 추출하는 것
    을 특징으로 하는, 멀티센서 기반의 비접촉식 수면 단계 검출 장치.
  12. 제9항에 있어서,
    상기 수면 단계 결정 파라미터 추출부는,
    상기 레이더 신호 특징에 대해 특징 선택 및 특징 정규화를 수행하여, 상기 특징 정규화를 거친 특징 벡터를 학습된 웨이크 및 슬립 심화신경망 분류기를 통과시키고, 웨이크 및 슬립 확률비를 산정하는 웨이크 및 슬립 심화신경망 분류기;
    상기 슬립(sleep) 클래스로 결정된 프레임들을 대상으로 상기 특징 선택을 거친 특징 벡터를 학습된 NREM 및 REM 랜덤 포레스트 분류기에 통과시키고, NREM 및 REM 확률비를 산정하는 NREM 및 REM 랜덤 포레스트 분류기; 및
    상기 웨이크 및 슬립 확률비를 기반으로 웨이크 및 슬립 개별 조절 문턱값(personal-adjusted threshold)을 생성하고, 상기 NREM 및 REM 확률비와 전문의의 의학적 지식을 기반으로 설계된 두 개의 NREM 및 REM 개별 조절 문턱값을 생성하는 개별 조절 문턱값 생성부
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 장치.
  13. 제12항에 있어서,
    상기 수면 단계 결정 파라미터 추출부는,
    웨이크 및 슬립 분류를 위해, 상기 레이더 신호 특징으로부터 웨이크 및 슬립 클래스에 대한 분포 분석결과 선별된 특징 벡터들을 선별하며, 부트스트랩(bootstrap) 방식으로 데이터를 증폭시켜 의사 데이터(pseudo data)를 생성하는 의사 특징 생성부;
    상기 의사 데이터를 이용하여 웨이크 및 슬립 심화신경망을 학습시켜 상기 학습된 웨이크 및 슬립 심화신경망 분류기로 정보를 전달하는 웨이크 및 슬립 심화신경망 학습부; 및
    상기 레이더 신호 특징에 대해 상기 특징 선택을 거친 특징 벡터를 이용하여 NREM 및 REM 랜덤 포레스트 학습시켜 상기 학습된 NREM 및 REM 랜덤 포레스트 분류기로 정보를 전달하는 NREM 및 REM 랜덤 포레스트 학습부
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 장치.
  14. 제12항에 있어서,
    상기 수면 단계 결정부는,
    상기 웨이크 및 슬립 확률비를 상기 웨이크 및 슬립 개별 조절 문턱값과 비교하여 웨이크 및 슬립 클래스를 분류하고, 상기 오디오 신호를 통해 검출된 코골이 이벤트 개수와 사용자의 움직임 및 부재 특징 벡터를 통해 분류된 상기 웨이크 및 슬립 클래스를 보정하는 웨이크 및 슬립 결정부; 및
    상기 슬립(sleep) 클래스로 결정된 프레임에 대해 상기 NREM 및 REM 확률비를 상기 NREM 및 REM 개별 조절 문턱값과 비교하여 NREM 및 REM 클래스를 분류하는 NREM 및 REM 결정부
    를 포함하는, 멀티센서 기반의 비접촉식 수면 단계 검출 장치.
  15. 제14항에 있어서,
    상기 수면 단계 결정부는,
    후처리부를 더 포함하고,
    상기 후처리부는,
    상기 오디오 신호를 통해 검출된 호흡신호 기반의 사이클 강도(CI)와 코골이 신호 기반의 코골이 이벤트 개수 특징을 기반으로 상황인지기술을 적용하여 웨이크(wake) 검출 성능을 향상시키며, REM의 오류검출을 방지하기 위해 설계된 REM 보정 알고리즘을 통과시켜 최종 NREM 클래스와 REM 클래스를 결정하는 것
    을 특징으로 하는, 멀티센서 기반의 비접촉식 수면 단계 검출 장치.
KR1020180032036A 2018-03-20 2018-03-20 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치 KR102076759B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180032036A KR102076759B1 (ko) 2018-03-20 2018-03-20 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180032036A KR102076759B1 (ko) 2018-03-20 2018-03-20 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190110276A KR20190110276A (ko) 2019-09-30
KR102076759B1 true KR102076759B1 (ko) 2020-02-12

Family

ID=68098240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180032036A KR102076759B1 (ko) 2018-03-20 2018-03-20 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102076759B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149524B (zh) * 2020-09-04 2023-09-26 中国人民解放军海军工程大学 一种雷达信号分选识别方法、装置、探测器及存储介质
CN112800983B (zh) * 2021-02-01 2024-03-08 玉林师范学院 一种基于随机森林的非视距信号识别方法
AU2021107071B4 (en) * 2021-08-24 2022-06-30 Rudder Technology Pty Ltd Radar based non-contact detection of sleep stage

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107307846A (zh) 2016-04-27 2017-11-03 南京理工大学 非接触式睡眠分期方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0003531D0 (sv) 2000-10-02 2000-10-02 Breas Medical Ab Auto CPAP
KR20170057038A (ko) * 2015-11-16 2017-05-24 엘지전자 주식회사 수면 단계 분석 장치 및 그 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107307846A (zh) 2016-04-27 2017-11-03 南京理工大学 非接触式睡眠分期方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ku-young Chung, ‘Sleep Monitoring Algorithm Based on Multi-modal Sensor Fusion’, 한양대학교 대학원 학위논문 전자통신컴퓨터공학과, February 2018*
Ku-young Chung, et al., ‘Noncontact Sleep Study by Multi-Modal Sensor Fusion’, MDPI, July 2017

Also Published As

Publication number Publication date
KR20190110276A (ko) 2019-09-30

Similar Documents

Publication Publication Date Title
US11000223B2 (en) Methods for detecting a sleep disorder and sleep disorder detection devices
US10098569B2 (en) Method and apparatus for processing patient sounds
KR102367481B1 (ko) 생체 인증 장치 및 방법
US11593468B2 (en) System and method for identifying user
WO2015103558A1 (en) Automated sleep staging using wearable sensors
KR102076759B1 (ko) 심화신경망과 랜덤 포레스트의 앙상블을 이용한 멀티센서 기반의 비접촉식 수면 단계 검출 방법 및 장치
US11712198B2 (en) Estimation of sleep quality parameters from whole night audio analysis
Dafna et al. Sleep-wake evaluation from whole-night non-contact audio recordings of breathing sounds
Behnam et al. Real-time seizure prediction using RLS filtering and interpolated histogram feature based on hybrid optimization algorithm of Bayesian classifier and Hunting search
US20150164413A1 (en) Method of creating anesthetic consciousness index with artificial neural network
JP7309761B2 (ja) 複数の信号を処理するためのシステムおよび方法
Lim et al. Deep multiview heartwave authentication
US20230263400A1 (en) System and method for filtering time-varying data for physiological signal prediction
US9265477B2 (en) Adaptive lightweight acoustic signal classification for physiological monitoring
Porieva et al. Investigation of lung sounds features for detection of bronchitis and COPD using machine learning methods
US20210045656A1 (en) Methods and systems for pulmonary condition assessment
Toulni et al. Heart problems diagnosis using ECG and PCG signals and a k-nearest neighbor classifier
KR20200086465A (ko) 이종 센서들을 이용한 타겟 검출 방법 및 장치
Ravelo-García et al. Cepstrum coefficients of the RR series for the detection of obstructive sleep apnea based on different classifiers
Foroughi et al. Deep convolutional architecture‐based hybrid learning for sleep arousal events detection through single‐lead EEG signals
KR102212608B1 (ko) 웨어러블 통신 단말 기반 반대편 손의 긁음 행위 인식 시스템 및 그 방법
WO2020157988A1 (ja) 状態推定装置、状態推定方法、及びコンピュータ読み取り可能な記録媒体
US20240081732A1 (en) Method of detecting sleep disorder based on eeg signal and device of the same
Ferretti et al. INCLASS: incremental classification strategy for self-aware epileptic seizure detection
KR102034151B1 (ko) 광용적맥파를 이용하는 호흡 상태 판단 방법 및 스위치 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant