KR20180133779A - 생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치 - Google Patents

생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치 Download PDF

Info

Publication number
KR20180133779A
KR20180133779A KR1020180024655A KR20180024655A KR20180133779A KR 20180133779 A KR20180133779 A KR 20180133779A KR 1020180024655 A KR1020180024655 A KR 1020180024655A KR 20180024655 A KR20180024655 A KR 20180024655A KR 20180133779 A KR20180133779 A KR 20180133779A
Authority
KR
South Korea
Prior art keywords
sleep state
motion
determining
sleep
user
Prior art date
Application number
KR1020180024655A
Other languages
English (en)
Other versions
KR102036987B1 (ko
Inventor
신현순
강도형
함찬영
Original Assignee
한국전자통신연구원
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 서울대학교병원 filed Critical 한국전자통신연구원
Priority to US15/997,953 priority Critical patent/US11266346B2/en
Publication of KR20180133779A publication Critical patent/KR20180133779A/ko
Application granted granted Critical
Publication of KR102036987B1 publication Critical patent/KR102036987B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4815Sleep quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Anesthesiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치가 개시된다. 생체 및 움직임 정보를 이용한 수면 상태 감지 방법은, 움직임 센서를 이용하여 사용자의 움직임 정보를 획득하는 단계, 획득한 움직임 정보를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계, 상기 1차 수면 상태가 결정되면, 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계 및 획득한 생체 정보와 상기 1차 수면 상태를 종합하여 상기 사용자의 최종 수면 상태를 결정하는 단계를 포함한다. 따라서, 사용자의 수면 상태를 정확하고 세밀하게 파악할 수 있다.

Description

생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치{METHOD AND APPARATUS FOR SENSING SLEEP STATE USING BIOMETRIC DATA AND MOTION INFORMATION}
본 발명은 생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치에 관한 것으로, 더욱 상세하게는 움직임 정보를 수집하여 1차적인 수면 상태를 파악하고, 생체 정보를 수집하여 2차적인 수면 상태를 파악함으로써 정밀한 수면 상태를 감지하는 기술에 관한 것이다.
최근 건강한 수면이 생활의 질을 향상시키는 데 큰 도움이 된다는 점이 다수 보고되면서 수면의 중요성이 강조됨에 따라, 사용자의 수면상태를 판단하기 위한 연구가 계속해서 진행되고 있다.
수면 상태를 감지할 수 있는 장치들 중에서 스마트 워치, 스마트 밴드, 스마트폰 등과 같은 기기를 이용한 수면 관리 서비스는 움직임 센서를 통해 사용자의 움직임을 측정하고, 측정된 신호를 이용하여 수면(sleep)과 비수면(wake) 상태를 분류한다.
그러나, 종래의 움직임 센서를 이용하여 수면 상태를 판단하는 방법은 사용자의 수면과 비수면 변화 여부만을 판단하기 때문에, 렘(REM, Rapid eye movement) 수면 등을 비롯하여 세밀한 수면 상태를 판단할 수 없는 문제점이 있다.
또한, 사용자의 움직임을 측정하는 움직임 센서에만 의존하여 수면 상태를 판단하기 때문에, 사용자가 오랜 시간 움직이지 않을 경우 수면 상태를 잘못 판단하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 생체 정보를 이용한 수면 상태 감지 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법을 제공한다.
여기서 생체 및 움직임 정보를 이용한 수면 상태 감지 방법은, 움직임 센서를 이용하여 사용자의 움직임 정보를 획득하는 단계, 획득한 움직임 정보를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계, 상기 1차 수면 상태가 결정되면, 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계 및 획득한 생체 정보와 상기 1차 수면 상태를 종합하여 상기 사용자의 최종 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 1차 수면 상태를 결정하는 단계는, 상기 움직임 정보에서 움직임 강도와 움직임 빈도를 산출하는 단계, 산출한 상기 움직임 강도와 상기 움직임 빈도를 기초로 움직임 스코어를 산출하는 단계 및 산출한 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 움직임 빈도는, 미리 설정된 시간 간격 동안 상기 움직임 강도가 미리 설정된 임계값을 초과하는 횟수일 수 있다.
여기서 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계는, 상기 움직임 스코어에 기초하여 상기 사용자의 1차 수면 상태를 수면(sleep) 또는 비-수면(non-sleep) 중 하나로 결정할 수 있다.
여기서 상기 생체 정보는, 상기 사용자에 대한 광용적맥파(Photoplethysmography) 신호를 포함할 수 있다.
여기서 상기 사용자의 최종 수면 상태를 결정하는 단계는, 상기 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계, 산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계 및 비교한 결과와 상기 1차 수면 상태를 종합하여 상기 최종 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 크면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 렘(REM)수면으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도와 미리 설정된 오차범위 이내에서 동일하면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 비-수면(non sleep)으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 작고, 상기 1차 수면 상태가 수면(sleep)이면, 상기 최종 수면 상태를 비-렘수면(non REM sleep)으로 결정할 수 있다.
여기서 상기 비-렘수면은 상기 산출한 심박변이도에 따라 적어도 두개 이상의 비-렘수면 단계로 세분화되어 결정될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치를 제공한다.
여기서 생체 및 움직임 정보를 이용한 수면 상태 감지 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
여기서 상기 적어도 하나의 단계는, 움직임 센서를 이용하여 사용자의 움직임 정보를 획득하는 단계, 획득한 움직임 정보를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계, 상기 1차 수면 상태가 결정되면, 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계 및 획득한 생체 정보와 상기 1차 수면 상태를 종합하여 상기 사용자의 최종 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 1차 수면 상태를 결정하는 단계는, 상기 움직임 정보에서 움직임 강도와 움직임 빈도를 산출하는 단계, 산출한 상기 움직임 강도와 상기 움직임 빈도를 기초로 움직임 스코어를 산출하는 단계 및 산출한 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 움직임 빈도는, 미리 설정된 시간 간격 동안 상기 움직임 강도가 미리 설정된 임계값을 초과하는 횟수일 수 있다.
여기서 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계는, 상기 움직임 스코어에 기초하여 상기 사용자의 1차 수면 상태를 수면(sleep) 또는 비-수면(non-sleep) 중 하나로 결정할 수 있다.
여기서 상기 생체 정보는, 상기 사용자에 대한 광용적맥파(Photoplethysmography) 신호를 포함할 수 있다.
여기서 상기 사용자의 최종 수면 상태를 결정하는 단계는, 상기 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계, 산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계 및 비교한 결과와 상기 1차 수면 상태를 종합하여 상기 최종 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 크면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 렘(REM)수면으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도와 미리 설정된 오차범위 이내에서 동일하면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 비-수면(non sleep)으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 작고, 상기 1차 수면 상태가 수면(sleep)이면, 상기 최종 수면 상태를 비-렘수면(non REM sleep)으로 결정할 수 있다.
여기서 상기 비-렘수면은 상기 산출한 심박변이도에 따라 적어도 두개 이상의 비-렘수면 단계로 세분화되어 결정될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 생체 정보를 이용한 수면 상태 감지 방법을 제공한다.
여기서 생체 정보를 이용한 수면 상태 감지 방법은 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계, 상기 생체 정보에 포함된 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계, 산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계 및 비교한 결과를 기초로 상기 사용자의 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 사용자의 수면 상태를 결정하는 단계는, 상기 비교한 결과를 기초로 상기 사용자의 수면 상태를 비-수면(non sleep), 비-렘수면(non REM sleep), 렘수면(REM sleep) 중 하나로 결정할 수 있다.
상기와 같은 본 발명에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치 및 방법을 이용할 경우에는 움직임 정보에 생체 정보를 추가로 이용하여 수면 상태를 감지하므로 더 정확한 수면 상태를 파악할 수 있다.
또한, 사용자에게 수면 상태에 따른 수면 주기를 제공하므로 사용자가 수면 주기에 따른 생활 패턴을 결정하는 데 용이하다.
또한, 기존의 움직임 센서가 내장된 웨어러블 디바이스에 생체신호 센서를 추가로 이용하여 수면의 상태 및 질을 파악하므로 일반 가정이나 의료기관에서 의료 보조 장치로 쉽게 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 수면 상태를 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치에 대한 기능적 모듈을 도시한 구성도이다.
도 3은 움직임 센서에서 측정된 움직임 데이터 중에서 임계값 이상만을 추출하여 나타낸 그래프이다.
도 4는 움직임 정보를 이용하여 수면 상태를 판단한 결과를 나타낸 그래프이다.
도 5는 생체 정보를 측정하는 광용적맥파 센서를 이용하여 측정한 광용적맥파 신호를 나타낸 그래프이다.
도 6은 도 5에 따른 광용적맥파 신호를 이용하여 심박수를 추출한 그래프이다.
도 7은 도 6에 따른 심박수를 주파수 영역에서 분석한 심박변이도를 나타낸 그래프이다.
도 8은 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 방법에 대한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치 및 방법을 이용하여 수면 상태를 판단한 결과를 나타낸 그래프이다.
도 10은 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치에 대한 구성도이다.
도 11a 내지 도 11c는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 방법에서 움직임 정보를 이용한 1차 수면 상태 판단 과정을 나타낸 흐름도이다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 방법에서 생체 정보를 이용한 2차 수면 상태 판단 과정을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 수면 상태를 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명에서는 사용자의 수면 상태를 각성 상태(WAKE), 비-렘 수면(NREM, Non-Rapid Eye Movement sleep) 상태, 렘 수면(REM, rapid eye movement sleep) 상태로 나누어 판단할 수 있다. 이때, 비-렘 수면 상태는 그 수면의 정도나 깊이에 따라 적어도 하나 이상의 세부 단계(S1, S2, S3, S4)로 나누어 판단할 수 있다.
여기서 본 발명의 일 실시예에 따르면, 단지 각성 상태, 비-렘 수면 상태, 렘 수면 상태를 판단하는 것에 그치는 것이 아니라, 각각의 수면 상태에서 다른 단계로의 전환 여부를 판단하게 될 수 있다. 이때, 수면 상태의 전환은 각성 상태에서 비-렘 수면 상태, 렘 수면 상태의 연결관계에 따라 한단계씩 전환 여부를 판단할 수도 있으며, 각성 상태에서 렘 수면 상태로의 전환이나, 비-렘 수면 상태의 제4 단계(S4)에서 제2 단계(S2)로의 전환과 같이 여러 단계의 전환이 한번에 이루어질 수도 있다.
또한, 본 발명의 일 실시예에 따르면, 각성 상태에서 다시 각성 상태로의 전환이나 렘 수면 상태에서 다시 렘 수면 상태로의 전환과 같이 동일한 상태로의 전환 판단 또한 가능할 수 있다.
도 2는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치에 대한 기능적 모듈을 도시한 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치(100)는 센서부(10), 수면 상태 인지부(30), 수면상태 통합 인지부(50), 사용자 입출력 인터페이스(70), 통신 입출력 인터페이스(90) 중 적어도 하나를 포함할 수 있다.
센서부(10)는 움직임 센서(11) 및 생체신호 센서(13)를 포함할 수 있다. 여기서, 센서부(10)는 생체 및 움직임 정보를 이용한 수면 상태 감지 장치(100)와 별도로 스마트 밴드, 스마트 워치, 스마트 의류 등 웨어러블(wearable) 장치에 내장되어 구현될 수도 있으며, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치(100)가 웨어러블 장치로서 구현될 수도 있다. 따라서, 움직임 센서(11) 및 생체신호 센서(13)는 사용자의 손목 부위 등에 착용될 수 있다.
움직임 센서(11)는 사용자의 움직임을 감지할 수 있는 지자기 센서, 자이로스코프 센서, 중력 센서 등을 포함할 수 있으나 이에 한정되지 않는다. 생체신호 센서(13)는 광학적 특성을 통해 사용자 몸의 혈류량을 측정하여 심박 활동 상태를 추정하는 광용적맥파(PPG, photo-plethysmograph) 센서일 수 있으나, 이에 한정되지 않는다. 움직임 센서(11) 및 생체신호 센서(13)는 사용자의 손목 부위 등에 착용되어 데이터를 측정할 수 있다.
수면 상태 인지부(30)는 움직임 신호 기반 수면 상태 인지 모듈(31) 및 생체 신호 기반 수면 상태 인지 모듈(33)을 포함할 수 있다. 움직임 신호 기반 수면 상태 인지 모듈(31)은 움직임 센서(11)의 움직임 정보를 기초로 수면 상태를 인지할 수 있고, 생체 신호 기반 수면 상태 인지 모듈(33)은 생체신호 센서(13)가 측정한 생체 정보를 기초로 수면 상태를 인지할 수 있다.
수면상태 통합 인지부(50)는 수면 상태 인지부(30)의 결과를 통합 및 정리하여 수면의 질 및 수면의 질을 분석하고 관리를 수행할 수 있다. 본 발명에 따른 일 실시예에서 수면상태 통합 인지부(50)는 움직임 정보 기반 수면 인지 모듈(31)로부터 획득한 수면(sleep) 및 비수면(wake) 정보와 생체 신호 기반 수면 인지 모듈(33)로부터 획득한 수면상태(렘수면 및 넌렘수면) 정보를 기반으로 수면(sleep) 및 비수면(wake) 주기와 렘수면 및 넌렘수면(sleep) 주기를 검출할 수 있다. 즉, 수면상태 통합 인지부(50)은 수면 상태 인지부(30)의 수면 상태 결과들을 기반으로 데이터를 분석하여 최종 수면 상태를 결정하고 수면의 질을 판단할 수 있다.
사용자 입출력 인터페이스(70)은 수면상태 인지부(30) 및 수면상태 통합 인지부(50)의 결과를 사용자의 시각, 촉각 등으로 인식할 수 있도록 출력할 수 있도록 디스플레이 장치 또는 진동 장치 등을 포함할 수 있다. 또한, 사용자 입출력 인터페이스(70)는 사용자의 초기 설정, 조작 명령 등의 입력을 수신하는 터치 스크린, 키보드, 마우스 등을 포함할 수 있다.
통신 입출력 인터페이스(90)는 수면상태 인지부(30) 및 수면상태 통합 인지부(50)의 결과를 외부의 서버(server), 데이터베이스(database) 등으로 전송하는 유무선 통신 네트워크 모듈일 수 있다.
도 3은 움직임 센서에서 측정된 움직임 데이터 중에서 임계값 이상만을 추출하여 나타낸 그래프이다.
도 3을 참조하면, 움직임 센서를 통해 사용자의 움직임을 센싱하고, 센싱된 움직임 정보(광용적맥파 신호인 경우 16Hz Raw Data, Band-pass Filter를 적용)를 분석하고, 임계값 이상의 움직임 강도만을 표시한 그래프를 확인할 수 있다. 여기서 가로축은 움직임을 센싱한 시간이며, 세로축은 움직임 강도를 나타낸다.
한편, 여기서 움직임 강도(MV)는 사용자의 움직임 정보를 기초로 움직임의 크기를 산출한 값으로서 움직임 정보가 사용자의 x, y, z 방향의 이동거리를 포함할 경우 다음의 수학식 1과 같이 산출할 수 있다.
Figure pat00001
상기 수학식 1을 참조하면, 본 발명에서 움직임 강도는 사용자(또는 사용자가 착용한 웨어러블 기기)가 이동한 거리를 의미할 수 있다.
도 4는 움직임 정보를 이용하여 수면 상태를 판단한 결과를 나타낸 그래프이다.
본 발명에 따른 일 실시예에서는 움직임 센서를 통해 센싱된 움직임 정보를 분석하여 도 3에 따른 임계값 이상의 움직임 강도를 획득하는 과정과 함께, 움직임 빈도를 추가로 고려하여 수면 상태를 판단할 수 있다. 이때, 움직임 빈도(Countact)는 다음의 수학식 2와 같이 산출할 수 있다.
Figure pat00002
상기 수학식 2를 참조하면, 미리 설정된 시간(또는 수면모드체크시간으로 지칭)동안 산출된 각각의 움직임 강도(MVn)가 임계값(threshold)를 초과하는지 판단하고, 초과한 경우 움직임 빈도를 하나씩 증가시킴으로써 미리 설정된 시간 동안의 움직임 빈도를 산출할 수 있다.
산출된 움직임 빈도와 도 3에 따른 움직임 강도를 종합적으로 판단하는 알고리즘을 사용하여 사용자의 수면 상태를 결정할 수 있다. 예를 들면, 미리 설정된 시간 동안 산출된 움직임 빈도가 임계값보다 큰 경우에 사용자를 비수면 상태로 판단하거나, 상기 미리 설정된 시간동안 산출된 움직임 강도 중에서 수학식 2에 따른 임계값보다 더 큰 제2 임계값을 초과하는 움직임 강도가 발견되면, 사용자를 비수면 상태로 판단할 수 있다. 또는, 산출된 움직임 강도와 움직임 빈도에 대하여 가중치를 부여하여 움직임 스코어(score)를 산출하고, 산출된 움직임 스코어를 통해 사용자의 수면 상태를 판단할 수 있다.
도 4를 참조하면, 움직임 정보를 기초로 수면상태를 판단한 결과로 수면 상태(401)와 비수면 상태(402)를 확인할 수 있다.
도 5는 생체 정보를 측정하는 광용적맥파 센서를 이용하여 측정한 광용적맥파 신호를 나타낸 그래프이다. 도 6은 도 5에 따른 광용적맥파 신호를 이용하여 심박수를 추출한 그래프이다.
본 발명에 따른 일 실시예에 따르면, 생세신호 센서로 광용적맥파 센서를 이용할 경우 광용적맥파 신호를 측정할 수 있는데, 이때 측정된 광용적맥파 신호가 도 5와 같다. 여기서, 가로축은 시간 축이고, 세로축은 맥파의 진폭을 나타낸다.
도 5를 참조하면,시간에 따른 광용적맥파의 신호를 확인할 수 있는데, 이때 측정된 도 5의 그래프상의 마루-골(peak to peak) 값(501)을 측정하여 그래프를 다시 그리면 도 6과 같이 마루-골 차를 세로축으로 하는 그래프를 도출할 수 있다. 이때, 도 6의 그래프에서 주파수를 측정(예를 들면, 분당 주파수로 환산)하면, 사용자의 심박수(501)를 측정할 수 있다.
한편, 여기서 생체신호 센서로 생체신호를 측정하는 과정은 앞선 도 4에서 움직임 정보를 이용한 수면 상태를 판단한 이후에 개시됨으로써, 움직임 정보에 따른 1차 수면 상태 판단에 이은 2차적 수면 상태 판단에 해당할 수 있다.
도 7은 도 6에 따른 심박수를 주파수 영역에서 분석한 심박변이도를 나타낸 그래프이다. 도 8는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치 및 방법을 이용하여 수면 상태를 판단한 결과를 나타낸 그래프이다.
도 7을 참조하면, 도 6에서의 마루-골 값의 차이를 이용하여 도출한 심박수를 이용하여 도출된 분석값을 나타낸 그래프를 확인할 수 있다. 이와 같이 나타난 심박변이도 분석값을 토대로 사용자의 수면 상태를 렘수면(Rapid Eye Movement sleep, REM sleep) 상태, 넌렘수면(Non-Rapid Eye Movement sleep, NREM sleep) 및 비수면(또는 각성, wake) 상태로 분류하여 수면 상태 결과를 도시하면 도 8와 같은 그래프를 도출할 수 있다.
도 8을 참조하면, 시간에 따른 수면 상태 결과로서, 비수면 상태(802), 비-렘수면 상태(801) 및 렘수면 상태(803)를 확인할 수 있다. 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치 에 따르면, 도 8과 같이 도출된 수면 상태를 기초로, 수면의 질을 분석하고 사용자에 대한 관리를 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 방법에 대한 흐름도이다.
도 9를 참조하면, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법(S100)은, 움직임 센서를 이용하여 사용자의 움직임 정보를 획득하는 단계, 획득한 움직임 정보를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계(S110), 상기 1차 수면 상태가 결정되면, 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계(S120) 및 획득한 생체 정보와 상기 1차 수면 상태를 종합하여 상기 사용자의 최종 수면 상태를 결정하는 단계(S130)를 포함할 수 있다.
여기서 상기 1차 수면 상태를 결정하는 단계(S110)는, 상기 움직임 정보에서 움직임 강도와 움직임 빈도를 산출하는 단계, 산출한 상기 움직임 강도와 상기 움직임 빈도를 기초로 움직임 스코어를 산출하는 단계 및 산출한 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 움직임 빈도는, 미리 설정된 시간 간격 동안 상기 움직임 강도가 미리 설정된 임계값을 초과하는 횟수일 수 있다.
여기서 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계는, 상기 움직임 스코어에 기초하여 상기 사용자의 1차 수면 상태를 수면(sleep) 또는 비-수면(non-sleep) 중 하나로 결정할 수 있다.
여기서 상기 생체 정보는, 상기 사용자에 대한 광용적맥파(Photoplethysmography) 신호를 포함할 수 있다.
여기서 상기 사용자의 최종 수면 상태를 결정하는 단계(S130)는, 상기 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계, 산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계 및 비교한 결과와 상기 1차 수면 상태를 종합하여 상기 최종 수면 상태를 결정하는 단계를 포함할 수 있다. 이때, 일상 심박변이도는 사용자의 평소 심박변이도로서 미리 수집되어 사용될 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 크면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 렘(REM)수면으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도와 미리 설정된 오차범위 이내에서 동일하면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 비-수면(non sleep)으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 작고, 상기 1차 수면 상태가 수면(sleep)이면, 상기 최종 수면 상태를 비-렘수면(non REM sleep)으로 결정할 수 있다.
여기서 상기 비-렘수면은 상기 산출한 심박변이도에 따라 적어도 두개 이상의 비-렘수면 단계로 세분화되어 결정될 수 있다.
한편, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법은 움직임 정보 이외에 생체 정보만을 이용하여 구현하는 것도 가능할 수 있다.
따라서, 본 발명의 일 실시예에 따른 생체 정보를 이용한 수면 상태 감지 방법은 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계, 상기 생체 정보에 포함된 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계, 산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계 및 비교한 결과를 기초로 상기 사용자의 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 사용자의 수면 상태를 결정하는 단계는, 상기 비교한 결과를 기초로 상기 사용자의 수면 상태를 비-수면(non sleep), 비-렘수면(non REM sleep), 렘수면(REM sleep) 중 하나로 결정할 수 있다.
여기서 생체 정보를 이용한 수면 상태 감지 방법은 상기 단계 이외에도 본 명세서 전체에서 설명하는 생체 및 움직임 정보를 이용한 수면 상태 감지 방법의 구성요소를 포함하는 것으로 해석되어야 한다.
도 10은 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 장치에 대한 구성도이다.
도 10을 참조하면, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치(100)는, 적어도 하나의 프로세서(processor, 110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.
여기서 생체 및 움직임 정보를 이용한 수면 상태 감지 장치(100)는, 유무선 네트워크를 이용하여, 수면 상태를 판단한 결과를 외부의 서버나 데이터베이스로 전송하고 초기 설정 명령 등을 수신하는 통신 모듈(130)을 더 포함할 수 있다.
여기서 생체 및 움직임 정보를 이용한 수면 상태 감지 장치(100)는, 움직임 센서 또는 생체신호 센서로부터 수신한 움직임 정보 또는 생체 정보를 저장하고, 수면 상태 판단 결과 및 각종 설정 정보를 저장하는 저장소(storage, 140)를 더 포함할 수 있다.
여기서 상기 적어도 하나의 단계는, 움직임 센서를 이용하여 사용자의 움직임 정보를 획득하는 단계, 획득한 움직임 정보를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계, 상기 1차 수면 상태가 결정되면, 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계 및 획득한 생체 정보와 상기 1차 수면 상태를 종합하여 상기 사용자의 최종 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 1차 수면 상태를 결정하는 단계는, 상기 움직임 정보에서 움직임 강도와 움직임 빈도를 산출하는 단계, 산출한 상기 움직임 강도와 상기 움직임 빈도를 기초로 움직임 스코어를 산출하는 단계 및 산출한 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 움직임 빈도는, 미리 설정된 시간 간격 동안 상기 움직임 강도가 미리 설정된 임계값을 초과하는 횟수일 수 있다.
여기서 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계는, 상기 움직임 스코어에 기초하여 상기 사용자의 1차 수면 상태를 수면(sleep) 또는 비-수면(non-sleep) 중 하나로 결정할 수 있다.
여기서 상기 생체 정보는, 상기 사용자에 대한 광용적맥파(Photoplethysmography) 신호를 포함할 수 있다.
여기서 상기 사용자의 최종 수면 상태를 결정하는 단계는, 상기 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계, 산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계 및 비교한 결과와 상기 1차 수면 상태를 종합하여 상기 최종 수면 상태를 결정하는 단계를 포함할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 크면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 렘(REM)수면으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도와 미리 설정된 오차범위 이내에서 동일하면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 비-수면(non sleep)으로 결정할 수 있다.
여기서 상기 최종 수면 상태를 결정하는 단계는, 상기 산출한 심박변이도가 상기 일상 심박변이도보다 작고, 상기 1차 수면 상태가 수면(sleep)이면, 상기 최종 수면 상태를 비-렘수면(non REM sleep)으로 결정할 수 있다.
여기서 상기 비-렘수면은 상기 산출한 심박변이도에 따라 적어도 두개 이상의 비-렘수면 단계로 세분화되어 결정될 수 있다.
여기서 생체 및 움직임 정보를 이용한 수면 상태 감지 장치(100)의 예를 들면, 통신 가능한 CPU, 메모리 H/W 및 SW 기능이 적재된 스마트 워치(smart watch), 스마트 밴드, 스마트 글래스(smart glass), 스마트 헬맷, 스마트 의류, 스마트 이어폰, 스마트 보청기등 웨어러블(wearable) 장치, 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimediaplayer), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimediabroadcasting) 재생기, 디지털 음성 녹음기(digital audiorecorder), 디지털 음성 재생기(digital audioplayer), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
도 11a 내지 도 11c는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 방법에서 움직임 정보를 이용한 1차 수면 상태 판단 과정을 나타낸 흐름도이다. 도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 생체 및 움직임 정보를 이용한 수면 상태 감지 방법에서 생체 정보를 이용한 2차 수면 상태 판단 과정을 나타낸 흐름도이다.
먼저, 도 11a 내지 도 11c를 참조하여 움직임 정보 기반의 1차 수면 상태 판단 과정을 설명하면, 움직임 임계값, 수면모드체크시간 임계값을 설정(S201)하고, 심박변이도 참조값(일상 심박변이도 또는 일상 심박변이도에 임의의 변수를 곱한 값)을 설정(S202)하며, 수면모드체크시간의 초기화(예를 들면 0으로 초기화) 및/또는 움직임 빈도의 초기화(예를 들면 0으로 초기화)를 하고(S203) 수면모드체크시간에 대한 카운트를 시작할 수 있다(S204). 이때 단계 S201 내지 S203은 순서에 관계없이 동시에 또는 서로 다른 순서로 수행될 수 있다.
단계 S201 내지 S204을 수행한 후, 움직임 정보를 이용한 1차 수면상태 인지 과정으로, 사용자가 착용한 웨어러블 디바이스에 움직임 센서 모듈이 장착되어 있는지를 확인할 수 있다(S205).
이때 단계 S205는 움직임 센서로부터 신호가 수신되는지 여부로 구현될 수 있다. 여기서 움직임 센서 모듈이 장착되지 않은 웨어러블 디바이스인 경우, 1차 수면상태를 “수면”으로 판단할 수 있다(S227). 단계 S227을 수행한 후, 움직임스코어링값(움직임 강도 및 빈도 값이 “0”)이 “0” 즉, 움직임이 전혀 없었다고 수면상태를 “수면(sleep)”이라 판정하는 것은 사용자가 깨어있는 상태에서 움직임만 없었을 수 있어 부적절할 수 있다. 따라서, 생체신호를 이용한 수면상태 판단을 수행하기 위하여 수면의 질 정보(REM 수면모드시간 = 0, NREM 수면모드시간 = 0, 움직임시간= 0, 비움직임 시간 = 0)를 초기화하고 도 12a에 따른 생체신호 기반 수면상태 분석을 시작할 수 있다(S228).
한편, 움직임 센서 모듈이 장착된 웨어러블 디바이스인 경우, 도 11b에 따라 웨어러블 디바이스를 이용하여 움직임 센서 신호를 측정(S206)하고, 움직임 값을 산출할 수 있다(S207).
단계 S206 내지 S207을 수행한 후, 산출된 움직임 값이 기설정 움직임 임계값보다 큰지 여부를 조사할 수 있다(S208).
여기서 단계 S208에 따른 조사 결과, 움직임값이 기설정 움직임 임계값보다 크거나 같으면, 움직임 빈도를 1 증가(카운트)시키고(S209), 움직임 강도를 산출(S210)하며 수면모드체크시간을 1 증가(카운트) 시킬 수 있다(S211). 상기 단계 S209 내지 S211을 수행한 후, 수면모드체크시간 카운트 값이 수면모드체크시간 임계값 보다 크거나 같은지 조사(S212)할 수 있다.
여기서 단계S212에 따른 조사 결과, 수면모드체크시간 카운트값이 수면모드체크시간 임계값보다 작으면, 1차 수면상태를 “비수면(wake)”으로 판단하고(S213), 일정 수면모드체크시간 동안 단계 S206 내지 S212 과정을 반복하여 움직임 정보를 통한 수면상태 인지를 수행할 수 있다.
또한, 단계 S208에 따른 조사 결과, 움직임값이 기설정 움직임 임계값 보다 작으면, 움직임 빈도 카운트를 “0”으로 하고(S214), 비움직임 시간을 기록(S215)하며 수면모드체크시간을 1 증가(카운트) 시킬 수 있다(S216). 상기 단계 S214 내지 S216을 수행한 후, 수면모드체크시간 카운트값이 수면모드체크시간 임계값 보다 크거나 같은지 조사(S217)할 수 있다. 단계 S217에 따른 조사 결과, 수면모드체크시간 카운트값이 수면모드체크시간 임계값보다 작으면, 1차 수면상태를 “수면(sleep)”으로 판단하고(S218), 일정 수면모드체크시간 동안 S206 내지 S217내지 과정을 반복하여 움직임 정보를 통한 수면상태 인지를 수행할 수 있다.
여기서 단계 S212 또는 단계 S217에 따른 조사 결과, 수면모드체크시간 카운트값이 수면모드체크시간 임계값보다 크거나 같으면, 도 11c에 따라 일정 수면모드체크시간 동안의 움직임 강도와 빈도를 기반으로 수면과 비수면에 대한 점수부여를 통해 움직임 스코어를 산출(S219)하고, 산출된 움직임 스코어를 조사 분석(S220)할 수 있다.
단계 S220에 따른 조사 결과, 움직임 스코어링값이 비수면 임계값 보다 크거나 같으면(S221), 1차 수면상태를 “비수면”으로 판단(S222)할 수 있다.
단계 S220에 따른 조사 결과, 움직임 스코어링값이 비수면 임계값 보다 작으면(S223), 1차 수면상태를 “수면”으로 판단(S224)할 수 있다.
단계 S220에 따른 조사 결과, 움직임 스코어링값이 “0”이면, 즉 움직임이 전혀 없었으면(S225), 1차 수면상태를 “수면”으로 판단(S226)할 수 있다.
단계 S222을 수행한 후, 움직임이 있다고 비수면(깨어남)이라 판정하는 것은 무리가 있다. 따라서, 정확한 수면상태 판단을 위하여 생체신호를 이용한 수면상태 판단을 수행하기 위하여 수면의 질 정보(REM 수면모드시간 = 0, NREM 수면모드시간 = 0, 움직임시간= 0, 비움직임 시간 = 0)를 초기화하고 도 12a에 따른 생체신호 기반 수면상태 분석을 시작(S227)할 수 있다.
또한,단계 S224 또는 단계 S226을 수행한 후, 움직임스코어링값(움직임 강도 및 빈도 값)이 “0”이거나 작다고 하여, 수면상태를 “수면(sleep)”이라 판정하는 것은 사용자가 깨어있는 상태에서 움직임만 없거나 적을 수 있어 부적절하다. 따라서, 생체신호를 이용한 수면상태 판단을 수행하기 위하여 수면의 질 정보(REM 수면모드시간 = 0, NREM 수면모드시간 = 0, 움직임시간= 0, 비움직임 시간 = 0)를 초기화하고 도 12a에 따른 생체신호 기반 수면상태 분석을 시작할 수 있다(S228).
도 11a 내지 도 11c에 따른 과정을 종합하면, 본 발명의 일 실시예에서는 일정 수면모드체크시간 동안의 움직임 강도와 빈도를 기반으로 수면/비수면 스코어링(산출)하여(S219) 1차 수면상태를 분석할 수 있다. 그 후 도 12a 내지 도 12c에 따른 과정인, 2차 수면상태 분석을 위하여 생체신호를 이용하여 수면상태 및/또는 수면의 질을 분석할 수 있다.
도 12a 내지 도 12c를 참조하여 생체신호를 이용한 수면상태 인지 과정을 설명하면, 웨어러블(손목시계형/밴드형, 헤어밴드형 등) 디바이스(장치)를 이용하여 생체신호를 센싱(측정) 하고(S229) 센싱된 생체신호를 이용하여 심박을 추출(S230)할 수 있다. 단계 S229 내지 S230를 수행한 후, 주파수 영역의 심박변이도를 추출하여(S231) 심박변이를 분석(S232)할 수 있다.
단계 S232에 따른 조사 결과, 1차 수면상태가 “비수면”이고, 수면심박변이도(수면중 추출된 심박변이도값)가 일상심박변이도(일상생활중 추출된 심박변이도값) 참조값과 같으면(S233), 2차 수면상태를 “비수면(wake)”로 최종 결정하고(S234), 취침 시작에서 깨어남까지 기간 동안 “움직임 시간” 및 비수면모드시간을 추출(계산)하여(S235) 비수면모드시간을 기록(S236)할 수 있다.
단계 S236을 수행한 후, 수면모드시간을 “0”으로 초기화, 움직임 빈도값도 “0”으로 초기화하고(S237) 수면모드시간 카운트 시작(S238)할 수 있다. 그 다음으로 도 11의 단계 S205 또는 S206으로 돌아가, 취침이 끝날 때까지 수면상태 및 수면의 질 분석(S201 내지 S259)을 계속 반복 수행할 수 있다.
단계 S232에 따른 조사 결과, 1차 수면상태가 “비수면”이고, 수면심박변이도(수면중 추출된 심박변이도값)가 일상심박변이도(일상생활중 추출된 심박변이도값) 참조값 보다 크면(S239), 2차 수면상태를 “수면(REM)”로 최종 결정하고(S240), 취침 시작에서 깨어남까지 기간 동안 “비움직임 시간”을 추출(계산)하고(S241) REM수면모드시간을 추출하여(S242) REM수면모드시간을 기록(S243)할 수 있다.
단계 S239 내지 S243를 수행한 후, 단계 S229로 돌아가 취침이 끝날 때까지 수면상태 및 수면의 질 분석을 계속 반복 수행할 수 있다.
단계 S232에 따른 조사 결과, 1차 수면상태가 “수면”이고(이면서) 수면심박변이도(수면중 추출된 심박변이도값)가 일상심박변이도(일상생활중 추출된 심박변이도값) 참조값 보다 크면(S244), 2차 수면상태를 “수면(REM)”로 최종 결정하고(S245), 취침 시작에서 깨어남까지 기간 동안 “비움직임 시간”을 추출(계산)하고(S246) REM수면모드시간을 추출하여(S247) REM수면모드시간을 기록(S248)할 수 있다.
단계 S244 내지 S248을 수행한 후, 단계 S229로 돌아가 취침이 끝날때까지 수면상태 및 수면의 질 분석을 계속 반복 수행할 수 있다.
단계 S232에 따른 조사 결과, 1차 수면상태가 “수면”이고(이면서) 수면심박변이도(수면중 추출된 심박변이도값)가 일상심박변이도(일상생활중 추출된 심박변이도값) 참조값 보다 작으면(S249), 2차 수면상태를 “수면(NREM)”로 최종 결정하고, 자세하게 움직임 스코어링값과 수면중 추출된 심박변이도값을 이용하여 NREM(S1,S2,S3,S4) 수면단계 임계값에 따른 레벨링을 통해 “수면 NREM(S1,S2,S3,S4)”상태로 최종 결정하고(S250), 취침 시작에서 깨어남까지 기간 동안 “움직임 시간”을 추출(계산)하고(S251) NREM수면모드시간을 추출하여(S252) NREM수면모드시간을 기록(S253)할 수 있다.
단계 S249 내지 S255을 수행한 후, 단계 S229로 돌아가 취침이 끝날 때까지 수면상태 및 수면의 질 분석을 계속 반복 수행할 수 있다.
단계 S232에 따른 조사 결과, 1차 수면상태가 “수면”이고(이면서) 수면심박변이도(수면중 추출된 심박변이도값)가 일상심박변이도(일상생활중 추출된 심박변이도값) 참조값과 같으면(S254), 2차 수면상태를 “비수면(wake)”로 최종 결정하고(S255), 취침 시작에서 깨어남까지 기간 동안 “움직임 시간” 및 비수면모드시간을 추출(계산)하여(S256) 비수면모드시간을 기록(S257)할 수 있다.
단계 S254 내지 S257을 수행한 후, 수면모드시간을 “0”으로 초기화, 움직임 빈도값도 “0”으로 초기화하고(S258) 수면모드시간 카운트 시작(S259)할 수 있다. 그 다음으로 도 11의 단계 S205 또는 S206으로 돌아가, 취침이 끝날 때까지 수면상태 및 수면의 질 분석을 계속 반복 수행할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 움직임 센서를 이용하여 사용자의 움직임 정보를 획득하는 단계;
    획득한 움직임 정보를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계;
    상기 1차 수면 상태가 결정되면, 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계; 및
    획득한 생체 정보와 상기 1차 수면 상태를 종합하여 상기 사용자의 최종 수면 상태를 결정하는 단계를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  2. 청구항 1에서,
    상기 1차 수면 상태를 결정하는 단계는,
    상기 움직임 정보에서 움직임 강도와 움직임 빈도를 산출하는 단계;
    산출한 상기 움직임 강도와 상기 움직임 빈도를 기초로 움직임 스코어를 산출하는 단계; 및
    산출한 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  3. 청구항 2에서,
    상기 움직임 빈도는,
    미리 설정된 시간 간격 동안 상기 움직임 강도가 미리 설정된 임계값을 초과하는 횟수인, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  4. 청구항 2에서,
    상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계는,
    상기 움직임 스코어에 기초하여 상기 사용자의 1차 수면 상태를 수면(sleep) 또는 비-수면(non-sleep) 중 하나로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  5. 청구항 1에서,
    상기 생체 정보는,
    상기 사용자에 대한 광용적맥파(Photoplethysmography) 신호를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  6. 청구항 5에서,
    상기 사용자의 최종 수면 상태를 결정하는 단계는,
    상기 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계;
    산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계; 및
    비교한 결과와 상기 1차 수면 상태를 종합하여 상기 최종 수면 상태를 결정하는 단계를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  7. 청구항 6에서,
    상기 최종 수면 상태를 결정하는 단계는,
    상기 산출한 심박변이도가 상기 일상 심박변이도보다 크면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 렘(REM)수면으로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  8. 청구항 6에서,
    상기 최종 수면 상태를 결정하는 단계는,
    상기 산출한 심박변이도가 상기 일상 심박변이도와 미리 설정된 오차범위 이내에서 동일하면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 비-수면(non sleep)으로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  9. 청구항 6에서,
    상기 최종 수면 상태를 결정하는 단계는,
    상기 산출한 심박변이도가 상기 일상 심박변이도보다 작고, 상기 1차 수면 상태가 수면(sleep)이면, 상기 최종 수면 상태를 비-렘수면(non REM sleep)으로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 방법.
  10. 생체 및 움직임 정보를 이용한 수면 상태 감지 장치로서,
    적어도 하나의 프로세서(processor); 및
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
    상기 적어도 하나의 단계는,
    움직임 센서를 이용하여 사용자의 움직임 정보를 획득하는 단계;
    획득한 움직임 정보를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계;
    상기 1차 수면 상태가 결정되면, 생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계; 및
    획득한 생체 정보와 상기 1차 수면 상태를 종합하여 상기 사용자의 최종 수면 상태를 결정하는 단계를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  11. 청구항 10에서,
    상기 1차 수면 상태를 결정하는 단계는,
    상기 움직임 정보에서 움직임 강도와 움직임 빈도를 산출하는 단계;
    산출한 상기 움직임 강도와 상기 움직임 빈도를 기초로 움직임 스코어를 산출하는 단계; 및
    산출한 상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  12. 청구항 11에서,
    상기 움직임 빈도는,
    미리 설정된 시간 간격 동안 상기 움직임 강도가 미리 설정된 임계값을 초과하는 횟수인, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  13. 청구항 11에서,
    상기 움직임 스코어를 기초로 상기 사용자의 1차 수면 상태를 결정하는 단계는,
    상기 움직임 스코어에 기초하여 상기 사용자의 1차 수면 상태를 수면(sleep) 또는 비-수면(non-sleep) 중 하나로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  14. 청구항 10에서,
    상기 생체 정보는,
    상기 사용자에 대한 광용적맥파(Photoplethysmography) 신호를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  15. 청구항 14에서,
    상기 사용자의 최종 수면 상태를 결정하는 단계는,
    상기 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계;
    산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계; 및
    비교한 결과와 상기 1차 수면 상태를 종합하여 상기 최종 수면 상태를 결정하는 단계를 포함하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  16. 청구항 15에서,
    상기 최종 수면 상태를 결정하는 단계는,
    상기 산출한 심박변이도가 상기 일상 심박변이도보다 크면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 렘(REM)수면으로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  17. 청구항 15에서,
    상기 최종 수면 상태를 결정하는 단계는,
    상기 산출한 심박변이도가 상기 일상 심박변이도와 미리 설정된 오차범위 이내에서 동일하면, 상기 1차 수면 상태에 관계 없이 상기 최종 수면 상태를 비-수면(non sleep)으로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  18. 청구항 15에서,
    상기 최종 수면 상태를 결정하는 단계는,
    상기 산출한 심박변이도가 상기 일상 심박변이도보다 작고, 상기 1차 수면 상태가 수면(sleep)이면, 상기 최종 수면 상태를 비-렘수면(non REM sleep)으로 결정하는, 생체 및 움직임 정보를 이용한 수면 상태 감지 장치.
  19. 생체 정보를 이용한 수면 상태 감지 방법에서,
    생체신호 센서를 이용하여 상기 사용자의 생체 정보를 획득하는 단계;
    상기 생체 정보에 포함된 광용적맥파 신호를 분석하여 심박변이도를 산출하는 단계;
    산출한 심박변이도를 미리 설정된 일상 심박변이도와 비교하는 단계; 및
    비교한 결과를 기초로 상기 사용자의 수면 상태를 결정하는 단계를 포함하는, 생체 정보를 이용한 수면 상태 감지 방법.
  20. 청구항 19에서,
    상기 사용자의 수면 상태를 결정하는 단계는,
    상기 비교한 결과를 기초로 상기 사용자의 수면 상태를 비-수면(non sleep), 비-렘수면(non REM sleep), 렘수면(REM sleep) 중 하나로 결정하는, 생체 정보를 이용한 수면 상태 감지 방법.
KR1020180024655A 2017-06-07 2018-02-28 생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치 KR102036987B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/997,953 US11266346B2 (en) 2017-06-07 2018-06-05 Method and apparatus for determining sleep state using biometric information and motion information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170070972 2017-06-07
KR1020170070972 2017-06-07

Publications (2)

Publication Number Publication Date
KR20180133779A true KR20180133779A (ko) 2018-12-17
KR102036987B1 KR102036987B1 (ko) 2019-10-25

Family

ID=65007391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180024655A KR102036987B1 (ko) 2017-06-07 2018-02-28 생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102036987B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100888A (ko) * 2018-02-21 2019-08-29 연세대학교 원주산학협력단 맥박산소측정기를 이용한 수면단계 분류 장치 및 방법
KR20200089001A (ko) * 2019-01-16 2020-07-24 재단법인대구경북과학기술원 수면 상태 판단 장치 및 방법
KR102181856B1 (ko) * 2019-10-28 2020-11-23 주식회사 젠다카디언 웨이크-업 감지 장치
KR20210066594A (ko) 2019-11-28 2021-06-07 울산과학기술원 생체 신호 감지기와 수면 분석 장치 및 방법
KR102268804B1 (ko) * 2021-02-16 2021-06-25 최현수 Ai를 이용하여 수면 상태에 따른 조명과 음악을 제공하는 방법 및 장치
WO2022211272A1 (ko) * 2021-03-31 2022-10-06 삼성전자 주식회사 사용자 자세에 기반하여 혈압을 측정하는 전자 장치 및 그 제어 방법
KR102538647B1 (ko) * 2023-02-22 2023-05-31 젠다카디언 인코포레이티드 생체정보 신호의 희귀도 판단장치 및 방법
KR102548971B1 (ko) * 2022-10-17 2023-06-29 (주)피플앤드테크놀러지 스마트 지능형 돌봄 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3987053B2 (ja) * 2004-03-30 2007-10-03 株式会社東芝 睡眠状態判定装置および睡眠状態判定方法
US8292819B2 (en) * 2008-11-17 2012-10-23 National Yang-Ming University Sleep analysis system and method for analyzing sleep thereof
JP2013150660A (ja) * 2012-01-24 2013-08-08 Rohm Co Ltd 睡眠センサ
KR20140120513A (ko) * 2013-04-03 2014-10-14 삼성전자주식회사 수면 단계를 판단하기 위한 장치 및 방법
JP2016107095A (ja) 2014-12-05 2016-06-20 公立大学法人首都大学東京 睡眠段階判定装置、睡眠段階判定方法、及び睡眠段階判定プログラム、並びにストレス度判定方法
WO2016108751A1 (en) * 2014-12-30 2016-07-07 Nitto Denko Corporation Device and method for sleep monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3987053B2 (ja) * 2004-03-30 2007-10-03 株式会社東芝 睡眠状態判定装置および睡眠状態判定方法
US8292819B2 (en) * 2008-11-17 2012-10-23 National Yang-Ming University Sleep analysis system and method for analyzing sleep thereof
JP2013150660A (ja) * 2012-01-24 2013-08-08 Rohm Co Ltd 睡眠センサ
KR20140120513A (ko) * 2013-04-03 2014-10-14 삼성전자주식회사 수면 단계를 판단하기 위한 장치 및 방법
JP2016107095A (ja) 2014-12-05 2016-06-20 公立大学法人首都大学東京 睡眠段階判定装置、睡眠段階判定方法、及び睡眠段階判定プログラム、並びにストレス度判定方法
WO2016108751A1 (en) * 2014-12-30 2016-07-07 Nitto Denko Corporation Device and method for sleep monitoring

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100888A (ko) * 2018-02-21 2019-08-29 연세대학교 원주산학협력단 맥박산소측정기를 이용한 수면단계 분류 장치 및 방법
KR20200089001A (ko) * 2019-01-16 2020-07-24 재단법인대구경북과학기술원 수면 상태 판단 장치 및 방법
KR102181856B1 (ko) * 2019-10-28 2020-11-23 주식회사 젠다카디언 웨이크-업 감지 장치
WO2021085925A1 (ko) * 2019-10-28 2021-05-06 주식회사 젠다카디언 웨이크-업 감지 장치
KR20210066594A (ko) 2019-11-28 2021-06-07 울산과학기술원 생체 신호 감지기와 수면 분석 장치 및 방법
KR102268804B1 (ko) * 2021-02-16 2021-06-25 최현수 Ai를 이용하여 수면 상태에 따른 조명과 음악을 제공하는 방법 및 장치
KR102344875B1 (ko) * 2021-02-16 2021-12-28 최현수 수면상태에 따라 주파수 대역과 조도를 결정하고, 결정된 주파수 대역에 따른 음악과 조도에 따른 조명을 제공하는 방법 및 장치
WO2022211272A1 (ko) * 2021-03-31 2022-10-06 삼성전자 주식회사 사용자 자세에 기반하여 혈압을 측정하는 전자 장치 및 그 제어 방법
KR102548971B1 (ko) * 2022-10-17 2023-06-29 (주)피플앤드테크놀러지 스마트 지능형 돌봄 시스템
KR102538647B1 (ko) * 2023-02-22 2023-05-31 젠다카디언 인코포레이티드 생체정보 신호의 희귀도 판단장치 및 방법

Also Published As

Publication number Publication date
KR102036987B1 (ko) 2019-10-25

Similar Documents

Publication Publication Date Title
KR102036987B1 (ko) 생체 및 움직임 정보를 이용한 수면 상태 감지 방법 및 장치
CN107595245B (zh) 一种睡眠管理方法、系统及终端设备
US20210100456A1 (en) Apparatus and method for extracting feature of bio-signal, and apparatus for detecting bio-information
KR102588906B1 (ko) 생체 신호 품질 평가 장치 및 방법
US8781791B2 (en) Touchscreen with dynamically-defined areas having different scanning modes
US8768648B2 (en) Selection of display power mode based on sensor data
CN107209807B (zh) 疼痛管理可穿戴设备
Candás et al. An automatic data mining method to detect abnormal human behaviour using physical activity measurements
US20140125619A1 (en) Power consumption management of display in portable device based on prediction of user input
CN104615851B (zh) 一种睡眠监控方法及终端
KR102089002B1 (ko) 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
CN109480800B (zh) 用于估计生物信息的设备和方法及血压监视装置
KR20200040564A (ko) 혈압 추정 장치 및 방법과, 혈압 추정 지원 장치
WO2020207317A1 (zh) 用户健康评估方法、装置、存储介质及电子设备
JP2018064900A (ja) 眠気判定装置および眠気判定方法並びに運転支援装置
CN111012312A (zh) 一种便携式帕金森病运动迟缓监测干预装置及方法
US11266346B2 (en) Method and apparatus for determining sleep state using biometric information and motion information
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
KR102505348B1 (ko) 생체 정보 처리 장치 및 방법
JP5488135B2 (ja) 生体情報処理装置
Aggelides et al. A gesture recognition approach to classifying allergic rhinitis gestures using wrist-worn devices: a multidisciplinary case study
CN111698939B (zh) 生成与外部对象相关联的心率波动信息的方法及其设备
US20170319081A1 (en) Electronic device and control method
CN108837271B (zh) 电子装置、提示信息的输出方法及相关产品
CN113365550A (zh) 用于基于rem睡眠阶段计算恢复指数的方法及其电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant