KR102405468B1 - 수면 질 향상 장치 - Google Patents

수면 질 향상 장치 Download PDF

Info

Publication number
KR102405468B1
KR102405468B1 KR1020200023335A KR20200023335A KR102405468B1 KR 102405468 B1 KR102405468 B1 KR 102405468B1 KR 1020200023335 A KR1020200023335 A KR 1020200023335A KR 20200023335 A KR20200023335 A KR 20200023335A KR 102405468 B1 KR102405468 B1 KR 102405468B1
Authority
KR
South Korea
Prior art keywords
user
information
snoring
sleep quality
derived
Prior art date
Application number
KR1020200023335A
Other languages
English (en)
Other versions
KR20210108577A (ko
Inventor
박진웅
김명환
남진우
Original Assignee
주식회사 씨밀레테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨밀레테크 filed Critical 주식회사 씨밀레테크
Priority to KR1020200023335A priority Critical patent/KR102405468B1/ko
Publication of KR20210108577A publication Critical patent/KR20210108577A/ko
Application granted granted Critical
Publication of KR102405468B1 publication Critical patent/KR102405468B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4815—Sleep quality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0066—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with heating or cooling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/62—Posture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Anesthesiology (AREA)
  • Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hematology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Developmental Disabilities (AREA)
  • Pain & Pain Management (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 실시예에 따른 수면 질 향상 장치는 다수의 사용자의 코골이 음향 정보와 사용자 이미지 정보를 전송받는 통신부; 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 저장하는 메모리부; 및 상기 메모리부로부터 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 읽어들여 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 처리하는 하나 이상의 프로세서를 포함하며, 상기 프로세서는 상기 코골이 음향 정보와 상기 사용자 이미지 정보에 대한 기계 학습을 수행하고, 상기 기계 학습을 통하여 코골이와 뒤척임에 대한 수면 질 기준 정보를 도출한다.

Description

수면 질 향상 장치{APPARATUS FOR IMPROVING QUALITY OF SLEEP}
본 발명은 수면 질 향상 장치에 관한 것이다.
일반적인 수면 질 측정 방법으로 PSG(Polysomnography)가 널리 사용되고 있다. PSG 측정을 위해서는 다양한 생체 신호(ECG,EMG 등)를 측정하여 수면 패턴에 대한 진단을 시행하고 있으나, 측정 장소에 대한 생소함, 많은 시간 소모, 측정 대상자의 몸에 센서를 부착해야 한다.
뿐만 아니라 PSG(Polysomnography)는 사람이 측정하므로 비용, 시간 및 정확도가 떨어지고, 센서 접촉식 측정이어서 사용자가 많이 불편해 한다.
이에 따라 비접촉식 수면 질 측정 방법에 대한 연구가 진행되고 있다.
공개특허 10-2011-0080372 (공개일 : 2011년07월13일)
본 발명의 실시예에 따른 수면 질 향상 장치는 비접촉식 수면 질 측정을 제공하기 위한 것이다.
본 출원의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않는 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일측면에 따르면, 다수의 사용자의 코골이 음향 정보와 사용자 이미지 정보를 전송받는 통신부; 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 저장하는 메모리부; 및 상기 메모리부로부터 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 읽어들여 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 처리하는 하나 이상의 프로세서를 포함하며, 상기 프로세서는 상기 코골이 음향 정보와 상기 사용자 이미지 정보에 대한 기계 학습을 수행하고, 상기 기계 학습을 통하여 코골이와 뒤척임에 대한 수면 질 기준 정보를 도출하는 것을 특징으로 하는 수면 질 향상 장치가 제공된다.
상기 수면 질 기준 정보는 상기 기계 학습을 통하여 도출된 코골이 횟수 및 뒤척임 횟수의 기준 범위 또는 기준값을 포함하고, 상기 프로세서는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 상기 기준 범위 또는 상기 기준값과 비교하여 비교 결과에 따라 사용자의 수면 질을 도출할 수 있다.
상기 사용자 이미지 정보는 사용자에 대한 열화상 이미지 중 ROI(Region of Interest) 또는 POI(Point Of Interest)에 해당되는 이미지로부터 도출될 수 있다.
상기 ROI 또는 상기 POI 는 수면 중인 사용자의 얼굴 부분을 포함할 수 있다.
상기 프로세서는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 상기 기준 범위 또는 상기 기준값과 전체 수면 시간의 단위 시간마다 비교하여 비교 결과를 도출할 수 있다.
상기 프로세서는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 상기 기준 범위 또는 상기 기준값과 비교하여 비교 결과에 따라 사용자의 수면 질을 도출하고, 사용자의 수면 질이 상기 기준 범위 또는 상기 기준값 이상인 경우 수면 환경 요인에 대한 체크 리스트를 사용자 단말기(200)로 전송할 수 있다.
상기 사용자 이미지 정보는, 사용자와 사용자 이외의 배경에 대한 열화상 이미지에 대한 정보로부터 도출되고, 상기 열화상 이미지를 통하여 도출된 사용자 및 배경의 온도 정보를 포함하고, 상기 수면 질 기준 정보는 상기 기계 학습을 통하여 도출된 코골이 횟수 및 뒤척임 횟수의 기준 범위 또는 기준값과, 상기 기계 학습을 통하여 도출된 상기 기준 범위 또는 상기 기준값에서의 상기 배경 온도의 배경 온도 기준 범위 또는 배경 온도 기준값을 포함할 수 있다.
본 발명의 실시예에 따른 수면 질 향상 장치는 기계학습을 통하여 사용자의 뒤척임과 코골이를 분석함으로써 비접촉식 수면 질 측정을 수행할 수 있다.
본 출원의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않는 또 다른 효과는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 수면 질 향상 장치를 나타낸다.
도 2는 본 발명의 실시예에 따른 수면 질 향상 장치의 동작을 설명하기 위한 것이다.
도 3은 기계 학습에서 사용되는 시스템의 일례를 나타낸다.
도 4는 수면 중인 사용자에 대한 열화상 이미지의 일례를 나타낸다.
이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.
또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 수면 질 향상 장치(300)를 나타낸다.
본 발명의 실시예에 따른 수면 질 향상 장치(300)는 정보를 전달하기 위한 버스(302) 또는 다른 통신 메커니즘을 포함할 수 있다. 이와 같은 버스(302) 또는 다른 통신 메커니즘은, 프로세서(304), 컴퓨터 판독가능한 기록매체인 메모리부(RM), 네트워크 인터페이스와 같은 통신부(312)(예를 들면, 모뎀 또는 이더넷 카드), 디스플레이부(314)(예를 들면, CRT 또는 LCD), 입력부(318)(예를 들면, 키보드, 키패드, 가상 키보드, 마우스, 트랙볼, 스타일러스, 터치 감지 수단 등), 및/또는 하위시스템들을 상호 접속한다.
컴퓨터 판독가능한 다양한 기록매체를 포함할 수 있는 메모리부(RM)는 비휘발성 메모리(308)(예를 들면, ROM), 디스크 드라이브 (310)(예를 들면, HDD, SSD, 광 디스크, 플래쉬 메모리 드라이브 등)를 포함하나 이에 한정되는 것은 아니다. 본 발명의 수면 질 향상 장치는 메모리부(RM) 외에 RAM과 같은 휘발성 메모리(미도시)를 포함할 수도 있다.
광 디스크는 CD, DVD, Blu-ray disc이나 이에 한정되는 것은 아니다. 본 발명의 실시예에 따른 수면 질 향상 장치(300)는 하나 이상의 디스크 드라이브(310)를 구비할 수 있다.
또한 도 1에 도시된 바와 같이, 디스크 드라이브(310)는 프로세서(304)와 함께 하우징(320)에 구비될 수 있으나 이와 다르게 원격에 설치되어 프로세서(304)와 원격 통신을 수행할 수도 있다. 하나 이상의 디스크 드라이브(310)들은 데이터베이스를 포함할 수도 있다.
메모리부(RM)는 본 발명의 실시예에 따른 수면 질 향상 장치(300)의 동작에 필요한 운영 체제，드라이버, 애플리케이션 프로그램, 데이터 및 데이터베이스 등을 저장할 수 있다.
디스플레이부(314)는 본 발명의 실시예에 따른 수면 질 향상 장치(300)의 동작 및 유저 인터페이스를 표시할 수 있다.
프로세서(304)는 CPU, 마이크로 컨트롤러, 디지털 신호 프로세서(DSP) 등일 수 있으나 이에 한정되는 것은 아니며, 본 발명의 실시예에 따른 수면 질 향상 장치(300)의 동작을 제어한다.
프로세서(304)는 메모리부(RM)에 접속하여 메모리부(RM)에 저장된 명령들이나 로직의 하나 이상의 시퀀스들을 실행하는 것에 의해 이후에 설명될 본 발명의 실시예에 따른 수면 질 향상 장치(300)의 동작을 제어한다.
프로세서(304)는 디스플레이부(314)용 하드웨어 제어기와 통신하여 디스플레이부(314) 상에 수면 질 향상 장치(300)의 동작 및 유저 인터페이싱 동작을 표시할 수 있다.
버스(302)를 포함하는 배선들(wires)을 포함하는 송신 매체들은 동축 케이블들, 동선(copper wire), 및 광섬유들을 포함한다.
본 개시의 다양한 다른 실시형태들에서, 통신 링크에 의해 (예를 들면, LAN, WLAN, PTSN, 및/또는 원격통신들, 모바일, 및 셀룰러 폰 네트워크들을 포함하는 다른 유선 또는 무선 네트워크들과 같은) 네트워크에 결합된 복수의 컴퓨팅 장치들은 본 개시를 실시하기 위한 명령 시퀀스들을 서로 협력시켜 수행할 수도 있다.
본 발명의 실시예에 따른 수면 질 향상 장치(300)는, 통신 링크 및 통신부(312)를 통해 메시지들, 데이터, 정보 및 하나 이상의 프로그램들(즉, 애플리케이션 코드)을 포함하는 명령들을 송신하고 수신할 수도 있다.
통신부(312)는, 통신 링크를 통한 송수신을 가능하게 하기 위한, 별개의 또는 통합된 안테나를 포함할 수도 있다. 수신된 프로그램 코드는 수신될 때 프로세스(304)에 의해 실행될 수도 있고/있거나 실행을 위해 디스크 드라이브(310) 또는 몇몇 다른 비휘발성 메모리에 저장될 수도 있다.
다음으로 도 1 및 도 2를 참조하여 본 발명의 실시예에 따른 수면 질 향상 장치(300)의 동작에 대해 설명한다. 도 1 및 도 2에 도시된 바와 같이, 통신부(312)는 다수의 사용자의 코골이 음향 정보와 사용자 이미지 정보를 전송받는다.
사람이 수면 중에 코를 골거나 움직임이 심한 경우 수면의 질은 떨어질 수 있다. 즉, 사용자의 코골이 음향 정보를 통하여 사용자가 수면 중에 코를 고는 정도가 도출될 수 있으며, 사용자 이미지 정보가 분석됨으로써 사용자가 수면 중에 움직이는 정도가 도출될 수 있다.
사용자의 코골이 음향 정보 및 사용자 이미지 정보를 위하여 음향 수집부(110)와 촬상부(130)가 사용자가 잠자는 수면 공간에 설치될 수 있다. 음향 수집부(110)와 촬상부(130)의 설치위치는 도 2에 한정되지 않고 수면 공간의 구조나 사용자의 수면 위치 등에 따라 달라질 수 있다.
도 2에서는 음향 수집부(110)와 촬상부(130)가 사용자 단말기(200)와는 다른 별개의 장치로 구현되어 있으나, 사용자 단말기(200)에 구비될 수도 있다. 예를 들어, 사용자 단말기(200)가 스마트 폰일 경우, 스마트 폰(smart phone)의 마이크 및 카메라가 음향 수집부(110) 및 촬상부(130)로서 동작할 수 있다. 또는 음향 수집부(110)와 촬상부(130) 중 하나가 사용자 단말기(200)에 구비되고, 나머지 하나가 사용자 단말기(200)와 다른 별개의 장치로 구현될 수도 있다.
사용자 단말기(200)의 형태는 스마트 폰 뿐만 아니라 데스크 탑 컴퓨터, 노트북, 타블렛 PC, 또는 수면 질 향상 장치(300)와의 연동을 위한 전용 단말기일 수 있으나 이에 한정되는 것은 아니다.
도 2에서는 촬상부(130)와 사용자 단말기(200)가 유선으로 연결되고 음향 수집부(110)와 사용자 단말기(200)가 무선으로 연결되나, 이에 한정되지 않는다. 예를 들어, 촬상부(130)와 음향 수집부(110) 중 적어도 하나는 사용자 단말기(200)와 유선 또는 무선으로 연결될 수 있다.
또한 도 2에서는 사용자 단말기(200)가 음향 수집부(110)와 촬상부(130)에 생성된 데이터를 수면 질 향상 장치(300)로 전송하나, 음향 수집부(110)와 촬상부(130)가 직접 수면 질 향상 장치(300)로 전송할 수도 있다.
한편, 코골이 음향 정보는 포먼트(FORMANT) 정보를 포함할 수 있다. 사람의 코골이 소리는 특유한 진동 특성을 가지고 있으며, 이러한 특유의 진동 특성을 포먼트라고 한다.
이와 같은 포먼트 정보는 음향 수집부(110)에 의하여 수집된 코골이 소리의 전처리를 통하여 생성될 수 있다. 코골이 소리의 전처리는 음향 수집부(110), 사용자 단말기(200) 또는 수면 질 향상 장치(300) 중 하나에 의하여 이루어질 수 있다. 포먼트 정보를 도출하기 위하여 FFT(Fast Fourier Transform) & Formant 분석 알고리즘이 사용될 수 있다.
코골이 소리가 수집되는 전체 시간 중 적어도 일부가 전처리될 수 있다. 또한 코골이 소리의 전체 주파수 중 적어도 일부가 전처리될 수 있다. 코골이 소리에 대한 샘플링 횟수 및 비트 레이트 역시 설정될 수 있다. 이를 통하여 전처리 과정에서 발생하는 계산량을 적정 수준으로 조절할 수 있다.
상기 전처리가 음향 수집부(110)에서 수행될 경우, 데이터 처리의 효율성이 향상될 수 있다. 사용자의 수면시간 동안 코골이에 대한 데이터가 계속 채집되기 때문에 방대한 양의 코골이 음향 데이터가 수집될 수 있다. 수면 질 향상 장치(300)가 이러한 방대한 데이터를 처리하면 많은 컴퓨팅 리소스가 필요하고 시간 역시 과도하게 소요될 수 있다.
이에 따라 음향 수집부(110)가 코골이 음향 데이터 중 관심 영역(ROI : Region Of Interest) 또는 관심 지점(POI : Point Of Interest) 데이터를 추출하여 수면 질 향상 장치(300)에 전송할 수 있다.
이를 통하여 수면 질 향상 장치(300)가 처리해야 할 데이터가 감소함으로써 데이터 처리의 효율성이 향상될 수 있다. 코골이 음향 정보와 사용자 이미지 정보는 메타 데이터(meta data) 형태로 전송받을 수 있다.
한편, 사용자 이미지 정보는 사용자에 대한 열화상 이미지 중 ROI(Region of Interest) 또는 POI에 해당되는 이미지로부터 도출될 수 있다. 즉, 사용자 이미지 정보는 전체 이미지 중 ROI 또는 POI에 해당되는 이미지에 해당될 수 있다. 이 때, 촬상부(130), 사용자 단말기(200) 및 수면 질 향상 장치(300) 중 하나에 의하여 전체 이미지에 대한 전처리가 수행될 수 있는데, 전처리는 ROI 또는 POI의 설정 및 설정된 RIO 또는 POI의 이미지를 크롭(crop)하는 것을 포함할 수 있다.
앞서 설명된 이유와 비슷하게 촬상부(130)가 상기 전처리를 수행할 경우, 데이터 처리의 효율성이 향상될 수 있다. 사용자의 수면시간 동안 열화상 이미지가 계속 채집되기 때문에 방대한 양의 열화상 이미지의 데이터가 수집될 수 있다.
이에 따라 촬상부(130)가 코골이 음향 데이터 중 관심 영역(ROI) 또는 관심 지점(POI) 데이터를 추출하여 수면 질 향상 장치(300)에 전송할 수 있다.
ROI 또는 POI의 설정은 눈썹, 코, 미간 등과 같은 사용자 얼굴의 형태학적 특징을 이용하여 열화상 이미지로부터 자동적으로 이루어질 수 있다. 설정된 ROI 또는 POI를 기준으로 사용자의 뒤척임 등과 같은 이벤트를 추출할 수 있다.
앞서 설명된 바와 같이 사용자 이미지 정보는 사용자에 대한 열화상 이미지 중 ROI 또는 POI에 해당되는 이미지로부터 도출되므로, 촬상부(130)는 열화상 카메라를 포함할 수 있다.
이와 같이 사용자 이미지 정보를 위하여 사용자에 대한 열화상 이미지가 사용되는 것은 사용자가 잠을 자기 위하여 수면 공간 내부의 조명이 꺼져 있어 수면 공간 내부가 어두울 수 있기 때문이다. 또한 열화상 이미지는 사용자의 얼굴이 명확하게 드러나지 않기 때문에 개인 정보 노출에 대한 우려가 상대적으로 적을 수 있다.
열화상 카메라는 수면 공간이 어두워도 사용자의 체온과 수면 공간의 온도에 따른 열화상 이미지를 생성함으로써 어두운 수면 공간에서 촬영된 사용자의 뒤척임을 보다 잘 파악할 수 있다.
이와 다르게 사용자 이미지 정보는 가시광에 의한 이미지로부터 도출될 수도 있다. 이를 위하여 촬상부(130)는 가시광의 센싱이 가능한 촬상소자를 포함할 수 있다. 만약 가시광에 의한 이미지일 경우, 촬상부(130)는 수면 공간의 광량을 고려하여 ISO 및 노출값 중 적어도 하나를 설정함으로써 어두운 수면 공간에서도 사용자의 움직임을 파악할 수 있는 가시광에 의한 이미지를 생성할 수 있다.
한편, 촬상부(130)는 가시광선용 촬상 모듈과 열화상용 촬상 모듈을 포함할 수 있다. 가시광선용 촬상 모듈은 사용자 신체의 형상을 표시하기 위한 것으로 최종 이미지는 사용자 신체의 형상과 열화상이 겹쳐진 것으로 표시될 수 있다.
한편, 촬상부(130), 사용자 단말기(200) 및 수면 질 향상 장치(300) 중 하나는 열화상 이미지에 대한 차영상(Difference of Images), 가우시안 필터, 객체 검출 알고리즘을 이용하여 ROI 또는 POI에 해당되는 열화상 이미지로부터 수면 중인 사용자에 해당되는 객체를 추출할 수 있다.
이 때 ROI 또는 POI는 수면 중인 사용자의 얼굴 부분을 포함할 수 있다. 이는 앞서 설명된 바와 같이, 사용자 얼굴의 형태학적 특징이 이용될 수 있다. 사용자가 수면 과정 중에 이불을 덮을 경우, 이불이 덮인 사용자의 신체 부분에 대한 열화상 이미지로는 사용자의 움직임을 도출하기 어려울 수 있다. 사용자의 얼굴은 이불이 덮이지 않을 가능성이 크므로 사용자의 얼굴을 ROI 또는 POI로 설정할 수 있다.
한편, 메모리부(RM)는 코골이 음향 정보와 사용자 이미지 정보를 저장한다. 코골이 음향 정보와 사용자 이미지는 정보는 사용자의 인적 사항과 연관되어 저장될 수 있다.
하나 이상의 프로세서(304)는 메모리부(RM)로부터 코골이 음향 정보와 사용자 이미지 정보를 읽어들여 코골이 음향 정보와 사용자 이미지 정보를 처리한다.
이 때 프로세서(304)는 코골이 음향 정보와 사용자 이미지 정보에 대한 기계 학습을 수행한다. 도 3은 기계 학습에서 사용되는 시스템의 일례를 나타낸다. 도 3의 기계 학습 시스템은 아파치 하둡(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)을 이용한 것으로서, 아파치 하둡은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이다.
하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)은 분산처리 시스템인 구글 파일 시스템을 대체할 수 있으며, 하둡 프레임워크를 위해 자바 언어로 작성된 분산 확장 파일 시스템이다. HDFS은 여러 기계에 대용량 파일들을 나눠서 저장을 한다. 데이터들을 여러 서버에 중복해서 저장을 함으로써 데이터 안정성을 얻는다.
또한 프로세서(304)는 기계 학습을 통하여 코골이와 뒤척임에 대한 수면 질 기준 정보를 도출한다. 수면 질 기준 정보의 범위나 값은 기계학습이 진행되는 과정에서 변할 수 있다.
이 때 수면 질 기준 정보는 기계 학습을 통하여 도출된 코골이 횟수 및 뒤척임 횟수의 기준 범위 또는 기준값을 포함할 수 있다. 프로세서(304)는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 기준 범위 또는 기준값과 비교하여 비교 결과에 따라 사용자의 수면 질을 도출할 수 있다.
코골이 및 뒤척임은 사용자의 수면을 방해하는 요인일 수 있다. 즉, 사용자의 코골이 및 뒤척임이 많을 수록 사용자의 수면의 질은 낮아질 수 있다.
그런데, 사용자의 코골이와 뒤척임을 자동으로 인식하여 사용자의 수면의 질을 도출하려면, 수면 공간에서 발생하는 다양한 음향 및 시각 정보로부터 코골이 및 사용자에 대한 이미지가 특정되어야 한다. 또한, 사용자는 크게 코를 골거나 크게 움직일 수도 있지만 작은 소리의 코골이나 작은 움직임이 발생할 수도 있다. 뿐만 아니라 코골이나 움직임은 사용자마다 다를 수 있다.
이에 따라 프로세서(304)는 수많은 사용자의 코골이 음향 정보와 사용자 이미지 정보를 기계학습함으로써 보다 효과적이고 최적화된 수면 질 기준 정보를 도출할 수 있다.
앞서의 설명에서는 수면 질 기준정보가 코골이 횟수에 대한 정보를 포함한다고 하였으나 코골이의 소리 크기에 대한 정보 역시 포함할 수 있다. 코골이 소리가 크면 수면의 질이 나빠지므로 코골이 소리 크기의 기준 범위나 기준값이 설정됨으로써 사용자의 수면 질이 측정될 수 있다.
이를 위하여 코골이 음향 정보는 코골이 소리 크기에 대한 정보가 포함되며, 포먼트가 도출될 때의 소리 크기로 코골이 소리 크기가 도출될 수 있다.
이와 같이 코골이 및 뒤척임에 대한 기준 범위 또는 기준값이 도출됨에 따라 프로세서(304)는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 기준 범위 또는 기준값과 전체 수면 시간의 단위 시간마다 비교하여 비교 결과를 도출할 수 있다.
즉, 사용자의 수면 시간이 8시간인 경우, 프로세서(304)는 단위 시간인 1시간마다 사용자의 코골이 횟수 및 뒤척임 횟수와, 코골이 및 뒤척임에 대한 기준 범위 또는 기준값을 비교할 수 있다.
이에 따라 사용자의 수면 패턴이 도출될 수 있다. 즉, 사용자가 깊이 잠드는 시간대나 사용자가 깊이 잠드는 시간의 길이 등이 사용자에게 제시될 수 있다.
또한, 프로세서(304)는 전체 수면 시간 동안의 사용자의 코골이 횟수 및 뒤척임 횟수와, 코골이 및 뒤척임에 대한 기준 범위 또는 기준값을 비교할 수도 있다.
한편, 프로세서(304)는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 기준 범위 또는 기준값과 비교하여 비교 결과에 따라 사용자의 수면 질을 도출할 수 있다.
이 때, 사용자의 수면 질이 기준 범위 또는 기준값 이상인 경우 수면 환경 요인에 대한 체크 리스트를 사용자 단말기(200)로 전송할 수 있다. 사용자의 수면의 질에는 여러가지 요인이 작용할 수 있는데, 수면 공간의 환경적 요인이나 사용자의 생활습관 등이 수면의 질에 영향을 미칠 수 있다.
예를 들어, 아침에 수면 공간의 창을 통하여 햇빛이 과도하게 들어오는 것은 아닌지, 수면 공간을 통하여 외부의 소리가 과도하게 들어오는지, 수면 공간의 조명이 과도하게 밝지 않은지, 수면 직전까지 스마트폰을 보고 있는지, 수면 시간이 불규칙한지, 수면 시간이 아닌 활동시간에 빛을 어느 정도 쬐는지 등에 대한 체크 리스트가 사용자 단말기(200)로 전송될 수 있다.
이와 같은 체크 리스트의 내용은 이에 한정되는 것은 아니며, 이들 내용 중 일부가 없거나 다른 내용이 더 추가될 수도 있다.
한편, 사용자 이미지 정보는, 사용자와 사용자 이외의 배경에 대한 열화상 이미지에 대한 정보로부터 도출될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 열화상 이미지는 수면 중인 사용자에 대한 열화상 이미지 부분과 사용자에 대한 열화상의 배경에 해당되는 열화상 이미지 부분을 포함할 수 있다.
이에 따라 사용자 이미지 정보는 열화상 이미지를 통하여 도출된 사용자의 체온 정보 및 배경의 온도 정보를 포함할 수 있다.
사용자가 잠자는 수면 공간의 온도는 사용자의 수면의 질에 영향을 미칠 수 있다. 사용자가 숙면을 취하려면 수면 공간의 온도가 적정하게 유지될 필요가 있다.
이에 따라 촬상부(130), 사용자 단말기(200) 및 수면 질 향상 장치(300) 중 하나는 열화상 이미지에 대한 차영상(Difference of Images), 가우시안 필터, 객체 검출 알고리즘을 이용하여 열화상 이미지로부터 수면 중인 사용자와 배경 각각 추출할 수 있다.
추출된 사용자에 대한 열화상 이미지를 통하여 사용자의 뒤척임 횟수가 도출될 수 있고, 추출된 배경에 대한 열화상 이미지를 통하여 수면 공간의 온도가 도출될 수 있다.
이를 통하여 앞서 설명된 바와 같이, 사용자의 뒤척임 횟수와, 뒤척임 횟수의 기준 범위 또는 기준값이 도출될 수 있을 뿐만 아니라 뒤척임의 기준 범위 및 기준값에서의 적당한 수면 공간 온도가 도출될 수 있다.
즉, 수면 질 기준 정보는 기계 학습을 통하여 도출된 코골이 횟수 및 뒤척임 횟수의 기준 범위 또는 기준값을 포함할 수 있다. 또한 수면 질 기준 정보는 기계 학습을 통하여 도출된 기준 범위 또는 기준값에서의 배경 온도의 배경 온도 기준범위 또는 배경 기준값을 포함할 수 있다.
이에 따라 사용자의 코골이 횟수나 뒤척임이 기준범위나 기준값보다 클 경우, 프로세서(304)는 수면 공간의 온도를 배경 온도 기준범위 또는 배경 기준값에 맞도록 설정하라고 사용자 단말기(200)를 통하여 사용자에게 제시할 수 있다.
이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화 될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.
음향 수집부(110)
촬상부(130)
사용자 단말기(200)
수면 질 향상 장치(300)
프로세서(304)
메모리부(RM)
통신부(312)

Claims (7)

  1. 음향 수집부 또는 사용자의 단말기로부터 다수의 사용자의 코골이 음향 정보와 사용자 이미지 정보를 전송받는 통신부;
    상기 코골이 음향 정보와 상기 사용자 이미지 정보를 저장하는 메모리부; 및
    상기 메모리부로부터 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 읽어들여 상기 코골이 음향 정보와 상기 사용자 이미지 정보를 처리하는 하나 이상의 프로세서를 포함하며,
    상기 프로세서는
    상기 코골이 음향 정보와 상기 사용자 이미지 정보에 대한 기계 학습을 수행하고, 상기 기계 학습을 통하여 코골이와 뒤척임에 대한 수면 질 기준 정보를 도출하며,
    상기 코골이 음향 정보는 사용자의 코골이 소리의 진동 특성에 해당되는 포먼트(FORMANT) 정보와 상기 포먼트 정보가 도출될 때의 코골이 소리 크기를 포함하고,
    상기 포먼트 정보는 코골이 소리가 수집되는 전체 기간 중 적어도 일부 기간에서 상기 음향 수집부 또는 상기 사용자의 단말기에 의하여 이루어지는 전처리를 통하여 생성되며,
    상기 수면 질 기준 정보는 상기 기계 학습을 통하여 도출된 코골이 횟수, 코골이 소리 크기 및 뒤척임 횟수 각각의 기준 범위 또는 기준값을 포함하고,
    상기 프로세서는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수, 코골이 소리 크기 및 뒤척임 횟수를 상기 기준 범위 또는 상기 기준값과 비교하여 비교 결과에 따라 사용자의 수면 질을 도출하는 것을 특징으로 하는 수면 질 향상 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 사용자 이미지 정보는 사용자에 대한 열화상 이미지 중 ROI(Region of Interest) 또는 POI(Point Of Interest) 에 해당되는 이미지로부터 도출되는 것을 특징으로 하는 수면 질 향상 장치.
  4. 제3항에 있어서,
    상기 ROI 또는 상기 POI는 수면 중인 사용자의 얼굴 부분을 포함하는 것을 특징으로 하는 수면 질 향상 장치.
  5. 제1항에 있어서,
    상기 프로세서는, 사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 상기 기준 범위 또는 상기 기준값과 전체 수면 시간의 단위 시간마다 비교하여 비교 결과를 도출하는 것을 특징으로 하는 수면 질 향상 장치.
  6. 제1항 또는 제5항에 있어서,
    상기 프로세서는,
    사용자의 코골이 음향 정보와 사용자의 이미지 정보에 따라 도출된 코골이 횟수 및 뒤척임 횟수를 상기 기준 범위 또는 상기 기준값과 비교하여 비교 결과에 따라 사용자의 수면 질을 도출하고,
    사용자의 수면 질이 상기 기준 범위 또는 상기 기준값 이상인 경우 수면 환경 요인에 대한 체크 리스트를 사용자 단말기(200)로 전송하는 것을 특징으로 하는 수면 질 향상 장치.
  7. 제1항에 있어서,
    상기 사용자 이미지 정보는,
    사용자와 사용자 이외의 배경에 대한 열화상 이미지에 대한 정보로부터 도출되고,
    상기 열화상 이미지를 통하여 도출된 사용자 및 배경의 온도 정보를 포함하고,
    상기 수면 질 기준 정보는 상기 기계 학습을 통하여 도출된 코골이 횟수 및 뒤척임 횟수의 기준 범위 또는 기준값과, 상기 기계 학습을 통하여 도출된 상기 기준 범위 또는 상기 기준값에서의 상기 배경 온도의 배경 온도 기준 범위 또는 배경 온도 기준값을 포함하는 것을 특징으로 하는 수면 질 향상 장치.
KR1020200023335A 2020-02-26 2020-02-26 수면 질 향상 장치 KR102405468B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200023335A KR102405468B1 (ko) 2020-02-26 2020-02-26 수면 질 향상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200023335A KR102405468B1 (ko) 2020-02-26 2020-02-26 수면 질 향상 장치

Publications (2)

Publication Number Publication Date
KR20210108577A KR20210108577A (ko) 2021-09-03
KR102405468B1 true KR102405468B1 (ko) 2022-06-07

Family

ID=77784976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200023335A KR102405468B1 (ko) 2020-02-26 2020-02-26 수면 질 향상 장치

Country Status (1)

Country Link
KR (1) KR102405468B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019567A1 (ko) * 2022-07-20 2024-01-25 주식회사 에이슬립 음향 정보에 기반하여 수면 상태를 예측하는 수면 분석 모델을 생성하기 위한 방법, 장치 및 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5300602B2 (ja) * 2008-10-31 2013-09-25 三菱電機株式会社 空気調和機
KR101866169B1 (ko) * 2017-12-11 2018-06-11 (주)웰크론 개인 맞춤형 코골이 방지 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110080372A (ko) 2010-01-05 2011-07-13 전북대학교산학협력단 수면 다원 검사용 수면 자세 측정 장치
KR101912666B1 (ko) * 2017-02-20 2018-12-28 가천대학교 산학협력단 수면상태 분석장치 및 수면상태 분석 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5300602B2 (ja) * 2008-10-31 2013-09-25 三菱電機株式会社 空気調和機
KR101866169B1 (ko) * 2017-12-11 2018-06-11 (주)웰크론 개인 맞춤형 코골이 방지 시스템

Also Published As

Publication number Publication date
KR20210108577A (ko) 2021-09-03

Similar Documents

Publication Publication Date Title
CN107666581B (zh) 提供视频内容的方法和支持该方法的电子装置
US20230088325A1 (en) Audio assessment for analyzing sleep trends using machine learning techniques
EP3335214B1 (en) Method and electronic device for playing a virtual musical instrument
CN108664829B (zh) 用于提供与图像中对象有关的信息的设备
US11537891B2 (en) Intelligent recognition and alert methods and systems
CN108463832B (zh) 电子设备和基于硬件诊断结果的过程执行方法
KR102278945B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
US11350885B2 (en) System and method for continuous privacy-preserved audio collection
KR102437698B1 (ko) 전자 장치 및 전자 장치의 이미지 인코딩 방법
KR20150099678A (ko) 전자 장치 운용 방법 및 이를 지원하는 전자 장치
US11741986B2 (en) System and method for passive subject specific monitoring
KR102405468B1 (ko) 수면 질 향상 장치
KR102405474B1 (ko) 수면 질 향상 방법
KR102490673B1 (ko) 어플리케이션에 대한 부가 정보 제공 방법 및 이를 지원하는 전자 장치
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
CN108139811B (zh) 记录执行屏幕的方法和处理该方法的电子设备
KR20170044849A (ko) 전자 장치 및 다국어/다화자의 공통 음향 데이터 셋을 활용하는 tts 변환 방법
CN114488841A (zh) 一种智能穿戴设备的数据搜集处理方法
US11375945B2 (en) User device based Parkinson's disease detection
JP7397801B2 (ja) 呼吸障害を有する被験者を検出する装置及び呼吸障害を有する被験者を検出する装置の作動方法
KR102650641B1 (ko) 수면 단계 예측 장치 및 방법
US20170243065A1 (en) Electronic device and video recording method thereof
US20210383929A1 (en) Systems and Methods for Generating Early Health-Based Alerts from Continuously Detected Data
US20240048839A1 (en) Approaches to obfuscating biometric data for privacy reasons in a browser environment and surveillance systems for accomplishing the same
US20230086045A1 (en) Intelligent recognition and alert methods and systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant