KR102600175B1 - 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 - Google Patents
음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102600175B1 KR102600175B1 KR1020220095338A KR20220095338A KR102600175B1 KR 102600175 B1 KR102600175 B1 KR 102600175B1 KR 1020220095338 A KR1020220095338 A KR 1020220095338A KR 20220095338 A KR20220095338 A KR 20220095338A KR 102600175 B1 KR102600175 B1 KR 102600175B1
- Authority
- KR
- South Korea
- Prior art keywords
- sleep
- information
- user
- sound
- sound information
- Prior art date
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 308
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 52
- 230000008667 sleep stage Effects 0.000 claims abstract description 50
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 description 83
- 230000006870 function Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 28
- 238000000605 extraction Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 238000013434 data augmentation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013145 classification model Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 206010062519 Poor quality sleep Diseases 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000036541 health Effects 0.000 description 7
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000003860 sleep quality Effects 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 208000037656 Respiratory Sounds Diseases 0.000 description 4
- 210000003477 cochlea Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 208000019116 sleep disease Diseases 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000003403 autonomic nervous system Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004622 sleep time Effects 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- 208000000224 Night Terrors Diseases 0.000 description 1
- 206010029412 Nightmare Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 206010041010 Sleep terror Diseases 0.000 description 1
- 206010041347 Somnambulism Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 206010020765 hypersomnia Diseases 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004237 neck muscle Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/003—Detecting lung or respiration noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R19/00—Electrostatic transducers
- H04R19/04—Microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/003—Mems transducers or their use
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Pulmonology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
전술한 바와 같은 과제를 실현하기 위한 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법이 개시된다. 상기 방법은, 사용자의 수면과 관련한 수면 음향 정보를 획득하는 단계, 상기 수면 음향 정보에 대한 전처리를 수행하는 단계 및 상기 전처리된 수면 음향 정보에 대한 분석을 수행하여 수면 상태 정보를 획득하는 단계를 포함하며, 상기 수면 상태 정보는, 상기 사용자의 수면 깊이에 관련한 수면 단계 정보를 포함하는 것을 특징으로 할 수 있다.
Description
본 발명은 사용자의 수면 상태를 분석하기 위한 것으로, 보다 구체적으로, 사용자의 수면 환경에서 획득되는 음향(sound) 정보에 기초하여 수면 단계에 관련한 분석 정보를 제공하기 위함이다.
건강을 유지하고 개선시키는 방법에는 운동, 식이요법 등 다양한 방법이 있지만, 하루 중 약 30% 이상의 시간을 차지하는 수면을 잘 관리하는 것이 무엇보다 중요하다. 하지만, 현대인들은 기계의 단순한 노동 대체 및 삶의 여유에도 불구하고 불규칙한 식습관과 생활습관 및 스트레스로 인해 숙면을 취하지 못하고, 불면증, 과다수면, 수면 무호흡 증후군, 악몽, 야경증, 몽유병 등과 같은 수면 질환으로 고통받고 있다.
국민건강보험 공단에 따르면, 국내 수면장애 환자가 2014년부터 2018년까지 연 평균 약 8%씩 증가하는 것으로 나타났으며, 2018년 국내에서 수면장애로 진료받은 환자는 약 57만명에 달한다.
숙면이 신체적 또는, 정신적 건강에 영향을 미치는 중요한 요소로 인식되면서 숙면에 대한 관심이 증가하고 있지만, 수면 질환의 개선을 위해서는 전문 의료 기관을 직접 방문해야하며, 별도의 검사 비용이 요구되고, 그리고 지속적인 관리가 어려움에 따라 치료에 대한 사용자들의 노력이 미비한 실정이다.
대한민국 공개 특허 2003-0032529는 사용자의 신체 정보를 입력받고, 수면 중 사용자의 신체 상태에 따라 반복적인 학습에 의해 검출한 주파수 대역의 진동 및/또는 초음파를 출력하여 최적의 수면 유도가 가능하도록 하는 취침 유도기 및 수면 유도 방법에 대해 개시하고 있다.
다만, 종래의 기술은 신체 착용형 장비로 인해 야기되는 불편함으로 수면의 질이 감소될 우려가 있으며, 장비의 주기적인 관리가(예컨대, 충전 등)이 필요하다.
이에 따라, 최근에는 비접촉식으로 호흡 패턴, 밤 중 몸의 움직임에 따라 자율신경계의 활성화 정도를 모니터링하여 수면 단계를 추정하려는 연구들이 진행되고 있다. 그러나 비접촉식으로 수면 중 움직임에 영향을 주지 않는 거리에서 호흡 패턴 및 움직임 등에 관한 정보를 획득하기 위해서는 별도의 장비(예컨대, 움직임 센싱을 위한 전파 측정 장치)가 구비되어야 한다.
따라서, 별도의 장비를 구비하지 않더라도, 사용자가 소지하는 사용자 단말(예컨대, 이동식 단말)을 통해 용이하게 수면 환경에 관련한 음향 정보를 획득하고, 획득한 음향 정보를 기반으로 사용자의 수면 단계를 분석하여 수면 상태를 감지하고자 하는 기술에 대한 수요가 존재할 수 있다.
본 발명은 전술한 배경 기술에 대응하여 안출된 것으로, 사용자의 수면 환경에서 감지되는 음향 정보를 통해 사용자의 수면 단계를 분석하여 수면 상태에 관한 정보를 제공하기 위함이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명 일 실시예에서 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법이 개시된다. 상기 방법은, 사용자의 수면과 관련한 수면 음향 정보를 획득하는 단계, 상기 수면 음향 정보에 대한 전처리를 수행하는 단계 및 상기 전처리된 수면 음향 정보에 대한 분석을 수행하여 수면 상태 정보를 획득하는 단계를 포함하며, 상기 수면 상태 정보는, 상기 사용자의 수면 깊이에 관련한 수면 단계 정보를 포함하는 것을 특징으로 할 수 있다.
대안적인 실시예에서, 상기 수면 음향 정보를 획득하는 단계는, 생활 환경 음향 정보에서 기 설정된 패턴의 정보가 감지되는 특이점을 식별하는 단계 및 상기 특이점을 기준으로 획득되는 생활 환경 음향 정보에 기초하여 상기 수면 음향 정보를 획득하는 단계를 포함할 수 있다.
대안적인 실시예에서, 상기 수면 음향 정보에 대한 전처리를 수행하는 단계는, 상기 수면 음향 정보를 미리 정해진 시간 단위를 갖는 하나 이상의 음향 프레임으로 분류하는 단계, 상기 하나 이상의 음향 프레임 각각의 에너지 레벨에 기초하여 최소 에너지 레벨을 갖는 최소 음향 프레임을 식별하는 단계 및 상기 최소 음향 프레임에 기초하여 상기 수면 음향 정보에 대한 노이즈 제거를 수행하는 단계를 포함할 수 있다.
대안적인 실시예에서, 상기 수면 상태 정보를 획득하는 단계는, 하나 이상의 네트워크 함수를 포함하는 수면 분석 모델을 이용하여 상기 수면 상태 정보를 획득하는 단계를 포함할 수 있다.
대안적인 실시예에서, 상기 수면 분석 모델은, 미리 정해진 에폭 별 하나 이상의 피처를 추출하는 피처 추출 모델 및 상기 피처 추출 모델을 통해 추출된 피처들 각각을 하나 이상의 수면 단계로 분류하여 상기 수면 상태 정보를 생성하는 피처 분류 모델을 포함할 수 있다.
대안적인 실시예에서, 상기 수면 상태 정보를 획득하는 단계는, 상기 수면 음향 정보에 대응하는 스펙트로그램을 생성하는 단계 및 상기 스펙트로그램을 상기 수면 분석 모델의 입력으로 처리하여 상기 수면 상태 정보를 획득하는 단계를 포함할 수 있다.
대안적인 실시예에서, 상기 방법은, 상기 전처리된 수면 음향 정보에 기초하여 데이터 증강을 수행하는 단계를 더 포함하며, 상기 데이터 증강은, Pitch shifting, Gaussian noise, Loudness control, Dynamic range control 및 Spec augmentation 중 적어도 하나를 포함할 수 있다.
대안적인 실시예에서, 사용자 단말로부터 수면 계획 정보를 수신하는 단계, 상기 수면 계획 정보에 기초하여 외부 환경 조성 정보를 생성하는 단계 및 상기 외부 환경 조성 정보를 환경 조성 모듈로 전송할 것을 결정하는 단계를 더 포함할 수 있다.
대안적인 실시예에서, 상기 수면 상태 정보에 기초하여 외부 환경 조성 정보를 생성하는 단계 및 상기 외부 환경 조성 정보를 환경 조성 모듈로 전송할 것을 결정하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 실시예에서, 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 컴퓨팅 장치가 개시된다. 상기 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법을 수행할 수 있다.
본 발명의 또 다른 실시예에서 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하드웨어인 컴퓨터와 결합되어, 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 전술한 배경 기술에 대응하여 안출된 것으로, 사용자의 수면 환경에서 획득되는 음향 정보에 기반하여 사용자의 수면 상태에 관한 분석 정보를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
다양한 양상들이 이제 도면들을 참조로 기재되며, 여기서 유사한 참조 번호들은 총괄적으로 유사한 구성요소들을 지칭하는데 이용된다. 이하의 실시예에서, 설명 목적을 위해, 다수의 특정 세부사항들이 하나 이상의 양상들의 총체적 이해를 제공하기 위해 제시된다. 그러나, 그러한 양상(들)이 이러한 구체적인 세부사항들 없이 실시될 수 있음은 명백할 것이다.
도 1은 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 2는 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.
도 3은 본 발명의 일 실시예와 관련된 생활 환경 음향 정보로부터 수면 음향 정보를 획득하는 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예와 관련된 수면 음향 정보에 대응하는 스펙트로그램을 획득하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예와 관련된 다양한 수면 단계 각각에 관련한 스펙트로그램을 예시적으로 도시한 예시도이다.
도 6은 본 발명의 일 실시예와 관련된 스펙트로그램을 통해 수면 상태 정보를 획득하는 과정을 예시적으로 도시한 예시도이다.
도 7은 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법을 예시적으로 나타낸 순서도를 도시한다.
도 8은 본 발명의 일 실시예와 관련된 하나 이상의 네트워크 함수를 나타낸 개략도이다.
도 1은 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
도 2는 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.
도 3은 본 발명의 일 실시예와 관련된 생활 환경 음향 정보로부터 수면 음향 정보를 획득하는 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예와 관련된 수면 음향 정보에 대응하는 스펙트로그램을 획득하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예와 관련된 다양한 수면 단계 각각에 관련한 스펙트로그램을 예시적으로 도시한 예시도이다.
도 6은 본 발명의 일 실시예와 관련된 스펙트로그램을 통해 수면 상태 정보를 획득하는 과정을 예시적으로 도시한 예시도이다.
도 7은 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법을 예시적으로 나타낸 순서도를 도시한다.
도 8은 본 발명의 일 실시예와 관련된 하나 이상의 네트워크 함수를 나타낸 개략도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 발명내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.
본 발명의 실시예들에 따른 시스템은 컴퓨팅 장치(100), 사용자 단말(10), 외부 서버(20) 및 네트워크를 포함할 수 있다. 본 발명의 실시예들에 따른 컴퓨팅 장치(100), 사용자 단말(10) 및 외부 서버(20)는 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.
본 발명의 실시예들에 따른 네트워크는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 여기서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.
본 발명의 실시예들에 따른 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
본 발명의 일 실시예에 따르면, 사용자 단말(10)은 컴퓨팅 장치(100)와의 정보 교환을 통해 사용자의 수면과 관련한 정보를 제공받을 수 있는 단말로, 사용자가 소지한 단말을 의미할 수 있다. 예컨대, 사용자 단말(10)은 자신의 수면 습관에 관련한 정보들을 통해 건강을 증진시키고자 하는 사용자와 관련한 단말일 수 있다. 사용자는 사용자 단말(10)을 통해 자신의 수면에 관련한 정보를 획득할 수 있다. 수면에 관련한 정보는 예컨대, 수면 동안 수면 단계의 변화에 관련한 수면 상태 정보(421)를 포함할 수 있다. 구체적인 예를 들어, 수면 상태 정보(421)는, 사용자의 지난 밤 8시간 수면 동안 각 시점 별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 REM 수면 등으로 변화한 정보를 의미할 수 있다. 전술한 수면 상태 정보(421)에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
이러한 사용자 단말(10)은 컴퓨팅 장치(100)와 통신을 위한 메커니즘을 갖는 시스템에서의 임의의 형태의 엔티티(들)를 의미할 수 있다. 예를 들어, 이러한 사용자 단말(10)은 PC(personal computer), 노트북(note book), 모바일 단말기(mobile terminal), 스마트 폰(smart phone), 태블릿 PC(tablet pc), 인공지능(AI) 스피커 및 인공지능 TV 및 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 유/무선 네트워크에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다. 또한, 사용자 단말(10)은 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수도 있다. 또한, 사용자 단말(10)은 애플리케이션 소스 및/또는 클라이언트 애플리케이션을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 외부 서버(20)는 신경망의 학습을 위한 복수의 학습 데이터에 대한 정보들을 저장하는 서버일 수 있다. 복수의 학습 데이터는 예컨대, 건강검진 정보 또는 수면검진 정보 등을 포함할 수 있다.
예를 들어, 외부 서버(20)는 병원 서버 및 정보 서버 중 적어도 하나일 수 있으며, 복수의 수면다원검사 기록, 전자건강기록 및 전자의료기록 등에 관한 정보를 저장하는 서버일 수 있다. 예를 들어, 수면다원검사 기록은 수면검진 대상자의 수면 동안의 호흡 및 움직임 등에 대한 정보 및 해당 정보들에 대응하는 수면 진단 결과(예컨대, 수면 단계 등)에 대한 정보를 포함할 수 있다. 외부 서버(20)에 저장된 정보들은 본 발명에서의 신경망을 학습시키기 위한 학습 데이터, 검증 데이터 및 테스트 데이터로 활용될 수 있다.
본 발명의 컴퓨팅 장치(100)는 외부 서버(20)로부터 건강검진 정보 또는 수면검진 정보 등을 수신하고, 해당 정보들에 기초하여 학습 데이터 세트를 구축할 수 있다. 컴퓨팅 장치(100)는 학습 데이터 세트를 통해 하나 이상의 네트워크 함수에 대한 학습을 수행함으로써, 수면 음향 정보에 대응하는 수면 상태 정보(421)를 산출하기 위한 수면 분석 모델을 생성할 수 있다. 본 발명의 신경망 학습을 위한 학습 데이터 세트를 구축하는 구성 및 학습 데이터 세트를 활용한 학습 방법에 대한 구체적인 설명은 도 2를 참조하여 후술하도록 한다.
외부 서버(20)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 외부 서버(20)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 사용자의 수면 환경에 관련한 수면 음향 정보를 획득하고, 그리고 수면 음향 정보에 기초하여 사용자의 수면 단계에 관련한 수면 상태 정보(421)를 생성할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 하나 이상의 네트워크 함수를 포함하여 구성되며, 사전 학습된 신경망 모델(예컨대, 수면 분석 모델)을 활용하여 수면 음향 정보를 분석함으로써, 수면 상태 정보(421)를 생성할 수 있다.
여기서, 컴퓨팅 장치(100)가 수면 분석을 위해 활용하는 수면 음향 정보는, 사용자의 수면 동안 비침습적 방식으로 획득되는 음향 정보에 관련한 것일 수 있다. 구체적인 예를 들어, 수면 음향 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 즉, 본 발명에서의 수면 음향 정보는, 사용자의 수면 동안에 관련한 움직임 패턴 및 호흡 패턴에 관련한 음향 정보를 의미할 수 있다.
실시예에서, 수면 음향 정보는 사용자가 소지한 사용자 단말(10)을 통해 획득될 수 있다. 예컨대, 사용자 단말(10)에 구비된 마이크 모듈을 통해 사용자의 수면 환경에 관련한 수면 음향 정보가 획득될 수 있다.
일반적으로, 사용자가 소지한 사용자 단말(10)에 구비된 마이크 모듈은, 비교적 작은 크기의 사용자 단말(10)에 구비되어야 하므로 MEMS(Micro-Electro Mechanical Systems)로 구성될 수 있다. 이러한 마이크 모듈은 매우 소형으로 제작이 가능하나, 콘덴서 마이크(Condenser Microphone)나 다이나믹 마이크(dynamic microphone)에 비해 낮은 신호 대 잡음비(SNR)를 가질 수 있다. 신호 대 잡음비가 낮다는 것은, 식별하고자 하는 음향 대비 식별하지 않고자 하는 음향인 잡음의 비율이 높은 것으로 음향의 식별이 용이하지 않음(즉, 불분명함)을 의미할 수 있다.
본 발명에서 분석의 대상이 되는 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 음향 정보 즉, 수면 음향 정보일 수 있다. 이러한 수면 음향 정보는, 사용자의 호흡 및 움직임 등 매우 작은 음향(즉, 구분이 어려운 음향)에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 MEMS로 구성된 마이크 모듈을 통해 획득된 수면 음향 정보에 기초하여 수면 상태 정보(421)를 제공할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 많은 노이즈를 포함하여 불명료하게 획득된 수면 음향 데이터를 분석이 가능한 데이터 변환 및/또는 조정할 수 있으며, 변환 및/또는 조정된 데이터를 활용하여 인공 신경망에 대한 학습을 수행할 수 있다. 인공 신경망에 대한 사전 학습이 완료된 경우, 학습된 신경망(예컨대, 음향 분석 모델)은 수면 음향 정보에 대응하여 획득된(예컨대, 변환 및/또는 조정된) 데이터(예컨대, 스펙트로그램)에 기초하여 사용자의 수면 상태 정보(421)를 획득할 수 있다. 여기서 수면 상태 정보(421)는, 수면 동안 사용자의 수면 단계 변화에 관련한 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 상태 정보(421)는 제1시점에는 사용자가 REM 수면이었으며, 제1시점과 상이한 제2시점에는 사용자가 얕은 수면이었다는 정보를 포함할 수 있다. 이 경우, 해당 수면 상태 정보(421)를 통해, 사용자는 제1시점에 비교적 깊은 수면에 빠졌으며, 제2시점에는 보다 얕은 수면을 취했다는 정보가 획득될 수 있다.
즉, 컴퓨팅 장치(100)는 음향을 수집하도록 일반적으로 많이 보급된 사용자 단말(예컨대, 인공지능 스피커, 침실 IoT기기, 휴대폰 등)을 통해 낮은 신호 대 잡음비를 갖는 수면 음향 정보를 획득하는 경우, 이를 분석에 적절한 데이터로 가공하고, 가공된 데이터를 처리하여 수면 단계의 변화에 관련한 수면 상태 정보(421)를 제공할 수 있다. 이는 명료한 음향 획득을 위해 사용자의 신체에 접촉식으로 마이크를 구비하지 않아도 되며, 또한, 높은 신호 대 잡음비를 가진 별도의 추가 디바이스를 구매하지 않고 소프트웨어 업데이트 만으로 일반적인 가정 환경에서 수면 상태를 모니터링할 수 있게 하여 편의성을 증대시키는 효과를 제공할 수 있다.
실시예에서, 컴퓨팅 장치(100)는 단말 또는 서버일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. 컴퓨팅 장치(100)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 컴퓨팅 장치(100)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 보다 구체적으로, 컴퓨팅 장치(100)는 인터넷 기반 컴퓨팅의 일종으로 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 상기 클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다. 또한, 클라우드 컴퓨팅 서비스는 인터넷 상의 서버에 단순히 자료를 저장하는 것뿐만 아니라, 별도로 프로그램을 설치하지 않아도 웹에서 제공하는 응용프로그램의 기능을 이용하여 원하는 작업을 수행할 수 있으며, 여러 사람이 동시에 문서를 공유하면서 작업을 진행할 수 있는 서비스일 수 있다. 또한, 클라우드 컴퓨팅 서비스는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Software as a Service), 가상 머신 기반 클라우드 서버 및 컨테이너 기반 클라우드 서버 중 적어도 하나의 형태로 구현될 수 있다. 즉, 본 발명의 컴퓨팅 장치(100)는 상술한 클라우드 컴퓨팅 서비스 중 적어도 하나의 형태로 구현될 수 있다. 전술한 클라우드 컴퓨팅 서비스의 구체적인 기재는 예시일 뿐, 본 발명의 클라우드 컴퓨팅 환경을 구축하는 임의의 플랫폼을 포함할 수도 있다.
본 발명의 컴퓨팅 장치(100)의 구체적인 구성, 기술적 특징들 및 기술적 특징들에 따른 효과들은 하기의 도 2 내지 도 8을 참조하여 후술하도록 한다.
도 2는 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.
도 2에 도시된 바와 같이, 컴퓨팅 장치(100)는 네트워크부(110), 메모리(120), 센서부(130), 환경 조성부(140) 및 프로세서(150)를 포함할 수 있다. 전술한 컴퓨팅 장치(100)에 포함된 컴포넌트들은 예시적인 것으로서 본 발명내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 발명내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 사용자 단말(10) 및 외부 서버(20)와 데이터를 송수신하는 네트워크부(110)를 포함할 수 있다. 네트워크부(110)는 본 발명의 일 실시예에 따른 수면 음향 정보에 기반하여 수면 상태를 분석하기 위한 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 즉, 네트워크부(110)는 컴퓨팅 장치(100)와 사용자 단말(10) 및 외부 서버(20) 간의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크부(110)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 추가적으로, 네트워크부(110)는 컴퓨팅 장치(100)로 프로시저를 호출하는 방식으로 컴퓨팅 장치(100)와 사용자 단말(10) 및 외부 서버(20) 간의 정보 전달을 허용할 수 있다.
본 발명의 일 실시예에 따른 네트워크부(110)는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 본 명세서에서 제시되는 네트워크부(110)는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.
본 발명에서 네트워크부(110)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
본 발명의 일 실시예에 따르면, 메모리(120)는 본 발명의 일 실시예에 따른 수면 음향 정보를 통해 수면 상태를 분석하기 위한 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(150)에 의하여 판독되어 구동될 수 있다. 또한, 메모리(120)는 프로세서(150)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(110)가 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(120)는 사용자의 수면에 관련한 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 입/출력되는 데이터들(예를 들어, 사용자의 수면 환경에 관련한 수면 음향 정보, 수면 음향 정보에 대응하는 수면 상태 정보(421) 등)을 임시 또는 영구 저장할 수도 있다.
본 발명의 일 실시예에 따르면, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 컴퓨팅 장치(100)는 인터넷(internet) 상에서 상기 메모리(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에 따르면, 센서부(130)는 사용자의 수면 환경과 관련하여 사용자의 신체 온도, 실내 온도, 실내 기류, 실내 습도, 실내 음향 및 실내 조도 중 적어도 하나에 대한 정보를 포함하는 실내 환경 정보를 획득하기 위한 하나 이상의 환경 센싱 모듈을 포함할 수 있다. 실내 환경 정보는, 사용자의 수면 환경과 관련한 정보로서, 사용자의 수면 단계의 변화에 관련한 수면 상태를 통해 사용자의 수면에 대한 외부적 요인의 영향을 고려하기 위한 기준이 되는 정보일 수 있다. 하나 이상의 환경 센싱 모듈은 예를 들어, 온도 센서, 기류 센서, 습도 센서, 음향 센서, 조도 센서 중 적어도 하나의 센서 모듈을 포함할 수 있다. 다만, 이에 제한되는 것은 아니고, 사용자의 수면에 영향을 줄 수 있는 다양한 센서들을 더 포함할 수도 있다.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 환경 조성부(140)를 통해 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 환경 조성부(140)는 하나 이상의 환경 조성 모듈을 포함할 수 있으며, 프로세서(150)로부터 수신한 외부 환경 조성 정보에 기초하여 온도, 풍향, 습도, 음향 및 조도 중 적어도 하나에 관련한 환경 조성 모듈을 동작시킴으로써, 사용자의 수면 환경을 조정할 수 있다. 외부 환경 조성 정보는, 사용자의 수면 단계의 변화에 따른 수면 상태 판정에 기초하여 프로세서(150)에 의해 생성된 신호일 수 있으며, 예를 들어, 사용자의 수면 환경에 관련하여 온도를 낮추거나, 습도를 올리거나, 조도를 낮추거나 또는 음향을 낮추도록 하는 신호일 수 있다. 전술한 환경 제어 신호에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
하나 이상의 환경 조성 모듈은 예를 들어, 온도 제어 모듈, 풍향 제어 모듈, 습도 제어 모듈, 음향 제어 모듈 및 조도 제어 모듈 중 적어도 하나를 포함할 수 있다. 다만, 이에 제한되는 것은 아니고, 하나 이상의 환경 조성 모듈은 사용자의 수면 환경에 변화를 가져올 수 있는 다양한 환경 조성 모듈들을 더 포함할 수 있다. 즉, 환경 조성부(140)는 프로세서(150)의 환경 제어 신호에 기초하여 하나 이상의 환경 조성 모듈을 구동시킴으로써, 사용자의 수면 환경을 조정할 수 있다.
본 발명의 다른 실시예에 따르면, 환경 조성부(140)는 사물 인터넷(IOT, Internet of Things)을 통한 연계를 통해 구현될 수도 있다. 구체적으로, 환경 조성부(140)는 사용자가 수면을 위해 위치하는 공간에 관련하여 실내 환경의 변화를 줄수 있는 다양한 기기들과의 연계를 통해 구현될 수 있다. 예를 들어, 환경 조성부(140)는 사물 인터넷을 통한 연계에 기반한 스마트 에어컨, 스마트 히터, 스마트 보일러, 스마트 창문, 스마트 가습기, 스마트 제습기 및 스마트 조명 등으로 구현될 수 있다. 전술한 환경 조성부에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이제 제한되지 않는다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.
프로세서(150)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 발명의 일실시예에 따라 프로세서(150)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(150)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
또한, 프로세서(150)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
본 명세서에서 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호 교환 가능하게 사용될 수 있다. 본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.
본 명세서에서 모델은 네트워크 함수를 포함할 수 있다. 모델은 하나 이상의 네트워크 함수를 포함할 수도 있으며, 이 경우 모델의 출력은 하나 이상의 네트워크 함수의 출력의 앙상블일 수 있다.
프로세서(150)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(150)는 수면 센싱 데이터에 기초하여 수면 분석 정보를 산출하기 위한 계산을 수행할 수 있다. 본 발명의 일 실시예에 따라 프로세서(150)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 통상적으로 컴퓨팅 장치(100)의 전반적인 동작을 처리할 수 있다. 프로세서(150)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 사용자의 수면과 관련한 수면 음향 정보(210)를 획득할 수 있다. 본 발명의 일 실시예에 따른, 수면 음향 정보(210)의 획득은, 메모리(120)에 저장된 수면 음향 정보를 획득하거나 또는 로딩(loading)하는 것일 수 있다. 또한 수면 음향 정보의 획득은, 유/무선 통신 수단에 기초하여 다른 저장 매체에, 다른 컴퓨팅 장치, 동일한 컴퓨팅 장치 내의 별도 처리 모듈로부터 데이터를 수신하거나 또는 로딩하는 것일 수 있다.
수면 음향 정보는, 사용자의 수면 동안 비침습 방식으로 획득되는 음향 정보에 관련한 것일 수 있다. 구체적인 예를 들어, 수면 음향 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 즉, 본 발명에서의 수면 음향 정보는, 사용자의 수면 동안에 관련한 움직임 패턴 및 호흡 패턴에 관련한 음향 정보를 의미할 수 있다.
일 실시예에 따르면, 사용자가 소지한 사용자 단말(10)을 통해 사용자가 활동하는 공간에 관련한 생활 환경 음향 정보가 획득될 수 있으며, 프로세서(150)는 생활 환경 음향 정보로부터 수면 음향 정보를 획득할 수 있다. 여기서 생활 환경 음향 정보는, 사용자의 일상 생활 속에서 획득되는 음향 정보일 수 있다. 예컨대, 생활 환경 음향 정보는, 청소에 관련한 음향 정보, 음식 조리에 관련한 음향 정보, TV 시청에 관련하 음향 정보 등 사용자의 생활에 따라 획득되는 다양한 음향 정보를 포함할 수 있다.
구체적으로, 프로세서(150)는 생활 환경 음향 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많은 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 프로세서(150)는 생황 환경 음향 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(150)는 식별된 특이점을 기준으로 획득되는 생활 환경 음향 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 프로세서(150)는 시계열적으로 획득되는 생활 환경 음향 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.
구체적인 예를 들어, 도 3을 참조하면, 프로세서(150)는 생활 환경 음향 정보(200)로부터 기 설정된 패턴이 식별되는 시점에 관련한 특이점(201)을 식별할 수 있다. 또한, 프로세서(150)는 식별된 특이점을 기준으로 해당 특이점 이후에 획득되는 음향 정보들에 기초하여 수면 음향 정보(210)를 획득할 수 있다. 도 3에서의 음향에 관련한 파형 및 특이점은 본 발명의 이해를 위한 예시에 불과할 뿐, 본 발명은 이에 제한되지 않는다.
즉, 프로세서(150)는 생활 환경 음향 정보로부터 사용자의 수면에 관련한 특이점을 식별함으로써, 방대한 양의 음향 정보로부터 수면 음향 정보만을 추출하여 획득할 수 있다. 이는, 사용자가 자신의 수면 시간을 기록하는 과정을 자동화하도록 하여 편의성을 제공함과 동시에, 획득되는 수면 음향 정보의 정확성 향상에 기여할 수 있다.
실시예에 따르면, 수면 음향 정보는 사용자가 소지한 사용자 단말(10)을 통해 획득될 수 있다. 예컨대, 사용자 단말(10)에 구비된 마이크 모듈을 통해 사용자의 수면 환경에 관련한 수면 음향 정보가 획득될 수 있다.
일반적으로, 사용자가 소지한 사용자 단말(10)에 구비된 마이크 모듈은, 비교적 작은 크기의 사용자 단말(10)에 구비되어야 하므로 MEMS(Micro-Electro Mechanical Systems)로 구성될 수 있다. 이러한 마이크 모듈은 매우 소형으로 제작이 가능하나, 콘덴서 마이크(Condenser Microphone)나 다이나믹 마이크(dynamic microphone)에 비해 낮은 신호 대 잡음비(SNR)를 가질 수 있다. 신호 대 잡음비가 낮다는 것은, 식별하고자 하는 음향 대비 식별하지 않고자 하는 음향인 잡음의 비율이 높은 것으로 음향의 식별이 용이하지 않음(즉, 불분명함)을 의미할 수 있다.
본 발명에서 분석의 대상이 되는 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 음향 정보 즉, 수면 음향 정보일 수 있다. 이러한 수면 음향 정보는, 사용자의 호흡 및 움직임 등 매우 미세한 음향에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다. 이에 따라, 프로세서(150)는 낮은 신호 대 잡음비를 가진 수면 음향 정보가 획득되는 경우, 이를 처리 및/또는 분석하기 위한 데이터로 가공 처리할 수 있다.
일 실시예에 따르면, 프로세서(150)는 수면 음향 정보에 대한 전처리를 수행할 수 있다. 수면 음향 정보에 대한 전처리는 노이즈 제거에 관한 전처리일 수 있다. 구체적으로, 프로세서(150)는 수면 음향 정보를 미리 정해진 시간 단위를 갖는 하나 이상의 음향 프레임으로 분류할 수 있다. 또한, 프로세서(150)는 하나 이상의 음향 프레임 각각의 에너지 레벨에 기초하여 최소 에너지 레벨을 갖는 최소 음향 프레임을 식별할 수 있다. 프로세서(150)는 최소 음향 프레임에 기초하여 수면 음향 정보에 대한 노이즈 제거를 수행할 수 있다.
구체적인 예를 들어, 프로세서(150)는 30초의 수면 음향 정보를 매우 짧은 40ms 크기의 하나 이상의 음향 프레임으로 분류할 수 있다. 또한, 프로세서(150)는 40ms 크기에 관련한 복수의 음향 프레임 각각의 크기를 비교하여 최소 에너지 레벨을 갖는 최소 음향 프레임을 식별할 수 있다. 프로세서(150)는 전체 수면 음향 정보(즉, 30초의 수면 음향 정보)에서 식별된 최소 음향 프레임 성분을 제거할 수 있다. 예컨대, 도 4를 참조하면, 수면 음향 정보(210)에서 최소 음향 프레임 성분이 제거됨에 따라, 전처리된 수면 음향 정보(210)가 획득될 수 있다. 즉, 프로세서(150)는 최소 음향 프레임을 백그라운드 노이즈 프레임으로써 식별하여 원본 신호(즉, 수면 음향 정보)에서 제거함으로서, 노이즈 제거에 관한 전처리를 수행할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 전처리된 수면 음향 정보에 대한 분석을 수행하여 수면 상태 정보(421)를 획득할 수 있다. 실시예에 따르면, 수면 상태 정보(421)는, 사용자의 수면 동안 변화하는 수면 단계에 관련한 정보일 수 있다. 예를 들어, 수면 상태 정보(421)는, 사용자의 지난 밤 8시간 수면 동안 각 시점 별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 REM 수면 등으로 변화한 정보를 의미할 수 있다. 전술한 수면 상태 정보(421)에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
구체적으로, 프로세서(150)는 전처리된 수면 음향 정보에 대응하는 스펙트로그램을 생성할 수 있다. 전처리된 수면 음향 정보에 대응하여 스펙트로그램을 생성하는 과정은, 도 4 및 도 5를 참조하여 이하에서 후술하도록 한다.
프로세서(150)는 전처리된 수면 음향 정보(210)에 대응하여 스펙트로그램을 생성할 수 있다. 프로세서(150)는 전처리된 수면 음향 정보(210)에 대한 고속 푸리에 변환을 수행하여 전처리된 수면 음향 정보(210)에 대응하는 스펙트로그램을 생성할 수 있다. 스펙트로그램은 소리나 파동을 시각화하여 파악하기 위한 것으로, 파형(waveform)과 스펙트럼(spectrum)의 특징이 조합된 것일 수 있다. 스펙트로그램은 시간 축과 주파수 축의 변화에 따라 진폭을 차이를 인쇄 농도 또는, 표시 색상의 차이로 나타낸 것일 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)가 수면 음향 정보(210)에 대응하여 생성하는 스펙트로그램은, 멜 스펙트로그램을 포함할 수 있다. 프로세서(150)는, 도 5에 도시된 바와 같이, 스펙트로그램에 대한 멜-필터 뱅크(Mel-Filter Bank)를 통해 멜 스펙트로그램(Mel-Spectrogram)을 획득할 수 있다. 일반적으로, 인간의 달팽이관은 음성 데이터의 주파수에 따라 진동하는 부위가 상이할 수 있다. 또한, 인간의 달팽이관은 주파수가 낮은 대역에서 주파수 변화를 잘 감지하며, 높은 대역에서의 주파수 변화를 잘 감지하지 못하는 특성을 가지고 있다. 이에 따라, 음성 데이터에 대한 인간의 달팽이관의 특성과 유사한 인식 능력을 갖도록 멜-필터 뱅크를 활용하여 스펙트로그램으로부터 멜 스펙트로그램을 획득할 수 있다. 즉, 멜-필터 뱅크는, 낮은 주파수 대역에서 적은 필터 뱅크를 적용하고, 고대역으로 갈수록 넓은 필터 뱅크를 적용하는 것 일 수 있다. 다시 말해, 프로세서(150)는 인간의 달팽이관의 특성과 유사하도록 음성 데이터를 인식하기 위해 멜-필터 뱅크를 스펙트로그램에 적용함으로써, 멜 스펙트로그램을 획득할 수 있다. 멜 스펙트로그램은 인간의 청각 특성이 반영된 주파수 성분을 포함할 수 있다. 즉, 본 발명에서 수면 음향 정보에 대응하여 생성되며, 신경망을 활용한 분석의 대상이 되는 스펙트로그램은, 전술한 멜 스펙트로그램을 포함할 수 있다.
본 발명에서 수면 음향 정보는, 호흡 및 몸 움직임에 관련한 음향에 관련한 것이므로, 매우 작은 소리일 수 있다. 이에 따라, 프로세서(150)는 수면 음향 정보를 스펙트로그램(300)으로 변환하여 음향에 대한 분석을 수행할 수 있다. 이 경우, 스펙트로그램(300)은 전술한 바와 같이, 소리의 주파수 스펙트럼이 시간에 따라 어떻게 변환하는지 보여주는 정보를 포함하고 있으므로, 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 식별할 수 있어 분석의 효율이 향상될 수 있다. 구체적인 예를 들어, 도 5에 도시된 바와 같이, 다양한 수면 단계에 따라, 각각의 스펙트로그램이 상이한 농도의 주파수 스펙트럼을 갖도록 구성될 수 있다. 즉, 수면 음향 정보의 에너지 레벨의 변화만으로는, 깨어있는 상태, REM 수면 상태, 얕은 수면 상태 및 깊은 수면 상태 중 적어도 하나인지를 예측하기 어려울 수 있으나, 수면 음향 정보를 스펙트로그램으로 변환함으로써, 각 주파수의 스펙트럼의 변화를 용이하게 감지할 수 있으므로, 작은 소리(예컨대, 호흡 및 몸 움직임)에 대응한 분석이 가능해질 수 있다.
또한, 프로세서(150)는 스펙트로그램(300)을 수면 분석 모델의 입력으로 처리하여 수면 상태 정보(421)를 획득할 수 있다. 여기서 수면 분석 모델은, 사용자의 수면 단계 변화에 관련한 수면 상태 정보(421)를 획득하기 위한 모델로, 사용자의 수면 동안 획득된 수면 음향 정보를 입력으로 하여 수면 상태 정보(421)를 출력할 수 있다. 실시예에서, 수면 분석 모델은, 하나 이상의 네트워크 함수를 통해 구성되는 신경망 모델을 포함할 수 있다.
수면 분석 모델은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 '노드'라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 '노드'들은 '뉴런(neuron)'들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 '링크'에 의해 상호 연결될 수 있다.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.
신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 신경망은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다.
신경망은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.
본 발명의 일 실시예에 따르면, 수면 분석 모델은, 미리 정해진 에폭 별 하나 이상의 피처를 추출하는 피처 추출 모델 및 피처 추출 모델을 통해 추출된 피처들 각각을 하나 이상의 수면 단계로 분류하여 수면 상태 정보(421)를 생성하는 피처 분류 모델을 포함할 수 있다. 수면 분석 모델을 활용하여 수면 상태 정보(421)를 획득하는 과정은 도 6을 참조하여 이하에서 후술하도록 한다.
실시예에 따르면, 피처 추출 모델(410)은, 스펙트로그램(300)의 시계열적 주파수 패턴을 분석하여 호흡음, 호흡패턴, 움직임 패턴에 관련한 피처들을 추출할 수 있다. 일 실시예에서, 피처 추출 모델(410)은 학습 데이터 세트를 통해 사전 학습된 신경망 모델(예컨대, 오토인코더)일 수 있다. 여기서 학습 데이터 세트는, 복수의 스펙트로그램 및 각 스펙트로그램에 대응하는 복수의 수면 단계 정보로 구성될 수 있다.
일 실시예에서, 피처 추출 모델(410)은, 학습 데이터 세트를 통해 학습된 오토인코더(Autoencoder)에서 인코더를 통해 구성될 수 있다. 오토인코더는 비지도학습 방식을 통해 학습될 수 있다. 오토인코더는 학습 데이터 세트를 통해 입력 데이터와 유사한 출력 데이터를 출력하도록 학습될 수 있다. 자세히 설명하면, 인코더를 통해 인코딩 과정에서 입력된 스펙트로그램의 핵심 특징 데이터(또는 피처)만을 히든 레이어를 통해 학습하고 나머지 정보를 손실시킬 수 있다. 이 경우, 디코더를 통한 디코딩 과정에서 히든 레이어의 출력 데이터는 완벽한 복사 값이 아닌 입력 데이터(즉, 스펙트로그램)의 근사치일 수 있다. 즉, 오토인코더는 출력 데이터와 입력 데이터가 최대한 같아지도록 가중치를 조정하도록 학습될 수 있다.
실시예에서, 학습 데이터 세트에 포함된 복수의 스펙트로그램 각각에는, 수면 단계 정보가 태깅될 수 있다. 복수의 스펙트로그램 각각을 인코더에 입력될 수 있으며, 각 스펙트로그램에 대응하는 출력은 태깅된 수면 단계 정보와 매칭하여 저장될 수 있다. 구체적으로 인코더를 이용하여 제1수면 단계 정보(예컨대, 얕은 수면)가 태깅된 제1학습 데이터 세트들(즉, 복수의 스펙트로그램) 인코더의 입력으로 하는 경우, 해당 입력에 대한 인코더의 출력에 관련한 피처들은 제1수면 단계 정보와 매칭하여 저장될 수 있다. 실시예에서, 인코더의 출력에 관련한 하나 이상의 피처는 벡터 공간 상에 표시될 수 있다. 이 경우, 제1학습 데이터 세트들을 각각에 대응하여 출력된 특징 데이터들은 제1수면 단계에 관련한 스펙트로그램을 통한 출력이므로, 벡터 공간 상에서 비교적 가까운 거리에 위치할 수 있다. 즉, 각 수면 단계에 대응하여 복수의 스펙트도그램들이 유사한 피처를 출력하도록 인코더의 학습이 수행될 수 있다. 인코더의 경우, 디코더가 입력 데이터를 잘 복원할 수 있도록 하는 특징을 잘 추출하도록 학습될 수 있다. 따라서, 피처 추출 모델(410)인 학습된 오토인코더 중 인코더를 통해 구현됨에 따라, 입력 데이터(즉, 스펙트로그램)을 잘 복원할 수 있도록 하는 특징들(즉, 복수의 피처)를 추출할 수 있다.
전술한 학습 과정을 통해 피처 추출 모델(410)을 구성하는 인코더는 스펙트로그램(예컨대, 수면 음향 정보에 대응하여 변환된 스펙크로그램)을 입력으로 하는 경우, 해당 스펙트로그램에 대응하는 피처를 추출할 수 있다.
실시예에서, 프로세서(150)는 수면 음향 정보(210)에 대응하여 생성된 스펙트로그램(300)을 피처 추출 모델(410)의 입력으로 처리하여 피처를 추출할 수 있다. 여기서, 수면 음향 정보(210)는 사용자의 수면 동안 시계열적으로 획득되는 시계열 데이터이므로, 프로세서(150)는 스펙트로그램(300)을 미리 정해진 에폭으로 분할할 수 있다. 예컨대, 프로세서(150)는 수면 음향 정보(210)에 대응하는 스펙트로그램(300)을 30초 단위로 분할하여 복수 개의 스펙트로그램들(300n)을 획득할 수 있다. 예를 들어, 사용자의 7시간(즉, 420분) 수면 동안 수면 음향 정보가 획득된 경우, 프로세서(150)는 30초 단위로 스펙트로그램을 분할하여 140개의 스펙트로그램(300n)을 획득할 수 있다. 전술한 수면 시간, 스펙트로그램의 분할 시간 단위 및 분할 개수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
프로세서(150)는 분할된 복수 개의 스펙트로그램들(300n) 각각을 피처 추출 모델(410)의 입력으로 처리하여 복수 개의 스펙트로그램들(300n) 각각에 대응하는 복수의 피처(411)를 추출할 수 있다. 예컨대, 복수 개의 스펙트로그램들의 개수가 140개인 경우, 이에 대응하여 피처 추출 모델(410)이 추출하는 복수의 피처(411)의 개수 또한 140개일 수 있다. 전술한 스펙트로그램 및 복수의 피처의 개수에 관련한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
또한, 프로세서(150)는 도 6에 도시된 바와 같이, 피처 추출 모델(410)을 통해 출력된 복수의 피처(411)를 피처 분류 모델(420)의 입력으로 처리하여 수면 상태 정보(421)를 획득할 수 있다. 실시예에서, 피처 분류 모델(420)은 피처에 대응하여 수면 단계를 예측하도록 사전 학습된 신경망 모델일 수 있다. 예컨대, 피처 분류 모델(420)은 fully connected layer를 포함하여 구성되며, 피처를 수면 단계들 중 적어도 하나로 분류하는 모델일 수 있다. 예를 들어, 피처 분류 모델(420)은 제1스펙트로그램에 대응하는 제1피처를 입력으로 하는 경우, 해당 제1피처를 얕은 수면으로 분류할 수 있다.
일 실시예에서, 피처 분류 모델(420)은 여러 에폭에 관련한 스펙트로그램을 입력으로 하여 여러 에폭의 수면 단계를 예측하는 멀티 에폭 분류를 수행할 수 있다. 멀티 에폭 분류란, 단일 에폭의 스펙트로그램(즉, 30초에 해당하는 하나의 스펙트로그램)에 대응하여 하나의 수면 단계 분석 정보를 제공하는 것이 아닌, 복수의 에폭에 해당하는 스펙트로그램들(즉, 각각 30초에 해당하는 스펙트로그램들의 조합)을 입력으로 하여 여러 수면 단계들(예컨대, 시간 변화에 따른 수면 단계들의 변화)를 한 번에 추정하기 위한 것일 수 있다. 예컨대, 호흡 패턴 또는 움직임 패턴은 뇌파 신호 또는 다른 생체 신호에 비해 천천히 변화하기 때문에, 과거와 미래의 시점에서 패턴이 어떻게 변화하는지를 관찰해야 정확한 수면 단계 추정이 가능할 수 있다. 구체적인 예를 들어, 피처 분류 모델(420)은, 40개의 스펙트로그램(예컨대, 각각 30초에 해당하는 스펙트로그램이 40개)을 입력으로 하여, 가운데에 위치한 20개의 스펙트로그램에 대한 예측을 수행할 수 있다. 즉, 1 내지 40의 스펙트로그램을 모두를 살펴보나, 10 내지 20에 대응하는 스펙트로그램에 대응하는 분류를 통해 수면 단계를 예측할 수 있다. 전술한 스펙트로그램의 개수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.
즉, 수면 단계를 추정하는 과정에서, 단일 스펙트로그램 각각에 대응하여 수면 단계 예측을 수행하는 것이 아닌, 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 스펙트로그램들을 입력으로 활용하도록 함으로써, 출력의 정확도 향상을 도모할 수 있다.
전술한 바와 같이, 프로세서(150)는 낮은 신호 대 잡음비로 획득된 수면 음향 정보에 대한 전처리를 수행하고, 전처리된 수면 음향 정보에 기초하여 스펙트로그램을 획득할 수 있다. 이 경우, 스펙트로그램으로의 변환은 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 분석하도록 하기 위함일 수 있다. 또한, 프로세서(150)는 피처 추출 모델(410) 및 피처 분류 모델(420)을 포함하여 구성되는 수면 분석 모델을 활용하여 획득한 스펙트로그램에 기초한 수면 상태 정보(421)를 생성할 수 있다. 이 경우, 수면 분석 모델은 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 스펙트로그램들을 입력으로 하여 수면 단계 예측을 수행할 수 있으므로, 보다 정확도 있는 수면 상태 정보(421)를 출력할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 전처리된 수면 음향 정보에 기초하여 데이터 증강을 수행할 수 있다. 이러한 데이터 증강은, 수면 분석 모델로 하여금 다양한 도메인에서 측정된 사운드(예컨대, 다른 침실, 다른 마이크, 다른 배치 위치 등)에서도 robust하게 수면 상태 정보(421)를 출력하도록 하기 위함이다. 실시예에서 데이터 증강은, Pitch shifting, gaussian noise, loudness control, dynamic range control 및 spec augmentation 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 프로세서(150)는 수면 음향 정보에 기초하여 Pitch shifting에 관련한 데이터 증강을 수행할 수 있다. 예컨대, 프로세서(150)는 미리 정해진 간격으로 사운드의 피치를 높이거나, 또는 내리는 등 음향의 피치를 조정함으로써, 데이터 증강을 수행할 수 있다.
프로세서(150)는 Pitch shifting 뿐만 아니라, 노이즈에 관련한 보정을 통해 데이터 증강을 수행하는 gaussian noise, 음량을 변화시켜도 음질이 유지되는 느낌을 주도록 음향을 보정하여 데이터 증강을 수행하는 loudness control, 음향의 최대 진폭과 최소 진폭 사이를 dB로 측정한 대수비인 다이내믹 레인지를 조정하여 데이터 증강을 수행하는 dynamic range control 및 음향의 사양 증가에 관련한 spec augmentation을 수행할 수 있다.
즉, 프로세서(150)는 본 발명의 분석에 기초가되는 음향 정보(즉, 수면 음향 정보)에 대한 데이터 증강을 통해, 수면 분석 모델이 다양한 환경에서 획득되는 수면 음향에 대응하여 강인한 인식을 수행하도록 하여 수면 단계 예측의 정확성을 향상시킬 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(150)는 환경 조성 모듈을 제어할 수 있다. 구체적으로, 프로세서(150)는 조도 조정에 관련한 외부 환경 조성 정보를 생성할 수 있으며, 해당 외부 환경 조성 정보를 환경 조성 모듈로 전송할 것을 결정함으로써, 환경 조성 모듈의 조도 조정 동작을 제어할 수 있다.
실시예에 따르면, 빛은 수면의 질에 영향을 줄 수 있는 대표적인 요인 중 하나일 수 있다. 예컨대, 빛의 조도, 색, 노출 정도 등에 따라 수면의 질에 좋은 영향을 끼칠 수 있고, 그리고 나쁜 영향을 끼칠 수 있다. 이에 따라, 프로세서(150)는 조도를 조정하여 사용자의 수면의 질을 향상시킬 수 있다. 예를 들어, 프로세서(150)는 잠들기 전이나 잠든 후의 상황을 모니터링 하고, 이에 따라 사용자를 효과적으로 깨우기 위한 조도 조정을 수행할 수 있다. 즉, 프로세서(150)는 수면 상태(예컨대, 수면 단계)를 파악하여 자동으로 조도를 조정하여 수면의 질을 극대화시킬 수 있다.
일 실시예에서, 프로세서(150)는 사용자 단말(10)로부터 수면 계획 정보를 수신할 수 있다. 수면 계획 정보는, 사용자가 사용자 단말(10)을 통해 생성하는 정보로, 예컨대, 취침 시간 및 기상 시간에 관한 정보를 포함할 수 있다. 프로세서(150)는 수면 계획 정보에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 구체적인 예를 들어, 프로세서(150)는 수면 계획 정보를 통해 사용자의 취침 시간을 식별하고, 해당 취침 시간에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 예컨대, 프로세서(150)는 취침 시간 20분 전, 침대 위치를 기준으로 3000K의 백색광을 30 lux의 조도의 빛을 제공하도록 하는 외부 환경 조성 정보를 생성할 수 있다. 즉, 취침 시간에 관련하여 사용자가 자연스럽게 수면에 들도록 유도하는 조도를 조성할 수 있다.
또한, 예를 들어, 프로세서(150)는 수면 계획 정보를 통해 사용자의 기상 시간을 식별하고, 해당 기상 시간에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 예컨대, 프로세서(150)는 기상 시간 30분 전부터 침대 위치를 기준으로 3000K의 백색광을 0 lux부터 시작해서 250 lux에 도달하게끔 서서히 조도를 서서히 높혀주도록 하는 외부 환경 조성 정보를 생성할 수 있다. 이러한 외부 환경 조성 정보는, 희망 기상 시간에 대응하여 자연스럽고 개운하게 기상하도록 유도할 수 있다.
또한, 프로세서(150)는 외부 환경 조성 정보를 환경 조성 모듈로 전송할 것을 결정할 수 있다. 즉, 프로세서(150)는 수면 계획 정보에 기초하여 취침 또는 기상 시 사용자가 잠에 용이하게 들거나 또는 자연스럽게 일어날 수 있도록 하는 외부 환경 조성 정보를 생성함으로써, 사용자의 수면의 질을 향상시킬 수 있다.
다른 실시예에서, 프로세서(150)는 수면 상태 정보(421)에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 실시예에서, 수면 상태 정보(421)는 수면 음향 정보에 대한 분석을 통해 시계열적으로 획득되는 사용자의 수면 단계 변화에 관한 정보를 포함할 수 있다.
구체적인 예를 들어, 프로세서(150)는 사용자의 수면 상태 정보(421)를 통해 사용자가 수면 단계(예컨대, 얕은 수면)에 진입했음을 식별하는 경우, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 외부 환경 조성 정보를 생성할 수 있다. 즉, 사용자의 수면 단계 별 최적의 조도 즉 최적의 수면 환경을 조성함으로써, 사용자의 수면 효율을 향상시킬 수 있다. 이 밖에도, 프로세서(150)는 수면 중, 사용자의 수면 단계 변화에 따라 적정한 조도를 제공하도록 하기 위한 외부 환경 조성 정보를 생성할 수 있다. 예를 들어, 얕은 수면에서 깊은 수면으로 변화되는 경우, 미세한 적색광을 공급하거나, 또는 REM 수면에서 얕은 수면으로 변화되는 경우, 조도를 낮추거나 청생광을 공급하는 등 수면 단계 변화에 따라 보다 다양한 외부 환경 조성 정보를 생성할 수 있다. 이는, 수면 전, 또는 기상 직후 뿐만 아닌 수면 중 상황까지 자동으로 고려하여 수면 경험의 일부가 아닌 전체를 고려함으로써 사용자로 하여금 수면의 질을 극대화시키는 효과를 가질 수 있다.
추가적인 실시예에서, 프로세서(150)는 수면 상태 정보(421)에 기초하여 추천 수면 계획 정보를 생성할 수 있다. 구체적으로, 프로세서(150)는 수면 상태 정보(421)를 통해 사용자의 수면 단계 변화에 대한 정보(예컨대, 수면 사이클)를 획득할 수 있으며, 이러한 정보들을 기반으로 기상 예상 시간을 설정할 수 있다. 예컨대, 일반적으로 하루동안의 수면 사이클은, 얕은 수면, 깊은 수면, 앞은 수면, REM 수면 단계를 거칠 수 있다. 프로세서(150)는 REM 수면 이후가 사용자가 가장 개운하게 기상할 수 있는 시점으로 판단하여 REM 시점 이후로 기상 시간을 결정함으로서, 추천 수면 계획 정보를 생성할 수 있다. 또한, 프로세서(150)는 추천 수면 계획 정보에 따라 외부 환경 조성 정보를 생성하고, 이를 환경 조성 모듈로 전송할 것을 결정할 수 있다. 따라서, 사용자는 프로세서(150)가 추천한 추천 수면 계획 정보에 따라 자연스럽게 기상할 수 있다. 이는, 프로세서(150)가 사용자의 수면 단계 변화에 따라 사용자의 기상 시점을 추천한 것으로, 사용자의 피로도가 최소화되는 시점일 수 있으므로, 사용자의 수면 효율이 향상된다는 장점을 가질 수 있다.
도 7은 본 발명의 일 실시예와 관련된 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법을 예시적으로 나타낸 순서도를 도시한다.
본 발명의 일 실시예에 따르면, 상기 방법은, 사용자의 수면과 관련한 수면 음향 정보를 획득하는 단계(S100)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 방법은, 수면 음향 정보에 대한 전처리를 수행하는 단계(S200)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 방법은, 전처리된 수면 음향 정보에 대한 분석을 수행하여 수면 상태 정보(421)를 획득하는 단계(S300)를 포함할 수 있다.
전술한 도 7에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.
도 8은 본 발명의 일 실시예에 관련된 네트워크 함수를 나타낸 개략도이다.
딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.
본 발명의 일 실시예에서 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있고 아닐 수도 있다. 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 및 반교사학습(semi supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 출력의 오류를 최소화하기 위한 것이다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있다.
본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. (이하에서는 신경망으로 통일하여 기술한다.) 데이터 구조는 신경망을 포함할 수 있다. 그리고 신경망을 포함한 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망을 포함한 데이터 구조는 또한 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 학습을 위한 손실 함수를 포함할 수 있다. 신경망을 포함한 데이터 구조는 상기 개시된 구성들 중 임의의 구성 요소들을 포함할 수 있다. 즉 신경망을 포함한 데이터 구조는 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 트레이닝을 위한 손실 함수 등 전부 또는 이들의 임의의 조합을 포함하여 구성될 수 있다. 전술한 구성들 이외에도, 신경망을 포함한 데이터 구조는 신경망의 특성을 결정하는 임의의 다른 정보를 포함할 수 있다. 또한, 데이터 구조는 신경망의 연산 과정에 사용되거나 발생되는 모든 형태의 데이터를 포함할 수 있으며 전술한 사항에 제한되는 것은 아니다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 기록 매체 및/또는 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
본 발명의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선 채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 발명의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
Claims (16)
- 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 방법에 있어서,
사용자의 수면 음향 정보를 획득하는 단계;
상기 수면 음향 정보에 대한 전처리를 수행하는 단계; 및
상기 전처리된 수면 음향 정보에 대한 분석을 수행하여 수면 상태 정보를 획득하는 단계;
를 포함하며,
상기 수면 음향 정보를 획득하는 단계는,
사용자 단말에 구비된 마이크 모듈을 통해 수면 음향 정보를 획득하는 단계를 포함하며,
상기 마이크 모듈은 사용자의 신체에 삽입되지 않는 것을 특징으로 하고,
상기 수면 상태 정보를 획득하는 단계는,
상기 수면 음향 정보를 스펙트로그램으로 변환하여 음향에 대한 분석을 수행하는 단계를 포함하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 방법. - 제 1항에 있어서,
상기 수면 음향 정보는 호흡 및 몸 움직임에 관련한 음향을 포함하는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 방법. - 제 1항에 있어서,
상기 스펙트로그램이 30초 단위로 분할되어 복수개의 스펙트로그램들을 구성하는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 방법. - 제 1항에 있어서,
상기 수면 상태 정보는 수면 단계 정보를 포함하는 것을 특징으로 하는
음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 방법. - 제 1항에 있어서,
상기 마이크 모듈은 MEMS로 구성되는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 방법. - 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 장치에 있어서,
사용자의 수면과 관련한 수면 음향 정보를 획득하기 위한 마이크 모듈;
상기 수면 음향 정보에 대한 전처리를 수행하고, 상기 전처리된 수면 음향 정보에 대한 분석을 수행하여 수면 상태 정보를 획득하기 위한 프로세서 수단;
을 포함하며,
상기 마이크 모듈은 사용자의 신체에 삽입되지 않는 것을 특징으로 하고,
상기 프로세서 수단은,
상기 수면 음향 정보를 스펙트로그램으로 변환하여 음향에 대한 분석을 수행하여, 상기 수면 상태 정보를 획득하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 장치. - 제 6항에 있어서,
상기 수면 음향 정보는 호흡 및 몸 움직임에 관련한 음향을 포함하는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 장치. - 제 6항에 있어서,
상기 스펙트로그램이 30초 단위로 분할되어 복수개의 스펙트로그램들을 구성하는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 장치. - 제 6항에 있어서,
상기 수면 상태 정보는 수면 단계 정보를 포함하는 것을 특징으로 하는
음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 장치. - 제 6항에 있어서,
상기 마이크 모듈은 MEMS로 구성되는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 장치. - 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 수면 분석 모델이 실장된 서버 장치에 있어서,
상기 수면 분석 모델은
사용자의 신체에 삽입되지 않는 것을 특징으로 하는 마이크 모듈을 통해 획득된 사용자의 수면과 관련한 수면 음향 정보에 대한 분석을 수행하고,
상기 수면 음향 정보를 스펙트로그램으로 변환하여 음향에 대한 분석을 수행하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 수면 분석 모델이 실장된 서버장치. - 제 11항에 있어서,
상기 수면 음향 정보는 호흡 및 몸 움직임에 관련한 음향을 포함하는 것을 특징으로 하는,
음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 수면 분석 모델이 실장된 서버장치. - 제 11항에 있어서,
상기 스펙트로그램이 30초 단위로 분할되어 복수개의 스펙트로그램들을 구성하는 것을 특징으로 하는,
음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 수면 분석 모델이 실장된 서버장치. - 제 11항에 있어서,
상기 수면 상태 정보는 수면 단계 정보를 포함하는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 단계상태 정보를 분석하기 위한 수면 분석 모델이 실장된 서버장치. - 제 11항에 있어서,
상기 마이크 모듈은 MEMS로 구성되는 것을 특징으로 하는 음향 정보를 통해 사용자의 수면 상태 정보를 분석하기 위한 수면 분석 모델이 실장된 서버장치. - 제 1항 내지 제 5항 중 어느 한 항에 기재된 음향 정보를 통해 사용자의 수면 단계 정보를 분석하기 위한 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220095338A KR102600175B1 (ko) | 2021-12-31 | 2022-08-01 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
| KR1020230089780A KR20230110466A (ko) | 2021-12-31 | 2023-07-11 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210194186A KR102429256B1 (ko) | 2021-12-31 | 2021-12-31 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
| KR1020220095338A KR102600175B1 (ko) | 2021-12-31 | 2022-08-01 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210194186A Division KR102429256B1 (ko) | 2021-12-31 | 2021-12-31 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230089780A Division KR20230110466A (ko) | 2021-12-31 | 2023-07-11 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230103900A KR20230103900A (ko) | 2023-07-07 |
| KR102600175B1 true KR102600175B1 (ko) | 2023-11-09 |
Family
ID=82837210
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210194186A KR102429256B1 (ko) | 2021-12-31 | 2021-12-31 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
| KR1020220095338A KR102600175B1 (ko) | 2021-12-31 | 2022-08-01 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
| KR1020230089780A KR20230110466A (ko) | 2021-12-31 | 2023-07-11 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210194186A KR102429256B1 (ko) | 2021-12-31 | 2021-12-31 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230089780A KR20230110466A (ko) | 2021-12-31 | 2023-07-11 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240081730A1 (ko) |
| JP (1) | JP2024517553A (ko) |
| KR (3) | KR102429256B1 (ko) |
| WO (1) | WO2023128713A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102429256B1 (ko) * | 2021-12-31 | 2022-08-04 | 주식회사 에이슬립 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
| WO2024048875A1 (ko) * | 2022-09-02 | 2024-03-07 | 다인기술 주식회사 | 배뇨 정보 획득 방법 및 그 장치 |
| WO2024080647A1 (ko) * | 2022-10-13 | 2024-04-18 | 주식회사 에이슬립 | 사용자 수면 정보 기반의 수면 콘텐츠 생성 및 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록매체 |
| CN116746887B (zh) * | 2023-08-18 | 2023-12-01 | 智慧眼科技股份有限公司 | 一种基于音频的睡眠分期的方法、系统、终端及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102081241B1 (ko) * | 2012-03-29 | 2020-02-25 | 더 유니버서티 어브 퀸슬랜드 | 환자 소리들을 처리하기 위한 방법 및 장치 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2005318949B2 (en) * | 2004-12-23 | 2012-05-10 | ResMed Pty Ltd | Method for detecting and disciminatng breathing patterns from respiratory signals |
| KR20160096905A (ko) * | 2015-02-06 | 2016-08-17 | 아주대학교산학협력단 | 코골이 검출 장치 및 방법 |
| KR20170057038A (ko) * | 2015-11-16 | 2017-05-24 | 엘지전자 주식회사 | 수면 단계 분석 장치 및 그 동작 방법 |
| KR101868888B1 (ko) * | 2016-07-29 | 2018-06-26 | 연세대학교 원주산학협력단 | 비강압력신호를 이용한 수면호흡장애 환자의 수면/각성 분류 장치 및 방법 |
| KR101912666B1 (ko) * | 2017-02-20 | 2018-12-28 | 가천대학교 산학협력단 | 수면상태 분석장치 및 수면상태 분석 방법 |
| KR102212173B1 (ko) * | 2019-05-08 | 2021-02-04 | (주)엔플러그 | 사물인터넷 기반의 조명장치를 이용한 수면 모니터링 시스템 및 방법 |
| KR102324471B1 (ko) * | 2019-06-03 | 2021-11-10 | 계명대학교 산학협력단 | 휴대형 수면 무호흡증 컴퓨터 보조 진단 센서 장치 및 그 제어 방법 |
| KR20190114925A (ko) * | 2019-09-19 | 2019-10-10 | 엘지전자 주식회사 | 소리 신호 분류를 이용한 인공지능장치 및 그 방법 |
| KR102429256B1 (ko) * | 2021-12-31 | 2022-08-04 | 주식회사 에이슬립 | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 |
-
2021
- 2021-12-31 KR KR1020210194186A patent/KR102429256B1/ko active IP Right Grant
-
2022
- 2022-08-01 KR KR1020220095338A patent/KR102600175B1/ko active IP Right Grant
- 2022-12-30 US US18/287,969 patent/US20240081730A1/en active Pending
- 2022-12-30 WO PCT/KR2022/021760 patent/WO2023128713A1/ko active Application Filing
- 2022-12-30 JP JP2023557252A patent/JP2024517553A/ja active Pending
-
2023
- 2023-07-11 KR KR1020230089780A patent/KR20230110466A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102081241B1 (ko) * | 2012-03-29 | 2020-02-25 | 더 유니버서티 어브 퀸슬랜드 | 환자 소리들을 처리하기 위한 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230110466A (ko) | 2023-07-24 |
| US20240081730A1 (en) | 2024-03-14 |
| KR20230103900A (ko) | 2023-07-07 |
| WO2023128713A1 (ko) | 2023-07-06 |
| JP2024517553A (ja) | 2024-04-23 |
| KR102429256B1 (ko) | 2022-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102600175B1 (ko) | 음향 정보를 통해 사용자의 수면 상태를 분석하기 위한 방법, 컴퓨팅 장치 및 컴퓨터 프로그램 | |
| US11810670B2 (en) | Intelligent health monitoring | |
| KR102253946B1 (ko) | 사용자의 수면 환경에서 측정된 데이터에 기반하여 수면 상태를 예측하기 위한 컴퓨팅 장치 | |
| JP2023175924A (ja) | 使用者の睡眠環境で測定されたデータに基づいて睡眠状態を予測するためのコンピューティング装置 | |
| Azimi et al. | Machine learning-based automatic detection of central sleep apnea events from a pressure sensitive mat | |
| CN116339509A (zh) | 一种智能终端设备的控制方法及控制装置 | |
| Zhang et al. | An effective deep learning approach for unobtrusive sleep stage detection using microphone sensor | |
| KR102298119B1 (ko) | 수면에 관련한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치 | |
| KR20220082720A (ko) | 수면에 관련한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치 | |
| JP2024048399A (ja) | 音響情報を通じて使用者の睡眠状態を分析するための方法、コンピューティング装置及びコンピュータプログラム | |
| KR20220017349A (ko) | 사용자의 수면 환경에서 측정된 데이터에 기반하여 수면 상태를 예측하기 위한 컴퓨팅 장치 | |
| KR20240011964A (ko) | 음향 정보에 기반하여 수면 상태를 예측하는 수면 분석 모델을 생성하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| KR102387735B1 (ko) | 수면 분석 모델을 이용한 수면 분석 방법, 장치 및 컴퓨터 프로그램 | |
| KR102387734B1 (ko) | 비접촉 데이터 수집을 통한 수면상태 판단방법, 장치 및 컴퓨터 프로그램 | |
| Pandey et al. | Nocturnal sleep sounds classification with artificial neural network for sleep monitoring | |
| Korkalainen | Deep Learning for Next-Generation Sleep Diagnostics: sophisticated computational methods for more efficient and accurate assessment of sleep and obstructive sleep apnea | |
| Murthy et al. | Deep learning anomaly detection methods to passively detect COVID-19 from audio | |
| Fukui et al. | Sound-based sleep assessment with controllable subject-dependent embedding using Variational Domain Adversarial Neural Network | |
| US20230059947A1 (en) | Systems and methods for awakening a user based on sleep cycle | |
| Fan et al. | Transformer embedded with learnable filters for heart murmur detection | |
| Boelders | Shortness of breath deterioration detection from speech recordings | |
| Mathur | Scaling Machine Learning Systems using Domain Adaptation | |
| Cohen-McFarlane | Human Respiratory Sound Classification for Remote Health Monitoring Applications | |
| KR20240065211A (ko) | 사용자의 수면에 관한 정보 또는 평가를 나타내는 그래픽사용자 인터페이스 제공 방법 | |
| KR20240065215A (ko) | 사용자의 수면에 관한 정보 또는 평가를 나타내는 그래픽 사용자 인터페이스 제공 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |