WO2020045710A1 - 수면측정장치, 및 이를 구비하는 수면측정 시스템 - Google Patents

수면측정장치, 및 이를 구비하는 수면측정 시스템 Download PDF

Info

Publication number
WO2020045710A1
WO2020045710A1 PCT/KR2018/010155 KR2018010155W WO2020045710A1 WO 2020045710 A1 WO2020045710 A1 WO 2020045710A1 KR 2018010155 W KR2018010155 W KR 2018010155W WO 2020045710 A1 WO2020045710 A1 WO 2020045710A1
Authority
WO
WIPO (PCT)
Prior art keywords
sleep
sleepers
processor
snoring
signal
Prior art date
Application number
PCT/KR2018/010155
Other languages
English (en)
French (fr)
Inventor
최용진
최병훈
신동준
송민기
Original Assignee
엘지전자 주식회사
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 한양대학교 산학협력단 filed Critical 엘지전자 주식회사
Priority to PCT/KR2018/010155 priority Critical patent/WO2020045710A1/ko
Publication of WO2020045710A1 publication Critical patent/WO2020045710A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to a sleep measurement device, and a sleep measurement system having the same, and more particularly, a sleep measurement device capable of accurately calculating sleep efficiency for a plurality of sleepers using a complex sensor, and a sleep having the same It relates to a measuring system.
  • the sleep measurement device is a device that measures the sleep state of the sleeper.
  • Wearable sleep measurement apparatus of the band type there is an inconvenience that a plurality of sleepers to wear a wearable device, rather there is an element that interferes with sleep.
  • An object of the present invention is to provide a sleep measurement apparatus capable of accurately calculating sleep efficiency for a plurality of sleepers using a complex sensor, and a sleep measurement system having the same.
  • Another object of the present invention is to provide a sleep measurement apparatus capable of calculating a sleep stage or a sleep score for a plurality of sleepers using a non-contact composite sensor, and a sleep measurement system having the same.
  • Sleep measurement apparatus and a sleep measurement system having the same, a radar sensor for receiving a radar signal, a plurality of microphones for receiving an audio signal, and a plurality of microphones Separating the mixed audio signal and detecting snoring and apnea of the plurality of sleepers based on the separated audio signal, separating the mixed radar signal from the radar sensor, and based on the separated radar signal, Detect each movement, respiration, and heart rate signals, and sleep efficiency of each of the plurality of sleepers based on snoring data calculated based on the separated audio signal and movement, respiration, and heart rate signals of each of the plurality of sleepers. It includes a processor for calculating each.
  • the processor may calculate sleep stages of each of the plurality of sleepers.
  • the processor may calculate a sleep score of each of the plurality of sleepers based on the calculated sleep efficiency, sleep stage, snoring data, and apnea data.
  • the processor extracts the snoring candidate event from the separated audio signal, extracts the snoring feature based on the extracted snoring candidate event, and extracts the snoring feature based on the extracted snoring candidate event. Therefore, it can be calculated whether or not snoring.
  • the processor may extract an apnea feature from the separated audio signal, and calculate the apnea according to the learning-based classification performed based on the extracted apnea feature.
  • the processor classifies whether the plurality of sleepers are in a wake state or a sleep state based on the detected movements, breaths, and heartbeat signals of each of the plurality of sleepers. You can classify whether you are sleeping or non-REM.
  • the processor may calculate sleep stages of each of the plurality of sleepers.
  • the processor separates the mixed radar signal from the radar sensor, detects the plurality of sleepers based on the separated radar signal, and when the plurality of sleepers are absent, the period of the output radar signal outputted when the plurality of sleepers is present In contrast, it can be controlled to increase.
  • the processor may control the cycle of the output radar signal to be output according to the power level of the battery.
  • the processor may perform noise canceling for a certain noise of the audio signal from the microphone, and detect snoring and apnea of the plurality of sleepers based on the noise canceled audio signal.
  • the radar sensor for receiving a radar signal, a plurality of microphones for receiving an audio signal, and a mixed audio signal from the plurality of microphones and Detecting snoring and apnea of the plurality of sleepers based on the separated audio signal, separating the mixed radar signal from the radar sensor, and based on the separated radar signal, the movement and breathing of each of the plurality of sleepers
  • a processor for detecting a heart rate signal and calculating sleep efficiency of each of the plurality of sleepers based on snoring data calculated on the basis of the separated audio signal and movement, breathing, and heart rate signals of the plurality of sleepers, respectively.
  • the processor may calculate sleep stages of each of the plurality of sleepers. Accordingly, the sleep stage for each of the plurality of sleepers can be accurately calculated using the non-contact composite sensor.
  • the processor may calculate a sleep score of each of the plurality of sleepers based on the calculated sleep efficiency, sleep stage, snoring data, and apnea data. Accordingly, it is possible to accurately calculate the sleep score for each of the plurality of sleepers using the non-contact composite sensor.
  • the processor extracts the snoring candidate event from the separated audio signal, extracts the snoring feature based on the extracted snoring candidate event, and extracts the snoring feature based on the extracted snoring candidate event. Therefore, it can be calculated whether or not snoring. Accordingly, it is possible to accurately calculate whether the snoring using a non-contact composite sensor.
  • the processor may extract an apnea feature from the separated audio signal, and calculate the apnea according to the learning-based classification performed based on the extracted apnea feature. . Accordingly, it is possible to accurately calculate whether apnea using a non-contact composite sensor.
  • the processor classifies whether the plurality of sleepers are in a wake state or a sleep state based on the detected movements, breaths, and heartbeat signals of each of the plurality of sleepers. You can classify whether you are sleeping or non-REM. Accordingly, the non-contact composite sensor can be used to accurately calculate the sleeping phase.
  • the processor may calculate sleep stages of each of the plurality of sleepers. Accordingly, the sleep stage for each of the plurality of sleepers can be accurately calculated using the non-contact composite sensor.
  • the processor separates the mixed radar signal from the radar sensor, detects the plurality of sleepers based on the separated radar signal, and when the plurality of sleepers are absent, the period of the output radar signal outputted when the plurality of sleepers is present In contrast, it can be controlled to increase. As a result, unnecessary power consumption can be reduced.
  • the processor may control the cycle of the output radar signal to be output according to the power level of the battery. Thereby, power consumption can be reduced.
  • the processor may perform noise canceling for a certain noise of the audio signal from the microphone, and detect snoring and apnea of the plurality of sleepers based on the noise canceled audio signal. Accordingly, it is possible to accurately detect whether the sleeper is snoring and whether apnea is present.
  • FIG. 1 is a view showing a sleep measurement system having a sleep measurement apparatus according to an embodiment of the present invention.
  • FIG. 2A is an example of an internal block diagram of the sleep measurement apparatus of FIG. 1.
  • FIG. 2B is an example of an internal block diagram of the sleep meter of FIG. 2A.
  • FIG. 3 is another example of an internal block diagram of the sleep measurement apparatus of FIG. 1.
  • FIG. 4 is an example of a flowchart illustrating a method of operating the sleep measurement apparatus of FIG. 1.
  • 5A to 5C are views referred to for describing the operating method of FIG. 4.
  • FIG. 6 is an example of a flowchart illustrating a method of operating the sleep measurement apparatus of FIG. 1.
  • FIG. 7A to 7B are views referred to for describing the operating method of FIG. 6.
  • FIG. 8 is an example of an internal block diagram of the mobile terminal of FIG. 1.
  • 9A to 9C are views illustrating various information displayed on the mobile terminal of FIG. 1.
  • module and “unit” for components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not impart any particular meaning or role by themselves. Therefore, the “module” and “unit” may be used interchangeably.
  • FIG. 1 is a view showing a sleep measurement system having a sleep measurement apparatus according to an embodiment of the present invention.
  • the sleep measurement system 10 may include a sleep measurement apparatus 100, a terminal 600, and a server 200.
  • the sleep measurement apparatus 100 is a sleep measurement apparatus using a non-contact composite sensor, and calculates the sleep efficiency of the plurality of sleepers USRa and USRb, respectively.
  • the sleep measurement apparatus 100 is preferably disposed in a space in which the plurality of sleepers USRa and USRb sleep.
  • the plurality of sleepers USRa and USRb sleep may be placed on a bed or on a separate table spaced from the bed.
  • the sleep measurement apparatus 100 may be provided in another home appliance.
  • the radar sensor 130 for receiving a radar signal, a plurality of microphones (135a, 135b) for receiving an audio signal, a plurality of microphones (135a, 135b) Separates the mixed audio signal from and detects snoring and apnea of the plurality of sleepers (USRa, USRb) based on the separated audio signal, separates the mixed radar signal from the radar sensor, and Based on the radar signal, the motion, respiration, and heartbeat signals of each of the plurality of sleepers USRa and USRb are detected, and snoring data calculated based on the separated audio signal, and each of the plurality of sleepers USRa and USRb.
  • the processor 170 may calculate a sleep efficiency of each of the plurality of sleepers USRa and USRb based on the movement, the breathing, and the heartbeat signal. Accordingly, it is possible to accurately calculate the sleep efficiency for the plurality of sleepers using the complex sensor.
  • the processor 170 may calculate sleep stages of the plurality of sleepers. Accordingly, the sleep stage for each of the plurality of sleepers USRa and USRb can be accurately calculated using the non-contact composite sensor.
  • the processor 170 may calculate a sleep score of each of the plurality of sleepers USRa and USRb based on the calculated sleep efficiency, sleep stage, snoring data, and apnea data. Accordingly, the sleep score for each of the plurality of sleepers USRa and USRb can be accurately calculated using the non-contact composite sensor.
  • the terminal 600 performs wireless data communication with the sleep measurement apparatus 100, and information on sleep efficiency, sleep score, etc. for each of the plurality of sleepers USRa and USRb received from the sleep measurement apparatus 100. Can be output through a display or an audio output unit.
  • the terminal 600 may output sleep state information, sleep stage information, sleep score information, snoring information, apnea information, etc. received from the sleep measurement apparatus 100.
  • the server 200 may receive the user-specific, sleep efficiency information, and the like, compare them, and make a database.
  • the server 200 may receive, compare, and database each user, sleep state information, sleep stage information, sleep score information, snoring information, apnea information, and the like.
  • FIG. 2A is an example of an internal block diagram of the sleep measuring apparatus of FIG. 1
  • FIG. 2B is an example of an internal block diagram of the sleep meter of FIG. 2A.
  • the sleep measurement apparatus 100 according to an embodiment of the present invention, the radar sensor 130, a plurality of microphones (135a, 135b), the communication unit 145, memory 140, audio output unit 160 ), A processor 170, and a power supply 190.
  • the radar sensor 130 may output the output radar to the outside and receive the separated radar signal SLara or SLarb reflected on the external object.
  • the received separated radar signal SLara or SLarb may be transmitted to the processor 170.
  • the radar signal may be a continuous wave (CW) radar signal or a frequency modulated continuous wave (FMCW) radar signal.
  • CW continuous wave
  • FMCW frequency modulated continuous wave
  • the plurality of microphones 135a and 135b may collect or receive audio signals Saua or Saub.
  • the received audio signal (Saua or Saub) may be delivered to the processor 170.
  • the communication unit 145 may provide an interface for communicating with an external device.
  • the communication unit 145 may include at least one of a mobile communication module (not shown), a wireless Internet module (not shown), a short range communication module (not shown), a GPS module (not shown), and the like.
  • the communication unit 145 may perform Bluetooth communication or WiFi communication, thereby transmitting information about the sleep measured by the processor 170 to the paired terminal 600.
  • the terminal 600 may be a mobile terminal such as a smart phone capable of a voice call.
  • the information on sleep may include sleep efficiency information, sleep stage information, sleep score information, snoring information, apnea information, and the like.
  • the memory 140 may store a program for processing or controlling the processor 170 in the sleep measurement apparatus 100, or may perform a function for temporarily storing input or output data.
  • the memory 140 may store information about sleep measured by the processor 170 in the sleep measurement apparatus 100, together with time information. Furthermore, user information can also be stored.
  • the audio output unit 160 may output information about the measured sleep as audio.
  • the position adjustment message for the sleep measurement apparatus 100 may be output as audio or a notification message may be output as audio.
  • the processor 170 may control the operation of each unit in the sleep measurement apparatus 100 to control the overall operation of the sleep measurement apparatus 100.
  • the processor 170 may include a mixed audio signal separator 182 for separating the mixed audio signals Sauta and Sautb from the plurality of microphones 135a and 135b and a mixed radar signal SLart from the radar sensor 130.
  • a sleeper separator that separates the plurality of sleepers USRa and USRb based on the mixed radar signal separator 181 for separating the plurality of radar signals and the audio signals Saua and Saub separated from the radar signals SLara and SLar.
  • the first sleep meter 175a measuring sleep for the separated first sleeper USRa
  • the second sleep meter 175b for measuring sleep for the separated second sleeper USRb. It can be provided.
  • the first sleep meter 175a or the second sleep meter 175b may move, breathe, or move each of the plurality of sleepers USRa and USRb based on the audio signal Saua or Saub. Sleep based on movement, respiration, and heart rate signals of each of the plurality of sleepers USRa and USRb from the movement, respiration, and heart rate signal detector 171 and the movement, respiration, and heart rate signal detector 171 for detecting the heartbeat signal.
  • the sleep efficiency detector 172 for calculating the efficiency may be provided.
  • the processor 170 separates the mixed audio signals Sauta and Sautb from the plurality of microphones 135a and 135b and based on the separated audio signals Saua and Saub, the plurality of sleepers USRa. , USRb snoring and apnea detection, separates the mixed radar signal SLart from the radar sensor 130, based on the separated radar signals SLara, SLarb, each of the plurality of sleepers Detects movement, breathing and heart rate signals, and based on snoring data calculated based on the separated audio signals Saua and Saub, and movement, respiration and heart rate signals of each of the plurality of sleepers USRa and USRb.
  • the sleep efficiency of each of the plurality of sleepers USRa and USRb may be respectively calculated. Accordingly, the sleep efficiency of the plurality of sleepers USRa and USRb can be accurately calculated using the complex sensor.
  • the processor 170 based on the separated audio signal (Saua or Saub), the movement of the plurality of sleepers (USRa, USRb), respiration, movement to detect the heart rate signal, respiration, heart rate signal detector 171
  • the sleep efficiency detector 172 may calculate sleep efficiency based on the movement, respiration, and heart rate signals of the plurality of sleepers USRa and USRb from the movement, respiration, and heart rate signal detector 171.
  • the sleep efficiency detector 172 separates the movement, respiration, and heart rate signals of the plurality of sleepers USRa and USRb, as well as the mixed audio signals from the plurality of microphones 135a and 135b, Based on the snoring data calculated based on this, the sleep efficiency of each of the plurality of sleepers can be respectively calculated.
  • the processor 170 may calculate sleep stages of the plurality of sleepers USRa and USRb. Accordingly, the sleep stage for each of the plurality of sleepers USRa and USRb can be accurately calculated using the non-contact composite sensor.
  • the processor 170 may further include a sleep detector 173 that calculates sleep stages for each of the plurality of sleepers USRa and USRb based on the sleep efficiency calculated by the sleep efficiency detector 172. .
  • the processor 170 may calculate a sleep score of each of the plurality of sleepers USRa and USRb based on the calculated sleep efficiency, sleep stage, snoring data, and apnea data.
  • the processor 170, the sleep score calculator 175 that calculates the sleep score of each of the plurality of sleepers (USRa, USRb) based on the calculated sleep efficiency, sleep stage, snoring data, and apnea data. ) May be further provided. Accordingly, the sleep score for each of the plurality of sleepers USRa and USRb can be accurately calculated using the non-contact composite sensor.
  • the processor 170 extracts the snoring candidate event from the separated audio signal Saua or Saub, extracts the snoring feature based on the extracted snoring candidate event, and based on the extracted snoring feature.
  • the learning-based classification to be performed it is possible to calculate whether or not snoring. Accordingly, it is possible to accurately calculate whether the snoring using a non-contact composite sensor.
  • the processor 170 may include a candidate snoring signal detector 176 that detects a candidate snoring signal from the separated audio signal Saua or Saub, and a snoring calculating whether to snore based on the candidate snoring signal.
  • the detector 177 and the snoring detector 177 may further include an apnea detector 178 that detects apnea based on the snoring data.
  • snoring data calculated by the snoring detector 177 may be input to the sleep efficiency detector 172.
  • the processor 170 extracts an apnea feature from the separated audio signal Saua or Saub, and is performed based on the extracted apnea feature. According to the learning-based classification, the apnea can be calculated. Accordingly, it is possible to accurately calculate whether apnea using a non-contact composite sensor.
  • the processor 170 classifies whether the plurality of sleepers USRa and USRb are in a wake or sleep state based on the detected movements, respirations, and heartbeat signals of the plurality of sleepers USRa and USRb. In the case of a state, it may be classified whether it is a rapid eye movement (REM) sleep state or a non-REM sleep state. Accordingly, the non-contact composite sensor can be used to accurately calculate the sleeping phase.
  • REM rapid eye movement
  • the processor 170 may calculate sleep stages of the plurality of sleepers USRa and USRb. Accordingly, the sleep stage for each of the plurality of sleepers can be accurately calculated using the non-contact composite sensor.
  • the processor 170 detects the plurality of sleepers USRa and USRb based on the separated radar signals SLara or SLarb, and outputs the output radar signal output when the plurality of sleepers USRa and USRb are absent.
  • the period can be controlled to increase compared to when there are a plurality of sleepers USRa and USRb. As a result, unnecessary power consumption can be reduced.
  • the processor 170 may control the cycle of the output radar signal to be output according to the power level of the battery. Thereby, power consumption can be reduced.
  • the processor 170 performs noise canceling with respect to a certain noise among the separated audio signals Saua or Saub, and based on the noise canceled audio signal Saua or Saub, the plurality of sleepers USRa and USRb. It is possible to detect whether or not snoring and apnea. Accordingly, it is possible to accurately detect whether the plurality of sleepers USRa and USRb are snoring and apnea.
  • the power supply unit 190 may supply power required for the operation of each component under the control of the processor 170.
  • the power supply unit 190 may be provided with a battery.
  • FIG. 3 is another example of an internal block diagram of the sleep measurement apparatus of FIG. 1.
  • the sleep measurement apparatus 100b of FIG. 2A is similar to the sleep measurement apparatus 100 of FIG. 2A, but between the plurality of microphones 135a and 135b and the processor 170, an audio converter 162. ) Is disposed, and there is a difference between the radar sensor 130 and the processor 170 further comprising a signal amplifier 164 and a converter 157.
  • the audio converter 162 may perform preprocessing on the audio signals Sauta or Sautb from the plurality of microphones 135a and 135b.
  • the audio converter 162 may perform encoding processing on audio signals Sauta or Sautb from the plurality of microphones 135a and 135b. Accordingly, the audio converter 162 may perform encoding processing on audio signals Sauta or Sautb from the plurality of microphones 135a and 135b using the stored audio codec.
  • the signal amplifier 164 may amplify the radar signal SLarat from the radar sensor 130. To understand this, the signal amplifier 164 may include an OP AMP.
  • the converter 167 may convert the radar signal SLarat from the signal amplifier 164 into a digital signal.
  • the converter 167 may include an ADC converter.
  • the processor 170 may detect snoring based on the audio signal Saua or Saub separated from the audio signals Sauta or Sautb from the plurality of microphones 135a and 135b.
  • the candidate snoring signal detector 176 in the processor 170 may detect an event on a predetermined time basis from an audio signal Saua or Saub from the plurality of sleepers USRa and USRb.
  • the candidate snoring signal detector 176 in the processor 170 may classify the snoring event and the non-snoring event among the detected events.
  • snoring event detection is essential for apnea symptoms detection, sleep stage calculation, and the like.
  • the candidate snoring signal detector 176 in the processor 170 performs noise canceling on various noises that may occur during sleep, such as overturning sounds of the plurality of sleepers USRa and USRb, refrigerator sounds, and fan sounds. However, it is desirable to distinguish between snoring events only.
  • the candidate snoring signal detector 176 in the processor 170 removes background noise using a pre-trained DD model for removing background noise in the sleeping environment, and generates an event based on the signal from which the background noise has been removed. To detect, the energy values for all frames can be found.
  • the candidate snoring signal detector 176 in the processor 170 may calculate an histogram after obtaining energy values for all frames, and calculate a threshold value based on the calculated values.
  • the threshold value at this time may be used to accurately locate the start and end points of the event.
  • the candidate snoring signal detector 176 in the processor 170 uses a statistical length feature of the snoring event to detect an event, using a predetermined length, for example, 200 ms or more and 3500 ms or less. The remaining events except for the event can be removed by assuming snoring.
  • DMFCC dynamic MFCC
  • the difference in frequency centroid between the first half and the other half of an event can be used as a feature vector.
  • pitch, pitch force, pitch density may be illustrated as the feature vectors associated with the spectral.
  • a total of six feature vectors are extracted based on a current event, for example, a RP (rhythm period) and a PS (period strength) before and after a predetermined time, for example, about 10 seconds.
  • the ratio of the feature vectors can be used as the feature vector.
  • ZCR zero crossing rate
  • an eLU function may be used as an activation function.
  • the output layer of the deep neural network is composed of two nodes, and the target value may be for the presence and absence of the voice. have.
  • cross entropy between the estimated value and the target value can be used in the output layer to proceed the supervised learning using the back propagation, the parameters of the deep neural network can be updated.
  • estimation through adadelta may be performed.
  • the probability value may be calculated in the output layer using the sigmoid.
  • the slope parameter and the bias parameter of the sigmoid function for estimating the voice presence probability may be used, respectively.
  • the two parameters of the sigmoid function for estimating the probability of snoring events can be obtained through differential learning to minimize the negative log-likelihood (cross entropy error function).
  • the deep neural network is learned separately for the snoring event and non-snoring event, the parameters of the sigmoid function for estimating the probability of snoring event may also be learned separately.
  • the candidate snoring signal detector 176 in the processor 170 compares the difference between the two probabilities and a specific threshold to classify the snoring as an event if it is greater than the threshold and if the snoring is small, Can be classified as an event.
  • the snoring detection technique by this method as a snoring detection technique based on the deep neural network, when compared with the Gaussian mixture model, it will lead to better classification performance.
  • the distribution of the likelihood ratio values of the snoring detection technique based on the deep neural network proposed by the present invention is better compared to the distribution of the likelihood ratio values of the snoring detection technique based on the Gaussian mixture model.
  • the snoring detection based on the deep neural network proposed in the present invention may be largely divided into a learning step and a classification step.
  • the candidate snoring signal detector 176 removes the background noise through the DD in the learning step, and then detects the event in units of a predetermined period based on the energy of the input signal.
  • the candidate snoring signal detector 176 in the processor 170 extracts a feature vector associated with energy, a feature vector associated with spectral, and a feature vector associated with time, before entering full-scale learning.
  • the candidate snoring signal detector 176 in the processor 170 uses the extracted feature vectors to individually train the deep neural network model for snoring and snoring, respectively, which normalizes the feature vector immediately before learning. Go through the process.
  • the candidate snoring signal detector 176 in the processor 170 skips the previous learning process and learns through a back-propagation algorithm in the fine tuning process.
  • the candidate snoring signal detector 176 in the processor 170 using a rectified linear unit (ReLU) to solve the problem of the slope disappearance of the activation function for each node, the learning rate in the advanced learning step of the deep neural network You can use adadelta to set this adaptively.
  • ReLU rectified linear unit
  • the snoring detector 177 in the classification step, removes the background noise with respect to the input signal in the same manner as in the learning step, detects an event through the event detector, and based on the event, the feature vector. After estimating the likelihood ratio value through the deep learning neural network model and the non-snoring deep neural network model previously detected for snoring detection, snoring and snoring can be classified based on a specific threshold value.
  • the snoring detector 177 in the processor 170 may classify the snoring event as the likelihood event when the likelihood ratio value is less than the specific threshold value and classify the snoring event as the snoring event.
  • the processor 170 may calculate a sleep stage, and detect wake, NREM, or REM sleep based on sleep-related signals extracted from the plurality of sleepers USRa and USRb to detect the sleep stage. have.
  • the processor 170 extracts sleep-related movement, breathing, heart rate-related features, randomized for sleep phase classification A forest classifier is used, and a plurality of microphones 135a and 135b are used as auxiliary sensors, and situational recognition technology is applied to greatly improve sleep stage detection performance.
  • the sleep stage is calculated using the composite sensor, in particular, the radar sensor 130 and the plurality of microphones 135a and 135b.
  • the processor 170 may perform preprocessing on the radar signal SLara or SLarb and the audio signal Saua or Saub separated from the continuous wave.
  • the separated radar signal SLara or SLarb transmitted in the time domain may include continuous wave and phase noise of a carrier frequency of 24 GHz generated from a voltage controlled oscillator (VCO).
  • VCO voltage controlled oscillator
  • the Doppler signal reflected from the body of the plurality of sleepers USRa and USRb may be sampled, and the sampled signal may include motion information, respiration information, and heartbeat information of the plurality of sleepers USRa and USRb.
  • the radar sensor 130 may include a quadrature receiver antenna.
  • the separated radar signal (SLara or SLarb) received through such an antenna is separated into a baseband signal, an in-phase signal, and a quadrature signal having a 90 ° phase difference.
  • an audio signal (Saua or Saub) is sampled at 16000 Hz, and the sampled signal is audio having sleep situation data of multiple sleepers (USRa, USRb). It can include signal and noise.
  • the processor 170 may remove noise from an input audio signal (Saua or Saub) by using a data-driven technique.
  • the processor 170 may frame the separated radar signals SLara or SLarb extracted from the plurality of sleepers USRa and USRb for a predetermined period of time (for example, 30 seconds) during the sleep time, and frame the unit.
  • a predetermined period of time for example, 30 seconds
  • the average value of the raw signal can be removed.
  • the processor 170 extracts signals related to movement, respiration, and heartbeat by using three Butterworth filters having different bandwidths, and then min, max, mean, rms, median, 1st-quartile, and 3rd from the signals. -Quartile, standard deviation, interquartile range, number of peaks, average distance between peaks, peak average height, zero cross rate, linear regression slope are extracted. The maximum peak can be extracted by converting the respiratory and heartbeat signals into the frequency domain.
  • the processor 170 may extract skewness and kurtosis from the raw signal.
  • the processor 170 extracts 46 features for each frame of the separated radar signal (SLara or SLarb) frame and applies singular value decomposition to the matrix to apply column vector features located at three maximum eigenvalues.
  • Each frame can be added, and principal component analysis can also be applied to add column vector features located at three maximum eigenvalues. Accordingly, 52 feature vectors may be generated per frame.
  • the processor 170 may detect sleep-related movement and the absence of the plurality of sleepers USRa and USRb.
  • the processor 170 detects the absence of the plurality of sleepers USRa, USRb, which shows the movement of the plurality of sleepers USRa, USRb to indicate a wake state during sleep, or leaves the sleeping space such as sleepwalking.
  • a level cross based on the heuristic threshold determined by the experiment is performed on a frame of a raw separated radar signal (SLara or SLarb) from which only DC-offset is removed.
  • SLara or SLarb raw separated radar signal
  • the processor 170 based on the snoring signal based on the frame unit of a predetermined period (for example, 30 seconds) from the audio signal (Saua or Saub) extracted from the plurality of sleepers (USRa, USRb) during sleep Snoring can detect the number of events and detect cycle intensity (CI) characteristics based on respiratory signals.
  • a predetermined period for example, 30 seconds
  • the processor 170 calculates a spectrogram on the noise-free audio signal (Saua or Saub) to detect the CI, calculates a time-domain autocorrelation on a signal corresponding to each frequency bin, Based on the amplitude of the first peak in the result, the first peak amplification can be defined as the CI for the frame by arranging them in order of magnitude.
  • the processor 170 may first perform wake / sleep classification of the plurality of sleepers USRa and USRb before classifying the sleep stage into wake, NREM, and REM sleep.
  • the processor 170 selects 44 feature vectors selected from the distribution analysis for the wake / sleep class from the 52 separate radar signal (SLara or SLarb) based features previously extracted for the Wake / sleep classification. . In addition, the processor 170 performs normalization of a standardization method for the feature vector.
  • the result of passing the normalized 44 feature vectors through the wake / sleep binary random forest classifier outputs the probability of wake and sleep for each frame.
  • the processor 170 performs probability smoothing based on these output values. Proceed. However, the first and second frames, that is, the first minute, are assumed to be awake state unconditionally.
  • the processor 170 may calculate the wake / sleep likelihood ratio for the entire frame after the probability smoothing is performed, and may know the author.
  • the processor 170 may calculate a wake / sleep personal-adjusted threshold.
  • Personal adjusted threshold is a kind of adaptive threshold for optimizing the algorithm for all people because sleep pattern and biosignal pattern are different for each person, and this is the main parameter to be used for final wake / sleep decision.
  • the processor 170 sorts the probability ratio for each class output from the random forest classifier in ascending order, and then based on the specific percentile parameter obtained through grid-search, The likelihood ratio for that percentile is set to the personal-adjusted threshold.
  • the processor 170 may improve the wake / sleep detection performance by applying context awareness technology based on the extracted features.
  • This technique is designed as a result of comparing the distribution of the number of snore events for the wake / sleep class. Therefore, when the wake / sleep random forest classifier decides to wake up in a specific frame, it is corrected to sleep.
  • the processor 170 passes the NREM / REM random forest classifier for the frames determined as the sleep class.
  • the radar feature vectors used in the NREM / REM classifier are 35 feature vectors selected from the analysis of the distribution of 52 feature vectors for NREM and REM classes.
  • the processor 170 uses a threshold that lowers the probability of REM detection for a first period of time (50 minutes). After the period, the percentage parameter determined by grid-search can be used.
  • the processor 170 classifies wake and sleep based on previously stored wake / sleep related parameters to determine a final sleep stage, and then performs NREM / REM class determination on the frames determined to be sleep.
  • the processor 170 determines a sleep class when the likelihood ratio of a frame is greater than a wake / sleep personal adjusted threshold for a final determination of wake / sleep, and determines a wake when the frame is small.
  • the processor 170 assumes that the plurality of sleepers USRa and USRb are unconditionally wake class for a predetermined period, for example, the first minute.
  • the processor 170 may use the number of snoring events previously extracted to correct an error of a frame designated as a wake class.
  • the processor 170 may correct this to sleep. This is determined by the distribution of snoring events for the wake / sleep class.
  • the processor 170 performs the last wake / sleep correction by using the motion-related features of the plurality of sleepers USRa and USRb extracted in advance before determining the frame determined by the Sleep class as the NREM / REM class. Can be done.
  • the processor 170 may correct the class of the frame to wake.
  • the processor 170 compares the likelihood ratio based on the NREM / REM personal adjusted threshold of the low REM detection rate when the sleep phase test has been started or less than the first period for the frame determined to be sleep, and the likelihood ratio is large In case of REM, it can be determined by NREM.
  • the processor 170 may determine the NREM or the REM by comparing the likelihood ratio based on the heuristic threshold determined by rid-search.
  • the processor 170 may finally perform post-processing before finally determining the sleep stage.
  • the processor 170 may improve the wake detection performance by applying context awareness technology based on the extracted respiratory signal-based feature CI and the snoring signal-based feature.
  • the processor 170 estimates a place where a plurality of CIs are gathered as a wake interval, and then determines a case where the continuous frame length is a predetermined interval (110 to 170) as the wake interval.
  • the processor 170 may correct the NREM if the continuous continuation is less than 3 frames in the REM class to reduce the detection error of the NREM and the REM, and correct the adjacent REM frames in one REM sleep interval. .
  • FIGS. 4 is an example of a flowchart illustrating a method of operating the sleep measurement apparatus of FIG. 1, and FIGS. 5A to 5B are views referred to for describing the method of FIG. 4. In particular, FIGS. 4 to 5B are views referred to for description of the sleep step calculation of the sleeper.
  • the processor 170 separates the mixed radar signal SLart detected by the radar sensor 130 and detects the separated radar signal SLara or SLarb (S405).
  • the processor 170 detects a movement, respiration, and heart rate signal from the separated radar signal SLara or SLarb (S410).
  • the processor 170 receives snoring data calculated based on the separated audio signal Saua or Saub (S420), snoring data and movement of the plurality of sleepers USRa and USRb, Based on the breathing and the heart rate signal, the sleep efficiency of each of the plurality of sleepers is respectively calculated (S430).
  • the processor 170 calculates a sleep step (S450).
  • FIG. 5A illustrates the radar transmission signal ftx transmitted to the plurality of sleepers USRa and USRb and the time difference tp on the radar reception signal frx received from the plurality of sleepers USRa and USRb.
  • 5B illustrates the distance ⁇ R between the plurality of sleepers USRa and USRb.
  • the processor 1700 may calculate the positions of the plurality of sleepers USRa and USRb or the distance as shown in FIG. 5B.
  • FIG. 5C illustrates detection of a motion signal Wva, a respiration signal Wvb, and a heartbeat signal Wvc of the plurality of sleepers USRa and USRb from the radar signals SLara and SLarb of two channels.
  • the motion, respiration, and heart rate signal detector 171 in the processor 170 includes a motion signal Wva, a respiration signal Wvb, and a heart rate signal Wvc of the plurality of sleepers USRa and USRb from the radar signals SLara and SLarb. ) Can be detected.
  • the wake / sleep classifier 511 in the processor 170 may perform the plurality of sleepers (based on the motion signals Wva, the respiration signal Wvb, and the heart rate signal Wvc of the plurality of sleepers USRa and USRb).
  • USRa and USRb may be distinguished from a wake state or a sleep state.
  • the motion / absence detector 513 in the processor 170 may move signals of the plurality of sleepers USRa and USRb. Based on Wva, the respiration signal Wvb, and the heartbeat signal Wvc, it is possible to detect whether the plurality of sleepers USRa and USRb are in the moving state or the absent state.
  • the motion signals Wva and the respiration of the plurality of sleepers USRa and USRb are breathed. Based on the signal Wvb and the heartbeat signal Wvc, it is possible to classify whether the sleep states of the plurality of sleepers USRa and USRb are in the REM state or the NREM state.
  • the processor 170 detects whether the plurality of sleepers USRa and USRb are snoring and apnea based on the separated audio signal Saua or Saub, and the separated radar On the basis of the signal SLara or SLarb, the motion, respiration, and heart rate signals of the plurality of sleepers USRa and USRb are detected, and snoring data calculated based on the separated audio signal Saua or Saub, and a plurality of The sleep efficiency of each of the plurality of sleepers can be calculated based on the movement, breathing, and heart rate signals of the sleepers USRa and USRb. Accordingly, it is possible to accurately calculate the sleep efficiency for the plurality of sleepers using the complex sensor.
  • the processor 170 may calculate sleep stages of the plurality of sleepers USRa and USRb. Accordingly, the sleep stage for each of the plurality of sleepers can be accurately calculated using the non-contact composite sensor.
  • the processor 170 may calculate a sleep score of each of the plurality of sleepers based on the calculated sleep efficiency, sleep stage, snoring data, and apnea data. Accordingly, it is possible to accurately calculate the sleep score for each of the plurality of sleepers using the non-contact composite sensor.
  • the processor 170 may calculate sleep stages of the plurality of sleepers USRa and USRb.
  • the processor 170 classifies whether the plurality of sleepers USRa and USRb are in a wake or sleep state based on the detected movements, respirations, and heartbeat signals of the plurality of sleepers USRa and USRb. In the case of a state, it may be classified whether it is a rapid eye movement (REM) sleep state or a non-REM sleep state.
  • REM rapid eye movement
  • FIG. 6 is an example of a flowchart illustrating a method of operating the sleep measurement apparatus of FIG. 1, and FIGS. 7A to 7B are views referred to for describing the method of FIG. 6. In particular, FIGS. 6 to 7B are views referred to for description of the sleep stage calculation of the sleeper.
  • the processor 170 extracts the separated audio signal Saua or Saub by separating the mixed audio signals Sauta and Sautb from the plurality of microphones 135a and 135b (S605).
  • the processor 170 performs preprocessing on the separated audio signal Saua or Saub (S610). For example, the processor 170 may preliminarily remove noise in the separated audio signal Saua or Saub.
  • the processor 170 detects a snoring candidate event from the separated audio signal Saua or Saub (S610).
  • the processor 170 extracts a snoring characteristic based on the extracted snoring candidate event (S620), and based on the learning-based classification performed based on the extracted snoring characteristic, whether or not the snoring is performed. Can be calculated (S620). Accordingly, it is possible to accurately calculate whether the snoring using a non-contact composite sensor.
  • the processor 170 may transmit the calculated snoring data for sleep efficiency detection (S630).
  • the snore detector 177 may transmit the calculated snoring data to the sleep efficiency detector 172.
  • the processor 170 extracts the apnea feature based on the snoring data (S640), and calculates the apnea based on the extracted apnea feature (S650).
  • FIG. 7A is a view illustrating spaced apart between the plurality of sleepers USRa and USRb and the sleep measurement apparatus 100.
  • the audio signal waveforms received from the plurality of microphones 135a and 135b in the sleep measurement apparatus 100 may be illustrated as shown in FIG. 7B.
  • FIG. 7B illustrates that the reverberation signal Ara is asynchronously received among the audio signal waveforms. Therefore, it is necessary to separate the mixed audio signals Sauta and Sautb from the plurality of microphones 135a and 135b.
  • the processor 170 may perform preprocessing on the mixed audio signals Sauta and Sautb, separate the mixed audio signals Sauta and Sautb, and extract the separated audio signals Saua or Saub.
  • the candidate snoring signal detector 176 in the processor 170 detects a snoring candidate event from the separated audio signal Saua or Saub.
  • the snoring detector 177 in the processor 170 extracts the snoring feature based on the extracted snoring candidate event, and based on the learning-based classification performed based on the extracted snoring feature. You can operate on this. Accordingly, by using the non-contact composite sensor, it is possible to accurately calculate whether snoring is snoring or not.
  • the apnea detector 178 in the processor 170 is computed as snoring, the apnea feature is extracted, and based on the extracted apnea feature, the apnea detector 178 calculates the apnea according to the learning-based classification performed. can do. Accordingly, by using the non-contact composite sensor, it is possible to accurately calculate whether apnea is detected or not apnea.
  • the processor 170 may calculate sleep stages of the plurality of sleepers USRa and USRb. Accordingly, the sleep stage for each of the plurality of sleepers can be accurately calculated using the non-contact composite sensor.
  • the processor 170 detects the plurality of sleepers USRa and USRb based on the separated radar signals SLara or SLarb, and outputs the output radar signal output when the plurality of sleepers USRa and USRb are absent.
  • the period can be controlled to increase compared to when there are a plurality of sleepers USRa and USRb. As a result, unnecessary power consumption can be reduced.
  • the processor 170 may control the cycle of the output radar signal to be output according to the power level of the battery. Thereby, power consumption can be reduced.
  • the processor 170 performs noise canceling with respect to a certain noise among the separated audio signals Saua or Saub, and based on the noise canceled audio signal Saua or Saub, the plurality of sleepers USRa and USRb. It is possible to detect whether or not snoring and apnea. Accordingly, it is possible to accurately detect whether the plurality of sleepers USRa and USRb are snoring and apnea.
  • FIG. 8 is an example of an internal block diagram of the mobile terminal of FIG. 1.
  • the mobile terminal 600 includes a wireless communication unit 610, an A / V (Audio / Video) input unit 620, a user input unit 630, a sensing unit 640, an output unit 650, and a memory. 660, an interface unit 625, a control unit 670, and a power supply unit 690.
  • a / V Audio / Video
  • the wireless communication unit 610 may include a broadcast receiving module 611, a mobile communication module 613, a wireless internet module 615, an acoustic communication unit 617, a GPS module 619, and the like.
  • the broadcast receiving module 611 may receive at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 611 may be stored in the memory 660.
  • the mobile communication module 613 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to voice call signal, video call signal, or text / multimedia message transmission and reception.
  • the wireless internet module 615 refers to a module for wireless internet access, and the wireless internet module 615 may be embedded or external to the mobile terminal 600.
  • the acoustic communication unit 617 may perform acoustic communication.
  • the acoustic communication unit 617 may output sound by adding predetermined information data to the audio data to be output in the acoustic communication mode.
  • the acoustic communication unit 617 may extract predetermined information data from a sound received from the outside.
  • the GPS (Global Position System) module 619 may receive location information from a plurality of GPS satellites.
  • the A / V input unit 620 is for inputting an audio signal or a video signal, and may include a camera 621 and a microphone 623.
  • the user input unit 630 generates key input data input by the user for controlling the operation of the terminal.
  • the user input unit 630 may include a key pad, a dome switch, a touch pad (constant voltage / capacitance), and the like.
  • the touch pad forms a mutual layer structure with the display 680, this may be referred to as a touch screen.
  • the sensing unit 640 detects a current state of the mobile terminal 600 such as an open / closed state of the mobile terminal 600, a location of the mobile terminal 600, a presence or absence of a user contact, and controls the operation of the mobile terminal 600.
  • the sensing signal may be generated.
  • the sensing unit 640 may include a detection sensor 641, a pressure sensor 643, a motion sensor 645, and the like.
  • the motion sensor 645 may detect a movement or position of the mobile terminal 600 using an acceleration sensor, a gyro sensor, a gravity sensor, or the like.
  • the gyro sensor is a sensor for measuring the angular velocity, and may sense a direction (angle) returned with respect to the reference direction.
  • the output unit 650 may include a display 680, a sound output unit 653, an alarm unit 655, and a haptic module 657.
  • the display 680 displays and outputs information processed by the mobile terminal 600. For example, the information received from the communication unit 610 is displayed.
  • the display 680 and the touch pad form a mutual layer structure and constitute a touch screen
  • the display 680 may also be used as an input device capable of inputting information by a user's touch in addition to the output device. Can be.
  • the sound output unit 653 outputs audio data received from the wireless communication unit 610 or stored in the memory 660.
  • the sound output unit 653 may include a speaker, a buzzer, and the like.
  • the alarm unit 655 outputs a signal for notifying occurrence of an event of the mobile terminal 600.
  • the signal may be output in the form of vibration. .
  • the haptic module 657 generates various tactile effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module 657 is a vibration effect.
  • the memory 660 may store a program for processing and controlling the controller 670, and may provide a function for temporarily storing input or output data (eg, a phone book, a message, a still image, a video, etc.). It can also be done.
  • input or output data eg, a phone book, a message, a still image, a video, etc.
  • the interface unit 625 serves as an interface with all external devices connected to the mobile terminal 600.
  • the interface unit 625 may receive data from such an external device or receive power and transmit the data to each component inside the mobile terminal 600, and may transmit data within the mobile terminal 600 to the external device. .
  • the controller 670 typically controls the operations of each unit to control the overall operation of the image display apparatus 600. For example, perform related control and processing for voice calls, data communications, video calls, and the like.
  • the controller 670 may include a multimedia playback module 681 for multimedia playback.
  • the multimedia playback module 681 may be configured in hardware within the controller 670 or may be configured in software separately from the controller 670.
  • the controller 670 may include an application processor (not shown) for driving an application. Alternatively, the application processor (not shown) may be provided separately from the controller 670.
  • the power supply unit 690 receives an external power source and an internal power source under the control of the controller 670 to supply power for operation of each component.
  • a block diagram of the mobile terminal 600 shown in FIG. 8 is a block diagram for one embodiment of the present invention.
  • Each component of the block diagram may be integrated, added, or omitted according to the specifications of the mobile terminal 600 that is actually implemented. That is, two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • 9A to 9C are views illustrating various information displayed on the mobile terminal of FIG. 1.
  • FIG. 9A illustrates a screen 910 that includes the calculated sleep score, which may be displayed on the display 680 of the mobile terminal 600. In the figure, it illustrates that the calculated sleep score is 88.
  • FIG. 9B illustrates a screen 920 that includes sleep status information, which may be displayed on the display 680 of the mobile terminal 600.
  • it illustrates that the sleep state information without snoring is displayed in the sleep state.
  • FIG. 9B illustrates a screen 930 including sleep state information that may be displayed on the display 680 of the mobile terminal 600.
  • the sleep state information including snoring information is displayed in the sleep state.
  • the user can easily grasp his or her sleeping state.
  • the sleep measurement apparatus according to the embodiment of the present invention and the sleep measurement system having the same, are not limited to the configuration and method of the embodiments described as described above, the above embodiments may be variously modified. All or some of the embodiments may be configured to be selectively combined so as to.

Abstract

본 발명은 수면측정장치, 및 이를 구비하는 수면측정 시스템에 관한 것이다. 본 발명의 실시예에 따른 수면측정장치는, 레이더 신호를 수신하는 레이더 센서와, 오디오 신호를 수신하는 복수의 마이크와, 복수의 마이크로부터의 혼합 오디오 신호를 분리하고, 분리된 오디오 신호에 기초하여, 복수 수면자의 코골이 여부, 및 무호흡 여부를 검출하고, 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 복수 수면자 각각의 움직임, 호흡, 심박 신호를 검출하고, 분리된 오디오 신호에 기초하여 연산된 코골이 여부 데이터와, 복수 수면자 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자 각각의 수면 효율을 각각 연산하는 프로세서를 포함한다. 이에 따라, 복합 센서를 이용하여 복수의 수면자에 대한 수면 효율을 정확하게 연산할 수 있게 된다.

Description

수면측정장치, 및 이를 구비하는 수면측정 시스템
본 발명은 수면측정장치, 및 이를 구비하는 수면측정 시스템에 관한 것이며, 더욱 상세하게는 복합 센서를 이용하여 복수의 수면자에 대한 수면 효율을 정확하게 연산할 수 있는 수면측정장치, 및 이를 구비하는 수면측정 시스템에 관한 것이다.
수면측정장치는, 수면자의 수면 상태를 측정하는 장치이다.
최근 IOT 기기들의 등장으로, 수면자의 수면 상태를 측정하기 위한 방안이 연구되고 있다.
밴드 형태의 웨어러블 수면측정장치는, 복수 수면자가 웨어러블 기기를 착용하여하는 불편함이 있으며, 오히려 수면에 방해가 되는 요소가 있다.
이에 따라, 비접촉식 방식의 수면측정장치에 대한 연구가 진행되고 있다.
본 발명의 목적은, 복합 센서를 이용하여 복수의 수면자에 대한 수면 효율을 정확하게 연산할 수 있는 수면측정장치, 및 이를 구비하는 수면측정 시스템을 제공함에 있다.
본 발명의 다른 목적은, 비접촉 복합 센서를 이용하여 복수의 수면자에 대한 수면 단계 또는 수면 스코어를 연산할 수 있는 수면측정장치, 및 이를 구비하는 수면측정 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 수면측정장치, 및 이를 구비하는 수면측정 시스템은, 레이더 신호를 수신하는 레이더 센서와, 오디오 신호를 수신하는 복수의 마이크와, 복수의 마이크로부터의 혼합 오디오 신호를 분리하고, 분리된 오디오 신호에 기초하여, 복수 수면자의 코골이 여부, 및 무호흡 여부를 검출하고, 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 복수 수면자 각각의 움직임, 호흡, 심박 신호를 검출하고, 분리된 오디오 신호에 기초하여 연산된 코골이 여부 데이터와, 복수 수면자 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자 각각의 수면 효율을 각각 연산하는 프로세서를 포함한다.
한편, 프로세서는, 연산된 수면 효율이 제1 기준치 이상인 경우, 복수 수면자 각각의 수면 단계를 연산할 수 있다.
한편, 프로세서는, 연산된 수면 효율, 수면 단계, 코골이 여부 데이터, 및 무호흡증 여부 데이터에 기초하여, 복수 수면자 각각의 수면 스코어를 연산할 수 있다.
한편, 프로세서는, 분리된 오디오 신호로부터 코골이 후보 이벤트를 추출하고, 추출된 코골이 후보 이벤트에 기초하여, 코골이 특징을 추출하고, 추출된 코골이 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 코골이 여부에 대해 연산할 수 있다.
한편, 프로세서는, 복수 수면자가 코골이로 연산되는 경우, 분리된 오디오 신호로부터 무호흡 특징을 추출하고, 추출된 무호흡 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 무호흡 여부에 대해 연산할 수 있다.
한편, 프로세서는, 검출되는 복수 수면자 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자가 웨이크(wake) 또는 수면 상태인지 분류하고, 수면 상태인 경우, 렘(Rapid Eye Movement와, REM) 수면 상태인지, 또는 비렘(non-REM) 수면 상태인지 분류할 수 있다.
한편, 프로세서는, 복수 수면자가 비렘 수면 상태인 경우, 복수 수면자 각각의 수면 단계를 연산할 수 있다.
한편, 프로세서는, 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 복수 수면자를 검출하고, 복수 수면자가 부재시, 출력되는 출력 레이더 신호의 주기가, 복수 수면자 존재시에 비해, 증가하도록 제어할 수 있다.
한편, 프로세서는, 전원 공급부가 배터리를 구비하는 경우, 배터리의 전원 레벨에 따라, 출력되는 출력 레이더 신호의 주기가 달라지도록 제어할 수 있다.
한편, 프로세서는, 마이크로부터의 오디오 신호 중 일정 노이즈에 대한 노이즈 캔슬링을 수행하고, 노이즈 캔슬링된 오디오 신호에 기초하여, 복수 수면자의 코골이 여부, 및 무호흡 여부를 검출할 수 있다.
본 발명의 실시예에 따른 수면측정장치, 및 이를 구비하는 수면측정 시스템은, 레이더 신호를 수신하는 레이더 센서와, 오디오 신호를 수신하는 복수의 마이크와, 복수의 마이크로부터의 혼합 오디오 신호를 분리하고, 분리된 오디오 신호에 기초하여, 복수 수면자의 코골이 여부, 및 무호흡 여부를 검출하고, 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 복수 수면자 각각의 움직임, 호흡, 심박 신호를 검출하고, 분리된 오디오 신호에 기초하여 연산된 코골이 여부 데이터와, 복수 수면자 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자 각각의 수면 효율을 각각 연산하는 프로세서를 포함한다. 이에 따라, 복합 센서를 이용하여 복수의 수면자에 대한 수면 효율을 정확하게 연산할 수 있게 된다.
한편, 프로세서는, 연산된 수면 효율이 제1 기준치 이상인 경우, 복수 수면자 각각의 수면 단계를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자 각각에 대한 수면 단계를 정확하게 연산할 수 있게 된다.
한편, 프로세서는, 연산된 수면 효율, 수면 단계, 코골이 여부 데이터, 및 무호흡증 여부 데이터에 기초하여, 복수 수면자 각각의 수면 스코어를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자 각각에 대한 수면 스코어를 정확하게 연산할 수 있게 된다.
한편, 프로세서는, 분리된 오디오 신호로부터 코골이 후보 이벤트를 추출하고, 추출된 코골이 후보 이벤트에 기초하여, 코골이 특징을 추출하고, 추출된 코골이 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 코골이 여부에 대해 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 코골이 여부에 대해 정확하게 연산할 수 있다.
한편, 프로세서는, 복수 수면자가 코골이로 연산되는 경우, 분리된 오디오 신호로부터 무호흡 특징을 추출하고, 추출된 무호흡 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 무호흡 여부에 대해 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 무호흡 여부에 대해 정확하게 연산할 수 있다.
한편, 프로세서는, 검출되는 복수 수면자 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자가 웨이크(wake) 또는 수면 상태인지 분류하고, 수면 상태인 경우, 렘(Rapid Eye Movement와, REM) 수면 상태인지, 또는 비렘(non-REM) 수면 상태인지 분류할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 수면 상테에 대해 정확하게 연산할 수 있다.
한편, 프로세서는, 복수 수면자가 비렘 수면 상태인 경우, 복수 수면자 각각의 수면 단계를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자 각각에 대한 수면 단계를 정확하게 연산할 수 있다.
한편, 프로세서는, 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 복수 수면자를 검출하고, 복수 수면자가 부재시, 출력되는 출력 레이더 신호의 주기가, 복수 수면자 존재시에 비해, 증가하도록 제어할 수 있다. 이에 따라, 불필요한 전력 소비를 저감할 수 있다.
한편, 프로세서는, 전원 공급부가 배터리를 구비하는 경우, 배터리의 전원 레벨에 따라, 출력되는 출력 레이더 신호의 주기가 달라지도록 제어할 수 있다. 이에 따라, 전력 소비를 저감할 수 있다.
한편, 프로세서는, 마이크로부터의 오디오 신호 중 일정 노이즈에 대한 노이즈 캔슬링을 수행하고, 노이즈 캔슬링된 오디오 신호에 기초하여, 복수 수면자의 코골이 여부, 및 무호흡 여부를 검출할 수 있다. 이에 따라, 수면자의 코골이 여부, 및 무호흡 여부를 정확하게 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 수면측정장치를 구비하는 수면측정 시스템을 도시한 도면이다.
도 2a는 도 1의 수면측정장치의 내부 블록도의 일예이다.
도 2b는 도 2a의 수면 측정기의 내부 블록도의 일예이다.
도 3은 도 1의 수면측정장치의 내부 블록도의 다른 예이다.
도 4는 도 1의 수면측정장치의 동작방법을 나타내는 순서도의 일예이다.
도 5a 내지 도 5c는 도 4의 동작방법의 설명에 참조되는 도면이다.
도 6은 도 1의 수면측정장치의 동작방법을 나타내는 순서도의 일예이다.
도 7a 내지 도 7b는 도 6의 동작방법의 설명에 참조되는 도면이다.
도 8은 도 1의 이동 단말기의 내부 블록도의 일예이다.
도 9a 내지 도 9c는 도 1의 이동 단말기에 다양한 정보가 표시되는 것을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 수면측정장치를 구비하는 수면측정 시스템을 도시한 도면이다.
도면을 참조하면, 도 1의 본 발명의 실시예에 따른 수면측정 시스템(10)은, 수면측정장치(100)와, 단말기(600), 및 서버(200)를 구비할 수 있다.
본 발명의 실시예에 따른 수면측정장치(100)는, 비접촉식 복합 센서를 이용한 수면측정장치로서, 복수 수면자(USRa,USRb)의 수면 효율을 각각 연산하는 장치이다.
이를 위해, 수면측정장치(100)는, 복수 수면자(USRa,USRb)가 수면하는 공간 내에 배치되는 것이 바람직하다. 예를 들어, 침대 위, 또는 침대와 이격된 별도의 탁자 위에 배치될 수 있다.
한편, 수면측정장치(100)는, 다른 홈 어플라이언스 내에 구비되는 것도 가능하다. 예를 들어, 공기 청정기, 에어컨, TV, 전화기, 시계, 스피커, 조명 장치 등에 구비되는 것이 가능하다.
본 발명의 실시예에 따른 수면측정장치(100)는, 레이더 신호를 수신하는 레이더 센서(130)와, 오디오 신호를 수신하는 복수의 마이크(135a,135b)와, 복수의 마이크(135a,135b)로부터의 혼합 오디오 신호를 분리하고, 분리된 오디오 신호에 기초하여, 복수 수면자(USRa,USRb)의 코골이 여부, 및 무호흡 여부를 검출하고, 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 복수 수면자(USRa,USRb) 각각의 움직임, 호흡, 심박 신호를 검출하고, 분리된 오디오 신호에 기초하여 연산된 코골이 여부 데이터와, 복수 수면자(USRa,USRb) 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자(USRa,USRb) 각각의 수면 효율을 각각 연산하는 프로세서(170)를 포함한다. 이에 따라, 복합 센서를 이용하여 복수의 수면자에 대한 수면 효율을 정확하게 연산할 수 있게 된다.
한편, 프로세서(170)는, 연산된 수면 효율이 제1 기준치 이상인 경우, 복수 수면자 각각의 수면 단계를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자(USRa,USRb) 각각에 대한 수면 단계를 정확하게 연산할 수 있게 된다.
한편, 프로세서(170)는, 연산된 수면 효율, 수면 단계, 코골이 여부 데이터, 및 무호흡증 여부 데이터에 기초하여, 복수 수면자(USRa,USRb) 각각의 수면 스코어를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자(USRa,USRb) 각각에 대한 수면 스코어를 정확하게 연산할 수 있게 된다.
한편, 단말기(600)는, 수면측정장치(100)와 무선 데이터 통신을 수행하고, 수면측정장치(100)로부터 수신한 복수 수면자(USRa,USRb) 각각에 대한 수면 효율, 수면 스코어 등의 정보를, 디스플레이 또는 오디오 출력부 등을 통해 출력할 수 있다.
한편, 단말기(600)는, 수면측정장치(100)로부터 수신한, 수면 상태 정보, 수면 단계 정보, 수면 스코어 정보, 코골이 여부 정보, 무호흡증 여부 정보 등을 출력할 수 있다.
한편, 서버(200)는, 사용자 별, 수면 효율 정보 등을, 수신하고, 이를 비교하여, 데이터베이스화할 수 있다.
한편, 서버(200)는, 사용자 별, 수면 상태 정보, 수면 단계 정보, 수면 스코어 정보, 코골이 여부 정보, 무호흡증 여부 정보 등을, 수신하고, 이를 비교하여, 데이터베이스화할 수 있다.
도 2a는 도 1의 수면측정장치의 내부 블록도의 일예이고, 도 2b는 도 2a의 수면 측정기의 내부 블록도의 일예이다.
도면을 참조하면, 본 발명의 실시예에 따른 수면측정장치(100)는, 레이더 센서(130), 복수의 마이크(135a,135b), 통신부(145), 메모리(140), 오디오 출력부(160), 프로세서(170), 및 전원 공급부(190)를 포함할 수 있다
레이더 센서(130)는, 출력 레이더를 외부로 출력하고, 외부 대상에 반사된 분리된 레이더 신호(SLara 또는 SLarb)를 수신할 수 있다. 수신된 분리된 레이더 신호(SLara 또는 SLarb)는 프로세서(170)로 전달될 수 있다.
이때의 레이더 신호는 연속파(CW) 레이더 신호 또는 FMCW(Frequency Modulated Continuous Wave) 레이더 신호일 수 있다.
복수의 마이크(135a,135b)는, 오디오 신호(Saua 또는 Saub)를 수집 또는 수신할 수 있다. 수신된 오디오 신호(Saua 또는 Saub)는 프로세서(170)로 전달될 수 있다.
통신부(145)는, 외부 장치와의 통신을 위한 인터페이스를 제공할 수 있다. 이를 위해, 통신부(145)는, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다.
예를 들어, 통신부(145)는, 블루투스 통신, 또는 WiFi 통신 등을 수행할 수 있으며, 이에 의해, 페어링된 단말기(600)로, 프로세서(170)에서 측정된 수면에 관한 정보를 전송할 수 있다. 이때의 단말기(600)는 음성 통화가 가능한 스마트 폰 등의 이동 단말기일 수 있다.
한편, 수면에 관한 정보는, 수면 효율 정보, 수면 단계 정보, 수면 스코어 정보, 코골이 여부 정보, 무호흡 여부 정보 등을 포함할 수 있다.
메모리(140)는, 수면측정장치(100) 내의 프로세서(170)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.
특히, 메모리(140)는, 수면측정장치(100) 내의 프로세서(170)에서 측정된 수면에 관한 정보를, 시간 정보와 함께, 저장할 수 있다. 나아가, 사용자 정보도 함께 저장할 수 있다.
오디오 출력부(160)는, 측정된 수면에 관한 정보를 오디오로 출력할 수 있다. 또는, 수면측정장치(100)에 대한 위치 조정 메시지를 오디오로 출력하거나, 알림 메시지를 오디오로 출력할 수 있다.
프로세서(170)는, 수면측정장치(100) 내의 각 유닛의 동작을 제어하여, 수면측정장치(100)의 전반적인 동작을 제어할 수 있다.
이를 위해, 프로세서(170)는, 복수의 마이크(135a,135b)로부터의 혼합 오디오 신호(Sauta,Sautb)를 분리하는 혼합 오디오 신호 분리기(182), 레이더 센서(130)로부터의 혼합 레이더 신호(SLart)를 분리하는 혼합 레이더 신호 분리기(181), 분리된 레이더 신호(SLara,SLarb)와 분리된 오디오 신호(Saua,Saub)에 기초하여, 복수의 수면자(USRa,USRb)를 분리하는 수면자 분리기(183), 분리된 제1 수면자(USRa)에 대한 수면을 측정하는 제1 수면 측정기(175a), 분리된 제2 수면자(USRb)에 대한 수면을 측정하는 제2 수면 측정기(175b)를 구비할 수 있다.
한편, 제1 수면 측정기(175a) 또는 제2 수면 측정기(175b)는, 도 5b와 같이, 오디오 신호(Saua 또는 Saub)에 기초하여, 복수의 수면자(USRa,USRb) 각각의 움직임, 호흡, 심박 신호를 검출하는 움직임, 호흡, 심박 신호 검출기(171), 상기 움직임, 호흡, 심박 신호 검출기(171)로부터의 복수의 수면자(USRa,USRb) 각각의 움직임, 호흡, 심박 신호에 기초하여 수면 효율을 연산하는 수면 효율 검출기(172)를 구비할 수 있다.
예를 들어, 프로세서(170)는, 복수의 마이크(135a,135b)로부터의 혼합 오디오 신호(Sauta,Sautb)를 분리하고, 분리된 오디오 신호(Saua,Saub)에 기초하여, 복수 수면자(USRa,USRb)의 코골이 여부, 및 무호흡 여부를 검출하고, 레이더 센서(130)로부터의 혼합 레이더 신호(SLart)를 분리하고, 분리된 레이더 신호(SLara,SLarb)에 기초하여, 복수 수면자 각각의 움직임, 호흡, 심박 신호를 검출하고, 분리된 오디오 신호(Saua,Saub)에 기초하여 연산된 코골이 여부 데이터와, 복수 수면자(USRa,USRb) 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자(USRa,USRb) 각각의 수면 효율을 각각 연산할 수 있다. 이에 따라, 복합 센서를 이용하여 복수의 수면자(USRa,USRb)에 대한 수면 효율을 정확하게 연산할 수 있게 된다.
이를 위해, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub)에 기초하여, 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호를 검출하는 움직임, 호흡, 심박 신호 검출기(171), 상기 움직임, 호흡, 심박 신호 검출기(171)로부터의 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호에 기초하여 수면 효율을 각각 연산하는 수면 효율 검출기(172)를 구비할 수 있다.
특히, 수면 효율 검출기(172)는, 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호는 물론, 복수의 마이크(135a,135b)로부터의 혼합 오디오 신호를 분리하고, 분리된 오디오 신호에 기초하여 연산된 코골이 여부 데이터에 기초하여, 복수 수면자 각각의 수면 효율을 각각 연산할 수 있다.
한편, 프로세서(170)는, 연산된 수면 효율이 제1 기준치 이상인 경우, 복수 수면자(USRa,USRb)의 수면 단계를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자(USRa,USRb) 각각에 대한 수면 단계를 정확하게 연산할 수 있게 된다.
이를 위해, 프로세서(170)는, 수면 효율 검출기(172)에서 연산된 수면 효율에 기초하여 복수 수면자(USRa,USRb) 각각에 대한 수면 단계를 연산하는 수면 검출기(173)를 더 구비할 수 있다.
한편, 프로세서(170)는, 연산된 수면 효율, 수면 단계, 코골이 여부 데이터, 및 무호흡증 여부 데이터에 기초하여, 복수 수면자(USRa,USRb) 각각의 수면 스코어를 연산할 수 있다.
이를 위해, 프로세서(170)는, 연산된 수면 효율, 수면 단계, 코골이 여부 데이터, 및 무호흡증 여부 데이터에 기초하여, 복수 수면자(USRa,USRb) 각각의 수면 스코어를 연산하는 수면 스코어 연산부(175)를 더 구비할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자(USRa,USRb) 각각에 대한 수면 스코어를 정확하게 연산할 수 있게 된다.
한편, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub)로부터 코골이 후보 이벤트를 추출하고, 추출된 코골이 후보 이벤트에 기초하여, 코골이 특징을 추출하고, 추출된 코골이 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 코골이 여부에 대해 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 코골이 여부에 대해 정확하게 연산할 수 있다.
이를 위해, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub)로부터 후보 코골이 신호를 검출하는 후보 코골이 신호 검출기(176), 후보 코골이 신호에 기초하여 코골이 여부를 연산하는 코골이 검출기(177), 코골이 검출기(177)로부터의 코골이 데이터에 기초하여 무호흡증 여부를 검출하는 무호흡증 검출기(178)를 더 구비할 수 있다.
한편, 코골이 검출기(177)에서 연산된 코골이 여부 데이터는, 수면 효율 검출기(172)로 입력될 수 있다.
한편, 프로세서(170)는, 복수 수면자(USRa,USRb)가 코골이로 연산되는 경우, 분리된 오디오 신호(Saua 또는 Saub)로부터 무호흡 특징을 추출하고, 추출된 무호흡 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 무호흡 여부에 대해 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 무호흡 여부에 대해 정확하게 연산할 수 있다.
한편, 프로세서(170)는, 검출되는 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자(USRa,USRb)가 웨이크(wake) 또는 수면 상태인지 분류하고, 수면 상태인 경우, 렘(Rapid Eye Movement와, REM) 수면 상태인지, 또는 비렘(non-REM) 수면 상태인지 분류할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 수면 상테에 대해 정확하게 연산할 수 있다.
한편, 프로세서(170)는, 복수 수면자(USRa,USRb)가 비렘 수면 상태인 경우, 복수 수면자(USRa,USRb)의 수면 단계를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자 각각에 대한 수면 단계를 정확하게 연산할 수 있다.
한편, 프로세서(170)는, 분리된 레이더 신호(SLara 또는 SLarb)에 기초하여, 복수 수면자(USRa,USRb)를 검출하고, 복수 수면자(USRa,USRb)가 부재시, 출력되는 출력 레이더 신호의 주기가, 복수 수면자(USRa,USRb) 존재시에 비해, 증가하도록 제어할 수 있다. 이에 따라, 불필요한 전력 소비를 저감할 수 있다.
한편, 프로세서(170)는, 전원 공급부(190)가 배터리를 구비하는 경우, 배터리의 전원 레벨에 따라, 출력되는 출력 레이더 신호의 주기가 달라지도록 제어할 수 있다. 이에 따라, 전력 소비를 저감할 수 있다.
한편, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub) 중 일정 노이즈에 대한 노이즈 캔슬링을 수행하고, 노이즈 캔슬링된 오디오 신호(Saua 또는 Saub)에 기초하여, 복수 수면자(USRa,USRb)의 코골이 여부, 및 무호흡 여부를 검출할 수 있다. 이에 따라, 복수 수면자(USRa,USRb)의 코골이 여부, 및 무호흡 여부를 정확하게 검출할 수 있다.
전원 공급부(190)는, 프로세서(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
한편, 전원 공급부(190)는, 배터리를 구비할 수 있다.
도 3은 도 1의 수면측정장치의 내부 블록도의 다른 예이다.
도면을 참조하면, 도 2a의 수면측정장치(100b)는, 도 2a의 수면측정장치(100)와 유사하나, 복수의 마이크(135a,135b)와 프로세서(170) 사이에, 오디오 변환부(162)가 배치되고, 레이더 센서(130)와 프로세서(170) 사이에, 신호 증폭부(164)와, 변환기(157)을 더 구비하는 것에 그 차이가 있다.
오디오 변환부(162)는, 복수의 마이크(135a,135b)로부터의 오디오 신호(Sauta 또는 Sautb)에 대한 전처리를 수행할 수 있다.
또는, 오디오 변환부(162)는, 복수의 마이크(135a,135b)로부터의 오디오 신호(Sauta 또는 Sautb)에 대한 부호화 처리를 수행할 수 있다. 이에 따라, 오디오 변환부(162)는, 저장된 오디오 코덱을 이용하여, 복수의 마이크(135a,135b)로부터의 오디오 신호(Sauta 또는 Sautb)에 대한 부호화 처리를 수행할 수 있다.
한편, 신호 증폭부(164)는, 레이더 센서(130)로부터의 레이더 신호(SLarat)를 증폭할 수 있다. 이를 이해, 신호 증폭부(164)는, OP AMP를 구비할 수 있다.
다음, 변환기(167)는, 신호 증폭부(164)로부터의 레이더 신호(SLarat)를 디지털 신호로 변환할 수 있다. 이를 위해, 변환기(167)는, ADC 변환기를 구비할 수 있다.
한편, 프로세서(170)는, 복수의 마이크(135a,135b)로부터의 오디오 신호(Sauta 또는 Sautb)에서 분리된 오디오 신호(Saua 또는 Saub)에 기초하여 코골이를 검출할 수 있다.
이를 위해, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 복수 수면자(USRa,USRb)로부터의 오디오 신호(Saua 또는 Saub) 로부터, 소정 시간 단위로 이벤트를 검출할 수 있다.
그리고, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 검출된 이벤트 중 코골이 이벤트와 비코골이 이벤트를 분류할 수 있다.
한편, 무호흡 증상을 호소하는 복수 수면자(USRa,USRb)들의 약 90%는 코골이 증상을 나타내고 있으며, 따라서, 무호흡 증상을 검출하기 위해서는 고성능의 코골이 검출 기술이 필요하다.
이에 따라, 코골이 이벤트 검출은, 무호흡 증상 검출, 수면 단계 연산 등을 위해, 필수적이다.
한편, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 복수 수면자(USRa,USRb)의 뒤척임 소리, 냉장고 소리, 선풍기 소리 등 수면 중에 발생할 수 있는 다양한 잡음에 대한 노이즈 캔슬링을 수행하고, 코골이 이벤트만을 구분하는 것이 바람직하다.
한편, 코골이 이벤트 검출시, 가우시안 혼합 모델 보다는, 본 발명에서는, 코골이 이벤트와 비코골이 이벤트에 대한 별도의 심화 신경망을 모델링하는 것으로 한다.
프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 수면 환경에서의 배경 잡음 제거를 위해 미리 학습된 DD 모델을 이용하여 배경잡음을 제거하고, 배경잡음이 제거된 신호를 기반으로 이벤트를 검출하기 위해, 모든 프레임에 대한 에너지 값을 구할 수 있다.
그리고, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 모든 프레임에 대해서 에너지 값을 구한 후, 히스토그램을 연산하고, 연산된 값을 기반으로 문턱값을 연산할 수 있다.
이때의 문턱값은 이벤트의 시작점과 끝점의 위치를 정확하게 찾기 위해, 사용될 수 있다.
한편, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 이벤트 검출을 위해, 코골이 이벤트의 통계적인 길이의 특징을 이용해서, 소정 구간, 예를 들어, 200 ms이상 3500 ms 이하의 이벤트를 제외한 나머지 이벤트들을 비코골이로 가정해서 제거할 수 있다.
한편, 코골이 이벤트 분류를 위한 요소는, 에너지, 스펙트랄, 시간으로서 3가지일 수 있다.
에너지와 관련된 특징 벡터는, 총 7가지로 시간축에서의 진폭과 에너지 분포도에 대한 대칭도 및 비대칭도, 정규화된 에너지 신호의 포락선에 대한 넓이, 볼륨 밀도, 첫 프레임과 최대값 사이의 기울기일 수 있다.
그리고, 스펙트랄과 관련된 특징 벡터는, 총 21개가 있으며, 16 ms와 50% 오버랩된 프레임을 구성한 후 모든 프레임에 대해 구해진 20차 MFCC (mel-frequency cepstral coefficient)의 각 차수 별 중앙값을 특징 벡터로 사용하며, 이때, 1차부터 16차 까지만 특징 벡터로 사용할 수 있다.
이에 기초하여, DMFCC (dynamic MFCC) 거리, 스펙트랄 플럭스, frequency centroid가 연산될 수 있다.
한편, 한 이벤트 중 처음 절반과 나머지 절반 사이의 frequency centroid의 차이를 특징 벡터로 사용할 수 있다.
마지막으로, 스펙트랄과 관련된 특징 벡터로 피치, 피치 힘, 피치 밀도가 예시될 수 있다.
한편, 시간과 관련된 특징 벡터는, 총 6개로 현재 이벤트를 기준으로 소정 시간, 예를 들어, 10초 전후의 RP (rhythm period), PS (period strength)를 추출하며, 인접한 이벤트 전후에 대해 각각의 특징 벡터의 비가, 특징벡터로 사용될 수 있다. 마지막으로 ZCR (zero crossing rate)를 추출하여 학습에 사용할 수 있다.
본 발명에서는 활성화 함수로, eLU 함수를 사용할 수 있다.
한편, 코골이 검출기(177)가, 코골이의 존재와 부재에 대한 두 가지 경우를 고려하므로, 심화신경망의 출력층은 두 개의 노드 로 구성되며, 목표 값은 음성 존재, 및 음성 부재에 대한 것일 수 있다.
한편, 출력층까지 feed forward를 진행한 후, back propagation을 이용한 지도 학습을 진행하기 위해 출력층에서 추정치와 타겟 값 사이의 cross entropy가 사용될 수 있으며, 심화 신경망의 파라미터가 업데이트될 수 있다.
한편, 심화 신경망을 적응적으로 학습하기 위해, adadelta를 통한 추정이 수행될 수 있다. 그리고, sigmoid를 이용하여 출력층에서 확률 값이 연산될 수 있다.
이를 위해, 음성존재확률 추정을 위한 sigmoid 함수의 기울기 파라미터와 바이어스 파라미터가 각각 사용될 수 있다.
한편, 코골이 이벤트 존재 확률추정을 위한 sigmoid함수의 두 파라미터는 negative log-likelihood(cross entropy error function)를 최소화하는 변별적 학습을 통해서 구할 수 있다.
한편, 심화신경망은 코골이 이벤트와 비코골이 이벤트에 대하여 별도로 학습되며, 코골이 이벤트 존재 확률 추정을 위한 sigmoid함수의 파라미터 또한 각각 따로 학습될 수 있다.
최종적으로, 한편, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 두 확률의 차이와 특정 문턱값을 비교하여 문턱값보다 큰 경우 코골이 이벤트로 분류하고, 작을 경우에는 비코골이 이벤트로 분류할 수 있다.
한편, 이러한 방식에 의한, 코골이 검출 기법은, 심화신경망에 기반하는 코골이 검출 기법으로서, 가우시안 혼합 모델과 비교하였을 때, 더 우수한 분류성능을 도출하게 된다.
특히, 가우시간 혼합 모델 기반의 코골이 검출 기술의 우도비 값에 대한 분포도 대비하여, 본 발명에서 제안하는 심화신경망에 기반하는 코골이 검출 기법의 우도비 값의 분포가 더욱 잘 분리되게 된다.
결국, 본 발명에서 제안하는 심화 신경망 기반의 코골이 검출은, 가장 크게 학습 단계, 분류 단계로 나뉘어 수행될 수 있다.
프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 학습 단계에서, DD를 통해 배경 잡음을 제거한 후 입력된 신호의 에너지를 기반으로 소정 기간 단위로 이벤트를 검출한다.
그리고, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 본격적인 학습에 들어가기에 앞서, 에너지와 관련된 특징 벡터와 스펙트랄과 관련된 특징 벡터 그리고 시간과 관련된 특징 벡터들을 추출한다.
프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 추출된 특징 벡터들을 이용하여 코골이와 비코골이에 대해서 각각 심화 신경망 모델을 개별적으로 학습하는데, 학습하기 직전에 특징 벡터를 정규화하는 과정을 거친다.
한편, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 선행학습과정을 생략하고, 미세조정과정에서 역전 (back-propagation) 알고리즘을 통해서 학습한다.
한편, 프로세서(170) 내의, 후보 코골이 신호 검출기(176)는, 각 노드 별 활성화 함수의 기울기 사라짐 문제를 해결하기 위해 ReLU (rectified linear unit)를 사용하였고, 심화 신경망의 선행학습단계에서의 학습율을 적응적으로 설정하기 위해 adadelta를 사용할 수 있다.
프로세서(170) 내의, 코골이 검출기(177)는, 분류 단계에서는 입력된 신호에 대해 학습 단계와 마찬가지로 동일하게 배경잡음을 제거한 후, 이벤트 검출기를 통해 이벤트를 검출하고, 해당 이벤트를 기준으로 특징 벡터를 추출한 후 코골이 검출을 위해 사전에 학습된 심화 신경망 모델과 비코골이 검출 심화 신경망 모델을 통해 우도비 값을 추정한 후 특정 문턱 값을 기준으로 코골이 및 비코골이를 분류할 수 있다.
따라서, 프로세서(170) 내의, 코골이 검출기(177)는, 우도비 값이 특정 문턱 값보다 작을 경우에는 비코골이 이벤트로 분류하고 그 보다 클 경우에는 코골이 이벤트로 분류할 수 있다.
한편, 프로세서(170)는, 수면 단계를 연산할 수 있으며, 수면 단계 검출을 위해, 복수 수면자(USRa,USRb)로부터 추출된 수면 관련 신호들을 기반으로 wake, NREM, 혹은 REM 수면을 검출할 수 있다.
본 발명에서는, 연속파 도플러 레이더 (continuous wave Doppler radar) 센서(130)를 주축으로 사용하여, 프로세서(170)가, 수면과 관련된 움직임, 호흡, 심장박동 관련 특징들을 추출하고, 수면 단계분류를 위해 랜덤포레스트 (random forest) 분류기를 사용하며, 복수의 마이크(135a,135b)를 보조 센서로 사용하여, 상황인지 기술을 적용하여 수면단계 검출 성능을 대폭 향상시키는 것으로 한다.
한편, 레이더 센서(130)를 단일 센서로 사용하여, 수면 단계를 연산하는 경우, 복수 수면자(USRa,USRb) 수면단계 검출 성능을 높이는 데에 중요한 요소인, 주변상황을 인지할 수 있는 상황인지 능력이 저조하다. 이에 따라, 본 발명에서는, 복합 센서, 특히, 레이더 센서(130)와 복수의 마이크(135a,135b)를 이용하여, 수면 단계를 연산하는 것으로 한다.
이를 위해, 프로세서(170)는, 연속파 분리된 레이더 신호(SLara 또는 SLarb) 및 오디오 신호(Saua 또는 Saub)에 대해 전처리를 수행할 수 있다.
예를 들어, 시간 도메인에서 송신되는 분리된 레이더 신호(SLara 또는 SLarb)는, 전압 제어 발진기 (VCO, voltage controlled oscillator)로부터 생성된 24GHz의 캐리어 주파수 의 연속파와 위상 잡음을 포함할 수 있다.
복수 수면자(USRa,USRb)의 신체로부터 반사된 도플러 신호는, 샘플링되고, 샘플링된 신호는, 복수 수면자(USRa,USRb)의 움직임 정보, 호흡 정보, 그리고 심장 박동 정보를 포함할 수 있다.
한편, 레이더 센서(130)는, quadrature receiver 방식의 안테나를 포함할 수 있다. 이러한 안테나를 통해 수신되는 분리된 레이더 신호(SLara 또는 SLarb)는, 90°위상차의 특징을 가지고 있는 baseband 신호, in-phase 신호와 quadrature 신호로 분리된다.
복수의 마이크(135a,135b)로부터 측정된 시간 도메인에서 오디오신호(Saua 또는 Saub)는, 16000 Hz로 샘플링되고, 샘플링된 신호는, 복수 수면자(USRa,USRb)의 수면 상황 데이터를 지니고 있는 오디오 신호와 잡음을 포함할 수 있다.
프로세서(170)는, data-driven 기법으로, 입력되는 오디오 신호(Saua 또는 Saub)로부터 잡음을 제거할 수 있다.
한편, 프로세서(170)는, 수면 시간 동안 복수 수면자(USRa,USRb)로부터 추출된 분리된 레이더 신호(SLara 또는 SLarb)를 소정 기간(예를 들어, 30초) 단위로 프레임화하고, 프레임 단위로 분리된 레이더 신호(SLara 또는 SLarb)의 DC-offset을 제거하기 위해 raw 신호의 평균값을 제거할 수 있다.
그리고, 프로세서(170)는, 각 bandwidth가 다른 3개의 Butterworth filter를 이용하여, 움직임, 호흡, 심장박동 관련 신호들을 추출한 뒤, 각각 신호로부터 min, max, mean, rms, median, 1st-quartile, 3rd-quartile, standard deviation, interquartile range, peak 갯수, peak 사이의 평균거리, peak 평균 높이, zero cross rate, linear regression slope를 추출하고. 호흡신호와 심장박동 신호를 주파수 도메인으로 변환하여 maximum peak를 추출할 수 있다.
한편, 프로세서(170)는, raw 신호로부터 skewness와 kurtosis를 추출할 수 있다.
한편, 프로세서(170)는, 분리된 레이더 신호(SLara 또는 SLarb) 프레임별로 46개의 특징들을 모든 프레임에 대해 추출한 뒤, 이 matrix에 대하여 singular value decomposition을 적용하여 3개의 최대 eigenvalue에 위치한 column vector feature들을 각각 프레임별로 추가하고, principal component analysis또한 적용하여 3개의 최대 eigenvalue에 위치한 column vector feature들을 각각 프레임별로 추가할 수 있다. 이에 따라, 한 프레임 당 52개의 특징 벡터들이 생성될 수 있다.
한편, 프로세서(170)는, 수면관련 움직임 및 복수 수면자(USRa,USRb)의 부재를 검출할 수 있다.
한편, 프로세서(170)는, 복수 수면자(USRa,USRb)가 수면 중 wake 상태를 의미하는 움직임을 보이거나, 몽유병과 같은 수면공간을 벗어나는, 복수 수면자(USRa,USRb)의 부재를 검출하기 위한 알고리즘 (WRMEnAD, wake-related movement existence and absence detection)을 구현하기 위해, DC-offset만 제거한 raw 분리된 레이더 신호(SLara 또는 SLarb)의 프레임에 대하여, 실험에 의해 결정된 heuristic threshold을 기준으로 level cross rate feature를 추출하여, 복수 수면자(USRa,USRb)의 부재와 wake상태를 의미하는 feature 을 검출할 수 있다.
한편, 프로세서(170)는, 수면 중 복수 수면자(USRa,USRb)로부터 추출된 오디오 신호(Saua 또는 Saub)로부터, 소정 기간(예를 들어, 30초)의 프레임 단위로, 코골이 신호기반의 코골이 이벤트 개수를 검출하고, 호흡 신호 기반의 cycle intensity (CI) 특징을 검출할 수 있다.
한편, 프로세서(170)는, CI를 검출하기 위해, 잡음이 제거된 오디오 신호(Saua 또는 Saub)에 대하여 spectrogram을 연산하고, 각 주파수 bin에 해당하는 신호에 대하여 time-domain autocorrelation을 연산한 뒤, 그 결과에서의 첫 번째 peak에 대한 진폭을 기준으로 하여 크기가 큰 순서대로 정렬하여 가장 첫 번째의 peak 증폭을 그 프레임에 대한 CI라고 정의할 수 있다.
한편, 프로세서(170)는, 수면단계를 wake, NREM, REM 수면으로 분류하기 전에, 복수 수면자(USRa,USRb)의 wake/sleep 분류를 먼저 수행할 수 있다.
프로세서(170)는, Wake/sleep 분류를 위해, 앞에서 추출된 52개의 분리된 레이더 신호(SLara 또는 SLarb) 기반 특징들로부터, wake/sleep 클래스에 대한 분포 분석결과 선별된 44개의 특징 벡터들을 선별한다. 그리고 프로세서(170)는, 특징벡터에 대한 standardization 방식의 normalization 을 진행한다.
정규화된 44개의 특징벡터들을 wake/sleep binary 랜덤포레스트 분류기를 통과시켜 나온 결과물은 각 프레임마다 wake일 확률과 sleep일 확률값들 이 출력되는데, 프로세서(170)는, 이러한 출력 값을 기반으로 확률 smoothing을 진행한다. 단, 첫 번째와 두 번째 프레임, 즉 첫 1분은 무조건 사람이 wake상태라고 가정한다.
한편, 프로세서(170)는, 확률 smoothing이 진행된 후, 전체 프레임에 대한 wake/sleep 우도비열을 연산하고, 이를 저자알 수 있다.
한편, 프로세서(170)는, wake/sleep personal-adjusted threshold를 연산할 수 있다.
Personal adjusted threshold란, 사람마다 수면패턴과 생체신호 패턴이 다르기에 모든 사람들에 대해 알고리즘을 최적화시키기 위한 adaptive threshold의 일종이며, 이는 추후 wake/sleep 최종 결정에 사용될 주요 파라미터이다.
한편, 프로세서(170)는, Personal-adjusted threshold를 구하기 위해, 랜덤포레스트 분류기에서 출력된 각 클래스에 대한 확률 ratio를 오름차순으로 정렬하고, 그 후, grid-search를 통해 얻어진 특정 percentile parameter를 기반으로, 그 percentile에 해당하는 우도비값을 personal-adjusted threshold로 지정한다.
한편, 프로세서(170)는, NREM/REM 랜덤포레스트 분류기를 적용하기 전에, 앞에서 추출한 feature들을 기반으로 상황인지 기술을 적용하여 wake/sleep 검출 성능을 향상시킬 수 있다.
이 기법은 wake/sleep 클래스에 대하여 snore event 횟수 분포를 비교한 결과로 고안한 알고리즘이므로, 특정 프레임에서 wake/sleep 랜덤포레스트 분류기의 결과가 wake로 결정되었을 당시, sleep으로 보정해주는 알고리즘이다.
한편, 프로세서(170)는, sleep 클래스로 결정된 프레임들에 대하여, NREM/REM 랜덤포레스트 분류기를 통과시킨다.
NREM/REM 분류기에 사용되는 레이더 특징벡터들은 기존 52개의 특징벡터들의 NREM과 REM 클래스에 대한 분포를 분석결과 선별된 35개의 특징 벡터들이다.
한편, 제1 기간, 예를 들어, 50분까지는 REM 수면이 발생되지 않는다는 실험 결과를 통해, 프로세서(170)는, 제1 기간(50분)은 REM검출 확률을 낮춘 threshold을 사용하고, 제1 기간 이후, grid-search를 통해 결정된 percentage 파라미터를 사용할 수 있다.
한편, 프로세서(170)는, 최종 수면 단계를 결정하기 위해 앞서 저장된 wake/sleep 관련 파라미터들을 기반으로 wake과 sleep을 구분 한 뒤, sleep으로 결정된 프레임들에 대하여 NREM/REM 클래스 결정을 수행한다.
그리고, 프로세서(170)는, Wake/sleep 최종 결정을 위해 프레임의 우도비가 wake/sleep personal adjusted threshold 보다 큰 경우 sleep 클래스로 결정하고, 작을 경우 wake로 결정한다.
한편, 프로세서(170)는, 소정 기간, 예를 들어, 첫 1분 동안은, 복수 수면자(USRa,USRb)가 무조건 wake 클래스라고 가정한다.
이때, 프로세서(170)는, 프레임 인덱스가 소정치(예를 들어, 2)보다 큰 경우, wake 클래스로 지정된 프레임의 오류를 보정하기 위해 앞서 추출한 코골이 이벤트 개수를 사용할 수 있다.
한편, 프로세서(170)는, 코골이 이벤트 횟수가 3번 이상일 경우 이를 sleep으로 보정하할 수 있다. 이는 wake/sleep 클래스에 대한 코골이 이벤트 개수 분포에 의해 결정된다.
한편, 프로세서(170)는, Sleep 클래스로 결정된 프레임을 NREM/REM 클래스로 결정짓기 전에, 미리 추출한 복수 수면자(USRa,USRb)의 움직임 관련 특징(feature)을 이용하여, 마지막 wake/sleep 보정을 수행할 수 있다.
예를 들어, 프로세서(170)는, 프레임이 sleep으로 결정되었으나, 면자(USR)의 움직임이 검출되었거나 부재로 판단되는 경우, 프레임의 클래스를 wake로 보정할 수 있다.
한편, 프로세서(170)는, Sleep으로 확정된 프레임에 대해, 수면 단계 검사를 시작한지 제1 기간 이하인 경우, 낮은 REM 검출률의 NREM/REM personal adjusted threshold를 기준으로 우도비를 비교하고, 우도비가 클 경우 REM으로 결정하고, 작을 경우 NREM으로 결정할 수 있다.
한편, 프로세서(170)는, 제1 기간 초과시, rid-search로 결정된 heuristic threshold를 기준으로 우도비를 비교하여 NREM 혹은 REM을 결정할 수 있다.
한편, 프로세서(170)는, 최종적으로 수면 단계를 결정짓기 전에, 마지막으로 후처리를 수행할 수 있다.
예를 들어, 프로세서(170)는, 추출한 호흡신호 기반의 특징 CI와 코골이 신호 기반의 특징을 기반으로, 상황인지 기술을 적용하여 wake 검출 성능을 향상시킬 수 있다.
이때, 프로세서(170)는, CI가 다수 모여있는 곳을 wake 구간으로 추정한 후, 연속된 frame길이가 소정 구간(110에서 170 사이)인 경우를 wake 구간으로 결정한다.
프로세서(170)는, NREM 및 REM의 검출 오류를 줄이기 위해 REM 클래스로 연속적으로 3프레임 이하로 지속 될 경우, 이를 NREM으로 보정하고, 가까이 붙어있는 REM 프레임들은 하나의 REM 수면 구간으로 보정할 수 있다.
도 4는 도 1의 수면측정장치의 동작방법을 나타내는 순서도의 일예이고, 도 5a 내지 도 5b는 도 4의 동작방법의 설명에 참조되는 도면이다. 특히, 도 4 내지 도 5b는, 수면자의 수면 단계 연산에 대한 설명에 참조되는 도면이다.
도면을 참조하면, 프로세서(170)는, 레이더 센서(130)에서 검출되는 혼합 레이더 신호(SLart)를 분리하여, 분리된 레이더 신호(SLara 또는 SLarb)를 검출한다(S405).
다음, 프로세서(170)는, 분리된 레이더 신호(SLara 또는 SLarb)로부터 움직임, 호흡, 심박 신호를 검출한다(S410).
그리고, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub)에 기초하여 연산된 코골이 여부 데이터를 수신하고(S420), 코골이 여부 데이터와, 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자 각각의 수면 효율을 각각 연산한다(S430).
다음, 프로세서(170)는, 연산된 수면 효율이 제1 기준치 이상인 경우, 수면 단계를 연산한다(S450).
도 5a는 복수 수면자(USRa,USRb)에 전송되는 레이더 전송 신호(ftx)와, 복수 수면자(USRa,USRb)로부터 수신되는 레이더 수신 신호(frx)위 시간 차이(tp)를 예시한다.
도 5b는, 복수 수면자(USRa,USRb) 사이의 거리(ΔR)를 예시한다.
이러한 시간 차이(tp)에 기초하여, 프로세서(1700는, 복수 수면자(USRa,USRb)의 위치 또는 도 5b와 같은 거리 등을 연산할 수 있다.
도 5c는 2채널의 레이더 신호(SLara,SLarb)로부터 복수 수면자(USRa,USRb)의 움직임 신호(Wva), 호흡 신호(Wvb), 심박 신호(Wvc)를 검출하는 것을 예시한다.
프로세서(170) 내의 움직임, 호흡, 심박 신호 검출기(171)는, 레이더 신호(SLara,SLarb)로부터 복수 수면자(USRa,USRb)의 움직임 신호(Wva), 호흡 신호(Wvb), 심박 신호(Wvc)를 검출할 수 있다.
다음, 프로세서(170) 내의 웨이크/슬립 분류기(511)는, 복수 수면자(USRa,USRb)의 움직임 신호(Wva), 호흡 신호(Wvb), 심박 신호(Wvc)에 기초하여, 복수 수면자(USRa,USRb)가 웨이크(wake) 상태인지, 슬립(Sleep) 상태인지 구분할 수 있다.
한편, 프로세서(170) 내의 웨이크/슬립 분류기(511)에서 슬립(Sleep) 상태로 판단되는 경우, 프로세서(170) 내의 움직임/부재 검출기(513)는, 복수 수면자(USRa,USRb)의 움직임 신호(Wva), 호흡 신호(Wvb), 심박 신호(Wvc)에 기초하여, 복수 수면자(USRa,USRb)가 움직임 상태인지 부재 상태인지 검출할 수 있다.
다음, 프로세서(170) 내의 REM/NREM 분류기(515)는, 웨이크/슬립 분류기(511)에서 슬립(Sleep) 상태로 판단되는 경우, 복수 수면자(USRa,USRb)의 움직임 신호(Wva), 호흡 신호(Wvb), 심박 신호(Wvc)에 기초하여, 복수 수면자(USRa,USRb)의 수면 상태가, REM 상태인지, NREM 상태인지 분류할 수 있다.
본 발명의 실시예에 따르면, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub)에 기초하여, 복수 수면자(USRa,USRb)의 코골이 여부, 및 무호흡 여부를 검출하고, 분리된 레이더 신호(SLara 또는 SLarb)에 기초하여, 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호를 검출하고, 분리된 오디오 신호(Saua 또는 Saub)에 기초하여 연산된 코골이 여부 데이터와, 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자 각각의 수면 효율을 각각 연산할 수 있다. 이에 따라, 복합 센서를 이용하여 복수의 수면자에 대한 수면 효율을 정확하게 연산할 수 있게 된다.
한편, 프로세서(170)는, 연산된 수면 효율이 제1 기준치 이상인 경우, 복수 수면자(USRa,USRb)의 수면 단계를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자 각각에 대한 수면 단계를 정확하게 연산할 수 있게 된다.
한편, 프로세서(170)는, 연산된 수면 효율, 수면 단계, 코골이 여부 데이터, 및 무호흡증 여부 데이터에 기초하여, 복수 수면자 각각의 수면 스코어를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자 각각에 대한 수면 스코어를 정확하게 연산할 수 있게 된다.
한편, 프로세서(170)는, 복수 수면자(USRa,USRb)가 비렘 수면 상태인 경우, 복수 수면자(USRa,USRb)의 수면 단계를 연산할 수 있다.
한편, 프로세서(170)는, 검출되는 복수 수면자(USRa,USRb)의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자(USRa,USRb)가 웨이크(wake) 또는 수면 상태인지 분류하고, 수면 상태인 경우, 렘(Rapid Eye Movement와, REM) 수면 상태인지, 또는 비렘(non-REM) 수면 상태인지 분류할 수 있다.
도 6은 도 1의 수면측정장치의 동작방법을 나타내는 순서도의 일예이고, 도 7a 내지 도 7b는 도 6의 동작방법의 설명에 참조되는 도면이다. 특히, 도 6 내지 도 7b는, 수면자의 수면 단계 연산에 대한 설명에 참조되는 도면이다.
도면을 참조하면, 프로세서(170)는, 복수의 마이크(135a,135b)로부터의 혼합 오디오 신호(Sauta,Sautb)를 분리하여 분리된 오디오 신호(Saua 또는 Saub)를 추출한다(S605).
다음, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub)에 대한 전처리를 수행한다(S610). 예를 들어, 프로세서(170)는, 전치리로, 분리된 오디오 신호(Saua 또는 Saub) 내의 잡음 등을 제거할 수 있다.
다음, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub)로부터 코골이 후보 이벤트를 검출한다(S610).
그리고, 프로세서(170)는, 추출된 코골이 후보 이벤트에 기초하여, 코골이 특징을 추출하고(S620), 추출된 코골이 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 코골이 여부에 대해 연산할 수 있다(S620). 이에 따라, 비접촉 복합 센서를 이용하여 코골이 여부에 대해 정확하게 연산할 수 있다.
다음, 프로세서(170)는, 연산된 코골이 여부 데이터를 수면 효율 검출을 위해 전송할 수 있다(S630). 예를 들어, 코걸이 검출기(177)는, 연산된 코골이 여부 데이터를 수면 효율 검출기(172)로 전송할 수 있다.
다음, 프로세서(170)는, 코골이 여부 데이터에 기초하여, 무호흡 특징을 추출히고(S640), 추출된 무호흡 특징에 기초하여, 무호흡 여부를 연산한다(S650).
도 7a는 복수 수면자(USRa,USRb)와 수면측정장치(100) 사이에 이격된 것을 예시하는 도면이다.
이와 같이 이격된 경우, 수면측정장치(100) 내의 복수의 마이크(135a,135b)에서 수신되는 오디오 신호 파형은 도 7b와 같이 예시될 수 있다.
한편, 도 7b는, 오디오 신호 파형 중 잔향 신호(Ara)가 비동기적으로 수신되는 것을 예시한다. 따라서, 복수의 마이크(135a,135b)로부터의 혼합 오디오 신호(Sauta,Sautb)를 분리하는 것이 필요하다.
한편, 프로세서(170)는, 혼합 오디오 신호(Sauta,Sautb)에 대해 전처리를 수행하고, 혼합 오디오 신호(Sauta,Sautb)를 분리하여, 분리된 오디오 신호(Saua 또는 Saub)를 추출할 수 있다.
한편, 프로세서(170) 내의 후보 코골이 신호 검출기(176)는, 분리된 오디오 신호(Saua 또는 Saub)로부터 코골이 후보 이벤트를 검출한다.
그리고, 프로세서(170) 내의 코골이 검출기(177)는, 추출된 코골이 후보 이벤트에 기초하여, 코골이 특징을 추출하고, 추출된 코골이 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 코골이 여부에 대해 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여, 코골이 인지, 코골이가 아닌지 여부를 정확하게 연산할 수 있다.
다음, 프로세서(170) 내의 무호흠증 검출기(178)는, 코골이로 연산된 경우, 무호흡 특징을 추출하고, 추출된 무호흡 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 무호흡증 여부에 대해 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여, 무호흡증 인지, 무호흡증이 아닌지 여부를 정확하게 연산할 수 있다.
한편, 프로세서(170)는, 복수 수면자(USRa,USRb)가 비렘 수면 상태인 경우, 복수 수면자(USRa,USRb)의 수면 단계를 연산할 수 있다. 이에 따라, 비접촉 복합 센서를 이용하여 복수 수면자 각각에 대한 수면 단계를 정확하게 연산할 수 있다.
한편, 프로세서(170)는, 분리된 레이더 신호(SLara 또는 SLarb)에 기초하여, 복수 수면자(USRa,USRb)를 검출하고, 복수 수면자(USRa,USRb)가 부재시, 출력되는 출력 레이더 신호의 주기가, 복수 수면자(USRa,USRb) 존재시에 비해, 증가하도록 제어할 수 있다. 이에 따라, 불필요한 전력 소비를 저감할 수 있다.
한편, 프로세서(170)는, 전원 공급부(190)가 배터리를 구비하는 경우, 배터리의 전원 레벨에 따라, 출력되는 출력 레이더 신호의 주기가 달라지도록 제어할 수 있다. 이에 따라, 전력 소비를 저감할 수 있다.
한편, 프로세서(170)는, 분리된 오디오 신호(Saua 또는 Saub) 중 일정 노이즈에 대한 노이즈 캔슬링을 수행하고, 노이즈 캔슬링된 오디오 신호(Saua 또는 Saub)에 기초하여, 복수 수면자(USRa,USRb)의 코골이 여부, 및 무호흡 여부를 검출할 수 있다. 이에 따라, 복수 수면자(USRa,USRb)의 코골이 여부, 및 무호흡 여부를 정확하게 검출할 수 있다.
도 8은 도 1의 이동 단말기의 내부 블록도의 일예이다.
도면을 참조하면, 이동 단말기(600)는, 무선 통신부(610), A/V(Audio/Video) 입력부(620), 사용자 입력부(630), 센싱부(640), 출력부(650), 메모리(660), 인터페이스부(625), 제어부(670), 및 전원 공급부(690)를 포함할 수 있다.
한편, 무선 통신부(610)는, 방송수신 모듈(611), 이동통신 모듈(613), 무선 인터넷 모듈(615), 음향 통신부(617), 및 GPS 모듈(619) 등을 포함할 수 있다.
방송수신 모듈(611)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다.
방송수신 모듈(611)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(660)에 저장될 수 있다.
이동통신 모듈(613)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(615)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(615)은 이동 단말기(600)에 내장되거나 외장될 수 있다.
음향 통신부(617)는 음향 통신을 수행할 수 있다. 음향 통신부(617)는, 음향 통신 모드에서, 출력할 오디오 데이터에, 소정의 정보 데이터를 부가하여, 사운드를 출력할 수 있다. 또한, 음향 통신부(617)는, 음향 통신 모드에서, 외부로부터 수신되는 사운드로부터 소정의 정보 데이터를 추출할 수 있다.
GPS(Global Position System) 모듈(619)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다.
A/V(Audio/Video) 입력부(620)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(621)와 마이크(623) 등이 포함될 수 있다.
사용자 입력부(630)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(630)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이(680)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
센싱부(640)는 이동 단말기(600)의 개폐 상태, 이동 단말기(600)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(600)의 현 상태를 감지하여 이동 단말기(600)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
센싱부(640)는, 감지센서(641), 압력센서(643), 및 모션 센서(645) 등을 포함할 수 있다. 모션 센서(645)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(600)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다.
출력부(650)는 디스플레이(680), 음향 출력부(653), 알람부(655), 및 햅틱 모듈(657) 등을 포함할 수 있다.
디스플레이(680)는 이동 단말기(600)에서 처리되는 정보를 표시 출력한다. 예를 들어, 통신부(610)로부터 수신되는 정보를 표시한다.
한편, 전술한 바와 같이, 디스플레이(680)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(680)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
음향 출력부(653)는 무선 통신부(610)로부터 수신되거나 메모리(660)에 저장된 오디오 데이터를 출력한다. 이러한 음향 출력부(653)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(655)는 이동 단말기(600)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .
햅틱 모듈(haptic module)(657)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(657)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다.
메모리(660)는 제어부(670)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
인터페이스부(625)는 이동 단말기(600)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(625)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(600) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(600) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(670)는 통상적으로 상기 각부의 동작을 제어하여 영상표시장치(600)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(670)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(681)을 구비할 수도 있다. 멀티미디어 재생 모듈(681)은 제어부(670) 내에 하드웨어로 구성될 수도 있고, 제어부(670)와 별도로 소프트웨어로 구성될 수도 있다. 한편, 제어부(670)는, 애플리케이션 구동을 위한 애플리케이션 프로세서(미도시)를 구비할 수 있다. 또는 애플리케이션 프로세서(미도시)는 제어부(670)와 별도로 마련되는 것도 가능하다.
그리고, 전원 공급부(690)는 제어부(670)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
한편, 도 8에 도시된 이동 단말기(600)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(600)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 9a 내지 도 9c는 도 1의 이동 단말기에 다양한 정보가 표시되는 것을 도시한 도면이다.
먼저, 도 9a는, 이동 단말기(600)의 디스플레이(680)에 표시될 수 있는, 연산된 수면 스코어를 포함하는 화면(910)을 예시한다. 도면에서는, 연산된 수면 스코어가 88인 것을 예시한다.
다음, 도 9b는, 이동 단말기(600)의 디스플레이(680)에 표시될 수 있는, 수면 상태 정보를 포함하는 화면(920)을 예시한다. 도면에서는, 수면 상태에서 코골이가 제외된 수면 상태 정보가 표시되는 것을 예시한다.
다음, 도 9b는, 이동 단말기(600)의 디스플레이(680)에 표시될 수 있는, 수면 상태 정보를 포함하는 화면(930)을 예시한다. 도면에서는, 수면 상태에서 코골이 정보가 포함된 수면 상태 정보가 표시되는 것을 예시한다.
이러한 화면(910,920,930)으로 인하여, 사용자는, 자신의 수면 상태 등을 간편하게 파악할 수 있게 된다.
본 발명의 실시예에 따른 수면측정장치, 및 이를 구비하는 수면측정 시스템은, 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해어져서는 안될 것이다.

Claims (14)

  1. 레이더 신호를 수신하는 레이더 센서;
    오디오 신호를 수신하는 복수의 마이크;
    상기 복수의 마이크로부터의 혼합 오디오 신호를 분리하고, 분리된 오디오 신호에 기초하여, 복수 수면자의 코골이 여부, 및 무호흡 여부를 검출하고, 상기 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 복수 수면자 각각의 움직임, 호흡, 심박 신호를 검출하고, 상기 분리된 오디오 신호에 기초하여 연산된 코골이 여부 데이터와, 상기 복수 수면자 각각의 움직임, 호흡, 심박 신호에 기초하여, 복수 수면자 각각의 수면 효율을 각각 연산하는 프로세서;를 포함하는 것을 특징으로 하는 수면측정장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 연산된 수면 효율이 제1 기준치 이상인 경우, 상기 복수 수면자 각각의 수면 단계를 연산하는 것을 특징으로 하는 수면측정장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 연산된 수면 효율, 수면 단계, 코골이 여부 데이터, 및 무호흡증 여부 데이터에 기초하여, 복수 수면자 각각의 수면 스코어를 연산하는 것을 특징으로 하는 수면측정장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 분리된 오디오 신호로부터 코골이 후보 이벤트를 추출하고, 상기 추출된 코골이 후보 이벤트에 기초하여, 코골이 특징을 추출하고, 상기 추출된 코골이 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 코골이 여부에 대해 연산하는 것을 특징으로 하는 수면측정장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 수면자가 코골이로 연산되는 경우, 상기 분리된 오디오 신호로부터 무호흡 특징을 추출하고, 상기 추출된 무호흡 특징에 기초하여, 수행되는 학습 기반 분류에 따라, 무호흡 여부에 대해 연산하는 것을 특징으로 하는 수면측정장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 검출되는 복수 수면자 각각의 움직임, 호흡, 심박 신호에 기초하여, 상기 복수 수면자가 웨이크(wake) 또는 수면 상태인지 분류하고, 상기 수면 상태인 경우, 렘(Rapid Eye Movement; REM) 수면 상태인지, 또는 비렘(non-REM) 수면 상태인지 분류하는 것을 특징으로 하는 수면측정장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 복수 수면자가 상기 비렘 수면 상태인 경우, 상기 복수 수면자 각각의 수면 단계를 연산하는 것을 특징으로 하는 수면측정장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 레이더 센서로부터의 혼합 레이더 신호를 분리하고, 분리된 레이더 신호에 기초하여, 상기 복수 수면자를 검출하고, 상기 복수 수면자가 부재시, 출력되는 출력 레이더 신호의 주기가, 상기 복수 수면자 존재시에 비해, 증가하도록 제어하는 것을 특징으로 하는 수면측정장치.
  9. 제1항에 있어서,
    전원을 공급하는 전원 공급부;를 더 포함하며,
    상기 프로세서는,
    상기 전원 공급부가 배터리를 구비하는 경우, 상기 배터리의 전원 레벨에 따라, 출력되는 출력 레이더 신호의 주기가 달라지도록 제어하는 것을 특징으로 하는 수면측정장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 마이크로부터의 오디오 신호 중 일정 노이즈에 대한 노이즈 캔슬링을 수행하고, 노이즈 캔슬링된 오디오 신호에 기초하여, 복수 수면자의 코골이 여부, 및 무호흡 여부를 검출하는 것을 특징으로 하는 수면측정장치.
  11. 제1항에 있어서,
    상기 마이크로부터의 오디오 신호에 대한 전처리를 수행하는 오디오 변환부;를 더 포함하는 것을 특징으로 하는 수면측정장치.
  12. 제1항에 있어서,
    상기 레이더 센서로부터의 상기 레이더 신호를 증폭하는 신호 증폭부; 및
    상기 신호 증폭부로부터의 상기 레이더 신호를 디지털 신호로 변환하는 변환기;를 더 포함하며,
    상기 변환기에서 변환된 레이더 신호가, 상기 프로세서에 입력되는 것을 특징으로 하는 수면측정장치.
  13. 단말기; 및
    제1항 내지 제12항 중 어느 한 항의 수면측정장치;를 포함하는 것을 특징으로 하는 수면측정 시스템.
  14. 제13항에 있어서,
    상기 단말기는,
    상기 수면측정장치에서 연산된 수면 단계 또는 수면 스코어 정보를 출력하는 것을 특징으로 하는 수면측정 시스템.
PCT/KR2018/010155 2018-08-31 2018-08-31 수면측정장치, 및 이를 구비하는 수면측정 시스템 WO2020045710A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/010155 WO2020045710A1 (ko) 2018-08-31 2018-08-31 수면측정장치, 및 이를 구비하는 수면측정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/010155 WO2020045710A1 (ko) 2018-08-31 2018-08-31 수면측정장치, 및 이를 구비하는 수면측정 시스템

Publications (1)

Publication Number Publication Date
WO2020045710A1 true WO2020045710A1 (ko) 2020-03-05

Family

ID=69645008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010155 WO2020045710A1 (ko) 2018-08-31 2018-08-31 수면측정장치, 및 이를 구비하는 수면측정 시스템

Country Status (1)

Country Link
WO (1) WO2020045710A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111374641A (zh) * 2020-03-09 2020-07-07 深圳大学 睡眠特征事件的识别方法、装置、计算机设备和存储介质
US20230095780A1 (en) * 2019-07-25 2023-03-30 Inspire Medical Systems, Inc. Sleep detection for sleep disordered breathing (sdb) care

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094379A (ja) * 2008-10-17 2010-04-30 Tanita Corp 睡眠評価装置及び睡眠評価方法
KR20160075178A (ko) * 2014-12-19 2016-06-29 전남대학교산학협력단 수면중 호흡상태 판별 방법
KR20170057038A (ko) * 2015-11-16 2017-05-24 엘지전자 주식회사 수면 단계 분석 장치 및 그 동작 방법
KR20170108462A (ko) * 2016-03-17 2017-09-27 경희대학교 산학협력단 수면 무호흡 모니터링 시스템
KR20180096176A (ko) * 2017-02-20 2018-08-29 가천대학교 산학협력단 수면상태 분석장치 및 수면상태 분석 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094379A (ja) * 2008-10-17 2010-04-30 Tanita Corp 睡眠評価装置及び睡眠評価方法
KR20160075178A (ko) * 2014-12-19 2016-06-29 전남대학교산학협력단 수면중 호흡상태 판별 방법
KR20170057038A (ko) * 2015-11-16 2017-05-24 엘지전자 주식회사 수면 단계 분석 장치 및 그 동작 방법
KR20170108462A (ko) * 2016-03-17 2017-09-27 경희대학교 산학협력단 수면 무호흡 모니터링 시스템
KR20180096176A (ko) * 2017-02-20 2018-08-29 가천대학교 산학협력단 수면상태 분석장치 및 수면상태 분석 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230095780A1 (en) * 2019-07-25 2023-03-30 Inspire Medical Systems, Inc. Sleep detection for sleep disordered breathing (sdb) care
CN111374641A (zh) * 2020-03-09 2020-07-07 深圳大学 睡眠特征事件的识别方法、装置、计算机设备和存储介质
CN111374641B (zh) * 2020-03-09 2023-12-19 深圳大学 睡眠特征事件的识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
WO2018155951A1 (en) Method of obtaining biometric information in electronic device and electronic device for the same
WO2019182226A1 (en) System for processing sound data and method of controlling system
WO2015053418A1 (ko) 다기능 스포츠 헤드셋
WO2019164148A1 (ko) 음성 명령을 수행하는 방법 및 시스템
WO2020246634A1 (ko) 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법
WO2017131384A1 (en) Electronic device and control method thereof
WO2020231230A1 (en) Method and apparatus for performing speech recognition with wake on voice
WO2019201215A1 (zh) 课堂评测方法、装置及计算机可读存储介质
WO2020045710A1 (ko) 수면측정장치, 및 이를 구비하는 수면측정 시스템
WO2020196955A1 (ko) 인공 지능 기기 및 인공 지능 기기의 동작 방법
WO2020166944A1 (en) Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones
WO2020045709A1 (ko) 수면측정장치, 및 이를 구비하는 수면측정 시스템
CN107886969B (zh) 一种音频播放方法及音频播放装置
WO2020230933A1 (ko) 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
WO2017171137A1 (ko) 보청장치, 휴대장치 및 그 제어방법
WO2017188648A1 (ko) 이어셋 및 그 제어 방법
WO2020091505A1 (en) Electronic device and method for intelligent interaction thereof
WO2022119082A1 (ko) 인공지능 모델을 기반으로 재난을 감지하는 방법 및 이를 수행하는 전자 장치
WO2020013666A1 (ko) 사용자 음성 입력 처리 방법 및 이를 지원하는 전자 장치
WO2022080612A1 (ko) 휴대용 음향기기
WO2016182361A1 (en) Gesture recognition method, computing device, and control device
CN111387978A (zh) 一种表面肌电信号的动作段检测方法、装置、设备及介质
WO2021167318A1 (en) Position detection method, apparatus, electronic device and computer readable storage medium
WO2020197250A1 (ko) 사용자의 측두근을 모니터링하는 안경 및 컴퓨터 프로그램
WO2020145417A1 (ko) 로봇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18931999

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18931999

Country of ref document: EP

Kind code of ref document: A1