WO2023029503A1 - 监测睡眠状态的方法、装置、电子设备和存储介质 - Google Patents

监测睡眠状态的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2023029503A1
WO2023029503A1 PCT/CN2022/087529 CN2022087529W WO2023029503A1 WO 2023029503 A1 WO2023029503 A1 WO 2023029503A1 CN 2022087529 W CN2022087529 W CN 2022087529W WO 2023029503 A1 WO2023029503 A1 WO 2023029503A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
feature vector
sound
sleep state
state
Prior art date
Application number
PCT/CN2022/087529
Other languages
English (en)
French (fr)
Inventor
吴明诏
Original Assignee
康键信息技术（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 康键信息技术（深圳）有限公司 filed Critical 康键信息技术（深圳）有限公司
Publication of WO2023029503A1 publication Critical patent/WO2023029503A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4818—Sleep apnoea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes

Definitions

  • the present application relates to the technical field of digital medical care, and in particular to a method, device, electronic equipment and storage medium for monitoring sleep state.
  • Sleep time accounts for a large proportion of people's daily life time, and the quality of sleep status can reflect people's health status as a whole, so it is necessary to monitor people's sleep status.
  • the related art discloses that the user's voice information is collected through a microphone, and the user's sleep state is judged by detecting the frequency and amplitude of the voice information. way, the type of sound it distinguishes is not accurate enough, so the detected sleep state is also not accurate enough.
  • the main purpose of the embodiments of the present disclosure is to provide a method, device, electronic device and storage medium for monitoring sleep status. By extracting the features of the collected sound information, the specific types of various sounds can be accurately identified, thereby improving the accuracy of acquisition. The accuracy of the sleep state.
  • the first aspect of the embodiments of the present disclosure proposes a method for monitoring a sleep state, including: acquiring current environmental information of a preset monitoring area, wherein the environmental information includes sound information; Perform feature extraction to obtain a sound feature vector; calculate the similarity between the sound feature vector and a preset reference feature vector; use the reference feature vector most similar to the sound feature vector as the target feature vector according to the similarity ; Obtain state information represented by the target feature vector, and use the state information as a current sleep state.
  • the second aspect of the present disclosure proposes a device for monitoring sleep state, including: a sound collection module, the sound collection module is used to obtain the current environmental information of the preset monitoring area, wherein the environmental information Including sound information; feature extraction module, the feature extraction module is used to perform feature extraction on the sound information to obtain the sound feature vector; calculation module, the calculation module is used to calculate the sound feature vector and preset reference features The similarity between the vectors; the state determination module, the state determination module is used to obtain the target reference feature vector most similar to the sound feature vector according to the similarity, and the state information represented by the target reference feature vector is used as current sleep state.
  • a third aspect of the present disclosure proposes an electronic device, including: at least one memory; at least one processor; at least one program; the program is stored in the memory, and the processor executes the at least one program
  • obtain the current environmental information of the preset monitoring area wherein the environmental information includes sound information
  • perform feature extraction on the sound information to obtain a sound feature vector
  • calculate the sound feature vector and the preset reference The similarity between the feature vectors; according to the similarity, the reference feature vector most similar to the sound feature vector is used as the target feature vector; the state information represented by the target feature vector is obtained, and the state information is used as the current sleep state.
  • the fourth aspect of the present disclosure provides a storage medium, which is a computer-readable storage medium, and the computer-readable storage medium stores computer-executable instructions for Make the computer perform the following steps: obtain the current environmental information of the preset monitoring area, wherein the environmental information includes sound information; perform feature extraction on the sound information to obtain a sound feature vector; calculate the sound feature vector and the preset The similarity between the reference feature vectors; according to the similarity, the reference feature vector most similar to the sound feature vector is used as the target feature vector; the state information represented by the target feature vector is obtained, and the state information is used as the current sleep state.
  • a method, device, electronic device, and storage medium for monitoring a sleep state have at least the following beneficial effects: by monitoring the user's sleep state, the user can intuitively obtain their own sleep quality, thereby monitoring their own sleep state. Health status, assisting users in daily life to improve their own sleep quality and improve the user's physical health status.
  • FIG. 1 is a flow chart of a method for monitoring a sleep state provided by an embodiment of the present disclosure
  • FIG. 2 is a flow chart of another method for monitoring a sleep state provided by an embodiment of the present disclosure
  • FIG. 3 is a flow chart of another method for monitoring a sleep state provided by an embodiment of the present disclosure
  • Fig. 4 is the flowchart of step S120 in Fig. 1;
  • Fig. 5 is a schematic diagram of a hardware structure of an electronic device provided by an embodiment of the present disclosure.
  • AI artificial intelligence
  • digital computers or machines controlled by digital computers to simulate, extend and expand human intelligence, perceive the environment, acquire knowledge and use knowledge to obtain the best results.
  • Artificial intelligence basic technologies generally include technologies such as sensors, dedicated artificial intelligence chips, cloud computing, distributed storage, big data processing technology, operation/interaction systems, and mechatronics.
  • Artificial intelligence software technology mainly includes computer vision technology, robotics technology, biometrics technology, speech processing technology, natural language processing technology, and machine learning/deep learning.
  • embodiments of the present disclosure provide a method, device, electronic device, and storage medium for monitoring sleep states.
  • the specific types of various sounds can be accurately identified, thereby improving the accuracy of acquisition. Sleep state accuracy.
  • Embodiments of the present disclosure provide a method, an apparatus, an electronic device, and a storage medium for monitoring a sleep state, which are specifically described through the following embodiments. First, a method for monitoring a sleep state in an embodiment of the present disclosure is described.
  • a method for monitoring a sleep state may be applied to a terminal, may also be applied to a server, and may also be software running on the terminal or the server.
  • the terminal can be a smart phone, a smart watch, a wearable device, etc.
  • the server can be configured as an independent physical server, or as a server cluster or distributed system composed of multiple physical servers;
  • the software may be an application or the like implementing a method for monitoring a sleep state, but is not limited to the above forms.
  • FIG. 1 is an optional flow chart of a method for monitoring a sleep state provided by an embodiment of the present disclosure.
  • the method in FIG. 1 may include but not limited to include steps S110 to S150.
  • the reference feature vector most similar to the sound feature vector is used as the target feature vector
  • the acquired current environment information of the preset monitoring area includes sound information in the preset monitoring area.
  • the preset monitoring area is an area where the sleeping state of the user needs to be monitored, such as a bedroom, a dormitory, and the like.
  • the sound information of the surrounding environment can be collected in real time through the microphone in the user's smart phone; or the sound information of the surrounding environment can be collected through the microphone on the smart device worn by the user; the sound of the surrounding environment can also be collected for a separate sound collection device information. It can be understood that when collecting sound information, the closer the sound collection device is to the user, the clearer and more accurate the collected sound information will be.
  • the collected sound information is obtained, and feature extraction is performed on the sound information to obtain a sound feature vector.
  • the smart phone or smart device can perform feature extraction on the acquired sound information through a processor, or can upload the acquired sound information to a cloud server, and through the cloud server
  • the processing program in performs feature extraction on the sound information to obtain the sound feature vector.
  • the sound feature vector of the present application is obtained after processing sound information using a speech feature extraction algorithm, and the speech feature extraction algorithm can be Mel cepstral coefficient, linear prediction coefficient, linear prediction cepstral coefficient, spectral line frequency, discrete wavelet transform , one of the perceptual linear prediction algorithms.
  • the sound information can be processed into low-dimensional, numerically expressed vector features through the speech feature extraction algorithm, and the extracted sound feature vector can save the sound state information while reducing the amount of calculation in the subsequent processing process, which is convenient for follow-up Quickly calculate the current sleep state.
  • the preset reference feature vectors include a plurality of standard sound feature vectors, and the standard sound feature vectors are calculated from large data based on experiments. Because the sound color and loudness of the sound information sent by the user are different in different sleep states, for example, in different sleep states, the sounds produced by breathing are different, the sounds produced by snoring are different, or in different sleep stages, due to body movement ( Turning over, waving hands, etc.) produce different sound signals. Through pre-data collection and processing, the standard sound feature vector corresponding to the sleep state can be obtained.
  • the reference feature vector most similar to the collected sound feature vector is used as the target feature vector, and the sleep state represented by the target feature vector is the current sleep state of the user.
  • the collected current sound feature vector may not belong to any of the preset reference feature vectors, so the reference feature vector with the highest degree of similarity cannot accurately represent the user's current sleep state, so you can set A similarity threshold, only when the maximum or minimum similarity falls within the preset range, the state information represented by the target feature vector can be used as the current sleep state.
  • This application extracts the sound feature vector of the sound information through the sound feature extraction algorithm. Compared with the method of distinguishing the sound type simply by the frequency or amplitude of the sound, it can accurately extract the feature information of different sounds. Therefore, when distinguishing the sound type It is more accurate, and the sleep state calculated from it is also more accurate. By judging and recording the user's sleep state in real time, the user can view it in the form of a curve, fan graph, and histogram to judge the self-generated sleep quality and physical health status, thereby optimizing diet and sleeping habits, etc., and improving their own health status.
  • the environmental information also includes acceleration information
  • the sleep state also includes an awake state.
  • the method for monitoring a sleep state also includes:
  • S220 Determine whether the sleep state is an awake state according to the acceleration value.
  • acceleration information is also collected.
  • Acceleration information can be collected by accelerometers, gravity sensors, gyroscopes, etc. on smartphones or wearable smart devices, all of which can respond to changes in acceleration. It can be understood that when the acceleration information is collected through the smart phone, the smart phone can be placed beside the user to indirectly collect the acceleration information. The wearable device can directly obtain the acceleration change due to the user's body movement.
  • the waking state in this application includes the user's exercise state when not resting, or states such as turning over and turning sideways when not entering deep sleep.
  • the reference acceleration in this application can be a threshold value or an acceleration change within a period of time. By comparing the currently collected acceleration information with the preset reference acceleration, the acceleration value can be obtained, and the range of the acceleration value can be obtained by the user. specific waking state. In these waking states, the user's body movement will also generate corresponding sound information, and the user's sleep state can be judged through the sound information and acceleration information, which improves the accuracy of judging the user's current sleep state.
  • the environmental information also includes lighting information
  • the sleep state also includes an awake state.
  • the method for monitoring a sleep state further includes:
  • S320 Determine whether the sleep state is an awake state according to the light value.
  • the light information of the preset monitoring area is collected through the set light sensor.
  • the light intensity in the preset monitoring area is high, the light will pass through the user's eyelids, resulting in poor sleep quality for the user.
  • the user is more likely to have body movement. Under this condition, the user's sleep quality is usually better, and body movement is not easy to occur.
  • the illumination value is calculated by obtaining the illumination information and comparing it with the preset reference illumination, and the accuracy of the detected sleep state can be further improved by combining the calculated illumination value with the sound information.
  • the ambient light intensity is relatively high according to the illumination information.
  • the user did not enter a deep sleep state during sleep, but was in a light sleep stage, so record the user
  • the sleep state of the patient is light sleep, and the number of times of turning over and sideways can be recorded at the same time. It can be understood that, in some other embodiments, the current sleep state of the user may also be judged through a combination of sound information, acceleration information and light information.
  • the sleeping state also includes a snoring state
  • the sound recording mode is turned on to store sound information.
  • the sound recording mode is automatically turned on, and the currently collected sound information is stored.
  • the user can obtain the sound clip of his own snoring sound while viewing the sleep state record, which improves the diversity of system functions and increases the interest.
  • the sound recording mode will be turned off, and the storage of sound information will be stopped.
  • the corresponding sound information can also be stored, and the user can customize the type of sound information to be stored according to preferences, further increasing the fun sex.
  • the sound feature vector includes multiple first feature values
  • the preset reference feature vector includes multiple second feature values
  • Table 1 is an example of a sound feature vector obtained after feature extraction is performed on the currently collected sound information.
  • the sound eigenvector includes a plurality of first eigenvalues, that is, the eigenvalue X1 to the eigenvalue X7 in Table 1 are the first eigenvalues. It can be understood that, for the same sound information, through different sound feature extraction algorithms, it can be obtained The dimensions and eigenvalues of the sound feature vectors are different, and the specific eigenvalues are determined by different feature extraction methods.
  • the sound types represented by the reference feature vectors in Table 2 are snoring and sideways respectively, and each corresponding reference feature vector has second feature values corresponding to feature values Y1 to Y7.
  • the step of calculating the similarity between the sound feature vector and the preset reference feature vector of the present application includes:
  • Dist(X,Y) represents the distance between the sound feature vector and the reference feature vector, that is, the similarity, abs(Xi-Yi) is to calculate the first difference between the first eigenvalue and the second eigenvalue, and Calculate the absolute value of the first difference to obtain the absolute difference of the feature, max(abs(Xi), abs(Yi)) is the maximum of the absolute value of the first eigenvalue and the absolute value of the second eigenvalue Absolute value, and then calculate the ratio between the feature absolute difference and the maximum absolute value, and calculate the first average value among multiple ratios, and complete the calculation process.
  • the similarity Dist(sideways) 0.5 between the sound feature vector and the reference feature vector of the sideways.
  • the value between the calculated current sound feature vector and the snoring reference feature vector is smaller, it means that the state represented by the currently collected sound feature vector is closer to snoring, so snoring is taken as the current sleep state.
  • the number of reference eigenvectors can be calculated according to preset experiments. Each sleep state corresponds to a certain reference eigenvector. According to the calculated value, select the reference feature vector most similar to the current sound The state information represented by the feature vector is used as the current sleep state.
  • the step of calculating the similarity between the sound feature vector and a preset reference feature vector specifically includes:
  • the square value of the characteristic difference is obtained to prevent negative values, and finally the multiple characteristic differences
  • the square value is averaged to obtain a second average value, and the second average value is used as the similarity.
  • the reference feature vector representing the snoring state is more similar to the current sound feature vector, so the sleep state represented by the current sound feature vector is the snoring state.
  • the method for calculating the similarity in this embodiment can enlarge the gap between the feature vectors, and the recognition degree is high.
  • the method of calculating the cosine distance may also be used to obtain the similarity between two vectors. It can be understood that different similarity calculation methods have different sensitivities to different types of sound signals, and their specific calculation methods can be selected according to actual design requirements.
  • feature extraction is performed on the sound information to obtain a sound feature vector, including:
  • the manner of extracting the feature of the sound information in the embodiment of the present application uses Mel cepstral coefficients.
  • the specific process is as follows: firstly, the sound information is pre-emphasized, and the high-frequency information contained in the sound information is extracted by multiplying a coefficient positively related to the frequency in the frequency domain; in some other embodiments, high-pass filter to achieve.
  • the spectral leakage caused by the commonly used window functions include square window, Hamming window and Hanning window, etc., which can be arbitrarily selected according to the specific processing process, and the optimized information can be obtained after windowing;
  • the filter group the frequency domain information is filtered, and each frequency band is represented by a value to obtain the filtered filter information; since the human ear's perception of sound is not linear, the filter information is logarithmically processed , to obtain local information; then perform discrete cosine transform on the local information, reduce the dimension of the local information, and obtain compressed information; finally, perform discrete cosine transform on the compressed information to obtain a one-dimensional sound feature vector, which is convenient for the subsequent vector comparison process.
  • the present application also proposes a device for monitoring sleep status, including:
  • a sound collection module the sound collection module is used to obtain the current environmental information of the preset monitoring area, wherein the environmental information includes sound information;
  • a feature extraction module the feature extraction module is used for feature extraction of sound information to obtain a sound feature vector
  • a calculation module the calculation module is used to calculate the similarity between the sound feature vector and the preset reference feature vector
  • the state determination module is used to obtain the target reference feature vector most similar to the sound feature vector according to the similarity, and the state information represented by the target reference feature vector is used as the current sleep state.
  • the environmental information also includes acceleration information
  • the sleep state also includes the awake state
  • the device for monitoring the sleep state also includes:
  • Acceleration detection module is used to obtain acceleration information. Acceleration information can be collected through accelerometers, gravity sensors, gyroscopes, etc. on smart phones or wearable smart devices.
  • the calculation module is used to calculate the acceleration value according to the acceleration information and the preset reference acceleration.
  • the state determination module is used for judging whether the sleep state is an awake state according to the acceleration value.
  • the environmental information also includes lighting information
  • the sleep state also includes the awake state
  • the device for monitoring the sleep state also includes:
  • the light detection module is used to collect light information, and the light information can be collected by a light sensor on a smart phone or a wearable smart device.
  • the calculation module is used to calculate the illumination value according to the illumination information and the preset reference illumination.
  • the state determining module is used for judging whether the sleep state is an awake state according to the light value.
  • the sleep state also includes a snoring state
  • the device for monitoring the sleep state also includes:
  • the snoring sound storage module is used to enable the sound recording mode to store sound information when it is detected that the sleep state is a snoring state.
  • the sound feature vector includes a plurality of first eigenvalues
  • the preset reference feature vector includes a plurality of second eigenvalues
  • the calculation module calculates the process of similarity between the sound feature vector and the preset reference feature vector, include:
  • the calculation module calculates the first difference between the first eigenvalue and the corresponding second eigenvalue; calculates the absolute value of the first difference as the feature absolute difference, and uses the feature absolute difference as the numerator; obtains the first eigenvalue The maximum absolute value of the absolute value of the absolute value and the absolute value of the second eigenvalue, using the maximum absolute value as the denominator; calculate the ratio between the absolute difference of the feature and the maximum absolute value; calculate the first average value among multiple ratios , taking the first average value as the similarity.
  • the sound feature vector includes a plurality of first eigenvalues
  • the preset reference feature vector includes a plurality of second eigenvalues
  • the calculation module calculates the process of similarity between the sound feature vector and the preset reference feature vector, include:
  • the calculation module calculates the second difference between the first eigenvalue and the corresponding second eigenvalue; calculates the square of the second difference as the square value of the feature difference; calculates the second difference between the square values of the multiple feature differences Two mean values, using the second mean value as the similarity.
  • the feature extraction module performs feature extraction on the sound information, and the process of obtaining the sound feature vector includes:
  • the feature extraction module performs pre-emphasis processing on the sound information to obtain high-frequency information; performs frame-based processing on the high-frequency information to obtain frame-based information; performs window processing on the frame-based information to obtain optimized information; performs fast Fourier processing on the optimized information leaf transform to obtain frequency domain information; filter the frequency domain information through the Mel filter bank to obtain filtered information; logarithmically process the filtered information to obtain local information; perform discrete cosine transform on local information to obtain compressed information; The dynamic difference parameter is extracted from the compressed information, and the sound feature vector is obtained.
  • the device for monitoring the sleep state of the present application is used to implement the method for monitoring the sleep state in the above-mentioned embodiments, and its specific processing process is the same as that in the above-mentioned method embodiments, and will not be repeated here.
  • An embodiment of the present disclosure also provides an electronic device, including:
  • the program is stored in the memory, and the processor executes the at least one program to implement the following steps: obtain the current environmental information of the preset monitoring area, wherein the environmental information includes sound information; perform feature extraction on the sound information to obtain sound features vector; calculate the similarity between the sound feature vector and the preset reference feature vector; according to the similarity, use the reference feature vector most similar to the sound feature vector as the target feature vector; obtain the state information represented by the target feature vector, and use the state information as the current sleep state.
  • the electronic device may be any intelligent terminal including a mobile phone, a tablet computer, a personal digital assistant (PDA for short), a vehicle-mounted computer, and the like.
  • FIG. 5 illustrates a hardware structure of an electronic device in another embodiment.
  • the electronic device includes:
  • the processor can be implemented by a general-purpose CPU (Central Processing Unit, central processing unit), a microprocessor, an application-specific integrated circuit (Application Specific Integrated Circuit, ASIC), or one or more integrated circuits, and is used to execute related programs to realize this
  • a general-purpose CPU Central Processing Unit, central processing unit
  • a microprocessor central processing unit
  • an application-specific integrated circuit Application Specific Integrated Circuit, ASIC
  • ASIC Application Specific Integrated Circuit
  • the memory may be implemented in the form of ROM (ReadOnlyMemory, read-only memory), static storage device, dynamic storage device, or RAM (RandomAccessMemory, random access memory).
  • ROM ReadOnlyMemory, read-only memory
  • static storage device static storage device
  • dynamic storage device dynamic storage device
  • RAM RandomAccessMemory, random access memory
  • the memory can store the operating system and other application programs.
  • Input/output interface used to realize information input and output
  • the input/communication interface is used to realize the communication and interaction between this device and other devices, which can realize communication through wired methods (such as USB, network cable, etc.) or wireless methods (such as mobile network, WIFI, Bluetooth, etc.);
  • bus which transfers information between the various components of the device, such as the processor, memory, input/output interfaces, and input/communication interfaces;
  • the processor, the memory, the input/output interface and the input/communication interface are connected to each other within the device through the bus.
  • An embodiment of the present disclosure also provides a storage medium, the storage medium is a computer-readable storage medium, and the computer-readable storage medium stores computer-executable instructions, and the computer-executable instructions are used to cause the computer to perform the following steps: obtaining the preset Set the current environmental information of the monitoring area, wherein the environmental information includes sound information; perform feature extraction on the sound information to obtain the sound feature vector; calculate the similarity between the sound feature vector and the preset reference feature vector; The reference feature vector most similar to the sound feature vector is used as the target feature vector; the state information represented by the target feature vector is obtained, and the state information is used as the current sleep state.
  • the computer-readable storage medium may be non-volatile or volatile.
  • memory can be used to store non-transitory software programs and non-transitory computer-executable programs.
  • the memory may include high-speed random access memory, and may also include non-transitory memory, such as at least one magnetic disk storage device, flash memory device, or other non-transitory solid-state storage devices.
  • the memory optionally includes memory located remotely from the processor, and these remote memories may be connected to the processor via a network. Examples of the aforementioned networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
  • the device embodiments described above are only illustrative, and the units described as separate components may or may not be physically separated, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the modules can be selected according to actual needs to realize the purpose of the solution of this embodiment.
  • At least one (item) means one or more, and “multiple” means two or more.
  • “And/or” is used to describe the association relationship of associated objects, indicating that there can be three types of relationships, for example, “A and/or B” can mean: only A exists, only B exists, and A and B exist at the same time , where A and B can be singular or plural.
  • the character “/” generally indicates that the contextual objects are an “or” relationship.
  • At least one of the following” or similar expressions refer to any combination of these items, including any combination of single or plural items.
  • At least one item (piece) of a, b or c can mean: a, b, c, "a and b", “a and c", “b and c", or "a and b and c ", where a, b, c can be single or multiple.
  • the disclosed devices and methods may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components can be combined or May be integrated into another system, or some features may be ignored, or not implemented.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of devices or units may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units can be implemented in the form of hardware or in the form of software functional units.
  • the integrated unit is realized in the form of a software function unit and sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the technical solution of the present application is essentially or part of the contribution to the prior art or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including multiple instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, referred to as ROM), random access memory (Random Access Memory, referred to as RAM), magnetic disk or optical disc, etc., which can store programs. medium.
  • ROM read-only memory
  • RAM random access memory
  • magnetic disk or optical disc etc., which can store programs. medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种监测睡眠状态的方法、装置、电子设备和存储介质，属于数字医疗技术领域。该方法包括：获取预设监测区域的当前环境信息（S110），其中，环境信息包括声音信息；对声音信息进行特征提取，得到声音特征向量（S120）；计算声音特征向量与预设的参考特征向量之间的相似度（S130）；根据相似度将与声音特征向量最相似的参考特征向量作为目标特征向量（S140）；获取目标特征向量表征的状态信息，将状态信息作为当前睡眠状态（S150）。通过提取声音信息中的声音特征向量，并与预设参考特征向量进行比较，选取最相似的参考特征向量来表征当前的睡眠状态，提高了判别声音类型和睡眠状态的准确性。

Description

监测睡眠状态的方法、装置、电子设备和存储介质
本申请要求于2021年08月30日提交中国专利局、申请号为202111006076.1，发明名称为“监测睡眠状态的方法、装置、电子设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数字医疗技术领域，尤其涉及一种监测睡眠状态的方法、装置、电子设备和存储介质。
背景技术
睡眠时间在人们日常的生活时间中所占的比例很大，睡眠状态的好坏可以整体反映人们的身体健康状况，因此有必要对人们的睡眠状态进行监测。相关技术中公开了通过麦克风采集用户声音信息，并通过检测声音信息的频率、振幅的方式来判断用户的睡眠状态，但发明人意识到此种单纯的以声音的频率或振幅来分辨声音类型的方式，其分辨的声音类型不够准确，因此检测得到的睡眠状态也不够准确。
技术问题
本公开实施例的主要目的在于提出一种监测睡眠状态的方法、装置、电子设备和存储介质，通过对采集的声音信息进行特征提取，可以准确的识别出多种声音的具体类型，从而提高获取的睡眠状态的准确性。
技术解决方案
为实现上述目的，本公开实施例的第一方面提出了一种监测睡眠状态的方法，包括：获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；对所述声音信息进行特征提取，得到声音特征向量；计算所述声音特征向量与预设的参考特征向量之间的相似度；根据所述相似度将与所述声音特征向量最相似的参考特征向量作为目标特征向量；获取所述目标特征向量表征的状态信息，将所述状态信息作为当前睡眠状态。
为实现上述目的，本公开的第二方面提出了一种监测睡眠状态的装置，包括：声音采集模块，所述声音采集模块用于获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；特征提取模块，所述特征提取模块用于对所述声音 信息进行特征提取，得到声音特征向量；计算模块，所述计算模块用于计算所述声音特征向量与预设的参考特征向量之间的相似度；状态确定模块，所述状态确定模块用于根据所述相似度得到与所述声音特征向量最相似的目标参考特征向量，以所述目标参考特征向量代表的状态信息作为当前睡眠状态。
为实现上述目的，本公开的第三方面提出了一种电子设备，包括：至少一个存储器；至少一个处理器；至少一个程序；所述程序被存储在存储器中，处理器执行所述至少一个程序以实现如下步骤：获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；对所述声音信息进行特征提取，得到声音特征向量；计算所述声音特征向量与预设的参考特征向量之间的相似度；根据所述相似度将与所述声音特征向量最相似的参考特征向量作为目标特征向量；获取所述目标特征向量表征的状态信息，将所述状态信息作为当前睡眠状态。
为实现上述目的，本公开的第四方面提出了一种存储介质，该存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如下步骤：获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；对所述声音信息进行特征提取，得到声音特征向量；计算所述声音特征向量与预设的参考特征向量之间的相似度；根据所述相似度将与所述声音特征向量最相似的参考特征向量作为目标特征向量；获取所述目标特征向量表征的状态信息，将所述状态信息作为当前睡眠状态。
有益效果
根据本申请实施例的一种监测睡眠状态的方法、装置、电子设备和存储介质，至少具有如下有益效果：通过监测用户的睡眠状态，可以使用户直观的获取自身的睡眠质量，从而监测自身的健康状态，在日常生活中协助用户改善自身睡眠质量，提高用户的身体健康状态。
附图说明
图1是本公开实施例提供的一种监测睡眠状态的方法的流程图；
图2是本公开实施例提供的另一种监测睡眠状态的方法的流程图；
图3是本公开实施例提供的又一种监测睡眠状态的方法的流程图；
图4是图1中的步骤S120的流程图；
图5是本公开实施例提供的电子设备的硬件结构示意图。
本发明的实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施 例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
基于此，本公开实施例提供一种监测睡眠状态的方法、装置、电子设备和存储介质，通过对采集的声音信息进行特征提取，可以准确的识别出多种声音的具体类型，从而提高获取的睡眠状态的准确性。
本公开实施例提供一种监测睡眠状态的方法、装置、电子设备和存储介质，具体通过如下实施例进行说明，首先描述本公开实施例中的一种监测睡眠状态的方法。
本公开实施例提供的一种监测睡眠状态的方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、智能手表、可穿戴设备等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现一种监测睡眠状态的方法的应用等，但并不局限于以上形式。
图1是本公开实施例提供的一种监测睡眠状态的方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S110至步骤S150。
S110，获取预设监测区域的当前环境信息；
S120，对声音信息进行特征提取，得到声音特征向量；
S130，计算声音特征向量与预设的参考特征向量之间的相似度；
S140，根据相似度将与声音特征向量最相似的参考特征向量作为目标特征向量；
S150，获取目标特征向量表征的状态信息，将状态信息作为当前睡眠状态。
本公开实施例中，获取的预设监测区域的当前环境信息中，包括预设监测区域中的声音信息。可以理解的是，预设监测区域为需要监测用户睡眠状态的区域，如卧室、寝室等。获取声音信息的方式可以有多种，可以根据监测睡眠状态方法的不同具体实施方式进行选择。例如，可以通过用户智能手机中的麦克风实时采集周围环境的声音信息；或者通过用户穿戴的智能设备上的麦克风采集周围环境的声音信息；也可以为单独设置的声音采集装置来采集周围环境的声音信息。可以理解的是，在采集声音信息时，声音采集设备距离用户越近，采集得到的声音信息越清晰、准确。
然后获取采集的声音信息，对声音信息进行特征提取，以得到声音特征向量。示例，当使用智能手机或可穿戴智能设备获取声音信息时，智能手机或智能设备可以通过处理器对获取的声音信息进行特征提取，或者可以将获取的声音信息上传至云服务器中，通过云服务器中的处理程序对声音信息进行特征提取，以得到声音特征向量。本申请的声音特征向量为使用语音特征提取算法对声音信息进行处理后得到的，语音特征提取算法可以为梅尔倒频谱系数、线性预测系数、线性预测倒谱系数、谱线频率、离散小波变换、感知线性预测算法中的一种。通过语音特征提取算法可以将声音信息处理为低维的、以数值表示的向量特征，提取得到的声音特征向量在保存声音状态信息的情况下，同时减少了后续处理过程中的计算量，便于后续快速计算得到当前睡眠状态。
得到声音特征向量后，计算声音特征向量与预设的参考特征向量之间的相似度。预设的参考特征向量包括有多个标准声音特征向量，标准声音特征向量是根据实验，通过大数据计算得到。由于用户在不同睡眠状态下，发出的声音信息的音色、响度都不同，如在不同的睡眠状态下，呼吸产生的声音不同、打鼾产生的声音不同，或者在不同的睡眠阶段，由于体动(翻身、摆手等)产生的声音信号也不同。通过预先的数据收集与处理，可以得到对应睡眠状态下的标准声音特征向量，因此通过计算采集得到的声音特征向量与多个标准声音特征向量之间的相似度，根据多个相似度大小，选取与采集的声音特征向量最相似的参考特征向量，作为目标特征向量，此目标特征向量所表征的睡眠状态，即为用户当前的睡眠状态。
可以理解的是，采集得到的当前的声音特征向量可能并不属于预设的参考特征向量中的任意一种，因此相似程度最高的参考特征向量也无法准确表征用户当前的睡眠状态，因此可以设置一个相似度阈值，只有当最大或最小的相似度属于预设范围内的情况下，目标特征向量所表征的状态信息才能作为当前的睡眠状态。
本申请通过语音特征提取算法提取声音信息的声音特征向量，相较于单纯的以声音的频率或振幅来分辨声音类型的方法，可以精确的提取出不同声音的特征信息，因此在分辨声音类型时更加准确，由此计算得到的睡眠状态也更加精准。通过实时判断并记录下用户的睡眠状态，用户可以以曲线、扇形图、柱状图的方式进行查看，判断自生的睡眠质量和身体健康状况，从而优化饮食、睡眠习惯等，提高自身的健康状况。
在一些实施例，环境信息还包括加速度信息，睡眠状态还包括清醒状态，参照图2，监测睡眠状态的方法还包括：
S210，根据加速度信息和预设的参考加速度，计算出加速度值；
S220，根据加速度值判断睡眠状态是否为清醒状态。
本申请的监测睡眠状态的方法中，在采集声音信息的同时，也会采集加速度信息。加速度信息可以通过智能手机或可穿戴智能设备上的加速度计、重力感应器、陀螺仪等采集得到，其都可以响应加速度变化。可以理解的是，当通过智能手机采集加速度信息时，可以将智能手机放在用户的身旁，间接采集加速度信息。可穿戴设备则可以直接获取由于用户体动而产生的加速度变化。
本申请的清醒状态，包括用户在未休息时的运动状态，或者未进入深度睡眠时的翻身、侧身等状态。本申请的参考加速度可以是一个阈值也可以是一段时间内的加速度变化，通过比较当前采集的加速度信息与预设的参考加速度，可以得到加速度值，通过加速度值所在的范围，即可得到用户所处的具体清醒状态。在这些清醒状态下，用户的体动也会对应的产生声音信息，通过声音信息和加速度信息共同判断用户的睡眠状态，提高了判断用户当前睡眠状态的准确程度。
在一些实施例，环境信息还包括光照信息，睡眠状态还包括清醒状态，参照图3，监测睡眠状态的方法还包括：
S310，根据光照信息和预设的参考光照，计算出光照值；
S320，根据光照值判断睡眠状态是否为清醒状态。
通过设置的光线传感器采集预设监测区域的光照信息。一般来说，在预设监测区域的光照强度较大的情况下，光线会透过用户的眼皮，导致用户的睡眠质量较差，此时用户更容易产生体动，在光照强度较低的环境下，用户的睡眠质量通常较好，不容易产生体动。通过获取光照信息，并与预设的参考光照进行比较， 计算得到光照值，通过计算得到的光照值并结合声音信息，可以进一步提高检测得到的睡眠状态的准确性。具体示例，当根据声音信息检测到用户在侧身，此时根据光照信息检测到环境光强度较大，由此可以得到用户在睡眠时未进入深度睡眠状态，处在浅度睡眠阶段，因此记录用户的睡眠状态为浅度睡眠，且可以同时记录其翻身、侧身的次数等。可以理解的是，在一些其他实施例中，也可以通过声音信息、加速度信息和光照信息结合的方式来判断用户当前的睡眠状态。
在一些实施例，睡眠状态还包括打鼾状态；
若检测睡眠状态是打鼾状态，则开启声音录制模式，以存储声音信息。
当通过上述实施例中的监测睡眠状态的方法检测出用户当前的睡眠状态为打鼾状态时，则自动开启声音录制模式，将当前采集的声音信息进行存储。通过存储用户打鼾时的声音信息，可以使用户在查看睡眠状态记录的同时，获取自己鼾声的声音片段，提高了系统功能的多样性，增加趣味性。可以理解的是，为节省存储空间，当检测到用户的睡眠状态发生改变，即从打鼾状态变换为其它睡眠状态时，声音录制模式即会关闭，停止存储声音信息。在一些其他实施例中，当检测到用户说梦话、侧身、翻身时的声音信息时，也可以将相应的声音信息进行存储，用户可以根据喜好自定义需要存储的声音信息的类型，进一步增加趣味性。
在一些实施例，声音特征向量包括多个第一特征值，预设的参考特征向量包括多个第二特征值。
具体示例，参照表1，为当前采集的声音信息进行特征提取后，得到的一个声音特征向量的示例。
表1：
  X1 X2 X3 X4 X5 X6 X7
声音特征向量 0 1 3 6 4 4 7
声音特征向量中包括多个第一特征值，即表1中的特征值X1至特征值X7为第一特征值，可以理解的是，对相同的声音信息，通过不同的声音特征提取算法，得到的声音特征向量的维数和特征值大小都是不同的，其具体的特征值由不同的特征提取方式决定。
参照表2，为预设的参考特征向量的一具体示例。
表2：
  Y1 Y2 Y3 Y4 Y5 Y6 Y7
打鼾 0 2 3 6 4 5 8
侧身 3 7 9 8 9 9 9
表2中的参考特征向量所表示的声音类型分别为打鼾和侧身，对应的每一个参考特征向量分别有特征值Y1至特征值Y7对应的第二特征值。
本申请的计算声音特征向量与预设的参考特征向量之间的相似度的步骤，包括：
计算第一特征值与对应的第二特征值之间的第一差值；
计算第一差值的绝对值，作为特征绝对差值，将特征绝对差值作为分子；
获取第一特征值的绝对值和第二特征值的绝对值中的最大绝对值，将最大绝对值作为分母；
计算特征绝对差值与最大绝对值之间的比值；
计算出多个比值之间的第一平均值，将第一平均值作为相似度。
参照公式(1)，为上述相似度计算方法的具体计算公式(1)：
Figure PCTCN2022087529-appb-000001
Dist(X,Y)代表声音特征向量与参考特征向量之间的距离，即相似度，abs(Xi-Yi)即为计算第一特征值与第二特征值之间的第一差值，并对第一差值做求绝对值计算，得到特征绝对差值，max(abs(Xi),abs(Yi))即为求第一特征值的绝对值与第二特征值的绝对值中的最大绝对值，然后计算特征绝对差值与最大绝对值之间的比值，并计算出多个比值之间的第一平均值，完成计算过程。
将表1和表2中的特征值带入式公式(1)中，可以得到：
声音特征向量与打鼾的参考特征向量之间的相似度Di st(打鼾)＝0.12；
声音特征向量与侧身的参考特征向量之间的相似度Di st(侧身)＝0.5。
由于计算得到的当前声音特征向量与打鼾的参考特征向量之间的值更小，说明当前采集的声音特征向量所表征的状态与打鼾更为接近，因此将打鼾作为当前的睡眠状态。可以理解的是，参考特征向量的数量可以根据预设的实验计算得到，每一种睡眠状态都对应有一个确定的参考特征向量，根据计算得到的值，选取与当前声音特征向量最相似的参考特征向量表征的状态信息，作为当前的睡眠状态。
在一些实施例，计算声音特征向量与预设的参考特征向量之间的相似度的步骤，具体包括：
计算第一特征值与对应的第二特征值之间的第二差值；
计算第二差值的平方，作为特征差值平方值；
计算出多个特征差值平方值之间的第二平均值，将第二平均值作为相似度。
参照公式(2)，为上述实施例中，相似度计算方法的具体计算公式：
Figure PCTCN2022087529-appb-000002
通过计算第一特征值Xi与第二特征值Yi之间的第二差值，再对第二差值进行平方计算，得到特征差值平方值，防止出现负值，最后将多个特征差值平方值 进行求平均值计算，得到第二平均值，以第二平局值作为相似度。
将表1和表2中的特征值带入式公式(2)中，可以得到：
声音特征向量与打鼾的参考特征向量之间的相似度Dist(打鼾)＝0.28；
声音特征向量与侧身的参考特征向量之间的相似度Dist(侧身)＝19.9。
根据计算结果可以得到，表征打鼾状态的参考特征向量与当前声音特征向量更为相似，因此当前的声音特征向量所表示的睡眠状态为打鼾状态。本实施例的计算相似度的方法可以放大特征向量之间的差距，辨识度较高。
在一些其他实施例中，也可以采用求余弦距离的方式，来得到两个向量之间的相似度。可以理解的是，不同的相似度计算方法，对不同类型的声音信号的敏感程度不同，其具体的计算方式可以根据实际的设计需求进行选择。
在一些实施例，参照图4，对声音信息进行特征提取，得到声音特征向量，包括：
S121，对声音信息进行预加重处理，得到高频信息；
S122，对高频信息进行分帧处理，得到分帧信息；
S123，对分帧信息进行加窗处理，得到优化信息；
S124，对优化信息进行快速傅里叶变换，得到频域信息；
S125，将频域信息通过梅尔滤波器组进行滤波，得到滤波信息；
S126，将滤波信息进行取对数处理，得到局部信息；
S127，对局部信息进行离散余弦变换，得到压缩信息；
S128，对压缩信息进行动态差分参数提取，得到声音特征向量。
本申请实施例的对声音信息进行特征提取的方式，采用梅尔倒频谱系数。其具体过程为：首先对声音信息进行预加重处理，通过在频域上乘上一个与频率正相关的系数，提取出声音信息所包含的高频信息；在一些其他实施例中，也可以使用高通滤波器来实现。
然后对高频信息进行分帧，将高频信息分成固定的多段声音信号，得到分帧信息，方便继续进行后续的处理过程；将分帧信息进行加窗处理，以消除各段声音信号两端所造成的谱泄漏，常用的窗函数有方窗、汉明窗和汉宁窗等，可以根据具体的处理过程任意选择，通过加窗处理后得到优化信息；
然后将优化信息进行快速傅里叶变换，将优化信息的时域信号转换为频域信号，以得到频域信息；由于频域信息中有很多冗余，因此将频域信息输入至梅尔滤波器组中，对频域信息进行滤波处理，在每一个频段用一个值来表示，得到滤波后的滤波信息；由于人耳对声音的感知并不是线性的，因此对滤波信息进行取对数处理，得到局部信息；然后对局部信息进行离散余弦变换，对局部信息进行降维，得到压缩信息；最后对压缩信息进行离散余弦变换，得到一维的声音特征 向量，方便进行后续的向量比较过程。
在一些实施例，本申请还提出了一种监测睡眠状态的装置，包括：
声音采集模块，声音采集模块用于获取预设监测局域的当前环境信息，其中，环境信息包括声音信息；
特征提取模块，特征提取模块用于对声音信息进行特征提取，得到声音特征向量；
计算模块，计算模块用于计算声音特征向量与预设的参考特征向量之间的相似度；
状态确定模块，状态确定模块用于根据相似度得到与声音特征向量最相似的目标参考特征向量，以目标参考特征向量代表的状态信息作为当前睡眠状态。
在一些实施例，环境信息还包括加速度信息，睡眠状态还包括清醒状态，监测睡眠状态的装置还包括：
加速度检测模块，加速度检测模块用于获取加速度信息，加速度信息可以通过智能手机或可穿戴智能设备上的加速度计、重力感应器、陀螺仪等采集得到。
计算模块用于根据加速度信息和预设的参考加速度，计算出加速度值。
状态确定模块用于根据加速度值判断睡眠状态是否为清醒状态。
在一些实施例，环境信息还包括光照信息，睡眠状态还包括清醒状态，监测睡眠状态的装置还包括：
光照检测模块，光照检测模块用于采集光照信息，光照信息可以通过智能手机或可穿戴智能设备上的光线传感器采集得到。
计算模块用于根据光照信息和预设的参考光照，计算出光照值。
状态确定模块用于根据光照值判断睡眠状态是否为清醒状态。
在一些实施例，睡眠状态还包括打鼾状态，监测睡眠状态的装置还包括：
鼾声存储模块，鼾声存储模块用于在检测到睡眠状态是打鼾状态的情况下，开启声音录制模式，以存储声音信息。
在一些实施例，声音特征向量包括多个第一特征值，预设的参考特征向量包括多个第二特征值，计算模块计算声音特征向量与预设的参考特征向量之间相似度的过程，包括：
计算模块计算第一特征值与对应的第二特征值之间的第一差值；计算第一差值的绝对值，作为特征绝对差值，将特征绝对差值作为分子；获取第一特征值的绝对值和第二特征值的绝对值中的最大绝对值，将最大绝对值作为分母；计算特征绝对差值与最大绝对值之间的比值；计算出多个比值之间的第一平均值，将第一平均值作为相似度。
在一些实施例，声音特征向量包括多个第一特征值，预设的参考特征向量包 括多个第二特征值，计算模块计算声音特征向量与预设的参考特征向量之间相似度的过程，包括：
计算模块计算第一特征值与对应的第二特征值之间的第二差值；计算第二差值的平方，作为特征差值平方值；计算出多个特征差值平方值之间的第二平均值，将第二平均值作为相似度。
在一些实施例，特征提取模块对声音信息进行特征提取，得到声音特征向量的过程，包括：
特征提取模块对声音信息进行预加重处理，得到高频信息；对高频信息进行分帧处理，得到分帧信息；对分帧信息进行加窗处理，得到优化信息；对优化信息进行快速傅里叶变换，得到频域信息；将频域信息通过梅尔滤波器组进行滤波，得到滤波信息；将滤波信息进行取对数处理，得到局部信息；对局部信息进行离散余弦变换，得到压缩信息；对压缩信息进行动态差分参数提取，得到声音特征向量。
本申请的监测睡眠状态的装置用于执行上述实施例中的监测睡眠状态的方法，其具体处理过程与上述方法实施例中的相同，此处不再一一赘述。
本公开实施例还提供了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在存储器中，处理器执行所述至少一个程序以实现如下步骤：获取预设监测区域的当前环境信息，其中，环境信息包括声音信息；对声音信息进行特征提取，得到声音特征向量；计算声音特征向量与预设的参考特征向量之间的相似度；根据相似度将与声音特征向量最相似的参考特征向量作为目标特征向量；获取目标特征向量表征的状态信息，将状态信息作为当前睡眠状态。该电子设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、车载电脑等任意智能终端。
请参阅图5，图5示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本公开实施例所提供的技术方案；
存储器，可以采用ROM(ReadOnlyMemory，只读存储器)、静态存储设备、动态存储设备或者RAM(RandomAccessMemory，随机存取存储器)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实 施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本公开实施例的监测睡眠状态的方法；
输入/输出接口，用于实现信息输入及输出；
输入/通信接口，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线，在设备的各个组件(例如处理器、存储器、输入/输出接口和输入/通信接口)之间传输信息；
其中处理器、存储器、输入/输出接口和输入/通信接口通过总线实现彼此之间在设备内部的通信连接。
本公开实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行如下步骤：获取预设监测区域的当前环境信息，其中，环境信息包括声音信息；对声音信息进行特征提取，得到声音特征向量；计算声音特征向量与预设的参考特征向量之间的相似度；根据相似度将与声音特征向量最相似的参考特征向量作为目标特征向量；获取目标特征向量表征的状态信息，将状态信息作为当前睡眠状态。
所述计算机可读存储介质可以是非易失性，也可以是易失性。存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本公开实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施 例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

Claims (20)

  1. 一种监测睡眠状态的方法，其中，包括：
    获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；
    对所述声音信息进行特征提取，得到声音特征向量；
    计算所述声音特征向量与预设的参考特征向量之间的相似度；
    根据所述相似度将与所述声音特征向量最相似的参考特征向量作为目标特征向量；
    获取所述目标特征向量表征的状态信息，将所述状态信息作为当前睡眠状态。
  2. 根据权利要求1所述的方法，其中，所述环境信息还包括加速度信息，所述睡眠状态还包括清醒状态，所述方法还包括：
    根据所述加速度信息和预设的参考加速度，计算出加速度值；
    根据所述加速度值判断所述睡眠状态是否为所述清醒状态。
  3. 根据权利要求1所述的方法，其中，所述环境信息还包括光照信息，所述睡眠状态还包括清醒状态，所述方法还包括：
    根据所述光照信息和预设的参考光照，计算出光照值；
    根据所述光照值判断所述睡眠状态是否为所述清醒状态。
  4. 根据权利要求1至3任一项所述的方法，其中，所述睡眠状态还包括打鼾状态；
    若检测所述睡眠状态是打鼾状态，则开启声音录制模式，以存储所述声音信息。
  5. 根据权利要求1至3任一项所述的方法，其中，所述声音特征向量包括多个第一特征值，所述预设的参考特征向量包括多个第二特征值，所述计算所述声音特征向量与预设的参考特征向量之间的相似度，包括：
    计算所述第一特征值与对应的所述第二特征值之间的第一差值；
    计算所述第一差值的绝对值，作为特征绝对差值，将所述特征绝对差值作为分子；
    获取所述第一特征值的绝对值和所述第二特征值的绝对值中的最大绝对值，将所述最大绝对值作为分母；
    计算所述特征绝对差值与所述最大绝对值之间的比值；
    计算出多个所述比值之间的第一平均值，将所述第一平均值作为所述相似度。
  6. 根据权利要求1至3任一项所述的方法，其中，所述声音特征向量包括多个第一特征值，所述预设的参考特征向量包括多个第二特征值，所述计算所述声音特征向量与预设的参考特征向量之间的相似度，包括：
    计算所述第一特征值与对应的所述第二特征值之间的第二差值；
    计算所述第二差值的平方，作为特征差值平方值；
    计算出多个所述特征差值平方值之间的第二平均值，将所述第二平均值作为所述相似度。
  7. 根据权利要求1至3任一项所述的方法，其中，所述对所述声音信息进行特征提取，得到声音特征向量，包括：
    对所述声音信息进行预加重处理，得到高频信息；
    对所述高频信息进行分帧处理，得到分帧信息；
    对所述分帧信息进行加窗处理，得到优化信息；
    对所述优化信息进行快速傅里叶变换，得到频域信息；
    将所述频域信息通过梅尔滤波器组进行滤波，得到滤波信息；
    将所述滤波信息进行取对数处理，得到局部信息；
    对所述局部信息进行离散余弦变换，得到压缩信息；
    对所述压缩信息进行动态差分参数提取，得到所述声音特征向量。
  8. 一种监测睡眠状态的装置，其中，包括：
    声音采集模块，所述声音采集模块用于获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；
    特征提取模块，所述特征提取模块用于对所述声音信息进行特征提取，得到声音特征向量；
    计算模块，所述计算模块用于计算所述声音特征向量与预设的参考特征向量之间的相似度；
    状态确定模块，所述状态确定模块用于根据所述相似度得到与所述声音特征向量最相似的目标参考特征向量，以所述目标参考特征向量代表的状态信息作为当前睡眠状态。
  9. 一种电子设备，其中，包括：
    至少一个存储器；
    至少一个处理器；
    至少一个程序；
    所述程序被存储在所述存储器中，处理器执行所述至少一个程序以实现如下步骤：
    获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；
    对所述声音信息进行特征提取，得到声音特征向量；
    计算所述声音特征向量与预设的参考特征向量之间的相似度；
    根据所述相似度将与所述声音特征向量最相似的参考特征向量作为目标特征向量；
    获取所述目标特征向量表征的状态信息，将所述状态信息作为当前睡眠状态。
  10. 根据权利要求9所述的一种电子设备，其中，所述环境信息还包括加速度信息，所述睡眠状态还包括清醒状态，所述方法还包括：
    根据所述加速度信息和预设的参考加速度，计算出加速度值；
    根据所述加速度值判断所述睡眠状态是否为所述清醒状态。
  11. 根据权利要求9所述的一种电子设备，其中，所述环境信息还包括光照信息，所述睡眠状态还包括清醒状态，所述方法还包括：
    根据所述光照信息和预设的参考光照，计算出光照值；
    根据所述光照值判断所述睡眠状态是否为所述清醒状态。
  12. 根据权利要求9至11任一项所述的一种电子设备，其中，所述睡眠状态还包括打鼾状态；
    若检测所述睡眠状态是打鼾状态，则开启声音录制模式，以存储所述声音信息。
  13. 根据权利要求9至11任一项所述的一种电子设备，其中，所述声音特征向量包括多个第一特征值，所述预设的参考特征向量包括多个第二特征值，所述计算所述声音特征向量与预设的参考特征向量之间的相似度，包括：
    计算所述第一特征值与对应的所述第二特征值之间的第一差值；
    计算所述第一差值的绝对值，作为特征绝对差值，将所述特征绝对差值作为分子；
    获取所述第一特征值的绝对值和所述第二特征值的绝对值中的最大绝对值，将所述最大绝对值作为分母；
    计算所述特征绝对差值与所述最大绝对值之间的比值；
    计算出多个所述比值之间的第一平均值，将所述第一平均值作为所述相似度。
  14. 根据权利要求9至11任一项所述的一种电子设备，其中，所述声音特征向量包括多个第一特征值，所述预设的参考特征向量包括多个第二特征值，所述计算所述声音特征向量与预设的参考特征向量之间的相似度，包括：
    计算所述第一特征值与对应的所述第二特征值之间的第二差值；
    计算所述第二差值的平方，作为特征差值平方值；
    计算出多个所述特征差值平方值之间的第二平均值，将所述第二平均值作为所述相似度。
  15. 一种存储介质，所述存储介质为计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如下步骤：
    获取预设监测区域的当前环境信息，其中，所述环境信息包括声音信息；
    对所述声音信息进行特征提取，得到声音特征向量；
    计算所述声音特征向量与预设的参考特征向量之间的相似度；
    根据所述相似度将与所述声音特征向量最相似的参考特征向量作为目标特征向量；
    获取所述目标特征向量表征的状态信息，将所述状态信息作为当前睡眠状态。
  16. 根据权利要求15所述的一种存储介质，其中，所述环境信息还包括加速度信息，所述睡眠状态还包括清醒状态，所述方法还包括：
    根据所述加速度信息和预设的参考加速度，计算出加速度值；
    根据所述加速度值判断所述睡眠状态是否为所述清醒状态。
  17. 根据权利要求15所述的一种存储介质，其中，所述环境信息还包括光照信息，所述睡眠状态还包括清醒状态，所述方法还包括：
    根据所述光照信息和预设的参考光照，计算出光照值；
    根据所述光照值判断所述睡眠状态是否为所述清醒状态。
  18. 根据权利要求15至17任一项所述的一种存储介质，其中，所述睡眠状态还包括打鼾状态；
    若检测所述睡眠状态是打鼾状态，则开启声音录制模式，以存储所述声音信息。
  19. 根据权利要求15至17任一项所述的一种存储介质，其中，所述声音特征向量包括多个第一特征值，所述预设的参考特征向量包括多个第二特征值，所述计算所述声音特征向量与预设的参考特征向量之间的相似度，包括：
    计算所述第一特征值与对应的所述第二特征值之间的第一差值；
    计算所述第一差值的绝对值，作为特征绝对差值，将所述特征绝对差值作为分子；
    获取所述第一特征值的绝对值和所述第二特征值的绝对值中的最大绝对值，将所述最大绝对值作为分母；
    计算所述特征绝对差值与所述最大绝对值之间的比值；
    计算出多个所述比值之间的第一平均值，将所述第一平均值作为所述相似度。
  20. 根据权利要求15至17任一项所述的一种存储介质，其中，所述声音特征向量包括多个第一特征值，所述预设的参考特征向量包括多个第二特征值，所述计算所述声音特征向量与预设的参考特征向量之间的相似度，包括：
    计算所述第一特征值与对应的所述第二特征值之间的第二差值；
    计算所述第二差值的平方，作为特征差值平方值；
    计算出多个所述特征差值平方值之间的第二平均值，将所述第二平均值作为所述相似度。
PCT/CN2022/087529 2021-08-30 2022-04-19 监测睡眠状态的方法、装置、电子设备和存储介质 WO2023029503A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111006076.1 2021-08-30
CN202111006076.1A CN113724737A (zh) 2021-08-30 2021-08-30 监测睡眠状态的方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
WO2023029503A1 true WO2023029503A1 (zh) 2023-03-09

Family

ID=78679173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/087529 WO2023029503A1 (zh) 2021-08-30 2022-04-19 监测睡眠状态的方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113724737A (zh)
WO (1) WO2023029503A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724737A (zh) * 2021-08-30 2021-11-30 康键信息技术（深圳）有限公司 监测睡眠状态的方法、装置、电子设备和存储介质
CN116649942B (zh) * 2023-07-28 2023-10-20 亿慧云智能科技（深圳）股份有限公司 睡眠状态下基于微波雷达的心率监测方法、装置及系统
CN116746887B (zh) * 2023-08-18 2023-12-01 智慧眼科技股份有限公司 一种基于音频的睡眠分期的方法、系统、终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150119741A1 (en) * 2012-05-31 2015-04-30 Ben Gurion University Of The Negev Research And Development Authority Apparatus and method for diagnosing sleep quality
CN108937866A (zh) * 2018-06-29 2018-12-07 出门问问信息科技有限公司 睡眠状态的监测方法及装置
CN110151137A (zh) * 2019-05-28 2019-08-23 深圳如一探索科技有限公司 基于数据融合的睡眠状态监测方法、装置、设备及介质
CN110179436A (zh) * 2019-04-04 2019-08-30 深圳创达云睿智能科技有限公司 一种鼾声取样方法及终端设备
CN111227791A (zh) * 2020-01-09 2020-06-05 珠海格力电器股份有限公司 一种睡眠质量监控方法及睡眠监控装置
CN113012719A (zh) * 2021-02-04 2021-06-22 上海小芃科技有限公司 睡眠声音信号疲劳评估方法、系统、电子设备及存储介质
CN113724737A (zh) * 2021-08-30 2021-11-30 康键信息技术（深圳）有限公司 监测睡眠状态的方法、装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106264470B (zh) * 2016-09-12 2018-05-29 广东欧珀移动通信有限公司 睡眠监测的方法及装置
CN108523901A (zh) * 2018-05-14 2018-09-14 北京工业大学 一种基于智能手机的睡眠质量监测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150119741A1 (en) * 2012-05-31 2015-04-30 Ben Gurion University Of The Negev Research And Development Authority Apparatus and method for diagnosing sleep quality
CN108937866A (zh) * 2018-06-29 2018-12-07 出门问问信息科技有限公司 睡眠状态的监测方法及装置
CN110179436A (zh) * 2019-04-04 2019-08-30 深圳创达云睿智能科技有限公司 一种鼾声取样方法及终端设备
CN110151137A (zh) * 2019-05-28 2019-08-23 深圳如一探索科技有限公司 基于数据融合的睡眠状态监测方法、装置、设备及介质
CN111227791A (zh) * 2020-01-09 2020-06-05 珠海格力电器股份有限公司 一种睡眠质量监控方法及睡眠监控装置
CN113012719A (zh) * 2021-02-04 2021-06-22 上海小芃科技有限公司 睡眠声音信号疲劳评估方法、系统、电子设备及存储介质
CN113724737A (zh) * 2021-08-30 2021-11-30 康键信息技术（深圳）有限公司 监测睡眠状态的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113724737A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
WO2023029503A1 (zh) 监测睡眠状态的方法、装置、电子设备和存储介质
US11561621B2 (en) Multi media computing or entertainment system for responding to user presence and activity
WO2020187109A1 (zh) 一种用户睡眠检测方法及系统
WO2015135365A1 (en) Noise control method and device
TWI714926B (zh) 夢境重現模型的構建方法、夢境重現方法及裝置
KR20200029212A (ko) Em 센서 모듈을 포함하는 전자 장치 및 이의 제어 방법
TW201220216A (en) System and method for detecting human emotion and appeasing human emotion
WO2019015418A1 (zh) 解锁控制方法及相关产品
WO2019015575A1 (zh) 解锁控制方法及相关产品
WO2016165107A1 (zh) 一种采集指纹的方法、指纹采集器以及终端
WO2019233361A1 (zh) 对音乐进行音量调节的方法及设备
CN111643098A (zh) 一种基于智能声学设备的步态识别与情绪感知方法和系统
CN112667065A (zh) 控制智能播放终端方法、装置、存储介质和智能穿戴设备
CN116339509A (zh) 一种智能终端设备的控制方法及控制装置
CN103905837B (zh) 图像处理方法、装置及终端
US10799169B2 (en) Apparatus, system and method for detecting onset Autism Spectrum Disorder via a portable device
CN110602827A (zh) 卡拉ok光效实现方法、智能投影仪及相关产品
KR20190058289A (ko) 적응형 저역 통과 필터를 사용하여 오디오에서 호흡 속도를 검출하는 기법
TW202021528A (zh) 基於光電容積描記圖訊號取得心律不整資訊的方法及檢測心律不整的裝置
CN114176525B (zh) 睡眠质量分析方法、装置、计算机设备和存储介质
TW202021534A (zh) 異常肺音標記的方法及裝置
WO2023027578A1 (en) Nose-operated head-mounted device
CN106790963B (zh) 音频信号的控制方法及装置
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
CN114488841A (zh) 一种智能穿戴设备的数据搜集处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22862649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE