WO2017130413A1 - 電子機器および咳判定プログラム - Google Patents

電子機器および咳判定プログラム Download PDF

Info

Publication number
WO2017130413A1
WO2017130413A1 PCT/JP2016/052827 JP2016052827W WO2017130413A1 WO 2017130413 A1 WO2017130413 A1 WO 2017130413A1 JP 2016052827 W JP2016052827 W JP 2016052827W WO 2017130413 A1 WO2017130413 A1 WO 2017130413A1
Authority
WO
WIPO (PCT)
Prior art keywords
cough
data
sound
determination unit
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/052827
Other languages
English (en)
French (fr)
Inventor
祐紀 吉村
周作 伊藤
美由紀 白川
俊輔 武内
土永　義照
祥吾 中村
大田　恭士
一木　篤史
陽司 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017563657A priority Critical patent/JP6711365B2/ja
Priority to PCT/JP2016/052827 priority patent/WO2017130413A1/ja
Publication of WO2017130413A1 publication Critical patent/WO2017130413A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs

Definitions

  • the present invention relates to an electronic device and a cough determination program.
  • a technique in which a power envelope, which is a temporal change in sound pressure, is calculated from an input sound, and cough is detected based on the outline of the calculated power envelope. For example, the duration, rise position, peak position, and the like are calculated from the power envelope of the input sound, and each is compared with a threshold value to determine whether the waveform of the input sound matches the cough waveform.
  • noise such as a hammering sound or a rubbing sound having an outline of a power envelope similar to cough may be determined as cough, and there are many false detections.
  • An object of one aspect is to provide an electronic device and a cough determination program that can suppress erroneous detection of cough.
  • the electronic device has an acquisition unit that acquires audio data having a plurality of repeated sound data satisfying a condition for determining cough.
  • the electronic device calculates a feature amount of each of the plurality of repetitive sound data, and determines that the voice data is the cough when each feature amount calculated by the calculation unit is decreasing Part.
  • false detection of cough can be suppressed.
  • FIG. 1 is a schematic diagram illustrating an example of the overall configuration of a system according to the first embodiment.
  • FIG. 2 is a functional block diagram of a functional configuration example of the watching station according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of information stored in the threshold DB.
  • FIG. 4 is a diagram for explaining an example waveform of audio data.
  • FIG. 5 is a diagram for explaining parameters.
  • FIG. 6 is a diagram illustrating cough determination according to the first embodiment.
  • FIG. 7 is a diagram illustrating an example of a notification screen.
  • FIG. 8 is a flowchart illustrating the flow of processing according to the first embodiment.
  • FIG. 9 is a diagram illustrating an example of reducing false detection.
  • FIG. 10 is a diagram illustrating cough determination according to the second embodiment.
  • FIG. 11 is a diagram illustrating cough determination according to the third embodiment.
  • FIG. 12 is a diagram illustrating an exemplary hardware configuration.
  • FIG. 1 is a schematic diagram illustrating an example of the overall configuration of a system according to the first embodiment.
  • this system is a system configured by connecting a smartphone 1, a server 2, and a watching station 10 through a network N.
  • This system is a system in which the watching station 10 monitors the real-time situation of the watching target person.
  • the network N can employ various communications such as the Internet and VPN (Virtual Private Network) regardless of wireless or wired.
  • the smartphone 1 is an electronic device of an administrator who watches over a person to be watched, and is, for example, a mobile phone or various computers.
  • the server 2 is an electronic device such as a computer that manages cough information detected by the watching station 10 for each user (person to be watched).
  • the watching station 10 is an electronic device such as a computer installed in the home of the person being watched over or a computer held by the person being watched over, such as a server, a smart phone, a mobile phone, and a network-compatible home appliance.
  • a server a smart phone, a mobile phone, and a network-compatible home appliance.
  • the watching station 10 detects the cough of the person being watched over, the watching station 10 notifies the administrator designated in advance of a warning. By doing in this way, the situation of the watching target is remotely monitored in real time.
  • the monitoring station 10 when the monitoring station 10 receives audio data having a plurality of repetitive sound data satisfying a condition for determining cough, the monitoring station 10 calculates a feature amount of each of the repetitive sound data. Then, the watching station 10 determines that the voice data is cough when the calculated feature values are decreasing.
  • the watching station 10 detects voice data including three pieces of repeated sound data similar to cough, and calculates the duration of each repeated sound data. Then, the watching station 10 detects that the person to be watched has coughed when the duration of the data of each repeated sound is shortened in order. That is, the watching station 10 tentatively determines audio data similar to cough as cough, and re-determines whether or not it corresponds to a characteristic change of cough, thereby confirming the validity of the temporary determination result. Therefore, the watching station 10 can suppress false detection of cough.
  • FIG. 2 is a functional block diagram of a functional configuration example of the watching station 10 according to the first embodiment.
  • the watching station 10 includes a communication unit 11, a storage unit 12, and a control unit 15.
  • the communication unit 11 is a processing unit that controls communication with the smartphone 1 and the server 2 and is, for example, a network interface card. For example, the communication unit 11 transmits a warning or the like to the smartphone 1 and transmits a cough detection result or the like to the server 2.
  • the storage unit 12 is a storage device that stores programs, data, and the like executed by the control unit 15, and is, for example, a memory or a hard disk.
  • the storage unit 12 stores a parameter DB 13 and a threshold DB 14.
  • the parameter DB 13 is a database that stores various parameters extracted from the audio data by the control unit 15. Specifically, the parameter DB 13 stores various parameters used for cough determination. Various parameters will be described later.
  • the threshold DB 14 is a database that stores thresholds of various parameters used for cough determination.
  • FIG. 3 is a diagram illustrating an example of information stored in the threshold DB 14. As illustrated in FIG. 3, the threshold DB 14 stores a lower limit value and an upper limit value for each of “interval, duration, rising position, ratio of sudden sound interval, maximum position distribution”. Note that the value set here is an initial value of a threshold set by an administrator or the like.
  • the “interval” stored here is a threshold for setting a threshold for an interval from the previous cough model, in other words, a threshold for setting a time interval from a repetitive sound that has been determined to be cough immediately before, from 350 [ms] to 800 [ ms]] is preferably set.
  • “Duration” is a threshold for the duration of cough, and the lower limit (len_th_low) is preferably set to a value between 0 [ms] and 200 [ms], and the upper limit (len_th_up) It is preferable that a value between 350 [ms] and 1000 [ms] is set.
  • the “rising position” is a threshold for the rising position of the cough, and the lower limit (upp_th_low) is preferably set to a value between 0 [ms] and 30 [ms], and the upper limit (upp_th_up) A value between 10 [ms] and 100 [ms] is preferably set.
  • the “ratio of sudden sound interval” is a threshold for the ratio of the sudden sound interval to the cough duration, and the lower limit (q_th_low) is preferably set to a value between 0 and 0.2, and the upper limit A value between 0.25 and 0.7 is preferably set for (q_th_up).
  • the “maximum position distribution” is a threshold for the distribution of the maximum position of the power envelope with respect to the cough duration, and the lower limit (max_th_low) is preferably set to a value between 0 and 0.2.
  • the value (max_th_up) is preferably set to a value between 0.25 and 0.7.
  • the control unit 15 is a processing unit that controls the entire watching station 10, and is, for example, a processor.
  • the control unit 15 includes a sound detection unit 16, an envelope calculation unit 17, a parameter calculation unit 18, a model determination unit 19, a continuous determination unit 20, and a notification unit 24.
  • the sound detection unit 16, the envelope calculation unit 17, the parameter calculation unit 18, the model determination unit 19, the continuation determination unit 20, and the notification unit 24 are examples of electronic circuits such as a processor and processes executed by the processor. .
  • the sound detection unit 16 is a processing unit that detects a sound emitted by the person being watched over via a sound collection device such as a microphone. Specifically, the sound detection unit 16 detects a continuous cough in one breath emitted by the watching target person, and outputs the detected sound to the envelope calculation unit 17 as voice data.
  • the sound detection unit 16 detects the sound data shown in FIG.
  • FIG. 4 is a diagram for explaining an example waveform of audio data.
  • the horizontal axis shown in FIG. 4 is time, and the vertical axis is sound pressure (power).
  • the audio data is input, corresponding to a section of a corresponding to the interval from t 0 to t 1, b corresponding to the interval from t 2 to t 3, from t 4 to t 5 Including three repetitive sound data of c.
  • the envelope calculation unit 17 is a processing unit that calculates the power envelope of each piece of repeated sound data included in the audio data. Specifically, the envelope calculation unit 17 calculates a power envelope, which is a temporal change in sound pressure, for each repetitive sound data in the sound data received from the sound detection unit 16 using Equation (1). Output to the calculation unit 18.
  • x i is the amplitude of the voice data (input sound).
  • the repeated sound data is a name or the like set for simplicity of explanation in the embodiment, and the envelope calculation unit 17 is predetermined from the point of the audio data that has a section having a power equal to or higher than a predetermined value. One waveform existing in the section up to the point where the value power is no longer present is recognized as repeated sound data.
  • the parameter calculation unit 18 is a processing unit that calculates a feature amount from each power envelope calculated by the envelope calculation unit 17. Specifically, the parameter calculation unit 18 calculates parameters for each piece of repeated sound data, and stores each parameter in the parameter DB 13. For example, the parameter calculation unit 18 calculates “cough_distance, max_idx, max_val, length_cnt, upper_idx, lower_idx, diff_idx, quality_factor, max_point” as parameters. “Cough_distance” is an interval from the previous cough model, for example, a time difference between t 1 and t 2 in FIG. 4 and a time difference between t 3 and t 4 .
  • FIG. 5 is a diagram for explaining parameters.
  • the parameter calculation unit 18 displays “upper_idx” indicating the rising position of the cough that is a point corresponding to diff_th [db] before the peak (in the past), and diff_th [ [lower_idx] indicating the cough falling position, which is a point corresponding to [db].
  • the parameter calculation unit 18 calculates “diff_idx” indicating a cough sudden sound interval, which is an interval having a power equal to or greater than diff_th [db].
  • the parameter calculation unit 18 calculates “quality_factor” that is a ratio of the sudden sound interval to the duration.
  • the parameter calculation unit 18 calculates “max_point” which is a distribution of the maximum position of the power envelope with respect to the duration.
  • the model determination unit 19 is a processing unit that determines whether each repeated sound data calculated by the parameter calculation unit 18 is cough or noise. Specifically, the model determination unit 19 determines whether each piece of repeated sound data of the audio data satisfies the cough condition, and determines whether it is a cough model or a noise model.
  • the model determination unit 19 determines that the model is a cough model and does not satisfy the threshold In the case, it is determined as a noise model. Then, the model determination unit 19 stores the identifier for identifying the repeated sound data and the determination result in association with each other in the storage unit 12.
  • the continuous determination unit 20 includes a number counting unit 21, a threshold value changing unit 22, and a re-determination unit 23, and is a processing unit that re-determines whether or not the repeated sound data determined to be a cough model corresponds to a cough. Specifically, the continuation determination unit 20 selects repetitive sound data in the sound data in order from the top, and confirms the validity of the cough model. Then, the continuation determination unit 20 determines that the audio data is cough when the duration of the repeated sound data in the audio data is decreasing.
  • the number counting unit 21 selects repetitive sound data in the sound data in order from the top, and when the selected repetitive sound data is a cough model, it corresponds to what cough model in the sound data. Count what to do. Then, the number counting unit 21 outputs the selected repetitive sound data and the number of times to the threshold changing unit 22.
  • the number counting unit 21 counts the number of times and the selected cough model is generated within a predetermined time from the previous cough model. If not, return the count to 0.
  • the number counting unit 21 is the first time for the repeated sound data of a, and is within a predetermined time from the occurrence of a b The repeated sound data is counted as the second time.
  • the number counting unit 21 returns to 0 times.
  • the threshold changing unit 22 is a processing unit that changes the threshold used for redetermination of the cough model according to the number of cough models counted by the number counting unit 21. Specifically, the threshold value changing unit 22 changes the threshold value to a smaller value as the number of times increases. For example, the threshold value changing unit 22 changes the threshold value of the duration used for redetermination among the parameters used for the determination of the cough model, and outputs it to the redetermining unit 23.
  • the re-determination unit 23 is a processing unit that re-determines whether the repeated sound data determined to be a cough model is a cough using the threshold changed by the threshold change unit 22. Specifically, the re-determination unit 23 acquires only “length_cnt” from the parameters corresponding to the selected cough model (repeated sound data) from the parameter DB 13. Then, the re-determination unit 23 determines whether the duration “length_cnt” of the cough model is reduced by using threshold values “len_th_low (n), len_th_up (n)” that are changed to a smaller value depending on the number of cough models. To do.
  • the re-determination unit 23 determines whether the duration “length_cnt (n)” of the nth cough model (repeated sound data) satisfies “len_th_low (n) ⁇ length_cnt (n) ⁇ len_th_up (n)”.
  • the individual cough model is re-determined as a cough model, and when it is not satisfied, it is determined again as a noise model instead of a cough model.
  • the condition for the second cough model is “len_th_low (2) ⁇ length_cnt (2) ⁇ len_th_up (2)”. Then, the re-determination unit 23 stores the re-determination result in the storage unit 12 or outputs it to the notification unit 24.
  • the continuous determination unit 20 sequentially selects the repeated sound data of the audio data, and when the selected repeated sound data is a cough model, performs re-determination on the selected repeated sound data. At this time, the continuity determination unit 20 counts the number of cough models corresponding to the selected repeated sound data, changes the thresholds “len_th_low (n), len_th_up (n)” according to the number of times, and then repeats. Make a decision.
  • FIG. 6 is a diagram illustrating cough determination according to the first embodiment.
  • the first repetitive sound data is determined as a cough model
  • the second cough model is detected within a predetermined time (cough_distance) from the first cough model
  • the second cough model is detected for a predetermined time. It is assumed that the third cough model is detected within (cough_distance).
  • the continuity determination unit 20 determines whether or not the first repetition sound data has a duration (length_cnt (1)) satisfying “initial threshold len_th_low ⁇ length_cnt (1) ⁇ initial threshold len_th_up”. Perform model re-judgment.
  • the continuity determination unit 20 changes the threshold value to a small value for the second cough model using the above formulas (2) and (3), and then the duration (length_cnt (2 )) Satisfies “len_th_low (2) ⁇ length_cnt (2) ⁇ len_th_up (2)”, and executes the second cough model re-determination.
  • the continuation determination unit 20 changes the threshold value to a smaller value for the third cough model using the above formulas (2) and (3), and then the duration (length_cnt ( Depending on whether 3)) satisfies “len_th_low (3) ⁇ length_cnt (3) ⁇ len_th_up (3)”, the third cough model re-determination is executed. In this way, it is determined whether the duration is gradually shortened by shortening the threshold.
  • the continuous determination unit 20 determines that an actual cough has occurred when it is determined that two or more consecutive sounds are coughed in the repeated sound data. For example, the continuous determination unit 20 continuously repeats coughing and replaying for each repeated sound in the audio data, such as “cough, cough, cough”, “cough, cough, noise”, “noise, cough, cough”, and the like. If it is determined, the voice data is determined to be cough. In addition, the continuous determination unit 20 determines that each repeated sound in the audio data is not re-determined as cough, such as “noise, cough, noise”, “cough, noise, cough”, etc. Judge the data as noise.
  • the notification unit 24 is a processing unit that notifies a warning to a manager designated in advance when a cough is detected by the continuous determination unit 20. Specifically, the notification unit 24 determines that an actual cough has occurred when two or more consecutive sounds are determined to be cough, and transmits a warning mail to the administrator's mail address.
  • FIG. 7 is a diagram illustrating an example of a notification screen.
  • the notification screen shown here is an example, and can be arbitrarily changed.
  • the notification method is also an example, and a telephone call or other notification method can be employed.
  • FIG. 8 is a flowchart illustrating the flow of processing according to the first embodiment. As illustrated in FIG. 8, when the sound detection unit 16 receives sound data that is an input sound (S101: Yes), the envelope calculation unit 17 selects one piece of repeated sound data included in the sound data (S102).
  • the envelope calculation unit 17 calculates the power envelope of the selected repetitive sound data (S103), and calculates various parameters from the power envelope (S104). And when the various parameters satisfy
  • the number counting unit 21 selects the first repeated sound data (S109), and the selected repeated sound data is not a cough model (S110). : No), the process when it is a cough model is skipped, and it is determined whether there is next data at the occurrence interval within the threshold (S117).
  • the number counting unit 21 counts the number of cough models in the voice data (S112) and continues the selected repeated sound data. Time is extracted (S113).
  • the threshold changing unit 22 changes the threshold according to the counted number of coughs (S114), and the re-determination unit 23 performs cough redetermination by “lower limit value ⁇ duration ⁇ upper limit value”. (S115). After that, the threshold value changing unit 22 holds the cough redetermination result in the storage unit 12 or the like (S116).
  • the number counting unit 21 repeats S111 and subsequent steps.
  • the continuation determination unit 20 determines whether there are two or more consecutive sounds re-determined as cough. It is determined whether or not (S118).
  • the continuous determination unit 20 detects the occurrence of cough (S119), and the sound re-determined as cough is two continuous sounds. If not (S118: No), the generation of noise is detected (S120).
  • the watching station 10 counts the number of coughs, and changes the threshold necessary for cough detection according to the counted number. Then, the watching station 10 compares the changed threshold with the power envelope and re-determines the cough model result. As a result of the re-determination, the watching station 10 determines that cough is detected when it is determined that the sound of two or more times is a cough model. Therefore, it is possible to suppress erroneous detection of noise such as a striking sound and a rubbing sound having an outline of a power envelope similar to cough, and the detection accuracy can be improved.
  • FIG. 9 is a diagram for explaining an example of reducing false detection.
  • the cough waveform, the rupture sound waveform, the footsteps, the door closing sound, the alarm clock stop sound, etc. have a contour that gradually decreases after reaching a peak after a certain time from the sound generation.
  • the general cough changes gradually and shortly like “Gon”, “Goh, Ho” and “Hon”, but the other sounds are one-time sounds and occur repeatedly.
  • the waveform is the same as the first, and the change with the number of times is small.
  • the watching station 10 can detect cough only when the duration of a repeated sound similar to cough is gradually reduced. Therefore, the watching station 10 can suppress false detection of noise and improve cough detection accuracy. That is, the watching station 10 can re-determine that the voice other than “cough” shown in FIG.
  • the cough redetermination is performed using the duration, which is one of the parameters used for the cough model determination, but is not limited thereto.
  • the cough redetermination can be performed using another index not included in the parameters used for the cough model determination.
  • the cough model is re-determined using the sound pressure of the cough sudden sound as another index not included in the parameters used for the cough model determination. Specifically, re-determination is executed using “max_val” which is the sound pressure at the peak position calculated by the parameter calculation unit 18.
  • Max_val (1) is the sound pressure at the peak position acquired from the first cough model. That is, the lower limit value and the upper limit value are gradually changed to smaller values based on the sound pressure at the peak position of the first cough model.
  • the n-th cough model is re-determined as a cough model, and if not satisfied, it is determined again as a noise model instead of a cough model.
  • the re-determination unit 23 stores the re-determination result in the storage unit 12 or outputs it to the notification unit 24.
  • FIG. 10 is a diagram illustrating cough determination according to the second embodiment.
  • the first repetitive sound data is determined to be a cough model
  • the second cough model is detected within a predetermined time (cough_distance) from the first cough model
  • a predetermined time from the second cough model.
  • the third cough model is detected within (cough_distance).
  • the continuity determination unit 20 determines whether the sound pressure (max_val (1)) at the peak position of the first repeated sound data satisfies “initial threshold max_val_th_low ⁇ max_val (1) ⁇ initial threshold max_val_th_up”. Re-determine the second cough model.
  • the continuation determination unit 20 changes the threshold for the second cough model using the above formulas (4) and (5), and then the sound pressure (max_val (2 )) Satisfies “max_val_th_low (2) ⁇ max_val (2) ⁇ max_val_th_up (2)”, and executes the second cough model re-determination.
  • the continuation determination unit 20 changes the threshold for the third cough model using the above formulas (4) and (5), and then the sound pressure (max_val (3 )) Executes the third cough model re-determination depending on whether or not “max_val_th_low (3) ⁇ max_val (3) ⁇ max_val_th_up (3)” is satisfied.
  • the watching station 10 pays attention to the fact that the sound pressure at the peak position is decreased by several percent, and determines whether the sound pressure at the peak position is reduced. Suppresses false detection. Therefore, since the watching station 10 can execute cough redetermination using parameters different from those of the cough model, cough determination can be executed from a plurality of viewpoints, and detection accuracy can be improved.
  • the example in which the cough redetermination is performed using a parameter different from the parameter used for the cough model determination is described, but the present invention is not limited to this.
  • the cough redetermination can also be executed using all of the parameters used for the determination of the cough model.
  • a cough model is re-determined by reusing parameters used for the cough model determination. Specifically, re-determination is executed using each parameter calculated by the parameter calculation unit 18.
  • the parameters are collectively described as “param”. However, the same processing can be performed by replacing “length_cnt” and the like with “param”.
  • FIG. 11 is a diagram illustrating cough determination according to the third embodiment.
  • the first repeated sound data is determined as a cough model
  • the second cough model is detected within a predetermined time (cough_distance) from the first cough model
  • the second cough model is detected for a predetermined time. It is assumed that the third cough model is detected within (cough_distance).
  • the continuity determination unit 20 determines whether the first repetition sound data parameter (param (1)) satisfies “initial threshold param_th_low ⁇ param (1) ⁇ initial threshold param_th_up”. Re-determination is executed.
  • the continuation determination unit 20 changes the threshold for the second cough model using the above formulas (6) and (7), and then the parameter (param (2)) of the second repeated sound data is “ Depending on whether param_th_low (2) ⁇ param (2) ⁇ param_th_up (2) ”is satisfied, the second cough model redetermination is executed.
  • the continuity determination unit 20 changes the threshold for the third cough model using the above formulas (6) and (7), and the parameter (param (3)) of the third repeated sound data is “ Depending on whether or not “param_th_low (3) ⁇ param (3) ⁇ param_th_up (3)” is satisfied, the third cough model re-determination is executed.
  • the monitoring station 10 pays attention to the fact that the power outline is reduced by several percent in the case of a real cough, and determines whether the power outline is gradually reduced according to the number of detections of the cough model. By judging, the false detection of cough is suppressed. Therefore, since the watching station 10 can execute cough redetermination with the same parameters as the cough model, the cough redetermination is performed from a comprehensive viewpoint such as the shape and size of the cough power outline. Can do. In addition, although the example using all parameters was demonstrated here, it is not limited to this, You may combine several parameters.
  • each threshold value used for redetermination is calculated using a calculation formula.
  • the present invention is not limited to this. You can also keep it.
  • the monitoring station 10 demonstrated in the example which performs cough detection, it is not limited to this,
  • the smart phone 1 can also have a function similar to said each Example.
  • the watching station 10 can detect cough from voice, and the smartphone 1 can execute redetermination of cough, and the functions can be arbitrarily distributed.
  • [system] 2 does not necessarily need to be physically configured as illustrated. That is, it can be configured to be distributed or integrated in arbitrary units.
  • the model determination unit 19 and the continuous determination unit 20 can be integrated.
  • all or any part of each processing function performed in each device is realized by a CPU (Central Processing Unit) and a program analyzed and executed by the CPU, or hardware by wired logic. Can be realized as
  • CPU Central Processing Unit
  • the watching station 10 can be realized by a computer having the following hardware configuration, for example.
  • FIG. 12 is a diagram illustrating an exemplary hardware configuration. As shown in FIG. 12, the watching station 10 includes a microphone 10a, a communication interface 10b, an HDD (Hard Disk Drive) 10c, a memory 10d, and a processor 10e.
  • a microphone 10a As shown in FIG. 12, the watching station 10 includes a microphone 10a, a communication interface 10b, an HDD (Hard Disk Drive) 10c, a memory 10d, and a processor 10e.
  • HDD Hard Disk Drive
  • the microphone 10a is a sound collector that collects sound at a certain distance, and for example, collects a cough of the person being watched over and outputs it to the processor 10e.
  • An example of the communication interface 10b is a network interface card.
  • the HDD 10c is a storage device that stores various DBs illustrated in FIG.
  • Examples of the memory 10d include RAM (Random Access Memory) such as SDRAM (Synchronous Dynamic Random Access Memory), ROM (Read Only Memory), flash memory, and the like.
  • Examples of the processor 10e include a CPU, a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), and a PLD (Programmable Logic Device).
  • the watching station 10 operates as an information processing apparatus that executes a cough determination method by reading and executing a program. That is, the watching station 10 executes a program that performs the same functions as the sound detection unit 16, the envelope calculation unit 17, the parameter calculation unit 18, the model determination unit 19, the continuous determination unit 20, and the notification unit 24. As a result, the watching station 10 can execute a process for executing functions similar to those of the sound detection unit 16, the envelope calculation unit 17, the parameter calculation unit 18, the model determination unit 19, the continuous determination unit 20, and the notification unit 24. .
  • the program referred to in the other embodiments is not limited to being executed by the watching station 10.
  • the present invention can be similarly applied to a case where another computer or server executes the program or a case where these programs cooperate to execute the program.
  • This program can be distributed via a network such as the Internet.
  • This program is recorded on a computer-readable recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO (Magneto-Optical disk), DVD (Digital Versatile Disc), and the like. It can be executed by being read.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pulmonology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Alarm Systems (AREA)

Abstract

見守りステーションは、マイクなどの集音器を介して、咳と判定される条件を満たす複数の繰返し音のデータを有する音声データを取得する。そして、見守りステーションは、取得した音声データに含まれる複数の繰返し音のデータそれぞれについて特徴量を算出する。その後、見守りステーションは、音声データに含まれる複数の繰返し音のデータそれぞれから算出された各特徴量が逓減している場合に、取得した音声データを咳と判定する。

Description

電子機器および咳判定プログラム
　本発明は、電子機器および咳判定プログラムに関する。
　従来から、入力音から音圧の時間変化であるパワー包絡を算出し、算出したパワー包絡の概形に基づいて、咳を検知する技術が知られている。例えば、入力音のパワー包絡から持続時間、立ち上がり位置、ピーク位置などを算出し、それぞれと閾値とを比較して、入力音の波形が咳の波形と一致するか否かを判定する。
特開２０１５－１１６３６７号公報 特開２００９－２３３１０３号公報
　しかしながら、上記技術では、咳と類似するパワー包絡の概形を持つ打撃音や破擦音などの雑音も咳と判定することがあり、誤検出が多い。
　１つの側面では、咳の誤検出を抑制することができる電子機器および咳判定プログラムを提供することを目的とする。
　第１の案では、電子機器は、咳と判定される条件を満たす複数の繰返し音のデータを有する音声データを取得する取得部を有する。電子機器は、前記複数の繰返し音のデータそれぞれの特徴量を算出する算出部と、前記算出部によって算出された各特徴量が逓減している場合に、前記音声データを前記咳と判定する判定部とを有する。
　一実施形態によれば、咳の誤検出を抑制することができる。
図１は、実施例１にかかるシステムの全体構成例を説明する図である。 図２は、実施例１にかかる見守りステーションの機能構成例を示す機能ブロック図である。 図３は、閾値ＤＢに記憶される情報の例を示す図である。 図４は、音声データの波形例を説明する図である。 図５は、パラメータを説明する図である。 図６は、実施例１による咳判定を説明する図である。 図７は、報知画面例を説明する図である。 図８は、実施例１による処理の流れを示すフローチャートである。 図９は、誤検出の削減例を説明する図である。 図１０は、実施例２による咳判定を説明する図である。 図１１は、実施例３による咳判定を説明する図である。 図１２は、ハードウェアの構成例を説明する図である。
　以下に、本発明にかかる電子機器および咳判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
［全体構成］
　図１は、実施例１にかかるシステムの全体構成例を説明する図である。図１に示すように、このシステムは、スマートフォン１とサーバ２と見守りステーション１０とがネットワークＮで接続されて構成されるシステムである。このシステムは、見守りステーション１０が、見守り対象者のリアルタイム状況を監視するシステムである。なお、ネットワークＮには、無線や有線を問わず、インターネットやＶＰＮ（Virtual　Private　Network）などの様々な通信を採用することができる。
　スマートフォン１は、見守り対象者を見守る管理者の電子機器であり、例えば携帯電話や各種コンピュータなどである。サーバ２は、見守りステーション１０が検知した咳の情報をユーザ（見守り対象者）ごとに管理するコンピュータなどの電子機器である。
　見守りステーション１０は、見守り対象者の家などに設置されるコンピュータや見守り対象者が保持するコンピュータなどの電子機器であり、例えばサーバ、スマートフォン、携帯電話、ネット対応の家電などである。見守りステーション１０は、見守り対象者の咳を検知すると、予め指定された管理者に警告を通知する。このようにすることで、見守り対象の状況を遠隔でリアルタイムに監視する。
　このようなシステムにおいて、見守りステーション１０は、咳と判定される条件を満たす複数の繰返し音のデータを有する音声データを受付けると、複数の繰返し音のデータそれぞれの特徴量を算出する。そして、見守りステーション１０は、算出された各特徴量が逓減している場合に、音声データを咳と判定する。
　例えば、見守りステーション１０は、咳と類似する繰返し音のデータが３つ含まれる音声データを検出し、各繰返し音のデータの持続時間を算出する。そして、見守りステーション１０は、各繰返し音のデータの持続時間が順に短くなっている場合に、見守り対象者が咳を発したと検知する。つまり、見守りステーション１０は、咳と類似する音声データを咳と仮判定し、咳の特徴的な変化に該当するか否かを再判定することで、仮判定結果の正当性を確認する。したがって、見守りステーション１０は、咳の誤検出を抑制することができる。
［機能構成］
　図２は、実施例１にかかる見守りステーション１０の機能構成例を示す機能ブロック図である。図２に示すように、見守りステーション１０は、通信部１１、記憶部１２、制御部１５を有する。
　通信部１１は、スマートフォン１やサーバ２との通信を制御する処理部であり、例えばネットワークインタフェースカードなどである。例えば、通信部１１は、スマートフォン１に警告などを送信し、サーバ２に咳の検出結果などを送信する。
　記憶部１２は、制御部１５が実行するプログラムやデータなどを記憶する記憶装置であり、例えばメモリやハードディスクなどである。この記憶部１２は、パラメータＤＢ１３や閾値ＤＢ１４を記憶する。
　パラメータＤＢ１３は、制御部１５が音声データから抽出した各種パラメータを記憶するデータベースである。具体的には、パラメータＤＢ１３は、咳の判定に利用される各種パラメータを記憶する。なお、各種パラメータについては後述する。
　閾値ＤＢ１４は、咳の判定に利用される各種パラメータの閾値を記憶するデータベースである。図３は、閾値ＤＢ１４に記憶される情報の例を示す図である。図３に示すように、閾値ＤＢ１４は、「間隔、持続時間、立ち上がり位置、突発音区間の割合、最大位置の分布」それぞれの下限値と上限値とを記憶する。なお、ここで設定される値は、管理者等によって設定される閾値の初期値である。
　ここで記憶される「間隔」は、前の咳モデルとの間隔に対する閾値、言い換えると、直前に咳と判定された繰返し音からの時間間隔を設定する閾値であり、３５０［ｍｓ］から８００［ｍｓ］の間の値が設定されることが好ましい。「持続時間」は、咳の持続時間に対する閾値であり、下限値（len_th_low）には０［ｍｓ］から２００［ｍｓ］の間の値が設定されることが好ましく、上限値（len_th_up）には３５０［ｍｓ］から１０００［ｍｓ］の間の値が設定されることが好ましい。
　「立ち上がり位置」は、咳の立ち上がり位置に対する閾値であり、下限値（upp_th_low）には０［ｍｓ］から３０［ｍｓ］の間の値が設定されることが好ましく、上限値（upp_th_up）には１０［ｍｓ］から１００［ｍｓ］の間の値が設定されることが好ましい。「突発音区間の割合」は、咳の持続時間に対する突発音区間の割合に対する閾値であり、下限値（q_th_low）には０から０．２の間の値が設定されることが好ましく、上限値（q_th_up）には０．２５から０．７の間の値が設定されることが好ましい。「最大位置の分布」は、咳の持続時間に対するパワー包絡の最大位置の分布に対する閾値であり、下限値（max_th_low）には０から０．２の間の値が設定されることが好ましく、上限値（max_th_up）には０．２５から０．７の間の値が設定されることが好ましい。
　制御部１５は、見守りステーション１０の全体を司る処理部であり、例えばプロセッサなどである。この制御部１５は、音検出部１６、包絡算出部１７、パラメータ算出部１８、モデル判定部１９、連続判定部２０、報知部２４を有する。なお、音検出部１６、包絡算出部１７、パラメータ算出部１８、モデル判定部１９、連続判定部２０、報知部２４は、プロセッサなどの電子回路の一例やプロセッサなどが実行するプロセスの一例である。
　音検出部１６は、マイクなどの集音装置を介して、見守り対象者が発した音を検出する処理部である。具体的には、音検出部１６は、見守り対象者が発した一呼吸での連続咳を検出し、検出した音を音声データとして包絡算出部１７へ出力する。
　例えば、音検出部１６は、図４に示す音声データを検出する。図４は、音声データの波形例を説明する図である。図４に示す横軸は時間であり、縦軸は音圧（パワー）である。図４に示すように、入力される音声データは、ｔ０からｔ１までの区間に該当するａ、ｔ２からｔ３までの区間に該当するｂ、ｔ４からｔ５までの区間に該当するｃの３つの繰返し音データを含む。
　包絡算出部１７は、音声データに含まれる各繰返し音データのパワー包絡を算出する処理部である。具体的には、包絡算出部１７は、音検出部１６から受け付けた音声データ内の各繰返し音データについて、式（１）を用いて、音圧の時間変化であるパワー包絡を算出し、パラメータ算出部１８へ出力する。なお、式（１）におけるｘｉは音声データ（入力音）の振幅である。なお、繰返し音データとは実施例上で説明を簡単にするために設定した名称等であり、包絡算出部１７は、音声データのうち、所定値以上のパワーを有する区間となった点から所定値のパワーを有さなくなった点までの区間に存在する１つの波形を繰返し音データと認識する。
Figure JPOXMLDOC01-appb-M000001
　パラメータ算出部１８は、包絡算出部１７によって算出された各パワー包絡から特徴量を算出する処理部である。具体的には、パラメータ算出部１８は、各繰返し音データについてパラメータを算出し、各パラメータをパラメータＤＢ１３に格納する。例えば、パラメータ算出部１８は、パラメータとして「cough_distance、max_idx、max_val、length_cnt、upper_idx、lower_idx、diff_idx、quality_factor、max_point」を算出する。なお、「cough_distance」は、前の咳モデルとの間隔であり、例えば図４におけるｔ１とｔ２との時間差、ｔ３とｔ４との時間差である。
　ここで、その他のパラメータについては、１つの繰返し音データを例にして説明する。図５は、パラメータを説明する図である。図５に示すように、パラメータ算出部１８は、繰返し音データのピーク位置である「max_idx」、ピーク位置の音圧である「max_val」を算出する。また、パラメータ算出部１８は、信号Ｓの分散を雑音Ｎの分散で割ったＳＮＲ（ＳＮ比）＝所定値（sn_th）が達成される区間である「length_cnt」を算出する。パラメータ算出部１８は、ピークから時間的に前で（過去で）diff_th［ｄｂ］に該当する地点である咳の立ち上がり位置を示す「upper_idx」、ピークから時間的に後で（未来で）diff_th［ｄｂ］に該当する地点である咳の立ち下がり位置を示す「lower_idx」を算出する。
　さらに、パラメータ算出部１８は、diff_th［ｄｂ］以上のパワーを持つ区間である咳の突発音区間を示す「diff_idx」を算出する。なお、パラメータ算出部１８は、「diff_idx＝lower_idx－upper_idx」によって算出する。また、パラメータ算出部１８は、持続時間に対する突発音区間の割合である「quality_factor」を算出する。なお、パラメータ算出部１８は、「quality_factor＝diff_idx／length_cnt」によって算出する。また、パラメータ算出部１８は、持続時間に対するパワー包絡の最大位置の分布である「max_point」を算出する。なお、パラメータ算出部１８は、「max_point＝max_idx／length_cnt」によって算出する。
　モデル判定部１９は、パラメータ算出部１８によって算出された各繰返し音データについて、咳か雑音かを判定する処理部である。具体的には、モデル判定部１９は、音声データの各繰返し音データが咳の条件を満たすか否かを判定し、咳モデルか雑音モデルかを判定する。
　例えば、モデル判定部１９は、パラメータ算出部１８が算出した「cough_distance、length_cnt、upper_idx、quality_factor、max_point」のそれぞれが閾値ＤＢ１４に記憶される閾値を満たす場合、咳モデルと判定し、閾値を満たさない場合、雑音モデルと判定する。そして、モデル判定部１９は、繰返し音データを識別する識別子と判定結果とを対応付けて記憶部１２に格納する。
　連続判定部２０は、回数計数部２１、閾値変更部２２、再判定部２３を有し、咳モデルと判定された繰返し音データが咳に該当するか否かを再判定する処理部である。具体的には、連続判定部２０は、音声データ内の繰返し音データを先頭から順に選択し、咳モデルの正当性を確認する。そして、連続判定部２０は、音声データ内の繰返し音データの持続時間が逓減している場合に、音声データを咳と判定する。
　具体的には、回数計数部２１は、音声データ内の繰返し音データを先頭から順に選択し、選択した繰返し音データが咳モデルである場合に、音声データ内で何個目の咳モデルに該当するかを計数する。そして、回数計数部２１は、選択される繰返し音データおよび回数を閾値変更部２２に出力する。
　例えば、回数計数部２１は、選択中の咳モデルが前の咳モデルから所定時間以内に発生している場合、回数を計数し、選択中の咳モデルが前の咳モデルから所定時間以内に発生していない場合、回数を０に戻す。例を挙げると、図４におけるａ、ｂ、ｃのいずれもが咳モデルに該当する場合、回数計数部２１は、ａの繰返し音データについては１回目、ａの発生から所定時間以内にあるｂの繰返し音データについては２回目と計数する。一方で、回数計数部２１は、ｂの繰返し音データがａの発生から所定時間以内にない場合、０回に戻す。
　閾値変更部２２は、回数計数部２１によって計数された咳モデルの回数に応じて、咳モデルの再判定に利用する閾値を変更する処理部である。具体的には、閾値変更部２２は、回数が増えるにつれて閾値をより小さい値に変更する。例えば、閾値変更部２２は、咳モデルの判定に使用されたパラメータのうち、再判定に利用する持続時間の閾値を、より短い閾値に変更して、再判定部２３に出力する。
　例えば、閾値変更部２２は、カウント数（ｎ＞０）のとき、回数ｎを用いて、下限値「len_th_low(n)」を「len_th_low(n)＝｛1-(n-1)α｝×len_th_low(1)」（式２）に変更し、上限値「len_th_up(n)」を「len_th_up(n)＝｛1-(n-1)β｝×len_th_up(1)」（式３）に変更する。なお、０＜α＜１、０＜β＜１であり、例えばα＝０．１、β＝０．２とする。また、len_th_low(1)は、１回目の咳モデルに使用された閾値であり、閾値ＤＢ１４に記憶される初期値である。つまり、下限値および上限値は、初期値を基準にして、徐々に小さい値に変更される。
　再判定部２３は、閾値変更部２２によって変更された閾値を用いて、咳モデルと判定された繰返し音データについて、咳に該当するか否かを再判定する処理部である。具体的には、再判定部２３は、パラメータＤＢ１３から、選択されている咳モデル（繰返し音データ）に該当するパラメータのうち「length_cnt」のみを取得する。そして、再判定部２３は咳モデルの回数によって小さい値に変更される閾値「len_th_low(n)、len_th_up(n)」を用いることで、咳モデルの持続時間「length_cnt」が低減しているかを判定する。
　例えば、再判定部２３は、ｎ個目の咳モデル（繰返し音データ）の持続時間「length_cnt(n)」が「len_th_low(n)＜length_cnt(n)＜len_th_up(n)」を満たす場合、ｎ個目の咳モデルを咳モデルと再判定し、満たさない場合に、咳モデルではなく雑音モデルと判定しなおす。例えば、２回目の咳モデルの場合の条件は、「len_th_low(2)＜length_cnt(2)＜len_th_up(2)」となる。そして、再判定部２３は、再判定結果を記憶部１２に記憶したり、報知部２４に出力する。
　このように、連続判定部２０は、音声データの繰返し音データを順次選択し、選択した繰返し音データが咳モデルである場合、選択した繰返し音データについて再判定を実行する。このとき、連続判定部２０は、選択された繰返し音データが何番目の咳モデルに該当するかを計数し、回数によって閾値「len_th_low(n)、len_th_up(n)」を変更した上で、再判定を実行する。
　図６は、実施例１による咳判定を説明する図である。図６に示すように、１回目の繰返し音データが咳モデルと判定され、１回目の咳モデルから所定時間（cough_distance）以内に２回目の咳モデルが検出され、２回目の咳モデルから所定時間（cough_distance）以内に３回目の咳モデルが検出されたとする。この場合、連続判定部２０は、１回目の繰返し音データの持続時間（length_cnt(1)）が「初期閾値len_th_low＜length_cnt(1)＜初期閾値len_th_up」を満たすか否かによって、１回目の咳モデルの再判定を実行する。
　続いて、連続判定部２０は、２回目の咳モデルについて上記式（２）および式（３）を用いて閾値を小さい値に変更した後、２回目の繰返し音データの持続時間（length_cnt(2)）が「len_th_low(2)＜length_cnt(2)＜len_th_up(2)」を満たすか否かによって、２回目の咳モデルの再判定を実行する。同様に、連続判定部２０は、３回目の咳モデルについて上記式（２）および式（３）を用いて閾値をより小さい値に変更した後、３回目の繰返し音データの持続時間（length_cnt(3)）が「len_th_low(3)＜length_cnt(3)＜len_th_up(3)」を満たすか否かによって、３回目の咳モデルの再判定を実行する。このようにして、閾値を短くすることで、持続時間が徐々に短くなっているかを判定する。
　そして、連続判定部２０は、繰返し音データについて、連続して２回以上の音が咳と判定された場合に、実際の咳が発生したと判定する。例えば、連続判定部２０は、音声データ内の各繰返し音について「咳、咳、咳」、「咳、咳、雑音」、「雑音、咳、咳」などのように、連続して咳と再判定された場合は、音声データを咳と判定する。また、連続判定部２０は、音声データ内の各繰返し音について「雑音、咳、雑音」、「咳、雑音、咳」などのように、連続して咳と再判定されなかった場合は、音声データを雑音と判定する。
　報知部２４は、連続判定部２０によって咳が検知された場合に、予め指定された管理者に対して警告を報知する処理部である。具体的には、報知部２４は、連続して２回以上の音が咳と判定された場合に、実際の咳が発生したと判定し、管理者のメールアドレスに警告メールを送信する。
　例えば、報知部２４は、図７に示す報知画面を送信する。図７は、報知画面例を説明する図である。図７に示すように、報知画面には、見守り対象者の情報「父、６８歳」、咳が検出されたことを示すメッセージ「咳検出！」、咳が検出された時間「時間」、咳が検出される頻度「高」などが含まれる。なお、ここで示した報知画面は一例であり、任意に設定変更することができる。また、報知手法も一例であり、電話を発信したり、他の報知手法を採用することもできる。
［処理の流れ］
　図８は、実施例１による処理の流れを示すフローチャートである。図８に示すように、音検出部１６が入力音となる音声データを受け付けると（Ｓ１０１：Ｙｅｓ）、包絡算出部１７は、音声データに含まれる繰返し音データを１つ選択する（Ｓ１０２）。
　続いて、包絡算出部１７は、選択した繰返し音データのパワー包絡を算出し（Ｓ１０３）、パワー包絡から各種パラメータを算出する（Ｓ１０４）。そして、モデル判定部１９は、各種パラメータが閾値を満たす場合（Ｓ１０５：Ｙｅｓ）、選択される繰返し音データを咳モデルと判定し（Ｓ１０６）、各種パラメータが閾値を満たさない場合（Ｓ１０５：Ｎｏ）、選択される繰返し音データを雑音モデルと判定する（Ｓ１０７）。
　その後、未判定の繰返し音データが存在する場合（Ｓ１０８：Ｙｅｓ）、次の繰返し音データについてＳ１０２以降が繰り返される。
　一方、未判定の繰返し音データが存在しない場合（Ｓ１０８：Ｎｏ）、回数計数部２１は、先頭の繰返し音データを選択し（Ｓ１０９）、選択された繰返し音データが咳モデルではない場合（Ｓ１１０：Ｎｏ）、咳モデルであった時の処理をスキップし、閾値以内の発生間隔で次のデータがあるかどうかを判断する（Ｓ１１７）。
　一方、回数計数部２１は、選択された繰返し音データが咳モデルである場合（Ｓ１１０：Ｙｅｓ）、音声データ内の咳モデルの回数をカウントし（Ｓ１１２）、選択されている繰返し音データの持続時間を抽出する（Ｓ１１３）。
　そして、閾値変更部２２は、カウントされた咳の回数に応じて閾値を変更し（Ｓ１１４）、再判定部２３は、「下限値＜持続時間＜上限値」によって、咳の再判定を実行する（Ｓ１１５）。その後、閾値変更部２２は、咳の再判定結果を記憶部１２等に保持する（Ｓ１１６）。
　続いて、回数計数部２１は、前のモデル（繰返し音データ）から閾値以内の発生間隔で次のデータがある場合（Ｓ１１７：Ｙｅｓ）、Ｓ１１１以降を繰り返す。
　一方、前のモデル（繰返し音データ）から閾値以内の発生間隔で次のデータがない場合（Ｓ１１７：Ｎｏ）、連続判定部２０は、咳と再判定された音が連続２音以上存在するか否かを判定する（Ｓ１１８）。
　そして、連続判定部２０は、咳と再判定された音が連続２音以上存在する場合（Ｓ１１８：Ｙｅｓ）、咳の発生を検知し（Ｓ１１９）、咳と再判定された音が連続２音以上ではない場合（Ｓ１１８：Ｎｏ）、雑音の発生を検知する（Ｓ１２０）。
［効果］
　上述したように、見守りステーション１０は、咳の回数をカウントし、カウントした回数によって、咳検知に必要な閾値を変更する。そして、見守りステーション１０は、変更した閾値と、パワー包絡を比較して咳モデル結果を再判定する。再判定結果、見守りステーション１０は、連続で２回以上の音が咳モデルと判定されたら、咳検出と判定する。したがって、咳と類似するパワー包絡の概形を持つ打撃音や破擦音などの雑音の誤検出が抑制することができ、検出精度を向上することができる。
　図９は、誤検出の削減例を説明する図である。図９に示すように、咳の波形、破擦音の波形、足音、ドアを閉める音、目覚まし時計を止める音などは、音発生から一定時間後にピークを迎えて徐々に小さくなる外形を有しており、互いに類似している。しかし、一般的な咳は、「ごほん」、「ご、ほっ」、「ほん」のように、徐々に小さくかつ短く変化するが、他の音は一度きりの音であり、繰返し発生した場合でも一回目と同様の波形となり、回数による変化が小さい。
　この点に着目し、見守りステーション１０は、咳と類似する繰返し音の持続時間が徐々に小さくなっている場合に限って、咳と検出することができる。したがって、見守りステーション１０は、雑音の誤検出を抑制するとともに、咳の検出精度を向上できる。つまり、見守りステーション１０は、図９に示す「咳」以外の音声については、咳と判定した場合でも、再判定によって咳に該当しないと判定し直すことができる。
　ところで、実施例１では、咳モデルの判定に利用されるパラメータの１つである持続時間を用いて咳の再判定を実行する例を説明したが、これに限定されるものではない。例えば、咳モデルの判定に利用されるパラメータに含まれない別の指標を用いて咳の再判定を実行することもできる。
　そこで、実施例２では、咳モデルの判定に利用されるパラメータに含まれない別の指標として、咳の突発音の音圧を用いて咳モデルの再判定を実行する例を説明する。具体的には、パラメータ算出部１８が算出したピーク位置の音圧である「max_val」を用いて再判定を実行する。
　具体的には、閾値変更部２２は、再判定する際に閾値を新規に設定し、検出回数が増えるにつれて閾値をより小さい値に変更する。例えば、閾値変更部２２は、カウント数（ｎ＞０）のとき、回数ｎを用いて、下限値「max_val_th_low(n)」を「max_val_th_low(n)＝｛1-(n-1)α｝×max_val(1)」（式４）に変更し、上限値「max_val_th_up(n)」を「max_val_th_up(n)＝｛1-(n-1)β｝×max_val(1)」（式５）に変更する。なお、０＜α＜１、０＜β＜１であり、例えばα＝０．２、β＝０．０５とする。また、max_val(1)は、１回目の咳モデルから取得されたピーク位置の音圧である。つまり、下限値および上限値は、１回目の咳モデルのピーク位置の音圧を基準にして、徐々に小さい値に変更される。
　再判定部２３は、ｎ個目の咳モデル（繰返し音データ）のピーク位置の音圧「max_val(n)」が「max_val_th_low(n)≦max_val(n)≦max_val_th_up(n)」を満たす場合、ｎ個目の咳モデルを咳モデルと再判定し、満たさない場合に、咳モデルではなく雑音モデルと判定しなおす。例えば２回目の咳モデルの場合の条件は、「max_val_th_low(2)（＝｛1-(n-1)α｝×max_val(1)）≦max_val(2)≦max_val_th_up(2)（＝｛1-(n-1)β｝×max_val(1)）」となる。そして、再判定部２３は、再判定結果を記憶部１２に記憶したり、報知部２４に出力する。
　ここで、図１０を用いて実施例２の処理を説明する。図１０は、実施例２による咳判定を説明する図である。図１０に示すように、１回目の繰返し音データが咳モデルと判定され、１回目の咳モデルから所定時間（cough_distance）以内に２回目の咳モデルが検出され、２回目の咳モデルから所定時間（cough_distance）以内に３回目の咳モデルが検出されたとする。この場合、連続判定部２０は、１回目の繰返し音データのピーク位置の音圧（max_val(1)）が「初期閾値max_val_th_low≦max_val(1)≦初期閾値max_val_th_up」を満たすか否かによって、１回目の咳モデルの再判定を実行する。
　続いて、連続判定部２０は、２回目の咳モデルについて上記式（４）および式（５）を用いて閾値を変更した後、２回目の繰返し音データのピーク位置の音圧（max_val(2)）が「max_val_th_low(2)≦max_val(2)≦max_val_th_up(2)」を満たすか否かによって、２回目の咳モデルの再判定を実行する。同様に、連続判定部２０は、３回目の咳モデルについて上記式（４）および式（５）を用いて閾値を変更した後、３回目の繰返し音データのピーク位置の音圧（max_val(3)）が「max_val_th_low(3)≦max_val(3)≦max_val_th_up(3)」を満たすか否かによって、３回目の咳モデルの再判定を実行する。
　このように、見守りステーション１０は、本当の咳の場合、ピーク位置の音圧が数％ずつ減少していることに着目し、ピーク位置の音圧が低減しているかを判定することで、咳の誤検出を抑制する。したがって、見守りステーション１０は、咳モデルとは異なるパラメータで咳の再判定を実行することができるので、複数の視点で咳の判定を実行することができ、検出精度の向上が図れる。
　ところで、実施例２では、咳モデルの判定に利用されるパラメータとは異なるパラメータを用いて咳の再判定を実行する例を説明したが、これに限定されるものではない。例えば、咳モデルの判定に利用されるパラメータの全てを用いて咳の再判定を実行することもできる。
　そこで、実施例３では、咳モデルの判定に利用されるパラメータを再度利用して、咳モデルの再判定を実行する例を説明する。具体的には、パラメータ算出部１８が算出した各パラメータを用いて再判定を実行する。なお、実施例３では、各パラメータをまとめて「param」と記載するが、上記した「length_cnt」などを「param」と置き換えることで、同様に処理することができる。
　具体的には、閾値変更部２２は、回数が増えるにつれて各パラメータの各閾値をより小さい値に変更する。例えば、閾値変更部２２は、カウント数（ｎ＞０）のとき、回数ｎを用いて、下限値「param_th_low(n)」を「param_th_low(n)＝｛1-(n-1)α｝×param(1)」（式６）に変更し、上限値「param_th_up(n)」を「param_th_up(n)＝｛1-(n-1)β｝×param(1)」（式７）に変更する。なお、０＜α＜１、０＜β＜１であり、例えばα＝０．２、β＝０．０５とする。また、param(1)は、１回目の咳モデルから取得されたパラメータ値である。つまり、下限値および上限値は、１回目の咳モデルのパラメータ値を基準にして、徐々に小さい値に変更される。
　再判定部２３は、ｎ個目の咳モデル（繰返し音データ）のパラメータ「param(n)」が「param_th_low(n)≦param(n)≦param_th_up(n)」を満たす場合、ｎ個目の咳モデルを咳モデルと再判定し、満たさない場合に、咳モデルではなく雑音モデルと判定しなおす。例えば２回目の咳モデルの場合の条件は、「param_th_low(2)（＝｛1-(n-1)α｝×param(1)）≦param(2)≦param_th_up(2)（＝｛1-(n-1)β｝×param(1)）」となる。そして、再判定部２３は、再判定結果を記憶部１２に記憶したり、報知部２４に出力する。
　ここで、図１１を用いて実施例３の処理を説明する。図１１は、実施例３による咳判定を説明する図である。図１１に示すように、１回目の繰返し音データが咳モデルと判定され、１回目の咳モデルから所定時間（cough_distance）以内に２回目の咳モデルが検出され、２回目の咳モデルから所定時間（cough_distance）以内に３回目の咳モデルが検出されたとする。この場合、連続判定部２０は、１回目の繰返し音データのパラメータ（param(1)）が「初期閾値param_th_low≦param(1)≦初期閾値param_th_up」を満たすか否かによって、１回目の咳モデルの再判定を実行する。
　続いて、連続判定部２０は、２回目の咳モデルについて上記式（６）および式（７）を用いて閾値を変更した後、２回目の繰返し音データのパラメータ（param(2)）が「param_th_low(2)≦param(2)≦param_th_up(2)」を満たすか否かによって、２回目の咳モデルの再判定を実行する。同様に、連続判定部２０は、３回目の咳モデルについて上記式（６）および式（７）を用いて閾値を変更した後、３回目の繰返し音データのパラメータ（param(3)）が「param_th_low(3)≦param(3)≦param_th_up(3)」を満たすか否かによって、３回目の咳モデルの再判定を実行する。
　このように、見守りステーション１０は、本当の咳の場合、パワー概形が数％ずつ縮小していることに着目し、咳モデルの検知回数に応じてパワー概形が徐々に縮小しているかを判定することで、咳の誤検出を抑制する。したがって、見守りステーション１０は、咳モデルと同じパラメータで咳の再判定を実行することができるので、咳のパワー概形の形や大きさなどの総合的な視点で咳の再判定を実行することができる。なお、ここでは、パラメータ全てを用いる例を説明したが、これに限定されずに、いくつかのパラメータを組み合わせてもよい。
　さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
［閾値］
　上記実施例では、再判定に利用する各閾値を計算式で算出する例を説明したが、これに限定されるものではなく、例えば「検出回数、閾値」を対応付けたテーブル形式で予め保持しておくこともできる。
［処理装置］
　上記実施例では、見守りステーション１０が咳検出を実行する例で説明したが、これに限定されるものではなく、例えばスマートフォン１が上記各実施例と同様の機能を有することもできる。また、見守りステーション１０が音声から咳を検知し、スマートフォン１が咳の再判定を実行することもでき、機能は任意に分散させることができる。
［システム］
　また、図２に示した各装置の各構成は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、任意の単位で分散または統合して構成することができる。例えば、モデル判定部１９と連続判定部２０を統合することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central　Processing　Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［ハードウェア］
　上記見守りステーション１０は、例えば、次のようなハードウェア構成を有するコンピュータにより実現することができる。図１２は、ハードウェアの構成例を説明する図である。図１２に示すように、見守りステーション１０は、マイク１０ａ、通信インタフェース１０ｂ、ＨＤＤ（Hard　Disk　Drive）１０ｃ、メモリ１０ｄ、プロセッサ１０ｅを有する。
　マイク１０ａは、一定距離にある音を集音する集音器であり、例えば見守り対象者の咳を集音してプロセッサ１０ｅに出力する。通信インタフェース１０ｂの一例としては、ネットワークインタフェースカードなどである。ＨＤＤ１０ｃは、図２等に示した各種ＤＢを記憶する記憶装置である。
　メモリ１０ｄの一例としては、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）等のＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ等が挙げられる。プロセッサ１０ｅの一例としては、ＣＰＵ、ＤＳＰ（Digital　Signal　Processor）、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＰＬＤ（Programmable　Logic　Device）等が挙げられる。
　また、見守りステーション１０は、プログラムを読み出して実行することで咳判定方法を実行する情報処理装置として動作する。つまり、見守りステーション１０は、音検出部１６、包絡算出部１７、パラメータ算出部１８、モデル判定部１９、連続判定部２０、報知部２４と同様の機能を実行するプログラムを実行する。この結果、見守りステーション１０は、音検出部１６、包絡算出部１７、パラメータ算出部１８、モデル判定部１９、連続判定部２０、報知部２４と同様の機能を実行するプロセスを実行することができる。なお、この他の実施例でいうプログラムは、見守りステーション１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
　このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical　disk）、ＤＶＤ（Digital　Versatile　Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
　１　スマートフォン
　２　サーバ
　１０　見守りステーション
　１１　通信部
　１２　記憶部
　１３　パラメータＤＢ
　１４　閾値ＤＢ
　１５　制御部
　１６　音検出部
　１７　包絡算出部
　１８　パラメータ算出部
　１９　モデル判定部
　２０　連続判定部
　２１　回数計数部
　２２　閾値変更部
　２３　再判定部
　２４　報知部

Claims (8)

  1. 　咳と判定される条件を満たす複数の繰返し音のデータを有する音声データを取得する取得部と、
    　前記複数の繰返し音のデータそれぞれの特徴量を算出する算出部と、
    　前記算出部によって算出された各特徴量が逓減している場合に、前記音声データを前記咳と判定する判定部と
    　を有することを特徴とする電子機器。
  2. 　前記算出部は、前記各特徴量として、前記複数の繰返し音のデータそれぞれの持続時間を算出し、
    　前記判定部は、各持続時間が逓減している場合に、前記音声データを前記咳と判定することを特徴とする請求項１に記載の電子機器。
  3. 　前記複数の繰返し音のデータそれぞれのパワー包絡を算出するパワー算出部と、
    　各パワー包絡から複数のパラメータを算出し、前記複数のパラメータに基づいて、前記複数の繰返し音のデータそれぞれが前記条件を満たすか否かを判定する仮判定部と、
    　前記複数の繰返し音のデータのうち選択した繰返し音のデータが前記咳の条件を満たす場合に、前記音声データ内で検出された咳の回数を計数する計数部とをさらに有し、
    　前記算出部は、選択された前記繰返し音のデータの特徴量を算出し、
    　前記判定部は、前記特徴量が前記咳の回数に基づいて減少させた閾値を満たすか否かに基づいて、選択された前記繰返し音のデータが前記咳に該当するか否かを再判定することを特徴とする請求項１に記載の電子機器。
  4. 　前記算出部は、前記複数のパラメータの中から１つのパラメータを前記特徴量として選択し、
    　前記判定部は、前記咳の回数に基づいて減少させる閾値を算出し、前記パラメータが前記閾値を満たす場合に、選択された前記繰返し音のデータを前記咳と再判定し、前記パラメータが前記閾値を満たない場合に、選択された前記繰返し音のデータを雑音と再判定することを特徴とする請求項３に記載の電子機器。
  5. 　前記算出部は、前記特徴量として、前記複数のパラメータに含まれないパラメータを前記パワー包絡から算出し、
    　前記判定部は、前記咳の回数に基づいて減少させる閾値を算出し、前記パラメータが前記閾値を満たす場合に、選択された前記繰返し音のデータを前記咳と再判定し、前記パラメータが前記閾値を満たない場合に、選択された前記繰返し音のデータを雑音と再判定することを特徴とする請求項３に記載の電子機器。
  6. 　前記算出部は、前記特徴量として、前記複数のパラメータすべてを選択し、
    　前記判定部は、前記複数のパラメータすべてについて、前記咳の回数に基づいて減少させた閾値を算出し、前記複数のパラメータそれぞれが各閾値を満たす場合に、選択された前記繰返し音のデータを前記咳と再判定し、前記複数のパラメータそれぞれが前記各閾値を満たない場合に、選択された前記繰返し音のデータを雑音と再判定することを特徴とする請求項３に記載の電子機器。
  7. 　前記判定部は、前記音声データに含まれる前記複数の繰返し音のデータについて、２つ以上の連続する繰返し音のデータが前記咳と再判定された場合に、前記音声データを前記咳と判定することを特徴とする請求項３に記載の電子機器。
  8. 　電子機器に、
    　咳と判定される条件を満たす複数の繰返し音のデータを有する音声データを取得し、
    　前記複数の繰返し音のデータそれぞれの特徴量を算出し、
    　算出された各特徴量が逓減している場合に、前記音声データを前記咳と判定する
    　処理を実行させることを特徴とする咳判定プログラム。
PCT/JP2016/052827 2016-01-29 2016-01-29 電子機器および咳判定プログラム Ceased WO2017130413A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017563657A JP6711365B2 (ja) 2016-01-29 2016-01-29 電子機器および咳判定プログラム
PCT/JP2016/052827 WO2017130413A1 (ja) 2016-01-29 2016-01-29 電子機器および咳判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/052827 WO2017130413A1 (ja) 2016-01-29 2016-01-29 電子機器および咳判定プログラム

Publications (1)

Publication Number Publication Date
WO2017130413A1 true WO2017130413A1 (ja) 2017-08-03

Family

ID=59397775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052827 Ceased WO2017130413A1 (ja) 2016-01-29 2016-01-29 電子機器および咳判定プログラム

Country Status (2)

Country Link
JP (1) JP6711365B2 (ja)
WO (1) WO2017130413A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07376A (ja) * 1993-06-15 1995-01-06 Chiesuto M I Kk 咳記録装置
JP2003038460A (ja) * 2001-08-03 2003-02-12 Mitsubishi Pharma Corp 咳嗽音検出装置、咳嗽音検出方法、咳嗽音検出プログラム及び情報記憶媒体
JP2009233103A (ja) * 2008-03-27 2009-10-15 Konica Minolta Medical & Graphic Inc 咳嗽検出装置及び咳嗽検出装置のプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07376A (ja) * 1993-06-15 1995-01-06 Chiesuto M I Kk 咳記録装置
JP2003038460A (ja) * 2001-08-03 2003-02-12 Mitsubishi Pharma Corp 咳嗽音検出装置、咳嗽音検出方法、咳嗽音検出プログラム及び情報記憶媒体
JP2009233103A (ja) * 2008-03-27 2009-10-15 Konica Minolta Medical & Graphic Inc 咳嗽検出装置及び咳嗽検出装置のプログラム

Also Published As

Publication number Publication date
JPWO2017130413A1 (ja) 2018-09-20
JP6711365B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
EP3468162B1 (en) Method and device for tracking echo delay
CN110335593B (zh) 语音端点检测方法、装置、设备及存储介质
US10339953B2 (en) Howling detection method and apparatus
US20150179187A1 (en) Voice Quality Monitoring Method and Apparatus
US20160187453A1 (en) Method and device for a mobile terminal to locate a sound source
US20170076739A1 (en) Method and Apparatus for Detecting Audio Signal According to Frequency Domain Energy
WO2017181772A1 (zh) 语音检测方法、装置及存储介质
JP2014142626A (ja) 音声識別方法および装置
CN112738538B (zh) 直播间挂机行为检测方法、装置、电子设备和计算机可读存储介质
CN106464751A (zh) 噪声敏感的警报呈现
JPWO2010140358A1 (ja) 補聴器、補聴システム、歩行検出方法および補聴方法
EP3136389B1 (en) Noise detection method and apparatus
US11275628B2 (en) Notification information output method, server and monitoring system
US10070219B2 (en) Sound feedback detection method and device
CN104883705B (zh) 一种数据业务投诉的问题定位方法及装置
CN109994128A (zh) 语音质量问题定位方法、装置、设备及介质
CN104468268B (zh) 综合评价网络业务质量的方法及装置
EP4414827A1 (en) Audio channel selection method and apparatus, storage medium and vehicle
JP2019132912A (ja) 生活音記録装置及び生活音記録方法
JP6711365B2 (ja) 電子機器および咳判定プログラム
CN107220021B (zh) 语音输入识别方法、装置及头戴式设备
CN105681950A (zh) 提示方法、提示装置、耳机及终端
JP2016066923A (ja) サーバ装置、警告方法および警告プログラム
CN109841222B (zh) 音频通信方法、通信设备及存储介质
CN104468946A (zh) 一种信息提示方法和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16887999

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017563657

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16887999

Country of ref document: EP

Kind code of ref document: A1