JP7312037B2 - 咳検出装置、咳検出装置の作動方法及びプログラム - Google Patents
咳検出装置、咳検出装置の作動方法及びプログラム Download PDFInfo
- Publication number
- JP7312037B2 JP7312037B2 JP2019117220A JP2019117220A JP7312037B2 JP 7312037 B2 JP7312037 B2 JP 7312037B2 JP 2019117220 A JP2019117220 A JP 2019117220A JP 2019117220 A JP2019117220 A JP 2019117220A JP 7312037 B2 JP7312037 B2 JP 7312037B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- image data
- discriminator
- cough
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010011224 Cough Diseases 0.000 title claims description 302
- 238000001514 detection method Methods 0.000 title claims description 143
- 238000011017 operating method Methods 0.000 title description 2
- 230000033001 locomotion Effects 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 23
- 230000010365 information processing Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 238000003491 array Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 description 45
- 230000004048 modification Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 21
- 206010041232 sneezing Diseases 0.000 description 8
- 230000000537 coughlike effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000009423 ventilation Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000000844 anti-bacterial effect Effects 0.000 description 2
- 244000052616 bacterial pathogen Species 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004887 air purification Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002070 germicidal effect Effects 0.000 description 1
- QWPPOHNGKGFGJK-UHFFFAOYSA-N hypochlorous acid Chemical compound ClO QWPPOHNGKGFGJK-UHFFFAOYSA-N 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0823—Detecting or evaluating cough events
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6889—Rooms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
- A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
- G10L15/144—Training of HMMs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/04—Arrangements of multiple sensors of the same type
- A61B2562/043—Arrangements of multiple sensors of the same type in a linear array
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/06—Arrangements of multiple sensors of different types
- A61B2562/063—Arrangements of multiple sensors of different types in a linear array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Otolaryngology (AREA)
- Psychiatry (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Databases & Information Systems (AREA)
- Dentistry (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
Description
咳音を検出する従来の手法としては、マイクロフォン(以下、マイクと表記)で取得された音響データから音響特徴量を抽出し、識別器でこの音響特徴量に基づいて咳音であるか否かの判定が行われている。音響特徴量としては、例えばメル周波数ケプストラム係数(MFCC:Mel-Frequency Cepstrum Coefficients)が用いられる。識別器では、例えばこの音響特徴量とGMM(Gaussian Mixture Model)の音響モデルとの類似度に基づく識別、又はこの音響特徴量を入力として用いるDNN(Deep Neural Network)の推論モデルによる識別が実行される。
[1.咳検出装置の構成]
実施の形態に係る咳検出装置10は、人が出入り又は利用する室内の空間にいる人による咳の発生の有無を判定する(咳の検出)。また、咳検出装置10は、この判定の結果に応じたデータ等を出力する。
次に、咳検出装置10で実行される、咳音の到来方向及び第二画像データの選択について説明する。
上記のような構成を有する咳検出装置10では、カメラ30によって撮影された画像の中で、咳音である可能性が高い音が発生した方向が写っている部分に対し、それ以外の部分よりも強く着目して咳動作の検出が実行される。これにより、咳検出が実行される空間内の複数の人、家具、備品又は電気製品等を被写体に含む画像全体に対して行われるよりも、より正確な咳動作の検出が可能である。
本開示の一又は複数の態様に係る咳検出装置は、上記実施の形態の説明に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が想到する各種の変形を上記の実施の形態に施したものであっても上述の効果を奏し得るものであれば、本開示の態様に含まれる。下記にそのような変形の例を挙げる。
上記実施の形態の一変形例における咳検出装置は、音の識別に先んじて画像の識別を実行する点が上記実施の形態における咳検出装置10と異なる。図5は、このような咳検出装置10Aの構成例を示すブロック図である。図5において咳検出装置10と共通の構成要素は、共通の参照符号で示し、以下では本変形例の上記実施の形態との差異を中心に説明する。
上記実施の形態においては、第一識別器13及び第二識別器14のそれぞれについて、機械学習によって得られる推論モデルであってもよいと述べた。本変形例における咳検出装置は、これらの推論モデルの再学習のためのデータを生成してもよく、また、さらにこのデータを用いて再学習を実行してもよい。図6は、このような咳検出装置10Bの構成例を示すブロック図である。図6において咳検出装置10と共通の構成要素は、共通の参照符号で示し、以下では本変形例の上記実施の形態との差異を中心に説明する。
上記実施の形態及び各変形例では、画像データ選択部12に入力される画像データは、1台のカメラ30が備える画像センサが撮影した画像を示すものである。しかしながら、本変形例のように、複数台のカメラ(以下、まとめてカメラ群ともいう)の画像センサによって撮影される画像を示す画像データが第一画像データとして咳検出装置に入力されてもよい。図7は、複数台のカメラからなるカメラ群30Aが接続される咳検出装置10Cの構成例を示すブロック図である。図7において咳検出装置10と共通の構成要素は、共通の参照符号で示し、以下では本変形例の上記実施の形態との差異を中心に説明する。
上記実施の形態及び各変形例では、咳検出装置に入力される音響データはひとつのマイクアレイから出力されたものである、しかしながら、本変形例のように、複数のマイクアレイを用いて、各マイクアレイから出力される音響データを用いることで、音の到来方向ではなく、当該音の発生した位置が推定されてもよい。図8は、本変形例に係る咳検出装置を説明するための模式図である。
上記実施の形態及び各変形例の説明へのその他の補足事項を以下に挙げる。
11 音響特徴量抽出部
12 画像データ選択部
13 第一識別器
14 第二識別器
15 方向推定部
16 出力部
17 学習用データ蓄積部
18 画像センサ選択部
20、20a、20b マイクアレイ
30、30a、30b、31、32、33 カメラ
30A カメラ群
50a、50b 空気清浄機
Claims (15)
- マイクアレイが入力を受けた音に応じて出力する音響データの音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量に基づいて前記音に対する識別を実行して、前記音が咳音か否かを判定する第一識別器と、
前記第一識別器により前記音が咳音であると判定された結果を受けて、前記音響データから前記音の到来方向を推定する方向推定部と、
前記音が発生した場面を撮影した画像を示す第一画像データから、推定された前記到来方向に対応する第二画像データを選択する画像選択部と、
前記第二画像データに基づいて前記画像に対する識別を実行して、前記画像に咳動作が写っているか否かを判定する第二識別器と、
前記第二識別器の判定結果に基づく出力をする出力部とを備える
咳検出装置。 - 前記方向推定部は、前記第一識別器が咳の音であると判定した前記音の到来方向を推定する、
請求項1に記載の咳検出装置。 - 前記第二識別器は、前記第一画像データの前記第二画像データ以外の部分にさらに基づいて前記画像に対する識別を実行して咳動作が写っているか否かを判定し、前記識別において、第二画像データを前記第二画像データ以外の部分より優位に扱って咳動作が写っているか否か判定する、
請求項1又は2に記載の咳検出装置。 - 前記第一識別器は機械学習によって得られる第一推論モデルであり、前記出力部は、前記第一識別器の判定結果と前記第二識別器の判定結果とが咳の発生の有無に関して異なる場合、前記第一推論モデルの再学習用のデータを出力する、
請求項1から3のいずれか一項に記載の咳検出装置。 - 前記出力部は、さらに前記第二識別器がした判定の尤度が前記第一識別器がした判定の尤度よりも高い場合に前記第一推論モデルの再学習用のデータを出力する、
請求項4に記載の咳検出装置。 - 前記画像は、複数の画像センサによって撮影される複数の画像であり、前記複数の画像センサは、前記場面における少なくとも一部が異なる領域を撮影してそれぞれが取得した画像データを前記第一画像データとして出力し、
前記画像選択部は、前記複数の画像センサから、推定された前記到来方向に対応する画像センサを選択し、選択した前記画像センサから出力される前記第一画像データを前記到来方向に対応する前記第二画像データとして第二識別器に入力させる、
請求項1から5のいずれか一項に記載の咳検出装置。 - 前記マイクアレイは複数のマイクアレイを含み、
前記方向推定部は、前記複数のマイクアレイが出力した複数の音響データのそれぞれから推定した前記到来方向を用いて前記音の発生位置を推定し、
前記画像選択部が選択する前記第二画像データは、推定された前記発生位置に対応する、
請求項1から6のいずれか一項に記載の咳検出装置。 - 咳検出装置の作動方法であって、
音響特徴量抽出部が、マイクアレイが入力を受けた音に応じて出力する音響データの音響特徴量を抽出するステップ、
第一識別器が、前記音響特徴量に基づいて前記音に対する識別を実行して、前記音は咳音か否かを判定するステップ、
方向推定部が、前記第一識別器により前記音が咳音であると判定された結果を受けて、前記音響データから前記音の到来方向を推定するステップ、
画像選択部が、前記音が発生した場面を撮影した画像を示す第一画像データから、推定された前記到来方向に対応する第二画像データを選択するステップ、
第二識別器が、前記第二画像データに基づいて前記画像に対する識別を実行して、前記画像に咳動作が写っているか否かを判定するステップ、
出力部が、前記画像に咳動作が写っているか否かの判定結果を出力するステップ
を行う咳検出装置の作動方法。 - プロセッサ及びメモリを備える情報処理装置において前記メモリに記憶され、前記プロセッサによって実行されることで前記情報処理装置に、
マイクアレイが入力を受けた音に応じて出力する音響データの音響特徴量を抽出し、
前記音響特徴量に基づいて前記音に対する識別を実行して、前記音は咳音か否かを判定させ、
前記音が咳音であると判定された結果を受けて、前記音響データから前記音の到来方向を推定させ、
前記音が発生した場面を撮影した画像を示す第一画像データから、推定された前記到来方向に対応する第二画像データを選択させ、
前記第二画像データに基づいて前記画像に対する識別を実行して、前記画像に咳動作が写っているか否かを判定させ、
前記画像に咳動作が写っているか否かの判定結果に基づいて咳の発生の有無を判定させる
プログラム。 - マイクアレイが入力を受けた音に応じて出力する音響データから前記音の到来方向を推定する方向推定部と、
前記音が発生した場面を撮影した画像を示す第一画像データから、推定された前記到来方向に対応する第二画像データを選択する画像選択部と、
前記第二画像データに基づいて前記画像に対する識別を実行して、前記画像に咳動作が写っているか否かを判定する第二識別器と、
前記第二識別器により前記画像に咳動作が写っていると判定された結果を受けて、前記音響データの音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量に基づいて前記音に対する識別を実行して、前記音が咳音か否かを判定する第一識別器と、
前記第一識別器の判定結果に基づく出力をする出力部とを備える
咳検出装置。 - 前記第一識別器は、前記第二識別器が咳動作が写っていると判定した前記画像に時間的に対応する前記音響データの音響特徴量から前記音が咳の音か否かを判定する、
請求項10に記載の咳検出装置。 - 前記第二識別器は機械学習によって得られる第二推論モデルであり、前記出力部は、前記第一識別器の判定結果と前記第二識別器の判定結果とが咳の発生の有無に関して異なる場合、前記第二推論モデルの再学習用のデータを出力する、
請求項10又は11に記載の咳検出装置。 - 前記出力部は、さらに前記第一識別器がした判定の尤度が前記第二識別器がした判定の尤度よりも高い場合に前記第二推論モデルの再学習用のデータを出力する、
請求項12に記載の咳検出装置。 - 咳検出装置の作動方法であって、
方向推定部が、マイクアレイが入力を受けた音に応じて出力する音響データから前記音の到来方向を推定するステップ、
画像選択部が、前記音が発生した場面を撮影した画像を示す第一画像データから、推定された前記到来方向に対応する第二画像データを選択するステップ、
第二識別器が、前記第二画像データに基づいて前記画像に対する識別を実行して、前記画像に咳動作が写っているか否かを判定するステップ、
音響特徴量抽出部が、前記第二識別器により前記画像に咳動作が写っていると判定された結果を受けて、前記音響データの音響特徴量を抽出するステップ、
第一識別器が、前記音響特徴量に基づいて前記音に対する識別を実行して、前記音が咳音か否かを判定するステップ、
出力部が、前記第一識別器の判定結果に基づく出力をするステップ
を行う咳検出装置の作動方法。 - プロセッサ及びメモリを備える情報処理装置において前記メモリに記憶され、前記プロセッサによって実行されることで前記情報処理装置に、
マイクアレイが入力を受けた音に応じて出力する音響データから前記音の到来方向を推定させ、
前記音が発生した場面を撮影した画像を示す第一画像データから、推定された前記到来方向に対応する第二画像データを選択させ、
前記第二画像データに基づいて前記画像に対する識別を実行して、前記画像に咳動作が写っているか否かを判定させ、
前記画像に咳動作が写っているか否かの判定により前記画像に咳動作が写っていると判定された結果を受けて、前記音響データの音響特徴量を抽出させ、
前記音響特徴量に基づいて前記音に対する識別を実行して、前記音が咳音か否かを判定させ、
前記音が咳音か否かの判定結果に基づく出力をさせる
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117220A JP7312037B2 (ja) | 2019-06-25 | 2019-06-25 | 咳検出装置、咳検出装置の作動方法及びプログラム |
CN202010572001.9A CN112120700A (zh) | 2019-06-25 | 2020-06-22 | 咳嗽检测装置、咳嗽检测方法以及记录介质 |
US16/909,189 US11094337B2 (en) | 2019-06-25 | 2020-06-23 | Cough detection device, cough detection method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117220A JP7312037B2 (ja) | 2019-06-25 | 2019-06-25 | 咳検出装置、咳検出装置の作動方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021003181A JP2021003181A (ja) | 2021-01-14 |
JP7312037B2 true JP7312037B2 (ja) | 2023-07-20 |
Family
ID=73851349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019117220A Active JP7312037B2 (ja) | 2019-06-25 | 2019-06-25 | 咳検出装置、咳検出装置の作動方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11094337B2 (ja) |
JP (1) | JP7312037B2 (ja) |
CN (1) | CN112120700A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201710093D0 (en) * | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Audio distance estimation for spatial audio processing |
US11862188B2 (en) * | 2020-10-22 | 2024-01-02 | Google Llc | Method for detecting and classifying coughs or other non-semantic sounds using audio feature set learned from speech |
JP6991621B1 (ja) | 2021-02-24 | 2022-01-12 | 歩 長川 | 飛沫感染予防教育システム |
CN117337466A (zh) * | 2021-05-21 | 2024-01-02 | 松下电器(美国)知识产权公司 | 气溶胶量推定方法、气溶胶量推定装置以及程序 |
CN113534726B (zh) * | 2021-07-21 | 2022-06-24 | 浙江财经大学 | 一种用于建筑物中内环境的控制系统 |
US11973639B2 (en) * | 2021-12-27 | 2024-04-30 | Ricoh Company, Ltd. | Information processing system, information processing method, and recording medium |
CN116509371A (zh) * | 2022-01-21 | 2023-08-01 | 华为技术有限公司 | 一种音频检测的方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005199078A (ja) | 2005-02-07 | 2005-07-28 | Toshiba Corp | 状態監視装置 |
US20090312660A1 (en) | 2008-06-17 | 2009-12-17 | Biorics Nv | Recognition and localisation of pathologic animal and human sounds |
JP2012062163A (ja) | 2010-09-16 | 2012-03-29 | Hitachi Building Systems Co Ltd | エレベータの制御装置 |
JP2012173862A (ja) | 2011-02-18 | 2012-09-10 | Denso Corp | 車両異常通知装置 |
JP2018117708A (ja) | 2017-01-23 | 2018-08-02 | 富士ゼロックス株式会社 | 咳検知装置及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011174624A (ja) | 2010-02-23 | 2011-09-08 | Panasonic Corp | 空気清浄機 |
WO2019023879A1 (zh) * | 2017-07-31 | 2019-02-07 | 深圳和而泰智能家居科技有限公司 | 咳嗽声音识别方法、设备和存储介质 |
CN109009129B (zh) * | 2018-08-20 | 2019-06-04 | 南京农业大学 | 基于声学分析的母猪呼吸系统疾病预警系统 |
-
2019
- 2019-06-25 JP JP2019117220A patent/JP7312037B2/ja active Active
-
2020
- 2020-06-22 CN CN202010572001.9A patent/CN112120700A/zh active Pending
- 2020-06-23 US US16/909,189 patent/US11094337B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005199078A (ja) | 2005-02-07 | 2005-07-28 | Toshiba Corp | 状態監視装置 |
US20090312660A1 (en) | 2008-06-17 | 2009-12-17 | Biorics Nv | Recognition and localisation of pathologic animal and human sounds |
JP2012062163A (ja) | 2010-09-16 | 2012-03-29 | Hitachi Building Systems Co Ltd | エレベータの制御装置 |
JP2012173862A (ja) | 2011-02-18 | 2012-09-10 | Denso Corp | 車両異常通知装置 |
JP2018117708A (ja) | 2017-01-23 | 2018-08-02 | 富士ゼロックス株式会社 | 咳検知装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11094337B2 (en) | 2021-08-17 |
JP2021003181A (ja) | 2021-01-14 |
US20200411036A1 (en) | 2020-12-31 |
CN112120700A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7312037B2 (ja) | 咳検出装置、咳検出装置の作動方法及びプログラム | |
US11421905B2 (en) | Information processing method, recording medium, and information processing system | |
US11808484B2 (en) | Droplet infection suppression system and droplet infection suppression method | |
CN110291489B (zh) | 计算上高效的人类标识智能助理计算机 | |
US20220040356A1 (en) | Space cleaning system and space cleaning method | |
AU2012253292B2 (en) | Presence sensing | |
US8140458B2 (en) | Information processing apparatus, information processing method, and computer program | |
WO2020039818A1 (ja) | 空間浄化システム、及び、空間浄化方法 | |
US9530407B2 (en) | Spatial audio database based noise discrimination | |
JP4462339B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
CN112088315A (zh) | 多模式语音定位 | |
JP2016171526A (ja) | 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム | |
KR20120116446A (ko) | 음성-신체 식별 상관 | |
JP6713057B2 (ja) | 移動体制御装置および移動体制御プログラム | |
KR20180049471A (ko) | 공기청정기 및 그 제어방법 | |
WO2017219450A1 (zh) | 一种信息处理方法、装置及移动终端 | |
CN109974225A (zh) | 一种空调控制方法、装置、存储介质及空调 | |
TW201943263A (zh) | 多層次狀態偵測系統與方法 | |
CN109986553B (zh) | 一种主动交互的机器人、系统、方法及存储装置 | |
JP2009042910A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP2014060491A (ja) | 視聴状況判定装置、識別器構築装置、視聴状況判定方法、識別器構築方法およびプログラム | |
CN113028597B (zh) | 语音的控制方法及装置 | |
JP6853163B2 (ja) | 話者方向推定装置、話者方向推定方法、およびプログラム | |
Wang et al. | Real-time automated video and audio capture with multiple cameras and microphones | |
JP2017138922A (ja) | 画像センサ及び学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7312037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |