WO2021131585A1 - 音検出システム及び情報処理装置 - Google Patents

音検出システム及び情報処理装置 Download PDF

Info

Publication number
WO2021131585A1
WO2021131585A1 PCT/JP2020/045125 JP2020045125W WO2021131585A1 WO 2021131585 A1 WO2021131585 A1 WO 2021131585A1 JP 2020045125 W JP2020045125 W JP 2020045125W WO 2021131585 A1 WO2021131585 A1 WO 2021131585A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
microphones
detection system
sound detection
control unit
Prior art date
Application number
PCT/JP2020/045125
Other languages
English (en)
French (fr)
Inventor
山田　和広
能行 羽生
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to CN202080090349.2A priority Critical patent/CN114845641A/zh
Priority to JP2021567142A priority patent/JP7555964B2/ja
Priority to EP20907173.7A priority patent/EP4079228B1/en
Publication of WO2021131585A1 publication Critical patent/WO2021131585A1/ja
Priority to US17/848,973 priority patent/US20220354450A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/026—Stethoscopes comprising more than one sound collector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • This disclosure relates to a sound detection system and an information processing device.
  • auscultation of heart sounds is performed with a stethoscope or the like.
  • Heart sounds include a sound called I sound and a sound called II sound.
  • the I sound is the sound heard when the mitral valve and the tricuspid valve are closed.
  • Sound II is the sound heard when the pulmonary and aortic valves close.
  • Patent Document 1 detects a heart sound using a plurality of sensors, selects a specific sound such as a mitral valve closing sound from the detected heart sounds, and amplifies the selected specific sound.
  • the technology is disclosed.
  • a stenosis sound is generated immediately after the second sound. Detecting the sound of coronary artery stenosis is useful because it can detect signs of coronary artery disease such as angina pectoris and myocardial infarction.
  • An object of the present disclosure is to provide a sound detection system and an information processing device capable of increasing the detection sensitivity for weak sounds inside a living body in view of the above problems.
  • the sound detection system as the first aspect of the present disclosure includes a plurality of microphones capable of detecting the sound inside the living body and outputting a sound signal based on the detected sound, and an information processing device, and comprises the above-mentioned information processing.
  • the device includes an acquisition unit, a control unit, and an output unit that acquire sound signals from the plurality of microphones, and the control unit includes a predetermined biological part based on the sound signals acquired by the acquisition unit.
  • the first position which is the position of, is specified, the second position having a predetermined relative positional relationship with the first position is estimated, and the sensitivity to the second position is increased.
  • the sound acquired by the acquisition unit while controlling the directivity of the plurality of microphones and controlling the directivity of the plurality of microphones so that the output unit has high sensitivity with respect to the second position. Outputs information based on the signal.
  • the information processing device stores a storage unit that stores information on the predetermined relative positional relationship between the first position and the second position. Further prepare.
  • control unit has the amplitude and phase of the sound signal acquired from each of the microphones with respect to the sound whose sound source is the predetermined biological part, and the plurality of microphones.
  • the first position is specified based on the relative position.
  • control unit controls the directivity of the plurality of microphones by adjusting and synthesizing the delay amount of the sound signal acquired from each of the microphones.
  • control unit determines the intensity of the sound signal acquired from the second position, and causes the output unit to output an index based on the determination result.
  • control unit controls the directivity of at least two of the plurality of microphones so as to be highly sensitive to the second position. ..
  • control unit moves the positions of the plurality of microphones when the first position is separated from the positions of the plurality of microphones by a predetermined distance or more. Is output to the output unit.
  • the relative positions of the plurality of microphones are fixed.
  • the relative positions of the plurality of microphones are variable, and the sound detection system further includes a relative position measuring means for measuring the relative positions of the plurality of microphones.
  • the control unit calculates the relative positions of the plurality of microphones based on the relative positions of the plurality of microphones measured by the relative position measuring means.
  • the sound detection system as one embodiment of the present disclosure further includes an image pickup device, and in the sound detection system, the relative positions of the plurality of microphones are variable, and the control unit is the plurality of images captured by the image pickup device. The relative positions of the plurality of microphones are calculated based on the images of the microphones of.
  • the information processing device as the second aspect of the present disclosure is a plurality of microphones capable of detecting sounds inside a living body and outputting sound signals based on the detected sounds, and acquisition of sound signals from the plurality of microphones.
  • the control unit includes a unit, a control unit, and an output unit, and the control unit identifies a first position, which is a position of a predetermined biological part, based on the sound signal acquired by the acquisition unit, and the first position is described.
  • a second position having a predetermined relative positional relationship with the position 1 is estimated, and the directivity of the plurality of microphones is controlled so that the sensitivity to the second position is high, and the output unit is used.
  • the sound detection system and information processing device of the present disclosure it is possible to increase the detection sensitivity for weak sounds inside the living body.
  • FIG. 1 is a functional block diagram of the sound detection system 1 according to the first embodiment of the present disclosure. The configuration and outline of the sound detection system 1 according to the first embodiment of the present disclosure will be described with reference to FIG.
  • the sound detection system 1 includes a sound detection device 10, an information processing device 20, and an external sound detection microphone 30.
  • the sound detection device 10 is a device that can be attached to a living body such as a human body to detect the sound inside the living body.
  • the sound detection device 10 outputs a sound signal based on the detected sound inside the living body to the information processing device 20.
  • the sound detection device 10 may be connected to the information processing device 20 by wire, or may be wirelessly connected to the information processing device 20 so as to be communicable.
  • the sound detection device 10 includes a plurality of microphones 11-1 to 11-6 and a first coupling member 12. When it is not necessary to distinguish the microphones 11-1 to 11-6, they may be simply referred to as microphones 11. Although FIG. 1 shows six microphones 11-1 to 11-6, the number of microphones 11 is not limited to six. The number of microphones 11 may be any number of two or more.
  • the microphone 11 can be attached to the surface of a living body such as a human body.
  • the microphone 11 can detect the sound inside the living body while being attached to the surface of the living body.
  • the microphone 11 may include, for example, a sticky sheet and can be attached to a living body by the sticky sheet.
  • the method of attaching the microphone 11 to the living body is not limited to pasting.
  • the microphone 11 may be attached to the living body by a method other than sticking.
  • the microphone 11 outputs a sound signal based on the detected sound inside the living body to the information processing device 20.
  • the microphone 11 may be connected to the information processing device 20 by wire. Further, the microphone 11 may have a wireless communication function. When having a wireless communication function, the microphone 11 may be connected to the information processing device 20 so as to be able to communicate wirelessly.
  • the first coupling member 12 couples the plurality of microphones 11 so that the relative positions of the plurality of microphones 11 are fixed.
  • the first coupling member 12 may be made of, for example, a highly rigid material so that the relative positions of the plurality of microphones 11 can be fixed.
  • the first coupling member 12 couples the microphone 11-1 and the microphone 11-2. Further, the first coupling member 12 couples the microphone 11-3 and the microphone 11-4. Further, the first coupling member 12 couples the microphones 11-5 and the microphones 11-6. Further, the first coupling member 12 couples the microphone 11-1 and the microphone 11-3. Further, the first coupling member 12 couples the microphone 11-3 and the microphone 11-5. Further, the first coupling member 12 couples the microphone 11-2 and the microphone 11-4. Further, the first coupling member 12 couples the microphone 11-4 and the microphone 11-6.
  • the sound detection device 10 is used by being attached to the surface of a living body in the vicinity where the sound to be detected is expected to be generated.
  • the sound to be detected is a coronary artery stenosis sound
  • the plurality of microphones 11-1 to 11-6 of the sound detection device 10 are attached near the heart of the human body.
  • FIG. 2 shows an example of a case where a plurality of microphones 11-1 to 11-16 are attached near the heart of the human body 100.
  • the information processing device 20 may be a dedicated computer used for the sound detection system 1 or a general-purpose computer.
  • the information processing device 20 may be, for example, a tablet terminal, a smartphone, a notebook PC (Personal Computer), a desktop PC, or the like.
  • the information processing device 20 acquires a sound signal based on the sound detected by the sound detection device 10 from the sound detection device 10. Further, the information processing device 20 acquires sound information based on the sound detected by the external sound detection microphone 30 from the external sound detection microphone 30.
  • the information processing device 20 processes the sound signal acquired from the sound detection device 10 to increase the sensitivity to the weak sound to be detected.
  • the configuration of the information processing device 20 will be described, and the details of the operation of the information processing device 20 will be described later.
  • the information processing device 20 includes a communication unit 21, a storage unit 22, an acquisition unit 23, an input unit 24, an output unit 25, and a control unit 26.
  • the communication unit 21 includes at least one communication interface.
  • the communication interface is, for example, a LAN (Local Area Network) interface, a Bluetooth (registered trademark) interface, or the like.
  • the communication unit 21 can communicate with various devices via a network or directly.
  • the sound detection device 10 has a wireless communication function
  • the communication unit 21 can wirelessly communicate with the sound detection device 10.
  • the external sound detection microphone 30 has a wireless communication function
  • the communication unit 21 can wirelessly communicate with the external sound detection microphone 30.
  • the storage unit 22 is, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like, but is not limited thereto.
  • the storage unit 22 may function as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 22 stores arbitrary information used for the operation of the information processing device 20.
  • the storage unit 22 may store the system program, the application program, various information received by the communication unit 21, and the like.
  • the information stored in the storage unit 22 may be updated with information received via, for example, the communication unit 21.
  • a part of the storage unit 22 may be installed outside the information processing device 20. In that case, a part of the storage unit 22 installed outside may be connected to the information processing device 20 via an arbitrary interface.
  • the acquisition unit 23 acquires a sound signal based on the sound detected by the sound detection device 10 from the sound detection device 10.
  • the acquisition unit 23 may acquire a sound signal from the sound detection device 10 via the communication unit 21.
  • the acquisition unit 23 acquires sound information based on the sound detected by the external sound detection microphone 30 from the external sound detection microphone 30.
  • the acquisition unit 23 may acquire a sound signal from the external sound detection microphone 30 via the communication unit 21.
  • the input unit 24 includes one or more input interfaces that detect user input and acquire input information based on the user's operation.
  • the input unit 24 is, but is not limited to, a physical key, a capacitance key, a touch screen provided integrally with the display of the output unit 25, a microphone that accepts voice input, and the like.
  • the output unit 25 includes one or more output interfaces that output information and notify the user.
  • the output unit 25 includes, but is not limited to, a display that outputs information as a video, a speaker that outputs information as audio, and the like.
  • the output unit 25 may be able to output information in various modes.
  • the control unit 26 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU (Central Processing Unit) or GPU (Graphics Processing Unit), or a dedicated processor specialized for a specific process.
  • the dedicated circuit is, for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit).
  • the control unit 26 executes processing related to the operation of the information processing device 20 while controlling each unit of the information processing device 20.
  • the external sound detection microphone 30 is a microphone capable of detecting an external sound.
  • the "external sound” is a sound that becomes noise with respect to the sound detected by the sound detection device 10, such as the environmental sound around the sound detection system 1.
  • the external sound detection microphone 30 outputs a sound signal based on the detected external sound to the information processing device 20.
  • the external sound detection microphone 30 may be connected to the information processing device 20 by wire, or may be wirelessly connected to the information processing device 20 so as to be communicable.
  • the sound detection system 1 can increase the detection sensitivity for weak sounds inside the living body.
  • a case where a coronary artery stenosis sound is detected as a weak sound inside a living body will be described as a specific example.
  • the user of the sound detection system 1 mounts the sound detection device 10 around a position where a weak sound to be detected is expected to be generated. For example, when the sound of coronary artery stenosis is the detection target, the user of the sound detection system 1 wears the sound detection device 10 near the heart of the human body.
  • FIG. 2 is a diagram showing a state in which microphones 11-1 to 11-6 included in the sound detection device 10 are attached to the vicinity of the heart of the human body 100.
  • Each of the microphones 11-1 to 11-6 outputs a sound signal based on the detected sound inside the human body to the information processing device 20.
  • the acquisition unit 23 of the information processing device 20 acquires sound signals based on the sounds detected by the plurality of microphones 11-1 to 11-6 from the plurality of microphones 11-1 to 11-6.
  • the acquisition unit 23 acquires a sound signal based on the external sound detected by the external sound detection microphone 30 from the external sound detection microphone 30.
  • the control unit 26 of the information processing device 20 subtracts the sound signal acquired from the external sound detection microphone 30 from the sound signal acquired from the microphones 11-1 to 11-6 to cancel the noise.
  • the sound detection system 1 can reduce noise components caused by external sounds included in the sound signals acquired from the microphones 11-1 to 11-6.
  • the sound detection system 1 may not include the external sound detection microphone 30.
  • the control unit 26 identifies the first position, which is the position of a predetermined biological part, based on the sound signal acquired by the acquisition unit 23.
  • the sound signal acquired by the acquisition unit 23 may or may not be noise-canceled.
  • the "first position” is a position of a biological part having a predetermined relative positional relationship with a position where a weak sound to be detected is expected to be generated.
  • the position where a weak sound is expected to be generated is the position of the coronary artery.
  • the position where a weak sound is expected to be generated is also referred to as a "second position".
  • the predetermined biological part in the first position having a predetermined relative positional relationship with the second position is, for example, a mitral valve, a tricuspid valve, or a pulmonary valve. , And the aortic valve. Since the biological part at the first position is a biological part that generates a louder sound than the weak sound to be detected, the microphone 11 generates the sound generated at the first position at the second position. It can be detected more easily than the sound it makes.
  • the storage unit 22 stores information on the relative positional relationship between the first position and the second position.
  • the storage unit 22 stores information on the relative positional relationship between the first position and the second position for at least one first position.
  • the first position is, for example, the position of the mitral valve, the position of the tricuspid valve, the position of the pulmonary valve, and the position of the aortic valve.
  • the storage unit 22 has a relative positional relationship between the position of the mitral valve and the position of the coronary artery, a relative positional relationship between the position of the tricuspid valve and the position of the coronary artery, the position of the pulmonary valve and the position of the coronary artery. It stores the relative positional relationship with and at least one of the relative positional relationships between the position of the aortic valve and the position of the coronary artery.
  • the I sound is the sound heard when the mitral valve and the tricuspid valve are closed.
  • Sound II is the sound heard when the pulmonary and aortic valves close.
  • the I sound is a superposition of the sound emitted when the mitral valve closes and the sound emitted when the tricuspid valve closes.
  • the second sound is a sound obtained by superimposing the sound emitted when the pulmonary valve closes and the sound emitted when the aortic valve closes.
  • the storage unit 22 stores the feature amount of the sound that the mitral valve closes, which is extracted based on the sample of the sound that is emitted when the mitral valve closes.
  • the feature amount may include, for example, a spectral feature amount obtained by frequency analysis such as FFT (Fast Fourier Transform).
  • the sample of the sound emitted when the mitral valve closes may be a sample obtained by measurement of the subject himself or herself, or may be a sample obtained by measurement of another measurer.
  • the storage unit 22 stores the feature amount of the sound that the tricuspid valve closes, the feature amount of the sound that the pulmonary valve closes, and the feature amount of the sound that the aortic valve closes.
  • the storage unit 22 stores the feature amount of the sound that the mitral valve closes, the feature amount of the sound that the tricuspid valve closes, the feature amount of the sound that the pulmonary valve closes, and the feature amount of the sound that the aortic valve closes. This is just an example, and the storage unit 22 stores a feature amount of an arbitrary sound that is expected to be emitted at the first position.
  • the control unit 26 executes frequency analysis such as FFT on the sound signal acquired by the acquisition unit 23 from the sound detection device 10 and extracts the feature amount included in the sound signal.
  • the control unit 26 compares the extracted feature amount with the feature amount of various samples stored in the storage unit 22, and specifies which sound the sound signal acquired by the acquisition unit 23 includes.
  • the control unit 26 specifies, for example, that the sound signal acquired by the acquisition unit 23 includes the sound of the mitral valve closing and the sound of the tricuspid valve closing at the timing when the I sound is generated. For example, the control unit 26 identifies that the sound signal acquired by the acquisition unit 23 includes the sound of the pulmonary valve closing and the sound of the aortic valve closing at the timing when the II sound is generated.
  • the control unit 26 When specifying the type of sound, the control unit 26 also specifies the first position, which is the position where the sound is generated. For example, when the control unit 26 identifies that the sound signal acquired by the acquisition unit 23 includes the sound of closing the mitral valve, the position where the sound of closing the mitral valve is generated, that is, the mitral valve. Identify the location of.
  • the identification of the first position by the control unit 26 will be described with reference to FIGS. 3A and 3B. It is assumed that the waveforms shown in FIGS. 3A and 3B schematically show the sound signal generated at the first position.
  • FIG. 3A is a sound signal detected by the microphone 11 mounted at a position close to the first position.
  • FIG. 3B is a sound signal detected by the microphone 11 mounted at a position far from the first position. Looking at the sound signal of FIG. 3B, the amplitude is smaller and the phase is delayed as compared with the sound signal of FIG. 3A. Thus, the amplitude and phase of the sound signal depends on the distance from the first position. Therefore, if the relative positions of the plurality of microphones 11-1 to 11-6 are known, the amplitude and phase of the sound signal based on the sound detected by each microphone 11 and the relative positions of the plurality of microphones 11-1 to 11-6 are relative to each other. The first position can be specified based on the position.
  • the relative positions of the plurality of microphones 11-1 to 11-6 are fixed, and the information on the relative positions of the plurality of microphones 11-1 to 11-6 is stored in the storage unit 22.
  • the control unit 26 is based on the amplitude and phase of the sound signal acquired from each microphone 11 with respect to the sound whose sound source is a predetermined biological part, and the relative positions of the plurality of microphones 11-1 to 11-6. Specify the position of 1. For example, when a predetermined biological part is a mitral valve, the control unit 26 has a plurality of amplitudes and phases of sound signals acquired by the acquisition unit 23 from each microphone 11 with respect to the sound of the mitral valve as a sound source. The position of the mitral valve is specified based on the relative positions of the microphones 11-1 to 11-6.
  • the control unit 26 similarly specifies the position of the tricuspid valve, the position of the pulmonary valve, and the position of the aortic valve.
  • the control unit 26 does not need to specify all of the mitral valve position, the tricuspid valve position, the pulmonary valve position, and the aortic valve position as the first position.
  • the control unit 26 may specify at least one of the position of the mitral valve, the position of the tricuspid valve, the position of the pulmonary valve, and the position of the aortic valve as the first position.
  • the control unit 26 moves the positions of the plurality of microphones 11-1 to 11-6.
  • the notification information recommended to be used may be output to the output unit 25.
  • the control unit 26 sets the mounting locations of the plurality of microphones 11-1 to 11-6 so that the position near the center surrounded by the plurality of microphones 11-1 to 11-6 is near the first position.
  • the information to be navigated may be output to the output unit 25.
  • the control unit 26 When the control unit 26 specifies the first position, the control unit 26 estimates the second position based on the information of the relative positional relationship between the first position and the second position stored in the storage unit 22. To do. When the stenotic sound of the coronary artery is the detection target, the control unit 26 estimates the position of the coronary artery as the second position.
  • FIG. 4 shows a schematic diagram in which the control unit 26 estimates the position of the coronary artery based on the position of the aortic valve and the position of the pulmonary valve.
  • P1 is the position of the aortic valve specified by the control unit 26 based on the sound signal acquired by the acquisition unit 23.
  • P2 is the position of the pulmonary valve identified by the control unit 26 based on the sound signal acquired by the acquisition unit 23.
  • P3 is the position of the coronary artery estimated by the control unit 26 based on P1 and P2.
  • the control unit 26 controls the directivity of the plurality of microphones 11-1 to 11-6 so that the sensitivity is higher with respect to the second position.
  • the control unit 26 controls the directivity of the plurality of microphones 11-1 to 11-6 by, for example, adjusting and synthesizing the delay amount of the sound signals acquired from the microphones 11-1 to 11-6.
  • the control unit 26 controls the directivity of the plurality of microphones 11-1 to 11-6 so as to have high sensitivity with respect to the second position, so that the sound signal generated at the second position has high sensitivity. Can be obtained.
  • the control unit 26 does not have to use the sound signals of all the microphones 11-1 to 11-6 when controlling the directivity of the plurality of microphones 11-1 to 11-6.
  • the control unit 26 may control the directivity of the microphone 11 by using the sound signals of at least two microphones 11 among the plurality of microphones 11-1 to 11-6.
  • the output unit 25 outputs information based on the sound signal acquired by the acquisition unit 23 in a state where the directivity of the plurality of microphones 11-1 to 11-6 is controlled so as to increase the sensitivity with respect to the second position. To do.
  • the output unit 25 may output information based on the sound signal acquired by the acquisition unit 23 in various modes.
  • the output unit 25 may display, for example, a graph-like sound signal with the horizontal axis as the time axis and the vertical axis as the amplitude on the display. Further, the output unit 25 may output a sound signal as voice from the speaker, for example.
  • the control unit 26 may determine the strength of the sound signal acquired from the second position and output an index based on the determination result to the output unit 25.
  • the control unit 26 may determine, for example, whether or not the intensity of the sound signal acquired from the second position is equal to or higher than a predetermined threshold value. For example, when the intensity of the sound signal acquired from the second position is equal to or higher than a predetermined threshold value, the control unit 26 may display a display such as “there is a stenotic sound in the coronary artery” on the output unit 25. For example, the control unit 26 may compare the intensity of the sound signal acquired from the second position with a plurality of threshold values and determine it in multiple stages.
  • control unit 26 calculates an index (referred to as “stenosis retention”) to the extent that stenosis is assumed based on the intensity of the stenosis sound of the coronary artery, and obtains “stenosis retention: 0.8”. Such a display may be displayed on the output unit 25.
  • the control unit 26 may perform the determination process for the sound signal generated at the second position using the learning model learned by machine learning.
  • the learning model may be, for example, a learning model learned based on the actual sound of coronary artery stenosis.
  • the learning model may be stored in the storage unit 22.
  • FIGS. 5A to 5C show schematic views of how a weak sound signal, a stenotic sound of a coronary artery, is acquired with high sensitivity.
  • FIG. 5A is a schematic diagram showing a sound signal before noise cancellation and directivity control of the microphone 11.
  • FIG. 5B is a schematic diagram showing a sound signal at the stage of noise cancellation.
  • FIG. 5C is a schematic diagram showing a sound signal at a stage where the directivity of the microphone 11 is controlled in addition to noise cancellation.
  • the region indicated by R1 indicates the region where the I sound is detected.
  • the region indicated by R2 indicates a region where the II sound is detected.
  • R3 indicates the region where the stenotic sound of the coronary artery is detected.
  • FIG. 5A it is difficult to determine whether or not a coronary artery stenosis sound is generated in R3.
  • FIG. 5B due to the noise cancellation, a slight coronary artery stenosis sound is observed in R3, but it is still minute.
  • FIG. 5C the control of the directivity of the microphone 11 emphasizes the coronary artery stenosis sound detected in R3.
  • the operation of the sound detection system 1 will be described with reference to the flowchart shown in FIG.
  • the operation shown in FIG. 6 is executed in a state where a plurality of microphones 11-1 to 11-6 of the sound detection device 10 are attached to the living body.
  • the acquisition unit 23 of the information processing device 20 acquires sound signals from a plurality of microphones 11-1 to 11-6 (step S101).
  • the control unit 26 of the information processing device 20 identifies the first position based on the sound signal acquired by the acquisition unit 23 in step S101 (step S102).
  • the control unit 26 may specify the first position by using the sound signal after noise cancellation.
  • the control unit 26 estimates the second position based on the first position specified in step S102 (step S103).
  • the control unit 26 controls the directivity of the plurality of microphones 11-1 to 11-6 so as to have high sensitivity with respect to the second position estimated in step S103 (step S104).
  • the control unit 26 outputs information based on the sound signal acquired by the acquisition unit 23 in a state where the directivity of the plurality of microphones 11-1 to 11-6 is controlled so as to increase the sensitivity with respect to the second position. It may be output to the unit 25.
  • the acquisition unit 23 acquires sound signals based on the sounds inside the living body from the plurality of microphones 11-1 to 11-6.
  • the control unit 26 identifies the first position, which is the position of a predetermined biological part, based on the sound signal acquired by the acquisition unit 23, and the second position has a predetermined relative positional relationship with the first position. The position is estimated, and the directivity of the plurality of microphones 11-1 to 11-6 is controlled so that the sensitivity to the second position is high.
  • the output unit 25 receives information based on the sound signal acquired by the acquisition unit 23 in a state where the directivity of the plurality of microphones 11-1 to 11-6 is controlled so as to increase the sensitivity with respect to the second position. Is output.
  • the sound detection system 1 according to the present embodiment can increase the detection sensitivity for weak sounds inside the living body.
  • the sound detection system 1 enhances the detection sensitivity for the weak sound inside the living body, so that a weak sound such as a stenotic sound of a coronary artery can be produced by a plurality of microphones 11-1 to 11-. It can be detected by a simple measurement using 6.
  • FIG. 7 is a functional block diagram of the sound detection system 2 according to the second embodiment of the present disclosure.
  • the sound detection system 2 includes a sound detection device 15, an information processing device 20, an external sound detection microphone 30, and an image pickup device 40.
  • the differences from the sound detection system 1 according to the first embodiment will be mainly described, and the common points and similarities with the sound detection system 1 according to the first embodiment will be described. The points will not be described as appropriate.
  • the sound detection device 15 includes a plurality of microphones 11-1 to 11-6 and a second coupling member 13. Although FIG. 7 shows six microphones 11-1 to 11-6, the number of microphones 11 is not limited to six. The number of microphones 11 may be any number of two or more.
  • the second coupling member 13 couples the microphones 11-1 to 11-6 so that the relative positions of the plurality of microphones 11-1 to 11-6 are variable. Let me.
  • the second connecting member 13 may be made of an elastic material such as rubber.
  • the second coupling member 13 couples the microphone 11-1 and the microphone 11-2. Further, the second coupling member 13 couples the microphone 11-3 and the microphone 11-4. Further, the second coupling member 13 couples the microphones 11-5 and the microphones 11-6. Further, the second coupling member 13 couples the microphone 11-1 and the microphone 11-3. Further, the second coupling member 13 couples the microphone 11-3 and the microphone 11-5. Further, the second coupling member 13 couples the microphone 11-2 and the microphone 11-4. Further, the second coupling member 13 couples the microphone 11-4 and the microphone 11-6.
  • FIG. 8 shows an example in which a plurality of microphones 11-1 to 11-16 are attached near the heart of the human body 100.
  • the second coupling member 13 couples the microphones 11-1 to 11-6 so that the relative positions of the plurality of microphones 11-1 to 11-6 are variable. Therefore, a plurality of microphones 11-1 to 11-6 can be mounted at a desired position on the human body 100 with a high degree of freedom. The user can wear the plurality of microphones 11-1 to 11-6 while avoiding obstacles such as ribs.
  • the image pickup device 40 can image a plurality of microphones 11-1 to 11-6 in a state of being attached to a living body. When the user captures a plurality of microphones 11-1 to 11-6, the image pickup device 40 outputs the captured image to the information processing device 20.
  • the image pickup device 40 may be connected to the information processing device 20 by wire. Further, the image pickup device 40 may have a wireless communication function. When having a wireless communication function, the image pickup device 40 may wirelessly transmit the captured image to the information processing device 20.
  • the acquisition unit 23 of the information processing device 20 acquires images of a plurality of microphones 11-1 to 11-6 captured by the image pickup device 40.
  • the control unit 26 of the information processing device 20 analyzes the images of the plurality of microphones 11-1 to 11-6 acquired by the acquisition unit 23, and calculates the relative positions of the plurality of microphones 11-1 to 11-6. By using the calculated relative positions of the plurality of microphones 11-1 to 11-6, the control unit 26 determines the first position based on the sound signal acquired by the acquisition unit 23, as in the first embodiment. Can be identified.
  • each component and each step can be rearranged so as not to be logically inconsistent, and a plurality of components or steps can be combined or divided into one. Is.
  • the sound detection device 10 the information processing device 20, and the external sound detection microphone 30 are shown as separate devices, but the configuration is not limited to this.
  • the sound detection device 10 may be incorporated in the information processing device 20.
  • the external sound detection microphone 30 may be incorporated in the information processing device 20.
  • the images of the plurality of microphones 11-1 to 11-6 captured by the image pickup apparatus 40 are analyzed, and the relative positions of the plurality of microphones 11-1 to 11-6 are calculated.
  • the method of calculating the relative positions of the plurality of microphones 11-1 to 11-6 whose relative positions are variable is not limited to this.
  • the sound detection system 2 according to the second embodiment may include a relative position measuring means capable of measuring the relative positions of the plurality of microphones 11-1 to 11-6, and the control unit 26 may include the relative position measuring means.
  • the relative positions of the plurality of microphones 11-1 to 11-6 may be calculated based on the relative positions of the plurality of microphones 11-1 to 11-6 measured by.
  • the relative position measuring means may include, for example, a strain sensor and an angle sensor.
  • the strain sensor can measure the distance between the microphones 11.
  • the angle sensor can also measure the angle between the microphones 11. Based on the measurement result of the strain sensor and the measurement result of the angle sensor, the control unit 26 may calculate the relative positions of the plurality of microphones 11-1 to 11-6.
  • the relative position measuring means may include, for example, a magnetic field generator and magnetic sensors provided in a plurality of microphones 11-1 to 11-6. The magnetic sensor can measure the angle between the microphones 11. Based on the measurement result of this magnetic sensor, the control unit 26 may calculate the relative positions of the plurality of microphones 11-1 to 11-6.
  • the sound detection device 15, the information processing device 20, the external sound detection microphone 30, and the image pickup device 40 are shown as separate devices, but the configuration is not limited to this.
  • the sound detection device 15 may be incorporated in the information processing device 20.
  • the external sound detection microphone 30 may be incorporated in the information processing device 20.
  • the image pickup apparatus 40 may be incorporated in the information processing apparatus 20.
  • the coronary artery stenosis sound is detected as a weak sound
  • the weak sound to be detected is not limited to the coronary artery stenosis sound.
  • the sound detection system 1 according to the first embodiment and the sound detection system 2 according to the second embodiment can also be applied to detect a weak sound other than the stenotic sound of the coronary artery.
  • This disclosure relates to a sound detection system and an information processing device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

音検出システムは、生体の内部の音を検出し、検出した音に基づく音信号を出力可能な複数のマイクと、情報処理装置と、を備え、前記情報処理装置は、前記複数のマイクから音信号を取得する取得部と、制御部と、出力部と、を備え、前記制御部は、前記取得部が取得した前記音信号に基づいて、所定の生体部位の位置である第１の位置を特定し、前記第１の位置と所定の相対的な位置関係にある第２の位置を推定し、前記第２の位置に対して感度が高くなるように、前記複数のマイクの指向性を制御し、前記出力部は、前記第２の位置に対して感度が高くなるように前記複数のマイクの指向性が制御された状態で前記取得部が取得した音信号に基づく情報を出力する。

Description

音検出システム及び情報処理装置
　本開示は、音検出システム及び情報処理装置に関する。
　従来、患者の心臓の状態を診断するために、聴診器などによって心音を聴診することが行われている。
　心音には、Ｉ音と称される音、及びＩＩ音と称される音がある。Ｉ音は、僧帽弁及び三尖弁が閉じる時に聞こえる音である。ＩＩ音は、肺動脈弁及び大動脈弁が閉じる時に聞こえる音である。
　例えば特許文献１は、複数のセンサを用いて心音を検出し、検出した心音のうちから、例えば僧帽弁が閉じる音のような特定の音を選択して、選択した特定の音を増幅する技術を開示している。
特開２０１９－１０４３６号公報
　冠動脈に狭窄があると、ＩＩ音の直後に狭窄音が発生する。冠動脈の狭窄音を検出することは、狭心症及び心筋梗塞のような冠動脈疾患の予兆を捉えることとなり有用である。
　しかしながら、冠動脈の狭窄音は微弱な音であり、このような微弱な音を検出することが困難であった。
　本開示の目的は、上記問題に鑑み、生体の内部の微弱な音に対する検出感度を高めることができる音検出システム及び情報処理装置を提供することにある。
　本開示の第１の態様としての音検出システムは、生体の内部の音を検出し、検出した音に基づく音信号を出力可能な複数のマイクと、情報処理装置と、を備え、前記情報処理装置は、前記複数のマイクから音信号を取得する取得部と、制御部と、出力部と、を備え、前記制御部は、前記取得部が取得した前記音信号に基づいて、所定の生体部位の位置である第１の位置を特定し、前記第１の位置と所定の相対的な位置関係にある第２の位置を推定し、前記第２の位置に対して感度が高くなるように、前記複数のマイクの指向性を制御し、前記出力部は、前記第２の位置に対して感度が高くなるように前記複数のマイクの指向性が制御された状態で前記取得部が取得した音信号に基づく情報を出力する。
　本開示の一実施形態としての音検出システムにおいて、前記情報処理装置は、前記第１の位置と前記第２の位置との前記所定の相対的な位置関係の情報を格納している記憶部をさらに備える。
　本開示の一実施形態としての音検出システムにおいて、前記制御部は、前記所定の生体部位を音源とする音に対して前記各マイクから取得した音信号の振幅及び位相と、前記複数のマイクの相対位置とに基づいて、前記第１の位置を特定する。
　本開示の一実施形態としての音検出システムにおいて、前記制御部は、前記各マイクから取得した音信号の遅延量を調整して合成することにより、前記複数のマイクの指向性を制御する。
　本開示の一実施形態としての音検出システムにおいて、前記制御部は、前記第２の位置から取得した音信号の強度を判定し、判定結果に基づく指標を前記出力部に出力させる。
　本開示の一実施形態としての音検出システムにおいて、前記制御部は、前記第２の位置に対して感度が高くなるように、前記複数のマイクのうちの少なくとも２つのマイクの指向性を制御する。
　本開示の一実施形態としての音検出システムにおいて、前記制御部は、前記第１の位置が前記複数のマイクの位置から所定の距離以上離れている場合、前記複数のマイクの位置を移動することを推奨する報知情報を前記出力部に出力させる。
　本開示の一実施形態としての音検出システムにおいて、前記複数のマイクの相対位置は固定である。
　本開示の一実施形態としての音検出システムにおいて、前記複数のマイクの相対位置は可変であり、前記音検出システムは、前記複数のマイクのそれぞれの相対位置を測定する相対位置測定手段をさらに備え、前記制御部は、前記相対位置測定手段が測定した前記複数のマイクのそれぞれの相対位置に基づいて、前記複数のマイクの相対位置を算出する。
　本開示の一実施形態としての音検出システムは、撮像装置をさらに備え、前記音検出システムにおいて、前記複数のマイクの相対位置は可変であり、前記制御部は、前記撮像装置が撮像した前記複数のマイクの画像に基づいて、前記複数のマイクの相対位置を算出する。
　本開示の第２の態様としての情報処理装置は、生体の内部の音を検出し、検出した音に基づく音信号を出力可能な複数のマイクと、前記複数のマイクから音信号を取得する取得部と、制御部と、出力部と、を備え、前記制御部は、前記取得部が取得した前記音信号に基づいて、所定の生体部位の位置である第１の位置を特定し、前記第１の位置と所定の相対的な位置関係にある第２の位置を推定し、前記第２の位置に対して感度が高くなるように、前記複数のマイクの指向性を制御し、前記出力部は、前記第２の位置に対して感度が高くなるように前記複数のマイクの指向性が制御された状態で前記取得部が取得した音信号に基づく情報を出力する。
　本開示の音検出システム及び情報処理装置によると、生体の内部の微弱な音に対する検出感度を高めることができる。
本開示の第１実施形態に係る音検出システムの機能ブロック図である。 相対位置が固定の複数のマイクを人体の心臓付近に装着した一例を示す図である。 音信号の一例を示す図である。 音信号の一例を示す図である。 第１の位置に基づいて第２の位置を推定した一例を示す図である。 ノイズキャンセルの効果及び複数のマイクの指向性の制御の効果を説明するための図である。 ノイズキャンセルの効果及び複数のマイクの指向性の制御の効果を説明するための図である。 ノイズキャンセルの効果及び複数のマイクの指向性の制御の効果を説明するための図である。 本開示の第１実施形態に係る音検出システムの動作の一例を示すフローチャートである。 本開示の第２実施形態に係る音検出システムの機能ブロック図である。 相対位置が可変の複数のマイクを人体の心臓付近に装着した一例を示す図である。
　以下、本開示の実施形態について、図面を参照して説明する。各図において共通の構成部には、同一の符号を付している。
（第１実施形態）
　図１は、本開示の第１実施形態に係る音検出システム１の機能ブロック図である。図１を参照して、本開示の第１実施形態に係る音検出システム１の構成及び概要を説明する。
　音検出システム１は、音検出装置１０と、情報処理装置２０と、外部音検出マイク３０とを備える。
　音検出装置１０は、人体などの生体に装着されて生体の内部の音を検出することが可能な装置である。音検出装置１０は、検出した生体の内部の音に基づく音信号を情報処理装置２０に出力する。音検出装置１０は、情報処理装置２０と有線で接続されていてもよいし、情報処理装置２０と無線で通信可能に接続されていてもよい。
　音検出装置１０は、複数のマイク１１－１～１１－６と、第１結合部材１２とを備える。マイク１１－１～１１－６について特に区別する必要がない場合、以後、単にマイク１１と称する場合がある。図１においては、６個のマイク１１－１～１１－６を示しているが、マイク１１の個数は６個に限定されない。マイク１１は２個以上の任意の個数であってよい。
　マイク１１は、人体などの生体の表面に装着可能である。マイク１１は、生体の表面に装着された状態で、生体の内部の音を検出可能である。マイク１１は、例えば、粘着性を有するシートを備え、粘着性を有するシートによって生体に貼り付け可能であってよい。マイク１１を生体へ装着させる方法は、貼り付けに限定されない。マイク１１は、貼り付け以外の方法で、生体に装着されてよい。
　マイク１１は、検出した生体の内部の音に基づく音信号を情報処理装置２０に出力する。マイク１１は、情報処理装置２０と有線で接続されていてよい。また、マイク１１は、無線通信機能を有してもよい。無線通信機能を有する場合、マイク１１は、情報処理装置２０と無線で通信可能に接続されていてもよい。
　第１結合部材１２は、複数のマイク１１の相対位置が固定となるように、複数のマイク１１を結合させる。第１結合部材１２は、複数のマイク１１の相対位置を固定できるように、例えば剛性の高い材料で構成されていてよい。
　図１に示す例においては、第１結合部材１２は、マイク１１－１とマイク１１－２とを結合させる。また、第１結合部材１２は、マイク１１－３とマイク１１－４とを結合させる。また、第１結合部材１２は、マイク１１－５とマイク１１－６とを結合させる。また、第１結合部材１２は、マイク１１－１とマイク１１－３とを結合させる。また、第１結合部材１２は、マイク１１－３とマイク１１－５とを結合させる。また、第１結合部材１２は、マイク１１－２とマイク１１－４とを結合させる。また、第１結合部材１２は、マイク１１－４とマイク１１－６とを結合させる。
　音検出装置１０は、検出対象の音が発生することが想定される付近において、生体の表面に装着して用いられる。本実施形態においては、検出対象の音が冠動脈の狭窄音である場合を例に挙げて説明する。この場合、音検出装置１０の複数のマイク１１－１～１１－６は、人体の心臓付近に装着される。図２に、複数のマイク１１－１～１１－１６が、人体１００の心臓付近に装着されている場合の一例を示す。
　情報処理装置２０は、音検出システム１に用いられる専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。汎用のコンピュータである場合、情報処理装置２０は、例えば、タブレット端末、スマートフォン、ノートＰＣ（Personal Computer）、又はデスクトップＰＣなどであってよい。
　情報処理装置２０は、音検出装置１０から、音検出装置１０が検出した音に基づく音信号を取得する。また、情報処理装置２０は、外部音検出マイク３０から、外部音検出マイク３０が検出した音に基づく音情報を取得する。
　情報処理装置２０は、音検出装置１０から取得した音信号を処理し、検出対象である微弱な音に対する感度を高める。以後、情報処理装置２０の構成について説明し、情報処理装置２０の動作の詳細については後述する。
　情報処理装置２０は、通信部２１と、記憶部２２と、取得部２３と、入力部２４と、出力部２５と、制御部２６とを備える。
　通信部２１は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮ（Local Area Network）インタフェース、又はBluetooth（登録商標）インタフェースなどである。通信部２１は、ネットワークを介して又は直接、各種装置と通信可能である。音検出装置１０が無線通信機能を有する場合、通信部２１は、音検出装置１０と無線通信可能である。外部音検出マイク３０が無線通信機能を有する場合、通信部２１は、外部音検出マイク３０と無線通信可能である。
　記憶部２２は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限定されない。記憶部２２は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部２２は、情報処理装置２０の動作に用いられる任意の情報を記憶する。例えば、記憶部２２は、システムプログラム、アプリケーションプログラム、及び通信部２１によって受信された各種情報等を記憶してもよい。記憶部２２に記憶された情報は、例えば通信部２１を介して受信される情報で更新可能であってもよい。記憶部２２の一部は、情報処理装置２０の外部に設置されていてもよい。その場合、外部に設置されている記憶部２２の一部は、任意のインタフェースを介して情報処理装置２０と接続されてよい。
　取得部２３は、音検出装置１０から、音検出装置１０が検出した音に基づく音信号を取得する。取得部２３は、通信部２１を介して、音検出装置１０から音信号を取得してもよい。
　取得部２３は、外部音検出マイク３０から、外部音検出マイク３０が検出した音に基づく音情報を取得する。取得部２３は、通信部２１を介して、外部音検出マイク３０から音信号を取得してもよい。
　入力部２４は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力用インタフェースを含む。例えば、入力部２４は、物理キー、静電容量キー、出力部２５のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限定されない。
　出力部２５は、情報を出力してユーザに通知する１つ以上の出力用インタフェースを含む。例えば、出力部２５は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカ等を含むが、これらに限定されない。出力部２５は、様々な態様で情報を出力可能であってよい。
　制御部２６は、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせを含む。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）などの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）である。制御部２６は、情報処理装置２０の各部を制御しながら、情報処理装置２０の動作に関わる処理を実行する。
　外部音検出マイク３０は、外部音を検出することが可能なマイクである。ここで、「外部音」は、音検出システム１の周辺における環境音などのような、音検出装置１０が検出する音に対してノイズとなる音である。外部音検出マイク３０は、検出した外部音に基づく音信号を情報処理装置２０に出力する。外部音検出マイク３０は、情報処理装置２０と有線で接続されていてもよいし、情報処理装置２０と無線で通信可能に接続されていてもよい。
＜音検出システムの動作＞
　続いて、図１に示す音検出システム１の動作を説明する。
　音検出システム１は、生体の内部の微弱な音に対する検出感度を高めることができる。以後の説明においては、生体の内部の微弱な音として、冠動脈の狭窄音を検出する場合を具体的な例として挙げながら説明する。
　音検出システム１のユーザは、検出対象である微弱な音が発生することが想定される位置の周辺に音検出装置１０を装着する。例えば、冠動脈の狭窄音が検出対象である場合、音検出システム１のユーザは、音検出装置１０を人体の心臓付近に装着する。図２は、人体１００の心臓付近に、音検出装置１０が備えるマイク１１－１～１１－６が装着されている様子を示す図である。
　マイク１１－１～１１－６は、それぞれ、検出した人体の内部の音に基づく音信号を情報処理装置２０に出力する。
　情報処理装置２０の取得部２３は、複数のマイク１１－１～１１－６から、複数のマイク１１－１～１１－６が検出した音に基づく音信号を取得する。
　取得部２３は、外部音検出マイク３０から、外部音検出マイク３０が検出した外部音に基づく音信号を取得する。
　情報処理装置２０の制御部２６は、マイク１１－１～１１－６から取得した音信号から、外部音検出マイク３０から取得した音信号を差し引いて、ノイズキャンセルを行う。これにより、音検出システム１は、マイク１１－１～１１－６から取得した音信号に含まれる、外部音に起因するノイズ成分を低減することができる。
　なお、音検出システム１がノイズキャンセルを行うことは必須ではなく、音検出システム１は、ノイズキャンセルを行わなくてもよい。ノイズキャンセルを行わない構成である場合、音検出システム１は、外部音検出マイク３０を備えていなくてもよい。
　制御部２６は、取得部２３が取得した音信号に基づいて、所定の生体部位の位置である第１の位置を特定する。取得部２３が取得した音信号はノイズキャンセルされていてもよいし、されていなくてもよい。ここで、「第１の位置」は、検出対象である微弱な音が発生することが想定される位置と所定の相対的な位置関係にある生体部位の位置である。冠動脈の狭窄音が検出対象である場合、微弱な音が発生することが想定される位置は冠動脈の位置である。以後、微弱な音が発生することが想定される位置のことを「第２の位置」とも称する。
　第２の位置が冠動脈の位置である場合、第２の位置と所定の相対的な位置関係にある第１の位置にある所定の生体部位は、例えば、僧帽弁、三尖弁、肺動脈弁、及び大動脈弁である。第１の位置にある生体部位は、検出対象である微弱な音よりも大きな音を発生させる生体部位であるため、マイク１１は、第１の位置で発生する音を、第２の位置で発生する音よりも容易に検出することができる。
　記憶部２２は、第１の位置と第２の位置との相対的な位置関係の情報を格納している。記憶部２２は、少なくとも１つの第１の位置について、第１の位置と第２の位置との相対的な位置関係の情報を格納している。第２の位置が冠動脈の位置である場合、第１の位置は、例えば、僧帽弁の位置、三尖弁の位置、肺動脈弁の位置、及び大動脈弁の位置である。この場合、記憶部２２は、僧帽弁の位置と冠動脈の位置との相対的な位置関係、三尖弁の位置と冠動脈の位置との相対的な位置関係、肺動脈弁の位置と冠動脈の位置との相対的な位置関係、及び、大動脈弁の位置と冠動脈の位置との相対的な位置関係のうちの少なくとも１つの相対的な位置関係を格納している。
　背景技術の欄にて説明したように、心音には、Ｉ音と称される音、及びＩＩ音と称される音がある。Ｉ音は、僧帽弁及び三尖弁が閉じる時に聞こえる音である。ＩＩ音は、肺動脈弁及び大動脈弁が閉じる時に聞こえる音である。
　Ｉ音は、僧帽弁が閉じる時に発する音と、三尖弁が閉じる時に発する音とが重ね合わされた音である。ＩＩ音は、肺動脈弁が閉じる時に発する音と、大動脈弁が閉じる時に発する音とが重ね合わされた音である。
　記憶部２２は、僧帽弁が閉じる時に発する音のサンプルに基づいて抽出された、僧帽弁が閉じる音の特徴量を格納している。特徴量は、例えば、ＦＦＴ（Fast Fourier Transform）などの周波数解析によって得られたスペクトル特徴量などを含んでよい。
　僧帽弁が閉じる時に発する音のサンプルは、被測定者自身に対する測定によって得られたサンプルであってもよいし、他の測定者に対する測定によって得られたサンプルであってもよい。
　記憶部２２は、同様に、三尖弁が閉じる音の特徴量、肺動脈弁が閉じる音の特徴量、及び、大動脈弁が閉じる音の特徴量を格納している。なお、記憶部２２が、僧帽弁が閉じる音の特徴量、三尖弁が閉じる音の特徴量、肺動脈弁が閉じる音の特徴量、及び、大動脈弁が閉じる音の特徴量を格納しているとしたのは一例であり、記憶部２２は、第１の位置で発することが想定される任意の音の特徴量を格納している。
　制御部２６は、音検出装置１０から取得部２３が取得した音信号に対して、ＦＦＴなどの周波数解析を実行し、該音信号に含まれる特徴量を抽出する。制御部２６は、抽出した特徴量と、記憶部２２が格納している各種サンプルの特徴量とを対比し、取得部２３が取得した音信号がどの音を含むかを特定する。
　制御部２６は、例えば、Ｉ音が発生しているタイミングにおいては、取得部２３が取得した音信号は、僧帽弁が閉じる音、及び三尖弁が閉じる音を含むと特定する。制御部２６は、例えば、ＩＩ音が発生しているタイミングにおいては、取得部２３が取得した音信号は、肺動脈弁が閉じる音、及び大動脈弁が閉じる音を含むと特定する。
　制御部２６は、音の種類を特定する際、その音が発生している位置である第１の位置についても特定する。例えば、制御部２６は、取得部２３が取得した音信号に僧帽弁が閉じる音が含まれていると特定する際、僧帽弁が閉じる音が発生している位置、すなわち、僧帽弁の位置を特定する。
　制御部２６による第１の位置の特定について、図３Ａ及び図３Ｂを参照して説明する。図３Ａ及び図３Ｂに示す波形は、第１の位置で発生した音信号を模式的に示しているものとする。
　図３Ａは、第１の位置に近い位置に装着されたマイク１１が検出した音信号である。図３Ｂは、第１の位置から遠い位置に装着されたマイク１１が検出した音信号である。図３Ｂの音信号を見ると、図３Ａの音信号に比べて、振幅が小さく位相が遅れている。このように、音信号の振幅及び位相は、第１の位置からの距離に依存する。したがって、複数のマイク１１－１～１１－６の相対位置がわかっていれば、各マイク１１が検出した音に基づく音信号の振幅及び位相と、複数のマイク１１－１～１１－６の相対位置とに基づいて、第１の位置を特定することができる。
　複数のマイク１１－１～１１－６の相対位置は固定であり、複数のマイク１１－１～１１－６の相対位置の情報は、記憶部２２に格納されている。
　制御部２６は、所定の生体部位を音源とする音に対して各マイク１１から取得した音信号の振幅及び位相と、複数のマイク１１－１～１１－６の相対位置とに基づいて、第１の位置を特定する。例えば所定の生体部位が僧帽弁である場合、制御部２６は、僧帽弁を音源とする音に対して、各マイク１１から取得部２３が取得した音信号の振幅及び位相と、複数のマイク１１－１～１１－６の相対位置とに基づいて、僧帽弁の位置を特定する。
　制御部２６は、同様にして、三尖弁の位置、肺動脈弁の位置、及び大動脈弁の位置を特定する。
　なお、制御部２６は、第１の位置として、僧帽弁の位置、三尖弁の位置、肺動脈弁の位置、及び大動脈弁の位置の全てを特定する必要はない。制御部２６は、第１の位置として、僧帽弁の位置、三尖弁の位置、肺動脈弁の位置、及び大動脈弁の位置のうちの少なくとも１つの位置を特定すればよい。
　制御部２６は、特定した第１の位置が、複数のマイク１１－１～１１－６の位置から所定の距離以上離れている場合、複数のマイク１１－１～１１－６の位置を移動することを推奨する報知情報を、出力部２５に出力させてもよい。または、制御部２６は、複数のマイク１１－１～１１－６によって囲まれる中心付近の位置が第１の位置の付近になるように、複数のマイク１１－１～１１－６の装着場所をナビゲートする情報を、出力部２５に出力させてもよい。
　制御部２６は、第１の位置を特定すると、記憶部２２に格納されている、第１の位置と第２の位置との相対的な位置関係の情報に基づいて、第２の位置を推定する。冠動脈の狭窄音が検出対象である場合、制御部２６は、第２の位置として、冠動脈の位置を推定する。
　図４に、制御部２６が、大動脈弁の位置と肺動脈弁の位置とに基づいて、冠動脈の位置を推定している模式図を示す。図４において、Ｐ１は、取得部２３が取得した音信号に基づいて制御部２６が特定した大動脈弁の位置である。Ｐ２は、取得部２３が取得した音信号に基づいて制御部２６が特定した肺動脈弁の位置である。Ｐ３は、Ｐ１及びＰ２に基づいて制御部２６が推定した冠動脈の位置である。
　制御部２６は、第２の位置を推定すると、第２の位置に対して感度が高くなるように複数のマイク１１－１～１１－６の指向性を制御する。制御部２６は、例えば、各マイク１１－１～１１－６から取得した音信号の遅延量を調整して合成することにより、複数のマイク１１－１～１１－６の指向性を制御する。制御部２６は、第２の位置に対して感度が高くなるように複数のマイク１１－１～１１－６の指向性を制御することにより、第２の位置で発生する音信号を高い感度で取得することができる。
　制御部２６は、複数のマイク１１－１～１１－６の指向性を制御する際、全てのマイク１１－１～１１－６の音信号を用いなくてもよい。制御部２６は、複数のマイク１１－１～１１－６のうちの少なくとも２つのマイク１１の音信号を用いて、マイク１１の指向性を制御してよい。
　出力部２５は、第２の位置に対して感度が高くなるように複数のマイク１１－１～１１－６の指向性が制御された状態で取得部２３が取得した音信号に基づく情報を出力する。出力部２５は、様々な態様で、取得部２３が取得した音信号に基づく情報を出力してよい。
　出力部２５は、例えば、横軸を時間軸、縦軸を振幅としたグラフ状の音信号をディスプレイに表示させてよい。また、出力部２５は、例えば、音信号を音声としてスピーカから出力させてよい。
　制御部２６は、第２の位置から取得した音信号の強度を判定し、判定結果に基づく指標を出力部２５に出力させてよい。制御部２６は、例えば、第２の位置から取得した音信号の強度が所定の閾値以上であるか否かを判定してよい。制御部２６は、例えば、第２の位置から取得した音信号の強度が所定の閾値以上である場合、「冠動脈に狭窄音あり」のような表示を出力部２５に表示させてよい。制御部２６は、例えば、第２の位置から取得した音信号の強度を、複数の閾値と比較して、多段階で判定してもよい。制御部２６は、例えば、冠動脈の狭窄音の強度に基づいて、狭窄があると想定される程度の指標（「狭窄保有度」と称する）を算出し、「狭窄保有度：０．８」のような表示を出力部２５に表示させてもよい。
　制御部２６は、第２の位置で発生している音信号に対する判定処理を、機械学習で学習された学習モデルを用いて行ってもよい。学習モデルは、例えば実際の冠動脈の狭窄音に基づいて学習された学習モデルであってよい。学習モデルは、記憶部２２に格納されていてよい。
　図５Ａ～図５Ｃに、微弱な音信号である冠動脈の狭窄音が高い感度で取得されている様子の模式図を示す。図５Ａは、ノイズキャンセル及びマイク１１の指向性の制御をする前の音信号を示す模式図である。図５Ｂは、ノイズキャンセルをした段階の音信号を示す模式図である。図５Ｃは、ノイズキャンセルに加えてマイク１１の指向性の制御をした段階の音信号を示す模式図である。
　図５Ａ～図５Ｃにおいて、Ｒ１で示す領域はＩ音が検出されている領域を示す。Ｒ２で示す領域は、ＩＩ音が検出されている領域を示す。Ｒ３は、冠動脈の狭窄音が検出されている領域を示す。
　図５Ａを参照すると、Ｒ３に冠動脈の狭窄音が発生しているか否かを判定することは困難である。図５Ｂを参照すると、ノイズキャンセルが実行されたことにより、Ｒ３において冠動脈の狭窄音が若干見られるが、まだ微小である。図５Ｃを参照すると、マイク１１の指向性が制御されたことにより、Ｒ３において検出される冠動脈の狭窄音が強調されている。
　図６に示すフローチャートを参照して、音検出システム１の動作を説明する。図６に示す動作は、音検出装置１０の複数のマイク１１－１～１１－６が生体に装着されている状態で実行される。
　情報処理装置２０の取得部２３は、複数のマイク１１－１～１１－６から音信号を取得する（ステップＳ１０１）。
　情報処理装置２０の制御部２６は、ステップＳ１０１において取得部２３が取得した音信号に基づいて、第１の位置を特定する（ステップＳ１０２）。制御部２６は、第１の位置を特定する際、ノイズキャンセル後の音信号を用いて、第１の位置を特定してもよい。
　制御部２６は、ステップＳ１０２において特定した第１の位置に基づいて、第２の位置を推定する（ステップＳ１０３）。
　制御部２６は、ステップＳ１０３において推定した第２の位置に対して感度が高くなるように、複数のマイク１１－１～１１－６の指向性を制御する（ステップＳ１０４）。制御部２６は、第２の位置に対して感度が高くなるように複数のマイク１１－１～１１－６の指向性を制御した状態で取得部２３が取得した音信号に基づく情報を、出力部２５に出力させてよい。
　このように、本実施形態に係る音検出システム１によれば、取得部２３は、生体の内部の音に基づく音信号を複数のマイク１１－１～１１－６から取得する。制御部２６は、取得部２３が取得した音信号に基づいて、所定の生体部位の位置である第１の位置を特定し、第１の位置と所定の相対的な位置関係にある第２の位置を推定し、第２の位置に対して感度が高くなるように、複数のマイク１１－１～１１－６の指向性を制御する。そして、出力部２５は、第２の位置に対して感度が高くなるように複数のマイク１１－１～１１－６の指向性が制御された状態で取得部２３が取得した音信号に基づく情報を出力する。これにより、本実施形態に係る音検出システム１は、生体の内部の微弱な音に対する検出感度を高めることができる。
　また、本実施形態に係る音検出システム１は、生体の内部の微弱な音に対する検出感度を高めることで、例えば冠動脈の狭窄音のような微弱な音を、複数のマイク１１－１～１１－６を用いた簡便な測定により検出することができる。
（第２実施形態）
　図７は、本開示の第２実施形態に係る音検出システム２の機能ブロック図である。音検出システム２は、音検出装置１５と、情報処理装置２０と、外部音検出マイク３０と、撮像装置４０とを備える。
　第２実施形態に係る音検出システム２については、第１実施形態に係る音検出システム１との相違点について主に説明し、第１実施形態に係る音検出システム１との共通点及び類似する点については、適宜説明を省略する。
　音検出装置１５は、複数のマイク１１－１～１１－６と、第２結合部材１３とを備える。図７においては、６個のマイク１１－１～１１－６を示しているが、マイク１１の個数は６個に限定されない。マイク１１は２個以上の任意の個数であってよい。
　第２結合部材１３は、図１に示した第１結合部材１２と異なり、複数のマイク１１－１～１１－６の相対位置が可変となるように、マイク１１－１～１１－６を結合させる。第２結合部材１３は、例えばゴムのような弾性を有する材料で構成されていてよい。
　図７に示す例においては、第２結合部材１３は、マイク１１－１とマイク１１－２とを結合させる。また、第２結合部材１３は、マイク１１－３とマイク１１－４とを結合させる。また、第２結合部材１３は、マイク１１－５とマイク１１－６とを結合させる。また、第２結合部材１３は、マイク１１－１とマイク１１－３とを結合させる。また、第２結合部材１３は、マイク１１－３とマイク１１－５とを結合させる。また、第２結合部材１３は、マイク１１－２とマイク１１－４とを結合させる。また、第２結合部材１３は、マイク１１－４とマイク１１－６とを結合させる。
　図８に、複数のマイク１１－１～１１－１６が、人体１００の心臓付近に装着されている場合の一例を示す。第２実施形態に係る音検出装置１５は、第２結合部材１３が、複数のマイク１１－１～１１－６の相対位置が可変となるように、マイク１１－１～１１－６を結合させているため、複数のマイク１１－１～１１－６を高い自由度で人体１００の所望の位置に装着させることができる。ユーザは、例えば、肋骨のような障害物を避けて複数のマイク１１－１～１１－６を装着することができる。
　撮像装置４０は、生体に装着された状態の複数のマイク１１－１～１１－６を撮像可能である。撮像装置４０は、ユーザによって、複数のマイク１１－１～１１－６が撮像されると、撮像された画像を情報処理装置２０に出力する。
　撮像装置４０は、情報処理装置２０と有線で接続されていてよい。また、撮像装置４０は、無線通信機能を有してもよい。無線通信機能を有する場合、撮像装置４０は、撮像した画像を無線で情報処理装置２０に送信してもよい。
　情報処理装置２０の取得部２３は、撮像装置４０が撮像した複数のマイク１１－１～１１－６の画像を取得する。
　情報処理装置２０の制御部２６は、取得部２３が取得した複数のマイク１１－１～１１－６の画像を解析して、複数のマイク１１－１～１１－６の相対位置を算出する。制御部２６は、算出した複数のマイク１１－１～１１－６の相対位置を用いることで、第１実施形態と同様に、取得部２３が取得した音信号に基づいて、第１の位置を特定することができる。
　第２実施形態に係る音検出システム２のその他の動作は、第１実施形態に係る音検出システム１の動作と同様である。また、第２実施形態に係る音検出システム２は、第１実施形態に係る音検出システム１が有する効果と同様の効果を有する。
　本発明は、上述した各実施形態で特定された構成に限定されず、特許請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形が可能である。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　例えば、図１において、音検出装置１０と、情報処理装置２０と、外部音検出マイク３０とを別の装置として示しているが、この構成に限定されない。音検出装置１０は、情報処理装置２０に組み込まれていてもよい。外部音検出マイク３０は、情報処理装置２０に組み込まれていてもよい。
　また、例えば、第２実施形態の説明において、撮像装置４０が撮像した複数のマイク１１－１～１１－６の画像を解析して、複数のマイク１１－１～１１－６の相対位置を算出することを説明したが、相対位置が可変である複数のマイク１１－１～１１－６の相対位置を算出する方法はこれに限定されない。第２実施形態に係る音検出システム２は、複数のマイク１１－１～１１－６のそれぞれの相対位置を測定可能な相対位置測定手段を備えていてよく、制御部２６は、相対位置測定手段が測定した複数のマイク１１－１～１１－６のそれぞれの相対位置に基づいて、複数のマイク１１－１～１１－６の相対位置を算出してよい。相対位置測定手段は、例えば、ひずみセンサと角度センサとを備えていてよい。例えば図７に示す第２結合部材１３を伸縮性のひずみセンサで構成すれば、ひずみセンサがマイク１１の間の距離を測定することができる。また、角度センサは、マイク１１の間の角度を測定することができる。このひずみセンサの測定結果と角度センサの測定結果とに基づいて、制御部２６は、複数のマイク１１－１～１１－６の相対位置を算出してよい。また、相対位置測定手段は、例えば、磁場発生装置と、複数のマイク１１－１～１１－６に設けた磁気センサとを備えていてよい。磁気センサは、マイク１１の間の角度を測定することができる。この磁気センサの測定結果に基づいて、制御部２６は、複数のマイク１１－１～１１－６の相対位置を算出してよい。
　また、図７において、音検出装置１５と、情報処理装置２０と、外部音検出マイク３０と、撮像装置４０とを別の装置として示しているが、この構成に限定されない。音検出装置１５は、情報処理装置２０に組み込まれていてもよい。外部音検出マイク３０は、情報処理装置２０に組み込まれていてもよい。撮像装置４０は、情報処理装置２０に組み込まれていてもよい。
　また、各実施形態において、微弱な音として冠動脈の狭窄音を検出する場合を例に挙げて説明したが、検出対象となる微弱な音は冠動脈の狭窄音に限定されない。第１実施形態に係る音検出システム１及び第２実施形態に係る音検出システム２は、冠動脈の狭窄音以外の微弱な音を検出する場合にも適用可能である。
　本開示は、音検出システム及び情報処理装置に関する。
　１、２　音検出システム
　１０　音検出装置
　１１　マイク
　１２　第１結合部材
　１３　第２結合部材
　１５　音検出装置
　２０　情報処理装置
　２１　通信部
　２２　記憶部
　２３　取得部
　２４　入力部
　２５　出力部
　２６　制御部
　３０　外部音検出マイク
　４０　撮像装置
　１００　人体

Claims (11)

  1. 　生体の内部の音を検出し、検出した音に基づく音信号を出力可能な複数のマイクと、
    　情報処理装置と、を備え、
    　前記情報処理装置は、
    　　前記複数のマイクから音信号を取得する取得部と、
    　　制御部と、
    　　出力部と、を備え、
    　前記制御部は、
    　　前記取得部が取得した前記音信号に基づいて、所定の生体部位の位置である第１の位置を特定し、
    　　前記第１の位置と所定の相対的な位置関係にある第２の位置を推定し、
    　　前記第２の位置に対して感度が高くなるように、前記複数のマイクの指向性を制御し、
    　前記出力部は、前記第２の位置に対して感度が高くなるように前記複数のマイクの指向性が制御された状態で前記取得部が取得した音信号に基づく情報を出力する、音検出システム。
  2. 　請求項１に記載の音検出システムにおいて、
    　前記情報処理装置は、前記第１の位置と前記第２の位置との前記所定の相対的な位置関係の情報を格納している記憶部をさらに備える、音検出システム。
  3. 　請求項１又は２に記載の音検出システムにおいて、
    　前記制御部は、前記所定の生体部位を音源とする音に対して前記各マイクから取得した音信号の振幅及び位相と、前記複数のマイクの相対位置とに基づいて、前記第１の位置を特定する、音検出システム。
  4. 　請求項１から３のいずれか一項に記載の音検出システムにおいて、
    　前記制御部は、前記各マイクから取得した音信号の遅延量を調整して合成することにより、前記複数のマイクの指向性を制御する、音検出システム。
  5. 　請求項１から４のいずれか一項に記載の音検出システムにおいて、
    　前記制御部は、前記第２の位置から取得した音信号の強度を判定し、判定結果に基づく指標を前記出力部に出力させる、音検出システム。
  6. 　請求項１から５のいずれか一項に記載の音検出システムにおいて、
    　前記制御部は、前記第２の位置に対して感度が高くなるように、前記複数のマイクのうちの少なくとも２つのマイクの指向性を制御する、音検出システム。
  7. 　請求項１から６のいずれか一項に記載の音検出システムにおいて、
    　前記制御部は、前記第１の位置が前記複数のマイクの位置から所定の距離以上離れている場合、前記複数のマイクの位置を移動することを推奨する報知情報を前記出力部に出力させる、音検出システム。
  8. 　請求項１から７のいずれか一項に記載の音検出システムにおいて、
    　前記複数のマイクの相対位置は固定である、音検出システム。
  9. 　請求項１から７のいずれか一項に記載の音検出システムにおいて、
    　前記複数のマイクの相対位置は可変であり、
    　前記複数のマイクのそれぞれの相対位置を測定する相対位置測定手段をさらに備え、
    　前記制御部は、前記相対位置測定手段が測定した前記複数のマイクのそれぞれの相対位置に基づいて、前記複数のマイクの相対位置を算出する、音検出システム。
  10. 　請求項１から７のいずれか一項に記載の音検出システムにおいて、
    　撮像装置をさらに備え、
    　前記複数のマイクの相対位置は可変であり、
    　前記制御部は、前記撮像装置が撮像した前記複数のマイクの画像に基づいて、前記複数のマイクの相対位置を算出する、音検出システム。
  11. 　生体の内部の音を検出し、検出した音に基づく音信号を出力可能な複数のマイクと、
    　前記複数のマイクから音信号を取得する取得部と、
    　制御部と、
    　出力部と、を備え、
    　前記制御部は、
    　　前記取得部が取得した前記音信号に基づいて、所定の生体部位の位置である第１の位置を特定し、
    　　前記第１の位置と所定の相対的な位置関係にある第２の位置を推定し、
    　　前記第２の位置に対して感度が高くなるように、前記複数のマイクの指向性を制御し、
    　前記出力部は、前記第２の位置に対して感度が高くなるように前記複数のマイクの指向性が制御された状態で前記取得部が取得した音信号に基づく情報を出力する、情報処理装置。
PCT/JP2020/045125 2019-12-27 2020-12-03 音検出システム及び情報処理装置 WO2021131585A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080090349.2A CN114845641A (zh) 2019-12-27 2020-12-03 声音检测系统及信息处理装置
JP2021567142A JP7555964B2 (ja) 2019-12-27 2020-12-03 音検出システム及び情報処理装置
EP20907173.7A EP4079228B1 (en) 2019-12-27 2020-12-03 Sound detection system and information processing device
US17/848,973 US20220354450A1 (en) 2019-12-27 2022-06-24 Sound detection system and information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-239343 2019-12-27
JP2019239343 2019-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/848,973 Continuation US20220354450A1 (en) 2019-12-27 2022-06-24 Sound detection system and information processing device

Publications (1)

Publication Number Publication Date
WO2021131585A1 true WO2021131585A1 (ja) 2021-07-01

Family

ID=76573922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045125 WO2021131585A1 (ja) 2019-12-27 2020-12-03 音検出システム及び情報処理装置

Country Status (5)

Country Link
US (1) US20220354450A1 (ja)
EP (1) EP4079228B1 (ja)
JP (1) JP7555964B2 (ja)
CN (1) CN114845641A (ja)
WO (1) WO2021131585A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189443A1 (ja) * 2022-03-28 2023-10-05 テルモ株式会社 生体音測定装置、生体音測定方法、及びプログラム
WO2023239326A1 (en) * 2022-06-09 2023-12-14 Bogazici Universitesi Auscultation system and technique with noise reduction technique

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008528112A (ja) * 2005-01-20 2008-07-31 メッドスキャンソニックス・インコーポレイテッド 冠状動脈内の異常の音響診断用装置
JP2009188617A (ja) * 2008-02-05 2009-08-20 Yamaha Corp 収音装置
JP2011514199A (ja) * 2008-03-04 2011-05-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 体の音の非侵襲的分析
JP2015130904A (ja) * 2014-01-09 2015-07-23 株式会社日立メディコ 診察支援システム及び診察支援方法
JP2018044774A (ja) * 2016-09-12 2018-03-22 マイクロコントロールシステムズ株式会社 振動発生体の状態を推定するシステム、装置、プログラム及び方法
JP2019521756A (ja) * 2016-06-15 2019-08-08 シーヴイアール グローバル インコーポレイテッド 流体流動血管内の閉塞を検出する方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2238910B1 (en) 2009-04-08 2015-07-29 Alcatel Lucent Monitoring device
US20110137209A1 (en) * 2009-11-04 2011-06-09 Lahiji Rosa R Microphone arrays for listening to internal organs of the body
US8475396B2 (en) * 2011-02-11 2013-07-02 AventuSoft, LLC Method and system of an acoustic scene analyzer for body sounds
JP6471419B2 (ja) 2014-06-25 2019-02-20 Tdk株式会社 睡眠センサ
US20170209115A1 (en) * 2016-01-25 2017-07-27 Quattro Folia Oy Method and system of separating and locating a plurality of acoustic signal sources in a human body
US11045144B2 (en) * 2017-10-20 2021-06-29 Ausculsciences, Inc. Coronary artery disease detection signal processing system and method
US10820857B2 (en) * 2018-02-01 2020-11-03 Samer Nasry Home medical examination system and garment
US11717253B2 (en) * 2019-11-22 2023-08-08 Richard D. Jones Systems and methods for recording and/or monitoring heart activity

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008528112A (ja) * 2005-01-20 2008-07-31 メッドスキャンソニックス・インコーポレイテッド 冠状動脈内の異常の音響診断用装置
JP2009188617A (ja) * 2008-02-05 2009-08-20 Yamaha Corp 収音装置
JP2011514199A (ja) * 2008-03-04 2011-05-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 体の音の非侵襲的分析
JP2015130904A (ja) * 2014-01-09 2015-07-23 株式会社日立メディコ 診察支援システム及び診察支援方法
JP2019521756A (ja) * 2016-06-15 2019-08-08 シーヴイアール グローバル インコーポレイテッド 流体流動血管内の閉塞を検出する方法
JP2018044774A (ja) * 2016-09-12 2018-03-22 マイクロコントロールシステムズ株式会社 振動発生体の状態を推定するシステム、装置、プログラム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4079228A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189443A1 (ja) * 2022-03-28 2023-10-05 テルモ株式会社 生体音測定装置、生体音測定方法、及びプログラム
WO2023239326A1 (en) * 2022-06-09 2023-12-14 Bogazici Universitesi Auscultation system and technique with noise reduction technique

Also Published As

Publication number Publication date
JP7555964B2 (ja) 2024-09-25
EP4079228A1 (en) 2022-10-26
US20220354450A1 (en) 2022-11-10
EP4079228A4 (en) 2023-01-25
EP4079228B1 (en) 2024-05-15
JPWO2021131585A1 (ja) 2021-07-01
CN114845641A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
KR102070262B1 (ko) 초음파 프로브 장치 및 그의 제어 방법
WO2021131585A1 (ja) 音検出システム及び情報処理装置
Fan et al. HeadFi: bringing intelligence to all headphones
US20100138191A1 (en) Method and system for acquiring and transforming ultrasound data
JP2010525646A (ja) 音と位置の測定
US9398899B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP2013172791A (ja) 超音波検査装置、超音波検査方法、およびプログラム
US20230283940A1 (en) Smart headphone system and method
JPWO2017154318A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US20210186426A1 (en) System and method for detection of middle ear fluids
WO2023141565A1 (en) Data augmentation system and method for multi-microphone systems
WO2018037643A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019010436A (ja) 生体センサおよび生体センサの信号取得方法
JP2011167323A (ja) 携帯端末装置、ストレス推定システム、ストレス推定方法、ストレス推定プログラム
WO1999023940A1 (en) Non-invasive turbulent blood flow imaging system
JP2017207399A (ja) 音源探査装置及び音源探査方法
IL267774B1 (en) Ultrasonic system and method for monitoring vital indicators
JP5896832B2 (ja) 検体情報処理装置及び検体情報処理方法
US20220280132A1 (en) Medical device and program
JP2019528138A (ja) 胎児サイズ監視システム及び方法
US20230230581A1 (en) Data augmentation system and method for multi-microphone systems
US20230230582A1 (en) Data augmentation system and method for multi-microphone systems
US20230230580A1 (en) Data augmentation system and method for multi-microphone systems
US20140012095A1 (en) Storage control apparatus, storage control system, and storage medium
Fan et al. A New Design Paradigm for Enabling Smart Headphonse

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20907173

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567142

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020907173

Country of ref document: EP

Effective date: 20220722