WO2022114070A1 - 嚥下評価システムおよび嚥下評価方法 - Google Patents

嚥下評価システムおよび嚥下評価方法 Download PDF

Info

Publication number
WO2022114070A1
WO2022114070A1 PCT/JP2021/043235 JP2021043235W WO2022114070A1 WO 2022114070 A1 WO2022114070 A1 WO 2022114070A1 JP 2021043235 W JP2021043235 W JP 2021043235W WO 2022114070 A1 WO2022114070 A1 WO 2022114070A1
Authority
WO
WIPO (PCT)
Prior art keywords
swallowing
sound
image
subject
evaluation
Prior art date
Application number
PCT/JP2021/043235
Other languages
English (en)
French (fr)
Inventor
樹彦 苅部
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022565412A priority Critical patent/JPWO2022114070A1/ja
Publication of WO2022114070A1 publication Critical patent/WO2022114070A1/ja
Priority to US18/322,393 priority patent/US20230293091A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205—Evaluating swallowing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters

Definitions

  • the present invention relates to a swallowing evaluation system and a swallowing evaluation method for evaluating swallowing of a subject using an ultrasonic image.
  • the swallowing ability measurement system of Patent Document 1 acquires an ultrasonic image of the inside of the neck and a swallowing sound of a subject, and synchronizes the acquisition timing of the ultrasonic image and the time change of the frequency of the swallowing sound with each other in time.
  • the swallowing ability of the subject is evaluated by acquiring the moving speed of at least one of the tube wall of the tubular organ of the pharynx of the subject and the food passing through the tubular organ.
  • An object of the present invention is to provide a swallowing evaluation system and a swallowing evaluation method capable of evaluating swallowing of a subject with high accuracy.
  • the swallowing evaluation system includes an ultrasonic probe, an image acquisition unit that acquires an ultrasonic image in the pharynx of a subject by transmitting and receiving an ultrasonic beam using the ultrasonic probe, and swallowing by the subject.
  • An evaluation unit that evaluates the swallowing of a subject by using machine learning that combines the sound acquisition unit that acquires sound, the ultrasonic image acquired by the image acquisition unit, and the swallowing sound acquired by the sound acquisition unit. It is characterized by having and.
  • the evaluation unit evaluates swallowing by inputting an ultrasonic image and a swallowing sound into a neural network. At this time, the evaluation unit inputs an ultrasonic image to the first neural network to calculate the image feature amount, inputs the swallowing sound to the second neural network to calculate the sound feature amount, and calculates the image feature amount. And the sound feature amount can be input to the third neural network to evaluate swallowing.
  • the evaluation unit inputs the swallowing sound to the second neural network, calculates the sound feature amount, and when the sound feature amount exceeds the defined feature amount threshold value, the ultrasonic image and the sound feature amount It is also possible to evaluate swallowing by inputting and into the fourth neural network.
  • the evaluation unit inputs an ultrasonic image to the first neural network to calculate the image feature amount, and when the image feature amount exceeds the defined feature amount threshold value, the swallowing sound and the image feature amount Can also be evaluated for swallowing by inputting to the fifth neural network. Further, the evaluation unit can also evaluate swallowing by inputting both the ultrasonic image and the swallowing sound into the same neural network.
  • the evaluation unit can input the ultrasonic image and the time-series data of the swallowing sound into the neural network.
  • the sound acquisition unit can acquire the swallowing sound during swallowing, and the image acquisition unit can acquire an ultrasonic image after swallowing. Further, the image acquisition unit can also acquire an ultrasonic image at the time of swallowing. In addition, the sound acquisition unit can acquire at least one of the breath sounds before swallowing and the breath sounds after swallowing.
  • the sound acquisition unit can have a microphone built in the ultrasonic probe.
  • the sound acquisition unit may also have a microphone that is independent of the ultrasonic probe and is in contact with the pharynx of the subject.
  • the evaluation unit can output the presence or absence of swallowing residue in the pharynx of the subject as the evaluation result.
  • the evaluation unit can also output the presence or absence of dysphagia of the subject as the evaluation result.
  • the evaluation unit can also output the hardness of the swallowing food suitable for the subject as the evaluation result.
  • the swallowing evaluation system includes a monitor that displays an ultrasonic image acquired by the image acquisition unit and information representing the swallowing sound acquired by the sound acquisition unit.
  • an ultrasonic image in the pharynx of a subject is acquired by transmitting and receiving an ultrasonic beam using an ultrasonic probe, and a swallowing sound by the subject is acquired. It is characterized in that the swallowing of a subject is evaluated by using machine learning in which an ultrasonic image and a swallowing sound are input.
  • the swallowing evaluation system has an ultrasonic probe, an image acquisition unit that acquires an ultrasonic image in the pharynx of the subject by transmitting and receiving an ultrasonic beam using the ultrasonic probe, and a subject.
  • the swallowing of the subject is evaluated by using machine learning that combines the sound acquisition unit that acquires the swallowing sound by the image acquisition unit, the ultrasonic image acquired by the image acquisition unit, and the swallowing sound acquired by the sound acquisition unit. Since it is provided with an evaluation unit, swallowing of a subject can be evaluated with high accuracy.
  • FIG. 1 shows the configuration of the swallowing evaluation system 1 according to the first embodiment of the present invention.
  • the swallowing evaluation system 1 includes an ultrasonic probe 2, a device body 3, and a microphone 4.
  • the ultrasonic probe 2 and the device main body 3 are connected to each other, and the device main body 3 and the microphone 4 are connected to each other.
  • the ultrasonic probe 2 has an oscillator array 11, and a transmission / reception circuit 12 is connected to the oscillator array 11.
  • the device main body 3 has an image generation unit 13, and the image generation unit 13 is connected to the transmission / reception circuit 12 of the ultrasonic probe 2.
  • An image acquisition unit is configured by the transmission / reception circuit 12 and the image generation unit 13.
  • the display control unit 14 and the monitor 15 are sequentially connected to the image generation unit 13.
  • the image memory 16 is connected to the image generation unit 13.
  • the device main body 3 has a sound processing unit 17, and the sound processing unit 17 is connected to the microphone 4.
  • the sound acquisition unit is composed of the microphone 4 and the sound processing unit 17.
  • a sound memory 18 is connected to the sound processing unit 17.
  • the sound memory 18 is connected to the display control unit 14.
  • the evaluation unit 19 is connected to the image memory 16 and the sound memory 18, and the display control unit 14 is connected to the evaluation unit 19.
  • control unit 20 is connected to the transmission / reception circuit 12, the image generation unit 13, the display control unit 14, the image memory 16, the sound processing unit 17, the sound memory 18, and the evaluation unit 19.
  • input device 21 is connected to the control unit 20.
  • the processor 22 is composed of an image generation unit 13, a display control unit 14, a sound processing unit 17, an evaluation unit 19, and a control unit 20.
  • the oscillator array 11 has a plurality of oscillators arranged one-dimensionally or two-dimensionally. Each of these oscillators transmits an ultrasonic wave according to a drive signal supplied from the transmission / reception circuit 12, receives an ultrasonic echo from a subject, and outputs a signal based on the ultrasonic echo.
  • Each oscillator includes, for example, a piezoelectric ceramic represented by PZT (Lead Zirconate Titanate), a polymer piezoelectric element represented by PVDF (Poly Vinylidene Di Fluoride), and PMN-PT (PMN-PT).
  • Lead Magnesium Niobate-Lead Titanate It is composed by forming electrodes at both ends of a piezoelectric body made of a piezoelectric single crystal represented by (lead magnesium niobate-lead titanate solid solution).
  • the transmission / reception circuit 12 transmits ultrasonic waves from the vibrator array 11 and generates a sound line signal based on the received signal acquired by the vibrator array 11.
  • the transmission / reception circuit 12 includes a pulser 31 connected to the oscillator array 11, an amplification unit 32 sequentially connected in series from the oscillator array 11, an AD (Analog Digital) conversion unit 33, and a beam former.
  • AD Analog Digital
  • the pulsar 31 includes, for example, a plurality of pulse generators, and is transmitted from a plurality of oscillators of the oscillator array 11 based on a transmission delay pattern selected according to a control signal from the control unit 20.
  • Each drive signal is supplied to a plurality of oscillators by adjusting the delay amount so that the sound wave forms an ultrasonic beam.
  • a pulsed or continuous wave voltage is applied to the electrodes of the vibrator of the vibrator array 11
  • the piezoelectric body expands and contracts, and pulsed or continuous wave ultrasonic waves are generated from each vibrator.
  • An ultrasonic beam is formed from the combined waves of those ultrasonic waves.
  • the transmitted ultrasonic beam is reflected by, for example, a target such as a site of a subject, and propagates toward the vibrator array 11 of the ultrasonic probe 2.
  • the ultrasonic echo propagating toward the oscillator array 11 in this way is received by each oscillator constituting the oscillator array 11.
  • each of the vibrators constituting the vibrator array 11 expands and contracts by receiving the propagating ultrasonic echo to generate a received signal which is an electric signal, and these received signals are transmitted to the amplification unit 32. Output.
  • the amplification unit 32 amplifies the signal input from each of the vibrators constituting the vibrator array 11, and transmits the amplified signal to the AD conversion unit 33.
  • the AD conversion unit 33 converts the signal transmitted from the amplification unit 32 into digital reception data, and transmits these reception data to the beam former 34.
  • the beam former 34 has a sound velocity or a sound velocity distribution set based on a reception delay pattern selected according to a control signal from the control unit 20, and has a respective reception data converted by the AD conversion unit 33. By giving a delay and adding, so-called reception focus processing is performed. By this reception focus processing, each received data converted by the AD conversion unit 33 is phase-adjusted and added, and a sound line signal in which the focus of the ultrasonic echo is narrowed down is acquired. This sound line signal is sent to the image generation unit 13.
  • the image generation unit 13 has a configuration in which a signal processing unit 35, a DSC (Digital Scan Converter) 36, and an image processing unit 37 are sequentially connected in series.
  • the signal processing unit 35 corrects the attenuation of the sound line signal transmitted from the transmission / reception circuit 12 by the distance according to the depth of the reflection position of the ultrasonic wave, and then performs the envelope detection process to perform the subject.
  • Generates a B-mode image signal which is tomographic image information about the tissue inside.
  • the DSC 36 converts the B-mode image signal generated by the signal processing unit 35 into an image signal according to a normal television signal scanning method (raster conversion).
  • the image processing unit 37 performs various necessary image processing such as gradation processing on the B mode image signal input from the DSC 36, and then displays the B mode image signal in response to a command from the control unit 20. And send to the image memory 16.
  • the B-mode image signal that has been image-processed by the image processing unit 37 is simply referred to as an ultrasonic image.
  • the image memory 16 is a memory for storing and reading an ultrasonic image generated by the image generation unit 13 under the control of the control unit 20.
  • the ultrasonic image stored in the image memory 16 is read out under the control of the control unit 20 and sent to the evaluation unit 19.
  • Examples of the image memory 16 include a flash memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), an FD (Flexible Disc), and an MO disk (Magneto-Optical disc: optical disc). Magnetic disc), MT (Magnetic Tape), RAM (Random Access Memory), CD (Compact Disc: compact disc), DVD (Digital Versatile Disc), SD card (Secure Digital card) : Secure digital card) or recording media such as USB memory (Universal Serial Bus memory) can be used.
  • a flash memory an HDD (Hard Disc Drive), an SSD (Solid State Drive), an FD (Flexible Disc), and an MO disk (Magneto-Optical disc: optical disc). Magnetic disc), MT (Magnetic Tape), RAM (Random Access Memory), CD (Compact Disc: compact disc), DVD (Digital Versatile Disc), SD card (Secure Digital card) : Secure digital card) or recording media such as USB memory (Universal Serial Bus memory) can be
  • the microphone 4 is arranged independently of the ultrasonic probe 2 and in the vicinity of the throat of the subject, and is for acquiring the swallowing sound of the subject as analog data.
  • the swallowing sound of the subject acquired by the microphone 4 is sent to the sound processing unit 17.
  • the microphone 4 can be touched to the pharynx of the subject by the user's hand, for example, and can be attached to the pharynx of the subject.
  • the microphone 4 has, for example, a mounting tool (not shown) having a shape such as a frame shape for mounting on the neck of the subject, and by mounting this mounting tool on the neck of the subject, the microphone 4 Can also be placed near the pharynx of the subject.
  • the sound processing unit 17 converts the analog data of the swallowing sound acquired by the microphone 4 into digital data, and sends the obtained digital data to the sound memory 18. Further, the sound processing unit 17 generates information representing the swallowing sound such as a waveform graph showing the time change of the amplitude of the swallowing sound based on the digital data of the swallowing sound, and sends this information to the sound memory 18.
  • the sound memory 18 is a memory for storing and reading digital data of the swallowing sound transmitted from the sound processing unit 17 and information representing the swallowing sound such as a waveform graph under the control of the control unit 20. be.
  • the swallowing sound data stored in the sound memory 18 is read out under the control of the control unit 20 and sent to the evaluation unit 19. Further, the information representing the swallowing sound stored in the sound memory 18 is read out under the control of the control unit 20, sent to the display control unit 14, and displayed on the monitor 15.
  • the evaluation unit 19 uses machine learning (multimodal learning) that combines the ultrasonic image transmitted from the image memory 16 and the swallowing sound data of the subject transmitted from the sound memory 18 to obtain the subject. Evaluate swallowing.
  • machine learning multimodal learning
  • the evaluation unit 19 has an image analysis unit 38, a sound analysis unit 39, and an evaluation result output unit 40.
  • the evaluation result output unit 40 is connected to the image analysis unit 38 and the sound analysis unit 39, and the display control unit 14 is connected to the evaluation result output unit 40.
  • the image analysis unit 38 receives an ultrasonic image of the pharynx of the subject from the image memory 16 and inputs the ultrasonic image to the trained first neural network to calculate the image feature amount.
  • the image feature amount is an abnormality in swallowing of the subject, such as the probability that food remains in the pharynx of the subject or the probability that the subject has dysphagia, which is calculated based on the ultrasonic image. It is an index showing the degree of occurrence. It can be determined that the larger the image feature amount is, the higher the probability that the swallowing of the subject is abnormal, and the smaller the image feature amount is, the lower the probability that the swallowing of the subject is abnormal.
  • the first neural network used by the image analysis unit 38 imaged the throats of a plurality of subjects including, for example, the case where food remained in the pyriform sinus and the case where no food remained in the pyriform sinus. Based on the ultrasonic images, the features such as the structure drawn in those ultrasonic images are learned, and the learned features are compared with the features in the input ultrasonic image to output the image feature amount. do.
  • the sound analysis unit 39 receives the swallowing sound data of the subject from the sound memory 18, and inputs the swallowing sound data into the trained second neural network to calculate the sound feature amount.
  • the sound feature amount is the probability that food remains in the pharynx of the subject or the probability that the subject has dysphagia, which is calculated based on the data of the swallowing sound of the subject. It is an index showing the degree of abnormality in swallowing. It can be determined that the larger the sound feature amount is, the higher the probability that the subject's swallowing is abnormal, and the smaller the sound feature amount is, the lower the probability that the subject's swallowing abnormality is occurring.
  • an abnormal noise sound is included and a sound having an abnormal frequency is included as compared with the case where the subject swallows normally. Often. Therefore, when the swallowing sound contains an abnormal noise sound, or when the frequency analysis is performed on the swallowing sound and the peak value of the amplitude is detected in the abnormal frequency band as compared with the normal swallowing sound. It can be determined that there is a high possibility that an abnormality has occurred in the swallowing of the subject.
  • the second neural network used by the sound analysis unit 39 includes, for example, a typical time variation and a typical frequency distribution of the amplitude of a normal swallowing sound learned based on the swallowing sound data of a plurality of subjects.
  • the sound feature amount is output by comparing the time change of the amplitude of the input swallowing sound and the frequency distribution, respectively.
  • the evaluation result output unit 40 inputs the image feature amount calculated by the image analysis unit 38 and the sound feature amount calculated by the sound analysis unit 39 into the trained third neural network, and swallows the subject.
  • the evaluation result such as whether or not a failure has occurred is output.
  • the third neural network learns the relationship between the combination of the image feature value and the sound feature value and the evaluation result regarding the swallowing of the subject based on the evaluation for a plurality of subjects, and the image feature is learned. When the amount and sound feature amount are input, the evaluation result of swallowing is output based on the learning result.
  • the control unit 20 controls each unit of the swallowing evaluation system 1 according to a program or the like recorded in advance. Under the control of the control unit 20, the display control unit 14 performs predetermined processing on the ultrasonic image, the time change of the amplitude of the swallowing sound of the subject, the evaluation result of swallowing, and the like, and displays the image on the monitor 15. ..
  • the monitor 15 performs various displays under the control of the display control unit 14.
  • the monitor 15 includes, for example, a display device such as an LCD (Liquid Crystal Display) and an organic EL display (Organic Electroluminescence Display).
  • the input device 21 is for the user to perform an input operation.
  • the input device 21 is composed of, for example, a keyboard, a mouse, a trackball, a touch pad, a touch panel, and other devices for the user to perform an input operation.
  • the processor 22 having an image generation unit 13, a display control unit 14, a sound processing unit 17, an evaluation unit 19, and a control unit 20 performs various processing on the CPU (Central Processing Unit) and the CPU. It consists of a control program for making it, but FPGA (Field Programmable Gate Array: Feed Programmable Gate Array), DSP (Digital Signal Processor: Digital Signal Processor), ASIC (Application Specific Integrated Circuit: Application Specific Integrated Circuit), GPU It may be configured by using (Graphics Processing Unit) or another IC (Integrated Circuit), or may be configured by combining them.
  • FPGA Field Programmable Gate Array: Feed Programmable Gate Array
  • DSP Digital Signal Processor: Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • GPU GPU It may be configured by using (Graphics Processing Unit) or another IC (Integrated Circuit), or may be configured by combining them.
  • the image generation unit 13, the display control unit 14, the sound processing unit 17, the evaluation unit 19, and the control unit 20 of the processor 22 can be partially or wholly integrated into one CPU or the like. ..
  • step S1 the control unit 20 receives an instruction to start acquiring the swallowing sound of the subject for evaluating the swallowing sound of the subject.
  • the control unit 20 determines that the instruction has been accepted, for example, when the user has input an instruction to start acquiring the swallowing sound via the input device 21.
  • step S1 the user calls the subject to swallow food, and the swallowing of the subject is started.
  • the food that the subject swallows for example, jelly food that is generally distributed for the subject having a dysphagia or the like is used.
  • the swallowing sound when the subject is swallowed is acquired by the microphone 4.
  • the analog data of the swallowing sound acquired by the microphone 4 is converted into digital data by the sound processing unit 17 and stored in the sound memory 18.
  • the sound processing unit 17 generates information representing the swallowing sound such as a waveform graph showing the time change of the amplitude of the swallowing sound, and this information is displayed on the monitor 15 as shown in FIG. 6, for example.
  • the waveform graph W showing the time change of the amplitude of the swallowing sound is displayed as the information representing the swallowing sound.
  • step S3 the control unit 20 determines whether or not to end the acquisition of the swallowing sound. For example, the control unit 20 determines that the acquisition of the swallowing sound is terminated when the user inputs an instruction to end the acquisition of the swallowing sound via the input device 21, and the control unit 20 determines that the acquisition of the swallowing sound is terminated by the user via the input device 21. It is determined that the acquisition of the swallowing sound is continued when the instruction to end the acquisition is not input.
  • step S3 If it is determined in step S3 that the acquisition of the swallowing sound is continued, the process returns to step S2 and the acquisition of the swallowing sound is newly performed. In this way, the processes of steps S2 and S3 are repeated until it is determined in step S3 that the acquisition of the swallowing sound is completed. As a result, the swallowing sound of the subject acquired by repeating steps S2 and S3 during swallowing is stored in the sound memory 18.
  • step S3 when the user determines that the swallowing of the subject has been completed and inputs an instruction to end the acquisition of the swallowing sound via the input device 21, it is determined that the acquisition of the swallowing sound is completed.
  • step S4 an ultrasonic image U of the pharynx after swallowing of the subject is acquired.
  • the ultrasonic image U that visualizes the food remaining in the pyriform sinus can be obtained. Often obtained.
  • the transmission / reception circuit 12 When the ultrasonic image U is captured, the transmission / reception circuit 12 performs reception focus processing using preset sound velocity values under the control of the control unit 20 to generate a sound line signal.
  • the sound line signal generated by the transmission / reception circuit 12 in this way is transmitted to the image generation unit 13.
  • the image generation unit 13 generates an ultrasonic image using the sound line signal transmitted from the transmission / reception circuit 12. For example, as shown in FIG. 6, the ultrasonic image U generated in this way is sent to the display control unit 14 and displayed on the monitor 15.
  • step S5 the control unit 20 determines whether or not to save the ultrasonic image U acquired in step S4 in the image memory 16. For example, when the user inputs an instruction to save the ultrasonic image U via the input device 21, the control unit 20 determines that the ultrasonic image U acquired in step S4 is to be saved, and the ultrasonic image U is determined to be saved. Is stored in the image memory 16, and when the user does not input an instruction to save the ultrasonic image U via the input device 21, it is determined that the ultrasonic image U acquired in step S4 is not saved.
  • the control unit 20 displays the freeze save button B on the monitor 15, and when the freeze save button B is selected by the user via the input device 21, it is displayed on the monitor 15.
  • the ultrasonic image U can be frozen and displayed, and the ultrasonic image U can be saved in the image memory 16, and it can be determined that the ultrasonic image U is not saved when the freeze save button B is not selected.
  • step S5 If it is determined in step S5 that the ultrasonic image U is not to be saved, the process returns to step S4, and the ultrasonic image U is newly acquired. Therefore, the processes of steps S4 and S5 are repeated until it is determined in step S5 that the ultrasonic image U is to be saved. If it is determined in step S5 that the ultrasonic image U is to be saved and the ultrasonic image U is saved in the image memory 16, the process proceeds to step S6.
  • step S6 the evaluation unit 19 describes the swallowing sound data of the subject stored in the sound memory 18 by repeating steps S2 and S3, and the ultrasonic image U stored in the image memory 16 in step S5.
  • the swallowing of the subject is evaluated by using machine learning in combination with.
  • the process of step S6 will be described in detail with reference to the flowchart shown in FIG.
  • step S8 the image analysis unit 38 of the evaluation unit 19 inputs the ultrasonic image U stored in the image memory 16 to the first neural network in step S5, so that an abnormality occurs in swallowing the subject.
  • the image feature amount indicating the degree is calculated.
  • the first neural network is an ultrasonic image of the throats of a plurality of subjects including, for example, a case where food remains in the pyriform sinus and a case where no food remains in the pyriform sinus.
  • step S9 the sound analysis unit 39 of the evaluation unit 19 inputs the data of the swallowing sound at the time of swallowing of the subject acquired by repeating steps S2 and S3 into the second neural network.
  • the sound feature amount indicating the degree of abnormality in swallowing of the subject is calculated.
  • the second neural network was input, for example, with a typical time variation and a typical frequency distribution of the amplitude of the normal swallowing sound learned based on the swallowing sound data of a plurality of subjects.
  • the sound feature amount is output by comparing the time change of the amplitude of the swallowing sound and the frequency distribution, respectively. For example, if the amplitude of the noise sound is detected at an abnormal timing compared to the typical time variation of the amplitude of the normal swallowing sound, or compared to the typical frequency distribution of the normal swallowing sound. When a peak value of amplitude is detected in an abnormal frequency band, a sound feature amount having a large value can be obtained.
  • the evaluation result output unit 40 of the evaluation unit 19 inputs the image feature amount calculated in step S8 and the sound feature amount calculated in step S9 into the third neural network, whereby the subject is subjected to. Output the evaluation result of swallowing.
  • the evaluation result of swallowing for example, the presence or absence of residual food in the pyriform sinus, the presence or absence of suspicion of dysphagia in the subject, and the like are output.
  • the evaluation result output unit 40 determines, for example, the amount of food remaining in the pyriform sinus as "no residue", "a little residue", or "a large amount remains”. It is also possible to output in multiple stages such as "very much remains".
  • the evaluation result output unit 40 can output the hardness of the swallowing food suitable for the evaluated subject as the evaluation result of swallowing.
  • the hardness of the swallowing food for example, the hardness of the swallowing food described in "Swallowing Adjustment Society Classification 2013, Journal of the Japanese Society for Swallowing and Swallowing Rehabilitation 17 (3): 255-267, 2013" can be used. ..
  • step S10 it is calculated based on the image feature amount indicating the degree of abnormality in swallowing of the subject calculated based on the analysis of the ultrasonic image U and the analysis of the swallowing sound of the subject.
  • the final evaluation result of the swallowing of the subject is output based on both of the sound feature amounts indicating the degree of abnormality in the swallowing of the subject. Therefore, for example, the evaluation of swallowing of the subject is evaluated by using only one of the image feature amount calculated based on the analysis of the ultrasonic image U and the sound feature amount calculated based on the analysis of the swallowing sound of the subject. It is possible to obtain more accurate evaluation results than this is done.
  • step S6 By performing the processes of steps S8 to S10 in this way, the process of step S6 is performed.
  • step S6 the process proceeds to step S7.
  • step S7 the information representing the evaluation result of swallowing of the subject output in step S6 is displayed on the monitor 15. As a result, the operation of the swallowing evaluation system 1 according to the first embodiment is completed.
  • the swallowing of the subject is performed by machine learning that combines both the ultrasonic image U of the pharynx of the subject and the swallowing sound of the subject. Since the evaluation is performed, the swallowing of the subject can be evaluated with high accuracy.
  • the transmission / reception circuit 12 is provided in the ultrasonic probe 2, but may be provided in the apparatus main body 3 instead of being provided in the ultrasonic probe 2.
  • the image generation unit 13 is provided in the device main body 3, it may be provided in the ultrasonic probe 2 instead of being provided in the device main body 3.
  • the image generation unit 13 includes a signal processing unit 35, a DSC 36, and an image processing unit 37, of which the signal processing unit 35 can be included in the ultrasonic probe 2.
  • connection method between the ultrasonic probe 2 and the apparatus main body 3 is not particularly limited, and may be a wired connection or a wireless connection. Further, the connection method between the device main body 3 and the microphone 4 is not particularly limited, and a wired connection or a wireless connection may be used. Further, the device main body 3 may be a so-called handheld type that can be easily carried by the user, or may be a so-called stationary type.
  • the microphone 4 is independent of the ultrasonic probe 2, it may be attached to the ultrasonic probe 2 such as being built in the ultrasonic probe 2. In this case, it is not necessary to independently place the microphone 4 in the vicinity of the pharynx of the subject, and the ultrasonic probe 2 is brought into contact with the pharynx of the subject in order to capture the ultrasonic image U. The swallowing sound of the subject can also be obtained.
  • the sound processing unit 17 of the apparatus main body 3 and the microphone 4 form a sound acquisition unit for acquiring the swallowing sound of the subject, but the swallowing evaluation system 1 includes the microphone 4 and the sound acquisition unit 1. It is also possible to have a sound processing unit 17 and a sound acquisition unit independent of the device main body 3. In this case, the swallowing sound data of the subject acquired by the sound acquisition unit is input to the apparatus main body 3.
  • steps S2 to S5 after the swallowing sound of the subject is acquired and stored, the ultrasonic image U after the subject is swallowed is acquired and stored.
  • the ultrasonic image U at the time of swallowing may also be acquired and stored.
  • the image feature amount is calculated in step S8, it is possible to analyze not only the ultrasonic image U after swallowing but also the ultrasonic image U during swallowing, so that the accuracy of the image feature amount is accurate. Can be improved.
  • the image feature amount can be calculated by analyzing the time-series data of the ultrasonic image U acquired within a certain time in step S8.
  • the movement of the structure in the pharynx can be analyzed based on the ultrasonic image U of a plurality of frames, so that the accuracy is higher than that of calculating the image feature amount based on the ultrasonic image U of one frame, for example.
  • the image feature amount can be calculated.
  • the breathing sound contains an abnormal noise sound and a different breathing sound is acquired as compared with the case where the swallowing is performed normally.
  • the sound acquisition unit having the microphone 4 and the sound processing unit 17 acquires the data of the swallowing sound at the time of swallowing, and also the data of the breathing sound before swallowing and the data of the breathing sound after swallowing.
  • the acquired and data of these breathing sounds can also be stored in the sound memory 18.
  • the sound feature amount is calculated by analyzing the swallowing sound data and the respiratory sound data of the subject. Thereby, for example, the sound feature amount can be calculated with higher accuracy than the sound feature amount is calculated based on the swallowing sound of the subject.
  • step S9 is performed after step S8, step S8 may be performed after step S9, and steps S8 and S9 may be performed at the same time.
  • the method of notifying the user of the output result of the evaluation result is not limited to the method of displaying the evaluation result on the monitor 15.
  • a lamp (not shown) may be provided in the swallowing evaluation system 1 to notify the user of the presence or absence of dysphagia of the subject by the emission color and blinking pattern of the lamp.
  • the lamp may be arranged, for example, on the ultrasonic probe 2, the device main body 3, or may be arranged independently of the ultrasonic probe 2 and the device main body 3.
  • the evaluation unit 19 has an image analysis unit 38, a sound analysis unit 39, and an evaluation result output unit 40, and has three neural networks, a first neural network, a second neural network, and a third neural network.
  • the swallowing of the subject is evaluated using a neural network, but the evaluation method of the swallowing of the subject is not limited to this.
  • the evaluation unit 19 evaluates the swallowing of the subject using only the ultrasonic image U of the subject, the swallowing sound of the subject, and the same neural network that has learned the relationship between the combination thereof and the evaluation result. You can also do it.
  • the swallowing evaluation system 1 outputs the swallowing evaluation result using only one neural network, the subject is similar to the case where the three neural networks are used as in the first embodiment. Since the swallowing of the subject is evaluated by machine learning that combines both the ultrasonic image U of the pharynx and the swallowing sound of the subject, the swallowing of the subject can be evaluated with high accuracy.
  • Embodiment 3 For example, it is also possible to output an evaluation of swallowing of a subject by using two neural networks.
  • FIG. 8 shows the configuration of the evaluation unit 19A in the third embodiment.
  • the evaluation unit 19A has a sound analysis unit 39 and an evaluation result output unit 40A, and the evaluation result output unit 40A is connected to the sound analysis unit 39. Further, the display control unit 14 is connected to the evaluation result output unit 40A.
  • the sound analysis unit 39 receives the data of the swallowing sound of the subject, and inputs the data of the swallowing sound to the second neural network to obtain the sound feature amount. calculate. The calculated sound feature amount is output to the evaluation result output unit 40A.
  • the evaluation result output unit 40A has a sound feature amount threshold value determined for the sound feature amount, and the sound feature amount calculated by the sound analysis unit 39 exceeds the sound feature amount threshold value. Judge whether or not. Further, when the sound feature amount calculated by the sound analysis unit 39 exceeds the sound feature amount threshold, the evaluation result output unit 40A has the sound feature amount and the ultrasonic image generated by the image generation unit 13. By inputting U to the fourth neural network, the evaluation result of swallowing of the subject is output.
  • the fourth neural network used by the evaluation result output unit 40A analyzes the input ultrasonic image U in the same manner as the first neural network used by the image analysis unit 38 in the first embodiment.
  • the calculated image feature amount and the sound feature amount transmitted from the sound analysis unit 39 are calculated in the same manner as in the third neural network used by the evaluation result output unit 40 in the first embodiment.
  • the evaluation result of swallowing of the subject is output based on.
  • step S11 the sound analysis unit 39 calculates the sound feature amount by inputting the data of the swallowing sound of the subject into the second neural network.
  • step S12 the evaluation result output unit 40A determines whether or not the sound feature amount calculated in step S11 exceeds the sound feature amount threshold value. When it is determined that the sound feature amount calculated in step S11 exceeds the sound feature amount threshold value, the evaluation result output unit 40A considers that there is a high possibility that some abnormality has occurred in the swallowing of the subject. After determining, the process of step S13 is performed.
  • step S13 the evaluation result output unit 40A inputs the sound feature amount calculated in step S11 and the ultrasonic image U obtained by photographing the pharynx of the subject into the fourth neural network, whereby the ultrasonic image U is obtained.
  • the evaluation result of swallowing including the analysis result is output.
  • step S12 when it is determined in step S12 that the sound feature amount is equal to or less than the sound feature amount threshold value, the evaluation result output unit 40A determines that it is unlikely that an abnormality has occurred in swallowing the subject. Then, the process of step S14 is performed.
  • step S14 the evaluation result output unit 40A calculates the swallowing evaluation result based on the analysis result of the swallowing sound in step S11.
  • the evaluation result output unit 40A does not use the fourth neural network, and the result that the sound feature amount is equal to or less than the sound feature amount threshold value in step S12 causes an abnormality in swallowing of the subject. Judging that the possibility is low, the evaluation result that no abnormality has occurred in swallowing of the subject is output. In this case, the evaluation result output unit 40A can output the evaluation result of swallowing of the subject by using only the second neural network. In this way, the operation of swallowing evaluation in the third embodiment is completed.
  • the two neural networks of the second neural network and the fourth neural network are used, and the sound feature amount is increased. Since only the second neural network is used when the sound feature amount is equal to or less than the threshold value, the calculation load of the processor 22 when using the neural network can be reduced as compared with the first embodiment. .. Therefore, in the third embodiment, it is possible to reduce the processing time and power required for the evaluation of swallowing of the subject due to the computational load of the processor 22.
  • the device main body 3 when the device main body 3 is a so-called handheld type or portable type, it is preferable that power is supplied to each part of the device main body 3 by a battery (not shown) that is easy to carry. Further, when the device main body 3 is a handheld type or a portable type, the size of the device main body 3 is smaller than that of the so-called stationary type, so that it is difficult to mount the processor 22 having a large size and high computing power. .. Therefore, the embodiment of the third embodiment is particularly useful when the device main body 3 is a handheld type or a portable type.
  • the swallowing sound can be acquired with relatively high sensitivity, it is better to make a judgment based on the swallowing sound than to judge whether or not an abnormality has occurred in the swallowing of the subject by the ultrasonic image U. , A more accurate judgment is possible.
  • the sound feature amount is calculated, and when the calculated sound feature amount exceeds the sound feature amount threshold value, the swallowing sound is evaluated by adding the analysis result of the ultrasonic image U. Therefore, the swallowing of the subject can be evaluated with high accuracy.
  • FIG. 10 shows the configuration of the evaluation unit 19B in the fourth embodiment.
  • the evaluation unit 19B has an image analysis unit 38 and an evaluation result output unit 40B, and the evaluation result output unit 40B is connected to the image analysis unit 38. Further, the display control unit 14 is connected to the evaluation result output unit 40B.
  • the image analysis unit 38 receives the ultrasonic image U obtained by photographing the pharynx of the subject, and inputs the ultrasonic image U to the first neural network. Calculate the image feature amount. The calculated image feature amount is output to the evaluation result output unit 40B.
  • the evaluation result output unit 40B has an image feature amount threshold value determined for the image feature amount, and the image feature amount calculated by the image analysis unit 38 exceeds the image feature amount threshold value. Judge whether or not. Further, the evaluation result output unit 40B has the image feature amount and the sound having the microphone 4 and the sound processing unit 17 when the image feature amount calculated by the image analysis unit 38 exceeds the sound feature amount threshold value.
  • the fifth neural network used by the evaluation result output unit 40B analyzes the input swallowing sound data in the same manner as the second neural network used by the sound analysis unit 39 in the first embodiment.
  • the calculated sound feature amount and the image feature amount transmitted from the image analysis unit 38 are calculated in the same manner as in the third neural network used by the evaluation result output unit 40 in the first embodiment.
  • the evaluation result of swallowing of the subject is output based on.
  • step S21 the image analysis unit 38 calculates the image feature amount by inputting the ultrasonic image U obtained by photographing the pharynx of the subject into the first neural network.
  • step S22 the evaluation result output unit 40B determines whether or not the image feature amount calculated in step S21 exceeds the image feature amount threshold value. In step S22, when it is determined that the image feature amount calculated in step S21 exceeds the image feature amount threshold value, the evaluation result output unit 40B may have some abnormality in swallowing the subject. It is determined that the property is high, and the process of step S23 is performed.
  • step S23 the evaluation result output unit 40B inputs the image feature amount calculated in step S21 and the swallowing sound data of the subject into the fifth neural network, and swallows in consideration of the analysis result of the swallowing sound.
  • the evaluation result of is output.
  • step S22 when it is determined that the image feature amount is equal to or less than the image feature amount threshold value, the evaluation result output unit 40B determines that it is unlikely that an abnormality has occurred in swallowing the subject. Then, the process of step S24 is performed.
  • step S24 the evaluation result output unit 40B calculates the evaluation result of swallowing based on the analysis result of the swallowing sound in step S21.
  • the evaluation result output unit 40B does not use the fifth neural network, and the result that the image feature amount is equal to or less than the image feature amount threshold value in step S22 causes an abnormality in swallowing of the subject. Judging that the possibility is low, the evaluation result that no abnormality has occurred in the swallowing of the subject is output.
  • the evaluation result output unit 40B can output the evaluation result of swallowing of the subject using only the first neural network. In this way, the operation of swallowing evaluation in the fourth embodiment is completed.
  • the two neural networks, the first neural network and the fifth neural network are used only when the image feature amount exceeds the image feature amount threshold, and the image feature amount is increased. Since only the first neural network is used when the image feature amount is equal to or less than the threshold value, the calculation load of the processor 22 when using the neural network can be reduced as compared with the first embodiment. .. Therefore, in the fourth embodiment, similarly to the third embodiment, the processing time and power required for the evaluation of swallowing of the subject due to the computational load of the processor 22 can be reduced.
  • the embodiment of the fourth embodiment is particularly useful when the device main body 3 is a handheld type or a portable type, similarly to the embodiment of the third embodiment.
  • 1 swallowing evaluation system 2 ultrasonic probe, 3 device body, 4 microphone, 11 oscillator array, 12 transmission / reception circuit, 13 image generation unit, 14 display control unit, 15 monitor, 16 image memory, 17 sound processing unit, 18 sound Memory, 19, 19A, 19B evaluation unit, 20 control unit, 21 input device, 22 processor, 31 pulser, 32 amplification unit, 33 AD conversion unit, 34 beam former, 35 signal processing unit, 36 DSC, 37 image processing unit, 38 image analysis unit, 39 sound analysis unit, 40, 40A, 40B evaluation result output unit, B freeze save button, U ultrasonic image, W waveform graph.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

嚥下評価システム（１）は、超音波プローブ（２）と、超音波プローブ（２）を用いて超音波ビームの送受信を行うことにより被検体の咽頭内の超音波画像を取得する画像取得部と、被検体による嚥下音を取得する音取得部と、画像取得部により取得された超音波画像と音取得部により取得された嚥下音とを組み合わせた機械学習を利用することにより被検体の嚥下の評価を行う評価部（１９）とを備える。

Description

嚥下評価システムおよび嚥下評価方法
　本発明は、超音波画像を使用して被検体の嚥下を評価する嚥下評価システムおよび嚥下評価方法に関する。
　従来から、被検体の咽頭部を撮影した超音波画像により、被検体が正常に嚥下できるか否かの検査が行われている。通常、嚥下が正常に行われない場合に、被検体の喉頭蓋谷または梨状窩に食物が残留していることが多い。超音波画像内では、梨状窩および食物の残留物と周囲の組織との区別が難しいことが知られており、医師等の検査者は、超音波画像内の梨状窩および食物の残留物を確認するために、ある程度の熟練度を要する。このような検査を容易に行うために、例えば、特許文献１に開示されているような嚥下能力測定システムが開発されている。
　特許文献１の嚥下能力測定システムは、頚部の内部を撮影した超音波画像と被検体の嚥下音を取得し、超音波画像の取得タイミングと嚥下音の周波数の時間変化を互いに時間的に同期させて、被検体の咽頭部の管状器官の管壁と、その管状器官を通過する食物の少なくとも一方の移動速度を取得することにより、被検体の嚥下能力を評価している。
特開２０２０－０８９６１３号公報
　しかしながら、嚥下音が生じるタイミングは被検体によってばらつきがあるため、特許文献１に開示される技術のように、超音波画像の取得タイミングと嚥下音の周波数の時間変化を互いに時間的に同期させるだけでは、被検体の嚥下を精確に評価することが困難な場合があった。
　本発明は、被検体の嚥下を高精度に評価することができる嚥下評価システムおよび嚥下評価方法を提供することを目的とする。
　本発明に係る嚥下評価システムは、超音波プローブと、超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の咽頭内の超音波画像を取得する画像取得部と、被検体による嚥下音を取得する音取得部と、画像取得部により取得された超音波画像と音取得部により取得された嚥下音とを組み合わせた機械学習を利用することにより被検体の嚥下の評価を行う評価部とを備えることを特徴とする。
　評価部は、超音波画像と嚥下音をニューラルネットワークに入力することにより嚥下の評価を行うことが好ましい。
　この際に、評価部は、超音波画像を第１のニューラルネットワークに入力して画像特徴量を算出し、嚥下音を第２のニューラルネットワークに入力して音特徴量を算出し、画像特徴量と音特徴量を第３のニューラルネットワークに入力することにより嚥下の評価を行うことができる。
　また、評価部は、嚥下音を第２のニューラルネットワークに入力して音特徴量を算出し、音特徴量が定められた特徴量しきい値を超えた場合に、超音波画像と音特徴量とを第４のニューラルネットワークに入力することにより嚥下の評価を行うこともできる。
　また、評価部は、超音波画像を第１のニューラルネットワークに入力して画像特徴量を算出し、画像特徴量が定められた特徴量しきい値を超えた場合に、嚥下音と画像特徴量を第５のニューラルネットワークに入力することにより嚥下の評価を行うこともできる。
　また、評価部は、超音波画像と嚥下音の双方を同一のニューラルネットワークに入力することにより嚥下の評価を行うこともできる。
　また、評価部は、超音波画像と嚥下音の時系列データをニューラルネットワークに入力することができる。
　音取得部は、嚥下時における嚥下音を取得し、画像取得部は、嚥下後の超音波画像を取得することができる。
　さらに、画像取得部は、嚥下時における超音波画像をも取得することができる。
　また、音取得部は、嚥下前の呼吸音および嚥下後の呼吸音のうち少なくとも一方の呼吸音をも取得することができる。
　音取得部は、超音波プローブに内蔵されたマイクを有することができる。
　また、音取得部は、超音波プローブから独立し且つ被検体の咽頭部に接触されるマイクを有することもできる。
　また、評価部は、評価結果として、被検体の咽頭部における嚥下残留物の有無を出力することができる。
　また、評価部は、評価結果として、被検体の嚥下障害の有無を出力することもできる。
　さらに、評価部は、評価結果として、被検体に適した嚥下食の硬さを出力することもできる。
　また、嚥下評価システムは、画像取得部により取得された超音波画像と音取得部により取得された嚥下音を表す情報とを表示するモニタを備えることが好ましい。
　本発明に係る嚥下評価方法は、超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の咽頭内の超音波画像を取得し、被検体による嚥下音を取得し、取得された超音波画像と嚥下音とを入力とする機械学習を利用することにより被検体の嚥下の評価を行うことを特徴とする。
　本発明によれば、嚥下評価システムが、超音波プローブと、超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の咽頭内の超音波画像を取得する画像取得部と、被検体による嚥下音を取得する音取得部と、画像取得部により取得された超音波画像と音取得部により取得された嚥下音とを組み合わせた機械学習を利用することにより被検体の嚥下の評価を行う評価部とを備えるため、被検体の嚥下を高精度に評価することができる。
本発明の実施の形態１に係る嚥下評価システムの構成を示すブロック図である。 本発明の実施の形態１における送受信回路の構成を示すブロック図である。 本発明の実施の形態１における画像生成部の構成を示すブロック図である。 本発明の実施の形態１における評価部の構成を示すブロック図である。 本発明の実施の形態１に係る嚥下評価システムの動作を示すフローチャートである。 超音波画像と嚥下音を表す情報とをモニタに表示する例を示す図である。 本発明の実施の形態１における嚥下評価の詳細な動作を示すフローチャートである。 本発明の実施の形態３における評価部の構成を示すブロック図である。 本発明の実施の形態３における嚥下評価の詳細な動作を示すフローチャートである。 本発明の実施の形態４における評価部の構成を示すブロック図である。 本発明の実施の形態４における嚥下評価の詳細な動作を示すフローチャートである。
　以下、この発明の実施の形態を添付図面に基づいて説明する。
　以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
　なお、本明細書において、「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
　本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。
実施の形態１
　図１に、本発明の実施の形態１に係る嚥下評価システム１の構成を示す。嚥下評価システム１は、超音波プローブ２と装置本体３とマイク４を備えている。超音波プローブ２と装置本体３は互いに接続され、装置本体３とマイク４は互いに接続されている。
　超音波プローブ２は、振動子アレイ１１を有しており、振動子アレイ１１に送受信回路１２が接続されている。
　装置本体３は、画像生成部１３を有しており、画像生成部１３は、超音波プローブ２の送受信回路１２に接続されている。送受信回路１２と画像生成部１３により、画像取得部が構成される。また、画像生成部１３に、表示制御部１４とモニタ１５が順次接続されている。また、画像生成部１３に画像メモリ１６が接続されている。また、装置本体３は、音処理部１７を有しており、音処理部１７はマイク４に接続されている。マイク４と音処理部１７により、音取得部が構成されている。また、音処理部１７に、音メモリ１８が接続されている。音メモリ１８は、表示制御部１４に接続されている。また、画像メモリ１６と音メモリ１８に評価部１９が接続され、評価部１９に表示制御部１４が接続されている。
　また、送受信回路１２、画像生成部１３、表示制御部１４、画像メモリ１６、音処理部１７、音メモリ１８および評価部１９に制御部２０が接続されている。また、制御部２０に入力装置２１が接続されている。
　また、画像生成部１３、表示制御部１４、音処理部１７、評価部１９および制御部２０により、プロセッサ２２が構成されている。
　振動子アレイ１１は、１次元または２次元に配列された複数の振動子を有している。これらの振動子は、それぞれ送受信回路１２から供給される駆動信号にしたがって超音波を送信すると共に、被検体からの超音波エコーを受信して、超音波エコーに基づく信号を出力する。各振動子は、例えば、ＰＺＴ（Lead Zirconate Titanate：チタン酸ジルコン酸鉛）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride：ポリフッ化ビニリデン）に代表される高分子圧電素子およびＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate：マグネシウムニオブ酸鉛－チタン酸鉛固溶体）に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
　送受信回路１２は、制御部２０による制御の下で、振動子アレイ１１から超音波を送信し且つ振動子アレイ１１により取得された受信信号に基づいて音線信号を生成する。送受信回路１２は、図２に示すように、振動子アレイ１１に接続されるパルサ３１と、振動子アレイ１１から順次直列に接続される増幅部３２、ＡＤ（Analog Digital）変換部３３およびビームフォーマ３４を有している。
　パルサ３１は、例えば、複数のパルス発生器を含んでおり、制御部２０からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ１１の複数の振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ１１の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。
　送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波プローブ２の振動子アレイ１１に向かって伝搬する。このように振動子アレイ１１に向かって伝搬する超音波エコーは、振動子アレイ１１を構成するそれぞれの振動子により受信される。この際に、振動子アレイ１１を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部３２に出力する。
　増幅部３２は、振動子アレイ１１を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をＡＤ変換部３３に送信する。ＡＤ変換部３３は、増幅部３２から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ３４に送信する。ビームフォーマ３４は、制御部２０からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、ＡＤ変換部３３により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、ＡＤ変換部３３で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。この音線信号は、画像生成部１３に送出される。
　画像生成部１３は、図３に示すように、信号処理部３５、ＤＳＣ（Digital Scan Converter：デジタルスキャンコンバータ）３６および画像処理部３７が順次直列に接続された構成を有している。
　信号処理部３５は、送受信回路１２から送出された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報であるＢモード画像信号を生成する。
　ＤＳＣ３６は、信号処理部３５で生成されたＢモード画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（ラスター変換）する。
　画像処理部３７は、ＤＳＣ３６から入力されるＢモード画像信号に階調処理等の各種の必要な画像処理を施した後、制御部２０による指令に応じて、Ｂモード画像信号を表示制御部１４および画像メモリ１６に送出する。画像処理部３７により画像処理が施されたＢモード画像信号を、単に、超音波画像と呼ぶ。
　画像メモリ１６は、制御部２０の制御の下で、画像生成部１３により生成された超音波画像の保存および読み出しを行うためのメモリである。画像メモリ１６に保存された超音波画像は、制御部２０の制御の下で読み出され、評価部１９に送出される。
　画像メモリ１６としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive：ハードディスクドライブ）、ＳＳＤ（Solid State Drive：ソリッドステートドライブ）、ＦＤ（Flexible Disc：フレキシブルディスク）、ＭＯディスク（Magneto-Optical disc：光磁気ディスク）、ＭＴ（Magnetic Tape：磁気テープ）、ＲＡＭ（Random Access Memory：ランダムアクセスメモリ）、ＣＤ（Compact Disc：コンパクトディスク）、ＤＶＤ（Digital Versatile Disc：デジタルバーサタイルディスク）、ＳＤカード（Secure Digital card：セキュアデジタルカード）またはＵＳＢメモリ（Universal Serial Bus memory：ユニバーサルシリアルバスメモリ）等の記録メディア等を用いることができる。
　マイク４は、超音波プローブ２から独立し且つ被検体の喉の近傍に配置され、被検体の嚥下音をアナログデータとして取得するためのものである。マイク４により取得された被検体の嚥下音は、音処理部１７に送出される。
　マイク４は、例えば、ユーザの手により被検体の咽頭部に接触されることができ、被検体の咽頭部に貼り付けられることもできる。また、マイク４は、例えば、被検体の頸部に装着するための枠形状等の形状を有する図示しない装着具を有し、この装着具を被検体の頸部に装着することにより、マイク４を被検体の咽頭部の近傍に配置することもできる。
　音処理部１７は、マイク４により取得された嚥下音のアナログデータをデジタルデータに変換して、得られたデジタルデータを音メモリ１８に送出する。また、音処理部１７は、嚥下音のデジタルデータに基づいて、嚥下音の振幅の時間変化を表す波形グラフ等の嚥下音を表す情報を生成し、この情報を音メモリ１８に送出する。
　音メモリ１８は、制御部２０の制御の下で、音処理部１７から送出された嚥下音のデジタルデータ、および、波形グラフ等の嚥下音を表す情報の、保存と読み出しを行うためのメモリである。音メモリ１８に保存された嚥下音のデータは、制御部２０の制御の下で読み出され、評価部１９に送出される。また、音メモリ１８に保存された嚥下音を表す情報は、制御部２０の制御の下で読み出され、表示制御部１４に送出されてモニタ１５に表示される。
　評価部１９は、画像メモリ１６から送出された超音波画像と音メモリ１８から送出された被検体の嚥下音のデータとを組み合わせた機械学習（マルチモーダル学習）を利用することにより、被検体の嚥下の評価を行う。
　評価部１９は、図４に示すように、画像解析部３８と音解析部３９と評価結果出力部４０を有している。画像解析部３８と音解析部３９に評価結果出力部４０が接続され、評価結果出力部４０に表示制御部１４が接続されている。
　画像解析部３８は、画像メモリ１６から被検体の咽頭を撮影した超音波画像を受け取り、その超音波画像を、学習済みの第１のニューラルネットワークに入力することにより、画像特徴量を算出する。画像特徴量とは、超音波画像に基づいて算出された、被検体の咽頭内に食物が残留している確率または被検体に嚥下障害が生じている確率等の、被検体の嚥下に異常が生じている度合いを表す指標である。画像特徴量が大きいほど被検体の嚥下に異常が生じている確率が高いと判断でき、画像特徴量が小さいほど被検体の嚥下に異常が生じている確率が低いと判断できる。
　ここで、被検体の嚥下に異常が生じている場合には、通常、被検体の咽頭内の喉頭蓋谷または梨状窩に食物が残留していることが多い。そのため、超音波画像内の喉頭蓋谷または梨状窩に残留した食物らしき構造体が認識された場合には、被検体の嚥下に異常が生じている可能性が高いと判断できる。
　画像解析部３８により用いられる第１のニューラルネットワークは、例えば、梨状窩に食物が残留している場合と梨状窩に食物が残留していない場合を含む複数の被検体の咽頭を撮影した超音波画像に基づいて、それらの超音波画像内に描出された構造等の特徴を学習し、学習した特徴と、入力された超音波画像内の特徴とを比較することにより画像特徴量を出力する。
　音解析部３９は、音メモリ１８から被検体の嚥下音のデータを受け取り、その嚥下音のデータを、学習済みの第２のニューラルネットワークに入力することにより、音特徴量を算出する。音特徴量とは、被検体の嚥下音のデータに基づいて算出された、被検体の咽頭内に食物が残留している確率または被検体に嚥下障害が生じている確率等の、被検体の嚥下に異常が生じている度合いを表す指標である。音特徴量が大きいほど被検体の嚥下に異常が生じている確率が高いと判断でき、音特徴量が小さいほど被検体の嚥下に異常が生じている確率が低いと判断できる。
　ここで、被検体の嚥下に異常が生じている場合には、被検体が正常に嚥下を行う場合と比較して、異常なノイズ音が含まれること、および、異常な周波数を有する音が含まれることが多い。そのため、嚥下音に異常なノイズ音が含まれる場合、または、嚥下音に対して周波数解析を施した結果、正常な嚥下音と比較して異常な周波数帯に振幅のピーク値が検出された場合には、被検体の嚥下に異常が生じている可能性が高いと判断できる。
　音解析部３９により用いられる第２のニューラルネットワークは、例えば、複数の被検体の嚥下音のデータに基づいて学習した正常な嚥下音の振幅の典型的な時間変化および典型的な周波数分布と、入力された嚥下音の振幅の時間変化および周波数分布を、それぞれ比較することにより、音特徴量を出力する。
　評価結果出力部４０は、画像解析部３８により算出された画像特徴量と音解析部３９により算出された音特徴量とを、学習済みの第３のニューラルネットワークに入力して、被検体に嚥下障害が生じているか否か等の評価結果を出力する。第３のニューラルネットワークは、複数の被検体に対する評価に基づいて、画像特徴量の値と音特徴量の値の組み合わせと、被検体の嚥下に関する評価結果との関係を学習しており、画像特徴量と音特徴量が入力されると、学習結果に基づいて嚥下の評価結果を出力する。
　制御部２０は、予め記録されたプログラム等にしたがって嚥下評価システム１の各部を制御する。
　表示制御部１４は、制御部２０の制御の下で、超音波画像、被検体の嚥下音の振幅の時間変化および嚥下の評価結果等に対して所定の処理を施して、モニタ１５に表示する。
　モニタ１５は、表示制御部１４の制御の下で、種々の表示を行う。モニタ１５は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、有機ＥＬディスプレイ（Organic Electroluminescence Display）等のディスプレイ装置を含む。
　入力装置２１は、ユーザが入力操作を行うためのものである。入力装置２１は、例えば、キーボード、マウス、トラックボール、タッチパッドおよびタッチパネル等のユーザが入力操作を行うための装置等により構成される。
　なお、画像生成部１３、表示制御部１４、音処理部１７、評価部１９および制御部２０を有するプロセッサ２２は、ＣＰＵ（Central Processing Unit：中央処理装置）、および、ＣＰＵに各種の処理を行わせるための制御プログラムから構成されるが、ＦＰＧＡ（Field Programmable Gate Array：フィードプログラマブルゲートアレイ）、ＤＳＰ（Digital Signal Processor：デジタルシグナルプロセッサ）、ＡＳＩＣ（Application Specific Integrated Circuit：アプリケーションスペシフィックインテグレイテッドサーキット）、ＧＰＵ（Graphics Processing Unit：グラフィックスプロセッシングユニット）、その他のＩＣ（Integrated Circuit：集積回路）を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
　また、プロセッサ２２の画像生成部１３、表示制御部１４、音処理部１７、評価部１９および制御部２０は、部分的にあるいは全体的に１つのＣＰＵ等に統合させて構成されることもできる。
　次に、図５に示すフローチャートを用いて、本発明の実施の形態１に係る嚥下評価システム１の動作を説明する。
　まず、ユーザが超音波プローブ２を被検体の喉に接触させ且つマイク４を被検体の喉に配置する。この状態で、ステップＳ１において、制御部２０は、被検体の嚥下音を評価するための被検体の嚥下音の取得を開始する指示を受け付ける。制御部２０は、例えば、入力装置２１を介してユーザにより、嚥下音の取得を開始する指示が入力された場合に、この指示が受け付けられたと判定する。
　また、ステップＳ１が完了するタイミングで、例えば、ユーザが被検体に対して食物の嚥下を行うように呼びかける等により、被検体の嚥下が開始される。ここで、被検体が嚥下を行う食物には、例えば、嚥下障害を有する被検体向けに一般的に流通しているゼリー食品等が用いられる。
　次に、マイク４により被検体の嚥下時における嚥下音が取得される。マイク４により取得された嚥下音のアナログデータは、音処理部１７によりデジタルデータに変換されて音メモリ１８に保存される。また、音処理部１７により、嚥下音の振幅の時間変化を表す波形グラフ等の嚥下音を表す情報が生成され、この情報が、例えば図６に示すようにモニタ１５に表示される。図６の例では、嚥下音を表す情報として、嚥下音の振幅の時間変化を表す波形グラフＷが表示されている。
　ステップＳ３において、制御部２０は、嚥下音の取得を終了するか否かを判定する。制御部２０は、例えば、入力装置２１を介してユーザにより嚥下音の取得を終了する指示が入力された場合に嚥下音の取得を終了すると判定し、入力装置２１を介してユーザにより嚥下音の取得を終了する指示が入力されない場合に嚥下音の取得を続行すると判定する。
　ステップＳ３で嚥下音の取得を続行すると判定された場合には、ステップＳ２に戻り、嚥下音の取得が新たになされる。このように、ステップＳ３において嚥下音の取得を終了すると判定されるまでステップＳ２およびステップＳ３の処理が繰り返される。これにより、ステップＳ２およびステップＳ３の繰り返しにより取得された被検体の嚥下時の嚥下音が音メモリ１８に保存される。
　ステップＳ３で、例えば被検体の嚥下が終了したとユーザが判断して、入力装置２１を介して嚥下音の取得を終了する指示を入力することにより、嚥下音の取得を終了すると判定された場合には、ステップＳ４に進む。
　ステップＳ４において、被検体の嚥下後の咽頭を撮影した超音波画像Ｕが取得される。このように、被検体の嚥下後の超音波画像Ｕを取得することにより、被検体の嚥下に何らかの異常が生じている場合には、梨状窩に残留した食物を描出する超音波画像Ｕが得られることが多い。
　超音波画像Ｕが撮影される際に、送受信回路１２は、制御部２０の制御の下で、予め設定された音速値を用いて受信フォーカス処理を行って、音線信号を生成する。このようにして送受信回路１２により生成された音線信号は、画像生成部１３に送出される。画像生成部１３は、送受信回路１２から送出された音線信号を用いて超音波画像を生成する。例えば図６に示すように、このようにして生成された超音波画像Ｕは、表示制御部１４に送出されてモニタ１５に表示される。
　ステップＳ５において、制御部２０は、ステップＳ４で取得された超音波画像Ｕを画像メモリ１６に保存するか否かを判定する。例えば、ユーザが入力装置２１を介して超音波画像Ｕを保存する指示を入力した場合に、制御部２０は、ステップＳ４で取得された超音波画像Ｕを保存すると判定してその超音波画像Ｕを画像メモリ１６に保存し、ユーザが入力装置２１を介して超音波画像Ｕを保存する指示を入力しない場合に、ステップＳ４で取得された超音波画像Ｕを保存しないと判定する。
　例えば、図６に示すように、制御部２０は、モニタ１５にフリーズ保存ボタンＢを表示し、フリーズ保存ボタンＢが入力装置２１を介してユーザにより選択された場合に、モニタ１５に表示されている超音波画像Ｕをフリーズ表示すると共に、その超音波画像Ｕを画像メモリ１６に保存し、フリーズ保存ボタンＢが選択されない場合に超音波画像Ｕを保存しないと判定することができる。
　ステップＳ５で超音波画像Ｕを保存しないと判定された場合には、ステップＳ４に戻り、超音波画像Ｕが新たに取得される。そのため、ステップＳ５で超音波画像Ｕを保存すると判定されるまでステップＳ４およびステップＳ５の処理が繰り返される。
　ステップＳ５で超音波画像Ｕを保存すると判定され、超音波画像Ｕが画像メモリ１６に保存された場合には、ステップＳ６に進む。
　ステップＳ６において、評価部１９は、ステップＳ２およびステップＳ３の繰り返しにより音メモリ１８に保存された被検体の嚥下時における嚥下音のデータと、ステップＳ５で画像メモリ１６に保存された超音波画像Ｕを組み合わせた機械学習を利用することにより被検体の嚥下の評価を行う。
　このステップＳ６の処理については、図７に示すフローチャートを用いて詳細に説明する。
　ステップＳ６の処理が開始されると、まず、ステップＳ８の処理が行われる。
　ステップＳ８において、評価部１９の画像解析部３８は、ステップＳ５で画像メモリ１６に保存された超音波画像Ｕを第１のニューラルネットワークに入力することにより、被検体の嚥下に異常が生じている度合いを表す画像特徴量を算出する。
　この際に、第１のニューラルネットワークは、例えば、梨状窩に食物が残留している場合と梨状窩に食物が残留していない場合を含む複数の被検体の咽頭を撮影した超音波画像に基づいて学習した超音波画像内の特徴と、入力された超音波画像Ｕ内の特徴とを比較することにより、残留した食物が超音波画像Ｕに描出されている確率を画像特徴量として出力する。例えば、超音波画像Ｕにおいて、残留した食物らしき構造体が鮮明に描出されているほど、大きい値を有する画像特徴量が得られる。
　次に、ステップＳ９において、評価部１９の音解析部３９は、ステップＳ２およびステップＳ３の繰り返しにより取得された被検体の嚥下時における嚥下音のデータを第２のニューラルネットワークに入力することにより、被検体の嚥下に異常が生じている度合いを表す音特徴量を算出する。
　この際に、第２のニューラルネットワークは、例えば、複数の被検体の嚥下音のデータに基づいて学習した正常な嚥下音の振幅の典型的な時間変化および典型的な周波数分布と、入力された嚥下音の振幅の時間変化および周波数分布を、それぞれ比較することにより、音特徴量を出力する。例えば、正常な嚥下音の振幅の典型的な時間変化と比較して、異常なタイミングでノイズ音の振幅が検出される場合、または、正常な嚥下音の典型的な周波数分布と比較して、異常な周波数帯に振幅のピーク値が検出された場合ほど、大きい値を有する音特徴量が得られる。
　続くステップＳ１０において、評価部１９の評価結果出力部４０は、ステップＳ８で算出された画像特徴量とステップＳ９で算出された音特徴量を第３のニューラルネットワークに入力することにより、被検体の嚥下の評価結果を出力する。嚥下の評価結果としては、例えば、梨状窩における残留している食物の有無、または、被検体における嚥下障害の疑いの有無等が出力される。また、評価結果出力部４０は、嚥下の評価結果として、例えば、梨状窩に残留している食物の量を、「残留無し」、「少し残留している」、「多く残留している」、「非常に多く残留している」等の複数の段階に分けて出力することもできる。また、例えば、評価結果出力部４０は、嚥下の評価結果として、評価を行った被検体に適した嚥下食の硬さを出力することもできる。嚥下食の硬さには、例えば、「嚥下調整学会分類２０１３，日摂食嚥下リハ会誌１７（３）：２５５－２６７，２０１３」に記載されている嚥下食の硬さを使用することができる。
　このようにして、ステップＳ１０では、超音波画像Ｕの解析に基づいて算出された被検体の嚥下に異常が生じている度合いを表す画像特徴量と、被検体の嚥下音の解析に基づいて算出された被検体の嚥下に異常が生じている度合いを表す音特徴量の双方に基づいて、被検体の嚥下の最終的な評価結果が出力される。そのため、例えば、超音波画像Ｕの解析に基づいて算出された画像特徴量と、被検体の嚥下音の解析に基づいて算出された音特徴量のいずれか一方のみにより被検体の嚥下の評価を行うよりも、高精度な評価結果を得ることができる。
　このようにして、ステップＳ８～ステップＳ１０の処理がなされることにより、ステップＳ６の処理が行われる。ステップＳ６の処理が完了すると、ステップＳ７に進む。
　ステップＳ７において、ステップＳ６で出力された被検体の嚥下の評価結果を表す情報がモニタ１５に表示される。
　これにより、実施の形態１に係る嚥下評価システム１の動作が完了する。
　以上から、本発明の実施の形態１に係る嚥下評価システム１によれば、被検体の咽頭を撮影した超音波画像Ｕと被検体の嚥下音の双方を組み合わせた機械学習により、被検体の嚥下の評価が行われるため、被検体の嚥下を高精度に評価することができる。
　なお、図１に示すように、送受信回路１２は、超音波プローブ２に備えられているが、超音波プローブ２に備えられる代わりに、装置本体３に備えられていてもよい。
　また、画像生成部１３は、装置本体３に備えられているが、装置本体３に備えられる代わりに、超音波プローブ２に備えられていてもよい。
　また、図３に示すように、画像生成部１３は、信号処理部３５、ＤＳＣ３６および画像処理部３７を備えているが、そのうち、信号処理部３５は超音波プローブ２に含まれることもできる。
　また、超音波プローブ２と装置本体３との接続方法は、特に限定されず、有線接続でもよく、無線接続でもよい。また、装置本体３とマイク４との接続方法についても特に限定されず、有線接続でもよく、無線接続でもよい。
　また、装置本体３は、ユーザが容易に携帯することが可能ないわゆるハンドヘルド型でもよく、いわゆる据え置き型でもよい。
　また、マイク４は、超音波プローブ２から独立していることが説明されているが、超音波プローブ２に内蔵されている等、超音波プローブ２に取り付けられていてもよい。この場合には、マイク４を独立して被検体の咽頭部の近傍に配置する必要がなく、超音波画像Ｕを撮影するために超音波プローブ２を被検体の咽頭部に接触させることにより、被検体の嚥下音をも取得することができる。
　また、装置本体３の音処理部１７とマイク４とにより、被検体の嚥下音を取得するための音取得部が構成されることが説明されているが、嚥下評価システム１は、マイク４と音処理部１７を有し且つ装置本体３から独立した音取得部を備えることもできる。この場合には、音取得部により取得された被検体の嚥下音のデータが装置本体３に入力される。
　また、ステップＳ２～ステップＳ５では、被検体の嚥下時における嚥下音の取得および保存が行われた後に、被検体の嚥下後における超音波画像Ｕの取得および保存が行われているが、被検体の嚥下時における超音波画像Ｕについても取得および保存が行われてもよい。この場合には、ステップＳ８において画像特徴量が算出される際に、嚥下後における超音波画像Ｕに加えて嚥下時における超音波画像Ｕについても解析を行うことができるため、画像特徴量の精度を向上させることができる。
　また、被検体の嚥下が開始されてから嚥下の終了後の一定の時間における連続的な複数フレームの超音波画像Ｕを取得し、これらの超音波画像Ｕが画像メモリ１６に保存されることもできる。この場合には、一定の時間内に取得された超音波画像Ｕの時系列データをステップＳ８で解析することにより、画像特徴量を算出することができる。これにより、例えば複数フレームの超音波画像Ｕに基づいて咽頭内の構造の動きを解析することができるため、例えば、１フレームの超音波画像Ｕに基づいて画像特徴量を算出するよりも高精度に画像特徴量を算出することができる。
　また、被検体の嚥下に何らかの異常が生じている場合には、正常に嚥下が行われる場合と比較して、呼吸音に異常なノイズ音が含まれること、および、異なる呼吸音が取得されることが考えられる。そのため、例えば、マイク４と音処理部１７を有する音取得部により、嚥下時における嚥下音のデータが取得されることに加えて、嚥下前の呼吸音のデータと嚥下後の呼吸音のデータが取得され、これらの呼吸音のデータが音メモリ１８に保存されることもできる。この場合に、ステップＳ９において、被検体の嚥下音のデータと呼吸音のデータが解析されることにより、音特徴量が算出される。これにより、例えば、被検体の嚥下音に基づいて音特徴量を算出するよりも高精度に音特徴量を算出することができる。
　また、図７に示すフローチャートでは、ステップＳ８の後にステップＳ９が行われているが、ステップＳ９の後にステップＳ８が行われてもよく、ステップＳ８とステップＳ９が同時に行われてもよい。
　また、評価結果の出力結果をユーザに通知する方法は、評価結果をモニタ１５に表示する方法に限定されない。例えば、嚥下評価システム１に図示しないランプを設け、ランプの発光色および点滅パターン等により被検体の嚥下障害の有無等をユーザに通知することもできる。この際に、ランプは、例えば、超音波プローブ２に配置されてもよく、装置本体３に配置されてもよく、超音波プローブ２および装置本体３とは独立して配置されていてもよい。
実施の形態２
　実施の形態１において、評価部１９は、画像解析部３８、音解析部３９および評価結果出力部４０を有し、第１のニューラルネットワーク、第２のニューラルネットワークおよび第３のニューラルネットワークの３つのニューラルネットワークを利用して被検体の嚥下の評価を行っているが、被検体の嚥下の評価方法は、これに限定されない。
　例えば、評価部１９は、被検体の超音波画像Ｕ、被検体の嚥下音およびそれらの組み合わせと評価結果との関係を学習した同一のニューラルネットワークのみを利用して被検体の嚥下の評価を行うこともできる。
　このように、嚥下評価システム１は、１つのニューラルネットワークのみを利用して嚥下の評価結果を出力する場合でも、実施の形態１のように３つのニューラルネットワークを利用する場合と同様に、被検体の咽頭を撮影した超音波画像Ｕと被検体の嚥下音の双方を組み合わせた機械学習により、被検体の嚥下の評価が行われるため、被検体の嚥下を高精度に評価することができる。
実施の形態３
　例えば、２つのニューラルネットワークを利用して被検体の嚥下の評価を出力することもできる。
　図８に、実施の形態３における評価部１９Ａの構成を示す。評価部１９Ａは、音解析部３９と評価結果出力部４０Ａを有しており、音解析部３９に評価結果出力部４０Ａが接続されている。また、評価結果出力部４０Ａに、表示制御部１４が接続されている。
　音解析部３９は、実施の形態１における音解析部３９と同様に、被検体の嚥下音のデータを受け取り、その嚥下音のデータを第２のニューラルネットワークに入力することにより、音特徴量を算出する。算出された音特徴量は、評価結果出力部４０Ａに出力される。
　評価結果出力部４０Ａは、音特徴量に対して定められた音特徴量しきい値を有しており、音解析部３９により算出された音特徴量が、音特徴量しきい値を超えているか否かを判定する。また、評価結果出力部４０Ａは、音解析部３９により算出された音特徴量が音特徴量しきい値を超えた場合に、その音特徴量と、画像生成部１３により生成された超音波画像Ｕを第４のニューラルネットワークに入力することにより、被検体の嚥下の評価結果を出力する。
　評価結果出力部４０Ａにより利用される第４のニューラルネットワークは、実施の形態１において画像解析部３８により利用される第１のニューラルネットワークと同様にして、入力された超音波画像Ｕを解析することにより画像特徴量を算出し、実施の形態１における評価結果出力部４０により利用される第３のニューラルネットワークと同様にして、算出された画像特徴量と音解析部３９から送出された音特徴量に基づいて被検体の嚥下の評価結果を出力する。
　次に、図９に示すフローチャートを用いて、実施の形態３における嚥下評価の動作を説明する。
　まず、ステップＳ１１において、音解析部３９は、被検体の嚥下音のデータを第２のニューラルネットワークに入力することにより、音特徴量を算出する。
　ステップＳ１２において、評価結果出力部４０Ａは、ステップＳ１１で算出された音特徴量が音特徴量しきい値を超えているか否かを判定する。ステップＳ１１で算出された音特徴量が音特徴量しきい値を超えていると判定された場合に、評価結果出力部４０Ａは、被検体の嚥下に何らかの異常が生じている可能性が高いと判断して、ステップＳ１３の処理を行う。
　ステップＳ１３において、評価結果出力部４０Ａは、ステップＳ１１で算出された音特徴量と、被検体の咽頭を撮影した超音波画像Ｕを第４のニューラルネットワークに入力することにより、超音波画像Ｕの解析結果を加味した嚥下の評価結果を出力する。
　また、ステップＳ１２において、音特徴量が音特徴量しきい値以下であると判定された場合に、評価結果出力部４０Ａは、被検体の嚥下に異常が生じている可能性が低いと判断して、ステップＳ１４の処理を行う。
　ステップＳ１４において、評価結果出力部４０Ａは、ステップＳ１１における嚥下音の解析結果に基づいて嚥下の評価結果を算出する。評価結果出力部４０Ａは、例えば、第４のニューラルネットワークを利用せずに、ステップＳ１２で音特徴量が音特徴量しきい値以下であるという結果から、被検体の嚥下に異常が生じている可能性が低いと判断して、被検体の嚥下に異常が生じていないという評価結果を出力する。
　この場合には、評価結果出力部４０Ａは、第２のニューラルネットワークのみを利用して被検体の嚥下の評価結果を出力できる。
　このようにして、実施の形態３における嚥下評価の動作が終了する。
　このように、実施の形態３では、音特徴量が音特徴量しきい値を超えた場合にのみ第２のニューラルネットワークと第４のニューラルネットワークの２つのニューラルネットワークが利用され、音特徴量が音特徴量しきい値以下の場合には第２のニューラルネットワークのみが利用されるため、実施の形態１と比較して、ニューラルネットワークを利用する際のプロセッサ２２の計算負荷を減少させることができる。そのため、実施の形態３では、プロセッサ２２の計算負荷に起因する、被検体の嚥下の評価に必要な処理時間と電力を削減することができる。
　ここで、装置本体３がいわゆるハンドヘルド型または携帯型である場合には、持ち運び容易な図示しないバッテリにより装置本体３の各部に電力が供給されることが好ましい。また、装置本体３がハンドヘルド型または携帯型である場合には、装置本体３がいわゆる据え置き型である場合と比較してサイズが小さいため、サイズが大きく且つ演算能力の高いプロセッサ２２を搭載しにくい。そのため、実施の形態３の態様は、装置本体３がハンドヘルド型または携帯型である場合に特に有用である。
　また、通常、被検体の咽頭を撮影した超音波画像Ｕにおいて、梨状窩および咽頭内に残留する食物は、周囲の組織との見分けがつきにくいことが知られている。その一方で、嚥下音は、比較的感度良く取得することができるため、超音波画像Ｕにより被検体の嚥下に異常が生じているか否かを判断するよりも、嚥下音により判断を行う方が、より精確な判断が可能である。実施の形態３では、まず、音特徴量を算出し、算出された音特徴量が音特徴量しきい値を超えた場合に超音波画像Ｕの解析結果を加味して嚥下音の評価を行うため、被検体の嚥下の評価を高精度に行うことができる。
実施の形態４
　図１０に、実施の形態４における評価部１９Ｂの構成を示す。評価部１９Ｂは、画像解析部３８と評価結果出力部４０Ｂを有しており、画像解析部３８に評価結果出力部４０Ｂが接続されている。また、評価結果出力部４０Ｂに、表示制御部１４が接続されている。
　画像解析部３８は、実施の形態１における画像解析部３８と同様に、被検体の咽頭を撮影した超音波画像Ｕを受け取り、その超音波画像Ｕを第１のニューラルネットワークに入力することにより、画像特徴量を算出する。算出された画像特徴量は、評価結果出力部４０Ｂに出力される。
　評価結果出力部４０Ｂは、画像特徴量に対して定められた画像特徴量しきい値を有しており、画像解析部３８により算出された画像特徴量が、画像特徴量しきい値を超えているか否かを判定する。また、評価結果出力部４０Ｂは、画像解析部３８により算出された画像特徴量が音特徴量しきい値を超えた場合に、その画像特徴量と、マイク４と音処理部１７とを有する音取得部により取得された被検体の嚥下音のデータを第５のニューラルネットワークに入力することにより、被検体の嚥下の評価結果を出力する。
　評価結果出力部４０Ｂにより利用される第５のニューラルネットワークは、実施の形態１において音解析部３９により利用される第２のニューラルネットワークと同様にして、入力された嚥下音のデータを解析することにより音特徴量を算出し、実施の形態１における評価結果出力部４０により利用される第３のニューラルネットワークと同様にして、算出された音特徴量と画像解析部３８から送出された画像特徴量に基づいて被検体の嚥下の評価結果を出力する。
　次に、図１１に示すフローチャートを用いて、実施の形態４における嚥下評価の動作を説明する。
　まず、ステップＳ２１において、画像解析部３８は、被検体の咽頭を撮影した超音波画像Ｕを第１のニューラルネットワークに入力することにより、画像特徴量を算出する。
　ステップＳ２２において、評価結果出力部４０Ｂは、ステップＳ２１で算出された画像特徴量が画像特徴量しきい値を超えているか否かを判定する。ステップＳ２２において、ステップＳ２１で算出された画像特徴量が画像特徴量しきい値を超えていると判定された場合に、評価結果出力部４０Ｂは、被検体の嚥下に何らかの異常が生じている可能性が高いと判断して、ステップＳ２３の処理を行う。
　ステップＳ２３において、評価結果出力部４０Ｂは、ステップＳ２１で算出された画像特徴量と、被検体の嚥下音のデータを第５のニューラルネットワークに入力することにより、嚥下音の解析結果を加味した嚥下の評価結果を出力する。
　また、ステップＳ２２において、画像特徴量が画像特徴量しきい値以下であると判定された場合に、評価結果出力部４０Ｂは、被検体の嚥下に異常が生じている可能性が低いと判断して、ステップＳ２４の処理を行う。
　ステップＳ２４において、評価結果出力部４０Ｂは、ステップＳ２１における嚥下音の解析結果に基づいて嚥下の評価結果を算出する。評価結果出力部４０Ｂは、例えば、第５のニューラルネットワークを利用せずに、ステップＳ２２で画像特徴量が画像特徴量しきい値以下であるという結果から、被検体の嚥下に異常が生じている可能性が低いと判断して、被検体の嚥下に異常が生じていないという評価結果を出力する。
　この場合には、評価結果出力部４０Ｂは、第１のニューラルネットワークのみを利用して被検体の嚥下の評価結果を出力できる。
　このようにして、実施の形態４における嚥下評価の動作が終了する。
　このように、実施の形態４では、画像特徴量が画像特徴量しきい値を超えた場合にのみ第１のニューラルネットワークと第５のニューラルネットワークの２つのニューラルネットワークが利用され、画像特徴量が画像特徴量しきい値以下の場合には第１のニューラルネットワークのみが利用されるため、実施の形態１と比較して、ニューラルネットワークを利用する際のプロセッサ２２の計算負荷を減少させることができる。そのため、実施の形態４では、実施の形態３と同様に、プロセッサ２２の計算負荷に起因する、被検体の嚥下の評価に必要な処理時間と電力を削減することができる。
　また、以上から、実施の形態４の態様は、実施の形態３の態様と同様に、装置本体３がハンドヘルド型または携帯型である場合に特に有用である。
１　嚥下評価システム、２　超音波プローブ、３　装置本体、４　マイク、１１　振動子アレイ、１２　送受信回路、１３　画像生成部、１４　表示制御部、１５　モニタ、１６　画像メモリ、１７　音処理部、１８　音メモリ、１９，１９Ａ，１９Ｂ　評価部、２０　制御部、２１　入力装置、２２　プロセッサ、３１　パルサ、３２　増幅部、３３　ＡＤ変換部、３４　ビームフォーマ、３５　信号処理部、３６　ＤＳＣ、３７　画像処理部、３８　画像解析部、３９　音解析部、４０，４０Ａ，４０Ｂ　評価結果出力部、Ｂ　フリーズ保存ボタン、Ｕ　超音波画像、Ｗ　波形グラフ。

Claims (17)

  1. 　超音波プローブと、
    　前記超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の咽頭内の超音波画像を取得する画像取得部と、
    　前記被検体による嚥下音を取得する音取得部と、
    　前記画像取得部により取得された前記超音波画像と前記音取得部により取得された前記嚥下音とを組み合わせた機械学習を利用することにより前記被検体の嚥下の評価を行う評価部と
    　を備える嚥下評価システム。
  2. 　前記評価部は、前記超音波画像と前記嚥下音をニューラルネットワークに入力することにより嚥下の評価を行う請求項１に記載の嚥下評価システム。
  3. 　前記評価部は、前記超音波画像を第１のニューラルネットワークに入力して画像特徴量を算出し、前記嚥下音を第２のニューラルネットワークに入力して音特徴量を算出し、前記画像特徴量と前記音特徴量を第３のニューラルネットワークに入力することにより嚥下の評価を行う請求項２に記載の嚥下評価システム。
  4. 　前記評価部は、前記嚥下音を第２のニューラルネットワークに入力して音特徴量を算出し、前記音特徴量が定められた音特徴量しきい値を超えた場合に、前記超音波画像と前記音特徴量とを第４のニューラルネットワークに入力することにより嚥下の評価を行う請求項２に記載の嚥下評価システム。
  5. 　前記評価部は、前記超音波画像を第１のニューラルネットワークに入力して画像特徴量を算出し、前記画像特徴量が定められた画像特徴量しきい値を超えた場合に、前記嚥下音と前記画像特徴量を第５のニューラルネットワークに入力することにより嚥下の評価を行う請求項２に記載の嚥下評価システム。
  6. 　前記評価部は、前記超音波画像と前記嚥下音の双方を同一のニューラルネットワークに入力することにより嚥下の評価を行う請求項２に記載の嚥下評価システム。
  7. 　前記評価部は、前記超音波画像と前記嚥下音の時系列データを前記ニューラルネットワークに入力する請求項２～６のいずれか一項に記載の嚥下評価システム。
  8. 　前記音取得部は、嚥下時における嚥下音を取得し、
    　前記画像取得部は、嚥下後の超音波画像を取得する請求項１～７のいずれか一項に記載の嚥下評価システム。
  9. 　前記画像取得部は、嚥下時における超音波画像をも取得する請求項８に記載の嚥下評価システム。
  10. 　前記音取得部は、嚥下前の呼吸音および嚥下後の呼吸音のうち少なくとも一方の呼吸音をも取得する請求項８または９に記載の嚥下評価システム。
  11. 　前記音取得部は、前記超音波プローブに内蔵されたマイクを有する請求項１～１０のいずれか一項に記載の嚥下評価システム。
  12. 　前記音取得部は、前記超音波プローブから独立し且つ前記被検体の咽頭部に接触されるマイクを有する請求項１～１０のいずれか一項に記載の嚥下評価システム。
  13. 　前記評価部は、評価結果として、前記被検体の咽頭部における嚥下残留物の有無を出力する請求項１～１２のいずれか一項に記載の嚥下評価システム。
  14. 　前記評価部は、評価結果として、前記被検体の嚥下障害の有無を出力する請求項１～１３のいずれか一項に記載の嚥下評価システム。
  15. 　前記評価部は、評価結果として、前記被検体に適した嚥下食の硬さを出力する請求項１～１４のいずれか一項に記載の嚥下評価システム。
  16. 　前記画像取得部により取得された前記超音波画像と前記音取得部により取得された前記嚥下音を表す情報とを表示するモニタを備える請求項１～１５のいずれか一項に記載の嚥下評価システム。
  17. 　超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の咽頭内の超音波画像を取得し、
    　前記被検体による嚥下音を取得し、
    　取得された前記超音波画像と前記嚥下音とを入力とする機械学習を利用することにより前記被検体の嚥下の評価を行う
    　嚥下評価方法。
PCT/JP2021/043235 2020-11-26 2021-11-25 嚥下評価システムおよび嚥下評価方法 WO2022114070A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022565412A JPWO2022114070A1 (ja) 2020-11-26 2021-11-25
US18/322,393 US20230293091A1 (en) 2020-11-26 2023-05-23 Swallowing evaluation system and swallowing evaluation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020195807 2020-11-26
JP2020-195807 2020-11-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/322,393 Continuation US20230293091A1 (en) 2020-11-26 2023-05-23 Swallowing evaluation system and swallowing evaluation method

Publications (1)

Publication Number Publication Date
WO2022114070A1 true WO2022114070A1 (ja) 2022-06-02

Family

ID=81754413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043235 WO2022114070A1 (ja) 2020-11-26 2021-11-25 嚥下評価システムおよび嚥下評価方法

Country Status (3)

Country Link
US (1) US20230293091A1 (ja)
JP (1) JPWO2022114070A1 (ja)
WO (1) WO2022114070A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401643B1 (ja) 2022-12-27 2023-12-19 デンタルサポート株式会社 嚥下評価装置、嚥下評価方法、嚥下評価プログラムおよび嚥下評価システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018000871A (ja) * 2016-07-08 2018-01-11 国立大学法人岩手大学 生体の動作識別システム及び生体の動作識別方法
JP2020089613A (ja) * 2018-12-07 2020-06-11 国立大学法人山梨大学 嚥下能力測定システム、嚥下能力測定方法およびセンサホルダ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018000871A (ja) * 2016-07-08 2018-01-11 国立大学法人岩手大学 生体の動作識別システム及び生体の動作識別方法
JP2020089613A (ja) * 2018-12-07 2020-06-11 国立大学法人山梨大学 嚥下能力測定システム、嚥下能力測定方法およびセンサホルダ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401643B1 (ja) 2022-12-27 2023-12-19 デンタルサポート株式会社 嚥下評価装置、嚥下評価方法、嚥下評価プログラムおよび嚥下評価システム

Also Published As

Publication number Publication date
JPWO2022114070A1 (ja) 2022-06-02
US20230293091A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
JP6419976B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US20120245468A1 (en) Ultrasound diagnostic apparatus and method of producing ultrasound image
WO2020075609A1 (ja) 超音波診断装置および超音波診断装置の制御方法
US20210219960A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP7124223B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US11759173B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20230293091A1 (en) Swallowing evaluation system and swallowing evaluation method
JP6423540B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US20190216441A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP2013169270A (ja) 超音波診断装置および超音波画像生成方法
JP5836241B2 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
JP2012196390A (ja) 超音波診断装置
JP2023182996A (ja) 超音波診断装置および超音波診断装置の制御方法
JP6982190B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP2014064856A (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
WO2020075575A1 (ja) 超音波診断装置および超音波診断装置の制御方法
US9291601B2 (en) Ambient sound velocity obtaining method and apparatus
US20230270375A1 (en) Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus
WO2023171272A1 (ja) 超音波診断装置、超音波診断装置の制御方法および測距装置
US20230172587A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
WO2023167005A1 (ja) 超音波診断装置および超音波診断装置の制御方法
US20240081786A1 (en) Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus
JP2024039872A (ja) 超音波診断装置の制御方法および超音波診断装置
JP2024025865A (ja) 超音波診断装置の制御方法および超音波診断装置
JP2023141907A (ja) 超音波診断システムおよび超音波診断システムの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21898042

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022565412

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21898042

Country of ref document: EP

Kind code of ref document: A1