WO2015029501A1 - 嚥下推定装置、情報端末装置およびプログラム - Google Patents

嚥下推定装置、情報端末装置およびプログラム Download PDF

Info

Publication number
WO2015029501A1
WO2015029501A1 PCT/JP2014/062239 JP2014062239W WO2015029501A1 WO 2015029501 A1 WO2015029501 A1 WO 2015029501A1 JP 2014062239 W JP2014062239 W JP 2014062239W WO 2015029501 A1 WO2015029501 A1 WO 2015029501A1
Authority
WO
WIPO (PCT)
Prior art keywords
swallowing
sound
estimation
unit
section
Prior art date
Application number
PCT/JP2014/062239
Other languages
English (en)
French (fr)
Inventor
仁敬 越久
慶彦 尾家
Original Assignee
学校法人兵庫医科大学
ユーセンスメディカル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人兵庫医科大学, ユーセンスメディカル株式会社 filed Critical 学校法人兵庫医科大学
Priority to EP17191606.7A priority Critical patent/EP3284407B1/en
Priority to SG11201601484QA priority patent/SG11201601484QA/en
Priority to CN201480047085.7A priority patent/CN105658142B/zh
Priority to JP2015534021A priority patent/JP6049889B2/ja
Priority to EP14839941.3A priority patent/EP3040022B1/en
Priority to KR1020167007553A priority patent/KR101702275B1/ko
Priority to TW103124689A priority patent/TWI533843B/zh
Publication of WO2015029501A1 publication Critical patent/WO2015029501A1/ja
Priority to US15/011,672 priority patent/US9649062B2/en
Priority to HK16108600.7A priority patent/HK1220345A1/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205Evaluating swallowing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/087Measuring breath flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/008Detecting noise of gastric tract, e.g. caused by voiding

Definitions

  • the present invention relates to a swallowing estimation device for estimating swallowing motion, an information terminal device for acquiring information necessary for estimating swallowing motion, and a program for giving a swallowing estimation function to a computer.
  • Patent Document 1 discloses a technique for performing frequency analysis of a body sound obtained from the larynx and discriminating swallowing, coughing and vocalization from the frequency characteristics.
  • the academic journal “Occupational Therapy” Vol. 31, No. 31, page 51 to page 59 (Non-Patent Document 1) published by the Association of Occupational Therapists in February 2012 states “Unconstrained monitoring of swallowing frequency of elderly people”. "With regard to a pulse group obtained by pulsing a living body sound collected by a laryngeal microphone, a technique is disclosed in which a pulse group having a pulse width of 60 msec or less and a pulse number of 20 or less is determined to be swallowed.
  • swallowing estimation it is first necessary to collect information such as body sounds from the subject.
  • information such as body sounds from the subject.
  • an instrument or the like attached to the subject is as simple as possible so as not to restrain the subject as much as possible.
  • the information for swallowing estimation can be collected from the subject under the living environment.
  • life noise, sounds during eating and drinking, conversation, sounds generated during neck rotation, etc. are not relevant.
  • Various sound information is collected. For this reason, swallowing is erroneously estimated by these noises, and as a result, the estimation accuracy of swallowing is reduced.
  • the present invention provides a swallowing estimation device capable of maintaining high swallowing estimation accuracy even when information for swallowing estimation is collected in a living environment, and an information terminal device and program used therefor The purpose is to provide.
  • the present invention pays attention to the fact that the patient is always in an apnea state for a predetermined period or more at the time of swallowing, and analyzes the biological signal only in the apnea section of the predetermined period or more to estimate the swallowing section.
  • the first aspect of the present invention relates to a swallowing estimation device.
  • the swallowing estimation device includes a sound detection unit that detects sound of the larynx, a respiration detection unit that detects respiration, sound information output from the sound detection unit, and respiration output from the respiration detection unit A swallowing estimation unit that estimates swallowing based on the information.
  • the swallowing estimation unit acquires a parameter value for swallowing estimation for a body sound generation section corresponding to an apnea section of 400 msec or more, and whether the acquired parameter value satisfies a swallowing determination condition Based on whether or not, it is estimated whether or not swallowing occurred in the body sound generation section.
  • the swallowing estimation device it is estimated whether or not swallowing has occurred based on the body sound when in an apnea state, so that the estimation accuracy of swallowing can be increased. Moreover, since the biological sound generation section corresponding to the apnea section of 400 msec or more is set as the estimation target of swallowing, the estimation accuracy of swallowing is further enhanced. Usually, breathing is stopped for a relatively long time during swallowing. Therefore, the estimation accuracy of swallowing is further enhanced by including the length of the apnea section in the estimation condition in this way.
  • the swallowing estimation unit may be configured to obtain, by calculation, parameter values indicating sound continuity and continuity as parameter values for swallowing estimation. In this way, swallowing estimation processing can be executed smoothly by calculation. In addition, if only the biological sound generation section corresponding to the apnea section among the biological sound generation sections is set as a calculation target, the calculation load is reduced and swallowing can be estimated efficiently.
  • the swallowing estimation unit obtains pulse signals by performing Fourier transform and wavelet transform arithmetic processing on the sound information, and obtains the number and length of the obtained pulse signals as the parameter values. It can be configured.
  • the swallowing estimation unit calculates a ratio of sound in a frequency band exceeding a predetermined frequency in the biological sound generation section, and further determines whether the calculated ratio exceeds a threshold value.
  • a threshold value As an estimation condition, it may be configured to estimate whether swallowing has occurred in the body sound generation section.
  • the estimation accuracy of swallowing can be further increased by setting the frequency component of the sound as a further estimation condition.
  • the swallowing estimation device may further include a displacement detection unit that detects the displacement of the larynx.
  • the swallowing estimation unit determines whether or not the amount of displacement of the larynx detected by the displacement detection unit in the body sound generation section exceeds a threshold, and further swallows the body sound generation section. It can be set as the structure which estimates whether it occurred.
  • the estimation accuracy of swallowing can be further increased by setting the amount of displacement of the larynx as a further estimation condition.
  • the swallowing estimation apparatus may include an output unit that outputs information based on an estimation result by the swallowing estimation unit.
  • the swallowing estimation apparatus includes a storage unit that stores the sound information output from the sound detection unit, and an input unit that can specify a timing at which the swallowing estimation unit estimates that swallowing has occurred. , May be configured.
  • the output unit acquires the sound information having a time width including the timing specified via the input unit from the storage unit, and outputs the sound obtained by reproducing the acquired sound information to the outside. Can be done. In this way, a doctor or the like can confirm whether or not swallowing actually occurred at the timing by actually listening to the sound at the timing estimated that swallowing occurred.
  • the output unit may display a screen in which the timing estimated that swallowing has occurred is superimposed on a time axis
  • the input unit may be configured to be able to specify the timing displayed on the screen. In this way, a doctor or the like can easily specify the timing at which it is desired to confirm by sound whether or not swallowing has occurred.
  • the output unit may be configured to display a sound waveform based on the sound information so as to be superimposed on the time axis together with the timing. In this way, a doctor or the like can appropriately specify the timing at which it is desired to confirm by sound whether or not swallowing has occurred while visually confirming the sound waveform.
  • the swallowing estimation unit detects a respiratory phase before and after the timing at which it is estimated that swallowing has occurred from the respiratory information, and based on the detected respiratory phase, the possibility of aspiration at the timing
  • the output unit may be configured to output information based on a result of the evaluation by the swallowing estimation unit. In this way, the doctor or the like can know whether or not the subject has been determined to be at risk of aspiration by viewing the display, and can make use of this in the diagnosis of the subject.
  • the swallowing estimation unit detects inhalation sounds and exhalation sounds before and after the timing at which it is estimated that swallowing has occurred from the sound information, and the detected inspiration sounds and exhalation sounds Based on the sound, it is evaluated whether there is a possibility of aspiration at the timing, and the output unit may be configured to output information based on the result of the evaluation by the swallowing estimation unit. In this way, the doctor or the like can know whether or not the subject has been determined to be at risk of aspiration by viewing the display, and can make use of this in the diagnosis of the subject.
  • the second aspect of the present invention relates to a swallowing estimation device.
  • the swallowing estimation apparatus includes a biological sound detecting unit that detects a biological sound at the larynx, a respiratory detecting unit that detects a change in respiratory airflow, and converts biological sound data obtained by sampling the biological sound into signal intensity data.
  • Signal intensity converting means for identifying a signal section having a noise level or higher from the signal intensity data, respiration identifying means for identifying an apnea section from airflow pressure data obtained by sampling the respiratory change, and the signal
  • a signal pulsing means for obtaining a signal intensity corresponding to a sampling timing in the apnea section of a predetermined period or more overlapping with the section, and generating a signal pulse having a width corresponding to a period in which the signal intensity is a predetermined level or more; It is judged that the number of the signal pulses in the apnea section which is not less than a period is not more than a predetermined number and the pulse width is not more than a predetermined period.
  • a swallowing reflex estimating means for estimating the apnea time satisfying the conditions swallowing reflex estimation section, a display means for displaying the swallowing reflex estimating section, the.
  • the same effect as in the first aspect can be achieved.
  • the third aspect of the present invention relates to an information terminal device.
  • the information terminal device is output from the sound detection unit that detects the sound of the larynx, the respiration detection unit that detects respiration, the sound information output from the sound detection unit, and the respiration detection unit A storage unit for storing respiratory information.
  • a computer has a function of acquiring a parameter value for swallowing estimation for a body sound generation section corresponding to an apnea section of a predetermined period or longer, and the acquired parameter value is a swallowing And a function for estimating whether or not swallowing has occurred in the body sound generation section based on whether or not the determination condition is satisfied.
  • a swallowing estimation device capable of maintaining high swallowing estimation accuracy even when information for swallowing estimation is collected in a living environment, and an information terminal device used therefor can do.
  • FIG. 10 is a flowchart illustrating operations of a terminal device and an information processing apparatus according to the second embodiment.
  • FIG. 10 is a flowchart illustrating an operation of the information processing apparatus according to the second embodiment.
  • 10 is a flowchart illustrating an operation of the information processing apparatus according to the second embodiment. It is a figure which shows the body sound data which concerns on Example 2, airflow pressure data, and hyoid bone displacement data. The figure which shows typically the spectrogram which concerns on Example 2, the figure which shows typically the mel frequency spectrogram which concerns on Example 2, the figure which shows the pulse by the continuous wavelet transformation which concerns on Example 2, and the continuous which concerns on Example 2 It is a figure which expands and shows the pulse by wavelet transformation typically.
  • FIG. 10 is a diagram illustrating a screen displayed on the display unit according to the second embodiment.
  • FIG. 10 is a diagram illustrating a screen displayed on the display unit according to the second embodiment.
  • 14 is a flowchart illustrating an operation of an information processing apparatus according to a second modification. It is a figure explaining the procedure which determines whether the aspiration concerning the example 3 of a change has arisen.
  • the present embodiment is characterized in that the swallowing reflex estimation section is narrowed down from the energy distribution of the body sound obtained from the larynx and the airflow pressure change information due to respiration, and the swallowing reflex estimation section is further narrowed down and specified from the hyoid bone displacement information. To do.
  • FIG. 1 is a circuit block diagram for explaining the operation of the embodiment.
  • the block in the personal computer is not an actual circuit block but a functional block.
  • a body sound detecting means 1 for detecting a sound in the living body by a microphone close to the larynx
  • a breath detecting means 2 for detecting a change in air flow due to breathing by an air pressure sensor provided in the tube of the nasal cannula.
  • the piezoelectric sheet affixed to the larynx functions as hyoid displacement detection means 3 that detects deformation of the hyoid bone by detecting deformation of the larynx.
  • the body sound signal obtained from the body sound detection means 1, the airflow pressure signal obtained from the respiration detection means 2, and the hyoid displacement signal obtained from the hyoid displacement detection means 3 respectively correspond to the first sampling circuit 4 and the corresponding first sampling circuit 4.
  • the signals are input to the 2-sampling circuit 5 and the third sampling circuit 6, sampled at a period of 0.1 msec (10 kHz), and A / D converted.
  • the body sound data, the airflow pressure data, and the hyoid bone displacement data acquired by A / D conversion are stored in the storage medium 8 together with the time data obtained from the clock means 7. Therefore, during the data measurement period, the body sound data, the airflow pressure data, and the hyoid displacement data are stored in the storage medium 8 as a pair with the time data.
  • the signal intensity conversion means 9 converts the body sound data corresponding to the signal waveform read from the storage medium 8 into signal intensity data.
  • the window function (sampling range) is set to 1.5 seconds, the body sound data is cut out, subjected to short-time Fourier transform processing, and then converted to signal intensity data by obtaining the sum of the amplitudes. .
  • an appropriate band filtering process may be performed.
  • the signal section identification means 10 generates an identification output of a signal section that is equal to or higher than the noise level by comparing the signal intensity data with the first reference value L1. That is, swallowing does not occur in the low level section where only noise exists, and swallowing occurs in the high level section, and the high level section is specified as the signal section.
  • Respiratory identification means 11 emits a respiratory identification output in which the airflow pressure data is divided into three sections: an expiration period, an apnea period, and an inspiration period.
  • the signal pulsing means 12 captures the body sound data corresponding to the apnea interval of the second reference value L2 (for example, 0.6 seconds) or more in the signal interval, performs the continuous wavelet transform process, and sums the frequency spectrum intensities. Then, a signal pulse having a pulse width corresponding to a period longer than the reference value compared with the third reference value L3 is output.
  • the signal pulse evaluation means 13 has a width of all signal pulses equal to or smaller than a fourth reference value L4 (for example, 25 msec) in the apnea interval of the second reference value L2 or more in the signal interval, and the number of signal pulses is the fifth reference value.
  • a fourth reference value L4 for example, 25 msec
  • L5 for example, 20
  • the signal pulse width during swallowing is set to 60 msec or less.
  • the third reference value L3 is set high, so that the signal pulse width is narrow and 25 msec is set to the fourth reference value L4. It is said.
  • the band evaluation means 14 converts the body sound data into a mel frequency spectrogram in the apnea section in the signal section that is equal to or greater than the second reference value L2. Then, the band evaluation means 14 uses the sixth reference value L6 (for example, 15%) as the sum of the spectral levels of the high frequency components (for example, 750 Hz or more) of the apnea section with respect to the sum of the spectrum levels of the apnea section for the mel frequency spectrogram. When it occupies the above, the second estimated output is issued assuming that the signal section is likely to be a swallowing reflection section.
  • L6 for example, 15%
  • the hyoid displacement evaluation means 15 specifies the maximum value of the hyoid displacement data during the measurement period. Then, the hyoid bone displacement evaluation means 15 has a hyoid bone displacement data that is greater than or equal to the seventh reference value L7 (for example, 10%) with respect to the maximum value in the apnea interval that is greater than or equal to the second reference value L2 in the signal interval. In addition, it is estimated that the signal section is likely to be a swallowing reflection section, and a third estimated output is issued.
  • L7 for example, 10%
  • the swallowing reflection estimation means 16 generates an output that specifies the signal section as the swallowing reflection estimation section only when all of the first estimated output, the second estimated output, and the third estimated output are generated. To do.
  • the swallowing reflex estimation section thus identified is displayed on the display means 18 which is a personal computer monitor screen via the display control means 17 as shown in FIGS.
  • the hyoid bone displacement signal waveform and the biological sound signal intensity waveform of FIG. 2D are displayed together with the time scale as a basic screen.
  • the broken vertical line indicates the swallowing reflex estimated position.
  • 2B in the actual display, the airflow pressure data is displayed in vertical lines with different colors so that the respiratory identification output of the airflow pressure data divided into an expiration period, an apnea period, and an inspiration period can be visually recognized. ing.
  • the body sound signal waveform, airflow pressure signal waveform, and hyoid bone displacement signal waveform for the apnea section corresponding to the pointing and several preceding and subsequent breathing periods are displayed. Displayed as a sub-screen with time scale.
  • various displays are made to display a swallowing state at a high risk of aspiration or aspiration.
  • the signal intensity in exhalation is less than half of the signal intensity in inspiration, but after abnormal swallowing, notice that the signal intensity in exhalation increases, and the child screen is displayed as follows: Is done.
  • the respiratory intensity evaluation means 19 performs a short-time Fourier transform of the body sound data of the four periods of the exhalation period and the inspiration period before and after the swallowing reflex estimation section separately for each section, and the sum of each section is used as signal intensity data. Ask. Further, the respiratory intensity evaluation means 19 performs aspiration estimation when the average signal intensity in the exhalation section after the swallowing reflex estimation section / the average signal intensity in the inspiratory section exceeds 50% from the value before the swallowing reflex estimation section. Attention information is input to the display control means 17 as being a section. When the operator selects the aspiration estimation section, the display control means 17 causes the display means 18 to display a sub screen of the aspiration estimation section that replaces the sub screen of the swallowing reflection estimation section described above.
  • the breathing state before and after the swallowing reflex estimation section is a reference, and the display control means 17 performs respiration before and after the swallowing reflex estimation section, for example, as shown in FIG. Whether it is an expiration period or an inspiration period, it is classified into four types and the frequency is additionally displayed on the basic screen on the display means 18.
  • swallowing occurs during exhalation (SWtype: E-SW), breathing after swallowing starts from exhalation (SWtype2: SW-E), and if the average breathing interval is 1, the swallowing start point is This indicates that 1.04 has elapsed since the start of inspiration (old phase: 1.04), and the latency until inspiration starts after swallowing is 0.78 seconds (inspi-start: 0.78).
  • the vertical line indicated by the broken line indicates the start position of inspiration
  • the vertical line indicated by the alternate long and short dash line indicates the apnea.
  • the display of the swallowing reflex estimation section in the present embodiment is not limited to the display form described above, and includes various display forms related to the swallowing reflex estimation section.
  • the display regarding aspiration risk estimation is important among the swallowing reflex estimation displays.
  • the swallowing reflex estimation means 16 estimates the swallowing reflex estimation section corresponding to all of the first estimated output, the second estimated output, and the third estimated output.
  • the estimation may be performed using only the estimated output, or may be performed in correspondence with the first estimated output and the second estimated output.
  • the reference value of the present embodiment adjusts the degree of narrowing of the swallowing reflex estimation section, and there is no meaning in limiting the value or range in the present embodiment, and should be adjusted as necessary. is there.
  • Example 2 shows a more specific example of the configuration and processing of Example 1 above.
  • the swallowing estimation system 100 corresponds to the “swallowing estimating device” recited in the claims.
  • the sound sensor 231a corresponds to a “sound detection unit” recited in the claims.
  • the pressure sensor 215 corresponds to a “respiration detector” described in the claims.
  • the control unit 313 corresponds to a “swallowing estimation unit” described in the claims.
  • the displacement sensor 231b corresponds to a “displacement detection unit” recited in the claims.
  • the speaker 312, the control unit 313, and the display unit 320 correspond to an “output unit” recited in the claims.
  • the hard disk 314 corresponds to a “storage unit” recited in the claims.
  • the input unit 330 corresponds to an “input unit” recited in the claims.
  • the terminal device 210 corresponds to an “information terminal device” recited in the claims.
  • the description of the correspondence between the above claims and the embodiments is merely an example, and the claimed invention is not limited
  • FIG. 4 is an external view showing a configuration of the swallowing estimation system 100 according to the present embodiment.
  • the swallowing estimation system 100 includes a measuring device 200 and an information processing device 300.
  • the swallowing estimation system 100 uses a small storage medium 101 (for example, an SD card) that is easy to carry.
  • the measuring device 200 includes a terminal device 210, a nasal cannula 220, and a detection unit 230.
  • the terminal device 210 includes a display unit 211 and an input unit 212, and is configured to be small and lightweight so that the subject can always wear it.
  • the subject inputs an instruction to the control unit 214 (see FIG. 5) through the input unit 212 including buttons and adjustment knobs while confirming the display on the display unit 211.
  • the terminal device 210 includes a writing unit 213 that writes to the storage medium 101.
  • the nasal cannula 220 includes a mounting portion 221 having a pair of cylindrical members, and tubes 222 connected to both ends of the mounting portion 221.
  • the pair of cylindrical members of the mounting portion 221 are inserted into the patient's nasal cavity, and the other end of the tube 222 is connected to the terminal device 210.
  • the pressure sensor 215 see FIG. 5
  • the detection unit 230 includes a thin and flexible pad 231 and a cable 232.
  • the pad 231 is affixed to the subject's larynx, and detects the displacement of the hyoid bone by pressure according to the sound sensor 231a (see FIG. 5) for detecting the larynx sound and the deformation of the larynx.
  • Displacement sensor 231b (see FIG. 5).
  • the information processing apparatus 300 includes a main body 310, a display unit 320, and an input unit 330.
  • the main body 310 includes a reading unit 311 that reads data from the storage medium 101 and a speaker 312 that outputs sound.
  • the operator inputs an instruction to the control unit 313 (see FIG. 5) using the input unit 330 including a keyboard and a mouse.
  • the display unit 320 includes a display and displays a swallowing estimation result and the like which will be described later.
  • FIG. 5 is a block diagram showing the configuration of the swallowing estimation system 100.
  • the terminal device 210 includes a control unit 214, a pressure sensor 215, and an A / D conversion unit 216 in addition to the display unit 211, the input unit 212, and the writing unit 213 illustrated in FIG.
  • the pressure sensor 215 detects the flow of air guided from the tube 222 of the nasal cannula 220 as a pressure, and outputs the detected analog pressure signal to the A / D converter 216.
  • the detection unit 230 includes a sound sensor 231a and a displacement sensor 231b.
  • the sound sensor 231a detects a sound near the subject's larynx and outputs the detected analog sound signal to the A / D conversion unit 216.
  • the displacement sensor 231b detects the deformation of the subject's larynx as a displacement of the hyoid bone, and outputs the detected analog displacement signal to the A / D conversion unit 216.
  • the A / D conversion unit 216 samples the pressure signal, the sound signal, and the displacement signal at a predetermined period, and outputs a digital signal corresponding to each sampling signal to the control unit 214.
  • Each data obtained by A / D converting the sound signal, the pressure signal, and the displacement signal respectively corresponds to “biological sound data”, “airflow pressure data”, and “hyoid bone displacement data” in the first embodiment. .
  • the control unit 214 controls each unit of the terminal device 210. Further, the control unit 214 writes each data output from the A / D conversion unit 216 to the storage medium 101 set in the writing unit 213 together with time data. The time data is timed by a clock circuit built in the control unit 214. When the measurement by the measuring device 200 is completed, the storage medium 101 is taken out from the writing unit 213 and set in the reading unit 311 of the information processing device 300.
  • the main body 310 includes, for example, a personal computer, and includes a control unit 313 and a hard disk 314 in addition to the reading unit 311 and the speaker 312 illustrated in FIG.
  • the control unit 313 controls each unit of the main body 310, receives an instruction input via the input unit 330, outputs a video signal to the display unit 320 according to the instruction, and outputs sound from the speaker 312.
  • the control unit 313 reads data from the storage medium 101 set in the reading unit 311 and stores it in the hard disk 314. Further, the control unit 313 performs calculations based on programs and data stored in the hard disk 314. A swallowing estimation function described later is given to the control unit 313 by a program stored in the hard disk 314. This program may be installed in the hard disk 314 in advance, or may be downloaded to the hard disk 314 from a disk medium or the Internet.
  • 6 to 8 are flowcharts showing operations of the terminal apparatus 210 and the information processing apparatus 300.
  • control unit 214 of terminal device 210 acquires body sound data, airflow pressure data, and hyoid bone displacement data. Then, the process of writing to the storage medium 101 is started (S102). Thereafter, when receiving a stop instruction via the input unit 212 (S103: YES), the control unit 214 ends the writing process (S104). Thus, the processing of the terminal device 210 is completed.
  • the storage medium 101 in which the data is written is moved to the information processing apparatus 300 as described above.
  • FIGS. 9A to 9C respectively show biological sound data, airflow pressure data, and hyoid bone displacement data written in the storage medium 101 as analog signal waveforms before A / D conversion for a predetermined period. It is a figure shown about. Note that in FIGS. 9A to 9C, a signal of 2 seconds is extracted and shown, but actually, data corresponding to the period during which the writing process was performed is stored in the storage medium 101. The The “living sound generation section” shown in FIGS. 9A and 9C and the “apnea section” shown in FIGS. 9B and 9C will be described later.
  • control unit 313 of the information processing apparatus 300 stores biological sound data, airflow pressure data, and hyoid displacement data in the hard disk 314 and then receives a start instruction via the input unit 330 ( S201: YES), the following processing is performed.
  • the control unit 313 creates a spectrogram by performing a short-time Fourier transform on the body sound data, and extracts a body sound generation section based on the created spectrogram (S202). Specifically, the control unit 313 cuts the biological sound data by setting the window function (sampling range) to 1.5 seconds with respect to the biological sound data of all sections, performs a short-time Fourier transform, A spectrogram as shown in 10 (a) is created. That is, a Fourier transform is performed in a unit time width (1.5 second width), and a spectrogram is created by performing a sequential conversion while shifting this by 0.2 seconds.
  • the example shown in FIG. 10A is a spectrogram created for 20 unit time widths, that is, for 4 seconds.
  • control unit 313 obtains the sum of the amplitudes of the generated spectrogram, converts it into signal intensity data, and extracts a section exceeding the noise average + 2SD (standard deviation) as a body sound generation section. Thereby, the body sound generation section is specified for the body sound data of all sections.
  • the extracted biological sound generation section is appended.
  • control unit 313 extracts, as an apnea section, a section whose value is equal to or less than a threshold value considering noise in the airflow pressure data (S203). Thereby, an apnea section is set for airflow pressure data of all sections. In FIG. 9B, the apnea section extracted in this way is added.
  • the control unit 313 creates a mel frequency spectrogram as shown in FIG. 10B from the spectrogram created in S202 in the body sound generation section (S204).
  • the vertical axis is the mel scale. Therefore, in the mel frequency spectrogram of FIG. 10B, the coordinate axis of the low frequency band is compressed and the coordinate axis of the high frequency band is expanded compared to the frequency spectrogram of FIG. The resolution is increased.
  • the control unit 313 performs pulsing on the data after the short-time Fourier transform acquired in S202 by continuous wavelet transform (S205), as shown in FIG. A simple pulse.
  • S205 continuous wavelet transform
  • FIG. 10C six pulses are included in the body sound generation section, and when these are enlarged and schematically shown, pulses having different widths as shown in FIG. Multiple are included.
  • control unit 313 extracts a body sound generation section extracted in S202 that satisfies all the following three conditions (S206).
  • the first condition is that the biological sound generation section includes an amplitude that is a predetermined ratio (for example, 3%) or more with respect to the maximum amplitude of hyoid displacement data in all sections.
  • a predetermined ratio for example, 3%) or more with respect to the maximum amplitude of hyoid displacement data in all sections.
  • the amplitude A1 of the hyoid bone displacement data in the body sound generation section is large.
  • the first condition is satisfied.
  • the first condition is to determine whether or not such a phenomenon has occurred in the body sound generation section based on hyoid bone displacement data.
  • the second condition is that the ratio of the sum (power) of the spectrum of 750 Hz or higher is equal to or higher than a predetermined ratio (for example, 15%) in the Mel frequency spectrogram of the body sound generation section.
  • the swallowing sound contains a high frequency component.
  • the second condition is to determine whether the frequency of the sound corresponding to the swallowing sound is generated in the body sound generation section based on the body sound data. For example, in the example of FIG. 10B, the second condition is satisfied if the ratio of the sum of the spectra of 750 Hz or more exceeds 15% in the mel frequency spectrogram of the body sound generation section.
  • the threshold value is set to 750 Hz, but this threshold value can be appropriately changed to another frequency by statistically measuring the actual measurement value of the swallowing sound.
  • the third condition is that the number of pulses generated in S205 in the body sound generation section is equal to or less than a predetermined number (for example, 50), and the maximum pulse width among the pulses generated in S205 in the body sound generation section. Is a predetermined value (for example, 15 msec) or less. This is because the swallowing sound and other sounds can be distinguished from the viewpoint of intermittentness and continuity. The higher the discontinuity, the more pulses with a shorter width appear. The higher the continuity, the smaller the number of pulses and the longer the pulse width.
  • the third condition is to determine based on the biological sound data whether or not the continuity and continuity of the sound corresponding to the swallowing sound have occurred in the biological sound generation section. For example, in the example shown in FIGS.
  • the third condition is that if the number of pulses N is 50 or less and the maximum pulse width W is 15 msec or less in the body sound generation section. Is satisfied.
  • the threshold value for the number of pulses is set to 50 and the threshold value for the maximum pulse width is set to 15 msec.
  • the threshold value for the pulse number and the threshold value for the maximum pulse width are statistical values of the swallowing sound. Thus, other numbers and time widths can be appropriately changed.
  • control unit 313 refers to the biological sound generation sections extracted in S206 in order, and extracts sections where it can be estimated that a swallowing sound has occurred.
  • the control unit 313 first sets the first body sound generation section among the body sound generation sections extracted in S206 as a reference destination (S207). Subsequently, the control unit 313 sets a reference range wider than the body sound generation interval in the airflow pressure data, and determines whether or not an apnea interval of a predetermined period or longer is included in the reference range (S208). In general, breathing stops during swallowing. In S208, it is determined from the viewpoint of breathing whether or not swallowing has occurred in the biological sound generation section of the reference destination. In the determination of S208, the predetermined period is set to 400 msec or more, preferably 500 msec or more, or 600 msec or more, for example. However, the predetermined period is not limited to this, and may be set to other values as long as the lower limit of the period during which breathing stops during swallowing can be set.
  • control unit 313 determines whether at least one or more pulses included in the apnea section among the pulses corresponding to the reference body sound generation section (pulses acquired in S205) are included in the apnea section (S209). ). Here, it is determined whether or not sound is detected in the apnea section. That is, whether or not a sound is detected while breathing is stopped is a further estimation condition for swallowing. If it determines with YES in both S208 and S209, the control part 313 will estimate that the sound of the said body sound generation area is a swallowing sound, and will specify this body sound generation area as a swallowing sound generation area (S210). On the other hand, if the control unit 313 determines NO in one of S208 and S209, it determines that swallowing has not occurred in the body sound generation interval (S211).
  • control unit 313 determines whether or not the processing of S208 to S211 has been completed for all the biological sound generation sections extracted in S206 (S212). If not completed (S212: NO), the next biological body is determined.
  • the sound generation section is set as a reference destination (S213), and the process returns to S208. Thus, the processing of S208 to S211 is performed for all the body sound generation sections extracted in S206, and swallowing is estimated.
  • control unit 313 sequentially refers to the swallowing sound generation section extracted in S210 to determine whether there is a risk of aspiration in the swallowing sound generation section. .
  • the control unit 313 first sets the first swallowing sound generation interval as a reference destination (S214). Subsequently, the control unit 313 acquires the respiratory phase immediately before and after the swallowing sound generation interval (S215). Subsequently, the control unit 313 determines whether the inhalation phase is immediately before the swallowing sound generation interval (S216), and further determines whether the immediately following swallowing sound generation interval is the inspiration phase (S217). ). If the control unit 313 determines YES in any one of S216 and S217, it determines that there is a risk of aspiration in the swallowing sound generation interval (S218). On the other hand, if it determines with NO in both S216 and S217, the control part 313 will determine with there being no risk of aspiration in the said swallowing sound generation
  • control unit 313 determines whether or not the processing of S215 to S219 has been completed for all the swallowing sound generation sections (S220). If not (S220: NO), refer to the next swallowing sound generation section. It sets first (S221) and returns a process to S215. In this way, it is determined whether or not there is a risk of aspiration in all the swallowing sound generation sections.
  • control unit 313 performs a screen 410 (see FIG. 11), a screen 420 (see FIG. 12), a screen 430 (see FIG. 12) based on the above process according to an operator instruction input via the input unit 330.
  • Processing for displaying (see FIG. 13A) on the display unit 320 is performed (S222). In this way, the processing of the information processing apparatus 300 ends.
  • FIG. 11 is a diagram showing a screen 410 displayed on the display unit 320.
  • the screen 410 includes an icon 401, a reference position operation unit 402, and an enlargement / reduction operation unit 403.
  • the screen 410 shows a graph of analog waveforms of biological sound data, airflow pressure data, and hyoid displacement data, and a graph of biological sound signal waveform intensity.
  • a broken line is shown at a position corresponding to the swallowing sound generation section, and the icon 401 is arranged above the broken line.
  • a screen 420 (see FIG. 12) showing a state in which the corresponding swallowing sound generation section is enlarged is displayed on the display unit 320.
  • the reference position operation unit 402 is operated, the time range of each data to be displayed on the four graphs is moved in the direction of advancing or returning the time within all the measurement intervals.
  • the enlargement / reduction operation unit 403 is operated, the time width of each data to be displayed on the four graphs is expanded / compressed.
  • FIG. 12 is a diagram showing a screen 420 displayed on the display unit 320.
  • the screen 420 includes an icon 421, a playback button 422, a stop button 423, a playback position operation unit 424, and a close button 425.
  • the screen 420 shows an analog waveform of the body sound data and an analog waveform of the airflow pressure data superimposed.
  • the analog waveform of the biological sound data is indicated by a solid line
  • the analog waveform of the airflow pressure data is indicated by a dotted line.
  • the section S1 is a swallowing sound generation section designated by the icon 401 on the screen 410 in FIG. 11, and the icon 421 indicates this section.
  • the section S2 is an apnea section near the section S1.
  • the playback position operation unit 424 indicates the position of the playback target audio section S1 in all the measurement sections. When the playback position operation unit 424 is operated, the playback target position is changed in the direction of advancing or returning the time. Is done.
  • FIG. 13A is a diagram illustrating a screen 430 displayed on the display unit 320.
  • “number of swallowing” indicating the number of swallowing sound generation intervals extracted in all the measurement intervals of the body sound data
  • “inspiration-” indicating the number of swallowing sound generation intervals immediately before the inspiration phase
  • “Number of swallowing”, “Number of swallowing-inspiration” indicating the number of swallowing sound generation sections immediately after the inspiration phase, and swallowing sound generation sections determined to have a risk of aspiration in S218 of FIG.
  • the “number of aspiration risks” indicating the number of cases is shown.
  • the second embodiment since it is estimated whether or not swallowing has occurred based on the body sound when in an apnea state, it is possible to improve the estimation accuracy of swallowing.
  • the value of a parameter indicating sound continuity and continuity that is, the number and length of pulses obtained by performing short-time Fourier transform and wavelet transform on biological sound data is used. Therefore, swallowing can be estimated with high accuracy by calculation.
  • the ratio of the sound in the frequency band of 750 Hz or higher in the body sound generation section is calculated, and whether or not the calculated ratio exceeds a predetermined ratio is set as a further estimation condition. It is estimated whether swallowing occurred in the generation interval. As described above, since the frequency component of the sound is set as a further estimation condition, a highly accurate swallowing estimation result can be acquired.
  • the living body sound generation section is used as a further estimation condition whether or not an amplitude having a predetermined ratio or more with respect to the maximum amplitude of hyoid bone displacement data in all sections is included in the living body sound generation section. It is estimated whether swallowing occurred in the sound generation interval. As described above, since the amount of displacement of the larynx is a further estimation condition, a highly accurate swallowing estimation result can be acquired.
  • the body sound data in the designated swallowing sound generation section is played.
  • a doctor etc. can confirm whether swallowing actually occurred at the said timing by actually hearing the sound of the timing estimated that swallowing occurred.
  • region of biological sound data is not restricted to the designated swallowing sound generation
  • a section in which a predetermined time width is added before and after the designated swallowing sound generation section may be set as a reproduction section of biological sound data.
  • an icon 401 is arranged at a location corresponding to the swallowing sound generation section, and when the icon 401 is pressed, the screen 420 is displayed. Thereby, a doctor etc. can specify easily the timing which wants to confirm by sound whether swallowing occurred.
  • the screens 410 and 420 show graphs of analog waveforms of biological sound data. Thereby, doctors etc. can specify appropriately the timing which wants to confirm with sound whether or not swallowing occurred, confirming a sound wave form visually.
  • the corresponding swallowing sound generation section is enlarged and displayed on the screen 420.
  • the enlargement / reduction operation unit 403 is operated on the screen 410, data displayed on the graph of the screen 410 can be enlarged.
  • a doctor or the like can hear the sound while visually confirming the sound waveform. Therefore, it can be determined more appropriately whether or not swallowing actually occurred at the timing.
  • the respiratory phase before and after the timing at which it is estimated that swallowing has occurred is detected, and whether or not there is a possibility of aspiration at the timing is evaluated based on the detected respiratory phase.
  • the result of the evaluation is displayed on the screen 430.
  • the swallowing sound generation section is extracted by using the three data of the body sound data, the airflow pressure data, and the hyoid bone displacement data. By using sound data and airflow pressure data, a swallowing sound generation section is extracted.
  • FIG. 13 (c) is a diagram showing an estimation result when swallowing estimation is actually performed by collecting information for swallowing estimation.
  • a nasal cannula 220 and a pad 231 were attached to the subject, and information was collected in a living environment.
  • the subject voluntarily (pseudo) performs various actions such as swinging motion, coughing, pronunciation, swallowing air, gep, sniffing, snoring, and deep breathing. And wrote down the contents of the operation.
  • utterances and the like were performed in a room adjacent to the subject's room to generate life noise, and the time and contents were also written down. The movements and noises generated by the subjects were performed 87 times, of which swallowing was performed 27 times.
  • swallowing estimation of “3 elements (Example 2)” was performed by the following steps.
  • the predetermined period was 600 msec.
  • a body sound generation section is extracted from body sound data by the above method.
  • An apnea section of a predetermined period or longer is detected in the body sound generation section.
  • a body sound generation section in which an apnea section of a predetermined period or longer is not detected is excluded from swallowing estimation.
  • the body sound data is pulsed in an apnea section longer than a predetermined period.
  • the determination of S206 in FIG. 6 three parameters of hyoid bone displacement, body sound frequency, body sound pulse) is performed for an apnea section of a predetermined period or longer, and whether the body sound generation section is a swallowing estimation section or not. Determine whether.
  • step (2) and step (3) may be interchanged.
  • the pulsation of the body sound is performed for all the body sound generation intervals, and thereafter, the apnea section of a predetermined period or more is detected for each body sound generation section, and the sound pulses in the apnea section are detected. It is determined whether or not the estimated swallowing interval is based on the width and number.
  • Each row in FIG. 13 (c) shows, from above, the number of swallows performed by the subject by the estimation process, the number of swallows performed by the subject that could not be extracted by the estimation process (unextracted), and the actual number. Shows the number (over-extraction) that has been determined to be swallowed by the estimation process and the total of those that are not swallowed.
  • Each column is an estimation result of Example 2, Comparative Example 1, Comparative Example 2, and Modified Example 1 from the left.
  • Example 2 Comparative Example 1 in which airflow pressure (breathing) was not used as a parameter, movements other than swallowing and life noise were estimated to be swallowed 36 times, which greatly exceeded the estimated number of swallowing 27 times.
  • Comparative Example 1 and Modified Example 1 using airflow pressure (breathing) as a parameter over-extraction of swallowing is suppressed, and in particular, three parameters including airflow pressure (breathing) are set.
  • over-extraction of swallowing was significantly suppressed to 7 times.
  • the subject's cough was extracted as swallowing in the estimation process of Example 2. Since most cough sounds occur during exhalation, the cough sound is excluded by the above-described step (3), and the cough is not theoretically determined to be swallowing. However, in practice, the cough was estimated to be swallowed in the above measurement. This is because the apnea section was extracted in consideration of noise in the measurement of FIG. A short period (more than the predetermined period of steps (3) and (4)) includes the exhalation interval, and it is presumed that the cough was estimated to be swallowed by the sound of cough and hyoid movement in this exhalation interval .
  • the condition that “the sound of the apnea section is larger than the sound during breathing in the extracted body sound section” is added to the above steps (1) to (4). This can be suppressed. This is because the sound of coughing is louder in the subsequent exhalation interval than at the start of exhalation included in the apnea interval.
  • FIG. 14 is a flowchart showing the processing in this case.
  • S203 to S209 in the flowcharts of FIGS. 6 and 7 are replaced with S311 to S315.
  • a body sound generation section including an apnea section of a predetermined period or more is set as a reference object for swallowing estimation among the extracted body sound generation sections ( S311).
  • the first body sound generation section of the body sound generation section thus referred to is referred to (S312), and the body sound data included in the apnea section within the body sound generation section is the same as that of the second embodiment.
  • it is pulsed (S313).
  • the swallowing condition of S206 of FIG. 6 is applied to the value of each parameter in the apnea section (S314), and it is determined whether or not all the parameter values satisfy the swallowing condition (S315).
  • the calculation load can be reduced, and the estimation of swallowing can be performed more efficiently. It can be performed.
  • control unit 313 compares the body sound data in the respiratory phase immediately before the swallowing generation section with the body sound data in the breathing phase immediately after the swallowing generation section, so that aspiration occurs in the swallowing generation section. Determine if it occurred.
  • the control unit 313 performs Fourier transform on the body sound data in the inspiratory phase immediately before the swallowing sound generation interval, and calculates the value A by integrating the frequencies F1 and F2.
  • the control unit 313 calculates the value B by Fourier transforming the body sound data in the expiration phase immediately before the swallowing sound generation interval and integrating the frequencies F1 and F2.
  • the control unit 313 calculates the value A ′ by Fourier transforming the biological sound data in the inspiration phase immediately after the swallowing sound generation interval and integrating the frequencies F1 and F2.
  • the control unit 313 calculates the value B ′ by performing Fourier transform on the biological sound data in the expiration phase immediately after the swallowing sound generation interval and integrating the frequencies F1 and F2.
  • the control unit 313 calculates a power ratio A / B obtained based on the immediately preceding respiratory phase and a power ratio A ′ / B ′ obtained based on the immediately following respiratory phase. Then, when the power ratio A ′ / B ′ increases by a predetermined amount (for example, 50%) from the power ratio A / B, the control unit 313 determines that aspiration has occurred in the swallowing sound generation section. Thus, it is determined whether aspiration has occurred for all swallowing sound generation intervals. The number of aspiration risks in this case is also displayed on the screen 430 as shown in FIG.
  • inhalation sounds and exhalation sounds before and after the timing when it is estimated that swallowing has occurred are detected, and there is a risk of aspiration based on the detected inspiration sounds and exhalation sounds. Whether or not there is an evaluation is evaluated, and the result of the evaluation is displayed on the screen 430. Thereby, like Example 2, doctors etc. can know whether it was judged that a subject had a risk of aspiration by seeing a display, and can make use of this for a diagnosis to a subject.
  • the body sound data is subjected to short-time Fourier transform, and then the amplitude sum is obtained to obtain the signal strength, and the obtained signal strength is compared with the threshold value to generate the body sound. An interval was extracted.
  • the method for extracting the body sound generation section is not limited to this.
  • the body sound may be subjected to leak integration after full-wave rectification, and a section exceeding the average value + 2SD (standard deviation) of the silent section may be set as the body sound generation section.
  • the threshold setting method is not limited to this, and any other method may be used as long as a body sound generation section can be extracted.
  • various data is sent from the terminal device 210 to the information processing device 300 by the storage medium 101.
  • the present invention is not limited to this, and various data is transferred from the storage unit of the terminal device 210 to the information processing device 300. And may be transmitted via a wired or wireless communication network.
  • the terminal device 210 may have the function of the information processing device 300, and the information processing device 300 may be omitted.
  • the control unit 214 of the terminal device 210 performs all the processing of the information processing apparatus shown in FIGS. 6 to 8, and outputs a screen showing the result to the display unit 211.
  • a sound detector for detecting the sound of the larynx A storage unit for storing the sound information output from the sound detection unit; A swallowing estimation unit for estimating swallowing; An output unit for outputting information based on an estimation result by the swallowing estimation unit; An input unit capable of designating a timing at which it is estimated that swallowing has occurred by the swallowing estimation unit, The output unit acquires the sound information of a time width including the timing designated via the input unit from the storage unit, and outputs the sound obtained by reproducing the acquired sound information to the outside.
  • a swallowing estimation device A sound detector for detecting the sound of the larynx, A storage unit for storing the sound information output from the sound detection unit; A swallowing estimation unit for estimating swallowing; An output unit for outputting information based on an estimation result by the swallowing estimation unit; An input unit capable of designating a timing at which it is estimated that swallowing has occurred by the swallowing estimation unit, The output unit acquires the sound information of a time width including the timing designated via the input unit from the storage unit, and
  • the output unit acquires the sound information having a time width including the timing specified by the input unit from the storage unit, and displays an enlarged sound waveform based on the acquired sound information.
  • a swallowing estimation device acquires the sound information having a time width including the timing specified by the input unit from the storage unit, and displays an enlarged sound waveform based on the acquired sound information.
  • doctors and the like can listen to the sound while visually confirming the sound waveform. Therefore, it can be determined more appropriately whether or not swallowing actually occurred at the timing.
  • the swallowing estimation apparatus has an excellent swallowing estimation function and can be used in the field of medical equipment.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endocrinology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

生活環境下で嚥下推定のための情報の収集がなされても、嚥下の推定精度を高く維持することが可能な嚥下推定装置、それに用いる情報端末装置およびプログラムを提供する。嚥下推定システム(100)は、喉頭部の音を検出する音センサ(231a)と、呼吸を検出する圧力センサ(215)と、前記音センサ(231a)から出力される音信号に基づく生体音データと圧力センサ(215)から出力される圧力信号に基づく気流圧データとに基づいて嚥下を推定する制御部(313)と、を備える。制御部(313)は、400msec以上の無呼吸区間に対応する生体音発生区間について、嚥下推定のためのパラメータの値を取得し、取得したパラメータの値が嚥下の判定条件を満たすか否かに基づいて、当該生体音発生区間に嚥下が生じたか否かを推定する。

Description

嚥下推定装置、情報端末装置およびプログラム
 本発明は、嚥下動作を推定する嚥下推定装置、嚥下動作の推定に必要な情報を取得するための情報端末装置およびコンピュータに嚥下推定機能を付与するプログラムに関する。
 特開2013-17694号公報(特許文献1)には、喉頭部から得られる生体音の周波数解析を行いその周波数特性から嚥下と咳と発声とを識別する技術が開示されている。また、2012年2月に作業療法士協会から発行された学術雑誌「作業療法」31巻1号の52頁から59頁(非特許文献1)には、「高齢者の嚥下回数の無拘束モニタリング」と題して、喉頭マイクで集音した生体音をパルス化したパルス群について、パルス幅が60msec以下でパルス数が20以下のパルス群を嚥下と判定する技術が開示されている。
特開2013-17694号公報
作業療法士協会発行、「作業療法」、2012年2月発行、31巻1号の52頁から59頁
 嚥下推定にあたっては、まず、被験者から生体音等の情報を収集する必要がある。この場合、被験者を極力拘束することがないように、被験者に装着される器具等は、なるべく簡素であることが望ましい。これにより、生活環境下で、被験者から嚥下推定のための情報を収集することができる。しかしながら、このように生活環境下で情報の収集がおこなわれると、嚥下の際の生体音の他に、生活雑音や飲食時の音、会話、首の旋回時に発生する音等、嚥下と無関係な様々な音の情報が収集される。このため、これらの雑音によって嚥下が誤推定され、結果、嚥下の推定精度が低下することとなってしまう。
 上記課題に鑑み、本発明は、生活環境下で嚥下推定のための情報の収集がなされても、嚥下の推定精度を高く維持することが可能な嚥下推定装置、それに用いる情報端末装置およびプログラムを提供することを目的とする。
 本発明は、嚥下時には必ず所定期間以上無呼吸状態にあることに着目して、所定期間以上の無呼吸区間に限って生体信号の解析を行い、嚥下区間を推定するものである。
 本発明の第1の態様は、嚥下推定装置に関する。この態様に係る嚥下推定装置は、喉頭部の音を検出する音検出部と、呼吸を検出する呼吸検出部と、前記音検出部から出力される音情報と前記呼吸検出部から出力される呼吸情報とに基づいて嚥下を推定する嚥下推定部と、を備える。ここで、前記嚥下推定部は、400msec以上の無呼吸区間に対応する生体音発生区間について、嚥下推定のためのパラメータの値を取得し、取得した前記パラメータの値が嚥下の判定条件を満たすか否かに基づいて、当該生体音発生区間に嚥下が生じたか否かを推定する。
 本態様に係る嚥下推定装置によれば、無呼吸状態にあるときの生体音に基づいて嚥下が生じたか否かが推定されるため、嚥下の推定精度を高めることができる。また、400msec以上の無呼吸区間に対応する生体音発生区間が嚥下の推定対象とされるため、嚥下の推定精度が一層高められる。通常、嚥下の際には比較的長い間、呼吸が止められる。したがって、このように無呼吸区間の長さが推定の条件に含められることにより、嚥下の推定精度が一層高まる。
 本態様に係る嚥下推定装置において、前記嚥下推定部は、前記嚥下推定のためのパラメータの値として、音の断続性および連続性を示すパラメータの値を演算により取得するよう構成され得る。こうすると、演算により円滑に、嚥下の推定処理を実行することができる。なお、生体音発生区間のうち無呼吸区間に対応する生体音発生区間のみを演算の対象とすれば、演算負荷が減少し、効率的に嚥下の推定を行うことができる。
 この場合、前記嚥下推定部は、前記音情報に対してフーリエ変換およびウェーブレット変換の演算処理を行うことによりパルス信号を取得し、取得したパルス信号の数および長さを前記パラメータの値として取得する構成とされ得る。
 本態様に係る嚥下推定装置において、前記嚥下推定部は、前記生体音発生区間において、所定周波数を超える周波数帯域の音が占める割合を算出し、算出した割合が閾値を超えるか否かを更なる推定条件として、当該生体音発生区間に嚥下が生じたか否かを推定する構成とされ得る。このように、音の周波数成分を更なる推定条件とすることにより、嚥下の推定精度をさらに高めることができる。
 また、本態様に係る嚥下推定装置は、喉頭部の変位を検出する変位検出部をさらに備える構成とされ得る。ここで、前記嚥下推定部は、前記生体音発生区間において前記変位検出部により検出された喉頭部の変位量が閾値を超えるか否かを更なる推定条件として、当該生体音発生区間に嚥下が生じたか否かを推定する構成とされ得る。このように、喉頭部の変位量を更なる推定条件とすることにより、嚥下の推定精度をさらに高めることができる。
 また、本態様に係る嚥下推定装置は、前記嚥下推定部による推定結果に基づく情報を出力する出力部を備える構成とされ得る。
 この場合、本態様に係る嚥下推定装置は、前記音検出部から出力される前記音情報を記憶する記憶部と、前記嚥下推定部により嚥下が生じたと推定されたタイミングを指定可能な入力部と、を備える構成とされ得る。ここで、前記出力部は、前記入力部を介して指定された前記タイミングを含む時間幅の前記音情報を前記記憶部から取得し、取得した音情報を再生した音を外部に出力する構成とされ得る。こうすると、医師等は、嚥下が生じたと推定されたタイミングの音を実際に聞くことにより、当該タイミングに実際に嚥下が起こったかを確認することができる。
 この場合、前記出力部は、嚥下が生じたと推定された前記タイミングを時間軸上に重ねた画面を表示し、前記入力部は、前記画面に表示された前記タイミングを指定可能に構成され得る。こうすると、医師等は、嚥下が生じたか否かを音により確認したいタイミングを簡便に指定することができる。
 この場合、前記出力部は、前記音情報に基づく音波形を、前記タイミングとともに、前記時間軸上に重ねて表示する構成とされ得る。こうすると、医師等は、視覚により音波形を確認しながら、嚥下が生じたか否かを音により確認したいタイミングを適切に指定することができる。
 本態様に係る嚥下推定装置において、前記嚥下推定部は、嚥下が生じたと推定したタイミングの前後の呼吸相を前記呼吸情報から検出し、検出した呼吸相に基づいて当該タイミングに誤嚥の可能性があるか否か評価し、前記出力部は、前記嚥下推定部による前記評価の結果に基づく情報を出力する構成とされ得る。こうすると、医師等は、表示を見ることにより、被験者に誤嚥のリスクがあると判定されたかを知ることができ、これを、被験者への診断に生かすことができる。
 また、本態様に係る嚥下推定装置において、前記嚥下推定部は、嚥下が生じたと推定したタイミングの前後の吸息音と呼息音を前記音情報から検出し、検出した吸息音と呼息音に基づいて当該タイミングに誤嚥の可能性があるか否かを評価し、前記出力部は、前記嚥下推定部による前記評価の結果に基づく情報を出力する構成とされ得る。こうすると、医師等は、表示を見ることにより、被験者に誤嚥のリスクがあると判定されたかを知ることができ、これを、被験者への診断に生かすことができる。
 本発明の第2の態様は、嚥下推定装置に関する。この態様に係る嚥下推定装置は、喉頭部で生体音を検出する生体音検出手段と、呼吸の気流変化を検出する呼吸検出手段と、前記生体音をサンプリングした生体音データを信号強度データに変換する信号強度変換手段と、前記信号強度データよりノイズレベル以上の信号区間を識別する信号区間識別手段と、前記呼吸変化をサンプリングした気流圧データより無呼吸区間を識別する呼吸識別手段と、前記信号区間と重複する所定期間以上の前記無呼吸区間においてサンプリングタイミングに対応する信号強度を求め、その信号強度が所定レベル以上となる期間に対応する幅の信号パルスを生成する信号パルス化手段と、所定期間以上の前記無呼吸区間内の前記信号パルスのパルス数が所定数以下でありパルス幅が所定期間以下であるという判定条件を満足する前記無呼吸区間を嚥下反射推定区間と推定する嚥下反射推定手段と、前記嚥下反射推定区間を表示する表示手段と、を備える。
 本態様に係る嚥下推定装置によれば、上記第1の態様と同様の効果が奏され得る。
 本発明の第3の態様は、情報端末装置に関する。この態様に係る情報端末装置は、喉頭部の音を検出する音検出部と、呼吸を検出する呼吸検出部と、前記音検出部から出力される前記音情報および前記呼吸検出部から出力される呼吸情報を記憶する記憶部と、を備える。
 本発明の第4の態様は、コンピュータに、所定期間以上の無呼吸区間に対応する生体音発生区間について、嚥下推定のためのパラメータの値を取得する機能と、取得した前記パラメータの値が嚥下の判定条件を満たすか否かに基づいて、当該生体音発生区間に嚥下が生じたか否かを推定する機能と、を付与するプログラムである。
 本態様に係るプログラムによれば、上記第1の態様と同様の効果が奏され得る。
 以上のとおり、本発明によれば、生活環境下で嚥下推定のための情報の収集がなされても、嚥下の推定精度を高く維持することが可能な嚥下推定装置およびそれに用いる情報端末装置を提供することができる。
 本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
実施例1に係る嚥下活動モニタリング装置の構成及び機能を示す機能ブロック図である。 実施例1に係る嚥下活動モニタリング装置による嚥下反射推定区間における各波形の表示例を示す図である。 実施例1に係る嚥下活動モニタリング装置における生体音波形と気流音波形の各波形を細かい時間スケールで重ねて拡大した表示例を示す図である。 実施例2に係る嚥下推定システムの構成を示す外観図である。 実施例2に係る嚥下推定システムの構成を示すブロック図である。 実施例2に係る端末装置と情報処理装置の動作を示すフローチャートである。 実施例2に係る情報処理装置の動作を示すフローチャートである。 実施例2に係る情報処理装置の動作を示すフローチャートである。 実施例2に係る生体音データ、気流圧データおよび舌骨変位データを示す図である。 実施例2に係るスペクトログラムを模式的に示す図、実施例2に係るメル周波数スペクトログラムを模式的に示す図、実施例2に係る連続ウェーブレット変換によるパルスを示す図、および、実施例2に係る連続ウェーブレット変換によるパルスを拡大して模式的に示す図である。 実施例2に係る表示部に表示される画面を示す図である。 実施例2に係る表示部に表示される画面を示す図である。 実施例2に係る表示部に表示される画面を示す図、変更例1に係る情報処理装置の動作を示すフローチャート、および、実際に嚥下推定のための情報を収集して嚥下推定を行った場合の推定結果を示す図である。 変更例2に係る情報処理装置の動作を示すフローチャートである。 変更例3に係る誤嚥が生じたかを判定する手順を説明する図である。
 ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。
 本実施の形態は、喉頭部から得られる生体音のエネルギー分布と呼吸による気流圧変化情報から嚥下反射推定区間を絞込み、舌骨変位情報から更に嚥下反射推定区間を絞り込んで特定することを特徴とするものである。
 <実施例1>
 図1は、実施例の動作を説明するための回路ブロック図を示す。但しパソコン内のブロックは、実際の回路ブロックではなく機能ブロックである。
 以下、本実施例のデータ測定期間中の動作について説明する。
 本実施例では、喉頭部に近接させたマイクが生体内の音を検出する生体音検出手段1として、鼻カニューレのチューブ内に設けた空気圧センサーが呼吸による気流の変化を検出する呼吸検出手段2として、喉頭部に貼り付けた圧電シートが喉頭部の変形を捕らえて舌骨の変位を検出する舌骨変位検出手段3として機能している。
 生体音検出手段1より得られる生体音信号と、呼吸検出手段2より得られる気流圧信号と、舌骨変位検出手段3より得られる舌骨変位信号は、それぞれ対応する第1サンプリング回路4と第2サンプリング回路5と第3サンプリング回路6に入力され、それぞれ0.1msec周期(10kHz)でサンプリングされ、A/D変換される。そして、A/D変換により取得された生体音データと気流圧データと舌骨変位データが、時計手段7から得られる時刻データと共に記憶媒体8に記憶される。従って、データ測定期間中、生体音データと気流圧データと舌骨変位データは、時刻データと対となって記憶媒体8に記憶される。
 上述する測定期間が終了した後、パソコン内で以下のようなデータ処理が行われる。
 まず、信号強度変換手段9は、記憶媒体8から読み出される信号波形に対応する生体音データを信号強度データに変換する。具体的には、窓関数(サンプリング範囲)を1.5秒に設定し生体音データを切り出して短時間フーリエ変換処理を施した上で、その振幅の総和を求めることにより信号強度データに変換する。この際、適当な帯域フィルタ処理を施してもよい。
 この短時間フーリエ変換処理は、サンプリング範囲を0.2秒ずつシフトさせながら行われるため、生体音データの1/2000の時間解像度の信号強度データが出力されることになる。この信号強度データは無音区間を排除するために利用されるものであり、窓関数を広く設定し、シフト間隔も大きく設定することにより演算処理の負担が軽減される。
 信号区間識別手段10は、この信号強度データを第1基準値L1と比較することによってノイズレベル以上の信号区間の識別出力を発生する。即ち、ノイズのみが存在する低レベル区間には嚥下が起きず高レベル区間に嚥下が起きているとみなして、高レベル区間を信号区間として特定している。
 呼吸識別手段11は、気流圧データを呼気区間、無呼吸区間、吸気区間に3区分した呼吸識別出力を発している。
 信号パルス化手段12は、信号区間中の第2基準値L2(例えば0.6秒)以上の無呼吸区間に対応して生体音データを取り込んで連続ウェーブレット変換処理を施し、周波数スペクトル強度の総和を求めた上で、第3基準値L3と比較して基準値以上の期間に対応するパルス幅の信号パルスを出力する。
 信号パルス評価手段13は、信号区間中の第2基準値L2以上の無呼吸区間において全ての信号パルスの幅が第4基準値L4(例えば25msec)以下であり、信号パルスの数が第5基準値L5(例えば20個)以下である場合に、当該信号区間が嚥下反射区間である可能性が高いと推定して第1推定出力を発する。尚、前述する非特許文献1では嚥下時の信号パルス幅を60msec以下としているが、本実施例では第3基準値L3を高く設定しているため信号パルス幅が狭く25msecを第4基準値L4としている。
 次に、帯域評価手段14は、信号区間中の第2基準値L2以上の無呼吸区間において生体音データをメル周波数スペクトログラムに変換する。そして、帯域評価手段14は、メル周波数スペクトログラムについて、無呼吸区間のスペクトルレベルの総和に対する無呼吸区間の高域成分(例えば750Hz以上)のスペクトルレベルの総和が第6基準値L6(例えば15%)以上を占めている場合に、当該信号区間が嚥下反射区間である可能性が高いとして第2推定出力を発する。
 更に、舌骨変位評価手段15は、測定期間中の舌骨変位データの最大値を特定する。そして、舌骨変位評価手段15は、信号区間中の第2基準値L2以上の無呼吸区間において、この最大値に対する第7基準値L7(例えば10%)以上の舌骨変位データが存在する場合に、当該信号区間が嚥下反射区間である可能性が高いと推定して第3推定出力を発する。
 本実施例において嚥下反射推定手段16は、第1推定出力と第2推定出力と第3推定出力の全てが発生している場合にのみ、当該信号区間を嚥下反射推定区間として特定する出力を発生する。
 このようにして特定された嚥下反射推定区間は、表示制御手段17を介してパソコンモニター画面である表示手段18に図2(a)~(d)のように表示される。表示手段18上には、縮小表示した時刻スケールに対応して測定期間全体の、図2(a)の生体音信号波形と、図2(b)の気流圧信号波形と、図2(c)の舌骨変位信号波形と、図2(d)の生体音信号強度波形が時刻スケールと共に基本画面として表示される。
 なお、図2(a)において破線縦線は嚥下反射推定位置を示している。また、図2(b)気流圧波形においては、実表示では、気流圧データを呼気区間、無呼吸区間、吸気区間に3区分した呼吸識別出力が各々視認できるよう色分けして縦線で表示されている。
 この状態で、操作者が基本画面中の嚥下反射推定位置をポインティングすると、ポインティングに対応する無呼吸区間と前後の数呼吸期間分の生体音信号波形と気流圧信号波形と舌骨変位信号波形が時刻スケールと共に子画面として表示される。
 また、上記嚥下反射推定区間の表示については、誤嚥又は誤嚥リスクの高い嚥下状態を表示するために種々の表示が為される。
 例えば正常な嚥下の後は、呼気における信号強度が吸気における信号強度の半分以下であるが、異常な嚥下の後では呼気における信号強度が大きくなることに注目し、次のように子画面が表示される。
 呼吸強度評価手段19は、嚥下反射推定区間前後の呼気区間と吸気区間の4周期分計8区間の生体音データを区間毎に別々に短時間フーリエ変換して各区間の総和を信号強度データとして求める。さらに、呼吸強度評価手段19は、嚥下反射推定区間後の呼気区間の平均信号強度/吸気区間の平均信号強度が嚥下反射推定区間前の値より50%を超えて増加した場合に、誤嚥推定区間であるとして注意喚起情報を表示制御手段17に入力する。表示制御手段17は、操作者が誤嚥推定区間を選択する場合、前述する嚥下反射推定区間の子画面に代わる誤嚥推定区間の子画面を表示手段18に表示させる。
 また、嚥下を診断する場合に、嚥下反射推定区間前と後の呼吸状態が参考になることに注目し、表示制御手段17は、例えば図3に示すように嚥下反射推定区間の前後の呼吸が呼気区間か吸気区間かを判別し4種類に区分してその頻度を表示手段18上の基本画面に追加表示する。
 図3の表示例では、嚥下が呼気中に起こり(SWtype:E-SW)、嚥下後の呼吸が呼息から始まり(SWtype2:SW-E)、平均の呼吸間隔を1とすると嚥下開始点が吸息開始から1.04経過した時点であり(old phase:1.04)、嚥下後に吸息が開始するまでの潜時が0.78秒である(inspi-start:0.78)ことを示している。図3における破線で示す縦線は吸息の開始位置、一点鎖線で示す縦線(の区間)は無呼吸であることを示す。
 本実施例における嚥下反射推定区間の表示とは、上述する表示形態に限定されることなく、嚥下反射推定区間に関連する様々な表示形態を含む。特に誤嚥リスク推定に関する表示は嚥下反射推定表示の中でも重要である。
 本実施例で嚥下反射推定手段16は、第1推定出力と第2推定出力と第3推定出力の全てに対応して嚥下反射推定区間を推定したが、本実施例の推定には、第1推定出力のみで推定しても良く、第1推定出力と第2推定出力に対応して推定しても良い。
 また、本実施例の基準値は嚥下反射推定区間の絞込みの度合いを調整するものであり、本実施例においてその値や範囲を限定する意味はなく、必要に応じて適宜調整されるべきものである。
 <実施例2>
 実施例2は、上記実施例1の構成および処理をより具体化した例を示すものである。
 実施例2において、嚥下推定システム100は、請求項に記載の「嚥下推定装置」に相当する。音センサ231aは、請求項に記載の「音検出部」に相当する。圧力センサ215は、請求項に記載の「呼吸検出部」に相当する。制御部313は、請求項に記載の「嚥下推定部」に相当する。変位センサ231bは、請求項に記載の「変位検出部」に相当する。スピーカー312と、制御部313と、表示部320は、請求項に記載の「出力部」に相当する。ハードディスク314は、請求項に記載の「記憶部」に相当する。入力部330は、請求項に記載の「入力部」に相当する。端末装置210は、請求項に記載の「情報端末装置」に相当する。ただし、上記請求項と実施例との対応の記載はあくまで一例であって、請求項に係る発明を本実施例に限定するものではない。
 図4は、本実施例に係る嚥下推定システム100の構成を示す外観図である。嚥下推定システム100は、測定装置200と情報処理装置300を備える。また、嚥下推定システム100では、持ち運びが容易な小型の記憶媒体101(たとえば、SDカード)が用いられる。
 測定装置200は、端末装置210と、鼻カニューレ220と、検出部230を備える。
 端末装置210は、表示部211と入力部212を備えており、被験者が常時装用できるように、小さく且つ軽量に構成される。被験者は、表示部211の表示を確認しながら、ボタンや調整つまみからなる入力部212により、制御部214(図5参照)に対する指示を入力する。また、端末装置210は、記憶媒体101に対する書き込みを行う書込部213を備える。
 鼻カニューレ220は、一対の筒状部材を有する装着部221と、装着部221の両端に接続されたチューブ222を備える。装着部221の一対の筒状部材は患者の鼻腔に挿入され、チューブ222の他端は、端末装置210に接続される。これにより、患者が呼吸を行うとチューブ222内の空気が流動し、チューブ222内の空気の流動が、端末装置210内の圧力センサ215(図5参照)により、圧力として検出される。なお、患者が口で呼吸している場合でも、鼻腔と口腔は繋がっているため、チューブ222内の空気が流動し圧力が変化する。
 検出部230は、薄型で柔軟性を有するパッド231と、ケーブル232を備える。パッド231は、被験者の喉頭部に貼り付けられており、喉頭部の音を検出するための音センサ231a(図5参照)と、喉頭部の変形に応じて舌骨の変位を圧力により検出するための変位センサ231b(図5参照)を備える。
 情報処理装置300は、本体310と、表示部320と、入力部330を備える。本体310は、記憶媒体101に対する読み出しを行う読出部311と、音声を出力するためのスピーカー312を備える。操作者は、キーボードやマウスからなる入力部330により、制御部313(図5参照)に対する指示を入力する。表示部320は、ディスプレイからなり、後述する嚥下の推定結果等を表示する。
 図5は、嚥下推定システム100の構成を示すブロック図である。
 端末装置210は、図4に示した表示部211と、入力部212と、書込部213に加えて、制御部214と、圧力センサ215と、A/D変換部216を備える。
 圧力センサ215は、鼻カニューレ220のチューブ222から導かれた空気の流動を圧力として検出し、検出したアナログの圧力信号をA/D変換部216に出力する。検出部230は、音センサ231aと変位センサ231bを備える。音センサ231aは、被験者の喉頭部近傍の音を検出し、検出したアナログの音信号をA/D変換部216に出力する。変位センサ231bは、被験者の喉頭部の変形を舌骨の変位として検出し、検出したアナログの変位信号をA/D変換部216に出力する。A/D変換部216は、圧力信号と、音信号と、変位信号を所定周期でサンプリングし、それぞれのサンプリング信号に対応するデジタル信号を制御部214に出力する。音信号、圧力信号および変位信号をA/D変換して得られた各データは、それぞれ、上記実施例1における「生体音データ」、「気流圧データ」、「舌骨変位データ」に対応する。
 制御部214は、端末装置210の各部を制御する。また、制御部214は、A/D変換部216から出力された各データを、時刻データと共に、書込部213にセットされた記憶媒体101に書き込む。時刻データは、制御部214に内蔵された時計回路によって計時される。測定装置200による測定が終了すると、記憶媒体101は、書込部213から取り出され、情報処理装置300の読出部311にセットされる。
 本体310は、たとえば、パーソナルコンピュータからなり、図4に示した読出部311とスピーカー312に加えて、制御部313と、ハードディスク314を備える。制御部313は、本体310の各部を制御し、入力部330を介して入力された指示を受け付け、指示に応じて表示部320に映像信号を出力し、音声をスピーカー312から出力する。また、制御部313は、読出部311にセットされた記憶媒体101からデータを読み出し、ハードディスク314に記憶する。さらに、制御部313は、ハードディスク314に記憶されているプログラムとデータに基づいて演算を行う。ハードディスク314に記憶されているプログラムによって、制御部313に、後述の嚥下推定機能が付与される。このプログラムは、予めハードディスク314にインストールされていても良く、あるいは、ディスク媒体やインターネットからハードディスク314にダウンロードされても良い。
 図6~図8は、端末装置210と情報処理装置300の動作を示すフローチャートである。
 図6を参照して、端末装置210の制御部214は、入力部212を介して開始指示を受け付けると(S101:YES)、生体音データと、気流圧データと、舌骨変位データを取得して記憶媒体101に書き込む処理を開始する(S102)。しかる後、制御部214は、入力部212を介して停止指示を受け付けると(S103:YES)、書き込む処理を終了する(S104)。こうして、端末装置210の処理が終了する。データが書き込まれた記憶媒体101は、上述したように、情報処理装置300に移動される。
 図9(a)~(c)は、それぞれ、記憶媒体101に書き込まれた生体音データと、気流圧データと、舌骨変位データを、A/D変換前のアナログ信号の波形として、所定期間について示す図である。なお、図9(a)~(c)では、2秒間の信号が抜粋されて示されているが、実際には、書き込みの処理が行われた期間に対応するデータが記憶媒体101に記憶される。図9(a)、(c)に示す「生体音発生区間」と、図9(b)、(c)に示す「無呼吸区間」については、追って説明する。
 図6に戻り、情報処理装置300の制御部313は、生体音データと、気流圧データと、舌骨変位データをハードディスク314に記憶させた後、入力部330を介して開始指示を受け付けると(S201:YES)、以下の処理を行う。
 制御部313は、生体音データを短時間フーリエ変換することによりスペクトログラムを作成し、作成したスペクトログラムに基づいて生体音発生区間を抽出する(S202)。具体的には、制御部313は、全区間の生体音データに対して、窓関数(サンプリング範囲)を1.5秒に設定して生体音データを切り出し、短時間フーリエ変換を施して、図10(a)に示すようなスペクトログラムを作成する。すなわち、単位時間幅(1.5秒幅)においてフーリエ変換を行い、これを0.2秒ずつずらしながら順次変換を行ってスペクトログラムを作成する。図10(a)に示す例は、20個の単位時間幅、すなわち、4秒間について作成したスペクトログラムである。そして、制御部313は、作成したスペクトログラムの振幅の総和を求めることにより信号強度データに変換し、ノイズ平均+2SD(標準偏差)を超えた区間を生体音発生区間として抽出する。これにより、全区間の生体音データに対して、生体音発生区間が特定される。図9(a)、(c)には、こうして抽出された生体音発生区間が付記されている。
 次に、制御部313は、気流圧データにおいて、値がノイズを考慮した閾値以下となっている区間を無呼吸区間として抽出する(S203)。これにより、全区間の気流圧データに対して、無呼吸区間が設定される。図9(b)には、こうして抽出された無呼吸区間が付記されている。
 次に、制御部313は、生体音発生区間において、S202で作成したスペクトログラムから、図10(b)に示すようなメル周波数スペクトログラムを作成する(S204)。図10(b)では、縦軸がメルスケールとなっている。したがって、図10(b)のメル周波数スペクトログラムは、図10(a)の周波数スペクトログラムに比べて、低周波帯域の座標軸が圧縮され、高周波帯域の座標軸が伸長されており、これにより、高周波帯域の分解能が高められている。
 次に、制御部313は、生体音発生区間において、S202で取得された短時間フーリエ変換後のデータに対して、連続ウェーブレット変換によりパルス化を行い(S205)、図10(c)に示すようなパルスを生成する。なお、図10(c)の例では生体音発生区間に6つのパルスが含まれており、これらを拡大して模式的に示すと、図10(d)に示すように異なる幅を有するパルスが複数含まれる。
 次に、制御部313は、S202で抽出した生体音発生区間のうち、以下の3つの条件が全て満たされるものを抽出する(S206)。
 1つ目の条件は、全区間における舌骨変位データの最大振幅に対して所定比率(たとえば3%)以上となっている振幅が、生体音発生区間に含まれることである。たとえば、図9(c)の例では、生体音発生区間の舌骨変位データの振幅A1が大きい。このように、生体音発生区間において舌骨変位データの振幅が大きくなっている場合、1つ目の条件が満たされる。嚥下の際には、舌骨が上昇した後、前に変位し、その後、元の位置に戻る。1つ目の条件は、このような現象が生体音発生区間において生じたか否かを舌骨変位データに基づいて判定するものである。
 2つ目の条件は、生体音発生区間のメル周波数スペクトログラムにおいて、750Hz以上のスペクトルの総和(パワー)の比率が所定比率(たとえば15%)以上であることである。通常、嚥下音は高周波成分を含んでいる。2つ目の条件は、嚥下音に対応する音の周波数が生体音発生区間において生じたか否かを生体音データに基づいて判定するものである。たとえば、図10(b)の例では、生体音発生区間のメル周波数スペクトログラムにおいて、750Hz以上のスペクトルの総和の比率が15%を超えれば、2つ目の条件が満たされる。なお、ここでは、閾値が750Hzに設定されたが、この閾値は、嚥下音の実測値を統計化することにより、適宜、他の周波数に変更され得る。
 3つ目の条件は、生体音発生区間においてS205で作成されたパルスの数が所定数(たとえば50個)以下であり、且つ、生体音発生区間においてS205で生成されたパルスのうち最大パルス幅が所定値(たとえば15msec)以下であることである。これは、嚥下音と他の音とを、断続性と連続性の観点において区別できるためである。断続性が高いほど短い幅のパルスが多数現れ、連続性が高いほどパルスの数は少なく、パルス幅は長くなる。3つ目の条件は、嚥下音に対応する音の断続性と連続性が生体音発生区間において生じたか否かを生体音データに基づいて判定するものである。たとえば、図10(c)、(d)に示す例では、生体音発生区間において、パルス数Nが50個以下であり、且つ、最大パルス幅Wが15msec以下であれば、3つ目の条件が満たされる。なお、ここでは、パルス数の閾値が50個とされ、最大パルス幅の閾値が15msecに設定されたが、パルス数の閾値と最大パルス幅の閾値は、嚥下音の実測値を統計化することにより、適宜、他の数および時間幅に変更され得る。
 図7を参照して、次に、制御部313は、以下に示すように、S206で抽出した生体音発生区間を順に参照して、嚥下音が生じたと推定できる区間を抽出する。
 制御部313は、まず、S206で抽出した生体音発生区間のうち最初の生体音発生区間を参照先に設定する(S207)。続いて、制御部313は、この生体音発生区間より広めの参照範囲を気流圧データに設定し、この参照範囲に、所定期間以上の無呼吸区間が含まれているかを判定する(S208)。一般に、嚥下の際には呼吸が止まる。S208では、呼吸の観点から、参照先の生体音発生区間に嚥下が生じたか否かが判定される。S208の判定において、所定期間は、たとえば、400msec以上に設定され、好ましくは500msec以上または600msec以上に設定される。ただし、所定期間は、これに限られず、嚥下の際に呼吸が止まる期間の下限を設定可能であれば、他の値に設定されても良い。
 さらに、制御部313は、参照先の生体音発生区間に対応するパルス(S205で取得されたパルス)のうち、少なくとも1つ以上のパルスが当該無呼吸区間内に含まれるかを判定する(S209)。ここでは、無呼吸区間に音が検出されたか否かが判定される。すなわち、呼吸が止まっている間に音が検出されたかが更なる嚥下の推定条件とされている。制御部313は、S208、S209の両方でYESと判定すると、当該生体音発生区間の音は嚥下音であると推定して、この生体音発生区間を嚥下音発生区間に特定する(S210)。他方、制御部313は、S208、S209のいずれか一方でNOと判定すると、当該生体音発生区間で嚥下は生じていないと判定する(S211)。
 続いて、制御部313は、S206で抽出した全ての生体音発生区間についてS208~S211の処理が終了した否かを判定し(S212)、終了していないと(S212:NO)、次の生体音発生区間を参照先に設定して(S213)、処理をS208に戻す。こうして、S206で抽出した全ての生体音発生区間について、S208~S211の処理が行われ、嚥下の推定が行われる。
 図8を参照して、次に、制御部313は、以下に示すように、S210で抽出した嚥下音発生区間を順に参照して、嚥下音発生区間において誤嚥のリスクがあるかを判定する。
 制御部313は、まず、最初の嚥下音発生区間を参照先に設定する(S214)。続いて、制御部313は、この嚥下音発生区間の直前と直後の呼吸相を取得する(S215)。続いて、制御部313は、この嚥下音発生区間の直前が吸息相であるかを判定し(S216)、さらに、この嚥下音発生区間の直後が吸息相であるかを判定する(S217)。制御部313は、S216、S217のいずれか一方でYESと判定すると、当該嚥下音発生区間において誤嚥のリスクがあると判定する(S218)。他方、制御部313は、S216、S217の両方でNOと判定すると、当該嚥下音発生区間で誤嚥のリスクはないと判定する(S219)。
 続いて、制御部313は、全ての嚥下音発生区間についてS215~S219の処理が終了したかを判定し(S220)、終了していないと(S220:NO)、次の嚥下音発生区間を参照先に設定して(S221)、処理をS215に戻す。こうして、全ての嚥下音発生区間において誤嚥のリスクがあるか否かが判定される。
 次に、制御部313は、入力部330を介して入力された操作者の指示に応じて、上記処理に基づく画面410(図11参照)と、画面420(図12参照)と、画面430(図13(a)参照)を、表示部320に表示する処理を行う(S222)。こうして、情報処理装置300の処理が終了する。
 図11は、表示部320に表示される画面410を示す図である。画面410は、アイコン401と、参照位置操作部402と、拡大縮小操作部403を備える。画面410には、生体音データ、気流圧データおよび舌骨変位データのアナログ波形のグラフと、生体音信号波形強度のグラフが示される。
 生体音データのグラフには、嚥下音発生区間に対応する箇所に破線が示されており、アイコン401は、この破線の上部に配置される。アイコン401が押下されると、対応する嚥下音発生区間を拡大した状態を示す画面420(図12参照)が、表示部320に表示される。参照位置操作部402が操作されると、4つのグラフに表示させる各データの時間範囲が、全測定区間内で、時間を進める方向または戻す方向に移動される。拡大縮小操作部403が操作されると、4つのグラフに表示させる各データの時間幅が伸長/圧縮される。
 図12は、表示部320に表示される画面420を示す図である。画面420は、アイコン421と、再生ボタン422と、停止ボタン423と、再生位置操作部424と、閉じるボタン425を備える。
 画面420には、生体音データのアナログ波形と気流圧データのアナログ波形が重ねて示されている。ここでは、生体音データのアナログ波形が実線で示され、気流圧データのアナログ波形が点線で示されている。区間S1は、図11の画面410において、アイコン401により指定された嚥下音発生区間であり、アイコン421は、この区間を指し示している。区間S2は、区間S1近傍の無呼吸区間である。
 再生ボタン422が押下されると、区間S1の生体音データを再生した音声がスピーカー312から出力される。停止ボタン423が押下されると、再生が停止される。再生位置操作部424は、全測定区間における再生対象の音声の区間S1の位置を示しており、再生位置操作部424が操作されると、再生対象位置が、時間を進める方向または戻す方向に変更される。
 図13(a)は、表示部320に表示される画面430を示す図である。
 画面430には、生体音データの全測定区間において抽出された嚥下音発生区間の数を示す「嚥下の数」と、直前が吸息相であった嚥下音発生区間の数を示す「吸気-嚥下の数」と、直後が吸息相であった嚥下音発生区間の数を示す「嚥下-吸気の数」と、図8のS218で誤嚥のリスクがあると判定された嚥下音発生区間の数を示す「誤嚥リスクの数」が示されている。
 以上、実施例2によれば、無呼吸状態にあるときの生体音に基づいて嚥下が生じたか否かが推定されるため、嚥下の推定精度を高めることができる。また、嚥下の判定条件として、音の断続性および連続性を示すパラメータの値、すなわち、生体音データに対して短時間フーリエ変換およびウェーブレット変換を行って求めたパルスの数および長さが用いられるため、演算により高精度に、嚥下を推定することができる。
 また、S209に示すように、パルスが無呼吸区間に少なくとも一つ含まれるか否かを更なる推定条件として、判定対象の生体音発生区間に嚥下が生じたか否かが推定される。このように、呼吸が止まっている期間において音が検出されたか否かが更なる推定条件とされているため、高精度の嚥下の推定結果が取得され得る。
 また、S206に示すように、生体音発生区間において、750Hz以上の周波数帯域の音が占める割合が算出され、算出された割合が所定比率を超えるか否かを更なる推定条件として、当該生体音発生区間に嚥下が生じたか否かが推定される。このように、音の周波数成分が更なる推定条件とされているため、高精度の嚥下の推定結果が取得され得る。
 また、S208に示すように、生体音発生区間に含まれる無呼吸区間の長さが閾値を超えるか否かを更なる推定条件として、当該生体音発生区間に嚥下が生じたか否かが推定される。このように、生体音発生区間に含まれる無呼吸区間の長さが更なる推定条件とされているため、高精度の嚥下の推定結果が取得され得る。
 また、S206に示すように、全区間における舌骨変位データの最大振幅に対して所定比率以上となっている振幅が、生体音発生区間に含まれるか否かを更なる推定条件として、当該生体音発生区間に嚥下が生じたか否かが推定される。このように、喉頭部の変位量が更なる推定条件とされているため、高精度の嚥下の推定結果が取得され得る。
 また、画面420において再生ボタン422が押下されると、指定された嚥下音発生区間における生体音データが再生される。これにより、医師等は、嚥下が生じたと推定されたタイミングの音を実際に聞くことにより、当該タイミングに実際に嚥下が起こったかを確認することができる。なお、生体音データの再生区間は、指定された嚥下音発生区間に限られず、たとえば、指定された嚥下音発生区間の中心から前後に予め設定された時間幅の区間とされても良い。あるいは、指定された嚥下音発生区間の前後に所定の時間幅を加えた区間が生体音データの再生区間とされても良い。
 また、画面410において、嚥下音発生区間に対応する箇所にアイコン401が配されており、アイコン401が押下されると画面420が表示される。これにより、医師等は、嚥下が生じたか否かを音により確認したいタイミングを簡便に指定することができる。
 また、画面410、420には、生体音データのアナログ波形のグラフが示される。これにより、医師等は、視覚により音波形を確認しながら、嚥下が生じたか否かを音により確認したいタイミングを適切に指定することができる。
 また、画面410においてアイコン401が押下されると、対応する嚥下音発生区間が画面420上に拡大表示される。また、画面410において拡大縮小操作部403が操作されると、画面410のグラフに表示されるデータが拡大され得る。これにより、医師等は、視覚により音波形を視覚により確認しながら、音を聞くことができる。よって、より適正に、当該タイミングに実際に嚥下が生じたか否かを判定することができる。
 また、図8に示すように、嚥下が生じたと推定されたタイミングの前後の呼吸相が検出され、検出された呼吸相に基づいて当該タイミングに誤嚥の可能性があるか否かが評価され、評価の結果が画面430に表示される。これにより、医師等は、表示を見ることにより、被験者に誤嚥のリスクがあると判定されたかを知ることができ、これを、被験者への診断に生かすことができる。
 <変更例1>
 実施例2では、生体音データと、気流圧データと、舌骨変位データの3つのデータを用いることにより、嚥下音発生区間を抽出したが、変更例1では、上記3つのデータのうち、生体音データと気流圧データを用いることにより、嚥下音発生区間を抽出する。
 変更例1では、図13(b)に示すように、図6に示す情報処理装置300の処理のうち、S206がS301に変更される。S301では、上記実施例2と異なり、舌骨変位データを用いた1つ目の条件が省略されている。
 図13(c)は、実際に嚥下推定のための情報を収集して嚥下推定を行った場合の推定結果を示す図である。
 ここでは、図4に示すように鼻カニューレ220とパッド231が被験者に装着され、生活環境下で情報の収集が行われた。被験者は、嚥下の他に、首振り動作や、咳、発音、空気の飲み込み、ゲップ、鼻すすり、いびき、深呼吸等の各動作を自発的(擬似的)に行い、動作を行う毎に、時刻と動作の内容を書き留めた。また、被験者の部屋に隣接する部屋で発声等を行って生活雑音を発生させ、これについても時刻と内容が書き留められた。被験者により行われた動作と生活雑音の発生は、計87回行われ、そのうち、嚥下は27回行われた。
 図13(c)において、“3要素(実施例2)”の嚥下推定は、以下のステップにより行われた。なお、以下のステップでは、所定期間を600msecとした。
 (1)生体音データから、上記の方法で生体音発生区間を抽出する。
 (2)生体音発生区間において所定期間以上の無呼吸区間を検出する。所定期間以上の無呼吸区間が検出されない生体音発生区間は、嚥下推定の対象外とする。
 (3)所定期間以上の無呼吸区間において生体音データをパルス化する。
 (4)所定期間以上の無呼吸区間に対して図6のS206の判定(舌骨変位、生体音周波数、生体音パルスの3つのパラメータ)を行い、当該生体音発生区間が嚥下推定区間か否かを判定する。
 なお、ステップ(2)とステップ(3)を入れ替えても良い。この場合は、生体音のパルス化は、全ての生体音発生区間に対して行い、その後、所定期間以上の無呼吸区間を各生体音発生区間について検出して、当該無呼吸区間における音パルスの幅と数によって推定嚥下区間か否かの判定が行われる。
 図13(c)において、“舌骨なし(変更例1)”では、上記アルゴリズムのステップ(4)において、判定に用いられるパラメータから舌骨の変位に関するパラメータが除かれた。また、“音なし(比較例1)”では、上記アルゴリズムのステップ(4)において、判定に用いられるパラメータから生体音に基づくパラメータが除かれた。さらに、“呼吸なし(比較例2)”では、上記アルゴリズムにおいて、ステップ(2)が除かれ、ステップ(3)では全ての生体音発生区間に対して生体音データのパルス化が行われ、ステップ(4)では全ての生体音発生区間に対して図6のS206の判定が行われて、当該生体音発生区間が嚥下推定区間か否か判定された。
 図13(c)の各行は、上から、被験者により行われた嚥下を推定処理により抽出できた数と、被験者に行われた嚥下を推定処理により抽出できなかった数(未抽出)と、実際には嚥下ではないものを推定処理により嚥下と判定してしまった数(過抽出)と、それらの合計とを示す。各列は、左から、実施例2、比較例1、比較例2および変更例1の推定結果である。
 図13(c)を参照すると、何れの推定処理においても、被験者により27回行われた全ての嚥下が正しく嚥下と推定された。ただし、気流圧(呼吸)をパラメータとして用いなかった比較例2では、嚥下以外の動作や生活雑音が36回も嚥下と推定され、正しい嚥下の推定回数である27回を大きく上回った。これに対し、気流圧(呼吸)をパラメータとして用いた実施例2、比較例1および変更例1では、嚥下の過抽出が抑制されており、特に、気流圧(呼吸)を含む3つのパラメータを用いた実施例2では、嚥下の過抽出が7回と顕著に抑制された。
 図13(c)に示す推定結果から、嚥下推定の条件として呼吸のパラメータを含めることにより、嚥下の過抽出率が大きく低下することが分かる。特に、上記実施例2のように、呼吸のパラメータの他に、生体音のパラメータと舌骨変位のパラメータを嚥下推定の条件に含めることにより、嚥下の過抽出を顕著に抑制することができ、嚥下の推定を高精度に行えることが分かる。
 なお、図13(c)の推定結果では、実施例2の推定処理において、被験者の咳が嚥下として抽出された。咳の音は、ほとんどが呼息中に生じるため、本来は、上記ステップ(3)によって、咳の音は除外され、理論的には、咳が嚥下と判定されることはない。しかしながら、実際には、上記測定において咳が嚥下と推定されたのであるが、これは、図13(c)の測定において、無呼吸区間がノイズを考慮して抽出されたために、無呼吸区間にわずか(ステップ(3)、(4)の所定期間以上)に呼息区間が含まれ、この呼息区間における咳の音と舌骨の動きによって、咳が嚥下と推定されたものと推測される。このような過抽出は、上記ステップ(1)~(4)に、さらに、「抽出された生体音区間において、無呼吸区間の音の方が呼吸中の音よりも大きいこと」の条件を追加することにより、抑制できる。咳の音は、無呼吸区間に含まれる呼息の開始時よりもその後の呼息区間の方が大きいからである。
 <変更例2>
 変更例2では、生体音発生区間のうち所定期間以上の無呼吸区間に対応する生体音発生区間のみが嚥下の推定対象とされる。
 図14は、この場合の処理を示すフローチャートである。図14では、図6、7のフローチャートにおけるS203~S209がS311~S315に置き換えられている。
 S202において生体音データから生体音発生区間が抽出されると、抽出された生体音発生区間のうち所定期間以上の無呼吸区間を含む生体音発生区間が、嚥下推定の参照対象に設定される(S311)。こうして参照対象とされた生体音発生区間のうち最初の生体音発生区間が参照され(S312)、当該生体音発生区間内の無呼吸区間の範囲に含まれる生体音データが、上記実施例2と同様にパルス化される(S313)。そして、この無呼吸区間の各パラメータの値に対して図6のS206の嚥下条件が適用され(S314)、全てのパラメータの値が嚥下条件を満たすか否かが判定される(S315)。全てのパラメータの値が嚥下条件を満たすと(S315:YES)、当該生体音発生区間で嚥下が生じたと判定される(S210)。また、少なくとも一つのパラメータの値が嚥下条件を満たさないと(S315:NO)、当該生体音発生区間では嚥下が生じていないと判定される(S211)。
 変更例2では、生体音発生区間のうち所定期間以上の無呼吸区間を含む生体音発生区間のみが嚥下推定の対象とされるため、演算負荷を減らすことができ、より効率的に嚥下の推定を行うことができる。
 <変更例3>
 変更例3では、制御部313は、嚥下発生区間の直前の呼吸相における生体音データと、嚥下発生区間の直後の呼吸相における生体音データとを比較することにより、嚥下発生区間で誤嚥が生じたかを判定する。
 図15の左側を参照して、制御部313は、嚥下音発生区間の直前の吸息相における生体音データをフーリエ変換し、周波数F1~F2を積分することにより値Aを算出する。また、制御部313は、嚥下音発生区間の直前の呼息相における生体音データをフーリエ変換し、周波数F1~F2を積分することにより値Bを算出する。同様に、制御部313は、嚥下音発生区間の直後の吸息相における生体音データをフーリエ変換し、周波数F1~F2を積分することにより値A’を算出する。また、制御部313は、嚥下音発生区間の直後の呼息相における生体音データをフーリエ変換し、周波数F1~F2を積分することにより値B’を算出する。
 次に、制御部313は、直前の呼吸相に基づいて得られたパワー比A/Bと、直後の呼吸相に基づいて得られたパワー比A’/B’を算出する。そして、制御部313は、パワー比A’/B’が、パワー比A/Bから所定量(たとえば50%)増加した場合、嚥下音発生区間において誤嚥が生じたと判定する。こうして、全ての嚥下音発生区間について誤嚥が生じたかが判定される。この場合の誤嚥リスクの数も、実施例2と同様、図13(a)に示すように画面430に表示される。
 変更例3によれば、嚥下が生じたと推定されたタイミングの前後の吸息音と呼息音が検出され、検出された吸息音と呼息音に基づいて当該タイミングに誤嚥のリスクがあるか否かが評価され、評価の結果が画面430に表示される。これにより、実施例2と同様、医師等は、表示を見ることにより、被験者に誤嚥のリスクがあると判定されたかを知ることができ、これを、被験者への診断に生かすことができる。
 <その他の変更例>
 実施例2および変更例2のS202では、生体音データに短時間フーリエ変換を施した後、その振幅総和を求めて信号強度を取得し、取得した信号強度と閾値とを比較して生体音発生区間が抽出された。しかしながら、生体音発生区間の抽出方法はこれに限られるものではない。たとえば、生体音を全波整流後リーク積分し、その無音区間における値の平均+2SD(標準偏差)を越える区間を生体音発生区間としても良い。また、閾値の設定方法もこれに限られるものではなく、生体音の発生区間を抽出できれば他の方法であっても良い。
 実施例2では、記憶媒体101により、端末装置210から情報処理装置300へと各種データが送られたが、これに限らず、各種データが、端末装置210の記憶部から、情報処理装置300へと有線または無線の通信ネットワークを介して送信されても良い。また、端末装置210が情報処理装置300の機能を備え、情報処理装置300が省略されても良い。この場合、端末装置210の制御部214が、図6~8に示す情報処理装置の処理を全て行い、結果を示す画面等を表示部211に出力する。
 この他、本発明の実施例は、請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
 なお、上記実施の形態からは、以下の請求項に係る発明も抽出され得る。この発明では、嚥下の推定に用いるパラメータは、上記実施形態に示されたものに限られず、上記パラメータの1つまたは2つ以上の組合せとすることができ、あるいは、さらに他のパラメータを用いることもできる。また、この請求項には、請求の範囲に記載の請求項8、9が従属され得る。
 <請求項>
 喉頭部の音を検出する音検出部と、
 前記音検出部から出力される前記音情報を記憶する記憶部と、
 嚥下を推定する嚥下推定部と、
 前記嚥下推定部による推定結果に基づく情報を出力する出力部と、
 前記嚥下推定部により嚥下が生じたと推定されたタイミングを指定可能な入力部と、を備え、
 前記出力部は、前記入力部を介して指定された前記タイミングを含む時間幅の前記音情報を前記記憶部から取得し、取得した音情報を再生した音を外部に出力する、
ことを特徴とする嚥下推定装置。
 この発明によれば、医師等が、嚥下が生じたと推定されたタイミングの音を実際に聞くことにより、当該タイミングに実際に嚥下が起こったかを確認できるとの有意な効果が奏され得る。
 また、上記実施の形態からは、以下の請求項に係る発明も抽出され得る。この請求項は、請求の範囲に記載の請求項8または9に従属され得る。
 <請求項>
 前記出力部は、前記入力部により指定された前記タイミングを含む時間幅の前記音情報を前記記憶部から取得し、取得した音情報に基づく音波形を拡大して表示する、
ことを特徴とする嚥下推定装置。
 この発明によれば、医師等は、音波形を視覚により確認しながら、音を聞くことができる。よって、より適正に、当該タイミングに実際に嚥下が生じたか否かを判定することができる。
 本発明にかかる嚥下推定装置は、優れた嚥下推定機能を有しており、医療機器の分野において利用可能なものである。
 1  生体音検出手段
 2  呼吸検出手段
 3  舌骨変位検出手段
 9  信号強度変換手段
 10 信号区間識別手段
 11 呼吸識別手段
 12 信号パルス化手段
 16 嚥下反射推定手段
 18 表示手段
 100 嚥下推定システム
 210 端末装置
 215 圧力センサ
 231a 音センサ
 231b 変位センサ
 312 スピーカー
 313 制御部
 314 ハードディスク
 320 出力部
 330 入力部

Claims (14)

  1. 嚥下推定装置において、
     喉頭部の音を検出する音検出部と、
     呼吸を検出する呼吸検出部と、
     前記音検出部から出力される音情報と前記呼吸検出部から出力される呼吸情報とに基づいて嚥下を推定する嚥下推定部と、を備え、
     前記嚥下推定部は、400msec以上の無呼吸区間に対応する生体音発生区間について、嚥下推定のためのパラメータの値を取得し、取得した前記パラメータの値が嚥下の判定条件を満たすか否かに基づいて、当該生体音発生区間に嚥下が生じたか否かを推定する、
    ことを特徴とする嚥下推定装置。
     
  2. 請求項1に記載の嚥下推定装置において、
     前記嚥下推定部は、前記嚥下推定のためのパラメータの値として、音の断続性および連続性を示すパラメータの値を演算により取得する、
    ことを特徴とする嚥下推定装置。
     
  3. 請求項2に記載の嚥下推定装置において、
     前記嚥下推定部は、前記音情報に対してフーリエ変換およびウェーブレット変換の演算処理を行うことによりパルス信号を取得し、取得したパルス信号の数および長さを前記パラメータの値として取得する、
    ことを特徴とする嚥下推定装置。
     
  4. 請求項1ないし3の何れか一項に記載の嚥下推定装置において、
     前記嚥下推定部は、前記生体音発生区間において、所定周波数を超える周波数帯域の音が占める割合を算出し、算出した割合が閾値を超えるか否かを更なる推定条件として、当該生体音発生区間に嚥下が生じたか否かを推定する、
    ことを特徴とする嚥下推定装置。
     
  5. 請求項1ないし4の何れか一項に記載の嚥下推定装置において、
     喉頭部の変位を検出する変位検出部をさらに備え、
     前記嚥下推定部は、前記生体音発生区間において前記変位検出部により検出された喉頭部の変位量が閾値を超えるか否かを更なる推定条件として、当該生体音発生区間に嚥下が生じたか否かを推定する、
    ことを特徴とする嚥下推定装置。
     
  6. 請求項1ないし5の何れか一項に記載の嚥下推定装置において、
     前記嚥下推定部による推定結果に基づく情報を出力する出力部を備える、
    ことを特徴とする嚥下推定装置。
     
  7. 請求項6に記載の嚥下推定装置において、
     前記音検出部から出力される前記音情報を記憶する記憶部と、
     前記嚥下推定部により嚥下が生じたと推定されたタイミングを指定可能な入力部と、を備え、
     前記出力部は、前記入力部を介して指定された前記タイミングを含む時間幅の前記音情報を前記記憶部から取得し、取得した音情報を再生した音を外部に出力する、
    ことを特徴とする嚥下推定装置。
     
  8. 請求項7に記載の嚥下推定装置において、
     前記出力部は、嚥下が生じたと推定された前記タイミングを時間軸上に重ねた画面を表示し、
     前記入力部は、前記画面に表示された前記タイミングを指定可能に構成されている、
    ことを特徴とする嚥下推定装置。
     
  9. 請求項8に記載の嚥下推定装置において、
     前記出力部は、前記音情報に基づく音波形を、前記タイミングとともに、前記時間軸上に重ねて表示する、
    ことを特徴とする嚥下推定装置。
     
  10. 請求項7ないし9の何れか一項に記載の嚥下推定装置において、
     前記嚥下推定部は、嚥下が生じたと推定したタイミングの前後の呼吸相を前記呼吸情報から検出し、検出した呼吸相に基づいて当該タイミングに誤嚥の可能性があるか否か評価し、
     前記出力部は、前記嚥下推定部による前記評価の結果に基づく情報を出力する、
    ことを特徴とする嚥下推定装置。
     
  11. 請求項7ないし10の何れか一項に記載の嚥下推定装置において、
     前記嚥下推定部は、嚥下が生じたと推定したタイミングの前後の吸息音と呼息音を前記音情報から検出し、検出した吸息音と呼息音に基づいて当該タイミングに誤嚥の可能性があるか否かを評価し、
     前記出力部は、前記嚥下推定部による前記評価の結果に基づく情報を出力する、
    ことを特徴とする嚥下推定装置。
     
  12. 嚥下推定装置において、
     喉頭部で生体音を検出する生体音検出手段と、
     呼吸の気流変化を検出する呼吸検出手段と、
     前記生体音をサンプリングした生体音データを信号強度データに変換する信号強度変換手段と、
     前記信号強度データよりノイズレベル以上の信号区間を識別する信号区間識別手段と、
     前記呼吸変化をサンプリングした気流圧データより無呼吸区間を識別する呼吸識別手段と、
     前記信号区間と重複する所定期間以上の前記無呼吸区間においてサンプリングタイミングに対応する信号強度を求め、その信号強度が所定レベル以上となる期間に対応する幅の信号パルスを生成する信号パルス化手段と、
     所定期間以上の前記無呼吸区間内の前記信号パルスのパルス数が所定数以下でありパルス幅が所定期間以下であるという判定条件を満足する前記無呼吸区間を嚥下反射推定区間と推定する嚥下反射推定手段と、
     前記嚥下反射推定区間を表示する表示手段と、を備える、
    ことを特徴とする嚥下推定装置。
     
  13. 情報端末装置において、
     喉頭部の音を検出する音検出部と、
     呼吸を検出する呼吸検出部と、
     前記音検出部から出力される前記音情報および前記呼吸検出部から出力される呼吸情報を記憶する記憶部と、を備える、
    ことを特徴とする情報端末装置。
     
  14.  コンピュータに、
     所定期間以上の無呼吸区間に対応する生体音発生区間について、嚥下推定のためのパラメータの値を取得する機能と、
     取得した前記パラメータの値が嚥下の判定条件を満たすか否かに基づいて、当該生体音発生区間に嚥下が生じたか否かを推定する機能と、を付与する、プログラム。
PCT/JP2014/062239 2013-08-26 2014-05-07 嚥下推定装置、情報端末装置およびプログラム WO2015029501A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP17191606.7A EP3284407B1 (en) 2013-08-26 2014-05-07 Swallowing estimation device, information terminal device, and program
SG11201601484QA SG11201601484QA (en) 2013-08-26 2014-05-07 Swallowing estimation device, information terminal device, and program
CN201480047085.7A CN105658142B (zh) 2013-08-26 2014-05-07 咽下推测装置
JP2015534021A JP6049889B2 (ja) 2013-08-26 2014-05-07 嚥下推定装置
EP14839941.3A EP3040022B1 (en) 2013-08-26 2014-05-07 Swallowing estimation device, information terminal device, and program
KR1020167007553A KR101702275B1 (ko) 2013-08-26 2014-05-07 연하 추정 장치, 정보 단말 장치 및 프로그램
TW103124689A TWI533843B (zh) 2013-08-26 2014-07-18 吞嚥推定裝置
US15/011,672 US9649062B2 (en) 2013-08-26 2016-02-01 Swallowing estimation device, information terminal device, and storage medium
HK16108600.7A HK1220345A1 (zh) 2013-08-26 2016-07-20 嚥下推測裝置、信息終端裝置以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-174949 2013-08-26
JP2013174949 2013-08-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/011,672 Continuation US9649062B2 (en) 2013-08-26 2016-02-01 Swallowing estimation device, information terminal device, and storage medium

Publications (1)

Publication Number Publication Date
WO2015029501A1 true WO2015029501A1 (ja) 2015-03-05

Family

ID=52586083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/062239 WO2015029501A1 (ja) 2013-08-26 2014-05-07 嚥下推定装置、情報端末装置およびプログラム

Country Status (9)

Country Link
US (1) US9649062B2 (ja)
EP (2) EP3040022B1 (ja)
JP (1) JP6049889B2 (ja)
KR (1) KR101702275B1 (ja)
CN (1) CN105658142B (ja)
HK (1) HK1220345A1 (ja)
SG (1) SG11201601484QA (ja)
TW (1) TWI533843B (ja)
WO (1) WO2015029501A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016165362A (ja) * 2015-03-09 2016-09-15 富士通株式会社 食事時間推定方法、食事時間推定装置及び食事時間推定プログラム
JP2017000324A (ja) * 2015-06-08 2017-01-05 国立研究開発法人産業技術総合研究所 嚥下時間の計測装置、計測方法
WO2017140812A1 (en) * 2016-02-18 2017-08-24 Koninklijke Philips N.V. Device, system and method for detection and monitoring of dysphagia of a subject
WO2018003127A1 (ja) * 2016-07-01 2018-01-04 学校法人兵庫医科大学 嚥下訓練装置
JP2018007723A (ja) * 2016-07-11 2018-01-18 国立大学法人静岡大学 嚥下情報提示装置
JP2018029634A (ja) * 2016-08-22 2018-03-01 長野県 処理装置、判定装置および適正範囲特定方法
WO2018070522A1 (ja) * 2016-10-14 2018-04-19 公立大学法人大阪府立大学 嚥下診断装置およびプログラム
WO2018180779A1 (ja) * 2017-03-29 2018-10-04 株式会社村田製作所 嚥下解析システム
WO2018180778A1 (ja) * 2017-03-29 2018-10-04 株式会社村田製作所 嚥下センサ
US10518087B2 (en) 2015-06-30 2019-12-31 Hyogo College Of Medicine Dysphagia test device, dysphagia test method, dysphagia treatment device, and stimulating current setting method
JPWO2020136870A1 (ja) * 2018-12-28 2021-10-14 マクセル株式会社 生体情報分析装置、生体情報分析方法、及び、生体情報分析システム
JP2023509368A (ja) * 2020-12-01 2023-03-08 南京▲嵐▼▲ゆい▼生物科技有限公司 多機能マイクロ流体制御・検出チップ

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108175411B (zh) * 2017-12-01 2021-04-02 代润萱 检测装置及检测方法、腰带及腰带使用方法
JP7403129B2 (ja) * 2018-05-23 2023-12-22 パナソニックIpマネジメント株式会社 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム
GB2591746A (en) * 2020-01-31 2021-08-11 Kuartismed Medikal Ltd Sti A method and device for monitoring of feeding maturation in infants.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111748A (ja) * 2001-10-04 2003-04-15 Nippon Riko Igaku Kenkyusho:Kk 嚥下音採取装置
JP2009213592A (ja) * 2008-03-10 2009-09-24 Hitachi Computer Peripherals Co Ltd 生体検査装置
JP2011004968A (ja) * 2009-06-25 2011-01-13 Hyogo College Of Medicine 嚥下活動モニタリング装置、嚥下活動モニタリングシステム、生体情報記録装置および嚥下活動モニタリングプログラム
JP2013017694A (ja) 2011-07-12 2013-01-31 Univ Of Tsukuba 嚥下機能データ測定装置及び嚥下機能データ測定システム及び嚥下機能データ測定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050283096A1 (en) * 2004-06-17 2005-12-22 Bloorview Macmillan Children's Centre, A Corp. Registered Under The Ontario Corporations Act Apparatus and method for detecting swallowing activity
US9138171B2 (en) * 2004-06-17 2015-09-22 Holland Bloorview Kids Rehabilitation Hospital System and method for detecting swallowing activity
JP2007014727A (ja) * 2005-07-08 2007-01-25 Junichi Shimizu 飲み込み評価システム
EP1997428A1 (en) * 2006-03-22 2008-12-03 Konica Minolta Medical & Graphic, Inc. Diagnosis system and program to be used in the diagnosis system
JP5022782B2 (ja) * 2007-06-05 2012-09-12 株式会社日立製作所 生体検査装置
EP2359283A1 (en) * 2008-11-17 2011-08-24 Medicalgorithmics Ltd. Outpatient monitoring systems and methods
JP5766196B2 (ja) * 2009-10-22 2015-08-19 コーニンクレッカ フィリップス エヌ ヴェ 嚥下障害を治療するためのシステム及び方法
US20110160615A1 (en) * 2009-12-29 2011-06-30 Empire Technology Development Llc Swallowing Frequency Measurement
US9931073B2 (en) * 2010-05-24 2018-04-03 University Of Manitoba System and methods of acoustical screening for obstructive sleep apnea during wakefulness
CN103338700B (zh) * 2011-01-28 2016-08-10 雀巢产品技术援助有限公司 用于诊断吞咽障碍的设备和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111748A (ja) * 2001-10-04 2003-04-15 Nippon Riko Igaku Kenkyusho:Kk 嚥下音採取装置
JP2009213592A (ja) * 2008-03-10 2009-09-24 Hitachi Computer Peripherals Co Ltd 生体検査装置
JP2011004968A (ja) * 2009-06-25 2011-01-13 Hyogo College Of Medicine 嚥下活動モニタリング装置、嚥下活動モニタリングシステム、生体情報記録装置および嚥下活動モニタリングプログラム
JP2013017694A (ja) 2011-07-12 2013-01-31 Univ Of Tsukuba 嚥下機能データ測定装置及び嚥下機能データ測定システム及び嚥下機能データ測定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"The Japanese Occupational Therapy Research", vol. 31, February 2012, JAPAN ASSOCIATION OF OCCUPATIONAL THERAPISTS, pages: 52 - 59
"The Journal of Japanese Occupational Therapy Association", vol. 31, February 2012, THE JAPANESE ASSOCIATION OF OCCUPATIONAL THERAPISTS, pages: 52 - 59
HAJIME TSUJIMURA ET AL.: "Non-restrictive monitoring of swallowing frequency of elderly individuals", THE JOURNAL OF JAPANESE OCCUPATIONAL THERAPY ASSOCIATION, vol. 31, no. 1, 15 February 2012 (2012-02-15), pages 52 - 59, XP008183805 *
YOSHITAKA OKU: "Enge Igaku Basic Science Enge to Kokyu no Shinkei Chosetsu Kiko", DEGLUTITION'' THE OFFICIAL JOURNAL OF THE SOCIETY OF SWALLOWING AND DYSPHAGIA OF JAPAN, vol. 2, no. 1, 15 March 2013 (2013-03-15), pages 47 - 52, XP008182844 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016165362A (ja) * 2015-03-09 2016-09-15 富士通株式会社 食事時間推定方法、食事時間推定装置及び食事時間推定プログラム
JP2017000324A (ja) * 2015-06-08 2017-01-05 国立研究開発法人産業技術総合研究所 嚥下時間の計測装置、計測方法
US10518087B2 (en) 2015-06-30 2019-12-31 Hyogo College Of Medicine Dysphagia test device, dysphagia test method, dysphagia treatment device, and stimulating current setting method
CN108697332A (zh) * 2016-02-18 2018-10-23 皇家飞利浦有限公司 用于检测和监测对象的吞咽困难的设备、系统和方法
WO2017140812A1 (en) * 2016-02-18 2017-08-24 Koninklijke Philips N.V. Device, system and method for detection and monitoring of dysphagia of a subject
WO2018003127A1 (ja) * 2016-07-01 2018-01-04 学校法人兵庫医科大学 嚥下訓練装置
JPWO2018003127A1 (ja) * 2016-07-01 2019-04-18 学校法人兵庫医科大学 嚥下訓練装置
JP2018007723A (ja) * 2016-07-11 2018-01-18 国立大学法人静岡大学 嚥下情報提示装置
JP2018029634A (ja) * 2016-08-22 2018-03-01 長野県 処理装置、判定装置および適正範囲特定方法
JPWO2018070522A1 (ja) * 2016-10-14 2019-08-22 公立大学法人大阪府立大学 嚥下診断装置およびプログラム
WO2018070522A1 (ja) * 2016-10-14 2018-04-19 公立大学法人大阪府立大学 嚥下診断装置およびプログラム
US11246526B2 (en) 2016-10-14 2022-02-15 University Public Corporation Osaka Swallowing diagnosis apparatus and storage medium
WO2018180778A1 (ja) * 2017-03-29 2018-10-04 株式会社村田製作所 嚥下センサ
WO2018180779A1 (ja) * 2017-03-29 2018-10-04 株式会社村田製作所 嚥下解析システム
JPWO2018180778A1 (ja) * 2017-03-29 2019-12-19 株式会社村田製作所 嚥下センサ
JP2022033367A (ja) * 2017-03-29 2022-02-28 株式会社村田製作所 嚥下センサ、嚥下解析システムおよび嚥下解析方法
JP7218823B2 (ja) 2017-03-29 2023-02-07 株式会社村田製作所 嚥下センサ、嚥下解析システムおよび嚥下解析システムの作動方法
US11712194B2 (en) 2017-03-29 2023-08-01 Murata Manufacturing Co., Ltd. Swallowing sensor
JPWO2020136870A1 (ja) * 2018-12-28 2021-10-14 マクセル株式会社 生体情報分析装置、生体情報分析方法、及び、生体情報分析システム
JP7165209B2 (ja) 2018-12-28 2022-11-02 マクセル株式会社 生体情報分析装置、生体情報分析方法、及び、生体情報分析システム
JP2023509368A (ja) * 2020-12-01 2023-03-08 南京▲嵐▼▲ゆい▼生物科技有限公司 多機能マイクロ流体制御・検出チップ

Also Published As

Publication number Publication date
EP3284407B1 (en) 2018-12-05
EP3040022B1 (en) 2019-11-20
US9649062B2 (en) 2017-05-16
KR20160036101A (ko) 2016-04-01
EP3284407A1 (en) 2018-02-21
US20160143575A1 (en) 2016-05-26
HK1220345A1 (zh) 2017-05-05
TW201509378A (zh) 2015-03-16
KR101702275B1 (ko) 2017-02-03
SG11201601484QA (en) 2016-04-28
JPWO2015029501A1 (ja) 2017-03-02
EP3040022A4 (en) 2017-03-29
EP3040022A1 (en) 2016-07-06
TWI533843B (zh) 2016-05-21
JP6049889B2 (ja) 2016-12-21
CN105658142A (zh) 2016-06-08
CN105658142B (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
JP6049889B2 (ja) 嚥下推定装置
JP5525476B2 (ja) 呼吸事象検出システムおよび方法
US20140276229A1 (en) Information analyzing apparatus, digital stethoscope, information analyzing method, measurement system, control program, and recording medium
US7761302B2 (en) Method for generating output data
JP2013123494A (ja) 情報解析装置、情報解析方法、制御プログラム、および、記録媒体
WO2013077118A1 (ja) 睡眠評価装置
JP2005065904A (ja) 睡眠時無呼吸症候群診断装置、並びに、信号解析装置及びその方法
WO2015063834A1 (ja) 信号処理装置及び方法、並びにコンピュータプログラム及び記録媒体
EP1898786B1 (en) A method for generating output data
Abeyratne et al. Pitch-jitter analysis of snoring sounds for the diagnosis of sleep apnea
KR20230023624A (ko) 디지털 청진기에 의해 생성된 오디오 데이터의 분석을 통한 건강에 대한 통찰의 도출
Awan et al. Use of a vortex whistle for measures of respiratory capacity
JP2009233103A (ja) 咳嗽検出装置及び咳嗽検出装置のプログラム
JP6298273B2 (ja) 信号処理装置及び方法、並びにコンピュータプログラム及び記録媒体
JP2004033254A (ja) 呼吸音可視化モニタ装置、呼吸音可視化方法及び呼吸音可視化プログラム
JP6742620B2 (ja) 嚥下診断装置およびプログラム
Lamb et al. Age and sex comparison of aerodynamic phonation measurements using noninvasive assessment
Oliynik Time-domain fragment-similarity processing of the auscultation records for detection of their periodic components
JP6434107B2 (ja) 信号処理装置及び方法、並びにコンピュータプログラム及び記録媒体
Makarenkova et al. On automatic detecting of the inspiration/expiration phases of respiratory cycle by time-frequency spectral properties of breath sounds

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14839941

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015534021

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20167007553

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014839941

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014839941

Country of ref document: EP