JP7408096B2 - Evaluation device and evaluation program - Google Patents
Evaluation device and evaluation program Download PDFInfo
- Publication number
- JP7408096B2 JP7408096B2 JP2020137947A JP2020137947A JP7408096B2 JP 7408096 B2 JP7408096 B2 JP 7408096B2 JP 2020137947 A JP2020137947 A JP 2020137947A JP 2020137947 A JP2020137947 A JP 2020137947A JP 7408096 B2 JP7408096 B2 JP 7408096B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- evaluation
- audio signal
- spectrum
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 103
- 238000001228 spectrum Methods 0.000 claims description 86
- 230000005236 sound signal Effects 0.000 claims description 69
- 239000010794 food waste Substances 0.000 claims description 55
- 230000003595 spectral effect Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 16
- 210000003065 pyriform sinus Anatomy 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 13
- 230000009747 swallowing Effects 0.000 description 13
- 230000007423 decrease Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011867 re-evaluation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 208000019505 Deglutition disease Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 208000000884 Airway Obstruction Diseases 0.000 description 2
- 206010008589 Choking Diseases 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 238000002555 auscultation Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000037406 food intake Effects 0.000 description 2
- 235000012631 food intake Nutrition 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010013952 Dysphonia Diseases 0.000 description 1
- 208000010473 Hoarseness Diseases 0.000 description 1
- 206010035669 Pneumonia aspiration Diseases 0.000 description 1
- 201000009807 aspiration pneumonia Diseases 0.000 description 1
- 230000005587 bubbling Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
特許法第30条第2項適用 発行日 令和1年8月21日 刊行物(刊行物名、巻数、号数、該当ページ、発行所/発行元等) 日本音響学会2019年秋季研究発表会論文集、p.1071~1072 発行元:一般社団法人 日本音響学会 〔刊行物等〕 開催日 令和1年9月4日~6日(発表日:令和1年9月5日) 集会名、開催場所 日本音響学会2019年秋季研究発表会 立命館大学びわこ・くさつキャンパス 〔刊行物等〕 発行日 令和2年6月10日 刊行物(刊行物名、巻数、号数、該当ページ、発行所/発行元等) Innovation in Medicine and Healthcare,Proceedings of 8th KES-InMed 2020 p.171-177 発行元:KES International 〔刊行物等〕 開催日 令和2年6月17日~19日(発表日:令和2年6月17日) 集会名、開催場所 KES-INMED-20 オンラインでの開催Article 30, Paragraph 2 of the Patent Act applies Publication date August 21, 2020 Publication (publication name, volume number, issue number, relevant pages, publisher/publisher, etc.) Acoustical Society of Japan 2019 Autumn Research Presentation Collection of papers, p. 1071-1072 Publisher: Acoustical Society of Japan (General Incorporated Association) [Publications, etc.] Event date: September 4-6, 2020 (Announcement date: September 5, 2021) Meeting name, venue: Japan Onkyo Academic Conference 2019 Autumn Research Presentation Ritsumeikan University Gakuwako/Kusatsu Campus [Publications, etc.] Publication date June 10, 2020 Publications (Publication name, volume number, issue number, relevant pages, publisher/publisher, etc.) ) Innovation in Medicine and Healthcare, Proceedings of 8th KES-InMed 2020 p. 171-177 Publisher: KES International [Publications, etc.] Event date: June 17 to 19, 2020 (Announcement date: June 17, 2020) Meeting name, venue KES-INMED-20 Online Held at
本発明は、被験者の咽喉における食物残留の有無を評価する評価装置、及び評価プログラムに関する。 The present invention relates to an evaluation device and an evaluation program for evaluating the presence or absence of food residue in a test subject's throat.
一般に、嚥下障害は誤嚥につながり、誤嚥は誤嚥性肺炎の原因となる。嚥下機能の低下の早期発見は嚥下障害の進行を防ぐために重要である。従来から、嚥下機能の低下を評価する方法は多数提案されている。例えば、嚥下造影検査(VF)あるいは嚥下内視鏡検査(VE)と呼ばれる方法は、放射線あるいはマイクロスコープを用いた評価方法である。頸部聴診法と呼ばれる方法は、嚥下音あるいは呼吸音等を聴診することで嚥下障害を評価する方法である。また、下記特許文献1に記載の装置のように、嚥下が行われたことをユーザに確認させる装置も知られている。
Dysphagia generally leads to aspiration, and aspiration causes aspiration pneumonia. Early detection of decline in swallowing function is important to prevent progression of dysphagia. Conventionally, many methods for evaluating the decline in swallowing function have been proposed. For example, a method called swallowing contrast examination (VF) or swallowing endoscopy (VE) is an evaluation method using radiation or a microscope. A method called cervical auscultation is a method for evaluating dysphagia by auscultating swallowing sounds or breathing sounds. Furthermore, there is also known a device that allows the user to confirm that swallowing has been performed, such as the device described in
上述したような従来のVF法あるいはVE法では侵襲性が高いため、被験者に負担をかけない簡便な評価方法が求められる。頸部聴診法は、医師が患者の嚥下前後の呼吸音あるいは声を聴き、それらに含まれる音響的特徴(詰まり音、泡立ち音、湿性嗄声など)を聞き分けて嚥下障害の有無を診断する方法であり、医師の主観に基づく評価がなされる方法であるため、熟練した医師でないと正確な評価が困難である。また、特許文献1に記載の装置によっても、嚥下機能の低下を評価することは実現されていない。
Since the conventional VF method or VE method described above is highly invasive, there is a need for a simple evaluation method that does not place a burden on the subject. Cervical auscultation is a method in which a doctor listens to the patient's breathing sounds or voices before and after swallowing, and distinguishes the acoustic features (choking sounds, bubbling sounds, wet hoarseness, etc.) contained in these sounds to diagnose the presence or absence of dysphagia. Since this is a method of evaluation based on the subjectivity of the doctor, accurate evaluation is difficult for those who are not experienced doctors. Further, even with the device described in
そこで、本発明は、かかる課題に鑑みてなされたものであり、簡便に、かつ、安定して嚥下機能の低下の兆候である食物残留の有無を評価することが可能な評価装置、及び評価プログラムを提供することを課題とする。 Therefore, the present invention has been made in view of such problems, and provides an evaluation device and an evaluation program that can easily and stably evaluate the presence or absence of food residue, which is a sign of a decline in swallowing function. The challenge is to provide the following.
本発明の一側面は、被験者の咽喉における食物残留の有無を評価する評価装置であって、少なくとも1つのプロセッサを備え、少なくとも1つのプロセッサは、被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得し、被験者の頭部を横向きにさせた状態で発声させた際にマイクを用いて第2の音声信号を取得し、第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得し、第1のスペクトル信号と第2のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を評価及び出力する。 One aspect of the present invention is an evaluation device that evaluates the presence or absence of food residue in the throat of a subject, and includes at least one processor, and the at least one processor is configured to utter a sound while the subject's head is facing forward. When the subject's head is turned sideways, a first audio signal is obtained using a microphone, and when the subject's head is turned sideways, a second audio signal is obtained using a microphone. frequency-analyzing each of the signal and the second audio signal to obtain a first spectral signal and a second spectral signal, and comparing distances and threshold values of the first spectral signal and the second spectral signal. Evaluates and outputs the presence or absence of food residue.
あるいは、本発明の他の側面は、被験者の咽喉における食物残留の有無を評価するための評価プログラムであって、コンピュータを、被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得する取得部、被験者の頭部を横向きにさせた状態で発声させた際にマイクを用いて第2の音声信号を取得する取得部、第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得する解析部、及び第1のスペクトル信号と第2のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を評価及び出力する評価部、として機能させる。 Alternatively, another aspect of the present invention is an evaluation program for evaluating the presence or absence of food residue in the throat of a test subject, the program comprising: an acquisition unit that acquires a first audio signal using a microphone; an acquisition unit that acquires a second audio signal using a microphone when the subject's head is uttered with the head turned sideways; and an analysis unit that frequency-analyzes each of the second audio signals to obtain a first spectrum signal and a second spectrum signal, and compares the distance between the first spectrum signal and the second spectrum signal with a threshold value. By doing so, it functions as an evaluation unit that evaluates and outputs the presence or absence of food residue.
上記いずれかの側面によれば、被験者から、頭部を正面向きにさせた状態での音声を録音した第1の音声信号と、頭部を横向きにさせた状態での音声を録音した第2の音声信号とが取得され、第1の音声信号から周波数分析することで取得される第1のスペクトル信号と、第2の音声信号から周波数分析することで取得される第2のスペクトル信号との距離と閾値との比較結果により、被験者の咽喉における食物残留の有無が評価・出力される。これにより、非侵襲で安定して嚥下機能の低下の1つの兆候である食物残留の有無を評価することができる。 According to any of the above aspects, the first audio signal is a recording of audio from a subject with the head facing forward, and the second audio signal is recording audio from the subject with the head facing sideways. A first spectral signal obtained by frequency analysis from the first audio signal and a second spectral signal obtained by frequency analysis from the second audio signal. Based on the comparison result between the distance and the threshold value, the presence or absence of food residue in the subject's throat is evaluated and output. This makes it possible to non-invasively and stably evaluate the presence or absence of food residue, which is one sign of a decline in swallowing function.
上記一側面においては、少なくとも1つのプロセッサは、所定の周波数帯における距離を基に、食物残留の有無を評価する、ことが好適である。また、所定の周波数帯は、4.5kHzを含む、ことも好適である。本発明者らは、食物残留が無い場合には、被験者の正面向きにおける音声信号のスペクトルにおける4.5kHz付近の周波数帯に反共振の特徴が現れることを見出した。このような特徴を利用し、所定の周波数帯に4.5kHzの周波数を含めることにより、食物残留の有無をより安定して評価することができる。 In the above aspect, it is preferable that at least one processor evaluates the presence or absence of food residue based on distance in a predetermined frequency band. It is also preferable that the predetermined frequency band includes 4.5 kHz. The present inventors have found that when there is no food residue, anti-resonance characteristics appear in the frequency band around 4.5 kHz in the spectrum of the audio signal when facing the front of the subject. By utilizing such characteristics and including the frequency of 4.5 kHz in the predetermined frequency band, the presence or absence of food residue can be evaluated more stably.
また、少なくとも1つのプロセッサは、被験者の頭部を横向きにさせた後に正面向きに戻した状態で発声した際にマイクを用いて第3の音声信号を取得し、第3の音声信号を周波数解析して、第3のスペクトル信号を取得し、第1のスペクトル信号と第3のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を再評価及び出力する、ことが好適である。本発明者らは、被験者に頭部を横向きにさせた後に正面向きに戻した状態で取得した音声信号のスペクトルは、食物残留が存在しない場合に被験者に正面を向かせた状態に取得した音声信号のスペクトルに特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第3のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。 The at least one processor also acquires a third audio signal using a microphone when the subject's head is turned sideways and then turned back to the front, and the third audio signal is subjected to frequency analysis. Preferably, the presence or absence of food residue is reevaluated and output by acquiring a third spectral signal and comparing the distance between the first spectral signal and the third spectral signal with a threshold value. . The present inventors found that the spectrum of the audio signal acquired with the subject's head turned to the side and then back to the front is different from the spectrum of the audio signal acquired with the subject facing forward in the absence of food residue. We found that the signal spectra have similar characteristics. By utilizing such a phenomenon and re-evaluating using the distance between the first spectrum signal and the third spectrum signal, the presence or absence of food residue can be evaluated more stably.
また、少なくとも1つのプロセッサは、食物摂取前の被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第4の音声信号を取得し、食物摂取前の被験者の頭部を横向きにさせた状態で発声させた際にマイクを用いて第5の音声信号を取得し、第4の音声信号及び第5の音声信号のそれぞれを周波数解析して、第4のスペクトル信号及び第5のスペクトル信号を取得し、第1のスペクトル信号と第2のスペクトル信号の距離と、第4のスペクトル信号と第5のスペクトル信号の距離から決まる閾値とを比較することにより、食物残留の有無を評価する、ことも好適である。この場合、食物残留が無い場合の2つの状態におけるスペクトル信号の距離により閾値を効率的かつ適切に設定することができ、食物残留の有無を一層安定して評価することができる。 Further, the at least one processor acquires a fourth audio signal using a microphone when the subject's head before ingesting food is uttered with the subject's head facing forward, and A fifth audio signal is obtained using a microphone when uttering a sound with the device facing sideways, and frequency analysis is performed on each of the fourth audio signal and the fifth audio signal to obtain a fourth spectral signal and By obtaining a fifth spectral signal and comparing the distance between the first spectral signal and the second spectral signal and a threshold value determined from the distance between the fourth spectral signal and the fifth spectral signal, It is also suitable to evaluate the presence or absence. In this case, the threshold value can be efficiently and appropriately set based on the distance between the spectral signals in the two states when there is no food residue, and the presence or absence of food residue can be evaluated more stably.
さらに、少なくとも1つのプロセッサは、被験者の頭部を複数回横向きに振った後の正面向き状態で発声した際にマイクを用いて第6の音声信号を取得し、第6の音声信号を周波数解析して、第6のスペクトル信号を取得し、第1のスペクトル信号と第6のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を再評価及び出力する、ことも好適である。本発明者らは、被験者に頭部を複数回横向きに振った後の正面向きの状態で取得した音声信号のスペクトルは、食物残留が存在しない場合に被験者に正面を向かせた状態に取得した音声信号のスペクトルに特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第6のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。 Furthermore, the at least one processor acquires a sixth audio signal using the microphone when the subject utters the subject's head in a frontal state after shaking the head sideways multiple times, and performs frequency analysis on the sixth audio signal. It is also preferable that the presence or absence of food residue is re-evaluated and output by acquiring a sixth spectral signal and comparing the distance between the first spectral signal and the sixth spectral signal with a threshold value. . We found that the spectrum of the audio signal acquired with the subject facing forward after multiple sideways head shakes was the same as that obtained with the subject facing forward in the absence of food residue. We found that the characteristics are similar to the spectrum of the audio signal. By utilizing such a phenomenon and re-evaluating using the distance between the first spectrum signal and the sixth spectrum signal, the presence or absence of food residue can be evaluated more stably.
本発明の一側面によれば、簡便に、かつ、安定して嚥下機能の低下の兆候である食物残留の有無を評価することができる。 According to one aspect of the present invention, it is possible to easily and stably evaluate the presence or absence of food residue, which is a sign of a decline in swallowing function.
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description, the same elements or elements having the same function will be denoted by the same reference numerals, and redundant description will be omitted.
図1は、実施形態の評価装置1の概略構成を示すブロック図である。図1に示されるように、評価装置1は、ユーザ(被験者)の咽喉内の梨状窩における食物の残留の有無を評価するための装置である。なお、評価装置1の評価対象の食物摂取には水分摂取も含む。評価装置1は、ユーザの口に近づけて装着された音響マイクである接話型マイクMからアナログ信号である音声信号を、ケーブルを介して受信可能に構成され、接話型マイクMから受信した音声信号を用いて評価処理を実行する機能を有する。ただし、評価装置1は、ブルートゥース(登録商標)、無線LAN等の無線信号を用いて、接話型マイクMから音声信号を受信可能に構成されていてもよい。接話型マイクMは、ユーザの口に近づけて使用され、発声に応じた口付近の空気の振動を検出することにより音声信号を生成する検出機器である。ただし、接話型マイクMは、発声を大気を介した振動として検出できる音響マイクであれば他の種類のマイクに置換されてもよく、ピンマイク、ボーカルマイク等の集音マイクに置換されてもよい。
FIG. 1 is a block diagram showing a schematic configuration of an
ここで、評価装置1は、機能的な構成要素として、指示信号出力部11、音声取得部(取得部)12、スペクトル取得部(解析部)13、距離算出部14、評価部15、及び評価結果出力部16を含んで構成されている。
Here, the
図2は、評価装置1のハードウェア構成を示すブロック図である。図2に示すように、評価装置1は、スマートフォン、タブレット端末、コンピュータ端末等に代表される演算装置50によって実現される。演算装置50は、物理的には、プロセッサであるCPU(Central Processing Unit)101、記録媒体であるRAM(Random Access Memory)102又はROM(Read Only Memory)103、通信モジュール104、及び入出力デバイス等を含んだコンピュータ等であり、各々は内部で電気的に接続されている。入出力デバイス105は、キーボード、マウス、ディスプレイ装置、タッチパネルディスプレイ装置、スピーカ等である。上述した評価装置1の各機能部は、CPU101及びRAM102等のハードウェア上に実施形態の評価プログラムを読み込ませることにより、CPU101の制御のもとで、通信モジュール104、及び入出力デバイス105等を動作させるとともに、RAM102におけるデータの読み出し及び書き込みを行うことで実現される。
FIG. 2 is a block diagram showing the hardware configuration of the
評価装置1は少なくとも1台の演算装置50で構成されるが、2台以上の演算装置50で構成されてもよい。複数台の演算装置50を用いる場合には、これらの演算装置50がインターネット、イントラネット等の通信ネットワークを介して接続されることで、論理的に一つの評価装置1が構築される。
The
以下、図1に戻って、評価装置1の各機能部の機能について詳細に説明する。
Hereinafter, returning to FIG. 1, the functions of each functional unit of the
指示信号出力部11は、ユーザを対象にした評価時にそのユーザに対して指示信号を出力する。すなわち、指示信号出力部11は、ユーザの音声信号の取得に際して、当該ユーザに対して頭部姿勢及び発声を指示する指示信号を出力する。指示信号の出力の形態としては、ディスプレイ装置等を利用した文字情報等の画面出力、あるいは、スピーカ等を利用した音声出力等が挙げられる。具体的には、指示信号出力部11は、食物摂取後に頭部を正面向きにした後に所定音(例えば、定常母音)を発声するように指示する第1の指示信号、食物摂取後に頭部を横向き(右向きあるいは左向き)にした後に所定音を発声するように指示する第2の指示信号、食物摂取後に頭部をいったん横向きにした後に正面向きにしてから所定音を発声するように指示する第3の指示信号、食物摂取前に頭部を正面向きにした後に所定音を発声するように指示する第4の指示信号、食物摂取前に頭部を横向きにした後に所定音を発声するように指示する第5の指示信号、あるいは、食物摂取後に頭部を複数回横向きに振った後に所定音を発声するように指示する第6の指示信号を、評価処理の開始後に、所定の順序及び所定のタイミングで出力する。ここで、指示信号出力部11の指示によって制御されるユーザの頭部姿勢は、ユーザの上体の正面向きを基準にした頭部の姿勢である。
The instruction
音声取得部12は、指示信号出力部11による第1~第6の指示信号のそれぞれの出力タイミングに応じて、接話型マイクMからユーザの音声信号を、第1~第6の音声信号として取得(受信)する。すなわち、音声取得部12は、第1の指示信号の出力によって食物摂取後のユーザの頭部を正面向きにさせた状態で発声させた際の第1の音声信号を取得する。また、音声取得部12は、第2の指示信号の出力によって食物摂取後のユーザの頭部を横向きにさせた状態で発声させた際の第2の音声信号を取得する。また、音声取得部12は、第3の指示信号の出力によって食物摂取後のユーザに頭部をいったん横向きにさせた後に正面向きに戻した状態で発声させた際の第3の音声信号を取得する。また、音声取得部12は、第4の指示信号の出力によって食物摂取前のユーザの頭部を正面向きにさせた状態で発声させた際の第4の音声信号を取得する。また、音声取得部12は、第5の指示信号の出力によって食物摂取前のユーザの頭部を横向きにさせた状態で発声させた際の第5の音声信号を取得する。また、音声取得部12は、第6の指示信号の出力によって食物摂取後にユーザの頭部を複数回横向きに振った後の状態で発声させた際の第6の音声信号を取得する。
The
スペクトル取得部13は、音声取得部12によって取得された第1~第6の音声信号のそれぞれを対象にして周波数解析を実行することにより、第1~第6の音声信号を時間領域から周波数領域に変換したパワースペクトルである第1~第6のスペクトル信号を取得する。例えば、スペクトル取得部13は、第1~第6の音声信号をフーリエ変換することによって第1~第6のスペクトル信号を取得する。
The
距離算出部14は、食物残留の評価の基となる距離を計算する。詳細には、距離算出部14は、第1のスペクトル信号と第2のスペクトル信号との間の所定の周波数帯における距離の平均値(あるいは、最大値、最小値)を距離として計算する。この所定の周波数帯は、例えば、4.0kHz~5.0kHzであり、少なくとも4.5kHzを含む周波数帯である。距離算出部14は、例えば、所定の周波数帯を一定間隔で区切った複数の周波数における距離の平均値(あるいは、最大値、最小値)を計算する。このとき、距離算出部14は、距離を計算する際には、周波数(例えば、4.5kHz付近の周波数)に重み付けをして計算してもよい。同様にして、距離算出部14は、第1のスペクトル信号と第3のスペクトル信号との間の距離、第4のスペクトル信号と第5のスペクトル信号との間の距離、あるいは、第1のスペクトル信号と第6のスペクトル信号との間の距離を計算する。
The
なお、距離算出部14は、上述したようにスペクトル間の距離(例えばスペクトル間の対数ユークリッド距離)を直接計算する方法以外に,一般的にパターン識別に用いられる方法(例えば、SVM(support vector machine))を利用してもよい。
In addition to the method of directly calculating the distance between spectra (for example, log-Euclidean distance between spectra) as described above, the
評価部15は、距離算出部14によって計算される距離を基に、ユーザの梨状窩における食物の残留の有無を評価する。ここで、評価部15による評価の原理を説明する。本発明者らにより、ユーザの梨状窩と呼ばれる食道入り口脇の部位に食物残留が起きた状態が声道モデルを用いて模擬して分析された結果、その状態のユーザのスペクトル信号において、4.5kHz付近の反共振にその状態に対応した音響特徴が現れることが見出された。具体的には、食物残留が起きた状態では4.5kHz付近の極小値が消失する傾向があることが分かった。一方で、本発明者により、ユーザが頭部を左右に捻った状態でも、梨状窩が押しつぶされた状態となり、声道モデルを用いて梨状窩での食物残留を模擬した場合と同様な音響特徴が現れることも見出された。評価部15では、これらの音響特徴を利用した評価が実行される。
The
詳細には、評価部15は、第1のスペクトル信号と第2のスペクトル信号との間の距離と所定の閾値とを比較し、その距離が所定の閾値以下である場合には、梨状窩での食物残留があるものと評価する。このとき、所定の閾値は、予め、食物摂取前において取得された第4のスペクトル信号と第5のスペクトル信号との距離を基に決定される。例えば、この距離の一定割合の値が閾値に設定される。また、所定の閾値は評価装置1のオペレータ等により予め設定された値であってもよい。一方で、評価部15は、第1のスペクトル信号と第2のスペクトル信号との間の距離が所定の閾値を超えている場合には、梨状窩での食物残留がないものと評価する。
Specifically, the
また、評価部15は、第1のスペクトル信号と第3のスペクトル信号との距離を別の閾値と比較し、その距離が閾値以下である場合には、梨状窩での食物残留がないものと再評価し、その距離が閾値を超えている場合には梨状窩での食物残留があるものと再評価する。この評価は、食物残留が存在する状態のユーザがいったん頭部を横向きにしてから正面向きに戻した状態においては食物残留が除去される傾向が強いことを利用している。そして、評価部15は、第1及び第2のスペクトル信号を利用した評価結果と、第1及び第3のスペクトル信号を利用した再評価結果とを加味した最終評価結果を生成する。例えば、評価部15は、評価結果と再評価結果とが一致した場合に、それらの一致した結果を最終評価結果として生成する。また、評価部15は、評価結果と再評価結果との一致有無に応じた確度情報を最終評価結果に含めてもよい。
Furthermore, the
評価結果出力部16は、評価部15によって生成された最終評価結果を、出力する。例えば、評価結果出力部16は、梨状窩での食物残留の有無の評価結果及びその確度情報を、ディスプレイ装置等を利用した文字情報等の画面出力、あるいは、スピーカ等を利用した音声出力等によって出力する。
The evaluation
次に、上述した評価装置1の評価処理における動作の流れを説明する。図3及び図4は、評価装置1による評価処理における動作手順を示すフローチャートである。
Next, the flow of operations in the evaluation process of the
ユーザの梨状窩における食物残留に関する評価処理は、ユーザ等による評価装置1に対する指示入力に応じてその都度開始される。まず、図3を参照して、指示信号出力部11により、ユーザの食物摂取前のタイミングにおいて、第4の指示信号と第5の指示信号とが所定の時間を空けて順番に出力される(ステップS101)。これによって、ユーザによって、頭部を正面向きにした状態での所定音の発声が為された後に、頭部を横向きにした状態での所定音の発声が為される。それに応じて、音声取得部12により、第4の音声信号及び第5の音声信号が順に取得される(ステップS102)。
The evaluation process regarding food residue in the user's piriform fossa is started each time the user or the like inputs an instruction to the
次に、指示信号出力部11により、ユーザの食物摂取後のタイミングにおいて、第1の指示信号、第2の指示信号、及び第3の指示信号が、所定の時間を空けて順番に出力される(ステップS103)。これによって、ユーザによって、頭部を正面向きにした状態での所定音の発声が為された後に、頭部を横向きにした状態での所定音の発声が為され、その後に、頭部を横向きにした後に正面向きに戻した状態での所定音の発声が為される。それに応じて、音声取得部により、第1の音声信号、第2の音声信号、及び第3の音声信号が順に取得される(ステップS104)。
Next, the instruction
さらに、スペクトル取得部13により、ここまでで取得された第1~第5の音声信号が周波数解析された結果、第1~第5のスペクトル信号が取得される(ステップS105)。その後、距離算出部14により、第4のスペクトル信号と第5のスペクトル信号との所定の周波数帯における距離が計算され、その距離の一定割合の値が第1の閾値TH1に設定される(ステップS106)。
Furthermore, the
次に、距離算出部14により、第1のスペクトル信号と第2のスペクトル信号との所定の周波数帯における距離が計算される(ステップS107)。そして、評価部15により、その距離が第1の閾値TH1を超えているかが判定される(ステップS108)。判定の結果、距離が第1の閾値TH1を超えている場合には(ステップS108;Yes)、評価部15により、“ユーザの梨状窩における食物残留なし”と評価される(ステップS109)。一方、距離が第1の閾値TH1以下である場合には(ステップS108;No)、評価部15により、“ユーザの梨状窩における食物残留あり”と評価される(ステップS110)。
Next, the
図4に移って、その後、距離算出部14により、第1のスペクトル信号と第3のスペクトル信号との所定の周波数帯における距離が計算される(ステップS111)。そして、評価部15により、その距離が予め設定されている第2の閾値TH2を超えているかが判定される(ステップS112)。判定の結果、距離が第2の閾値TH2を超えている場合には(ステップS112;Yes)、評価部15により、“ユーザの梨状窩における食物残留あり”と再評価される(ステップS113)。一方、距離が第2の閾値TH2以下である場合には(ステップS112;No)、評価部15により、“ユーザの梨状窩における食物残留なし”と再評価される(ステップS114)。
4, the
そして、評価部15により、評価の結果及び再評価の結果を基に最終評価結果が生成され、評価結果出力部16により最終評価結果が出力される(ステップS115)。最終評価結果としては、上記の評価の結果が、確度情報と共に出力される。確度情報としては、例えば、評価の結果と再評価の結果との一致/不一致に応じて、“高”、“低”等の評価の確度を示す情報が出力される。
Then, the
図5には、ユーザによって母音/e/を発声させた際にスペクトル取得部13によって取得された第1のスペクトル信号SF及び第2のスペクトル信号SR,SLの波形を示している。第2のスペクトル信号SRは、ユーザが右向きの状態のときに取得される波形を示し、第2のスペクトル信号SLは、ユーザが左向きの状態のときに取得される波形を示している。この例においては、第1のスペクトル信号SFにおいては、4.2kHz付近において顕著な極小点が現れている。これに対して、ユーザが横向きの状態で取得される第2のスペクトル信号SR,SLにおいては、4.2kHz付近における極小点が消失している。このような第1のスペクトル信号SFの波形と第2のスペクトル信号SR,SLとの間の波形の差異を評価することにより、評価部15は、ユーザの梨状窩における食物残留がないと評価することができる。
FIG. 5 shows the waveforms of the first spectrum signal S F and the second spectrum signals S R and S L acquired by the
次に、図6を参照して、コンピュータを上記評価装置1として機能させるための評価プログラムを説明する。
Next, with reference to FIG. 6, an evaluation program for causing a computer to function as the
評価プログラムP1は、メインモジュールP10、指示信号出力モジュールP11、音声取得モジュールP12、スペクトル取得モジュールP13、距離算出モジュールP14、評価モジュールP15、及び評価結果出力モジュールP16を備えている。 The evaluation program P1 includes a main module P10, an instruction signal output module P11, a voice acquisition module P12, a spectrum acquisition module P13, a distance calculation module P14, an evaluation module P15, and an evaluation result output module P16.
メインモジュールP10は、評価装置1の動作を統括的に制御する部分である。指示信号出力モジュールP11、音声取得モジュールP12、スペクトル取得モジュールP13、距離算出モジュールP14、評価モジュールP15、及び評価結果出力モジュールP16を実行することにより実現される機能は、それぞれ、指示信号出力部11、音声取得部12、スペクトル取得部13、距離算出部14、評価部15、及び評価結果出力部16の機能と同様である。
The main module P10 is a part that centrally controls the operation of the
評価プログラムP1は、例えば、CD-ROM、DVDもしくはROM等のコンピュータ読み取り可能な記録媒体または半導体メモリによって提供される。また、評価プログラムP1は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。 The evaluation program P1 is provided by, for example, a computer-readable recording medium such as a CD-ROM, DVD, or ROM, or a semiconductor memory. Furthermore, the evaluation program P1 may be provided via a network as a computer data signal superimposed on a carrier wave.
上述した評価装置1によれば、ユーザから、頭部を正面向きにさせた状態での音声を録音した第1の音声信号と、頭部を横向きにさせた状態での音声を録音した第2の音声信号とが取得され、第1の音声信号から周波数分析することで取得される第1のスペクトル信号と、第2の音声信号から周波数分析することで取得される第2のスペクトル信号との距離と閾値との比較結果により、ユーザの梨状窩における食物残留の有無が評価・出力される。これにより、非侵襲で安定して嚥下機能の低下の1つの兆候である食物残留の有無を評価することができる。特に、評価装置1を用いれば、同一のユーザを対象に短期間に発声させて得られる音声信号を用いて食物残留の有無を評価でき、障害者から予め大量の学習データを収集する必要はない。これにより、機器、環境、あるいはユーザの体調の変化の影響を受けることなく、簡易かつ安定した評価を実現できる。その結果、評価装置1により、嚥下機能低下の早期発見に資することができる。つまり、ユーザにおいてむせなどの顕著な症状が現れる前の段階でのスクリーニングを実現することができる。
According to the above-mentioned
本実施形態の評価装置1は、所定の周波数帯、特に、4.5kHzを含む周波数帯における距離を基に、食物残留の有無を評価している。このように、梨状窩における食物残留による音響特徴が表れやすい4.5kHz付近の周波数を含めることにより、食物残留の有無をより安定して評価することができる。
The
また、本実施形態の評価装置1は、第1のスペクトル信号と第3のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を再評価している。本発明者らは、ユーザに頭部を横向きにさせた後に正面向きに戻した状態で取得した音声信号のスペクトルは、食物残留が存在しない場合にユーザに正面を向かせた状態に取得した音声信号のスペクトルに音響特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第3のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。
Furthermore, the
また、本実施形態の評価装置1は、第4のスペクトル信号と第5のスペクトル信号の距離から第1の閾値TH1を設定している。この場合、食物残留が無い場合の2つの状態におけるスペクトル信号の距離により閾値を効率的かつ適切に設定することができ、食物残留の有無を一層安定して評価することができる。
Moreover, the
以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。 Although various embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and may be modified or applied to other things without changing the gist of each claim. It may be something.
例えば、評価装置1の評価部15は、再評価を実行する際に、第1のスペクトル信号と第6のスペクトル信号との所定の周波数帯における距離を用いて、距離を規定の閾値と比較することにより、食物残留の有無を再評価してもよい。本発明者らは、ユーザに頭部を複数回横向きに振った後の正面向きの状態で取得した音声信号のスペクトルは、食物残留が存在しない場合にユーザに正面を向かせた状態に取得した音声信号のスペクトルに特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第6のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。
For example, when performing re-evaluation, the
1…評価装置、12…音声取得部(取得部)、13…スペクトル取得部(解析部)、14…距離算出部、15…評価部、M…接話型マイク、P1…評価プログラム。
DESCRIPTION OF
Claims (7)
少なくとも1つのプロセッサを備え、
前記少なくとも1つのプロセッサは、
前記被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得し、
前記被験者の頭部を横向きにさせた状態で発声させた際に前記マイクを用いて第2の音声信号を取得し、
前記第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第2のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を評価及び出力する、
評価装置。 An evaluation device for evaluating the presence or absence of food residue in the throat of a subject,
comprising at least one processor;
The at least one processor includes:
Obtaining a first audio signal using a microphone when uttering with the subject's head facing forward;
Obtaining a second audio signal using the microphone when making the subject speak with the subject's head turned sideways,
frequency-analyzing each of the first audio signal and the second audio signal to obtain a first spectral signal and a second spectral signal;
Evaluating and outputting the presence or absence of the food residue by comparing the distance of the first spectral signal and the second spectral signal with a threshold value;
Evaluation device.
所定の周波数帯における前記距離を基に、前記食物残留の有無を評価する、
請求項1に記載の評価装置。 The at least one processor includes:
Evaluating the presence or absence of the food residue based on the distance in a predetermined frequency band;
The evaluation device according to claim 1.
請求項2に記載の評価装置。 the predetermined frequency band includes 4.5kHz;
The evaluation device according to claim 2.
前記被験者の頭部を横向きにさせた後に正面向きに戻した状態で発声した際に前記マイクを用いて第3の音声信号を取得し、
前記第3の音声信号を周波数解析して、第3のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第3のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を再評価及び出力する、
請求項1~3のいずれか1項に記載の評価装置。 The at least one processor includes:
Obtaining a third audio signal using the microphone when the subject's head is turned sideways and then turned back to the front and utters,
frequency-analyzing the third audio signal to obtain a third spectrum signal;
Re-evaluating and outputting the presence or absence of the food residue by comparing the distance of the first spectral signal and the third spectral signal with a threshold value;
The evaluation device according to any one of claims 1 to 3.
食物摂取前の前記被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第4の音声信号を取得し、
食物摂取前の前記被験者の頭部を横向きにさせた状態で発声させた際に前記マイクを用いて第5の音声信号を取得し、
前記第4の音声信号及び第5の音声信号のそれぞれを周波数解析して、第4のスペクトル信号及び第5のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第2のスペクトル信号の距離と、前記第4のスペクトル信号と前記第5のスペクトル信号の距離から決まる閾値とを比較することにより、前記食物残留の有無を評価する、
請求項1~4のいずれか1項に記載の評価装置。 The at least one processor includes:
Obtaining a fourth audio signal using a microphone when the subject's head is facing forward before ingesting food, and when the subject is made to speak,
Obtaining a fifth audio signal using the microphone when uttering a sound with the subject's head turned sideways before ingesting food;
frequency-analyzing each of the fourth audio signal and the fifth audio signal to obtain a fourth spectral signal and a fifth spectral signal;
The presence or absence of the food residue is evaluated by comparing the distance between the first spectrum signal and the second spectrum signal with a threshold determined from the distance between the fourth spectrum signal and the fifth spectrum signal. ,
The evaluation device according to any one of claims 1 to 4.
前記被験者の頭部を複数回横向きに振った後の正面向きの状態で発声した際に前記マイクを用いて第6の音声信号を取得し、
前記第6の音声信号を周波数解析して、第6のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第6のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を再評価及び出力する、
請求項1~5のいずれか1項に記載の評価装置。 The at least one processor includes:
Obtaining a sixth audio signal using the microphone when the subject's head is uttered while facing forward after shaking the head sideways multiple times;
frequency-analyzing the sixth audio signal to obtain a sixth spectrum signal;
Re-evaluating and outputting the presence or absence of the food residue by comparing the distance of the first spectral signal and the sixth spectral signal with a threshold value;
The evaluation device according to any one of claims 1 to 5.
コンピュータを、
前記被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得する取得部、
前記被験者の頭部を横向きにさせた状態で発声させた際に前記マイクを用いて第2の音声信号を取得する取得部、
前記第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得する解析部、及び
前記第1のスペクトル信号と前記第2のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を評価及び出力する評価部、
として機能させる評価プログラム。 An evaluation program for evaluating the presence or absence of food residue in the throat of a subject,
computer,
an acquisition unit that acquires a first audio signal using a microphone when the subject's head is uttered with the head facing forward;
an acquisition unit that acquires a second audio signal using the microphone when the subject's head is turned sideways and the subject is uttered;
an analysis unit that frequency-analyzes each of the first audio signal and the second audio signal to obtain a first spectrum signal and a second spectrum signal; and the first spectrum signal and the second spectrum. an evaluation unit that evaluates and outputs the presence or absence of food residue by comparing the distance of the signal with a threshold;
An evaluation program that functions as an evaluation program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020137947A JP7408096B2 (en) | 2020-08-18 | 2020-08-18 | Evaluation device and evaluation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020137947A JP7408096B2 (en) | 2020-08-18 | 2020-08-18 | Evaluation device and evaluation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022034243A JP2022034243A (en) | 2022-03-03 |
JP7408096B2 true JP7408096B2 (en) | 2024-01-05 |
Family
ID=80441996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020137947A Active JP7408096B2 (en) | 2020-08-18 | 2020-08-18 | Evaluation device and evaluation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7408096B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008061790A (en) | 2006-09-07 | 2008-03-21 | Olympus Corp | System for detecting utterance/eating and drinking condition |
US20100209893A1 (en) | 2009-02-15 | 2010-08-19 | Vocatek, Incorporated | Method and Apparatus for Prescribing and Preparing a Reproducible and Customized Dysphagia Diet |
JP2013017694A (en) | 2011-07-12 | 2013-01-31 | Univ Of Tsukuba | Instrument, system, and method for measuring swallowing function data |
WO2019225241A1 (en) | 2018-05-23 | 2019-11-28 | パナソニックIpマネジメント株式会社 | Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system |
WO2019225242A1 (en) | 2018-05-23 | 2019-11-28 | パナソニックIpマネジメント株式会社 | Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system |
-
2020
- 2020-08-18 JP JP2020137947A patent/JP7408096B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008061790A (en) | 2006-09-07 | 2008-03-21 | Olympus Corp | System for detecting utterance/eating and drinking condition |
US20100209893A1 (en) | 2009-02-15 | 2010-08-19 | Vocatek, Incorporated | Method and Apparatus for Prescribing and Preparing a Reproducible and Customized Dysphagia Diet |
JP2013017694A (en) | 2011-07-12 | 2013-01-31 | Univ Of Tsukuba | Instrument, system, and method for measuring swallowing function data |
WO2019225241A1 (en) | 2018-05-23 | 2019-11-28 | パナソニックIpマネジメント株式会社 | Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system |
WO2019225242A1 (en) | 2018-05-23 | 2019-11-28 | パナソニックIpマネジメント株式会社 | Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system |
Also Published As
Publication number | Publication date |
---|---|
JP2022034243A (en) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6863733B2 (en) | Audio effect correction | |
JP6484317B2 (en) | Speech recognition system, speech recognition device, and speech recognition method | |
WO2018201688A1 (en) | Microphone, vocal training apparatus comprising microphone and vocal analyzer, vocal training method, and non-transitory tangible computer-readable storage medium | |
US11826161B2 (en) | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and non-transitory computer-readable storage medium | |
Nathan et al. | Assessment of chronic pulmonary disease patients using biomarkers from natural speech recorded by mobile devices | |
KR20110090066A (en) | Portable sound source playing apparatus for testing hearing ability and method for performing thereof | |
JP6371516B2 (en) | Acoustic signal processing apparatus and method | |
Vojtech et al. | Surface electromyography–based recognition, synthesis, and perception of prosodic subvocal speech | |
WO2017113370A1 (en) | Voiceprint detection method and apparatus | |
JP7408096B2 (en) | Evaluation device and evaluation program | |
US9531333B2 (en) | Formant amplifier | |
JP2022145373A (en) | Voice diagnosis system | |
JP6712028B1 (en) | Cognitive function determination device, cognitive function determination system and computer program | |
WO2020235089A1 (en) | Evaluation device, training device, methods therefor, and program | |
Munger et al. | Frequency response of the skin on the head and neck during production of selected speech sounds | |
US20240008750A1 (en) | Diagnosis of respiratory diseases | |
WO2021132289A1 (en) | Pathological condition analysis system, pathological condition analysis device, pathological condition analysis method, and pathological condition analysis program | |
WO2021152786A1 (en) | Training device, training method, and program | |
JP2007114631A (en) | Information processor, information processing method, and program | |
Ghasemzadeh et al. | Modeling dynamics of connected speech in time and frequency domains with application to ALS | |
TWI226600B (en) | Nasal detection method and device thereof | |
KR20200095668A (en) | Elderly care system and method using AI speakers | |
JP2006304125A (en) | Apparatus and method for correcting sound signal | |
Nallanthighal et al. | COVID-19 detection based on respiratory sensing from speech | |
JP6298527B2 (en) | Body sound analysis apparatus, body sound analysis method, computer program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230620 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231129 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7408096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |