JP7408096B2 - Evaluation device and evaluation program - Google Patents

Evaluation device and evaluation program Download PDF

Info

Publication number
JP7408096B2
JP7408096B2 JP2020137947A JP2020137947A JP7408096B2 JP 7408096 B2 JP7408096 B2 JP 7408096B2 JP 2020137947 A JP2020137947 A JP 2020137947A JP 2020137947 A JP2020137947 A JP 2020137947A JP 7408096 B2 JP7408096 B2 JP 7408096B2
Authority
JP
Japan
Prior art keywords
signal
evaluation
audio signal
spectrum
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020137947A
Other languages
Japanese (ja)
Other versions
JP2022034243A (en
Inventor
雅史 西村
眞吾 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Chiba University NUC
Original Assignee
Shizuoka University NUC
Chiba University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC, Chiba University NUC filed Critical Shizuoka University NUC
Priority to JP2020137947A priority Critical patent/JP7408096B2/en
Publication of JP2022034243A publication Critical patent/JP2022034243A/en
Application granted granted Critical
Publication of JP7408096B2 publication Critical patent/JP7408096B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

特許法第30条第2項適用 発行日 令和1年8月21日 刊行物(刊行物名、巻数、号数、該当ページ、発行所/発行元等) 日本音響学会2019年秋季研究発表会論文集、p.1071~1072 発行元:一般社団法人 日本音響学会 〔刊行物等〕 開催日 令和1年9月4日~6日(発表日:令和1年9月5日) 集会名、開催場所 日本音響学会2019年秋季研究発表会 立命館大学びわこ・くさつキャンパス 〔刊行物等〕 発行日 令和2年6月10日 刊行物(刊行物名、巻数、号数、該当ページ、発行所/発行元等) Innovation in Medicine and Healthcare,Proceedings of 8th KES-InMed 2020 p.171-177 発行元:KES International 〔刊行物等〕 開催日 令和2年6月17日~19日(発表日:令和2年6月17日) 集会名、開催場所 KES-INMED-20 オンラインでの開催Article 30, Paragraph 2 of the Patent Act applies Publication date August 21, 2020 Publication (publication name, volume number, issue number, relevant pages, publisher/publisher, etc.) Acoustical Society of Japan 2019 Autumn Research Presentation Collection of papers, p. 1071-1072 Publisher: Acoustical Society of Japan (General Incorporated Association) [Publications, etc.] Event date: September 4-6, 2020 (Announcement date: September 5, 2021) Meeting name, venue: Japan Onkyo Academic Conference 2019 Autumn Research Presentation Ritsumeikan University Gakuwako/Kusatsu Campus [Publications, etc.] Publication date June 10, 2020 Publications (Publication name, volume number, issue number, relevant pages, publisher/publisher, etc.) ) Innovation in Medicine and Healthcare, Proceedings of 8th KES-InMed 2020 p. 171-177 Publisher: KES International [Publications, etc.] Event date: June 17 to 19, 2020 (Announcement date: June 17, 2020) Meeting name, venue KES-INMED-20 Online Held at

本発明は、被験者の咽喉における食物残留の有無を評価する評価装置、及び評価プログラムに関する。 The present invention relates to an evaluation device and an evaluation program for evaluating the presence or absence of food residue in a test subject's throat.

一般に、嚥下障害は誤嚥につながり、誤嚥は誤嚥性肺炎の原因となる。嚥下機能の低下の早期発見は嚥下障害の進行を防ぐために重要である。従来から、嚥下機能の低下を評価する方法は多数提案されている。例えば、嚥下造影検査(VF)あるいは嚥下内視鏡検査(VE)と呼ばれる方法は、放射線あるいはマイクロスコープを用いた評価方法である。頸部聴診法と呼ばれる方法は、嚥下音あるいは呼吸音等を聴診することで嚥下障害を評価する方法である。また、下記特許文献1に記載の装置のように、嚥下が行われたことをユーザに確認させる装置も知られている。 Dysphagia generally leads to aspiration, and aspiration causes aspiration pneumonia. Early detection of decline in swallowing function is important to prevent progression of dysphagia. Conventionally, many methods for evaluating the decline in swallowing function have been proposed. For example, a method called swallowing contrast examination (VF) or swallowing endoscopy (VE) is an evaluation method using radiation or a microscope. A method called cervical auscultation is a method for evaluating dysphagia by auscultating swallowing sounds or breathing sounds. Furthermore, there is also known a device that allows the user to confirm that swallowing has been performed, such as the device described in Patent Document 1 below.

特開2018-007723号公報Japanese Patent Application Publication No. 2018-007723

上述したような従来のVF法あるいはVE法では侵襲性が高いため、被験者に負担をかけない簡便な評価方法が求められる。頸部聴診法は、医師が患者の嚥下前後の呼吸音あるいは声を聴き、それらに含まれる音響的特徴(詰まり音、泡立ち音、湿性嗄声など)を聞き分けて嚥下障害の有無を診断する方法であり、医師の主観に基づく評価がなされる方法であるため、熟練した医師でないと正確な評価が困難である。また、特許文献1に記載の装置によっても、嚥下機能の低下を評価することは実現されていない。 Since the conventional VF method or VE method described above is highly invasive, there is a need for a simple evaluation method that does not place a burden on the subject. Cervical auscultation is a method in which a doctor listens to the patient's breathing sounds or voices before and after swallowing, and distinguishes the acoustic features (choking sounds, bubbling sounds, wet hoarseness, etc.) contained in these sounds to diagnose the presence or absence of dysphagia. Since this is a method of evaluation based on the subjectivity of the doctor, accurate evaluation is difficult for those who are not experienced doctors. Further, even with the device described in Patent Document 1, it is not possible to evaluate the deterioration of swallowing function.

そこで、本発明は、かかる課題に鑑みてなされたものであり、簡便に、かつ、安定して嚥下機能の低下の兆候である食物残留の有無を評価することが可能な評価装置、及び評価プログラムを提供することを課題とする。 Therefore, the present invention has been made in view of such problems, and provides an evaluation device and an evaluation program that can easily and stably evaluate the presence or absence of food residue, which is a sign of a decline in swallowing function. The challenge is to provide the following.

本発明の一側面は、被験者の咽喉における食物残留の有無を評価する評価装置であって、少なくとも1つのプロセッサを備え、少なくとも1つのプロセッサは、被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得し、被験者の頭部を横向きにさせた状態で発声させた際にマイクを用いて第2の音声信号を取得し、第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得し、第1のスペクトル信号と第2のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を評価及び出力する。 One aspect of the present invention is an evaluation device that evaluates the presence or absence of food residue in the throat of a subject, and includes at least one processor, and the at least one processor is configured to utter a sound while the subject's head is facing forward. When the subject's head is turned sideways, a first audio signal is obtained using a microphone, and when the subject's head is turned sideways, a second audio signal is obtained using a microphone. frequency-analyzing each of the signal and the second audio signal to obtain a first spectral signal and a second spectral signal, and comparing distances and threshold values of the first spectral signal and the second spectral signal. Evaluates and outputs the presence or absence of food residue.

あるいは、本発明の他の側面は、被験者の咽喉における食物残留の有無を評価するための評価プログラムであって、コンピュータを、被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得する取得部、被験者の頭部を横向きにさせた状態で発声させた際にマイクを用いて第2の音声信号を取得する取得部、第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得する解析部、及び第1のスペクトル信号と第2のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を評価及び出力する評価部、として機能させる。 Alternatively, another aspect of the present invention is an evaluation program for evaluating the presence or absence of food residue in the throat of a test subject, the program comprising: an acquisition unit that acquires a first audio signal using a microphone; an acquisition unit that acquires a second audio signal using a microphone when the subject's head is uttered with the head turned sideways; and an analysis unit that frequency-analyzes each of the second audio signals to obtain a first spectrum signal and a second spectrum signal, and compares the distance between the first spectrum signal and the second spectrum signal with a threshold value. By doing so, it functions as an evaluation unit that evaluates and outputs the presence or absence of food residue.

上記いずれかの側面によれば、被験者から、頭部を正面向きにさせた状態での音声を録音した第1の音声信号と、頭部を横向きにさせた状態での音声を録音した第2の音声信号とが取得され、第1の音声信号から周波数分析することで取得される第1のスペクトル信号と、第2の音声信号から周波数分析することで取得される第2のスペクトル信号との距離と閾値との比較結果により、被験者の咽喉における食物残留の有無が評価・出力される。これにより、非侵襲で安定して嚥下機能の低下の1つの兆候である食物残留の有無を評価することができる。 According to any of the above aspects, the first audio signal is a recording of audio from a subject with the head facing forward, and the second audio signal is recording audio from the subject with the head facing sideways. A first spectral signal obtained by frequency analysis from the first audio signal and a second spectral signal obtained by frequency analysis from the second audio signal. Based on the comparison result between the distance and the threshold value, the presence or absence of food residue in the subject's throat is evaluated and output. This makes it possible to non-invasively and stably evaluate the presence or absence of food residue, which is one sign of a decline in swallowing function.

上記一側面においては、少なくとも1つのプロセッサは、所定の周波数帯における距離を基に、食物残留の有無を評価する、ことが好適である。また、所定の周波数帯は、4.5kHzを含む、ことも好適である。本発明者らは、食物残留が無い場合には、被験者の正面向きにおける音声信号のスペクトルにおける4.5kHz付近の周波数帯に反共振の特徴が現れることを見出した。このような特徴を利用し、所定の周波数帯に4.5kHzの周波数を含めることにより、食物残留の有無をより安定して評価することができる。 In the above aspect, it is preferable that at least one processor evaluates the presence or absence of food residue based on distance in a predetermined frequency band. It is also preferable that the predetermined frequency band includes 4.5 kHz. The present inventors have found that when there is no food residue, anti-resonance characteristics appear in the frequency band around 4.5 kHz in the spectrum of the audio signal when facing the front of the subject. By utilizing such characteristics and including the frequency of 4.5 kHz in the predetermined frequency band, the presence or absence of food residue can be evaluated more stably.

また、少なくとも1つのプロセッサは、被験者の頭部を横向きにさせた後に正面向きに戻した状態で発声した際にマイクを用いて第3の音声信号を取得し、第3の音声信号を周波数解析して、第3のスペクトル信号を取得し、第1のスペクトル信号と第3のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を再評価及び出力する、ことが好適である。本発明者らは、被験者に頭部を横向きにさせた後に正面向きに戻した状態で取得した音声信号のスペクトルは、食物残留が存在しない場合に被験者に正面を向かせた状態に取得した音声信号のスペクトルに特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第3のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。 The at least one processor also acquires a third audio signal using a microphone when the subject's head is turned sideways and then turned back to the front, and the third audio signal is subjected to frequency analysis. Preferably, the presence or absence of food residue is reevaluated and output by acquiring a third spectral signal and comparing the distance between the first spectral signal and the third spectral signal with a threshold value. . The present inventors found that the spectrum of the audio signal acquired with the subject's head turned to the side and then back to the front is different from the spectrum of the audio signal acquired with the subject facing forward in the absence of food residue. We found that the signal spectra have similar characteristics. By utilizing such a phenomenon and re-evaluating using the distance between the first spectrum signal and the third spectrum signal, the presence or absence of food residue can be evaluated more stably.

また、少なくとも1つのプロセッサは、食物摂取前の被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第4の音声信号を取得し、食物摂取前の被験者の頭部を横向きにさせた状態で発声させた際にマイクを用いて第5の音声信号を取得し、第4の音声信号及び第5の音声信号のそれぞれを周波数解析して、第4のスペクトル信号及び第5のスペクトル信号を取得し、第1のスペクトル信号と第2のスペクトル信号の距離と、第4のスペクトル信号と第5のスペクトル信号の距離から決まる閾値とを比較することにより、食物残留の有無を評価する、ことも好適である。この場合、食物残留が無い場合の2つの状態におけるスペクトル信号の距離により閾値を効率的かつ適切に設定することができ、食物残留の有無を一層安定して評価することができる。 Further, the at least one processor acquires a fourth audio signal using a microphone when the subject's head before ingesting food is uttered with the subject's head facing forward, and A fifth audio signal is obtained using a microphone when uttering a sound with the device facing sideways, and frequency analysis is performed on each of the fourth audio signal and the fifth audio signal to obtain a fourth spectral signal and By obtaining a fifth spectral signal and comparing the distance between the first spectral signal and the second spectral signal and a threshold value determined from the distance between the fourth spectral signal and the fifth spectral signal, It is also suitable to evaluate the presence or absence. In this case, the threshold value can be efficiently and appropriately set based on the distance between the spectral signals in the two states when there is no food residue, and the presence or absence of food residue can be evaluated more stably.

さらに、少なくとも1つのプロセッサは、被験者の頭部を複数回横向きに振った後の正面向き状態で発声した際にマイクを用いて第6の音声信号を取得し、第6の音声信号を周波数解析して、第6のスペクトル信号を取得し、第1のスペクトル信号と第6のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を再評価及び出力する、ことも好適である。本発明者らは、被験者に頭部を複数回横向きに振った後の正面向きの状態で取得した音声信号のスペクトルは、食物残留が存在しない場合に被験者に正面を向かせた状態に取得した音声信号のスペクトルに特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第6のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。 Furthermore, the at least one processor acquires a sixth audio signal using the microphone when the subject utters the subject's head in a frontal state after shaking the head sideways multiple times, and performs frequency analysis on the sixth audio signal. It is also preferable that the presence or absence of food residue is re-evaluated and output by acquiring a sixth spectral signal and comparing the distance between the first spectral signal and the sixth spectral signal with a threshold value. . We found that the spectrum of the audio signal acquired with the subject facing forward after multiple sideways head shakes was the same as that obtained with the subject facing forward in the absence of food residue. We found that the characteristics are similar to the spectrum of the audio signal. By utilizing such a phenomenon and re-evaluating using the distance between the first spectrum signal and the sixth spectrum signal, the presence or absence of food residue can be evaluated more stably.

本発明の一側面によれば、簡便に、かつ、安定して嚥下機能の低下の兆候である食物残留の有無を評価することができる。 According to one aspect of the present invention, it is possible to easily and stably evaluate the presence or absence of food residue, which is a sign of a decline in swallowing function.

実施形態にかかる評価装置1の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an evaluation device 1 according to an embodiment. 図1の評価制御1のハードウェア構成を示す図である。2 is a diagram showing a hardware configuration of evaluation control 1 in FIG. 1. FIG. 図1の評価装置1による評価処理における動作手順を示すフローチャートである。2 is a flowchart showing an operation procedure in evaluation processing by the evaluation device 1 of FIG. 1. FIG. 図1の評価装置1による評価処理における動作手順を示すフローチャートである。2 is a flowchart showing an operation procedure in evaluation processing by the evaluation device 1 of FIG. 1. FIG. 図1のスペクトル取得部13によって取得された第1のスペクトル信号S及び第2のスペクトル信号S,Sの波形を示す図である。2 is a diagram showing waveforms of a first spectrum signal SF and second spectrum signals S R and S L acquired by the spectrum acquisition unit 13 of FIG. 1. FIG. 実施形態の評価プログラムの構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of an evaluation program according to an embodiment.

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description, the same elements or elements having the same function will be denoted by the same reference numerals, and redundant description will be omitted.

図1は、実施形態の評価装置1の概略構成を示すブロック図である。図1に示されるように、評価装置1は、ユーザ(被験者)の咽喉内の梨状窩における食物の残留の有無を評価するための装置である。なお、評価装置1の評価対象の食物摂取には水分摂取も含む。評価装置1は、ユーザの口に近づけて装着された音響マイクである接話型マイクMからアナログ信号である音声信号を、ケーブルを介して受信可能に構成され、接話型マイクMから受信した音声信号を用いて評価処理を実行する機能を有する。ただし、評価装置1は、ブルートゥース(登録商標)、無線LAN等の無線信号を用いて、接話型マイクMから音声信号を受信可能に構成されていてもよい。接話型マイクMは、ユーザの口に近づけて使用され、発声に応じた口付近の空気の振動を検出することにより音声信号を生成する検出機器である。ただし、接話型マイクMは、発声を大気を介した振動として検出できる音響マイクであれば他の種類のマイクに置換されてもよく、ピンマイク、ボーカルマイク等の集音マイクに置換されてもよい。 FIG. 1 is a block diagram showing a schematic configuration of an evaluation device 1 according to an embodiment. As shown in FIG. 1, an evaluation device 1 is a device for evaluating the presence or absence of food residue in the piriform fossa in the throat of a user (subject). Note that the food intake to be evaluated by the evaluation device 1 also includes water intake. The evaluation device 1 is configured to be able to receive an audio signal, which is an analog signal, from a close-talking microphone M, which is an acoustic microphone worn close to the user's mouth, via a cable. It has a function to execute evaluation processing using audio signals. However, the evaluation device 1 may be configured to be able to receive the audio signal from the close-talk type microphone M using a wireless signal such as Bluetooth (registered trademark) or wireless LAN. The close-talk type microphone M is a detection device that is used close to the user's mouth and generates an audio signal by detecting vibrations in the air near the mouth in response to speech. However, the close-talk type microphone M may be replaced with any other type of microphone as long as it is an acoustic microphone that can detect vocalizations as vibrations through the atmosphere, or may be replaced with a sound-collecting microphone such as a pin microphone or vocal microphone. good.

ここで、評価装置1は、機能的な構成要素として、指示信号出力部11、音声取得部(取得部)12、スペクトル取得部(解析部)13、距離算出部14、評価部15、及び評価結果出力部16を含んで構成されている。 Here, the evaluation device 1 includes, as functional components, an instruction signal output section 11, a voice acquisition section (acquisition section) 12, a spectrum acquisition section (analysis section) 13, a distance calculation section 14, an evaluation section 15, and an evaluation section. It is configured to include a result output section 16.

図2は、評価装置1のハードウェア構成を示すブロック図である。図2に示すように、評価装置1は、スマートフォン、タブレット端末、コンピュータ端末等に代表される演算装置50によって実現される。演算装置50は、物理的には、プロセッサであるCPU(Central Processing Unit)101、記録媒体であるRAM(Random Access Memory)102又はROM(Read Only Memory)103、通信モジュール104、及び入出力デバイス等を含んだコンピュータ等であり、各々は内部で電気的に接続されている。入出力デバイス105は、キーボード、マウス、ディスプレイ装置、タッチパネルディスプレイ装置、スピーカ等である。上述した評価装置1の各機能部は、CPU101及びRAM102等のハードウェア上に実施形態の評価プログラムを読み込ませることにより、CPU101の制御のもとで、通信モジュール104、及び入出力デバイス105等を動作させるとともに、RAM102におけるデータの読み出し及び書き込みを行うことで実現される。 FIG. 2 is a block diagram showing the hardware configuration of the evaluation device 1. As shown in FIG. 2, the evaluation device 1 is realized by an arithmetic device 50 typified by a smartphone, a tablet terminal, a computer terminal, or the like. The arithmetic device 50 physically includes a CPU (Central Processing Unit) 101 which is a processor, a RAM (Random Access Memory) 102 or a ROM (Read Only Memory) 103 which is a recording medium, a communication module 104, an input/output device, etc. , each of which is electrically connected internally. The input/output device 105 is a keyboard, a mouse, a display device, a touch panel display device, a speaker, or the like. Each functional unit of the evaluation device 1 described above operates the communication module 104, input/output device 105, etc. under the control of the CPU 101 by loading the evaluation program of the embodiment onto hardware such as the CPU 101 and the RAM 102. This is realized by operating the program and reading and writing data in the RAM 102.

評価装置1は少なくとも1台の演算装置50で構成されるが、2台以上の演算装置50で構成されてもよい。複数台の演算装置50を用いる場合には、これらの演算装置50がインターネット、イントラネット等の通信ネットワークを介して接続されることで、論理的に一つの評価装置1が構築される。 The evaluation device 1 is composed of at least one arithmetic device 50, but may be composed of two or more arithmetic devices 50. When a plurality of arithmetic devices 50 are used, one evaluation device 1 is logically constructed by connecting these arithmetic devices 50 via a communication network such as the Internet or an intranet.

以下、図1に戻って、評価装置1の各機能部の機能について詳細に説明する。 Hereinafter, returning to FIG. 1, the functions of each functional unit of the evaluation device 1 will be described in detail.

指示信号出力部11は、ユーザを対象にした評価時にそのユーザに対して指示信号を出力する。すなわち、指示信号出力部11は、ユーザの音声信号の取得に際して、当該ユーザに対して頭部姿勢及び発声を指示する指示信号を出力する。指示信号の出力の形態としては、ディスプレイ装置等を利用した文字情報等の画面出力、あるいは、スピーカ等を利用した音声出力等が挙げられる。具体的には、指示信号出力部11は、食物摂取後に頭部を正面向きにした後に所定音(例えば、定常母音)を発声するように指示する第1の指示信号、食物摂取後に頭部を横向き(右向きあるいは左向き)にした後に所定音を発声するように指示する第2の指示信号、食物摂取後に頭部をいったん横向きにした後に正面向きにしてから所定音を発声するように指示する第3の指示信号、食物摂取前に頭部を正面向きにした後に所定音を発声するように指示する第4の指示信号、食物摂取前に頭部を横向きにした後に所定音を発声するように指示する第5の指示信号、あるいは、食物摂取後に頭部を複数回横向きに振った後に所定音を発声するように指示する第6の指示信号を、評価処理の開始後に、所定の順序及び所定のタイミングで出力する。ここで、指示信号出力部11の指示によって制御されるユーザの頭部姿勢は、ユーザの上体の正面向きを基準にした頭部の姿勢である。 The instruction signal output unit 11 outputs an instruction signal to a user when evaluating the user. That is, when acquiring the user's voice signal, the instruction signal output unit 11 outputs an instruction signal that instructs the user to maintain a head posture and speak. Examples of the format for outputting the instruction signal include outputting text information on a screen using a display device or the like, or audio output using a speaker or the like. Specifically, the instruction signal output unit 11 outputs a first instruction signal that instructs to utter a predetermined sound (for example, a steady vowel) after turning the head forward after ingesting food; A second instruction signal instructs the head to turn sideways (to the right or left) and then emit a predetermined sound, and a second instruction signal instructs the patient to turn the head sideways after ingesting food, then turn it forward, and then emit a predetermined sound. The third instruction signal instructs the patient to turn the head forward before ingesting food and then emit a predetermined sound.The fourth instruction signal instructs the patient to emit a predetermined sound after turning the head sideways before ingesting food. After the start of the evaluation process, a fifth instruction signal that instructs the user to make a predetermined sound, or a sixth instruction signal that instructs the user to utter a predetermined sound after shaking the head sideways multiple times after ingesting the food, is transmitted in a predetermined order and in a predetermined manner. Output at the timing of. Here, the user's head posture controlled by the instruction from the instruction signal output unit 11 is the head posture based on the frontal orientation of the user's upper body.

音声取得部12は、指示信号出力部11による第1~第6の指示信号のそれぞれの出力タイミングに応じて、接話型マイクMからユーザの音声信号を、第1~第6の音声信号として取得(受信)する。すなわち、音声取得部12は、第1の指示信号の出力によって食物摂取後のユーザの頭部を正面向きにさせた状態で発声させた際の第1の音声信号を取得する。また、音声取得部12は、第2の指示信号の出力によって食物摂取後のユーザの頭部を横向きにさせた状態で発声させた際の第2の音声信号を取得する。また、音声取得部12は、第3の指示信号の出力によって食物摂取後のユーザに頭部をいったん横向きにさせた後に正面向きに戻した状態で発声させた際の第3の音声信号を取得する。また、音声取得部12は、第4の指示信号の出力によって食物摂取前のユーザの頭部を正面向きにさせた状態で発声させた際の第4の音声信号を取得する。また、音声取得部12は、第5の指示信号の出力によって食物摂取前のユーザの頭部を横向きにさせた状態で発声させた際の第5の音声信号を取得する。また、音声取得部12は、第6の指示信号の出力によって食物摂取後にユーザの頭部を複数回横向きに振った後の状態で発声させた際の第6の音声信号を取得する。 The audio acquisition unit 12 receives the user's audio signal from the close-talk type microphone M as the first to sixth audio signals in accordance with the output timing of each of the first to sixth instruction signals by the instruction signal output unit 11. Acquire (receive). That is, the audio acquisition unit 12 acquires the first audio signal generated when the user utters a voice after ingesting food with the user's head facing forward by outputting the first instruction signal. Furthermore, the audio acquisition unit 12 outputs the second instruction signal to acquire a second audio signal when the user utters a voice while the user's head is turned sideways after ingesting food. In addition, the audio acquisition unit 12 outputs the third instruction signal to acquire a third audio signal when the user after ingesting food turns his head sideways and then returns it to the front and utters a sound. do. Furthermore, the audio acquisition unit 12 outputs the fourth instruction signal to acquire a fourth audio signal generated when the user utters a voice with the user's head facing forward before ingesting food. Furthermore, the audio acquisition unit 12 outputs the fifth instruction signal to acquire a fifth audio signal generated when the user utters a voice while the user's head is turned sideways before ingesting food. Furthermore, the audio acquisition unit 12 outputs the sixth instruction signal to acquire a sixth audio signal generated when the user utters a voice after shaking the user's head sideways multiple times after ingesting food.

スペクトル取得部13は、音声取得部12によって取得された第1~第6の音声信号のそれぞれを対象にして周波数解析を実行することにより、第1~第6の音声信号を時間領域から周波数領域に変換したパワースペクトルである第1~第6のスペクトル信号を取得する。例えば、スペクトル取得部13は、第1~第6の音声信号をフーリエ変換することによって第1~第6のスペクトル信号を取得する。 The spectrum acquisition unit 13 converts the first to sixth audio signals from the time domain to the frequency domain by performing frequency analysis on each of the first to sixth audio signals acquired by the audio acquisition unit 12. The first to sixth spectral signals, which are power spectra converted to , are obtained. For example, the spectrum acquisition unit 13 acquires the first to sixth spectrum signals by Fourier transforming the first to sixth audio signals.

距離算出部14は、食物残留の評価の基となる距離を計算する。詳細には、距離算出部14は、第1のスペクトル信号と第2のスペクトル信号との間の所定の周波数帯における距離の平均値(あるいは、最大値、最小値)を距離として計算する。この所定の周波数帯は、例えば、4.0kHz~5.0kHzであり、少なくとも4.5kHzを含む周波数帯である。距離算出部14は、例えば、所定の周波数帯を一定間隔で区切った複数の周波数における距離の平均値(あるいは、最大値、最小値)を計算する。このとき、距離算出部14は、距離を計算する際には、周波数(例えば、4.5kHz付近の周波数)に重み付けをして計算してもよい。同様にして、距離算出部14は、第1のスペクトル信号と第3のスペクトル信号との間の距離、第4のスペクトル信号と第5のスペクトル信号との間の距離、あるいは、第1のスペクトル信号と第6のスペクトル信号との間の距離を計算する。 The distance calculation unit 14 calculates a distance that is the basis for evaluating food residue. Specifically, the distance calculation unit 14 calculates the average value (or maximum value or minimum value) of the distance between the first spectrum signal and the second spectrum signal in a predetermined frequency band as the distance. This predetermined frequency band is, for example, 4.0 kHz to 5.0 kHz, and is a frequency band that includes at least 4.5 kHz. The distance calculation unit 14 calculates, for example, the average value (or maximum value, minimum value) of distances at a plurality of frequencies obtained by dividing a predetermined frequency band at regular intervals. At this time, when calculating the distance, the distance calculation unit 14 may weight the frequency (for example, a frequency around 4.5 kHz). Similarly, the distance calculating unit 14 calculates the distance between the first spectrum signal and the third spectrum signal, the distance between the fourth spectrum signal and the fifth spectrum signal, or the distance between the first spectrum signal and the third spectrum signal, or the distance between the first spectrum signal and the third spectrum signal. Calculate the distance between the signal and the sixth spectral signal.

なお、距離算出部14は、上述したようにスペクトル間の距離(例えばスペクトル間の対数ユークリッド距離)を直接計算する方法以外に,一般的にパターン識別に用いられる方法(例えば、SVM(support vector machine))を利用してもよい。 In addition to the method of directly calculating the distance between spectra (for example, log-Euclidean distance between spectra) as described above, the distance calculation unit 14 uses a method generally used for pattern identification (for example, support vector machine (SVM)). )) may be used.

評価部15は、距離算出部14によって計算される距離を基に、ユーザの梨状窩における食物の残留の有無を評価する。ここで、評価部15による評価の原理を説明する。本発明者らにより、ユーザの梨状窩と呼ばれる食道入り口脇の部位に食物残留が起きた状態が声道モデルを用いて模擬して分析された結果、その状態のユーザのスペクトル信号において、4.5kHz付近の反共振にその状態に対応した音響特徴が現れることが見出された。具体的には、食物残留が起きた状態では4.5kHz付近の極小値が消失する傾向があることが分かった。一方で、本発明者により、ユーザが頭部を左右に捻った状態でも、梨状窩が押しつぶされた状態となり、声道モデルを用いて梨状窩での食物残留を模擬した場合と同様な音響特徴が現れることも見出された。評価部15では、これらの音響特徴を利用した評価が実行される。 The evaluation unit 15 evaluates whether food remains in the user's piriform fossa based on the distance calculated by the distance calculation unit 14. Here, the principle of evaluation by the evaluation section 15 will be explained. The present inventors used a vocal tract model to simulate and analyze a state in which food remains in a user's pyriform fossa, a region next to the entrance to the esophagus. It has been found that acoustic characteristics corresponding to the anti-resonance state around .5 kHz appear. Specifically, it was found that the minimum value around 4.5 kHz tends to disappear when food residue occurs. On the other hand, the inventor found that even when the user twists the head from side to side, the piriform fossa is compressed, similar to when a vocal tract model is used to simulate food residue in the piriform fossa. It was also found that acoustic features appeared. The evaluation unit 15 performs evaluation using these acoustic features.

詳細には、評価部15は、第1のスペクトル信号と第2のスペクトル信号との間の距離と所定の閾値とを比較し、その距離が所定の閾値以下である場合には、梨状窩での食物残留があるものと評価する。このとき、所定の閾値は、予め、食物摂取前において取得された第4のスペクトル信号と第5のスペクトル信号との距離を基に決定される。例えば、この距離の一定割合の値が閾値に設定される。また、所定の閾値は評価装置1のオペレータ等により予め設定された値であってもよい。一方で、評価部15は、第1のスペクトル信号と第2のスペクトル信号との間の距離が所定の閾値を超えている場合には、梨状窩での食物残留がないものと評価する。 Specifically, the evaluation unit 15 compares the distance between the first spectrum signal and the second spectrum signal with a predetermined threshold, and if the distance is less than or equal to the predetermined threshold, the evaluation unit 15 It is evaluated that there is food residue. At this time, the predetermined threshold value is determined in advance based on the distance between the fourth spectrum signal and the fifth spectrum signal acquired before food intake. For example, a value of a certain percentage of this distance is set as the threshold value. Further, the predetermined threshold value may be a value set in advance by an operator of the evaluation device 1 or the like. On the other hand, if the distance between the first spectrum signal and the second spectrum signal exceeds a predetermined threshold, the evaluation unit 15 evaluates that there is no food remaining in the piriform fossa.

また、評価部15は、第1のスペクトル信号と第3のスペクトル信号との距離を別の閾値と比較し、その距離が閾値以下である場合には、梨状窩での食物残留がないものと再評価し、その距離が閾値を超えている場合には梨状窩での食物残留があるものと再評価する。この評価は、食物残留が存在する状態のユーザがいったん頭部を横向きにしてから正面向きに戻した状態においては食物残留が除去される傾向が強いことを利用している。そして、評価部15は、第1及び第2のスペクトル信号を利用した評価結果と、第1及び第3のスペクトル信号を利用した再評価結果とを加味した最終評価結果を生成する。例えば、評価部15は、評価結果と再評価結果とが一致した場合に、それらの一致した結果を最終評価結果として生成する。また、評価部15は、評価結果と再評価結果との一致有無に応じた確度情報を最終評価結果に含めてもよい。 Furthermore, the evaluation unit 15 compares the distance between the first spectrum signal and the third spectrum signal with another threshold value, and if the distance is less than the threshold value, the evaluation unit 15 determines that there is no food residue in the piriform fossa. If the distance exceeds the threshold, it is reevaluated that there is food residue in the piriform fossa. This evaluation utilizes the fact that when a user with food residue turns his or her head sideways and then returns it to the front, the food residue tends to be removed. The evaluation unit 15 then generates a final evaluation result that takes into account the evaluation results using the first and second spectrum signals and the re-evaluation results using the first and third spectrum signals. For example, when the evaluation result and the re-evaluation result match, the evaluation unit 15 generates the matched result as the final evaluation result. Furthermore, the evaluation unit 15 may include accuracy information in the final evaluation result depending on whether or not the evaluation result and the re-evaluation result match.

評価結果出力部16は、評価部15によって生成された最終評価結果を、出力する。例えば、評価結果出力部16は、梨状窩での食物残留の有無の評価結果及びその確度情報を、ディスプレイ装置等を利用した文字情報等の画面出力、あるいは、スピーカ等を利用した音声出力等によって出力する。 The evaluation result output unit 16 outputs the final evaluation result generated by the evaluation unit 15. For example, the evaluation result output unit 16 outputs the evaluation result of the presence or absence of food residue in the piriform fossa and its accuracy information on a screen such as text information using a display device or the like, or outputs audio using a speaker or the like. Output by

次に、上述した評価装置1の評価処理における動作の流れを説明する。図3及び図4は、評価装置1による評価処理における動作手順を示すフローチャートである。 Next, the flow of operations in the evaluation process of the evaluation device 1 described above will be explained. 3 and 4 are flowcharts showing operational procedures in evaluation processing by the evaluation device 1.

ユーザの梨状窩における食物残留に関する評価処理は、ユーザ等による評価装置1に対する指示入力に応じてその都度開始される。まず、図3を参照して、指示信号出力部11により、ユーザの食物摂取前のタイミングにおいて、第4の指示信号と第5の指示信号とが所定の時間を空けて順番に出力される(ステップS101)。これによって、ユーザによって、頭部を正面向きにした状態での所定音の発声が為された後に、頭部を横向きにした状態での所定音の発声が為される。それに応じて、音声取得部12により、第4の音声信号及び第5の音声信号が順に取得される(ステップS102)。 The evaluation process regarding food residue in the user's piriform fossa is started each time the user or the like inputs an instruction to the evaluation device 1. First, referring to FIG. 3, the fourth instruction signal and the fifth instruction signal are sequentially outputted by the instruction signal output unit 11 at a predetermined time interval before the user takes food ( Step S101). As a result, the user utters the predetermined sound with the user's head facing forward, and then utters the predetermined sound with the user's head facing sideways. Accordingly, the audio acquisition unit 12 sequentially acquires the fourth audio signal and the fifth audio signal (step S102).

次に、指示信号出力部11により、ユーザの食物摂取後のタイミングにおいて、第1の指示信号、第2の指示信号、及び第3の指示信号が、所定の時間を空けて順番に出力される(ステップS103)。これによって、ユーザによって、頭部を正面向きにした状態での所定音の発声が為された後に、頭部を横向きにした状態での所定音の発声が為され、その後に、頭部を横向きにした後に正面向きに戻した状態での所定音の発声が為される。それに応じて、音声取得部により、第1の音声信号、第2の音声信号、及び第3の音声信号が順に取得される(ステップS104)。 Next, the instruction signal output unit 11 sequentially outputs the first instruction signal, the second instruction signal, and the third instruction signal with a predetermined time interval after the user takes food. (Step S103). As a result, the user utters a predetermined sound with the user's head facing forward, then utters the predetermined sound with the user's head facing sideways, and then A predetermined sound is emitted when the device is turned back to the front. Accordingly, the audio acquisition unit sequentially acquires the first audio signal, the second audio signal, and the third audio signal (step S104).

さらに、スペクトル取得部13により、ここまでで取得された第1~第5の音声信号が周波数解析された結果、第1~第5のスペクトル信号が取得される(ステップS105)。その後、距離算出部14により、第4のスペクトル信号と第5のスペクトル信号との所定の周波数帯における距離が計算され、その距離の一定割合の値が第1の閾値THに設定される(ステップS106)。 Furthermore, the spectrum acquisition unit 13 performs frequency analysis on the first to fifth audio signals acquired so far, and as a result, first to fifth spectrum signals are acquired (step S105). Thereafter, the distance calculation unit 14 calculates the distance between the fourth spectrum signal and the fifth spectrum signal in a predetermined frequency band, and a value of a certain percentage of the distance is set as the first threshold TH 1 ( Step S106).

次に、距離算出部14により、第1のスペクトル信号と第2のスペクトル信号との所定の周波数帯における距離が計算される(ステップS107)。そして、評価部15により、その距離が第1の閾値THを超えているかが判定される(ステップS108)。判定の結果、距離が第1の閾値THを超えている場合には(ステップS108;Yes)、評価部15により、“ユーザの梨状窩における食物残留なし”と評価される(ステップS109)。一方、距離が第1の閾値TH以下である場合には(ステップS108;No)、評価部15により、“ユーザの梨状窩における食物残留あり”と評価される(ステップS110)。 Next, the distance calculation unit 14 calculates the distance between the first spectrum signal and the second spectrum signal in a predetermined frequency band (step S107). Then, the evaluation unit 15 determines whether the distance exceeds the first threshold TH1 (step S108). As a result of the determination, if the distance exceeds the first threshold TH 1 (step S108; Yes), the evaluation unit 15 evaluates that "no food remains in the user's piriform fossa" (step S109). . On the other hand, if the distance is less than or equal to the first threshold TH1 (step S108; No), the evaluation unit 15 evaluates that "food remains in the user's piriform fossa" (step S110).

図4に移って、その後、距離算出部14により、第1のスペクトル信号と第3のスペクトル信号との所定の周波数帯における距離が計算される(ステップS111)。そして、評価部15により、その距離が予め設定されている第2の閾値THを超えているかが判定される(ステップS112)。判定の結果、距離が第2の閾値THを超えている場合には(ステップS112;Yes)、評価部15により、“ユーザの梨状窩における食物残留あり”と再評価される(ステップS113)。一方、距離が第2の閾値TH以下である場合には(ステップS112;No)、評価部15により、“ユーザの梨状窩における食物残留なし”と再評価される(ステップS114)。 4, the distance calculation unit 14 calculates the distance between the first spectrum signal and the third spectrum signal in a predetermined frequency band (step S111). Then, the evaluation unit 15 determines whether the distance exceeds a preset second threshold TH2 (step S112). As a result of the determination, if the distance exceeds the second threshold TH2 (step S112; Yes), the evaluation unit 15 re-evaluates that "there is food residue in the user's piriform fossa" (step S113). ). On the other hand, if the distance is less than or equal to the second threshold TH2 (step S112; No), the evaluation unit 15 re-evaluates that there is "no food residue in the user's piriform fossa" (step S114).

そして、評価部15により、評価の結果及び再評価の結果を基に最終評価結果が生成され、評価結果出力部16により最終評価結果が出力される(ステップS115)。最終評価結果としては、上記の評価の結果が、確度情報と共に出力される。確度情報としては、例えば、評価の結果と再評価の結果との一致/不一致に応じて、“高”、“低”等の評価の確度を示す情報が出力される。 Then, the evaluation unit 15 generates a final evaluation result based on the evaluation result and the re-evaluation result, and the evaluation result output unit 16 outputs the final evaluation result (step S115). As the final evaluation result, the above evaluation result is output together with accuracy information. As the accuracy information, for example, information indicating the accuracy of the evaluation, such as "high" or "low", is output depending on the match/mismatch between the evaluation result and the re-evaluation result.

図5には、ユーザによって母音/e/を発声させた際にスペクトル取得部13によって取得された第1のスペクトル信号S及び第2のスペクトル信号S,Sの波形を示している。第2のスペクトル信号Sは、ユーザが右向きの状態のときに取得される波形を示し、第2のスペクトル信号Sは、ユーザが左向きの状態のときに取得される波形を示している。この例においては、第1のスペクトル信号Sにおいては、4.2kHz付近において顕著な極小点が現れている。これに対して、ユーザが横向きの状態で取得される第2のスペクトル信号S,Sにおいては、4.2kHz付近における極小点が消失している。このような第1のスペクトル信号Sの波形と第2のスペクトル信号S,Sとの間の波形の差異を評価することにより、評価部15は、ユーザの梨状窩における食物残留がないと評価することができる。 FIG. 5 shows the waveforms of the first spectrum signal S F and the second spectrum signals S R and S L acquired by the spectrum acquisition unit 13 when the user utters the vowel /e/. The second spectral signal S R indicates a waveform obtained when the user is facing right, and the second spectral signal S L indicates a waveform obtained when the user is facing left. In this example, in the first spectrum signal SF , a remarkable minimum point appears near 4.2 kHz. On the other hand, in the second spectrum signals S R and S L acquired with the user facing sideways, the minimum point around 4.2 kHz has disappeared. By evaluating the difference in waveform between the first spectral signal S F and the second spectral signals S R and S L , the evaluation unit 15 determines whether food remains in the user's piriform fossa. It can be evaluated that there is no.

次に、図6を参照して、コンピュータを上記評価装置1として機能させるための評価プログラムを説明する。 Next, with reference to FIG. 6, an evaluation program for causing a computer to function as the evaluation apparatus 1 will be described.

評価プログラムP1は、メインモジュールP10、指示信号出力モジュールP11、音声取得モジュールP12、スペクトル取得モジュールP13、距離算出モジュールP14、評価モジュールP15、及び評価結果出力モジュールP16を備えている。 The evaluation program P1 includes a main module P10, an instruction signal output module P11, a voice acquisition module P12, a spectrum acquisition module P13, a distance calculation module P14, an evaluation module P15, and an evaluation result output module P16.

メインモジュールP10は、評価装置1の動作を統括的に制御する部分である。指示信号出力モジュールP11、音声取得モジュールP12、スペクトル取得モジュールP13、距離算出モジュールP14、評価モジュールP15、及び評価結果出力モジュールP16を実行することにより実現される機能は、それぞれ、指示信号出力部11、音声取得部12、スペクトル取得部13、距離算出部14、評価部15、及び評価結果出力部16の機能と同様である。 The main module P10 is a part that centrally controls the operation of the evaluation device 1. The functions realized by executing the instruction signal output module P11, the audio acquisition module P12, the spectrum acquisition module P13, the distance calculation module P14, the evaluation module P15, and the evaluation result output module P16 are the instruction signal output unit 11, The functions are similar to those of the audio acquisition section 12, spectrum acquisition section 13, distance calculation section 14, evaluation section 15, and evaluation result output section 16.

評価プログラムP1は、例えば、CD-ROM、DVDもしくはROM等のコンピュータ読み取り可能な記録媒体または半導体メモリによって提供される。また、評価プログラムP1は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。 The evaluation program P1 is provided by, for example, a computer-readable recording medium such as a CD-ROM, DVD, or ROM, or a semiconductor memory. Furthermore, the evaluation program P1 may be provided via a network as a computer data signal superimposed on a carrier wave.

上述した評価装置1によれば、ユーザから、頭部を正面向きにさせた状態での音声を録音した第1の音声信号と、頭部を横向きにさせた状態での音声を録音した第2の音声信号とが取得され、第1の音声信号から周波数分析することで取得される第1のスペクトル信号と、第2の音声信号から周波数分析することで取得される第2のスペクトル信号との距離と閾値との比較結果により、ユーザの梨状窩における食物残留の有無が評価・出力される。これにより、非侵襲で安定して嚥下機能の低下の1つの兆候である食物残留の有無を評価することができる。特に、評価装置1を用いれば、同一のユーザを対象に短期間に発声させて得られる音声信号を用いて食物残留の有無を評価でき、障害者から予め大量の学習データを収集する必要はない。これにより、機器、環境、あるいはユーザの体調の変化の影響を受けることなく、簡易かつ安定した評価を実現できる。その結果、評価装置1により、嚥下機能低下の早期発見に資することができる。つまり、ユーザにおいてむせなどの顕著な症状が現れる前の段階でのスクリーニングを実現することができる。 According to the above-mentioned evaluation device 1, the first audio signal is a recording of the user's voice with the user's head facing forward, and the second audio signal is the audio of the user with the user's head facing sideways. A first spectral signal obtained by frequency analysis from the first audio signal and a second spectral signal obtained by frequency analysis from the second audio signal. Based on the comparison result between the distance and the threshold value, the presence or absence of food residue in the user's piriform fossa is evaluated and output. This makes it possible to non-invasively and stably evaluate the presence or absence of food residue, which is one sign of a decline in swallowing function. In particular, if the evaluation device 1 is used, the presence or absence of food residue can be evaluated using audio signals obtained by having the same user speak over a short period of time, and there is no need to collect large amounts of learning data from disabled people in advance. . Thereby, simple and stable evaluation can be achieved without being affected by changes in equipment, environment, or user's physical condition. As a result, the evaluation device 1 can contribute to early detection of deterioration of swallowing function. In other words, it is possible to implement screening at a stage before noticeable symptoms such as choking appear in the user.

本実施形態の評価装置1は、所定の周波数帯、特に、4.5kHzを含む周波数帯における距離を基に、食物残留の有無を評価している。このように、梨状窩における食物残留による音響特徴が表れやすい4.5kHz付近の周波数を含めることにより、食物残留の有無をより安定して評価することができる。 The evaluation device 1 of this embodiment evaluates the presence or absence of food residue based on the distance in a predetermined frequency band, particularly in a frequency band including 4.5 kHz. In this way, by including the frequency around 4.5 kHz where acoustic features due to food residue in the piriform fossa are likely to appear, the presence or absence of food residue can be evaluated more stably.

また、本実施形態の評価装置1は、第1のスペクトル信号と第3のスペクトル信号の距離と閾値とを比較することにより、食物残留の有無を再評価している。本発明者らは、ユーザに頭部を横向きにさせた後に正面向きに戻した状態で取得した音声信号のスペクトルは、食物残留が存在しない場合にユーザに正面を向かせた状態に取得した音声信号のスペクトルに音響特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第3のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。 Furthermore, the evaluation device 1 of this embodiment re-evaluates the presence or absence of food residue by comparing the distance between the first spectrum signal and the third spectrum signal and the threshold value. The inventors found that the spectrum of the audio signal acquired with the user turning their head to the side and then back to the frontal position is the same as the spectrum of the audio signal acquired with the user facing forward in the absence of food residue. We found that the acoustic features are close to the spectrum of the signal. By utilizing such a phenomenon and re-evaluating using the distance between the first spectrum signal and the third spectrum signal, the presence or absence of food residue can be evaluated more stably.

また、本実施形態の評価装置1は、第4のスペクトル信号と第5のスペクトル信号の距離から第1の閾値THを設定している。この場合、食物残留が無い場合の2つの状態におけるスペクトル信号の距離により閾値を効率的かつ適切に設定することができ、食物残留の有無を一層安定して評価することができる。 Moreover, the evaluation device 1 of this embodiment sets the first threshold value TH 1 from the distance between the fourth spectrum signal and the fifth spectrum signal. In this case, the threshold value can be efficiently and appropriately set based on the distance between the spectral signals in the two states when there is no food residue, and the presence or absence of food residue can be evaluated more stably.

以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。 Although various embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and may be modified or applied to other things without changing the gist of each claim. It may be something.

例えば、評価装置1の評価部15は、再評価を実行する際に、第1のスペクトル信号と第6のスペクトル信号との所定の周波数帯における距離を用いて、距離を規定の閾値と比較することにより、食物残留の有無を再評価してもよい。本発明者らは、ユーザに頭部を複数回横向きに振った後の正面向きの状態で取得した音声信号のスペクトルは、食物残留が存在しない場合にユーザに正面を向かせた状態に取得した音声信号のスペクトルに特徴が近いことを見出した。このような現象を利用し、第1のスペクトル信号と第6のスペクトル信号との距離を用いて再評価することにより、食物残留の有無をより安定して評価することができる。 For example, when performing re-evaluation, the evaluation unit 15 of the evaluation device 1 uses the distance between the first spectrum signal and the sixth spectrum signal in a predetermined frequency band, and compares the distance with a prescribed threshold value. Therefore, the presence or absence of food residues may be re-evaluated. We found that the spectrum of the audio signal acquired with the user facing forward after multiple sideways head shakes was the same as that obtained with the user facing forward in the absence of food residue. We found that the characteristics are similar to the spectrum of the audio signal. By utilizing such a phenomenon and re-evaluating using the distance between the first spectrum signal and the sixth spectrum signal, the presence or absence of food residue can be evaluated more stably.

1…評価装置、12…音声取得部(取得部)、13…スペクトル取得部(解析部)、14…距離算出部、15…評価部、M…接話型マイク、P1…評価プログラム。
DESCRIPTION OF SYMBOLS 1... Evaluation device, 12... Audio acquisition part (acquisition part), 13... Spectrum acquisition part (analysis part), 14... Distance calculation part, 15... Evaluation part, M... Close-talking type microphone, P1... Evaluation program.

Claims (7)

被験者の咽喉における食物残留の有無を評価する評価装置であって、
少なくとも1つのプロセッサを備え、
前記少なくとも1つのプロセッサは、
前記被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得し、
前記被験者の頭部を横向きにさせた状態で発声させた際に前記マイクを用いて第2の音声信号を取得し、
前記第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第2のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を評価及び出力する、
評価装置。
An evaluation device for evaluating the presence or absence of food residue in the throat of a subject,
comprising at least one processor;
The at least one processor includes:
Obtaining a first audio signal using a microphone when uttering with the subject's head facing forward;
Obtaining a second audio signal using the microphone when making the subject speak with the subject's head turned sideways,
frequency-analyzing each of the first audio signal and the second audio signal to obtain a first spectral signal and a second spectral signal;
Evaluating and outputting the presence or absence of the food residue by comparing the distance of the first spectral signal and the second spectral signal with a threshold value;
Evaluation device.
前記少なくとも1つのプロセッサは、
所定の周波数帯における前記距離を基に、前記食物残留の有無を評価する、
請求項1に記載の評価装置。
The at least one processor includes:
Evaluating the presence or absence of the food residue based on the distance in a predetermined frequency band;
The evaluation device according to claim 1.
前記所定の周波数帯は、4.5kHzを含む、
請求項2に記載の評価装置。
the predetermined frequency band includes 4.5kHz;
The evaluation device according to claim 2.
前記少なくとも1つのプロセッサは、
前記被験者の頭部を横向きにさせた後に正面向きに戻した状態で発声した際に前記マイクを用いて第3の音声信号を取得し、
前記第3の音声信号を周波数解析して、第3のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第3のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を再評価及び出力する、
請求項1~3のいずれか1項に記載の評価装置。
The at least one processor includes:
Obtaining a third audio signal using the microphone when the subject's head is turned sideways and then turned back to the front and utters,
frequency-analyzing the third audio signal to obtain a third spectrum signal;
Re-evaluating and outputting the presence or absence of the food residue by comparing the distance of the first spectral signal and the third spectral signal with a threshold value;
The evaluation device according to any one of claims 1 to 3.
前記少なくとも1つのプロセッサは、
食物摂取前の前記被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第4の音声信号を取得し、
食物摂取前の前記被験者の頭部を横向きにさせた状態で発声させた際に前記マイクを用いて第5の音声信号を取得し、
前記第4の音声信号及び第5の音声信号のそれぞれを周波数解析して、第4のスペクトル信号及び第5のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第2のスペクトル信号の距離と、前記第4のスペクトル信号と前記第5のスペクトル信号の距離から決まる閾値とを比較することにより、前記食物残留の有無を評価する、
請求項1~4のいずれか1項に記載の評価装置。
The at least one processor includes:
Obtaining a fourth audio signal using a microphone when the subject's head is facing forward before ingesting food, and when the subject is made to speak,
Obtaining a fifth audio signal using the microphone when uttering a sound with the subject's head turned sideways before ingesting food;
frequency-analyzing each of the fourth audio signal and the fifth audio signal to obtain a fourth spectral signal and a fifth spectral signal;
The presence or absence of the food residue is evaluated by comparing the distance between the first spectrum signal and the second spectrum signal with a threshold determined from the distance between the fourth spectrum signal and the fifth spectrum signal. ,
The evaluation device according to any one of claims 1 to 4.
前記少なくとも1つのプロセッサは、
前記被験者の頭部を複数回横向きに振った後の正面向きの状態で発声した際に前記マイクを用いて第6の音声信号を取得し、
前記第6の音声信号を周波数解析して、第6のスペクトル信号を取得し、
前記第1のスペクトル信号と前記第6のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を再評価及び出力する、
請求項1~5のいずれか1項に記載の評価装置。
The at least one processor includes:
Obtaining a sixth audio signal using the microphone when the subject's head is uttered while facing forward after shaking the head sideways multiple times;
frequency-analyzing the sixth audio signal to obtain a sixth spectrum signal;
Re-evaluating and outputting the presence or absence of the food residue by comparing the distance of the first spectral signal and the sixth spectral signal with a threshold value;
The evaluation device according to any one of claims 1 to 5.
被験者の咽喉における食物残留の有無を評価するための評価プログラムであって、
コンピュータを、
前記被験者の頭部を正面向きにさせた状態で発声させた際にマイクを用いて第1の音声信号を取得する取得部、
前記被験者の頭部を横向きにさせた状態で発声させた際に前記マイクを用いて第2の音声信号を取得する取得部、
前記第1の音声信号及び第2の音声信号のそれぞれを周波数解析して、第1のスペクトル信号及び第2のスペクトル信号を取得する解析部、及び
前記第1のスペクトル信号と前記第2のスペクトル信号の距離と閾値とを比較することにより、前記食物残留の有無を評価及び出力する評価部、
として機能させる評価プログラム。
An evaluation program for evaluating the presence or absence of food residue in the throat of a subject,
computer,
an acquisition unit that acquires a first audio signal using a microphone when the subject's head is uttered with the head facing forward;
an acquisition unit that acquires a second audio signal using the microphone when the subject's head is turned sideways and the subject is uttered;
an analysis unit that frequency-analyzes each of the first audio signal and the second audio signal to obtain a first spectrum signal and a second spectrum signal; and the first spectrum signal and the second spectrum. an evaluation unit that evaluates and outputs the presence or absence of food residue by comparing the distance of the signal with a threshold;
An evaluation program that functions as an evaluation program.
JP2020137947A 2020-08-18 2020-08-18 Evaluation device and evaluation program Active JP7408096B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020137947A JP7408096B2 (en) 2020-08-18 2020-08-18 Evaluation device and evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020137947A JP7408096B2 (en) 2020-08-18 2020-08-18 Evaluation device and evaluation program

Publications (2)

Publication Number Publication Date
JP2022034243A JP2022034243A (en) 2022-03-03
JP7408096B2 true JP7408096B2 (en) 2024-01-05

Family

ID=80441996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020137947A Active JP7408096B2 (en) 2020-08-18 2020-08-18 Evaluation device and evaluation program

Country Status (1)

Country Link
JP (1) JP7408096B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061790A (en) 2006-09-07 2008-03-21 Olympus Corp System for detecting utterance/eating and drinking condition
US20100209893A1 (en) 2009-02-15 2010-08-19 Vocatek, Incorporated Method and Apparatus for Prescribing and Preparing a Reproducible and Customized Dysphagia Diet
JP2013017694A (en) 2011-07-12 2013-01-31 Univ Of Tsukuba Instrument, system, and method for measuring swallowing function data
WO2019225241A1 (en) 2018-05-23 2019-11-28 パナソニックIpマネジメント株式会社 Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system
WO2019225242A1 (en) 2018-05-23 2019-11-28 パナソニックIpマネジメント株式会社 Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061790A (en) 2006-09-07 2008-03-21 Olympus Corp System for detecting utterance/eating and drinking condition
US20100209893A1 (en) 2009-02-15 2010-08-19 Vocatek, Incorporated Method and Apparatus for Prescribing and Preparing a Reproducible and Customized Dysphagia Diet
JP2013017694A (en) 2011-07-12 2013-01-31 Univ Of Tsukuba Instrument, system, and method for measuring swallowing function data
WO2019225241A1 (en) 2018-05-23 2019-11-28 パナソニックIpマネジメント株式会社 Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system
WO2019225242A1 (en) 2018-05-23 2019-11-28 パナソニックIpマネジメント株式会社 Swallowing function evaluation method, program, swallowing function evaluation device, and swallowing function evaluation system

Also Published As

Publication number Publication date
JP2022034243A (en) 2022-03-03

Similar Documents

Publication Publication Date Title
JP6863733B2 (en) Audio effect correction
JP6484317B2 (en) Speech recognition system, speech recognition device, and speech recognition method
WO2018201688A1 (en) Microphone, vocal training apparatus comprising microphone and vocal analyzer, vocal training method, and non-transitory tangible computer-readable storage medium
US11826161B2 (en) Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and non-transitory computer-readable storage medium
Nathan et al. Assessment of chronic pulmonary disease patients using biomarkers from natural speech recorded by mobile devices
KR20110090066A (en) Portable sound source playing apparatus for testing hearing ability and method for performing thereof
JP6371516B2 (en) Acoustic signal processing apparatus and method
Vojtech et al. Surface electromyography–based recognition, synthesis, and perception of prosodic subvocal speech
WO2017113370A1 (en) Voiceprint detection method and apparatus
JP7408096B2 (en) Evaluation device and evaluation program
US9531333B2 (en) Formant amplifier
JP2022145373A (en) Voice diagnosis system
JP6712028B1 (en) Cognitive function determination device, cognitive function determination system and computer program
WO2020235089A1 (en) Evaluation device, training device, methods therefor, and program
Munger et al. Frequency response of the skin on the head and neck during production of selected speech sounds
US20240008750A1 (en) Diagnosis of respiratory diseases
WO2021132289A1 (en) Pathological condition analysis system, pathological condition analysis device, pathological condition analysis method, and pathological condition analysis program
WO2021152786A1 (en) Training device, training method, and program
JP2007114631A (en) Information processor, information processing method, and program
Ghasemzadeh et al. Modeling dynamics of connected speech in time and frequency domains with application to ALS
TWI226600B (en) Nasal detection method and device thereof
KR20200095668A (en) Elderly care system and method using AI speakers
JP2006304125A (en) Apparatus and method for correcting sound signal
Nallanthighal et al. COVID-19 detection based on respiratory sensing from speech
JP6298527B2 (en) Body sound analysis apparatus, body sound analysis method, computer program, and recording medium

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230620

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231212

R150 Certificate of patent or registration of utility model

Ref document number: 7408096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150