JP6562450B2 - 嚥下検出装置、嚥下検出方法およびプログラム - Google Patents
嚥下検出装置、嚥下検出方法およびプログラム Download PDFInfo
- Publication number
- JP6562450B2 JP6562450B2 JP2015066446A JP2015066446A JP6562450B2 JP 6562450 B2 JP6562450 B2 JP 6562450B2 JP 2015066446 A JP2015066446 A JP 2015066446A JP 2015066446 A JP2015066446 A JP 2015066446A JP 6562450 B2 JP6562450 B2 JP 6562450B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- epiglottis
- swallowing
- waiting
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、嚥下音を検出する嚥下検出装置、嚥下検出方法、およびその方法をコンピュータに実行させるためのプログラムに関する。
高齢化社会の深刻な問題のひとつとして、食物や飲み物を飲み込む動作の障害である嚥下障害が増加傾向にある。 嚥下障害の危険性の一例として誤嚥性肺炎がある。誤嚥性肺炎は、咳やむせこむなどの表面的な症状がなく、知らないうちに誤嚥を繰り返すことにより発症する。特に介護を要する高齢者などに誤嚥性肺炎が発症すると、最悪の場合には死に至るケースも多い。
しかしながら、日常、簡易的に嚥下障害であるかを診断するために必要な嚥下の検出方法が確立されていないのが現状である。現在の診断方法としては、患者の頸部を聴診器による聴覚的なスクリーニングを実施し、さらに、Ｘ線を用いた嚥下造影検査（ＶＦ：VideoFluoroscopic examination of swallowing）、または嚥下内視鏡検査（ＶＥ：VideoEndoscopic examination of swallowing）による最終的な診断が行われている。 スクリーニングにおいては聴覚的な判断には技術と経験が必要であり、看護師などによる簡易的な判断が難しい。 また、ＶＦによる方法の場合、Ｘ線を用いるため使用回数を重ねることができないことや、大型の診断装置が必要であるなどの理由で、簡易的な診断としては使用できない。
嚥下音には、食塊が喉頭蓋を通過する際に喉頭蓋が閉じる音である喉頭蓋閉音、食塊が食道を通過する音である食道通過音、食塊が喉頭蓋を通過完了した際に喉頭蓋が開く音である喉頭蓋閉音の３音があるというのが一般的な説である（特許文献１および特許文献２参照）。しかしながら、実際の嚥下音が体内のどの部位において、どのような原因で発生しているのかについては、医学的にも未だ解明されていない（非特許文献１参照）。
しかしながら、日常、簡易的に嚥下障害であるかを診断するために必要な嚥下の検出方法が確立されていないのが現状である。現在の診断方法としては、患者の頸部を聴診器による聴覚的なスクリーニングを実施し、さらに、Ｘ線を用いた嚥下造影検査（ＶＦ：VideoFluoroscopic examination of swallowing）、または嚥下内視鏡検査（ＶＥ：VideoEndoscopic examination of swallowing）による最終的な診断が行われている。 スクリーニングにおいては聴覚的な判断には技術と経験が必要であり、看護師などによる簡易的な判断が難しい。 また、ＶＦによる方法の場合、Ｘ線を用いるため使用回数を重ねることができないことや、大型の診断装置が必要であるなどの理由で、簡易的な診断としては使用できない。
嚥下音には、食塊が喉頭蓋を通過する際に喉頭蓋が閉じる音である喉頭蓋閉音、食塊が食道を通過する音である食道通過音、食塊が喉頭蓋を通過完了した際に喉頭蓋が開く音である喉頭蓋閉音の３音があるというのが一般的な説である（特許文献１および特許文献２参照）。しかしながら、実際の嚥下音が体内のどの部位において、どのような原因で発生しているのかについては、医学的にも未だ解明されていない（非特許文献１参照）。
非特許文献１に開示されているように、喉頭蓋閉音、食道通過音および喉頭蓋開音の周波数特性については、被験者毎にその周波数範囲は異なり、また、同じ被験者が同じ食塊を複数回に渡って嚥下した場合でも、その嚥下毎に周波数範囲は異なる。このため、全ての被験者の全ての嚥下音を識別するための共通の周波数範囲は、これらの周波数範囲を全て網羅する必要があるため、広い周波数範囲となる。
上記特許文献１に、簡易的に嚥下障害を診断する方法が開示されている。特許文献１には、頸部に取り付けたマイクから取得した音データの波形データを周波数解析データに変換し、４０００Ｈｚ付近のスペクトル強度のレベルにより嚥下動作音、咳き、発声時の３種類に分類し、嚥下動作を検出する方法が開示されている。
また、上記特許文献２には、音声波形データを時間周波数分析し、喉頭蓋の閉音、食物が食道入口を通過する時の通過音、および喉頭蓋の開音の周波数で３音を識別する方法が開示さている。この方法では喉頭蓋の開閉音の周波数は１０〜４００Ｈｚ、食物が食道入口を通過する時の通過音の周波数は３００〜８００Ｈｚとして識別している。
特許文献１および特許文献２に開示された方法のいずれも、音声波形データを周波数解析した結果を、より多くの被験者の嚥下音を網羅するための広い周波数範囲となる共通のパラメータを定義し、そのパラメータの周波数範囲に入っているかを判断し、嚥下音を識別している。
上記特許文献１に、簡易的に嚥下障害を診断する方法が開示されている。特許文献１には、頸部に取り付けたマイクから取得した音データの波形データを周波数解析データに変換し、４０００Ｈｚ付近のスペクトル強度のレベルにより嚥下動作音、咳き、発声時の３種類に分類し、嚥下動作を検出する方法が開示されている。
また、上記特許文献２には、音声波形データを時間周波数分析し、喉頭蓋の閉音、食物が食道入口を通過する時の通過音、および喉頭蓋の開音の周波数で３音を識別する方法が開示さている。この方法では喉頭蓋の開閉音の周波数は１０〜４００Ｈｚ、食物が食道入口を通過する時の通過音の周波数は３００〜８００Ｈｚとして識別している。
特許文献１および特許文献２に開示された方法のいずれも、音声波形データを周波数解析した結果を、より多くの被験者の嚥下音を網羅するための広い周波数範囲となる共通のパラメータを定義し、そのパラメータの周波数範囲に入っているかを判断し、嚥下音を識別している。
中山裕司、外５名、「嚥下音の産生部位と音響特性の検討」、昭和歯学会雑誌、昭和大学・昭和歯学会、２０１２年８月２７日（公開日）、第２６巻、第２号、ｐ．１６３〜１７４
特許文献１に開示された方法では、喉頭蓋閉音、食塊通過音および喉頭蓋開音の３つの音が時系列に連続する音データを嚥下動作音として測定し、嚥下動作音と咳きや発声と区別するようにしている。しかし、嚥下動作音を構成する３つの音のいずれかに雑音が混入した場合までは考慮されていない。
また、特許文献２に開示された方法では、喉頭蓋の開閉音と食物が食道入口を通過する時の通過音とを周波数帯域で区別しているが、それらを区別する周波数帯域が３００〜４００Ｈｚの範囲で重なっている。そのため、食物が食道入口を通過する時の通過音を誤って喉頭蓋の開音と検出した場合、次に発生する、喉頭蓋の閉音を上記通過音と検出してしまうおそれがある。
また、特許文献２に開示された方法では、喉頭蓋の開閉音と食物が食道入口を通過する時の通過音とを周波数帯域で区別しているが、それらを区別する周波数帯域が３００〜４００Ｈｚの範囲で重なっている。そのため、食物が食道入口を通過する時の通過音を誤って喉頭蓋の開音と検出した場合、次に発生する、喉頭蓋の閉音を上記通過音と検出してしまうおそれがある。
本発明は上述したような技術が有する問題点を解決するためになされたものであり、嚥下と雑音を適切に識別し、より正確に嚥下を検出できるようにした嚥下検出装置、嚥下検出方法およびプログラムを提供することを目的とする。
上記目的を達成するための本発明の嚥下検出装置は、嚥下音を含む音声波形データを解析して嚥下音を検出する音声解析部、および嚥下音の検出が確定したときに検出結果を保存する記憶部を有する嚥下検出装置であって、
前記音声解析部は、
前記音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出する音声波形演算部と、
前記特徴データとパラメータを用いて嚥下音を判定する嚥下音判定部と、を有し、
前記嚥下音判定部は、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理する状態遷移管理部を有する構成である。
前記音声解析部は、
前記音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出する音声波形演算部と、
前記特徴データとパラメータを用いて嚥下音を判定する嚥下音判定部と、を有し、
前記嚥下音判定部は、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理する状態遷移管理部を有する構成である。
また、本発明の嚥下検出方法は、
嚥下音を含む音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出し、
前記特徴データとパラメータを用いて嚥下音を判定し、
前記嚥下音を判定する際、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理するものである。
嚥下音を含む音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出し、
前記特徴データとパラメータを用いて嚥下音を判定し、
前記嚥下音を判定する際、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理するものである。
さらに、本発明のプログラムは、コンピュータに
嚥下音を含む音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出する手順と、
前記特徴データとパラメータを用いて嚥下音を判定する手順と、を有し、
前記嚥下音を判定する手順において、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理する手順を実行させるものである。
嚥下音を含む音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出する手順と、
前記特徴データとパラメータを用いて嚥下音を判定する手順と、を有し、
前記嚥下音を判定する手順において、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理する手順を実行させるものである。
本発明によれば、嚥下と雑音を適切に識別し、より正確に嚥下を検出することができる。
本実施形態の嚥下検出装置について、図面を参照して詳細に説明する。
図１は本実施形態の嚥下検出装置の全体構成を示すブロック図である。
図１に示すように、嚥下検出装置１は、マイク１１、音声データ蓄積部１２、データ分割部１３、音声解析部１４０、および確定結果保存部１５を有する構成である。
マイク１１は被験者の頸部に装着され、被験者が嚥下するときの音を頸部にて採取し録音するための機器である。マイク１１を介して採取された音声波形は音声データ蓄積部１２に数値データとして蓄積される。
データ分割部１３は、音声データ蓄積部１２に蓄積された音声波形データを解析に適切な位置の適切なサイズの音声波形データを切り出して音声解析部１４０に入力する。 切り出すサイズは喉頭音を捕捉するために必要な十分な時間（秒）を、音声波形のサンプル周波数（Ｈｚ）に掛けることで求められる。
音声解析部１４０は、切り出された音声波形データを解析し嚥下音を検出する。音声解析部１４０によって嚥下音としての検出が確定したときの検出結果は確定結果保存部１５に保存される。
音声解析部１４０は、図１に示すように、音声波形演算部１４１および嚥下音判定部１４２を有する。音声波形演算部１４１は、音声波形データから演算により、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を判定するために必要な特徴データ４２を抽出する。特徴データ４２は、波形の振幅ピーク値、周波数毎のスペクトル強度を含む。嚥下音判定部１４２は、抽出された特徴データ４２とパラメータから喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を判定する。なお、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３の音声波形は、後で図を参照して説明する。
図１は本実施形態の嚥下検出装置の全体構成を示すブロック図である。
図１に示すように、嚥下検出装置１は、マイク１１、音声データ蓄積部１２、データ分割部１３、音声解析部１４０、および確定結果保存部１５を有する構成である。
マイク１１は被験者の頸部に装着され、被験者が嚥下するときの音を頸部にて採取し録音するための機器である。マイク１１を介して採取された音声波形は音声データ蓄積部１２に数値データとして蓄積される。
データ分割部１３は、音声データ蓄積部１２に蓄積された音声波形データを解析に適切な位置の適切なサイズの音声波形データを切り出して音声解析部１４０に入力する。 切り出すサイズは喉頭音を捕捉するために必要な十分な時間（秒）を、音声波形のサンプル周波数（Ｈｚ）に掛けることで求められる。
音声解析部１４０は、切り出された音声波形データを解析し嚥下音を検出する。音声解析部１４０によって嚥下音としての検出が確定したときの検出結果は確定結果保存部１５に保存される。
音声解析部１４０は、図１に示すように、音声波形演算部１４１および嚥下音判定部１４２を有する。音声波形演算部１４１は、音声波形データから演算により、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を判定するために必要な特徴データ４２を抽出する。特徴データ４２は、波形の振幅ピーク値、周波数毎のスペクトル強度を含む。嚥下音判定部１４２は、抽出された特徴データ４２とパラメータから喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を判定する。なお、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３の音声波形は、後で図を参照して説明する。
次に、図１に示した嚥下音判定部１４２の構成を詳しく説明する。
図２は図１に示した嚥下音判定部の構成例を示す機能ブロック図である。
嚥下音判定部１４２は、状態遷移管理部２１０、喉頭蓋閉音判定部２２０、食道通過音判定部２３０、喉頭蓋開音判定部２４０、専用パラメータ生成部２５および判定情報記憶部４０を有する構成である。
喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１を有する。食道通過音判定部２３０は、食道通過音判定用パラメータ記憶部２３１を有する。喉頭蓋開音判定部２４０は、喉頭蓋開音判定用パラメータ記憶部２４１を有する。状態遷移管理部２１０は、喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの状態の遷移を管理する。状態遷移管理部２１０は、現在の待ち状態に応じて、喉頭蓋閉音判定部２２０、食道通過音判定部２３０および喉頭蓋開音判定部２４０のうち、選択した１つまたは複数の判定部に特徴データ４２を渡す。
喉頭蓋閉音判定部２２０は、喉頭蓋閉音３１を仮判定したときに、判定結果と特徴データ４２を専用パラメータ生成部２５に渡す。専用パラメータ生成部２５は、喉頭蓋閉音３１の特徴データに基づいて、後続の判定の対象となる食道通過音３２および喉頭蓋開音３３を仮判定するための専用パラメータを生成する。専用パラメータ生成部２５から提供される、食道通過音３２検出用の専用パラメータは、食道通過音判定用パラメータ記憶部２３１に保存される。専用パラメータ生成部２５から提供される、喉頭蓋開音検出用の専用パラメータは、喉頭蓋開音判定用パラメータ記憶部２４１に記憶される。
図２は図１に示した嚥下音判定部の構成例を示す機能ブロック図である。
嚥下音判定部１４２は、状態遷移管理部２１０、喉頭蓋閉音判定部２２０、食道通過音判定部２３０、喉頭蓋開音判定部２４０、専用パラメータ生成部２５および判定情報記憶部４０を有する構成である。
喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１を有する。食道通過音判定部２３０は、食道通過音判定用パラメータ記憶部２３１を有する。喉頭蓋開音判定部２４０は、喉頭蓋開音判定用パラメータ記憶部２４１を有する。状態遷移管理部２１０は、喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの状態の遷移を管理する。状態遷移管理部２１０は、現在の待ち状態に応じて、喉頭蓋閉音判定部２２０、食道通過音判定部２３０および喉頭蓋開音判定部２４０のうち、選択した１つまたは複数の判定部に特徴データ４２を渡す。
喉頭蓋閉音判定部２２０は、喉頭蓋閉音３１を仮判定したときに、判定結果と特徴データ４２を専用パラメータ生成部２５に渡す。専用パラメータ生成部２５は、喉頭蓋閉音３１の特徴データに基づいて、後続の判定の対象となる食道通過音３２および喉頭蓋開音３３を仮判定するための専用パラメータを生成する。専用パラメータ生成部２５から提供される、食道通過音３２検出用の専用パラメータは、食道通過音判定用パラメータ記憶部２３１に保存される。専用パラメータ生成部２５から提供される、喉頭蓋開音検出用の専用パラメータは、喉頭蓋開音判定用パラメータ記憶部２４１に記憶される。
判定のための計算に用いられるパラメータの例を説明する。特定周波数におけるスペクトラム強度のピークレベルにより判定する場合、パラメータを、周波数の範囲とピークレベルの閾値と定義する。また、特定周波数におけるスペクトラム強度のピークレベルによる判定以外では、例えば、波形の振幅大きさ、特定周波数帯におけるピーク値の総和（面積）などを判定のためのパラメータと定義する。
専用パラメータは、喉頭蓋閉音３１の後に続く、食道通過音３２および喉頭蓋開音３３を検出するためのパラメータである。喉頭蓋開音検出用の専用パラメータの一例を説明する。ここでは、上述したパラメータの項目のうち、周波数の範囲を喉頭蓋開音検出用にアレンジして専用パラメータを生成する場合で説明する。例えば、同じ一連の嚥下動作を構成する喉頭蓋閉音３１と喉頭蓋開音３３はほぼ同じ周波数においてスペクトル強度の高いピークを持つ可能性が高い。そのため、専用パラメータ生成部２５は、喉頭蓋閉音３１が判定されたパラメータで、喉頭蓋閉音３１に近い周波数を持つスペクトル強度のピークで閾値を超える得点が算出されるような専用パラメータを生成して喉頭蓋開音判定用パラメータ記憶部２４１に保存する。このようにすることで、喉頭蓋開音３３を判定するためのパラメータを、より多くの被験者に適用可能な、喉頭蓋開音３３を検出するための共通のパラメータと比較して、狭い周波数範囲で定義することができる。
以下では、食道通過音検出用の専用パラメータを「通過音専用パラメータ」と称する。また、喉頭蓋開音検出用の専用パラメータを「蓋開音専用パラメータ」と称する。
通過音専用パラメータには、上述したパラメータの他に、食道通過音検出最小時間５１１と食道通過音検出最大時間５１２も含まれる。蓋開音専用パラメータには、上述したパラメータの他に、喉頭蓋開音検出最小時間５２１と喉頭蓋開音検出最大時間５２２も含まれる。なお、食道通過音検出最小時間５１１、食道通過音検出最大時間５１２、喉頭蓋開音検出最小時間５２１および喉頭蓋開音検出最大時間５２２は、後で図を参照して説明する。
専用パラメータは、喉頭蓋閉音３１の後に続く、食道通過音３２および喉頭蓋開音３３を検出するためのパラメータである。喉頭蓋開音検出用の専用パラメータの一例を説明する。ここでは、上述したパラメータの項目のうち、周波数の範囲を喉頭蓋開音検出用にアレンジして専用パラメータを生成する場合で説明する。例えば、同じ一連の嚥下動作を構成する喉頭蓋閉音３１と喉頭蓋開音３３はほぼ同じ周波数においてスペクトル強度の高いピークを持つ可能性が高い。そのため、専用パラメータ生成部２５は、喉頭蓋閉音３１が判定されたパラメータで、喉頭蓋閉音３１に近い周波数を持つスペクトル強度のピークで閾値を超える得点が算出されるような専用パラメータを生成して喉頭蓋開音判定用パラメータ記憶部２４１に保存する。このようにすることで、喉頭蓋開音３３を判定するためのパラメータを、より多くの被験者に適用可能な、喉頭蓋開音３３を検出するための共通のパラメータと比較して、狭い周波数範囲で定義することができる。
以下では、食道通過音検出用の専用パラメータを「通過音専用パラメータ」と称する。また、喉頭蓋開音検出用の専用パラメータを「蓋開音専用パラメータ」と称する。
通過音専用パラメータには、上述したパラメータの他に、食道通過音検出最小時間５１１と食道通過音検出最大時間５１２も含まれる。蓋開音専用パラメータには、上述したパラメータの他に、喉頭蓋開音検出最小時間５２１と喉頭蓋開音検出最大時間５２２も含まれる。なお、食道通過音検出最小時間５１１、食道通過音検出最大時間５１２、喉頭蓋開音検出最小時間５２１および喉頭蓋開音検出最大時間５２２は、後で図を参照して説明する。
喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１に記憶されたパラメータと特徴データ４２を用いて、喉頭蓋閉音３１である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に喉頭蓋閉音３１であることを仮判定する。そして、喉頭蓋閉音判定部２２０は、仮判定された情報を仮判定状態として判定情報記憶部４０に記憶させる。仮判定された情報の詳細は後述する。
食道通過音判定部２３０は、食道通過音判定用パラメータ記憶部２３１に記憶された通過音専用パラメータと特徴データ４２を用いて、食道通過音３２である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に食道通過音３２であることを仮判定する。そして、食道通過音判定部２３０は、仮判定された情報を仮判定状態として判定情報記憶部４０に記憶させる。
喉頭蓋開音判定部２４０は、喉頭蓋開音判定用パラメータ記憶部２４１に記憶された蓋開音専用パラメータと特徴データ４２を用いて、喉頭蓋開音３３である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に喉頭蓋開音３３であることを仮判定する。そして、喉頭蓋開音判定部２４０は、仮判定された情報を仮判定状態として判定情報記憶部４０に記憶させる。
得点の算出方法の一例を説明する。特定周波数におけるスペクトラム強度のピークレベルを対象にして判定する場合、パラメータで指定された周波数範囲に存在するスペクトル強度の全てのピーク値に対して計算したとき、ピーク値が閾値以上であれば１００点以上、閾値未満であれば１００点未満になるような計算式を用いて、得点を算出する。
嚥下音判定部１４２は、喉頭蓋閉音判定部２２０、食道通過音判定部２３０および喉頭蓋開音判定部２４０において、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３の全てが仮判定されたときに、嚥下音としての検出を確定し、検出結果を確定結果保存部１５に結果として保存する。
食道通過音判定部２３０は、食道通過音判定用パラメータ記憶部２３１に記憶された通過音専用パラメータと特徴データ４２を用いて、食道通過音３２である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に食道通過音３２であることを仮判定する。そして、食道通過音判定部２３０は、仮判定された情報を仮判定状態として判定情報記憶部４０に記憶させる。
喉頭蓋開音判定部２４０は、喉頭蓋開音判定用パラメータ記憶部２４１に記憶された蓋開音専用パラメータと特徴データ４２を用いて、喉頭蓋開音３３である可能性を判断するための得点を算出し、その得点が一定の閾値を超えている場合に喉頭蓋開音３３であることを仮判定する。そして、喉頭蓋開音判定部２４０は、仮判定された情報を仮判定状態として判定情報記憶部４０に記憶させる。
得点の算出方法の一例を説明する。特定周波数におけるスペクトラム強度のピークレベルを対象にして判定する場合、パラメータで指定された周波数範囲に存在するスペクトル強度の全てのピーク値に対して計算したとき、ピーク値が閾値以上であれば１００点以上、閾値未満であれば１００点未満になるような計算式を用いて、得点を算出する。
嚥下音判定部１４２は、喉頭蓋閉音判定部２２０、食道通過音判定部２３０および喉頭蓋開音判定部２４０において、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３の全てが仮判定されたときに、嚥下音としての検出を確定し、検出結果を確定結果保存部１５に結果として保存する。
ここで、嚥下音の音声波形を、図３を参照して説明する。図３は、嚥下音のスペクトログラムと音声波形における時系列なフェーズ構成を示す図である。
嚥下音のフェーズは、被験者が食塊を嚥下する際に喉頭蓋が閉じるときに発生する喉頭蓋閉音３１、食塊が食道を通過する際に発生する食道通過音３２、喉頭蓋が開く際に発生する喉頭蓋開音３３の３フェーズで構成されている。図３に示すように、喉頭蓋閉音３１、食道通過音３２、喉頭蓋開音３３の順に発生する。
次に、判定情報記憶部４０に記憶されるデータを説明する。図４は、判定情報記憶部４０に記憶されるデータの一構成例を示す図である。
判定情報記憶部４０は、仮判定された情報である波形サンプル時刻４１、特徴データ４２、判定得点４３、および仮判定ＩＤ（Identifier）４４を記憶する。判定情報記憶部４０は、喉頭蓋閉音３１用、食道通過音３２および喉頭蓋開音３２のそれぞれについて、仮判定された情報を仮判定ＩＤ４４に対応づけて、各仮判定に関連する情報として記憶する。仮判定ＩＤ４４は、状態遷移管理部２１０によって付与され、仮判定された喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を区別するための一意の数値を示す。仮判定ＩＤ４４は、異種音の仮判定毎に付与されるだけでなく、同種音の仮判定も区別可能にするために付与されてもよい。例えば、喉頭蓋閉音３１の場合で説明すると、先に仮判定された喉頭蓋閉音に付与されたＩＤと、新しく仮判定された喉頭蓋閉音に付与されるＩＤが異なるようにする。波形サンプル時刻４１は、喉頭蓋閉音判定部２２０、食道通過音判定部２３０または喉頭蓋開音判定部２４０が判定した音声波形上の時刻を示す。特徴データ４２は、上述したように、波形の振幅ピーク値、周波数毎のスペクトル強度など、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を判定するために必要なデータである。
嚥下音のフェーズは、被験者が食塊を嚥下する際に喉頭蓋が閉じるときに発生する喉頭蓋閉音３１、食塊が食道を通過する際に発生する食道通過音３２、喉頭蓋が開く際に発生する喉頭蓋開音３３の３フェーズで構成されている。図３に示すように、喉頭蓋閉音３１、食道通過音３２、喉頭蓋開音３３の順に発生する。
次に、判定情報記憶部４０に記憶されるデータを説明する。図４は、判定情報記憶部４０に記憶されるデータの一構成例を示す図である。
判定情報記憶部４０は、仮判定された情報である波形サンプル時刻４１、特徴データ４２、判定得点４３、および仮判定ＩＤ（Identifier）４４を記憶する。判定情報記憶部４０は、喉頭蓋閉音３１用、食道通過音３２および喉頭蓋開音３２のそれぞれについて、仮判定された情報を仮判定ＩＤ４４に対応づけて、各仮判定に関連する情報として記憶する。仮判定ＩＤ４４は、状態遷移管理部２１０によって付与され、仮判定された喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を区別するための一意の数値を示す。仮判定ＩＤ４４は、異種音の仮判定毎に付与されるだけでなく、同種音の仮判定も区別可能にするために付与されてもよい。例えば、喉頭蓋閉音３１の場合で説明すると、先に仮判定された喉頭蓋閉音に付与されたＩＤと、新しく仮判定された喉頭蓋閉音に付与されるＩＤが異なるようにする。波形サンプル時刻４１は、喉頭蓋閉音判定部２２０、食道通過音判定部２３０または喉頭蓋開音判定部２４０が判定した音声波形上の時刻を示す。特徴データ４２は、上述したように、波形の振幅ピーク値、周波数毎のスペクトル強度など、喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３を判定するために必要なデータである。
図５は、食道通過音３２と喉頭蓋開音３３を仮判定可能な期間を示す図である。
食道通過音３２は、喉頭蓋閉音３１を検出した時間から食道通過音検出最小時間５１１以上で食道通過音検出最大時間５１２以下の経過時間内である食道通過音検出可能期間５１で仮判定することができる。
喉頭蓋開音３３は、食道通過音３２を検出した時間から喉頭蓋開音検出最小時間５２１以上で喉頭蓋開音検出最大時間５２２以下の経過時間内である喉頭蓋開音検出可能期間５２で仮判定することができる。
食道通過音３２は、喉頭蓋閉音３１を検出した時間から食道通過音検出最小時間５１１以上で食道通過音検出最大時間５１２以下の経過時間内である食道通過音検出可能期間５１で仮判定することができる。
喉頭蓋開音３３は、食道通過音３２を検出した時間から喉頭蓋開音検出最小時間５２１以上で喉頭蓋開音検出最大時間５２２以下の経過時間内である喉頭蓋開音検出可能期間５２で仮判定することができる。
次に、本実施形態の嚥下検出装置の動作を説明する。
図６は本実施形態の嚥下検出方法における状態遷移を説明するための状態遷移図である。
装置の初期状態では、ステップＳ１１の喉頭蓋閉音待ち状態において、状態遷移管理部２１０は喉頭蓋閉音判定部２２０を選択し、喉頭蓋閉音３１の識別待ち状態となっている。 ステップＳ１１において、状態遷移管理部２１０は判定部として選択している喉頭蓋閉音判定部２２０に特徴データ４２を渡す。
ステップＳ１１において、喉頭蓋閉音判定部２２０が喉頭蓋閉音３１を検出すると、喉頭蓋閉音判定部２２０は検出した喉頭蓋閉音３１を仮判定し、状態遷移管理部２１０はステップＳ１２の食道通過音待ち状態に遷移する。
図６は本実施形態の嚥下検出方法における状態遷移を説明するための状態遷移図である。
装置の初期状態では、ステップＳ１１の喉頭蓋閉音待ち状態において、状態遷移管理部２１０は喉頭蓋閉音判定部２２０を選択し、喉頭蓋閉音３１の識別待ち状態となっている。 ステップＳ１１において、状態遷移管理部２１０は判定部として選択している喉頭蓋閉音判定部２２０に特徴データ４２を渡す。
ステップＳ１１において、喉頭蓋閉音判定部２２０が喉頭蓋閉音３１を検出すると、喉頭蓋閉音判定部２２０は検出した喉頭蓋閉音３１を仮判定し、状態遷移管理部２１０はステップＳ１２の食道通過音待ち状態に遷移する。
ステップＳ１２において、状態遷移管理部２１０は判定部として喉頭蓋閉音判定部２２０と食道通過音判定部２３０を選択し、食道通過音３２の識別待ち状態となる。 このステップにおいては、置換可能性のある喉頭蓋閉音３１の解析のために喉頭蓋閉音判定部２２０も選択されている。 ステップＳ１２において、状態遷移管理部２１０は判定部として選択している喉頭蓋閉音判定部２２０と食道通過音判定部２３０に特徴データ４２を渡す。
ステップＳ１２において、食道通過音判定部２３０が食道通過音３２を検出すると、食道通過音判定部２３０は検出した食道通過音３２を仮判定し、状態遷移管理部２１０はステップＳ１３の喉頭蓋開音待ち状態に遷移する。 また、ステップＳ１２において、状態遷移管理部２１０が喉頭蓋閉音の仮判定を取り消す条件を検出すると、喉頭蓋閉音３１の仮判定を取り消してステップ１１に戻る。
また、ステップＳ１２において、喉頭蓋閉音判定部２２０が新たな喉頭蓋閉音３１を検出し、その得点が先に仮判定された喉頭蓋閉音３１の得点よりも高い場合には、状態遷移管理部２１０はステップＳ１５に遷移する。そして、喉頭蓋閉音判定部２２０は、先の喉頭蓋閉音３１の仮判定を取り消し、新しい喉頭蓋閉音３１の仮判定に置換し、ステップＳ１２に戻る。
ステップＳ１２において、食道通過音判定部２３０が食道通過音３２を検出すると、食道通過音判定部２３０は検出した食道通過音３２を仮判定し、状態遷移管理部２１０はステップＳ１３の喉頭蓋開音待ち状態に遷移する。 また、ステップＳ１２において、状態遷移管理部２１０が喉頭蓋閉音の仮判定を取り消す条件を検出すると、喉頭蓋閉音３１の仮判定を取り消してステップ１１に戻る。
また、ステップＳ１２において、喉頭蓋閉音判定部２２０が新たな喉頭蓋閉音３１を検出し、その得点が先に仮判定された喉頭蓋閉音３１の得点よりも高い場合には、状態遷移管理部２１０はステップＳ１５に遷移する。そして、喉頭蓋閉音判定部２２０は、先の喉頭蓋閉音３１の仮判定を取り消し、新しい喉頭蓋閉音３１の仮判定に置換し、ステップＳ１２に戻る。
ステップＳ１３において、状態遷移管理部２１０は、判定部として喉頭蓋開音判定部２４０を選択し、喉頭蓋開音３３の識別待ち状態となる。ステップＳ１３において、状態遷移管理部２１０は判定部として選択している喉頭蓋開音判定部２４０に特徴データ４２を渡す。
ステップＳ１３において、喉頭蓋開音判定部２４０が喉頭蓋開音３３を検出すると、喉頭蓋開音判定部２４０は検出した喉頭蓋開音３３を仮判定し、状態遷移管理部２１０はステップ１４の嚥下音確定状態に遷移する。 また、ステップＳ１３において、状態遷移管理部２１０が喉頭蓋閉音の仮判定を取り消す条件が成立すると、喉頭蓋閉音３１と食道通過音３２の仮判定を取り消してステップ１１に戻る。
ステップＳ１３において、喉頭蓋開音判定部２４０が喉頭蓋開音３３を検出すると、喉頭蓋開音判定部２４０は検出した喉頭蓋開音３３を仮判定し、状態遷移管理部２１０はステップ１４の嚥下音確定状態に遷移する。 また、ステップＳ１３において、状態遷移管理部２１０が喉頭蓋閉音の仮判定を取り消す条件が成立すると、喉頭蓋閉音３１と食道通過音３２の仮判定を取り消してステップ１１に戻る。
次に、本実施形態の嚥下検出装置による嚥下検出方法を、図７を参照して説明する。
図７は本実施形態の嚥下検出方法の手順を示すフローチャートである。
装置の初期状態では、ステップＳ１１において、状態遷移管理部２１０は喉頭蓋閉音３１の識別待ち状態となっている。状態遷移管理部２１０は判定部として喉頭蓋閉音判定部２２０を選択しているため、音声波形演算部１４１が抽出した特徴データ４２は、喉頭蓋閉音判定部２２０に入力される。喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１に記憶されているパラメータを用いて、特徴データ４２の解析を行い、喉頭蓋閉音３１を判定するための得点を算出する。
ステップＳ１１１において、喉頭蓋閉音判定部２２０は、算出された得点に基づいて、喉頭蓋閉音検出か否かを判定する。すなわち、喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１に記憶されているパラメータを用いて、特徴データ４２の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、喉頭蓋閉音判定部２２０は、喉頭蓋閉音３１の可能性が高いと判断し、ステップＳ１１２において、喉頭蓋閉音３１として仮判定する。
一方、ステップＳ１１１において、喉頭蓋閉音判定部２２０は、算出した得点が閾値より小さく、喉頭蓋閉音３１の可能性は無いと判断した場合、処理はステップＳ１１に戻り、音声波形演算部１４１は、次の音声波形データの分析に入る。
図７は本実施形態の嚥下検出方法の手順を示すフローチャートである。
装置の初期状態では、ステップＳ１１において、状態遷移管理部２１０は喉頭蓋閉音３１の識別待ち状態となっている。状態遷移管理部２１０は判定部として喉頭蓋閉音判定部２２０を選択しているため、音声波形演算部１４１が抽出した特徴データ４２は、喉頭蓋閉音判定部２２０に入力される。喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１に記憶されているパラメータを用いて、特徴データ４２の解析を行い、喉頭蓋閉音３１を判定するための得点を算出する。
ステップＳ１１１において、喉頭蓋閉音判定部２２０は、算出された得点に基づいて、喉頭蓋閉音検出か否かを判定する。すなわち、喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１に記憶されているパラメータを用いて、特徴データ４２の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、喉頭蓋閉音判定部２２０は、喉頭蓋閉音３１の可能性が高いと判断し、ステップＳ１１２において、喉頭蓋閉音３１として仮判定する。
一方、ステップＳ１１１において、喉頭蓋閉音判定部２２０は、算出した得点が閾値より小さく、喉頭蓋閉音３１の可能性は無いと判断した場合、処理はステップＳ１１に戻り、音声波形演算部１４１は、次の音声波形データの分析に入る。
ステップＳ１１１の判定の結果、喉頭蓋閉音判定部２２０は、ステップＳ１１２で喉頭蓋閉音３１として仮判定した音声波形の波形サンプル時刻４１、特徴データ４２および判定得点４３を仮判定ＩＤ４４と一緒に仮判定状態として判定情報記憶部４０に記憶する。
ステップＳ１１３において、喉頭蓋閉音判定部２２０は、ステップ１１１において仮判定した喉頭蓋閉音３１の特徴データ４２を専用パラメータ生成部２５に入力する。専用パラメータ生成部２５は、ステップ１１１で仮判定された喉頭蓋閉音３１と相関関係のある、１つの嚥下音を構成する後続のフェーズである食道通過音３２と喉頭蓋開音３２を識別するための専用パラメータを算出する。そして、専用パラメータ生成部２５は、食道通過音３２および喉頭蓋開音３２の専用パラメータのそれぞれを食道通過音判定用パラメータ記憶部２３１および喉頭蓋開音判定用パラメータ記憶部２４１のそれぞれに記憶させる。
ステップＳ１１３において、喉頭蓋閉音判定部２２０は、ステップ１１１において仮判定した喉頭蓋閉音３１の特徴データ４２を専用パラメータ生成部２５に入力する。専用パラメータ生成部２５は、ステップ１１１で仮判定された喉頭蓋閉音３１と相関関係のある、１つの嚥下音を構成する後続のフェーズである食道通過音３２と喉頭蓋開音３２を識別するための専用パラメータを算出する。そして、専用パラメータ生成部２５は、食道通過音３２および喉頭蓋開音３２の専用パラメータのそれぞれを食道通過音判定用パラメータ記憶部２３１および喉頭蓋開音判定用パラメータ記憶部２４１のそれぞれに記憶させる。
ステップＳ１２において、状態遷移管理部２１０は食道通過音３２の識別待ち状態となる。 状態遷移管理部２１０は判定部として喉頭蓋閉音判定部２２０と食道通過音判定部２３０を選択しているため、音声波形演算部１４１が抽出した特徴データ４２は、喉頭蓋閉音判定部２２０と食道通過音判定部２３０に入力される。喉頭蓋閉音判定部２２０は、喉頭蓋閉音判定用パラメータ記憶部２２１に記憶されているパラメータを用いて、特徴データ４２の解析を行い、喉頭蓋閉音３１の置換を判定するための得点を算出する。 また、食道通過音判定部２３０は、食道通過音判定用パラメータ記憶部２３１に記憶されている専用パラメータを用いて、特徴データ４２の解析を行い、食道通過音３２を判定するための得点を算出する。
ステップＳ１２１において、状態遷移管理部２１０は、判定情報記憶部４０が記憶する、音声波形データの波形サンプル時刻４１を確認し、食道通過音検出最小時間５１１を経過していなければ、まだ有効な食道通過音３２の検出はできないため、ステップＳ１２に戻る。
ステップＳ１２１において、状態遷移管理部２１０は、判定情報記憶部４０が記憶する、音声波形データの波形サンプル時刻４１を確認し、食道通過音検出最小時間５１１を経過していなければ、まだ有効な食道通過音３２の検出はできないため、ステップＳ１２に戻る。
ステップＳ１２２において、音声波形データの波形サンプル時刻４１が食道通過音検出最大時間５１２を経過していた場合や、特徴データ４２の解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの取消条件に合致した場合、喉頭蓋閉音判定部２２０は、仮判定された喉頭蓋閉音３１は雑音であったと判断する。そして、ステップＳ１２３において、喉頭蓋閉音判定部２２０は、喉頭蓋閉音３１の仮判定を取消し、これに関連して判定情報記憶部４０に記憶されていた仮判定状態の情報も削除し、ステップＳ１１に戻り、新たな喉頭蓋閉音３１の待ち状態に入る。
ステップＳ１２４において、喉頭蓋閉音判定部２２０は、ステップＳ１２で算出された喉頭蓋閉音３１の置換を判定するための得点に基づいて、喉頭蓋閉音検出か否かを判定する。喉頭蓋閉音判定部２２０は、新たに検出された喉頭蓋閉音の得点が、予め設定されている所定の閾値以上の場合は喉頭蓋閉音３１の可能性が高いと判断し、喉頭蓋閉音３１として仮判定し、ステップＳ１２５に進む。 一方、ステップＳ１２４において、算出した得点が閾値より小さく、喉頭蓋閉音３１の可能性は無いと判断した場合、ステップＳ１２６に進む。
ステップＳ１２５において、喉頭蓋閉音判定部２２０は、ステップＳ１２で最新の喉頭蓋閉音３１として仮判定された得点と、既に仮判定された、判定情報記憶部４０に記憶されている喉頭蓋閉音３１の得点とどちらが大きいか比較することで、喉頭蓋閉音３１の仮判定を置換するか否かを判定する。最新の喉頭蓋閉音の得点が大きい場合はステップＳ１５に進む。
ステップＳ１２４において、喉頭蓋閉音判定部２２０は、ステップＳ１２で算出された喉頭蓋閉音３１の置換を判定するための得点に基づいて、喉頭蓋閉音検出か否かを判定する。喉頭蓋閉音判定部２２０は、新たに検出された喉頭蓋閉音の得点が、予め設定されている所定の閾値以上の場合は喉頭蓋閉音３１の可能性が高いと判断し、喉頭蓋閉音３１として仮判定し、ステップＳ１２５に進む。 一方、ステップＳ１２４において、算出した得点が閾値より小さく、喉頭蓋閉音３１の可能性は無いと判断した場合、ステップＳ１２６に進む。
ステップＳ１２５において、喉頭蓋閉音判定部２２０は、ステップＳ１２で最新の喉頭蓋閉音３１として仮判定された得点と、既に仮判定された、判定情報記憶部４０に記憶されている喉頭蓋閉音３１の得点とどちらが大きいか比較することで、喉頭蓋閉音３１の仮判定を置換するか否かを判定する。最新の喉頭蓋閉音の得点が大きい場合はステップＳ１５に進む。
ステップＳ１５において、喉頭蓋閉音判定部２２０は、判定情報記憶部４０に既に記憶されていた先の喉頭蓋閉音３１の仮判定状態の情報を、ステップＳ１２で置換用として仮判定された喉頭蓋閉音３１の音声波形の波形サンプル時刻４１、特徴データ４２、判定得点４３および仮判定ＩＤ４４の情報に更新することで、喉頭蓋閉音の仮判定の置換を実行する。 喉頭蓋閉音３１の仮判定が置換されたことにより、後続の食道通過音３２と喉頭蓋開音３３の専用パラメータも置換された喉頭蓋閉音３１の特徴データ４２で再生成する必要がある。そのため、喉頭蓋閉音判定部２２０は、最新の喉頭蓋閉音３１の特徴データ４２を専用パラメータ生成部２５に入力する。専用パラメータ生成部２５は、更新された特徴データ４２に基づいて食道通過音３２と喉頭蓋開音３２を識別するための専用パラメータを算出し、食道通過音判定用パラメータ記憶部２３１と喉頭蓋開音判定用パラメータ記憶部２４１に記憶された専用パラメータを更新する。
ステップＳ１２５において、最新の得点がすでに仮判定されている喉頭蓋閉音３１の得点以下の場合、置換は行わず、処理はステップＳ１２６に進む。
ステップＳ１２５において、最新の得点がすでに仮判定されている喉頭蓋閉音３１の得点以下の場合、置換は行わず、処理はステップＳ１２６に進む。
ステップＳ１２６において、食道通過音判定部２３０は、ステップＳ１２で算出された得点に基づいて、食道通過音検出か否かを判定する。
すなわち、食道通過音判定部２３０は、食道通過音判定用パラメータ記憶部２３１に記憶されている専用パラメータを用いて、特徴データ４２の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、食道通過音判定部２３０は、食道通過音３２の可能性が高いと判断し、ステップＳ１２７において、食道通過音３２として仮判定する。
一方、ステップＳ１２６において、算出した得点が閾値より小さく、食道通過音３２の可能性は無いと判断した場合、処理はステップＳ１２に戻る。
ステップＳ１２６の判定の結果、食道通過音判定部２３０は、ステップＳ１２７で食道通過音３２として仮判定した音声波形の波形サンプル時刻４１、特徴データ４２および判定得点４３を仮判定ＩＤ４４と一緒に判定情報記憶部４０に記憶する。
すなわち、食道通過音判定部２３０は、食道通過音判定用パラメータ記憶部２３１に記憶されている専用パラメータを用いて、特徴データ４２の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、食道通過音判定部２３０は、食道通過音３２の可能性が高いと判断し、ステップＳ１２７において、食道通過音３２として仮判定する。
一方、ステップＳ１２６において、算出した得点が閾値より小さく、食道通過音３２の可能性は無いと判断した場合、処理はステップＳ１２に戻る。
ステップＳ１２６の判定の結果、食道通過音判定部２３０は、ステップＳ１２７で食道通過音３２として仮判定した音声波形の波形サンプル時刻４１、特徴データ４２および判定得点４３を仮判定ＩＤ４４と一緒に判定情報記憶部４０に記憶する。
ステップＳ１３において、状態遷移管理部２１０は喉頭蓋開音３３の識別待ち状態となる。 状態遷移管理部２１０は判定部として食道通過音判定部２３０と喉頭蓋開音判定部２４０を選択しているため、音声波形演算部１４１が抽出した特徴データ４２は、食道通過音判定部２３０と喉頭蓋開音判定部２４０に入力される。喉頭蓋開音判定部２４０は、喉頭蓋閉音判定用パラメータ記憶部２４１に記憶されているパラメータを用いて、特徴データ４２の解析を行い、喉頭蓋開音３３を判定するための得点を算出する。
ステップＳ１３１において、音声波形データの波形サンプル時刻４１を確認し、喉頭蓋開音検出最小時間５２１を経過していなければ、まだ有効な喉頭蓋開音３３の検出ができないため、ステップＳ１３に戻る。
ステップＳ１３２において、音声波形データの波形サンプル時刻４１が喉頭蓋開音検出最大時間５２２を経過している場合や、特徴データ４２の解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの取消条件に合致した場合には、食道通過音判定部２３０は、仮判定された喉頭蓋閉音３１と食道通過音３２は雑音であった判断する。そして、ステップＳ１３３において、食道通過音判定部２３０は、喉頭蓋閉音３１と食道通過音３２の仮判定を取消し、これに関連して判定情報記憶部４０に記憶されていた仮判定状態の情報も削除し、ステップＳ１１に戻り、新たな喉頭蓋閉音３１の待ち状態に入る。
ステップＳ１３４において、喉頭蓋開音判定部２４０は、算出された得点に基づいて、喉頭蓋開音検出か否かを判定する。
すなわち、喉頭蓋開音判定部２４０は、喉頭蓋開音判定用パラメータ記憶部２４１に記憶されている専用パラメータを用いて、特徴データ４２の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、喉頭蓋開音判定部２４０は、喉頭蓋開音３３の可能性が高いと判断し、ステップＳ１３５において、喉頭蓋開音３３として仮判定する。
一方、ステップＳ１３４において、喉頭蓋開音判定部２４０は、算出した得点が閾値より小さく、喉頭蓋開音３３の可能性は無いと判断した場合、処理はステップＳ１３に戻り、音声波形演算部１４１は、次の音声波形データの分析に入る。
ステップＳ１３４の判定の結果、喉頭蓋開音判定部２４０は、ステップＳ１３５で喉頭蓋開音３３として仮判定された音声波形の波形サンプル時刻４１と特徴データ４２と判定得点４３と仮判定ＩＤ４４を判定情報記憶部４０に記憶する。
喉頭蓋開音３３が仮判定されたことにより、１つの嚥下音を構成する喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３の全てが検出されたことになるため、ステップＳ１４において、状態遷移管理部２１０は嚥下音確定状態に遷移する。そして、嚥下音判定部１４２は、嚥下音としての検出を確定し、判定情報記憶部４０に記憶していた仮判定状態の情報を確定情報として確定結果保存部１５に記憶する。
ステップＳ１３１において、音声波形データの波形サンプル時刻４１を確認し、喉頭蓋開音検出最小時間５２１を経過していなければ、まだ有効な喉頭蓋開音３３の検出ができないため、ステップＳ１３に戻る。
ステップＳ１３２において、音声波形データの波形サンプル時刻４１が喉頭蓋開音検出最大時間５２２を経過している場合や、特徴データ４２の解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの取消条件に合致した場合には、食道通過音判定部２３０は、仮判定された喉頭蓋閉音３１と食道通過音３２は雑音であった判断する。そして、ステップＳ１３３において、食道通過音判定部２３０は、喉頭蓋閉音３１と食道通過音３２の仮判定を取消し、これに関連して判定情報記憶部４０に記憶されていた仮判定状態の情報も削除し、ステップＳ１１に戻り、新たな喉頭蓋閉音３１の待ち状態に入る。
ステップＳ１３４において、喉頭蓋開音判定部２４０は、算出された得点に基づいて、喉頭蓋開音検出か否かを判定する。
すなわち、喉頭蓋開音判定部２４０は、喉頭蓋開音判定用パラメータ記憶部２４１に記憶されている専用パラメータを用いて、特徴データ４２の解析を行い、算出した得点が、予め設定されている所定の閾値以上か否かを判定する。算出した得点が閾値以上の場合、喉頭蓋開音判定部２４０は、喉頭蓋開音３３の可能性が高いと判断し、ステップＳ１３５において、喉頭蓋開音３３として仮判定する。
一方、ステップＳ１３４において、喉頭蓋開音判定部２４０は、算出した得点が閾値より小さく、喉頭蓋開音３３の可能性は無いと判断した場合、処理はステップＳ１３に戻り、音声波形演算部１４１は、次の音声波形データの分析に入る。
ステップＳ１３４の判定の結果、喉頭蓋開音判定部２４０は、ステップＳ１３５で喉頭蓋開音３３として仮判定された音声波形の波形サンプル時刻４１と特徴データ４２と判定得点４３と仮判定ＩＤ４４を判定情報記憶部４０に記憶する。
喉頭蓋開音３３が仮判定されたことにより、１つの嚥下音を構成する喉頭蓋閉音３１、食道通過音３２および喉頭蓋開音３３の全てが検出されたことになるため、ステップＳ１４において、状態遷移管理部２１０は嚥下音確定状態に遷移する。そして、嚥下音判定部１４２は、嚥下音としての検出を確定し、判定情報記憶部４０に記憶していた仮判定状態の情報を確定情報として確定結果保存部１５に記憶する。
本実施形態によれば、嚥下音判定において、状態遷移管理部が喉頭蓋閉音待ち状態、食道通過音待ち状態、および喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理しているので、３つの待ち状態間を柔軟に遷移することを可能としている。そのため、嚥下音を構成する３つの音のいずれかに雑音が混入した場合、１つ以上前の待ち状態に戻って音を検出し直すことが可能となる。その結果、嚥下音の検出に３つの音が時系列で発生することを前提として、多くの被験者に共通のパラメータを適用する場合に比べて、嚥下と雑音を適切に識別し、より正確に嚥下を検出することができる。
また、本実施形態では、状態遷移管理部が、３つの待ち状態において、喉頭蓋閉音判定部、食道通過音判定部および喉頭蓋開音判定部から判定部として１つまたは複数を選択し、仮判定状態が記憶される毎に状態遷移する。食道通過音待ち状態に遷移した後、状態遷移管理部が判定部として喉頭蓋閉音判定部および食道通過音判定部を選択した場合、先に仮判定された喉頭蓋閉音よりも得点の高い喉頭蓋閉音が検出されることが考えられる。この場合、先に仮判定された喉頭蓋閉音が雑音である可能性が高く、喉頭蓋閉音をより確実に検出することができる。
特許文献１および特許文献２に開示された方法では、咳きや発声、首を動かした際にマイクが頸部に擦れる音など、嚥下音以外の雑音がパラメータの周波数範囲に偶然に一致すると、結果として、その雑音が喉頭蓋閉音、食道通過音および喉頭蓋開音のうち、いずれかの音と間違って識別される可能性が高くなる。考えられる理由は、次の通りである。喉頭蓋閉音、食道通過音および喉頭蓋開音毎に固定の周波数範囲となるパラメータを定義し、全ての嚥下を同じ汎用パラメータで検出できるようにするためには全ての周波数範囲を包括しており、パラメータの周波数範囲が広くなる傾向がある。その結果、パラメータの周波数範囲が広くなると、雑音がパラメータの周波数範囲に偶然一致する確率が高くなるためである。
これに対して、本実施形態では、同じ一連の嚥下動作を構成する喉頭蓋閉音と喉頭蓋開音は近い周波数においてスペクトル強度の高いピークを持つ可能性が高いため、喉頭蓋閉音が仮判定されたとき、専用パラメータ生成部が仮判定された喉頭蓋閉音と相関関係のある専用パラメータを動的に生成している。そのため、汎用のパラメータに比較して狭い周波数範囲に一致する食道通過音と喉頭蓋開音だけが仮判定され、雑音にこの周波数範囲が入る確率が下がる。その結果、食道通過音と喉頭蓋開音のパラメータの周波数範囲に一致する雑音が偶発的に発生しても、このような雑音を間違って食道通過音や喉頭蓋開音として検出する可能性を下げることができる。
これに対して、本実施形態では、同じ一連の嚥下動作を構成する喉頭蓋閉音と喉頭蓋開音は近い周波数においてスペクトル強度の高いピークを持つ可能性が高いため、喉頭蓋閉音が仮判定されたとき、専用パラメータ生成部が仮判定された喉頭蓋閉音と相関関係のある専用パラメータを動的に生成している。そのため、汎用のパラメータに比較して狭い周波数範囲に一致する食道通過音と喉頭蓋開音だけが仮判定され、雑音にこの周波数範囲が入る確率が下がる。その結果、食道通過音と喉頭蓋開音のパラメータの周波数範囲に一致する雑音が偶発的に発生しても、このような雑音を間違って食道通過音や喉頭蓋開音として検出する可能性を下げることができる。
また、特許文献２に開示された方法では、喉頭蓋閉音の周波数範囲と一致する雑音、食道通過音の周波数範囲と一致する雑音、喉頭蓋開音の周波数範囲と一致する雑音がこの順番で偶然に出現した場合、これらの３音を間違って嚥下音として検出してしまうおそれがある。その理由は、パラメータの周波数範囲に一致するかどうかの条件だけで、喉頭蓋閉音、食道通過音および喉頭蓋開音の検出を行い、それら３音全てが順番に検出されれば嚥下音の検出として確定しているためである。
これに対して、本実施形態では、喉頭蓋閉音、食道通過音および喉頭蓋開音の周波数特性に一致する雑音が偶発的に連続して発生しても、雑音間の時間が規定の時間以上であった場合や、雑音間で波形の特徴などの解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの予め規定した取消条件に合致した場合には、間違って雑音を仮判定したと判断できる。そのため、喉頭蓋閉音、食道通過音および喉頭蓋開音の周波数特性に一致する雑音が偶発的に連続して発生した場合でも、間違って嚥下音として認識する可能性を下げることができる。
これに対して、本実施形態では、喉頭蓋閉音、食道通過音および喉頭蓋開音の周波数特性に一致する雑音が偶発的に連続して発生しても、雑音間の時間が規定の時間以上であった場合や、雑音間で波形の特徴などの解析により嚥下音とは異なる雑音だけにある特徴が検出されるなどの予め規定した取消条件に合致した場合には、間違って雑音を仮判定したと判断できる。そのため、喉頭蓋閉音、食道通過音および喉頭蓋開音の周波数特性に一致する雑音が偶発的に連続して発生した場合でも、間違って嚥下音として認識する可能性を下げることができる。
さらに、特許文献１および特許文献２に開示された方法では、一度間違って雑音を喉頭蓋閉音として識別したあとで、本当の喉頭蓋閉音が発生した場合には、本当の喉頭蓋閉音の識別ができないおそれがある。その理由は、識別方法として、音が喉頭蓋閉音として共通パラメータで定義された周波数範囲に入っていれば検出を確定しているため、一度確定したあとに本当の喉頭蓋閉音が発生しても、すでに喉頭蓋閉音は確定しているため、本当の喉頭蓋閉音の判定を行わないためである。
これに対して、本実施形態では、雑音に比較して、本当の喉頭蓋閉音の方がより高い得点の算出ができる可能性が高いパラメータと計算式を定義している。そのため、雑音を仮判定した後でも、本当の喉頭蓋閉音の仮判定に置換される可能性が高くなる。その結果、間違って雑音を喉頭蓋閉音として仮判定した後で、本当の喉頭蓋閉音が発生した場合でも、雑音の仮判定を破棄し、本当の喉頭蓋閉音を仮判定できる。
これに対して、本実施形態では、雑音に比較して、本当の喉頭蓋閉音の方がより高い得点の算出ができる可能性が高いパラメータと計算式を定義している。そのため、雑音を仮判定した後でも、本当の喉頭蓋閉音の仮判定に置換される可能性が高くなる。その結果、間違って雑音を喉頭蓋閉音として仮判定した後で、本当の喉頭蓋閉音が発生した場合でも、雑音の仮判定を破棄し、本当の喉頭蓋閉音を仮判定できる。
なお、上述の実施形態において、以下のような構成にしてもよい。
嚥下音を待つ状態を喉頭蓋閉音待ち、食道通過音待ち、喉頭蓋開音待ちの３つの状態ではなく、喉頭蓋閉音待ち、食道通過音待ちなどの２つに減らして簡便化してもよい。
嚥下音を待つ状態を喉頭蓋閉音待ち、食道通過音待ち、喉頭蓋開音待ちの３つの状態だけではなく、軟口蓋の音など他の音を待つ状態を増やしてさらに検出の精度を高くしてもよい。
喉頭蓋開音待ちと嚥下音確定の状態の間に一定時間を待つだけの状態を追加することにより、嚥下終了直後に発生する可能性が高い雑音を誤って喉頭蓋閉音として仮判定する可能性を下げる構成としてもよい。
仮判定の取り消し条件における雑音の特徴は、特定周波数におけるスペクトル強度が予め設定された閾値以下の状態が一定時間継続した場合は雑音として判定してもよい。
また、音声波形のケプストラム分析の結果、特定の周波数帯において、一定の閾値以上のピークが検出された場合には、嚥下ではなく声など嚥下以外の音、つまり雑音として判定するようにしてもよい。
雑音の場合は、複数周波数の成分が重複した波形になっている可能性が高いため、音声波形のフーリエ変換を行った結果の曲線に現れるピークの数が、嚥下の場合に比較して多い可能性が高い。そのため、ピークの数が所定の数よりも多い場合に雑音と判定するようにしてもよい。
嚥下音を待つ状態を喉頭蓋閉音待ち、食道通過音待ち、喉頭蓋開音待ちの３つの状態ではなく、喉頭蓋閉音待ち、食道通過音待ちなどの２つに減らして簡便化してもよい。
嚥下音を待つ状態を喉頭蓋閉音待ち、食道通過音待ち、喉頭蓋開音待ちの３つの状態だけではなく、軟口蓋の音など他の音を待つ状態を増やしてさらに検出の精度を高くしてもよい。
喉頭蓋開音待ちと嚥下音確定の状態の間に一定時間を待つだけの状態を追加することにより、嚥下終了直後に発生する可能性が高い雑音を誤って喉頭蓋閉音として仮判定する可能性を下げる構成としてもよい。
仮判定の取り消し条件における雑音の特徴は、特定周波数におけるスペクトル強度が予め設定された閾値以下の状態が一定時間継続した場合は雑音として判定してもよい。
また、音声波形のケプストラム分析の結果、特定の周波数帯において、一定の閾値以上のピークが検出された場合には、嚥下ではなく声など嚥下以外の音、つまり雑音として判定するようにしてもよい。
雑音の場合は、複数周波数の成分が重複した波形になっている可能性が高いため、音声波形のフーリエ変換を行った結果の曲線に現れるピークの数が、嚥下の場合に比較して多い可能性が高い。そのため、ピークの数が所定の数よりも多い場合に雑音と判定するようにしてもよい。
食道通過音３２と喉頭蓋開音３３の専用パラメータには、喉頭蓋閉音３１の特徴データ４２と相反する条件を付加することで、類似した周波数特性が連続した雑音データを間違って識別する可能性を下げるようにしてもよい。 例えば、図３から明らかなように、喉頭蓋閉音３１は高周波の成分が少ないのに対して、食道通過音３２は高周波成分が多い。このことから、食道通過音３２の専用パラメータは高周波成分が多いときに高得点が得られるパラメータを設定する。その結果、先に喉頭蓋閉音３１として仮判定した波形が雑音を誤認識している場合には、その雑音が連続していても、高周波成分が少ないため食道通過音３２として間違って識別されることはなくなる。
上述の実施形態では、仮判定の置換を喉頭蓋閉音３１で実施する場合で説明したが、食道通過音３２および喉頭蓋開音３３においても同様に置換を実施してもよい。
上述の実施形態では、ステップＳ１２２で喉頭蓋閉音３１の取消条件の判定を実施する場合で説明したが、この取消判定は実施しない形態であってもよい。
上述の実施形態では、ステップＳ１３２で食道通過音３２の取消条件の判定を実施する場合で説明したが、この取消判定は実施しない形態であってもよい。
上述の実施形態では、仮判定の置換を喉頭蓋閉音３１で実施する場合で説明したが、食道通過音３２および喉頭蓋開音３３においても同様に置換を実施してもよい。
上述の実施形態では、ステップＳ１２２で喉頭蓋閉音３１の取消条件の判定を実施する場合で説明したが、この取消判定は実施しない形態であってもよい。
上述の実施形態では、ステップＳ１３２で食道通過音３２の取消条件の判定を実施する場合で説明したが、この取消判定は実施しない形態であってもよい。
さらに、本実施形態の嚥下検出方法を、図８および図９に示す情報処理装置に実行させることも可能である。
図８は本実施形態の嚥下検出装置の他の構成例を示すブロック図である。
図８に示す嚥下検出装置３００は、図１に示した音声解析部１４０と、記憶部３１０とを有する。記憶部３１０は、図１に示した確定結果保存部１５と図２に示した判定情報記憶部４０の役割を担っている。
図８に示す嚥下検出装置３００は、分析対象の音声波形データが他の装置から通信回線（不図示）を介して入力される場合や分析対象の音声波形データが記録媒体（不図示）を介して入力される場合などにおいて、上述した本実施形態の嚥下検出方法を実行することが可能である。
図８は本実施形態の嚥下検出装置の他の構成例を示すブロック図である。
図８に示す嚥下検出装置３００は、図１に示した音声解析部１４０と、記憶部３１０とを有する。記憶部３１０は、図１に示した確定結果保存部１５と図２に示した判定情報記憶部４０の役割を担っている。
図８に示す嚥下検出装置３００は、分析対象の音声波形データが他の装置から通信回線（不図示）を介して入力される場合や分析対象の音声波形データが記録媒体（不図示）を介して入力される場合などにおいて、上述した本実施形態の嚥下検出方法を実行することが可能である。
図９は図８に示した嚥下検出装置をコンピュータに置き換えた場合の構成例を示すブロック図である。図９に示す嚥下検出装置３３０は記憶部３１０および制御部３４０を有するコンピュータである。
制御部３４０は、プログラムを記憶するメモリ３４１と、プログラムにしたがって処理を実行するＣＰＵ（Central Processing Unit）３４２とを有する。記憶部３１０は、例えば、ハードディスク装置である。メモリ３４１は、例えば、フラッシュメモリを含む不揮発性メモリであるが、ＳＲＡＭ（Static RAM）およびＤＲＡＭ（Dynamic RAM）を含むＲＡＭ（Random Access Memory）であってもよい。
制御部３４０は、プログラムを記憶するメモリ３４１と、プログラムにしたがって処理を実行するＣＰＵ（Central Processing Unit）３４２とを有する。記憶部３１０は、例えば、ハードディスク装置である。メモリ３４１は、例えば、フラッシュメモリを含む不揮発性メモリであるが、ＳＲＡＭ（Static RAM）およびＤＲＡＭ（Dynamic RAM）を含むＲＡＭ（Random Access Memory）であってもよい。
ＣＰＵ３４２がプログラムを実行することで、図１に示した音声波形演算部１４１および嚥下音判定部１４２を含む音声解析部１４０がコンピュータに仮想的に構成される。より具体的には、ＣＰＵ３４２がプログラムを実行することで、音声波形演算部１４１、状態遷移管理部２１０、喉頭蓋閉音判定部２２０、食道通過音判定部２３０、喉頭蓋開音判定部２４０および専用パラメータ生成部２５がコンピュータに仮想的に構成される。
喉頭蓋閉音判定用パラメータ記憶部２２１、食道通過音判定用パラメータ記憶部２３１および喉頭蓋開音判定用パラメータ記憶部２４１はメモリ３４１に含まれる。また、判定情報記憶部４０は記憶部３１０に含まれていてもよく、メモリ３４１に含まれていてもよい。
判定情報記憶部４０がメモリ３４１に含まれている場合、判定情報記憶部４０に保存されるデータは、予め登録されていてもよく、そのデータの一部または全部がプログラムの起動時に記憶部３１０からダウンロードされてもよい。
さらに、図１に示した音声データ蓄積部１２および確定結果保存部１５がメモリ３４１に含まれてもよく、記憶部３１０に含まれてもよい。音声解析部１４０における音声波形演算部１４１は、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路であってもよい。
喉頭蓋閉音判定用パラメータ記憶部２２１、食道通過音判定用パラメータ記憶部２３１および喉頭蓋開音判定用パラメータ記憶部２４１はメモリ３４１に含まれる。また、判定情報記憶部４０は記憶部３１０に含まれていてもよく、メモリ３４１に含まれていてもよい。
判定情報記憶部４０がメモリ３４１に含まれている場合、判定情報記憶部４０に保存されるデータは、予め登録されていてもよく、そのデータの一部または全部がプログラムの起動時に記憶部３１０からダウンロードされてもよい。
さらに、図１に示した音声データ蓄積部１２および確定結果保存部１５がメモリ３４１に含まれてもよく、記憶部３１０に含まれてもよい。音声解析部１４０における音声波形演算部１４１は、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路であってもよい。
上述した本実施形態の嚥下検出装置および嚥下検出方法は、特別な技術や経験が無くても、日常、簡易的に嚥下動作の検出ができ、雑音の影響下においても正確に嚥下動作の検出ができる。よって、以下のような適用例が考えられる。
（適用例１）
本適用例は、本実施形態の嚥下検出方法を医療現場に用いるものである。
医療現場において、嚥下障害が疑われる被験者の頸部にマイク１１を装着し、本実施形態の嚥下検出方法により、被験者が嚥下したことが正常に検出できれば、嚥下障害の可能性は低いと判断することができる。 逆に、嚥下が検出できなければ、嚥下障害の疑いがあると判断することができる。 このように、マイク１１を被験者に装着するだけで、簡易的な嚥下障害スクリーニングを実現できる。
（適用例１）
本適用例は、本実施形態の嚥下検出方法を医療現場に用いるものである。
医療現場において、嚥下障害が疑われる被験者の頸部にマイク１１を装着し、本実施形態の嚥下検出方法により、被験者が嚥下したことが正常に検出できれば、嚥下障害の可能性は低いと判断することができる。 逆に、嚥下が検出できなければ、嚥下障害の疑いがあると判断することができる。 このように、マイク１１を被験者に装着するだけで、簡易的な嚥下障害スクリーニングを実現できる。
（適用例２）
本適用例は、本実施形態の嚥下検出方法を嚥下機能の評価に用いるものである。ここでは、本実施形態の嚥下検出装置の他に、嚥下回数をカウントする別の情報処理装置を予め準備する場合で説明するが、嚥下検出装置にカウンタが設けられていてもよい。
嚥下機能の評価として、一定時間内に唾液の嚥下を何回行ったかを、次のようにして測定する。被験者の頸部にマイク１１を装着し、本実施形態の嚥下検出方法により、被験者が唾液を嚥下したことを検出する。嚥下が正常に検出されると、その信号が別の情報処理装置に入力される。別の情報処理装置は、入力される信号により、検出した回数を自動的にカウントする。このような構成にすることで、唾液の嚥下回数を自動的にカウントする装置を実現できる。
本適用例は、本実施形態の嚥下検出方法を嚥下機能の評価に用いるものである。ここでは、本実施形態の嚥下検出装置の他に、嚥下回数をカウントする別の情報処理装置を予め準備する場合で説明するが、嚥下検出装置にカウンタが設けられていてもよい。
嚥下機能の評価として、一定時間内に唾液の嚥下を何回行ったかを、次のようにして測定する。被験者の頸部にマイク１１を装着し、本実施形態の嚥下検出方法により、被験者が唾液を嚥下したことを検出する。嚥下が正常に検出されると、その信号が別の情報処理装置に入力される。別の情報処理装置は、入力される信号により、検出した回数を自動的にカウントする。このような構成にすることで、唾液の嚥下回数を自動的にカウントする装置を実現できる。
１ 嚥下検出装置
１１ マイク
１２ 音声データ蓄積部
１３ データ分割部
１４０ 音声解析部
１４１ 音声波形演算部
１４２ 嚥下音判定部
１５ 確定結果保存部
２１０ 状態遷移管理部
２２０ 喉頭蓋閉音判定部
２２１ 喉頭蓋閉音判定用パラメータ記憶部
２３０ 食道通過音判定部
２３１ 食道通過音判定用パラメータ記憶部
２４０ 喉頭蓋開音判定部
２４１ 喉頭蓋開音判定用パラメータ記憶部
２５ 専用パラメータ生成部
４０ 判定情報記憶部
１１ マイク
１２ 音声データ蓄積部
１３ データ分割部
１４０ 音声解析部
１４１ 音声波形演算部
１４２ 嚥下音判定部
１５ 確定結果保存部
２１０ 状態遷移管理部
２２０ 喉頭蓋閉音判定部
２２１ 喉頭蓋閉音判定用パラメータ記憶部
２３０ 食道通過音判定部
２３１ 食道通過音判定用パラメータ記憶部
２４０ 喉頭蓋開音判定部
２４１ 喉頭蓋開音判定用パラメータ記憶部
２５ 専用パラメータ生成部
４０ 判定情報記憶部
Claims (7)
- 嚥下音を含む音声波形データを解析して嚥下音を検出する音声解析部、および嚥下音の検出が確定したときに検出結果を保存する記憶部を有する嚥下検出装置であって、
前記音声解析部は、
前記音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出する音声波形演算部と、
前記特徴データとパラメータを用いて嚥下音を判定する嚥下音判定部と、を有し、
前記嚥下音判定部は、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理する状態遷移管理部を有する、嚥下検出装置。 - 請求項１に記載の嚥下検出装置において、
前記嚥下音判定部は、
前記喉頭蓋閉音待ち状態において、前記特徴データと前記パラメータとから所定の計算式を用いて算出した得点が基準点以上であれば、喉頭蓋閉音の検出を仮判定し、関連する情報を仮判定状態として記憶する喉頭蓋閉音判定部と、
前記食道通過音待ち状態において、前記特徴データと食道通過音検出のための専用パラメータである通過音専用パラメータとから前記所定の計算式を用いて算出した得点が基準点以上あれば、食道通過音の検出として仮判定し、関連する情報を仮判定状態として記憶する食道通過音判定部と、
前記喉頭蓋開音待ち状態において、前記特徴データと喉頭蓋開音検出のための専用パラメータである蓋開音専用パラメータとから前記所定の計算式を用いて算出した得点が基準点以上あれば、喉頭蓋開音の検出として仮判定し、関連する情報を仮判定状態として記憶する喉頭蓋開音判定部と、をさらに有し、
前記状態遷移管理部は、前記喉頭蓋閉音待ち状態において前記喉頭蓋閉音判定部を選択し、前記喉頭蓋閉音判定部が前記喉頭蓋閉音を検出すると、検出した喉頭蓋閉音を仮判定し、前記食道通過音待ち状態に遷移し、前記食道通過音待ち状態において前記食道通過音判定部を選択し、前記食道通過音判定部が前記食道通過音を検出すると、検出した食道通過音を仮判定し、前記喉頭蓋開音待ち状態に遷移し、前記喉頭蓋開音待ち状態において前記喉頭蓋開音判定部を選択し、前記喉頭蓋開音判定部が前記喉頭蓋開音を検出すると、検出した喉頭蓋開音を仮判定し、嚥下音確定状態に遷移し、
前記嚥下音判定部は、状態が前記嚥下音確定状態に遷移すると、各待ち状態の前記仮判定状態を前記検出結果として前記記憶部に保存する、嚥下検出装置。 - 請求項２に記載の嚥下検出装置において、
前記嚥下音判定部は、
前記喉頭蓋閉音が仮判定されたときに、仮判定された喉頭蓋閉音の前記特徴データを用いて、前記通過音専用パラメータおよび前記蓋開音専用パラメータを動的に生成する専用パラメータ生成部をさらに有する、嚥下検出装置。 - 請求項２または３に記載の嚥下検出装置において、
前記嚥下音判定部は、
前記食道通過音待ち状態および前記喉頭蓋開音待ち状態において、待ち状態が規定の時間を過ぎた場合または前記仮判定された喉頭蓋閉音が所定の取消条件に合致した場合、該喉頭蓋閉音の仮判定を取り消し、前記喉頭蓋閉音待ち状態に戻る、嚥下検出装置。 - 請求項２または３に記載の嚥下検出装置において、
前記嚥下音判定部は、
前記食道通過音待ち状態において、新たな喉頭蓋閉音が検出された場合、既に仮判定状態となっている喉頭蓋閉音の前記得点よりも、新たに検出された喉頭蓋閉音の前記得点が大きいとき、既に仮判定状態となっている喉頭蓋閉音の仮判定を取り消し、新たに検出された喉頭蓋閉音を仮判定に置換する、嚥下検出装置。 - 嚥下音を含む音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出し、
前記特徴データとパラメータを用いて嚥下音を判定し、
前記嚥下音を判定する際、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理する、嚥下検出方法。 - コンピュータに
嚥下音を含む音声波形データによる音声波形を演算して該音声波形から周波数成分を含む特徴データを抽出する手順と、
前記特徴データとパラメータを用いて嚥下音を判定する手順と、を有し、
前記嚥下音を判定する手順において、嚥下の際に喉頭蓋が閉じるときに発生する喉頭蓋閉音の出現を待つ喉頭蓋閉音待ち状態、食塊が食道を通過する際に発生する食道通過音の出現を待つ食道通過音待ち状態、および喉頭蓋が開く際に発生する喉頭蓋開音の出現を待つ喉頭蓋開音待ち状態の３つの待ち状態の遷移を管理する手順を実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015066446A JP6562450B2 (ja) | 2015-03-27 | 2015-03-27 | 嚥下検出装置、嚥下検出方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015066446A JP6562450B2 (ja) | 2015-03-27 | 2015-03-27 | 嚥下検出装置、嚥下検出方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016185209A JP2016185209A (ja) | 2016-10-27 |
| JP6562450B2 true JP6562450B2 (ja) | 2019-08-21 |
Family
ID=57202772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015066446A Active JP6562450B2 (ja) | 2015-03-27 | 2015-03-27 | 嚥下検出装置、嚥下検出方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6562450B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018180778A1 (ja) * | 2017-03-29 | 2018-10-04 | 株式会社村田製作所 | 嚥下センサ |
| JP6914525B2 (ja) * | 2017-09-15 | 2021-08-04 | 国立大学法人 筑波大学 | 嚥下機能解析システム及びプログラム |
| WO2019225242A1 (ja) * | 2018-05-23 | 2019-11-28 | パナソニックＩｐマネジメント株式会社 | 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム |
| WO2020136870A1 (ja) * | 2018-12-28 | 2020-07-02 | マクセル株式会社 | 生体情報分析装置、生体情報分析方法、及び、生体情報分析システム |
| JP2022179222A (ja) | 2021-05-21 | 2022-12-02 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4011071B2 (ja) * | 2005-03-25 | 2007-11-21 | 中央電子株式会社 | 嚥下音解析システム |
| JP2009060936A (ja) * | 2007-09-04 | 2009-03-26 | Konica Minolta Medical & Graphic Inc | 生体信号解析装置及び生体信号解析装置のプログラム |
| JP5489846B2 (ja) * | 2010-04-30 | 2014-05-14 | 三栄源エフ・エフ・アイ株式会社 | 易嚥下性組成物の評価または選別方法 |
| JP5952536B2 (ja) * | 2011-07-12 | 2016-07-13 | 国立大学法人 筑波大学 | 嚥下機能データ測定装置及び嚥下機能データ測定システム及び嚥下機能データ測定方法 |
-
2015
- 2015-03-27 JP JP2015066446A patent/JP6562450B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016185209A (ja) | 2016-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6562450B2 (ja) | 嚥下検出装置、嚥下検出方法およびプログラム | |
| CN108523869B (zh) | 用于使用融合方法来检测人中的冠状动脉疾病的方法和系统 | |
| US10485449B2 (en) | Cough analysis | |
| US9198634B2 (en) | Medical decision support system | |
| JP2020508726A (ja) | 背景雑音環境における咳嗽検出のための方法および装置 | |
| Goda et al. | Morphological determination of pathological PCG signals by time and frequency domain analysis | |
| US20100249629A1 (en) | Segmenting a cardiac acoustic signal | |
| Babu et al. | Automatic identification of S1 and S2 heart sounds using simultaneous PCG and PPG recordings | |
| KR102520138B1 (ko) | 호흡과 관련된 소리를 분석하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| Zhang et al. | A novel wheeze detection method for wearable monitoring systems | |
| Yamashita et al. | Robust classification between normal and abnormal lung sounds using adventitious-sound and heart-sound models | |
| Leal et al. | Noise detection in phonocardiograms by exploring similarities in spectral features | |
| Banerjee et al. | Segmentation and detection of first and second heart sounds (Si and S 2) using variational mode decomposition | |
| Kamson et al. | Multi-centroid diastolic duration distribution based HSMM for heart sound segmentation | |
| Tang et al. | Automated signal quality assessment for heart sound signal by novel features and evaluation in open public datasets | |
| Carvalho et al. | Low complexity algorithm for heart sound segmentation using the variance fractal dimension | |
| JP2020513914A (ja) | 睡眠呼吸障害の特徴付け方法 | |
| Shukla et al. | An efficient heart sound segmentation approach using kurtosis and zero frequency filter features | |
| Varghees et al. | Heart murmur detection and classification using wavelet transform and Hilbert phase envelope | |
| Selvakumari et al. | A voice activity detector using SVM and Naïve Bayes classification algorithm | |
| Wei et al. | A novel method for automatic heart murmur diagnosis using phonocardiogram | |
| Zia et al. | Robust detection of background noise in phonocardiograms | |
| Uwaoma et al. | Detection and classification of abnormal respiratory sounds on a resource-constraint mobile device | |
| Prasad et al. | Detection of S1 and S2 locations in phonocardiogram signals using zero frequency filter | |
| Yamashita | Construction of effective HMMs for classification between normal and abnormal respiration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190718 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6562450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |