JP7133200B2 - 嚥下機能評価装置による評価方法及び嚥下機能評価装置 - Google Patents
嚥下機能評価装置による評価方法及び嚥下機能評価装置 Download PDFInfo
- Publication number
- JP7133200B2 JP7133200B2 JP2018105082A JP2018105082A JP7133200B2 JP 7133200 B2 JP7133200 B2 JP 7133200B2 JP 2018105082 A JP2018105082 A JP 2018105082A JP 2018105082 A JP2018105082 A JP 2018105082A JP 7133200 B2 JP7133200 B2 JP 7133200B2
- Authority
- JP
- Japan
- Prior art keywords
- swallowing
- muscle group
- suprahyoid
- infrahyoid
- electrode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
このように「飲み込み方を変えられる能力」は、窒息や誤嚥を引き起こさないための、嚥下予備能(食物に対する対応力)と考えられている。しかし、脳血管障害や神経筋疾患、加齢による筋力や感覚機能、認知機能等の低下などが原因で、嚥下予備能は低下し、窒息・誤嚥のリスクが高まることが知られている。嚥下機能低下時には、舌骨・喉頭位の下垂、それに伴う舌骨や喉頭の挙上量や前方移動量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延などが生じる。また、これらの嚥下諸器官の機能評価は、X線透視下で食塊や舌骨・喉頭の運動を観察する嚥下造影検査を用いるのが一般的であるが、放射線被爆や造影剤誤嚥のリスクがあり、医療機関での反復的な検査や在宅医療での利用、さらには日常生活における定期的な評価には不向きである。
厚生労働省の人口動態統計年報によると、平成28年度の我が国の死因第3位は「肺炎」であり、その死亡者11万9,300人の約半数は「嚥下障害による誤嚥性肺炎」が原因とされている。したがって、高齢者の健康寿命を延伸するためにも、嚥下予備能を安全かつ簡便に評価し、自覚困難な嚥下機能の低下やフレイルの高齢者(嚥下障害予備軍)を早期発見する新しい技術が必要とされている。
発明者は、舌骨上筋群の多チャンネル表面筋電図を用いた顎口腔運動の推定法を提案している(特許文献1)。
特許文献1によれば、舌の随意運動だけでなく、嚥下の検出も可能である。
請求項2記載の本発明は、請求項1に記載の嚥下機能評価装置による評価方法において、少なくとも前記嚥下開始から前記嚥下終了までの前記表面筋電位信号から前記特徴量を抽出し、抽出した前記特徴量を画像ファイルに変換し、画像認識を行うことで前記嚥下状態を識別することを特徴とする。
請求項3記載の本発明は、請求項2に記載の嚥下機能評価装置による評価方法において、前記画像認識をディープラーニングにより行うことを特徴とする。
請求項4記載の本発明は、請求項1から請求項3のいずれか1項に記載の嚥下機能評価特徴抽出部法において、前記機械学習に用いる学習用生体信号として、異なる装着位置で検出した複数の前記生体信号を用いることを特徴とする。
請求項5記載の本発明の嚥下機能評価装置は、少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置であって、喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆V字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極11と、喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなU字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極11と、制御器40とを備え、前記制御器40は、前記舌骨上筋群用多チャンネル電極11からの舌骨上筋群生体信号、及び前記舌骨下筋群用多チャンネル電極12からの舌骨下筋群生体信号から前記特徴量を抽出する特徴抽出部41と、抽出した前記特徴量を画像ファイルに変換し、ディープラーニングによる画像認識を行うことで前記嚥下状態を識別する動作識別部とを有することを特徴とする。
図1は、舌骨上筋群と舌骨下筋群を示す説明図である。
嚥下に要する時間は口腔期と咽頭期をあわせ1~1.5秒と言われ、このわずかな時間に、1)口唇の閉鎖、2)舌による食塊の咽頭への移送、3)鼻咽腔閉鎖、4)下顎の閉口位での固定、5)喉頭の挙上と喉頭蓋の反転による喉頭閉鎖、6)喉頭の前方移動による咽頭下部の開大、7)声門閉鎖と呼気圧の上昇、8)食道入口部の括約筋の弛緩、などが決められた順序で連続的に起こる。
これらの動作に大きく関わるのが図1に示す舌骨上筋群と舌骨下筋群である。舌骨上筋群はオトガイ舌骨筋、顎舌骨筋、顎二腹筋、茎突舌骨筋から構成される。舌骨上筋群が収縮することにより舌骨と喉頭を前上方へと挙上する。舌骨下筋群は、甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、胸骨甲状筋から構成される。舌骨上筋群の反射運動により甲状舌骨筋が収縮することで喉頭を最高位へと引き上げる。これらの運動により、喉頭蓋が反転し、喉頭を閉鎖するとともに食道入口部を開大し、誤嚥や窒息を起こすことなく安全に食塊を食道へと通過させる。これらの筋肉の機能を解明することは嚥下予備能の評価にもつながる。
本実施例による嚥下機能評価法は、舌骨上筋群と舌骨下筋群の協調運動に着目し、表面筋電位信号から随意嚥下の強さや、一回嚥下量の変化による嚥下パターンの違いを識別するものである。嚥下パターンを識別し、得られる識別率は、その値が大きいほど筋活動パターンの再現性が高いこと、そして、物性値や量に対して嚥下パターンを変えられることを表している。したがって、識別率が高ければ、嚥下予備能があると定義した。一方、識別率が低い場合この時は、嚥下予備能がない場合と、識別性能が不十分である、という2つの原因が考えられる。そこで、識別性能が不十分という原因を取り除くために、嚥下予備能が高いと仮定できる健常者に対して高い識別精度で識別できるような識別方法を開発する必要がある。
本実施例による嚥下機能評価装置は、舌骨上筋群用多チャンネル電極11(10)、舌骨下筋群用多チャンネル電極12(10)、筋電アンプボックス(筋電計)20、AD/DA変換器30、制御器40から構成される。
表面筋電位信号は、耳朶に貼りつけた基準電極13と多チャンネル電極10を構成する各電極との電位差を、もう片方の耳朶に貼りつけたGND電極14を基準に差動増幅することで計測した。検出された表面筋電位信号は、筋電アンプボックス20を介して2052倍に増幅され、AD/DA変換器30へ取り込まれる。なお、多チャンネル電極10の一部の電極を基準電極13やGND電極14として用いてもよく、多チャンネル電極10と共に基準電極13やGND電極14を設けてもよく、必ずしも耳朶に貼り付けなくてもよい。基準電極13やGND電極14を多チャンネル電極10と共に設ける場合には、舌骨上筋群用多チャンネル電極11側でも舌骨下筋群用多チャンネル電極12側の少なくともいずれか一方に設ける。
データの収集で用いるAD/DA変換器30は、NI USB-6218(NATIONAL INSTRUMENTS)を用いた。AD/DA変換器30は、アナログ入力(16ビット、250kS/秒、32ch)、アナログ出力(16ビット、250kS/秒、2ch)、8デジタル入力、8デジタル出力、2つの32ビットカウンタ機能を搭載している。本研究ではアナログ入力を用いてデータ採取を行う。
また、2台のAD/DA変換器30を同期させることで舌骨上筋群と舌骨下筋群の2種類の計測を同時に行う。
多チャンネル電極10は筋電アンプボックス20に接続する。舌骨上筋群用電極11は喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆V字形状である。舌骨下筋群用電極12は喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなU字形状である。
多チャンネル電極10の基板厚さは0.3mmであり、基板保護および電気的な絶縁のために全体をシリコンで覆い、シリコン上に埋め込んだ銀電極を介して表面筋電位信号を抽出する。なお、銀電極はシリコンで覆われていない。
銀電極は直径2mm、高さ2.5mmである。
舌骨上筋群用電極11は縦8mm、横12.5mm間隔で埋め込み、下顎底部全体を覆うように22個配置した。舌骨下筋群用電極12は縦8mm、横8mm間隔で埋め込み、頸部前面を覆うように22個配置した。また、GND電極14とバイポーラ電極の基準電極13を左右の耳朶にそれぞれ配置した。計測の際は接触抵抗を抑えるために電極表面にペースト(Elefix、日本光電)を塗布した多チャンネル電極10を被験者に取り付ける。多チャンネル電極10で得られた信号は筋電アンプボックス20に送られる。
筋電アンプボックス20は、内部に計装アンプ(AD8226BRMZ)、オペアンプ(AD8622ARMZ)を格納しており、22chの表面筋電位計測が可能な仕様となっている。周波数帯域は14~440Hz、ゲインは2052倍、電源は単三電池4本である。
差動増幅回路21にて各チャンネルから得られた信号と基準信号間の同相ノイズを除去して差動増幅する。差動増幅回路21から出力された信号からDCサーボ回路22にて低周波帯域信号を検出して除去する。差動増幅回路21から出力された信号は、信号増幅回路23にて信号を増幅し、アンチエイリアシングフィルタ回路24にて不要な高周波雑音を除去する。これにはAD変換時の帯域折り返しを防止する機能もある。最後にバンドパス/出力バッファ回路25にて回路内部で生じたオフセット信号や高周波ノイズを除去して出力する。
動作識別のアルゴリズムは、舌骨上筋群用多チャンネル電極11からの舌骨上筋群生体信号及び舌骨下筋群用多チャンネル電極12からの舌骨下筋群生体信号から特徴量を抽出する特徴抽出部41と、機械学習により嚥下状態を識別する動作学習・識別部42で構成され、制御器40で処理される。
特徴抽出部41は、生体信号として表面筋電位信号を用い、舌骨上筋群の筋活動による舌骨上筋群生体信号と、舌骨下筋群の筋活動による舌骨下筋群生体信号とから特徴量を抽出する。
そして、抽出した特徴量を用いて、サポートベクターマシンによって動作識別を行う。
特徴抽出部41では、動作識別を行う前に、表面筋電位(EMG)から、動作に関連した特徴的な信号成分(特徴量)を抽出し、特徴ベクトルを構成する。この特徴量には以下のものを用いた。
CCは式2で表される。周波数領域から抽出する特徴量であり、パワースペクトルの包絡形状と微細構造の分離を行える特徴がある。次数が低いと包絡形状の特徴が、次数が高いと微細構造の特徴が表れる。
(2)
図6は、フレームシフトを行う様子を示す図である。
さらにフレーム間の変動を抑えるため、式3のような移動平均を行って特徴量を平滑化した。ここで、pはフレーム番号、Mは移動平均点数である。
最初に学習データを用いて識別関数を構成する。
ここで、機械学習に用いる学習データは、異なる装着位置で検出した複数の生体信号を用いることが好ましい。本実施例による嚥下機能評価法による嚥下機能評価を得るためには、電極装着後にキャリブレーション作業が必要となる。被験者が同一人物であっても、電極の装着位置が異なれば、各電極と筋との相対位置が変化し、検出される筋活動パターンも異なるものとなってしまう。従って、キャリブレーション作業は電極を装着する都度必要となり、煩わしく感じるため、電極装着ごとの学習作業を省略することが望まれる。
学習データとして異なる装着位置で検出した複数の生体信号を用いることで、複数位置での表面筋電位信号パターンと嚥下状態との関連付けを行うことができ、キャリブレーション作業を行うことなく正確な評価を行える。
動作学習部では、特徴ベクトル(特徴量を並べたもの)と正解ラベル(動作クラスにラベル付けしたもの)が対になった学習データからSVMのハイパーパラメータを求め、識別関数を構成する。学習データは、ハイパーパラメータであるγ(カーネルパラメータ)とC(コストパラメータ)は格子探索により決定する。γとCの探索範囲はγ={2-3、2-2.5、・・・21}、C={23、23.5、・・・、26}の63通りの組み合わせとし、各格子点の識別率の中から最も高い識別率を示す組み合わせを探索する。なお、この際の識別率は、識別された動作ラベルと正解ラベルの正誤から求められ、交差検定(クロスバリデーション)により汎化性能の評価を行う。
動作識別部では学習によって作成された識別関数を基に特徴ベクトルから動作クラス(動作ラベル)を識別する。その後、識別した過去k個の動作ラベルに対して多数決判定を行い、運動状態を最終決定する。kの値を小さく設定すれば、リアルタイムの動作識別を可能にする。また、kの値を大きく設定し、嚥下開始から終了までのすべての動作ラベルをカバーするように多数決処理を行えば、嚥下開始から終了までの一連の動作を一つの動作として識別できる。
本実施例による嚥下機能評価法では、抽出した特徴量を画像ファイルに変換し、画像認識を行うことで嚥下状態を識別することが好ましい。なお、画像認識には、表面筋電位信号の生波形グラフを画像ファイルとして用いることができる。また、画像認識には、表面筋電位信号を、周波数分析やケプストラム分析などの分析処理することで得られた信号を画像ファイルとして用いることができる。
更にはこの画像認識をディープラーニングにより行うことが好ましいが、ディープラーニング以外の方法で行っても良い。また、抽出した特徴量を画像ファイルに変換することなく、図5に示す動作学習・識別部42をディープラーニングによる処理とすることもできる。ディープラーニングには、特徴量の抽出機能と特徴量の識別機能とがあり、ディープラーニングだけで画像認識を行っても良いし、ディープラーニングで画像から特徴量を抽出後、他の機械学習を用いて特徴量を識別しても良い。
また、嚥下状態の識別には、抽出した特徴量を画像化して画像認識を行った後に、再度特徴量を抽出し、この再度の特徴量を用いることもできる。
画像認識による嚥下運動推定アルゴリズムでは、前処理として計測した表面筋電位信号の画像化を行った後、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)(以下CNNと表記する)を用いて嚥下運動の識別を行う。
ただし、本実施例では、大規模な学習データがないため、CNNが特徴抽出器と動作識別器の二つの役割があることに着目し、(1)CNNを特徴抽出器、SVMを動作識別器として用いる方法、(2)事前学習済みのCNNを嚥下運動学習用データでFine-tuningしたCNNを、特徴抽出器および動作識別器として用いる方法、(3)(2)でFine-tuningされたCNNを特徴抽出器、SVMを動作識別器として用いる方法、の3つの方法で識別を行う。
表面筋電位信号から、動作に関連した特徴的な信号成分(特徴量)を抽出し、それらを画像化する。特徴量の抽出方法には以下のものを用いた。
FFTは式4で表され、表面筋電位信号のパワースペクトル(式5)を得ることができる。窓関数にはハニング窓(式6)を使用した。
(4)
(6)
CCは、式2と同様であるため省略する。
ウェーブレット変換は式7で表され、ウェーブレットは、式8で表される。また、式9によってスカログラムを得ることができる。ウェーブレット変換では、マザーウェーブレットおよびそれを拡大縮小し、平行移動したウェーブレットを用いて特徴のある時刻について詳細に調べることができる。高周波領域を解析するには短い基底を用いて時間分解能を上げ、低周波領域の解析に長い規定により周波数分解能を上げている。
(7)
(8)
(9)
得られた特徴量はチャンネル毎にカラーマッピングを行い画像化する。カラーマップの最大値と最小値は、各チャンネルの特徴量の最大値と最小値を平均したものとした。
図8は、一例として高速フーリエ変換により得られた特徴量を基に画像化した表面筋電位信号の写真である。
図8(a)に示すチャンネルごとに作成した画像は、解析に使用するチャンネル数に合わせて1枚の画像にまとめることで、図8(b)に示すように、1動作分の嚥下パターン画像とした。
畳み込み層では、入力画像とフィルタの積和計算を行い、フィルタが表す特徴的な濃淡構造を画像から抽出する。入力画像のサイズをW×W画素、入力画像の画素インデックスを(i,j)(i=0,...,W-1,j=0,...,W-1)とし、入力画像の画素値をxij、フィルタのサイズをH×Hとし、フィルタの画素インデックスを(p,q)(p=0,...,H-1,q=0,...,H-1)とし、フィルタの画素値をhpq、とすると、畳み込みの計算は式10で表される。
(10)
図9は、画像サイズを8×8、プーリング範囲2×2とした時の最大プーリングの例を示している。
図10は、本実施例で用いた事前学習済み畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)であるAlexNetの構造を示す。
AlexNetはAlex Krizhevskyらによって提案された5層の畳み込み層と3つの全結合層からなるDeep CNNである。1、2番目の畳み込み層の後に正規化層、各正規化層の後と5番目の畳み込み層の後には最大プーリング層が用いられている。
図11は、(1)CNNを特徴抽出器、SVMを動作識別器として組み合わせて識別する方法を示す説明図である。
CNNを特徴抽出器として用いてSVMにより識別を行う方法では、ネットワークの重みを固定したまま入力画像をフィードフォワードし、適当な中間層の出力をそのまま特徴ベクトルとして扱う。そして、得られた特徴ベクトルでSVMの学習・識別を行う。得られる特徴ベクトルは、1枚の画像につき4096次元である。
CNNを特徴抽出器として用いる場合には、どの層から特徴抽出を行うかを考慮する必要がある。CNNでは、入力に近い層から識別層に近づくにつれ、徐々に低次の視覚的特徴からデータセットに特化した意味的な特徴に構造化されることが知られている。したがって、低すぎる層の特徴をとるとCNNの高い識別的構造の恩恵を受けることができず、逆に高すぎる層の特徴を選ぶと学習時のデータセットに特化しすぎてしまい、転移学習の性能が下がってしまうおそれがある。経験的には識別層の一つ二つ手前の全結合層を用いることが多い。本研究では、Alex Netの最後から2番目の全結合層における出力を特徴ベクトルとして扱った。
SVMによる動作学習・識別部について、ハイパーパラメータであるγとCは格子探索により決定する。γとCの探索範囲はγ={2-16、2-15.5、・・・2-12}、C={27、27.5、・・・、210}の63通りの組み合わせとし、各格子点の識別率の中から最も高い識別率を示す組み合わせを探索する。なお、この際の識別率は識別結果と、学習に用いたデータの動作クラスとの正誤から求められている。
動作識別部では学習によって作成された識別関数を基に特徴ベクトルを識別し、動作クラスを付与する。
(2)CNNをFine-tuningする方法では、Alex Netの識別部だけを対象のタスクのものに付け替え、その他の部分はAlex Netのパラメータを初期値として用い、ネットワーク全体の再学習を行う。そして再学習されたネットワークを用いて識別を行う。本研究では入力層から2つ目の全結合層までの重みを固定し、残りの全結合層、ソフトマックス層、出力層を新しいものに替え再学習する。Fine-tuningで使用するパラメータはベイズ最適化によって最適化した。
被験者は嚥下機能が正常な健常成人男性6名(年齢22.7±1.2歳、身長172.7±5.5cm、体重60.0±5.5kg、mean±SD)とし、被験者名をA、B、C、D、E、Fと区別する。
図13は、実験に用いた多チャンネル電極の電極配置とチャンネル番号の関係を示す図である。
実験では下顎部に舌骨上筋群用22チャンネルフレキシブル電極、頸部に舌骨下筋群用22チャンネルフレキシブル電極、耳朶に耳電極を装着した。舌骨上筋群は図13(a)の1、2番の電極からオトガイまでの距離が25mmから30mmの間で、電極が顎骨に当たらない位置に装着した。舌骨下筋群は図13(b)の5、6番の電極が甲状軟骨(喉仏)が前方に最も突出している部分に位置するように装着した。表面筋電位信号は、各表面電極と一方の耳朶に貼り付けた基準電極との電位差を、もう一方の耳朶に貼りつけたGND電極を基準に差動増幅することにより導出した。これにより任意の2点間電位差を、通常の差動増幅表面筋電位のように取り出すことができる。
図14は、実際に装着した様子を示す写真である。
計測の際は電極の位置がずれないように、舌骨上筋群用22チャンネルフレキシブル電極は図14(b)の帽子で、舌骨下筋群用22チャンネルフレキシブル電極は図14(c)のバンドでそれぞれ固定した。
嚥下は随意運動と反射運動からなる複雑な運動である。そこで、本実験ではまず随意嚥下の強さの違いを検討するために、普段通りの嚥下と最大努力での嚥下(意識的に力強く飲み込む動作)の2種類を対象とした。また、反射運動の違いを検討するために一回の嚥下量を水3mlと15mlとした。そして、これらを組み合わせた合計4動作(3ml(普通:NS3)、3ml(最大努力:ES3)、15ml(普通:NS15)、15ml(最大努力:ES15))を1セットとして20セットの計測を行った。1回嚥下量である3mlは、嚥下機能の簡易検査(スクリーニング)の1つである改訂水飲みテストの規定量、15mlは舌で一度にすくえる一般的な嚥下量である。試料の水は口腔底にシリンジで挿入し、その後の指示により嚥下を行うこととし、舌で水をすくってから飲み込むまでを計測対象とした。実験時の姿勢は座位とし、実験の最中に頸部の角度が変化しないよう頭部を壁に固定した。一回の計測を安静2秒間の後2秒以内で嚥下、2秒間安静の計6秒間として、3ml(普通:NS3)、3ml(最大努力:ES3)、15ml(普通:NS15)、15ml(最大努力:ES15)の順に1動作ずつ計測を行った。連続の嚥下による筋肉疲労を考慮し、3ml(最大努力:ES3)、15ml(普通:NS15)の間に10秒間、15ml(最大努力:ES15)の後に30秒間の休憩を挟んだ。表面筋電位は、増幅率2,052倍、サンプリング周波数2,000Hzで計測した。
学習・識別は、計測データの偏りの影響を受けないようにするために、図16の方法(クロスバリデーション)で行った。計測データを1から順にA、B、C、Dの4つに振り分けていく。次に、2つを学習用データ、残りの2つをテスト用データし学習・識別を行っていく。これを全ての組み合わせ、計6通りで行い識別率を計算する。識別率は式11で与えられる。
(11)
なお、特に断りのない場合、識別率の計算結果は被験者6名に対するmean±SDで示す。
図17に示すiからviは組み合わせと対応させた番号であり、例えば、NS3とES3の比較ならばiとしている。
高速フーリエ変換(fast Fourier transform:FFT)、Cepstrum coefficient(CC)、ウェーブレット変換の3つの方法を用いて特徴量を抽出し作成された画像を使用して識別を行った時の識別精度の違いを比較検討する。
図18は、図13に示す電極番号と配置を基にした画像の配置を示す図である。
各チャンネルの画像は、表を1動作分の画像と見立て、各マスには1チャンネル分の画像が入る。各マスにかかれている数字は電極番号を表している。
図19は各特徴量抽出方法によって作成された1動作分の画像を示す写真である。
図21は各特徴抽出方法によって作成された画像を使用し、学習・識別を行った時の識別結果を示すグラフである。なお、ここでは、各筋群の嚥下動作識別率への寄与度を検討するために、舌骨上筋群の表面筋電位もしくは舌骨下筋群の表面筋電位を用いた場合の識別率を求めた。
2動作識別では、識別する動作の組み合わせにより多少の違いはあるものの、舌骨上筋群、舌骨下筋群のどちらの表面筋電を用いた場合でも、CCを用いて識別した時に、他の特徴量抽出方法よりも安定して高い識別率を得ることができた。4動作識別では、舌骨上筋群、舌骨下筋群共に特徴抽出方法としてCCを用いて識別して時に一番高い識別率を示した。また、CCが3つの条件の中で唯一80%を越える結果となった。
この理由としては、今回比較した3つの特徴抽出方法は全て周波数領域における特徴抽出法であるが、CCが他の特徴量抽出方法に比べて、5次元という少ない情報量でスペクトルの特徴を表現できる。そのため、Alex Netの入力画像サイズである227×227pixelにリサイズされた時に、識別のための分解能の低下が少なかったためと考えられる。
以上の結果から、本計測データに対する、本解析条件おいては、特徴量の抽出方法にCCが最も適していることが示唆された。また、表面筋電位の画像化を行い、CNNを特徴抽出器として使用しSVMで識別を行うという方法で嚥下動作の識別ができる可能性が示された。
事前学習済みのネットワークの利用方法には、特徴抽出器としての利用する方法と、Fine-tuningを行う2つの方法がある。そこで、最適化されたパラメータを基に作成された画像を用いて学習・識別を行い、(1)CNNを特徴抽出器として用いてSVMで識別する方法、(2)Fine-tuningされたCNNにより識別する方法、(3)Fine-tuningされたCNNを特徴抽出器として用いてSVMで識別する方法、による識別精度を比較し、どの識別器が最適であるか検討する。
図22は、識別器が識別精度に与える影響を検討する上での解析条件を示している。
Fine-tuningに用いることができる画像が少ないため、学習過程における検証用データに識別用データ(テストデータ)10セットを用いた。そのため、Fine-tuningされたCNNによる識別率は純粋な識別率とは言えないため、今回は参考程度の識別率として比較を行う。
図23は、各識別器で学習・識別を行った時の識別率を示すグラフである。
2動作識別では、(2)識別器にFine-tuningしたCNNを使用した時、組み合わせによっては(1)CNNを特徴抽出器として使用した時よりも識別率が高くなるものがあったが、全組み合わせの平均識別率で見ると(1)CNNを特徴抽出器として使用した時よりも低い識別率となった。(3)Fine-tuningしたCNNを特徴抽出器として使用した時には、ほぼ全ての動作の組み合わせで他の2つより識別率が下がり、平均識別率でも最も低い識別率となった。4動作識別では、(1)CNNによる特徴抽出器+SVMによる動作識別が他の2つよりも高い識別率となった。
この理由としては、今回学習・識別に使用できるデータ数が足りなかったためFine-tuningで再学習が十分に進まなかったと考えられる。2動作識別で識別率が上がった組み合わせがあったのは、検証用データ(テストデータ)と識別データに同じデータを使用しているためFine-tuningしたCNNを使用した場合ではテストデータの情報が含まれたような学習となり識別率が上がったのだと考えられる。
今回は識別器に最も識別率が高かった、(1)CNNを特徴抽出器として用いてSVMで識別する方法を最適と判断した。
ただし、Fine-tuningに関してはデータ数が増えることによって識別率が向上する可能性が十分にある。
舌骨上筋群と舌骨下筋群の特徴量を合成する場合、まず舌骨上筋群の表面筋電位信号から作成した画像ファイルと、舌骨下筋群の表面筋電位信号から作成した画像ファイルを、CNNを特徴抽出器として用いてそれぞれで4096次元の特徴ベクトルを作成する。そして、2つの特徴量を合成し8192次元の特徴ベクトルを作成し、SVMで学習識別を行う。
図25は、舌骨上筋群と舌骨下筋群を1枚の画像に画像化する方法を示す図である。
1枚の画像に画像化する場合、たとえば、22チャンネルの表面筋電位信号から任意の16チャンネルを選択する、あるいは、任意の2つのチャンネル間電位差を計算し、新たな表面筋電位信号を16チャンネル作成する、あるいはこれらの組み合わせにより16チャンネルの表面筋電位信号があるとする。このとき、6×6のマトリクスに舌骨上筋群と舌骨下筋群の各チャンネルの画像を図25のように並べて1枚の画像に変換する。このように検出に用いるチャンネルそのものを用いることなく、各チャンネル間の電極間電位差を計算し、新たな筋電位信号を作り出し、画像化に用いるチャンネル数や表面筋電位信号を任意に選択することができる。
図27は、使用電極毎の識別率の結果を示すグラフである。
2動作識別、4動作識別ともに舌骨上筋群のみ、舌骨下筋群のみで学習、識別を行った時よりも、舌骨上筋群と舌骨下筋群両方の表面筋電位信号を用いて識別を行った時のほうが高い識別率となった。また、1枚の画像に画像化するよりも、特徴量を合成したほうが高い識別率となった。
この理由としては1枚の画像に画像化する方法では、画像認識に用いる画像サイズ(227×227pixel)が決まっているため、多くのチャンネルの画像を入れると、一つのチャンネルが持つ情報量が(いわゆる識別のための分解能)が落ちてしまうため特徴量抽出で識別に必要な特徴を抽出しきれなかったと考えられる。一方、特徴量を合成する方法では、舌骨上筋群と舌骨下筋群それぞれで特徴を抽出したために、双方の特徴をよく捉えることができた特徴ベクトルで学習・識別できたためと考えられる。
よって、本計測データに対する、本解析条件おいては、舌骨上筋群と舌骨下筋群の特徴量を合成する方法が嚥下運動の識別に最適だと判断した。
舌骨上筋群と舌骨下筋群の筋機能に着目し、随意嚥下の強度や一回嚥下量を変化させた時の各筋群の働きが、識別精度にどのように現れるか検討した。
使用する表面筋電位信号のチャンネル数は、電位差の算出の仕方による影響を受けないようにするため22チャンネルと16チャンネルで行う。
図29は22チャンネルにおける舌骨上筋群と舌骨下筋群の2動作識別の結果を示すグラフである。
まず一回嚥下量が等しく、飲み込む強さを変化させた時、つまり3ml(普通:NS3)と3ml(最大努力:ES3)を識別した場合(i)と15ml(普通:NS15)と15ml(最大努力:ES15)を識別した場合(vi)について見ると、双方とも舌骨下筋群より舌骨上筋群のほうが高い識別率となった。舌骨上筋群には、舌の根本に位置する舌骨を安定して支えるという役割があり、嚥下の強さ、すなわち水分や食塊を口腔から咽頭に送り込む力によって、舌骨の支え方が大きく変化するため、舌骨上筋群の表面筋電位で高い識別率を得ることができたと考えられる。
次に飲み込む強さが一定で、一口嚥下量を変えた時を変化させた時、つまり3ml(普通:NS3)と15ml(普通:NS15)を識別した場合(ii)と3ml(最大努力:ES3)と15ml(最大努力:ES15)識別した場合(v)について見ると、双方とも舌骨上筋群より舌骨下筋群のほうが高い識別率となった。舌骨下筋群には、舌骨上筋群の収縮に伴う反射運動として、喉頭を最高位に引き上げ、喉頭を閉鎖する役割がある。喉頭閉鎖のタイミングや閉鎖時間は、一口量の増加に伴って変化することが知られているため、舌骨下筋群の表面筋電位に一口嚥下量の違いが表れたと考えられる。しかし、(v)では舌骨上筋群、舌骨下筋群共に識別率が約85%と他に比べ低い結果となった。これは、量の変化による表面筋電位の変化だけでなく、強く嚥下したことによる表面筋電位の変化も特徴として表れ、画像化した時に量の変化による特徴がわかりにくくなったためだと考えられる。
以上から随意嚥下の強度は舌骨上筋群の活動パターンに、一回の嚥下量の違いは舌骨下筋群の活動パターンに表れやすいことが示唆された。この知見は嚥下機能の低下の早期発見や、訓練指針の決定などへの活用が期待される。
被験者6人の平均識別でそれぞれの電極で得られる表面筋電位信号について考察を行ったが、今回は被験者が少ないため平均識別率は一人の識別結果によって大きく左右されてしまう。そこで、被験者毎にそれぞれ舌骨上筋群と舌骨下筋群の識別率を比較し識別率が高い方に1つカウントし、その人数により動作毎に優位な舌骨筋群を決定し、その結果から平均識別率によって得られた結果の有効性を調べた。2つの識別率を比較し同じだった場合にはどちらもカウントしないこととする。
図30では、舌骨上筋群と舌骨下筋群の2動作識別の結果を被験者毎に比較しカウントしたものを示している。各マス内の左側数値は舌骨上筋群が舌骨下筋群の識別率を上回っている人数、各マス内の右側数値は舌骨下筋群の識別率が舌骨上筋群の識別率を上回っている人数を示す。
3ml(普通:NS3)と3ml(最大努力:ES3)を識別した場合(i)と15ml(普通:NS15)と15ml(最大努力:ES15)を識別した場合(vi)に舌骨上筋群が舌骨下筋群の識別率を上回り、それ以外では舌骨下筋群の識別率が舌骨上筋群の識別率を上回った。この結果からも随意嚥下の強度は舌骨上筋群の活動パターンに、一回の嚥下量の違いは舌骨下筋群の活動パターンに表れやすいということができる。
以上から、平均識別率によって得られた結果の有効性が確認された
次に飲み込む強さが一定で、一口嚥下量を変えた時を変化させた時、つまり3ml(普通:NS3)と15ml(普通:NS15)を識別した場合(ii)と3ml(最大努力:ES3)と15ml(最大努力:ES15)識別した場合(v)について見ると、双方とも舌骨上筋群より舌骨下筋群のほうが高い識別率となった。
(vi)、(ii)、(v)では22チャンネルで識別を行った時と同様の傾向が見られたものの、(i)では同様の傾向が見られなかった。この理由としては、舌骨下筋群の16チャンネルでの識別率が22チャンネルでの識別率に比べ全体的に上がっているのに対して、舌骨上筋群では部分的にのみ上がっている。つまり、電極間電位差の算出の部分で識別率の変化率に差があり、舌骨上筋群と舌骨下筋群が同様の条件でなかったためと考えられる。
11 舌骨上筋群用多チャンネル電極
12 舌骨下筋群用多チャンネル電極
13 基準電極
14 GND電極
20 筋電アンプボックス(筋電計)
21 差動増幅回路
22 DCサーボ回路
23 信号増幅回路
24 アンチエイリアシングフィルタ回路
25 バンドパス/出力バッファ回路
30 AD/DA変換器
40 制御器
41 特徴抽出部
42 動作学習・識別部
Claims (5)
- 少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置による評価方法であって、
喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆V字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極と、
喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなU字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨下筋群用多チャンネル電極と
を用い、
前記生体信号として、前記舌骨上筋群用多チャンネル電極からの舌骨上筋群生体信号と、前記舌骨下筋群用多チャンネル電極からの舌骨下筋群生体信号とを用い、
前記舌骨上筋群生体信号と前記舌骨下筋群生体信号とから前記特徴量を抽出する
ことを特徴とする嚥下機能評価装置による評価方法。 - 少なくとも前記嚥下開始から前記嚥下終了までの前記表面筋電位信号から前記特徴量を抽出し、
抽出した前記特徴量を画像ファイルに変換し、
画像認識を行うことで前記嚥下状態を識別する
ことを特徴とする請求項1に記載の嚥下機能評価装置による評価方法。 - 前記画像認識をディープラーニングにより行う
ことを特徴とする請求項2に記載の嚥下機能評価装置による評価方法。 - 前記機械学習に用いる学習用生体信号として、異なる装着位置で検出した複数の前記生体信号を用いる
ことを特徴とする請求項1から請求項3のいずれか1項に記載の嚥下機能評価装置による評価方法。 - 少なくとも嚥下開始から嚥下終了までの生体信号を検出し、検出した前記生体信号から特徴量を抽出し、機械学習を用いて前記特徴量から嚥下状態を識別して嚥下機能を評価する嚥下機能評価装置であって、
喉頭部に干渉せず、かつ下顎底部奥に存在する左右の茎突舌骨筋を計測できるような逆V字形状に舌骨上筋群用電極を配置して表面筋電位信号を検出する舌骨上筋群用多チャンネル電極と、
喉頭隆起の動きに干渉せず、かつ左右の甲状舌骨筋、肩甲舌骨筋、胸骨舌骨筋、及び胸骨甲状筋を計測できるようなU字形状に舌骨下筋群用電極を配置して表面筋電位信号を検出する舌骨下筋群用多チャンネル電極と、
制御器と
を備え、
前記制御器は、
前記舌骨上筋群用多チャンネル電極からの舌骨上筋群生体信号及び前記舌骨下筋群用多チャンネル電極からの舌骨下筋群生体信号から前記特徴量を抽出する特徴抽出部と、
抽出した前記特徴量を画像ファイルに変換し、ディープラーニングによる画像認識を行うことで前記嚥下状態を識別する動作識別部と
を有することを特徴とする嚥下機能評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018105082A JP7133200B2 (ja) | 2018-05-31 | 2018-05-31 | 嚥下機能評価装置による評価方法及び嚥下機能評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018105082A JP7133200B2 (ja) | 2018-05-31 | 2018-05-31 | 嚥下機能評価装置による評価方法及び嚥下機能評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019208629A JP2019208629A (ja) | 2019-12-12 |
JP7133200B2 true JP7133200B2 (ja) | 2022-09-08 |
Family
ID=68844281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018105082A Active JP7133200B2 (ja) | 2018-05-31 | 2018-05-31 | 嚥下機能評価装置による評価方法及び嚥下機能評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7133200B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021241487A1 (ja) * | 2020-05-25 | 2021-12-02 | ||
CN111772653B (zh) * | 2020-07-17 | 2023-07-25 | 南方医科大学南方医院 | 一种钡剂吞咽的识别曝光方法、系统、装置及介质 |
JP7452855B2 (ja) * | 2020-07-31 | 2024-03-19 | 国立大学法人岩手大学 | 時系列データ予測を用いた嚥下運動予測方法及びそのシステム |
JP7428383B2 (ja) * | 2020-08-31 | 2024-02-06 | 国立大学法人岩手大学 | 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム |
KR102595012B1 (ko) * | 2021-02-10 | 2023-10-26 | 서울대학교산학협력단 | 설골 추적 장치 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005304890A (ja) | 2004-04-23 | 2005-11-04 | Kumamoto Technology & Industry Foundation | 嚥下障害の検知方法 |
US20110245622A1 (en) | 2010-03-31 | 2011-10-06 | Nellcor Puritan Bennett Llc | System and method for determining sensor placement |
JP2012232065A (ja) | 2011-05-09 | 2012-11-29 | Iwate Univ | 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置 |
JP2014168490A (ja) | 2013-03-01 | 2014-09-18 | Nagano Prefecture | センサシート、嚥下活動測定装置及び嚥下活動測定方法 |
JP2015100382A (ja) | 2013-11-21 | 2015-06-04 | 株式会社吉田製作所 | 嚥下能力検査装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6975952B2 (ja) * | 2016-07-08 | 2021-12-01 | 国立大学法人岩手大学 | 生体の動作識別システム及び生体の動作識別方法 |
-
2018
- 2018-05-31 JP JP2018105082A patent/JP7133200B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005304890A (ja) | 2004-04-23 | 2005-11-04 | Kumamoto Technology & Industry Foundation | 嚥下障害の検知方法 |
US20110245622A1 (en) | 2010-03-31 | 2011-10-06 | Nellcor Puritan Bennett Llc | System and method for determining sensor placement |
JP2012232065A (ja) | 2011-05-09 | 2012-11-29 | Iwate Univ | 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置 |
JP2014168490A (ja) | 2013-03-01 | 2014-09-18 | Nagano Prefecture | センサシート、嚥下活動測定装置及び嚥下活動測定方法 |
JP2015100382A (ja) | 2013-11-21 | 2015-06-04 | 株式会社吉田製作所 | 嚥下能力検査装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019208629A (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7133200B2 (ja) | 嚥下機能評価装置による評価方法及び嚥下機能評価装置 | |
Bahrami et al. | Sleep apnea detection from single-lead ECG: A comprehensive analysis of machine learning and deep learning algorithms | |
Tuncer et al. | A deep learning-based decision support system for diagnosis of OSAS using PTT signals | |
Amft et al. | Methods for detection and classification of normal swallowing from muscle activation and sound | |
Ntonfo et al. | Low-complexity image processing for real-time detection of neonatal clonic seizures | |
Haidar et al. | Convolutional neural networks on multiple respiratory channels to detect hypopnea and obstructive apnea events | |
Mohonta et al. | Electrocardiogram based arrhythmia classification using wavelet transform with deep learning model | |
Mielens et al. | Application of classification models to pharyngeal high-resolution manometry | |
Khalifa et al. | Upper esophageal sphincter opening segmentation with convolutional recurrent neural networks in high resolution cervical auscultation | |
AU2018225827A1 (en) | Systems and methods of automatic cough identification | |
US11490853B2 (en) | Methods and devices using meta-features extracted from accelerometry signals for swallowing impairment detection | |
Dong et al. | Wearable diet monitoring through breathing signal analysis | |
WO2013138071A1 (en) | Food intake monitoring system using apnea detection in breathing signals | |
Kim et al. | Non-invasive algorithm for bowel motility estimation using a back-propagation neural network model of bowel sounds | |
Yu et al. | Silent aspiration detection in high resolution cervical auscultations | |
Inoue et al. | Using machine learning and a combination of respiratory flow, laryngeal motion, and swallowing sounds to classify safe and unsafe swallowing | |
WO2013086615A1 (en) | Device and method for detecting congenital dysphagia | |
Roldan-Vasco et al. | Swallowing disorders analysis using surface EMG biomarkers and classification models | |
Elola et al. | Beyond heart murmur detection: automatic murmur grading from phonocardiogram | |
Santoso et al. | Applying machine learning algorithms for automatic detection of swallowing from sound | |
Hsu et al. | Using swallow sound and surface electromyography to determine the severity of dysphagia in patients with myasthenia gravis | |
JP7428383B2 (ja) | 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム | |
JP7452855B2 (ja) | 時系列データ予測を用いた嚥下運動予測方法及びそのシステム | |
Jindal | MobileSOFT: U: A deep learning framework to monitor heart rate during intensive physical exercise | |
Roldan-Vasco et al. | Analysis of electrophysiological and mechanical dimensions of swallowing by non-invasive biosignals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180626 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7133200 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |