JP7428383B2 - 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム - Google Patents

嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム Download PDF

Info

Publication number
JP7428383B2
JP7428383B2 JP2020146438A JP2020146438A JP7428383B2 JP 7428383 B2 JP7428383 B2 JP 7428383B2 JP 2020146438 A JP2020146438 A JP 2020146438A JP 2020146438 A JP2020146438 A JP 2020146438A JP 7428383 B2 JP7428383 B2 JP 7428383B2
Authority
JP
Japan
Prior art keywords
swallowing
similarity
feature
image
differences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020146438A
Other languages
English (en)
Other versions
JP2022041316A (ja
Inventor
誠 佐々木
雅大 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iwate University
Original Assignee
Iwate University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate University filed Critical Iwate University
Priority to JP2020146438A priority Critical patent/JP7428383B2/ja
Publication of JP2022041316A publication Critical patent/JP2022041316A/ja
Application granted granted Critical
Publication of JP7428383B2 publication Critical patent/JP7428383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、摂食嚥下動作に関わる生体信号を検出し、検出した生体信号を画像に変換することで摂食嚥下機能を評価する嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステムに関する。
嚥下は、食物を口腔から胃へと送り込む一連の運動であり、口腔期・咽頭期・食道期の3期に分けられる。嚥下のメカニズムを図1の(a)、(b)に示す。咀嚼によって形成された食塊は、舌を口蓋に押し付けることにより咽頭へと送り込まれる。その後、嚥下反射が誘発され、舌骨上筋群の収縮により舌骨と喉頭が前上方に挙上する。さらに舌骨上筋群の収縮に伴う反射運動として、舌骨下筋群(甲状舌骨筋)が収縮することで喉頭が最高位に到達する。この舌骨と喉頭の挙上に連動して、喉頭蓋が反転することで喉頭を閉鎖する。これにより、誤嚥や窒息を起こすことなく食塊が食道を通過する。これが安全に嚥下を行うメカニズムである。
このように嚥下は、「随意運動」と「反射性の不随意運動」が共存する複雑な生理機構によって実現される。随意運動は主に、食物を咀嚼して形成した食塊を、舌運動により咽頭へ送り込む口腔内の運動を指し(口腔期)、不随意運動は、嚥下反射によって食塊を咽頭通過させる運動を指している(咽頭期)。嚥下反射は、延髄にある中枢パターン生成器(central pattern generator:CPG)によってプログラムされた再現性の高い、極めて緻密なパターン運動となっており、嚥下の可否には、口腔運動の問題の有無や嚥下反射の破綻が大きく関与する。
嚥下反射によって誘発された嚥下運動は、再現性の高い運動パターンを示すが、一回嚥下量(食物の量)や食物の物性値(粘性や硬さなど)などの違いによって、舌骨の移動距離や移動速度、喉頭閉鎖のタイミングや閉鎖時間、食道入口部の開大時間などの嚥下の運動パターン(嚥下パターン)が変化することが知られている。このように、嚥下条件に合わせて嚥下関連器官の運動を微調整し、嚥下パターンを変えられる能力は、嚥下予備能と考えられている。これは窒息や誤嚥を引き起こさないための食物に対する嚥下の対応力である。しかし、脳血管障害や神経筋疾患、加齢による筋力低下、嚥下諸器官の位置変化などが原因で、嚥下予備能は低下する。さらに全身疾患等が原因で、嚥下に何らかの問題が生じた場合には、食塊の咽頭残留、喉頭侵入、誤嚥などが生じ、結果として誤嚥性肺炎の発症や窒息のリスクが増大することになる。
厚生労働省によると平成30年度における摂食嚥下障害による誤嚥性肺炎を原因とする死亡者数は3万8460人、不慮の窒息を原因とする死亡者数は8876人であり、誤嚥性肺炎に至っては我が国の死因第7位となっている。嚥下予備能の低下時には、一般的に、舌骨および喉頭位の下垂や、それに伴う舌骨や喉頭の前上方への挙上量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延などが生じることが知られている。そのため、高齢者の健康寿命を延伸するためには、これらの変化を観測・評価し、自覚困難な嚥下機能の低下や、フレイルの状態に陥った高齢者(嚥下障害予備軍)を早期発見することが重要である。
現在、嚥下機能の評価には精密検査のゴールドスタンダードである嚥下造影検査(Videofluoroscopic Examination of Swallowing : VF)が主に用いられている。VFはX線透視装置を用いた造影検査であり、造影剤を混ぜた嚥下物が口腔から咽頭そして食道へと通過する状態を観察し、形態的異常や機能的異常、誤嚥、咽頭残留の有無などを明らかにする検査である。検査では造影剤の動態による評価だけでなく、舌や下顎などの口腔運動や、舌骨や喉頭、食道入口部の動きなど嚥下諸器官の運動についても同時に評価が行なわれる。これまでのVFによる解析結果から、加齢などによる嚥下機能低下に伴って、舌骨および喉頭位の下垂や、それに伴う舌骨や喉頭の前上方への挙上量の減少、喉頭挙上速度の低下による喉頭挙上の遅れ、嚥下反射惹起の遅延などが生じることが報告されている。このような生体内部で行われる食塊や嚥下諸器官の運動に着目した詳細な嚥下機能評価はVFでのみ行うことが可能である。しかし、VFには問題点もある。まずX線透視装置を用いるためにX線透視による放射線被曝のリスクがあり、定期的な検診を行うことができない。また病院でしか検査を行うことができないため、日常的な嚥下機能評価には不向きである。さらに造影剤を含んだ食品の誤嚥といったリスクを伴う課題点もある。このような問題点から、検査時には既に重症化しているケースも多い。そのため、嚥下障害になる前の段階で、嚥下予備能の変化(すなわち嚥下機能低下)を日常的に把握できる安全かつ簡便な評価手法の開発が望まれている。
これまでに非侵襲的に計測可能な嚥下時の生体信号として表面筋電位(Surface Electromyography:sEMG)信号などを用いた先行研究が行われており、例えば特許文献1に開示される摂食嚥下機能評価技術が知られている。特許文献1の摂食嚥下機能評価技術は、摂食嚥下開始から摂食嚥下終了までの生体信号を検出し、検出した生体信号から特徴量を抽出し、機械学習を用いて特徴量から摂食嚥下動作を識別して摂食嚥下機能を評価する摂食嚥下機能評価法である。これにより、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値(硬さ、粘度、温度、液体、個体など)の違いなど、嚥下条件の違いに伴う嚥下パターンの変化(すなわち嚥下予備能)を、機械学習による識別精度という形で評価できる。
しかし、このような機械学習を用いた技術では、嚥下パターンの予測モデルを生成するための学習データと、識別精度を求めるためのテストデータが必要になる。そして、十分な精度で個々人の嚥下機能を評価するためには、複数の嚥下条件で数十回程度の嚥下データを計測する必要があり、計測回数、総嚥下量、計測時間の面で対象者の負担となる。また、生体信号に表面筋電位を用いる場合は、電極貼り付け位置により観測される信号が異なるため、同一の対象者であっても、嚥下機能を評価するごとに、学習データとテストデータの収集が必要となり、日常的に利用可能な手軽な評価方法としては扱い難い。
特許文献1は、摂食嚥下時において重要な舌骨上筋群や舌骨下筋群の表面筋電位を画像に変換し、人工知能の得意とする画像認識の技術により、嚥下パターンを識別するものであるが、これは画像から抽出した特徴量(すなわち特徴ベクトル)が、高次元特徴空間において嚥下条件ごとに分離可能である特徴に基づいている。そして、学習データの画像から抽出した特徴ベクトルが嚥下条件によって異なる大きさと方向を持ち、かつ再現性が高いほど、嚥下パターンの識別精度が高くなる。反対に、嚥下機能が低下し、嚥下条件の違いによる特徴ベクトルの変化量が小さくなるほど(すなわち特徴ベクトルが類似するほど)、嚥下パターンの識別精度が低下する。したがって、特徴ベクトルが、随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値(硬さ、粘度、温度、液体、個体など)の違いなど、嚥下条件の違いによってどれくらい異なるかに着目することによって、嚥下パターンの予測モデルを生成することなく、少ない嚥下データのみで、嚥下機能を評価できる可能性がある。言い換えれば、機械学習による嚥下パターンの識別精度ではなく、画像の類似度という形で嚥下機能を評価できる可能性がある。
特開2019-208629号公報
本発明は、以上の点に鑑み、被験者の摂食嚥下時における生体信号を画像に変換し、機械学習による嚥下パターン分類を用いることなく、画像の類似度という形で嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能評価技術を提供することを課題とする。
[1]被験者の摂食嚥下動作に関わる生体信号を検出する生体信号検出工程と、
解析部で前記生体信号から嚥下パターン画像を作成する嚥下パターン画像作成工程と、
異なる嚥下条件における前記嚥下パターン画像の類似度を計算する画像類似度計算工程と、
前記類似度から嚥下機能を評価する評価工程と、を備えていることを特徴とする。
かかる構成によれば、生体信号検出工程、嚥下パターン画像作成工程、画像類似度計算工程、評価工程を備えている。嚥下パターン画像作成工程では、検出した生体信号にフィルタ処理、変換処理、特徴抽出などの前処理を行ったうえ、モノクロ画像、グレースケール画像、カラー画像などの画像を少なくとも1枚作成する。画像は複数枚あってもよいし、2次元グラフや3次元グラフなどでもよい。画像類似度計算工程では、例えば、画像を特徴ベクトルに変換し、異なる嚥下条件における特徴ベクトルの角度や距離等を計算し、画像の類似度を数値化する。類似度には、コサイン類似度、ユークリッド距離、ハミング距離、マハラノビス距離、マンハッタン距離、ピアソンの相関係数、チェビシェフ距離、ミンコフスキー距離などがある。また、MSE(Mean Square Error)、PSNR(Peak Signal to Noise Ratio)、SSIM(structural similarity index measure)などの画像の類似度の評価法もある。評価工程では、画像の類似度から嚥下機能を評価する指標を作成し、個々人の嚥下機能を評価する。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、機械学習を用いることなく、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価方法とすることができる。
]好ましくは、前記生体信号検出工程では、前記生体信号として表面筋電位信号を用いている。
かかる構成によれば、生体信号として表面筋電位信号を用いているので、例えば筋電センサを用いて簡便に計測することができる。
]好ましくは、前記生体信号検出工程では、少なくとも舌骨上筋群と舌骨下筋群の一方の前記表面筋電位信号を用いている。
かかる構成によれば、生体信号検出工程では、少なくとも舌骨上筋群生体信号と舌骨下筋群生体信号の一方の表面筋電位信号を用いるだけで済むので、より簡便に計測することができる。
]好ましくは、前記嚥下パターン画像作成工程では、多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅等の時間領域の特徴量、周波数成分等の周波数領域の特徴量、あるいは時間-周波数領域の特徴量等をカラーマップに変換して画像化するとともに一方向に並べて1つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて前記嚥下パターン画像を作成する。
かかる構成によれば、嚥下パターン画像作成工程では、特徴抽出等の前処理を行った生体信号を画像化して少なくとも1枚の嚥下パターン画像を作成する。例えば、嚥下の始まりから終わりまでの表面筋電位(sEMG)信号の振幅情報、周波数情報、時間-周波数情報、立ち上がりのタイミング、筋肉の活動時間などの嚥下運動に関与する複数のパラメータを画像上に表現することができる。また、多点同時計測を行うので、他の筋肉との違いも画像上に表現することができる。さらに、この画像を用いて嚥下条件による嚥下パターンの違いを検出するので、嚥下条件に伴って飲み込み方を変えられる能力(嚥下予備能)の定量評価を実現することができる。
]好ましくは、前記画像類似度計算工程では、畳み込みニューラルネットワークに代表されるような深層学習などの画像認識モデルを用いて、嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を用いたうえで、異なる嚥下条件における前記特徴ベクトルの類似度を、前記特徴ベクトルの角度や距離などで数値化する。
かかる構成によれば、カーネル関数を用いて特徴ベクトルを線形分離可能な無限次元特徴空間に写像したのち、主成分分析を用いて次元圧縮することで、学習データを要する予測モデル生成を行うことなく、嚥下パターン識別精度に関連した情報を、画像の類似度という形で抽出できる。
]好ましくは、前記評価工程では、各動作群同士の前記特徴ベクトルの角度や距離などを、基準値となる所定の嚥下条件での角度や距離などで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えている。なお、基準値とは、例えば、6mlの水を通常嚥下した際の嚥下パターン画像のように、嚥下機能評価の基準となる嚥下条件(随意嚥下の強さや一回嚥下量の違い、食物や食塊の物性値)を定め、その特徴ベクトルの角度や距離などと定義できる。また、この特徴ベクトルを用いて計算した値であれば、角度や距離そのものでなくても構わない。また、基準値を、複数の嚥下条件における特徴ベクトルの成す角や相対距離、あるいは、それらの特徴ベクトルを用いて計算した値などに置き換えてもよい。
かかる構成によれば、各動作群同士の前記特徴ベクトルの角度や距離等を、所定の基準値で正規化し、得られた値を評価指標としているので、筋走行に対する電極位置の違いや、電極装着位置の皮下組織の組成(例えば脂肪厚)の違い、嚥下諸器官の筋力の違い、嚥下の癖等、ベースラインを整えることで、個人差を吸収することができる。
[3]好ましくは、被験者の摂食嚥下動作に関わる生体信号として表面筋電位信号を検出するセンサ部と、
多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間-周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて1つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて1枚の嚥下パターン画像を作成し、畳み込みニューラルネットワークなどの画像認識モデルの特徴抽出器を用いて前記嚥下パターン画像から特徴ベクトルを抽出し、前記特徴ベクトルに対してカーネル主成分分析を行い、高次元特徴空間に写像された特徴ベクトルを次元圧縮し、次元圧縮された前記特徴ベクトルから各動作群同士の類似度を角度や距離等として算出し、算出された前記各動作群同士の角度や距離等を基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えることで用いて嚥下パターンの変化量、すなわち嚥下予備能(嚥下機能)を評価する解析部と、を備えている。
かかる構成によれば、解析部で、次元圧縮された特徴ベクトルから各動作群同士の角度や距離等を算出し、算出された各動作群同士の角度や距離等を用いて嚥下パターンの変化量を評価するので、機械学習による嚥下パターン分類(すなわち予測モデル作成と動作識別の過程)を用いる必要がない。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価システムとすることができる。
被験者の生体信号から機械学習による嚥下パターン分類を経ることなく、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能評価技術を提供することができる。
嚥下のメカニズム及び舌骨上筋群と舌骨下筋群を示す説明図である。 本発明に係る嚥下パターン画像の類似度を用いた嚥下機能評価システムの全体構成を示す説明図である。 センサ部を示す説明図である。 信号処理回路を示す説明図である。 AD変換を示す説明図である。 絶縁構成を示す説明図である。 計測動作を示す説明図である。 画像の類似度を用いた嚥下機能の定量的評価法を示すフロー図である。 フレームシフトの様子及びsEMG信号と各特徴量を示す説明図である。 解析区間の設定、CCの正規化及び嚥下パターン画像を示す説明図である。 一般的なCNNの構造及び畳み込み層でのフィルタ1つに関する計算内容を示す説明図である。 AlexNetの構造及びAlexNetとSVMの組み合わせを示す説明図である。 舌骨上筋群と舌骨下筋群の特徴ベクトルの連結を示す説明図である。 カーネル主成分分析のイメージ図である。 γ=2-15のときの固有値λkを示す説明図である。 特徴空間における各動作群同士のユークリッド距離のイメージ図及び特徴空間における原点と各動作群のユークリッド距離のイメージ図である。 嚥下パターン画像の例を示す説明図である。 最適化したパラメータを示す説明図である。 正規化前の動作群同士のユークリッド距離、及び正規化前の動作群同士のユークリッド距離に対してt検定を行った際の各動作の組み合わせにおけるP値を示す説明図である。 原点とNS6のユークリッド距離で正規化後の評価指標D、原点とNS6のユークリッド距離で正規化後の評価指標Dに対してt検定を行った際の各動作の組み合わせにおけるP値及びを示す説明図である。
本発明の実施の形態を添付図に基づいて以下に説明する。なお、図面は、嚥下パターン画像の類似度を用いた嚥下機能評価技術の概略構成を概念的(模式的)に示すものとする。
まず本発明の実施例に係る嚥下パターン画像の類似度を用いた嚥下機能評価システム10の全体構成を説明する。
図2に示すように、嚥下機能評価システム10は、被験者60(図3参照)の生体信号を検出するセンサ部20と、GND電極23aと、不関電極23bと、RLD電極24と、検出した生体信号を増幅してPC(解析部)40に送信する多機能筋電位計測装置30と、嚥下パターンの分類精度を評価する解析部40と、評価した結果を記録する記録部(不図示)と、評価した結果を表示する表示部41と、これらに給電するバッテリ(不図示)と、を備えている。
次にセンサ部20について説明する。
図3に示すように、センサ部20は、舌骨上筋群部分に配置され舌骨上筋群の筋活動による舌骨上筋群生体信号を検出する22チャンネルの舌骨上筋群用筋電センサ(舌骨上筋群用22チャンネルフレキシブル電極)21と、舌骨下筋群部分に配置され舌骨下筋群の筋活動による舌骨下筋群生体信号を検出する22チャンネルの舌骨下筋群用筋電センサ(舌骨下筋群用22チャンネルフレキシブル電極)22と、を備えている。センサ部20は、被験者60の所定の皮膚表面に配置され、少なくとも嚥下開始から嚥下終了までの摂食嚥下時における生体信号を検出するものである。
多機能筋電位計測装置30に接続されるセンサ部20の各電極21a、22aのsEMG信号は,耳朶に貼りつけた不関電極と22チャンネルフレキシブル電極21、22を構成する各電極21a、22aとの電位差を、もう片方の耳朶に貼りつけたGND電極23aを基準に差動増幅することで計測した。
また、不関電極から導出される同位相ノイズ成分を反転増幅し、後頚椎に貼り付けたRLD(Right Leg Drive)電極にフィードバックすることで、計測中に混入したノイズをキャンセリングした.RLD電極を人体に装着することで多機能筋電位計測装置のノイズ除去能力を高める効果がある。信号のゲインは、125倍とした。全ての信号は、多機能筋電位計測装置に搭載される16bitのAD変換により同時にサンプリングされ、PCに取り込まれる。サンプリング周波数は、2000Hzの設定とした。
舌骨上筋群用22チャンネルフレキシブル電極21及び舌骨下筋群用22チャンネルフレキシブル電極22は、後述する多機能筋電位計測装置30に接続して使用する。舌骨上筋群用22チャンネルフレキシブル電極21は喉頭部に干渉せず、かつ下顎底部奥に存在する茎突舌骨筋部分も計測できるようにブーメラン形状に設計した。また、顎の小さい方や女性の方でも純銀棒の電極21aが下顎骨に当たらにように設計した。一方、舌骨下筋群用22チャンネルフレキシブル電極22は喉頭隆起の動きに干渉せず計測でき、電極22aから伸びるケーブルの自重によって電極22aが浮かないようにするためにU字状に設計した。また、頸部が長い人でも電極によって喉頭隆起の動きが阻害されずに計測できるように、中央部の切り抜きを長く設計してある。舌骨上筋群用22チャンネルフレキシブル電極21は、多チャンネルの電極21aが整列したアレイ状電極が用いられている。舌骨下筋群用22チャンネルフレキシブル電極22は、多チャンネルの電極22aが整列したアレイ状電極が用いられている。
フレキシブル基板自体の厚さは、約120μm(銅箔を除くフィルム基材100μm、銅箔厚18μm)である。基板保護と人体絶縁のために全体をシリコンで覆い、シリコンから露出した純銀棒の電極を介してsEMG信号を抽出する。純銀棒で作られた電極は直径2.0mm、高3.5mmであり、先端は皮膚との接触を良くするために直径2.0mmの半球状になっている。舌骨上筋群用22チャンネルフレキシブル電極21は縦8.0mm、11.0mm間隔で埋め込み、下顎底部全体を覆うように22個配置した。舌骨下筋群用22チャンネルフレキシブル電極22は縦8mm、横8mm間隔で埋め込み、頸部前面を覆うように22個配置した。また、GND電極23aと不関電極23bを左右の耳朶に、RLD電極24は後頚椎にそれぞれ配置した。GND電極23a、不関電極23b、RLD電極24の3つの電極の内、不関電極23bにのみ裏面にチップが搭載してある。計測の際は接触抵抗を抑えるために電極表面にペースト(Elefix(登録商標)、日本光電)を塗布した22チャンネルフレキシブル電極21、22を被験者に取り付ける。
次に多機能筋電位計測装置30について説明する。
図2に示すように、多機能筋電位計測装置30は、複数の異なるセンサを同時に利用することを前提に設計された、生体活動をモニタリングするための計測装置である。最大で64チャンネルのアナログデータを同時にサンプリングすることが可能である。USB2.0(High Speed)インターフェースを介して、計測データを取り込むためのPCと接続される。任意のアプリケーションソフトウェアから装置を制御することも可能である。DC12VのACアダプタまたは、外部バッテリ入力電源により動作する。多機能筋電位計測装置30の回路構成は、以下に示すように、シグナルコンディショニング部、AD変換部、データ転送部、絶縁部の4つに分けられる。
次にシグナルコンディショニング部について説明する。
図4の(a)~(c)に示すように、シグナルコンディショニング部は、最大で2個の22チャンネル電極と、4個の汎用筋電位センサ、16個の任意のアナログセンサが入力可能である。
まず、差動増幅回路にて、耳朶に張り付けられた不関電極から得られる信号と、多チャンネル電極の各電極から得られる信号間の同相ノイズを除去して、信号成分の差のみを増幅する。単極誘導計測とも呼ばれる。
また、得られた差動信号からDCサーボ回路にて1Hz以下の低周波帯域信号を検出して除去する。次に、信号増幅回路・PGA(Programmable Gain Amplifier)にて、125か1000倍のいずれかに信号を増幅する。3極のアンチエイリアシングフィルタ回路にて不要な高周波雑音を除去する。これにはAD変換時の帯域折り返しを防止する効果もある。最後にAD変換を駆動するための高速アンプに入力し、出力信号を得る。
その他、低周波信号を追加で除去するために、デジタルフィルタによる1次ローカットフィルタ処理を施すことも可能である。遮断周波数は、disable、0.01、0.1、1.0、10.0、20.0Hzのいずれかである。本研究では遮断周波数は、20.0Hzとした。
汎用筋電位センサの信号処理回路は、多チャンネル電極のそれと殆ど同じ構成であるが、体表面に張り付けられた任意の電極2点から得られる信号を差動増幅する点が異なる、双極誘導計測とも呼ばれる。
汎用アナログセンサの信号処理回路は、様々なセンサを任意に接続できるように、最大で±15Vのアナログ信号を入力できる仕様になっている。振幅の大きな信号を入力する場合、多機能筋電位計測装置の計測範囲(±2.5V)に調整するためにPGAによりゲイン調整を行う。PGAの値は、disable、1/4、1/2、1倍のいずれかである。出力信号は、AD変換を駆動するための高速アンプから得られる。
次にAD変換部について説明する。
図5の(a)に示すように、多機能筋電位計測装置30(図2参照)が内蔵するAD変換機能は、Σ-Δ変換方式で、16bitの分解能、最大10kHzで全チャンネルの同時サンプリングが可能である。Σ-ΔAD変換の概略図を示す。アナログ信号Vinに対して、サンプリング周波数fs(Hz)×nのオーバーサンプリングとΣ-Δ変調を施すことにより、帯域外の高周波帯域に不要なノイズの周波数スペクトルを移行させ、これをデジタルフィルタにより除去する。最後にfs(Hz)にダウンレートすることで、デジタライズされた出力信号を得る。広く用いられる逐次比較AD変換と比べてSN比を高くとることができ、またアンチエイリアシングフィルタを単純化することができる。
多機能筋電位計測装置30のデジタルフィルタは、振幅が平坦で、線形位相の特性を持つ。(有効帯域は,サンプリング周波数の1/2)。サンプリング周波数は、1、1.25、2、2.5、4、5、8、10kHzから選択する。
また、図5の(b)に示すように、各チャンネルに対応した(64個の)Σ-ΔAD変換モジュールは、等長配線された同一のクロック源により駆動されるため、各々が同期してAD変換動作を行う。
次にデータ転送部について説明する。
図5の(c)に示すように、AD変換によりデジタライズされた計測データはUSB2.0(High Speed)インターフェースを介してPCに取り込まれる。これらの処理はDSP(Digital Signal Processor)に書き込まれたファームウェアによって実現される。サンプリング周波数毎に、各AD変換モジュールから転送される計測データは、DMA(Direct Memory Access)によって、DSP内のメモリに転送される。DSPは、デジタルフィルタ等の追加の信号処理を行い、SDRAMで構成されるFIFO(First In First Out)メモリに計測データを保存する。USB送信バッファが空になると、FIFOメモリから対象の計測データを順次読み込み、PC(USBホスト)に送信する。このようにFIFOメモリを、データ処理とUSB転送処理の間に入れることで、抜けを起こさずに全ての計測データを、PCに転送できるようにした。
次に絶縁部について説明する。
図6に示すように、多機能筋電位計測装置30は、生体活動をモニタリングするための計測装置であるため、安全性についても考慮する必要がある。電極と生体が接触するアナログ部(既述のシグナルコンディショニング部とAD変換部)と、電源やPCへの接続を可能にするデジタル部(既述のデータ転送部)は、電気的に絶縁する仕様とした。アナログ部の駆動電力は、12V入力から絶縁電源回路により生成される。デジタル部とアナログ部のデータ通信は、デジタルアイソレータを介して行われる。
次に解析部40について説明する。
解析部40(図2参照)は、生体信号から特徴量を抽出し、抽出した特徴量を変換して画像化し嚥下パターン画像を作成し、畳み込みニューラルネットワークを用いて嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を行う。カーネル主成分分析では、嚥下パターンを識別可能な高次元特徴空間に特徴ベクトルを写像したのち、取り扱い容易な低次元の特徴ベクトルに次元圧縮する(図14参照)。さらに解析部40は、次元圧縮された特徴ベクトルから各動作群同士の類似度の一つとして、ユークリッド距離を算出し、算出された前記各動作群同士のユークリッド距離を用いて嚥下パターンの分類精度を評価する。なお、特徴ベクトルは、特徴量の値が組になったものだけではなく、1次元の特徴量(すなわちスカラー)をも含むものとする。
次に実験条件について説明する。
被験者は20代の若年者15名(男性13名、女性2名、年齢21.9±1.2歳、身長170.4±5.9cm、体重63.4±7.7kg、mean±SD)、高齢者15名(男性9名、女性6名、年齢70.1±4.5歳、身長162.3±7.7cm、体重61.0±10.5kg、mean±SD))の計30名とした。
計測方法は、実験では舌骨上筋群用22チャンネルフレキシブル電極(センサ部)20(図2参照)を顎下部に、舌骨下筋群用22チャンネルフレキシブル電極を前頸部に、GND電極と不関電極を左右の耳朶に、RLD電極を後頚椎にそれぞれ装着した。舌骨上筋群用22チャンネルフレキシブル電極の装着位置は、下顎の正中線と電極の中心線が一致し、かつ下顎骨に純銀棒の電極が当たらない位置に、舌骨下筋群用22チャンネルフレキシブル電極の装着位置は、舌骨下筋群電極の上から2番目の電極が甲状軟骨の前方に最も突出している部分に位置し、かつ舌骨上筋群電極と干渉しない位置に、それぞれ規定した。sEMG信号は22チャンネルフレキシブル電極の各電極と一方の耳朶に装着した不関電極との電位差を、もう一方の耳朶に装着したGND電極の電位を基準として差動増幅することによって導出した.なお、事前にエタノール含有綿(サニコットパウチβa、丸三産業株式会社)を用い、電極を装着する顎下部及び前頸部、耳朶、後頸椎の皮脂を除去した.sEMG信号のサンプリング周波数は2000Hzとした。
図7に示すように、計測動作は、2つの嚥下状態を考慮するために、随意嚥下の強さと異なる一回嚥下量を組み合わせた、計4動作を実施した。試料として冷水を使用し、一回嚥下量には1mlと6mlの2種類を設定した。一回嚥下量である1mlは空嚥下を想定した量である。基本的に空嚥下は口腔内に何も含まずに唾液のみで嚥下を行うが、高度に口腔内が乾燥している場合にはそれが原因で空嚥下を行えない場合があることから、口腔内を湿らせることを目的として1mlを使用した。また、6mlは一回嚥下量を増やした際の嚥下パターンの変化を観察するために設定した。事前に高齢者を対象として予備検討を行った結果、15mlを嚥下できない高齢者がいた。そのため、今回は予備検討の結果を受けて高齢者が1度で嚥下可能な量である6mlを一回嚥下量として設定した。
随意嚥下の強さには通常嚥下と努力嚥下の2種類を設定した。努力嚥下は、嚥下機能を改善するための一般的な訓練法である。通常嚥下(努力嚥下ではない嚥下)の際には、被験者には普段ものを飲み込むときと同様に自然に嚥下を行うように指示し、努力嚥下の際には、できるだけ強く飲み込むように指示した(「飲み込むときに喉の筋肉に力を入れてください」と指示)。試料の水はシリンジ(ニプロシリンジ(針なし)20ml、ニプロ株式会社)を用いて口腔底に挿入し、その後の指示により嚥下を行うこととし、舌で水をすくってから飲み込むまでを計測対象とした。健常者の嚥下には、水や食塊を舌背上に保持した状態から嚥下を行うTipper typeと口腔底に保持し舌ですくい上げてから嚥下を行うDipper typeの2種類が存在し、高齢者はDipper typeの頻度が多いことが知られている。本実験ではTipper typeの場合、試料を挿入してから嚥下の指示までの時間で試料が舌背からこぼれ落ちてしまう可能性や、試料が咽頭へと流入し誤嚥してしまう可能性、また保持によるsEMG信号が観測されてしまう可能性があると考えたため、今回はDipper typeで実験を行った。実験時の姿勢は座位とした。
また実験時にはリラックスした状態で嚥下を行うように指示した。一回の計測は安静3秒間の後2秒以内で嚥下し、3秒間安静の計8秒間として、水1mlの通常嚥下(1ml Normal Swallow : NS1)、水1mlの努力嚥下(1ml Effortful swallow : ES1)、水6mlの通常嚥下(6ml Normal Swallow : NS6)、水6mlの努力嚥下 (6ml Effortful swallow : ES6)の順に1動作ずつ行った。この4動作を1セットとし、合計7セットの計測を行った。なお、連続の嚥下による筋肉疲労を考慮し、各動作の間に少なくとも10秒以上、2セットごとに少なくとも60秒以上の休息時間をそれぞれ設けた。
次に嚥下機能の定量的評価法の流れ(嚥下パターン画像の類似度を用いた嚥下機能評価方法の大まかなフロー。次元圧縮工程、評価工程の詳細。)について説明する。
図8に示すように、評価方法のフローは、(1)sEMG信号検出、(2)特徴抽出、(3)嚥下パターンの画像化(特徴量の画像化)、(4)畳み込みニューラルネットワークを用いた特徴ベクトルの作成、(5)カーネル主成分分析による写像と次元圧縮、(6)嚥下予備機能の数値化と嚥下機能評価、の流れとなる。
(1)sEMG信号検出は、被験者の所定の皮膚表面に配置したセンサ部で摂食嚥下における生体信号を検出する(生体信号検出工程)。
(2)特徴抽出では、解析部で、嚥下パターン画像を作成するための前処理として、データの特性を表現する時間領域と周波数領域の特徴量を計測データから抽出する(特徴量抽出工程)。
(3)特徴量の画像化では、抽出した前記特徴量を変換して画像化し嚥下パターン画像を作成する。具体的には、計算した特徴量から解析区間を切り出し、カラーマッピングによって嚥下パターン画像を作成する。なお、嚥下パターン画像は、舌骨上筋群と舌骨下筋群それぞれ1枚ずつ作成する(嚥下パターン画像作成工程)。
(4)畳み込みニューラルネットワークを用いた特徴ベクトルの作成では、事前学習済みの畳み込みニューラルネットワークCNNであるAlexNetを特徴抽出器として用いることで、嚥下パターン画像から識別に使用する特徴ベクトルを抽出する(特徴ベクトル抽出工程)。
(5)カーネル主成分分析による写像と次元圧縮では、AlexNetから抽出した8192次元の特徴ベクトルに対してカーネル主成分分析を行い、線形可能分離な高次元特徴空間に写像された特徴ベクトルを次元圧縮する(次元圧縮工程)。
(6)嚥下予備機能の数値化では、カーネル主成分分析により得られた特徴ベクトルから、各動作群同士のユークリッド距離を計算する。すなわち、異なる嚥下条件における嚥下パターン画像の類似度を計算する(画像類似度計算工程)。具体的には、次元圧縮された前記特徴ベクトルから各動作群同士のユークリッド距離を算出し、算出された前記各動作群同士のユークリッド距離を用いて嚥下パターンの分類精度を評価する(評価工程)。
また、生体信号検出工程では、生体信号として表面筋電位信号を用いている。さらに、生体信号検出工程では、少なくとも舌骨上筋群と舌骨下筋群の一方の表面筋電位信号を用いている。
さらに、嚥下パターン画像作成工程では、時間領域の特徴量と、低次である1次、2次及び3次の周波数領域の前記特徴量を変換して画像化するとともに一方向に並べて1つのフレームとし、フレームを一方向に直交する方向に複数個並べて1枚の嚥下パターン画像を作成する。
さらに、評価工程では、各動作群同士のユークリッド距離を、所定の正規用ユークリッド距離で割り、正規化した値を評価指標としている。
評価工程では、所定の前記正規用ユークリッド距離は、原点と6ml通常嚥下のユークリッド距離である。
次に各処理について詳しく述べる。(1)sEMG信号検出については、前述したので説明を省略する。(2)特徴抽出について説明する。
画像化を行う前に舌骨上筋群と舌骨下筋群のsEMG信号から、それぞれ動作に関連した特徴的な信号成分(特徴量)を抽出する。特徴抽出はチャンネルごとに行う。
セグメンテーションでは、特徴量の計算では過去nサンプルのsEMG信号を用いる。この際、nサンプル分を1つのフレームとして切り出して計算し、切り出す範囲を一定周期でシフトさせていくフレームシフト方式を用いる。図9の(a)は、フレームシフトを行う様子である。なお、フレーム長は128ms、シフト周期は16msである。サンプル数に置き換えると、サンプリング周波数2000Hzで計測を行ったため、フレーム長は256、シフト周期は32である。
特徴量は、本実験では、以下の2つを用いた(図9の(b)を合わせて参照)。
(1)Root Mean Square (RMS)
RMSは時間領域の特徴量であり、sEMG信号の振幅情報を含む。RMSは数式1により求められ、sEMGl,n(p) (n=0,…,N-1)は、電極番号l (l=1,2,…,22)の、p番目のフレームにおけるn番目のsEMGサンプルの値を示している。なお、フレームのサンプル数Nは256である。
Figure 0007428383000001
(2)Cepstrum coefficients (CC)
Cepstrum coefficients (CC) は周波数領域の特徴量であり、sEMG信号のパワースペクトルに関する情報を含む。低次のCCはなだらかな変動(包絡形状)に対応し,高次のCCは細かな変動(微細構造)に対応する。本研究では、パワースペクトルの包絡形状に着目し、低次(1~3)のCCを特徴量として採用する。CCは、数式2によりsEMG信号の離散フーリエ変換Xl k(k=0,…,N-1)を求め、数式3によりCCl n(p)が求められる。
Figure 0007428383000002
Figure 0007428383000003
時系列信号のスペクトル解析を行う際には、その前に窓関数をかけるのが一般的である。これはセグメンテーションを行ったデータに対して、フーリエ変換による信号のパワースペクトルを計算する場合に、信号の両端が不連続になるなどすると、信号の周期性が完全に満足されていない場合、元の信号が本来持っていなかった周波数にパワーが生じるためである。そこでCCの計算の際には、数式4に示すハニング窓をセグメンテーション後に適応し、信号の不連続性の問題の解消を行っている。
Figure 0007428383000004
平滑化は、フレーム間の変動を抑えるため、数式5と数式6のような移動平均を行いRMSとCCを平滑化した。ここでpはフレーム番号、Mは移動平均点数である。なお、移動平均点数Mは10フレームである。
Figure 0007428383000005
Figure 0007428383000006
次に(3)特徴量の画像化について説明する。
sEMG信号から抽出した特徴量を用いて、舌骨上筋群と舌骨下筋群それぞれで嚥下パターン画像の作成を行う。以下に特徴量の画像化方法を述べる。
図10の(a)に示すように、解析区分の設定では、安静状態から水を舌ですくい、咽頭へ送り込み、嚥下反射によって水を安全に食道へ送り込むまでの一連の筋活動、すなわち、嚥下の始まりから終わりまでと嚥下前後の安静状態を含めたsEMG信号を解析対象としている。嚥下は、わずか1秒程度もしくはそれ以下で行われる一瞬の動作である。そこで、嚥下を行う動作区間は個人差を考慮し2秒間、安静状態である無動作区間は嚥下の前後でそれぞれ0.5秒間を想定し、これらを合わせた3秒間(6048サンプル)を画像化に用いる解析区間とした。また数式7より、6048サンプルから182個のフレーム(p=1,2,…,182)が得られる。
Figure 0007428383000007
特徴量の正規化では、画像化に用いる特徴量であるRMSとCCとでは値のスケールが異なる。そのため、もし同じスケールでカラーマップによる画像化を行った場合にはスケールの大きい方のデータの影響を大きく受けてしまい、必然的にスケールの小さなデータは分解能が低くなり、結果として濃淡が少なく情報量が少ない画像となってしまう。そこでこの問題を解決するために画像化を行う前に、それぞれ学習データの最小値と最大値を用いて正規化を行う。ただし、この方法では外れ値が存在する場合には、その値に大きな影響を受けてしまう。そこで本研究では各値を降順に並べ、上位100個の値の平均値を正規化に用いる最大値に、下位100個の値の平均値を正規化に用いる最小値とした。またCCにおいては次数によっても値のスケール(変動範囲)が異なる。そのため、同一のスケールで画像化を行った際に、各次数の変化を高い分解能で表現することができない。そこでCCの正規化を行う際には、最小値をゼロに合わせるようなベースラインの調整を行った。具体的な手順としては、初めに各次数の値を降順に並べ下位100個の値の平均値を求める。
図10の(b)に示すように、各次数の値から下位100個の値の平均値を引くことでCC1~CC3の最小値を合わせる。最後に計算後の各値を降順に並べ、上位100個の値の平均値を正規化に用いる最大値に、下位100個の値の平均値を正規化に用いる最小値とした。これにより、次数間の相対的な変化を考慮しつつ、高い分解能で各次数の値の変化を表現することができる。
図10の(c)に示すように、カラーマップによる画像化は、画像化の際には6048サンプルを含む解析区間から抽出された、「88次元の特徴ベクトル×182フレーム」が1枚の画像として画像化する。特徴量は1チャンネルにつきRMSが1次元、CCが3次元分得られるため、22チャンネルのsEMG信号を使用する場合、合計88次元となる。
初めに、各128msのフレームから抽出されたRMSとCCで構成される特徴ベクトルをカラーマップに変換し画像化する。次に182個の特徴ベクトルから作成されたカラーマップを並べることにより、嚥下パターン画像を作成する。最後に、画像認識に用いるために227×227pixelのサイズに画像をリサイズする。また、画像のカラーはMATLAB(登録商標)の関数colormapのjetにより決定した。jetではRGBの各色の強度が[0,1]の範囲で定義されており、RMS、CC両方の最大値が[R,G,B]=[0.5,0,0]、最小値が[R,G,B]=[0,0,0.5625]、にそれぞれ対応している。
畳み込みニューラルネットワークを用いたベクトルの作成について説明する。
画像化の後、事前学習済みのCNNを特徴抽出器として用いることによって、作成された嚥下パターン画像から特徴ベクトルを抽出する。特徴ベクトルの抽出は、舌骨上筋群と舌骨下筋群それぞれ個別に行う。以下にCNNの構造と特徴抽出器としての転用方法について述べる。
畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)は畳み込み層とプーリング層という特別な2種類の層を含む順伝播型のネットワークであり、画像認識の分野において優れた性能を示している深層学習の手法の一つである。
図11の(a)に示すように、CNNの典型的な構造であり、入力側から出力側へ向けて、畳み込み層(convolution layer)とプーリング層(pooling layer)がペアでこの順に並び、このペアが複数回繰り返される。また、畳み込み層とプーリング層の後に、正規化層を挿入することもある。畳み込み層とプーリング層の繰り返しの後には、隣接層間のユニットが全結合した全結合層(fully-connected layer)が配置される。最後の出力層は、クラス分類を目的とする場合にはソフトマックス層が配置される。以下に畳み込み層、プーリング層、全結合層についてそれぞれ述べる。
畳み込み層では、画像の畳み込みは、フィルタの濃淡パターンと類似した濃淡パターンが入力画像上のどこにあるかを検出する働きがある。つまり、フィルタが表す特徴的な濃淡構造を、画像から抽出する働きである。
図11の(b)に示すように、畳み込み層の基本構造では、入力は縦横のサイズがS×S画素のN枚の画像の形(S×S×N)をとる。最初の入力層では、チャンネル数は入力画像がグレースケールならN=1、カラーならRGB計3枚でN=3である。それ以降の中間層では、直前の畳み込み層の出力チャンネル数Nと一致する。以下では、S×S×Nの入力をxijk((i, j, k)∈[0, S-1]×[0, S-1]×[1,N])とする。
畳み込み層ではこの入力にフィルタを畳み込む計算を行う。これは、一般的な画像処理でのフィルタの畳み込み、すなわち小サイズの画像を入力画像に2次元的に畳み込んで、画像をぼかしたり、あるいはエッジを強調したりするものと基本的に同じである。
具体的には、入力(図11(b)の(a))のサイズS×S画素の各チャンネル(図11(b)の(a)のN枚のk番目)ごとにL×Lのサイズの2次元フィルタ(図11(b)の(b)のN枚のk番目)を畳み込み、その結果を全Nチャンネルに渡って加算する(図11(b)の(c))のが一般的である。この計算の結果は1チャンネルの画像の形式uijをとる(図11(b)の(d))。uijはフィルタをwijk((i, j, k)∈[0, L-1]×[0, L-1]×[1,N])と書くと、数式8のように計算される。
Figure 0007428383000008
ただし、ρijは画像中の画素(i, j)を頂点とするサイズL×L画素の正方領域、数式9である。
Figure 0007428383000009
数式8の最後のbkはバイアスで、チャンネルkごとに全出力ノード間で同一とする(つまりbijk=bk)ことが多い。なおフィルタを全画素でなく、数画素間隔で適用することもある。すなわち、ある画素数sについて、数式8のρijを、数式10
Figure 0007428383000010
とし、ρp-i,q-j,kをρp-si,q-sj,kと置き換えてuijを計算する。この場合、出力層のノード数は入力層の(1/s)倍になる。この画素間隔sをストライドと呼び、入力サイズが大きい時、ネットワークのサイズが大きくなりすぎるのを避けるため、2以上のsを選ぶことがある。ただし、その場合、特徴を取りこぼすことに繋がり、一般に性能は低下する傾向にある。このように計算されたuijは,その後活性化関数a(・)を経て(図11(b)の(e))、畳み込み層の出力(図11(b)の(f))、数式11
Figure 0007428383000011
となる。これにより、一つのフィルタwijkにつき、入力xijkと縦横サイズが同じS×Sの1チャンネルの出力yijを得る。同様のフィルタをN’個用意し、S×S×N’のサイズyijk((i, j, k)∈[0, S-1]×[0, S-1]×[1,N’])を得る。これは次の層への入力(つまり今の層でのxijk)となる。図11の(b)は、N’個あるフィルタのうちの一つについての計算に相当する。以上の計算は、特殊な形での層間ノードが結ばれた単相ネットワークとして表現できる。具体的には、上位層の各ノードは、下位層のノードの一部のみと結合し、さらにその結合の重みは各ノード間で共通となる構造である。前者の結合の様子を受容野が局所的であると言い、後者の共通構造を重みの共有と呼ぶ。
プーリング層では、畳み込み層で抽出された特徴の位置感度を若干低下させることで、対象とする特徴量の画像内での位置が若干変化した場合でも、プーリング層の出力が不変になるようにする。プーリングを行うプーリング層は畳み込み層と対で使われ、基本的には畳み込みの出力がこの層への入力となる、したがって、その入力はやはり、S×S×N の形をとる。プーリング層の目的は、プーリングすなわち画像のどの位置でフィルタの応答が強かったかという情報を一部捨てて、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現することにある。
プーリング層のノード(i, j)は、畳み込み層と同様に、その入力側の層に局所受容野ρijを持つ。このノード(i, j)の出力はρijの内部のノード(p, q)∈ρijの出力ypqを後述の方法で集約したものである。なおρijのサイズは、畳み込み層のフィルタサイズとは通常無関係に設定される。また入力が複数チャンネルある場合、チャンネルごとに以上の処理を独立して行うのが一般的である。つまり、畳み込み層の出力チャンネル数とプーリング層の出力チャンネルは一致する。通常このプーリング層の処理は画像の縦横(i, j)方向に間引いて行う。つまり2以上のストライドsを設定する。sとρijのサイズによっては、隣接する出力ノードの受容野ρijが互いに重なり合うこともある。こうして、プーリング層の出力ノード数は入力ノード数の1/s倍となる。
受容野ρij内のノードからの入力をまとめて一つの値に集約する方法にはいくつかある。平均プーリングとはρijに属するノードからの入力の平均をこのノードの出力とする方法である(数式12)。
Figure 0007428383000012
最大プーリングとはρijに属するノードからの入力の最大値を出力とする(数式13)。
Figure 0007428383000013
また,両者の中間的存在としてLpプーリングがある(数式14)。
Figure 0007428383000014
これらの計算は、平均プーリングを除いて通常のノードの入出力関係では表現できないものの、基本的には畳み込み層同様に単層のネットワークとして表現できる。また、畳み込み層と違ってプーリング層には、学習によって変化する重みがない。さらにプーリング層では活性化関数を使用しないのが普通である。
全結合層は隣接層間のノードをすべて結合した層である。通常、CNNでは出力層付近に全結合層が1層以上配置される。
次に特徴抽出器としての転用と特徴ベクトルの作成((4)畳み込みニューラルネットワークを用いた特徴ベクトルの作成)について説明する。
CNNを含む多層のNNが学習する特徴はその層構造に対応した階層性を持ち、下位層の特徴ほど普遍性を持ち、上位層の特徴ほどタスク依存性が高くなる。つまり、下位層の特徴は異なるタスク間で共有される。この性質から、ある認識タスクに対し多層NNが学習した特徴を別の認識タスクに転用することが可能であるとされている。転用の方法には、「ネットワークのFine-tuning」と「特徴抽出器としての利用」の2つがある。
事前学習されたCNNには、AlexNetやVGG、GoogLeNet、ResNetなど多数のネットワークがあるが、今回はその中で識別性能が高く、最もネットワーク構造が簡単なAlexNetを事前学習されたCNNとして用いた。
図12の(a)に示すように、AlexNetは、5つの畳み込み層と3つのプーリング層、2つの正規化層、3つの全結合層から構成されている。ImageNetのデータセット120万枚を用いて学習、5万枚を用いて検証、15万枚を用いてテストされており、画像をキーボードやマウス、コーヒーカップ、鉛筆、犬などの1000個のカテゴリに識別することができる。
図12の(b)に示すように、AlexNetを特徴抽出器として転用し、全結合層のfc6層の出力(4096次元)を特徴ベクトルとして用いた。
舌骨上筋群と舌骨下筋群の特徴ベクトルの連結について説明する。
sEMG信号の画像化、そして作成された嚥下パターン画像からの特徴ベクトルの抽出は舌骨上筋群と舌骨下筋群それぞれ個別に行ってきた。しかし、嚥下は舌骨上筋群と舌骨下筋群の協調運動によって行われる運動である。そのため、嚥下運動を評価する際にはどちらか片方の筋群のみを用いて評価するのではなく、舌骨上筋群と舌骨下筋群の両方の筋群のsEMG信号を用いて評価を行うことで、双方の特徴を考慮した評価を行うことができる。図13に示すように、本発明では、事前学習されたCNNのfc6層から抽出された、舌骨上筋群と舌骨下筋群の4096次元の各特徴ベクトルを連結することで、8192次元の特徴ベクトルを作成し、これを1動作分の特徴ベクトルとした。
特許文献1の方法では、画像から得られた特徴ベクトルを用いて、SVMによる嚥下パターン識別が可能であることが開示されている。これは、特徴ベクトルにカーネル関数を使用することで線形分離可能な高次元特徴空間へと写像できることを意味している。ただし、この高次元特徴空間は、一般に無限次元となるため、各動作群同士の特徴ベクトルの角度や距離などを算出することは難しい。そこで、高次元特徴空間に写像しつつ、取り扱いが容易な低次元の特徴ベクトルへと次元圧縮する方法として、カーネル主成分分析(kernel principal component analysis : KPCA)に着目した((5)カーネル主成分分析による写像と次元圧縮について)。
図14に示すように、通常の主成分分析(principal component analysis : PCA)が線形データに対する次元圧縮法であるのに対して、KPCAは非線形データに対する次元圧縮法である。KPCAでは非線形変換φ(x)によって一度高次元空間へと写像した後に、その特徴空間においてPCAを行うことで主成分を得るため、非線形なデータに対しても適用可能である。本研究では、KPCAの処理を全被験者、全データの特徴ベクトルに対して適用し、特徴ベクトルの高次元空間への写像と次元圧縮を図った。以下にKPCAの計算手順と、カーネル関数のハイパーパラメータ、使用する主成分数の探索について述べる。
次にカーネル主成分分析について説明する。
D次元ベクトルのデータセットを{x}とする。元のD次元特徴空間からM次元特徴空間(M≫D)への非線形変換φ(x)を仮定すると、各データ点xは点φ(x)へと投影される。この新しい特徴空間において通常のPCAを行うことができるが、非常にコストがかかり、非効率的である。そこでカーネル関数を使用することにより計算を簡略化できる。はじめに、投影後の特徴量の平均が0となるように中心化されていると仮定する(数式15)。
Figure 0007428383000015
このとき投影された特徴量のM×Mの共分散行列は、次式で計算される(数式16)。
Figure 0007428383000016
その固有値λと固有ベクトルvはk=1、2、…、Mに対して、次式で定義される(数式17)。
Figure 0007428383000017
数式16、と数式17より固有ベクトルvは数式18、
Figure 0007428383000018
を満たすことがわかる。それゆえ、(λ>0を仮定して)ベクトルvはのφ(x)線形結合で与えられ、数式19のように書かれる。
Figure 0007428383000019
数式18のvを数式19で置き換えると、数式20が得られる。
Figure 0007428383000020
ここで、数式21でカーネル関数を定義し(数式21)、
Figure 0007428383000021
数式20の両辺にφ(x)をかけることで数式22を得る。
Figure 0007428383000022
行列表記では、数式23、数式24となる。
Figure 0007428383000023
Figure 0007428383000024
ただし、aはakiのN次元列ベクトルである(数式25)。
Figure 0007428383000025
aは数式26を解くことにより得られる。
Figure 0007428383000026
結果として得られるカーネル主成分の射影はカーネル関数により表すことができる。点xの固有ベクトルk上への射影は次式によって計算される(数式27)。
Figure 0007428383000027
もし投影されたデータセット{φ(x)}の平均が0でない場合、グラム行列K~を使用することで、カーネル行列Kを置き換えることができる。グラム行列K~は数式28で与えられる。
Figure 0007428383000028
ここで1はすべての要素が1/Nという値をとるN×N行列である。カーネル関数の利点はφ(x)を計算する必要がなく、データセット{x}から直接カーネル行列を求めることができる点である。本発明ではカーネル関数には、前術同様にRBFカーネルを使用した。γはカーネルパラメータである(数式29)。
Figure 0007428383000029
次にカーネルパラメータの探索について説明する。
KPCAでは使用するカーネル関数によってハイパーパラメータの設定が必要である。本研究ではカーネル関数に、前述同様にRBFカーネルを使用しており、設定するべきハイパーパラメータはγの1種類である。KPCAではこのハイパーパラメータの設定により結果が大きく異なることが予想されるため、ハイパーパラメータの選択は非常に重要となる。そこで本研究では、最適なγの探索を、γ={2-23,2-21,…,2-11}の7通りに対して試行錯誤的に行った。
次に最適な主成分数の探索について説明する。
KPCAでは、KPCAに使用したデータ数iと同じ数の主成分yを得ることができる。KPCAを用いた解析においては、どの主成分を使用するか、つまり何次元まで特徴量を圧縮するかも非常に重要となる。そのため解析に使用する主成分数についても探索を行った。本発明では、KPCAに用いる特徴ベクトルは5880サンプル(被験者数30×データ数7×動作数4×画像増幅率7)×8192次元であり、数式24と数式29より5880×5880のカーネル行列Kが得られる。カーネル行列Kを固有値分解すると、5880個の固有値λと5880×5880の固有ベクトルaが得られ、最大で5880個の主成分が得られる。そこで、図15に示すように、ここでは固有値λ着目し、降順に並び替えた固有値λの値の変位が大きい範囲(第600主成分まで)に対して、主成分数={3,10,50,100,400,600,5880}の7通りで試行錯誤的に行った。
次に(6)嚥下予備能の数値化について説明する。
嚥下予備能を定量的に評価するために、各嚥下条件における特徴ベクトルの類似度を評価することによって嚥下予備能を数値化する。一般的に類似度は角度、距離、相関等で表される。図16の(a)、(b)に示すように、本発明では、類似度を各特徴ベクトルの差、つまりユークリッド距離として表現することで、嚥下予備能を数値化した。また、特徴空間上で距離を求める際には、距離測定方法以外に各動作群の位置を決定する必要がある。そこで各動作群の位置は、外れ値の影響を考慮するため各動作群のデータの中央値とし、ユークリッド距離の計算は被験者ごとに行った。本発明では嚥下条件を変化させたときの類似度の違いを見るために、以下の3条件、合計6つのユークリッド距離について検討した。
(a)随意嚥下の強さを変化させた場合のユークリッド距離
(1)1ml通常嚥下と1ml努力嚥下(NS1 - ES1)
(2)6ml通常嚥下と6ml努力嚥下(NS6 - ES6)
(b)一回嚥下量を変化させた場合のユークリッド距離
(3)1ml通常嚥下と6ml通常嚥下(NS1 - NS6)
(4)1ml努力嚥下と6ml努力嚥下(ES1 - ES6)
(c)随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
(5)1ml通常嚥下と6ml努力嚥下(NS1 - ES6)
(6)6ml通常嚥下と1ml努力嚥下(NS6 - ES1)
さらに、動作群同士のユークリッド距離の計算後、個人差を考慮するために、任意のユークリッド距離により正規化を行った。この際、新たに数式30で表される評価指標Dを定義した。
Figure 0007428383000030
また、正規化に用いる任意のユークリッド距離についても、他のパラメータと同様に探索を行った。正規化用のユークリッド距離は、以下の合計10個のユークリッド距離について試行錯誤的に探索した。
(a)随意嚥下の強さを変化させた場合のユークリッド距離
(1)1ml通常嚥下と1ml努力嚥下(NS1 - ES1)
(2)6ml通常嚥下と6ml努力嚥下(NS6 - ES6)
(b)一回嚥下量を変化させた場合のユークリッド距離
(3)1ml通常嚥下と6ml通常嚥下(NS1 - NS6)
(4)1ml努力嚥下と6ml努力嚥下(ES1 - ES6)
(c)随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
(5)1ml通常嚥下と6ml努力嚥下(NS1 - ES6)
(6)6ml通常嚥下と1ml努力嚥下(NS6 - ES1)
(d)原点と各動作群とのユークリッド距離
(7)原点Oと1ml通常嚥下(NS1)
(8)原点Oと6ml通常嚥下(NS6)
(9)原点Oと1ml努力嚥下(ES1)
(10)原点Oと6ml努力嚥下(ES6)
次に本発明の手法の評価と各パラメータの決定方法について説明する。
本発明の手法の評価はt検定によって行う。若年者と高齢者との間で評価指標Dに対してt検定を行い、有意差が表れるかを検証する。有意差が出た場合、それは年齢の変化に伴う嚥下機能の変化を評価できていることを意味する。さらに、評価指標DとRSST、最大舌圧を合わせた8項目と年齢、評価指標DとRSST、評価指標Dと最大舌圧との関係を調べるために、それぞれで相関係数を求めた。
また、探索を行うパラメータである、ハイパーパラメータγ、使用する主成分数、正規化に用いるユークリッド距離の最適な値についてもt検定の結果を用いて決定することとした。評価指標Dのうち、随意嚥下の強さを変化させたとき、一回嚥下量を変化させたとき、のそれぞれで有意差があり、かつ最も有意差の出る評価指標Dの数が多いパラメータの組み合わせを嚥下機能評価に最適なパラメータとした。
次に結果について説明する。
全被験者の舌骨上筋群と舌骨下筋群の各嚥下条件の嚥下パターン画像の一例を図17に示す。最適化したパラメータを図18に示す。ハイパーパラメータγは、γ={2-23,2-21,…,2-15}の範囲で結果に大きな差が見られなかったため、前述における最適なγの値であるγ=2-15を最適なパラメータとして採用した。最適な主成分数は3、正規化用のユークリッド距離は原点Oと6ml通常嚥下(NS6)のユークリッド距離であった。図18のγと主成分数を用いて計算された、正規化を行う前の年齢層ごとの動作群同士のユークリッド距離を図19の(a)に、t検定におけるP値を図19の(b)に示す。また、正規化後の年齢層ごとの評価指標Dを図20の(a)に、t検定におけるP値を図20の(b)に示す。正規化前の動作群同士のユークリッド距離には若年者と高齢者の間に有意差は見られなかった。一方、原点Oと6ml通常嚥下(NS6)のユークリッド距離を用いて各動作群同士のユークリッド距離を正規化することにより、|NS1-ES1|/|NS6|、|NS6-ES6|/|NS6|、|NS1-NS6|/|NS6|、|NS1-ES6|/|NS6|、|NS6-ES1|/|NS6|、の5つの評価指標Dで有意差が見られた。
次に考察について述べる。正規化前の動作群同士のユークリッド距離の各動作の組み合わせに着目すると、どちらの年齢層においても随意嚥下の強さを変化させた時(NS1-ES1,NS6-ES6)や、随意嚥下の強さと一回嚥下量の両方を変化させた時(NS1- ES6,NS6-ES1)ではユークリッド距離が大きく、一回嚥下量を変化させた時(NS1-NS6,ES1-ES6)はユークリッド距離が小さかった。これは、随意嚥下の強さの変化は意図的に嚥下パターンを変化させているためにユークリッド距離が大きくなり、一方で一回嚥下量の変化は反射運動によるものなのでユークリッド距離が小さいと考えられ、嚥下パターンが異なるほどユークリッド距離が大きくなる傾向が見られた。
しかし、若年者と高齢者の間で動作群同士のユークリッド距離に有意差は見られず、ユークリッド距離からでは嚥下予備能の違いを評価できないことがわかった。この理由としては、今回実験を行う際に全ての被験者に対して同一の多チャンネル電極を用いてsEMG信号の計測を行ったため、被験者によって各電極と筋肉との位置関係が異なっていることや、電極サイズと顎下形状・大きさの相対関係などの個人差を考慮できていないためだと考えられる。そのため個人差をどのように考慮するかが重要であり、ここでは原点とNS6のユークリッド距離を用いて各動作群同士のユークリッド距離の正規化を行い、新しい評価指標Dを用いた。これにより同一のユークリッド距離を基準として他のユークリッド距離を表現することができ、個人間での比較が行えるようになったため、随意嚥下の強さを変化させた時(|NS1-ES1|/|NS6|,|NS6-ES6|/|NS6|)、一回嚥下量を変化させた時(|NS1-NS6|/|NS6|)、随意嚥下の強さと一回嚥下量の両方を変化させた時(|NS1-ES6|/|NS6|,|NS6-ES1|/|NS6|)の5つの評価指標Dで有意差が見られたと考えられる。各動作の組み合わせに着目すると、随意嚥下を変化させた場合では、評価指標Dは舌での送り込み強さの違いを表しており、加齢によって変化することがわかる。また一回嚥下量が1ml から6mlに変化した場合でも有意差が見られた。一方、一回嚥下量を変化させた場合では、評価指標Dは一回嚥下量に対する喉頭などの対応力を表しており、加齢によって変化することがわかる。また、各年齢層の評価指標Dの値の大きさに着目すると、6つの全ての動作の組み合わせにおいて若年者の方が高齢者よりも評価指標Dが小さく、若年者は嚥下予備能があると仮定することで評価指標Dが小さいほど嚥下予備能があると考えられる。このことから、嚥下予備能が高ければ評価指標Dが小さく、逆に嚥下予備能が低ければ評価指標Dが大きくなるというように、嚥下予備能の違いを評価指標Dの大きさによって評価できる可能性が示された。
次に年齢と評価指標Dの相関関係について着目すると、随意嚥下の強さを変化させた時(NS1-ES1,NS6-ES6)や随意嚥下の強さと一回嚥下量の両方を変化させた時(NS1-ES6,ES1-NS6)では弱い相関が見られたのに対して、一回嚥下量を変化させた時(NS1-NS6,ES1-ES6)では相関が見られなかったことから、加齢による能力の低下は、一回嚥下量変えるような反射性の不随意運動の能力の変化よりも、随意嚥下の強さを変えるような随意運動の能力の変化に表れやすい傾向にあると考えられる。ただし、一回嚥下量を変化させた時に関しては、若年者の場合、一回に少なくとも20ml以上の水を嚥下することが可能であり、1mlと6mlという僅か5mlの差であれば嚥下パターンを大きく変えなくても、余力を残しての嚥下を行えていた可能性がある。さらにRSSTや最大舌圧と評価指標Dとの関係を比較すると、随意嚥下の強さや一回嚥下量の変化に対して相関が見られなかった。このことから本研究で定量化した評価指標Dに基づく評価では、従来のスクリーニング検査であるRSSTや舌圧とは異なる視点で嚥下予備能を評価しており、従来技術では検出できない嚥下機能低下を検出できる可能性がある。
以上の結果から、嚥下パターンの類似度はKPCAによって高次元空間へと写像、次元圧縮された特徴ベクトルのユークリッド距離から計算された評価指標Dによって表され、若年者と高齢者の評価指標Dには有意差があり、評価指標Dの大きさによって加齢に伴う嚥下予備能の変化を定量的に評価できる可能性が示唆された。
以上の述べた嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステムの作用・効果について説明する。
本発明の実施例に係る嚥下パターン画像の類似度を用いた嚥下機能評価方法では、生体信号検出工程、嚥下パターン画像作成工程、画像類似度計算工程、評価工程を備えている。嚥下パターン画像作成工程では、検出した生体信号にフィルタ処理、変換処理、特徴抽出などの前処理を行ったうえ、モノクロ画像、グレースケール画像、カラー画像などの画像を少なくとも1枚作成する。画像は複数枚あってもよいし、2次元グラフや3次元グラフなどでもよい。画像類似度計算工程では、例えば、画像を特徴ベクトルに変換し、異なる嚥下条件における特徴ベクトルの角度や距離等を計算し、画像の類似度を数値化する。類似度には、コサイン類似度、ユークリッド距離、ハミング距離、マハラノビス距離、マンハッタン距離、ピアソンの相関係数、チェビシェフ距離、ミンコフスキー距離などがある。また、MSE(Mean Square Error)、PSNR(Peak Signal to Noise Ratio)、SSIM(structural similarity index measure)などの画像の類似度の評価法もある。評価工程では、画像の類似度から嚥下機能を評価する指標を作成し、個々人の嚥下機能を評価する。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、機械学習を用いることなく、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価方法とすることができる。
さらに、生体信号として表面筋電位信号を用いているので、例えば筋電センサを用いて簡便に計測することができる。
さらに、生体信号検出工程では、少なくとも舌骨上筋群生体信号と舌骨下筋群生体信号の一方の表面筋電位信号を用いるだけで済むので、より簡便に計測することができる。なお、片方の筋電位信号から作成した1枚の画像から、同様の嚥下機能評価を実施することは可能である。
さらに、嚥下パターン画像作成工程では、特徴抽出等の前処理を行った生体信号を画像化して少なくとも1枚の嚥下パターン画像を作成する。例えば、嚥下の始まりから終わりまでの表面筋電位(sEMG)信号の振幅情報、周波数情報、時間-周波数情報、立ち上がりのタイミング、筋肉の活動時間などの嚥下運動に関与する複数のパラメータを画像上に表現することができる。また、多点同時計測を行うので、他の筋肉との違いも画像上に表現することができる。さらに、この画像を用いて嚥下条件による嚥下パターンの違いを検出するので、嚥下条件に伴って飲み込み方を変えられる能力(嚥下予備能)の定量評価を実現することができる。
さらに、カーネル関数を用いて特徴ベクトルを線形分離可能な無限次元特徴空間に写像したのち、主成分分析を用いて次元圧縮することで、学習データを要する予測モデル生成を行うことなく、嚥下パターン識別精度に関連した情報を、画像の類似度という形で抽出できる。
さらに、各動作群同士の前記特徴ベクトルの角度や距離等を、所定の基準値で正規化し、得られた値を評価指標としているので、筋走行に対する電極位置の違いや、電極装着位置の皮下組織の組成(例えば脂肪厚)の違い、嚥下諸器官の筋力の違い、嚥下の癖等、ベースラインを整えることで、個人差を吸収することができる。
さらに、解析部で、次元圧縮された特徴ベクトルから各動作群同士の角度や距離等を算出し、算出された各動作群同士の角度や距離等を用いて嚥下パターンの変化量を評価するので、機械学習による嚥下パターン分類(すなわち予測モデル作成と動作識別の過程)を用いる必要がない。このため、被験者に所定の嚥下条件で数回ずつ計測すれば十分であり、嚥下予備能の変化を定量的にかつ日常的に把握できる安全で簡便な嚥下機能価システムとすることができる。
尚、実施例では、舌骨上筋群用筋電センサ及び舌骨下筋群筋電センサをアレイ状の電極としたが、等間隔に整列したアレイ状でなくても、少なくとも1チャンネル以上の電極を備えていればよい。また、上述の説明や図中において、適宜、摂食嚥下を意味する部分でも嚥下と記載する部分を有する。
また、画像の類似度の比較として、実施例では一回嚥下量と嚥下強度を嚥下パターン変化量の対象としたが、これに限定されず、一回嚥下量の違いに対する嚥下パターン変化量、総嚥下量(一回の嚥下ではなく、所謂ごくごくを対象)の違いに対する嚥下パターン変化量、嚥下方法(通常嚥下や努力嚥下の強さ、あるいは飲み込む速さ、飲み込む姿勢等)の違いに対する嚥下パターン変化量、嚥下物の物性(粘度、大きさ、硬さ、テクスチャー、液体、個体、液体個体混合、温度等)の違いに対する嚥下パターン変化量、疲労度(ある動作前と動作後)の違いに対する嚥下パターン変化量、食事の場所や時間、姿勢など食事条件や環境の違いに対する嚥下パターン変化量、でもよく画像の類似度を比較できれば嚥下パターン変化量の形態はいずれであってもよい。
また、嚥下パターン画像は、上筋群は上筋群の画像、下筋群は下筋群の画像というように合計2枚の画像を用いているが、あわせて1枚にしても良く、逆に全部で4枚などに増やしてもよい。また、実施例ではカーネル主成分分析を用いて特徴ベクトルを次元圧縮したうえで、その類似度を特徴ベクトルの角度や距離などで数値化したが、これに限定されず、画像から抽出した特徴量ベクトルをそのまま角度や距離計算に用いてもよい。また、カーネル主成分分析ではなく、通常の主成分分析などの次元圧縮手法を用いて、特徴ベクトルの類似度を特徴ベクトルの角度や距離などで数値化してもよい。
なお、実施例では、生体信号検出工程で生体信号として表面筋電位信号を用いて画像としたが、これに限定されず、嚥下音などの生体音、喉頭運動、筋の硬さやボリューム変化、筋音、嚥下諸器官の運動に関する生体信号情報などを画像にしてもよい。さらには、これらを組み合わせて複数の嚥下パターン画像としてもよい。また、実施例では、嚥下パターン画像作成工程で、生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間-周波数領域の特徴量をカラーマップに変換して画像化したが、これに限定されず、生データをそのまま画像にしてもよく、どの特徴量を一つ選択して使ってもよい。
即ち、本発明の作用及び効果を奏する限りにおいて、本発明は、実施例に限定されるものではない。
本発明は、被験者の生体信号から深層学習を用いて、嚥下予備能の変化を定量的にかつ日常的に把握する嚥下機能評価技術に好適である。
10…嚥下機能評価システム、20…センサ部、21…舌骨上筋群用筋電センサ(22チャンネルフレキシブル電極)、21a…電極、22…舌骨下筋群用筋電センサ(22チャンネルフレキシブル電極)、22a…電極、30…多機能筋電位計測装置、40…解析部(動作学習・識別部、PC)、60…被験者。

Claims (3)

  1. 被験者の摂食嚥下動作に関わる生体信号を検出する生体信号検出工程と、
    解析部で前記生体信号から嚥下パターン画像を作成する嚥下パターン画像作成工程と、
    異なる嚥下条件における前記嚥下パターン画像の類似度を計算する画像類似度計算工程と、
    前記類似度から嚥下機能を評価する評価工程と、を備え、
    前記生体信号検出工程では、前記生体信号として表面筋電位信号を用い、
    前記嚥下パターン画像作成工程では、多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間-周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて1つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて1枚の前記嚥下パターン画像を作成し、
    前記画像類似度計算工程では、畳み込みニューラルネットワークに代表される深層学習の画像認識モデルを用いて、前記嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を用いたうえで、異なる嚥下条件における前記特徴ベクトルの類似度を、前記特徴ベクトルの少なくとも角度、距離、相関のいずれかで数値化し、
    評価工程では、各動作群同士の前記特徴ベクトルの少なくとも角度、距離、相関のいずれかを、基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価方法。
  2. 請求項1の嚥下パターン画像の類似度を用いた嚥下機能評価方法であって、
    前記生体信号検出工程では、少なくとも舌骨上筋群と舌骨下筋群の一方の前記表面筋電位信号を用いていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価方法。
  3. 被験者の摂食嚥下動作に関わる生体信号として表面筋電位信号を検出するセンサ部と、
    多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間-周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて1つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて1枚の嚥下パターン画像を作成し、畳み込みニューラルネットワークに代表される深層学習の画像認識モデルの特徴抽出器を用いて前記嚥下パターン画像から特徴ベクトルを抽出し、前記特徴ベクトルに対してカーネル主成分分析を行い、高次元特徴空間に写像された特徴ベクトルを次元圧縮し、次元圧縮された前記特徴ベクトルから各動作群同士の類似度を少なくとも角度、距離、相関のいずれかとして算出し、算出された前記各動作群同士の少なくとも角度、距離、相関のいずれかを、基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えることで用いて嚥下パターンの変化量である嚥下予備能を評価する解析部と、を備えていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価システム。
JP2020146438A 2020-08-31 2020-08-31 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム Active JP7428383B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020146438A JP7428383B2 (ja) 2020-08-31 2020-08-31 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020146438A JP7428383B2 (ja) 2020-08-31 2020-08-31 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム

Publications (2)

Publication Number Publication Date
JP2022041316A JP2022041316A (ja) 2022-03-11
JP7428383B2 true JP7428383B2 (ja) 2024-02-06

Family

ID=80499775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020146438A Active JP7428383B2 (ja) 2020-08-31 2020-08-31 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム

Country Status (1)

Country Link
JP (1) JP7428383B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117064344B (zh) * 2023-10-16 2023-12-22 中国人民解放军总医院第二医学中心 一种多模态刺激的吞咽障碍治疗方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180217660A1 (en) 2017-02-02 2018-08-02 Stmicroelectronics, Inc. System and method of determining whether an electronic device is in contact with a human body
WO2019022259A1 (ja) 2017-07-28 2019-01-31 株式会社メルティンMmi 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム
JP2019208629A (ja) 2018-05-31 2019-12-12 国立大学法人岩手大学 嚥下機能評価法及び嚥下機能評価装置
JP2020508745A (ja) 2017-02-28 2020-03-26 ソシエテ・デ・プロデュイ・ネスレ・エス・アー 加速度測定信号から抽出されたメタ特徴を使用して、嚥下障害を検出する方法及びデバイス

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180217660A1 (en) 2017-02-02 2018-08-02 Stmicroelectronics, Inc. System and method of determining whether an electronic device is in contact with a human body
JP2020508745A (ja) 2017-02-28 2020-03-26 ソシエテ・デ・プロデュイ・ネスレ・エス・アー 加速度測定信号から抽出されたメタ特徴を使用して、嚥下障害を検出する方法及びデバイス
WO2019022259A1 (ja) 2017-07-28 2019-01-31 株式会社メルティンMmi 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム
JP2019208629A (ja) 2018-05-31 2019-12-12 国立大学法人岩手大学 嚥下機能評価法及び嚥下機能評価装置

Also Published As

Publication number Publication date
JP2022041316A (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
Turkoglu et al. An intelligent system for diagnosis of the heart valve diseases with wavelet packet neural networks
JP6564475B2 (ja) 数学的分析および機械学習を使用して病気を診断する方法およびシステム
Hasan et al. Detection and processing techniques of FECG signal for fetal monitoring
JP7133200B2 (ja) 嚥下機能評価装置による評価方法及び嚥下機能評価装置
Ye-Lin et al. Automatic identification of motion artifacts in EHG recording for robust analysis of uterine contractions
Khalifa et al. Upper esophageal sphincter opening segmentation with convolutional recurrent neural networks in high resolution cervical auscultation
CN103919548B (zh) 一种吞咽肌障碍的检测装置及设备
CN113509186B (zh) 基于深度卷积神经网络的ecg分类系统与方法
Orguc et al. EMG-based real time facial gesture recognition for stress monitoring
JP7428383B2 (ja) 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム
Sankar et al. Effective enhancement of classification of respiratory states using feed forward back propagation neural networks
Hussain et al. Food intake detection and classification using a necklace-type piezoelectric wearable sensor system
JP7452855B2 (ja) 時系列データ予測を用いた嚥下運動予測方法及びそのシステム
Sulas et al. A non-invasive multimodal foetal ECG–Doppler dataset for antenatal cardiology research
Lee et al. Swallow segmentation with artificial neural networks and multi-sensor fusion
Vahabi et al. Deep analysis of EIT dataset to classify apnea and non-apnea cases in neonatal patients
Sonmezocak et al. Detection of EMG signals by neural networks using autoregression and wavelet entropy for bruxism diagnosis
Tseng et al. Healthcare knowledge of relationship between time series electrocardiogram and cigarette smoking using clinical records
Roldan-Vasco et al. Swallowing disorders analysis using surface EMG biomarkers and classification models
Hsu et al. Using swallow sound and surface electromyography to determine the severity of dysphagia in patients with myasthenia gravis
Dong et al. Analyzing breathing signals and swallow sequence locality for solid food intake monitoring
Allam et al. Patient-specific ECG beat classification using EMD and deep learning-based technique
CN109431493B (zh) 基于距离分段加权算法的可穿戴体表电势采集装置
CN105555188A (zh) 诊断恶性肺肿瘤的方法
Zhang et al. Bioimpedance measurement to evaluate swallowing in a patient with amyotrophic lateral sclerosis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230306

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240118

R150 Certificate of patent or registration of utility model

Ref document number: 7428383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150