JP7428383B2 - 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム - Google Patents
嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム Download PDFInfo
- Publication number
- JP7428383B2 JP7428383B2 JP2020146438A JP2020146438A JP7428383B2 JP 7428383 B2 JP7428383 B2 JP 7428383B2 JP 2020146438 A JP2020146438 A JP 2020146438A JP 2020146438 A JP2020146438 A JP 2020146438A JP 7428383 B2 JP7428383 B2 JP 7428383B2
- Authority
- JP
- Japan
- Prior art keywords
- swallowing
- similarity
- feature
- image
- differences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009747 swallowing Effects 0.000 title claims description 367
- 238000011156 evaluation Methods 0.000 title claims description 75
- 210000003205 muscle Anatomy 0.000 claims description 93
- 239000013598 vector Substances 0.000 claims description 81
- 230000033001 locomotion Effects 0.000 claims description 74
- 230000006870 function Effects 0.000 claims description 71
- 230000003183 myoelectrical effect Effects 0.000 claims description 40
- 238000005259 measurement Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000000513 principal component analysis Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 13
- 210000000056 organ Anatomy 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000004070 electrodeposition Methods 0.000 claims description 5
- 206010033675 panniculitis Diseases 0.000 claims description 5
- 210000004304 subcutaneous tissue Anatomy 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 65
- 238000000034 method Methods 0.000 description 43
- 238000010606 normalization Methods 0.000 description 22
- 238000011176 pooling Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000002747 voluntary effect Effects 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 18
- 210000000867 larynx Anatomy 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 230000011514 reflex Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 235000013305 food Nutrition 0.000 description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 210000000624 ear auricle Anatomy 0.000 description 8
- 210000000214 mouth Anatomy 0.000 description 8
- 210000003800 pharynx Anatomy 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000000692 Student's t-test Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 210000003823 hyoid bone Anatomy 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000012353 t test Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 210000004373 mandible Anatomy 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 241001226615 Asphodelus albus Species 0.000 description 4
- 206010003504 Aspiration Diseases 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 4
- 208000015592 Involuntary movements Diseases 0.000 description 4
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000003750 conditioning effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003238 esophagus Anatomy 0.000 description 4
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 4
- 210000003739 neck Anatomy 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 208000019505 Deglutition disease Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 230000034994 death Effects 0.000 description 3
- 231100000517 death Toxicity 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010003497 Asphyxia Diseases 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 206010035669 Pneumonia aspiration Diseases 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 201000009807 aspiration pneumonia Diseases 0.000 description 2
- 230000004071 biological effect Effects 0.000 description 2
- 239000011889 copper foil Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000037406 food intake Effects 0.000 description 2
- 230000037433 frameshift Effects 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 108010023321 Factor VII Proteins 0.000 description 1
- 208000036119 Frailty Diseases 0.000 description 1
- 208000010428 Muscle Weakness Diseases 0.000 description 1
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 206010028372 Muscular weakness Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 206010003549 asthenia Diseases 0.000 description 1
- 210000001142 back Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 229940039231 contrast media Drugs 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 210000002409 epiglottis Anatomy 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000008717 functional decline Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 230000018984 mastication Effects 0.000 description 1
- 238000010077 mastication Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 210000001767 medulla oblongata Anatomy 0.000 description 1
- 230000008722 morphological abnormality Effects 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000002374 sebum Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000008247 solid mixture Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000000534 thyroid cartilage Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
解析部で前記生体信号から嚥下パターン画像を作成する嚥下パターン画像作成工程と、
異なる嚥下条件における前記嚥下パターン画像の類似度を計算する画像類似度計算工程と、
前記類似度から嚥下機能を評価する評価工程と、を備えていることを特徴とする。
多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間-周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて1つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて1枚の嚥下パターン画像を作成し、畳み込みニューラルネットワークなどの画像認識モデルの特徴抽出器を用いて前記嚥下パターン画像から特徴ベクトルを抽出し、前記特徴ベクトルに対してカーネル主成分分析を行い、高次元特徴空間に写像された特徴ベクトルを次元圧縮し、次元圧縮された前記特徴ベクトルから各動作群同士の類似度を角度や距離等として算出し、算出された前記各動作群同士の角度や距離等を基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えることで用いて嚥下パターンの変化量、すなわち嚥下予備能(嚥下機能)を評価する解析部と、を備えている。
図2に示すように、嚥下機能評価システム10は、被験者60(図3参照)の生体信号を検出するセンサ部20と、GND電極23aと、不関電極23bと、RLD電極24と、検出した生体信号を増幅してPC(解析部)40に送信する多機能筋電位計測装置30と、嚥下パターンの分類精度を評価する解析部40と、評価した結果を記録する記録部(不図示)と、評価した結果を表示する表示部41と、これらに給電するバッテリ(不図示)と、を備えている。
図3に示すように、センサ部20は、舌骨上筋群部分に配置され舌骨上筋群の筋活動による舌骨上筋群生体信号を検出する22チャンネルの舌骨上筋群用筋電センサ(舌骨上筋群用22チャンネルフレキシブル電極)21と、舌骨下筋群部分に配置され舌骨下筋群の筋活動による舌骨下筋群生体信号を検出する22チャンネルの舌骨下筋群用筋電センサ(舌骨下筋群用22チャンネルフレキシブル電極)22と、を備えている。センサ部20は、被験者60の所定の皮膚表面に配置され、少なくとも嚥下開始から嚥下終了までの摂食嚥下時における生体信号を検出するものである。
図2に示すように、多機能筋電位計測装置30は、複数の異なるセンサを同時に利用することを前提に設計された、生体活動をモニタリングするための計測装置である。最大で64チャンネルのアナログデータを同時にサンプリングすることが可能である。USB2.0(High Speed)インターフェースを介して、計測データを取り込むためのPCと接続される。任意のアプリケーションソフトウェアから装置を制御することも可能である。DC12VのACアダプタまたは、外部バッテリ入力電源により動作する。多機能筋電位計測装置30の回路構成は、以下に示すように、シグナルコンディショニング部、AD変換部、データ転送部、絶縁部の4つに分けられる。
図4の(a)~(c)に示すように、シグナルコンディショニング部は、最大で2個の22チャンネル電極と、4個の汎用筋電位センサ、16個の任意のアナログセンサが入力可能である。
図5の(a)に示すように、多機能筋電位計測装置30(図2参照)が内蔵するAD変換機能は、Σ-Δ変換方式で、16bitの分解能、最大10kHzで全チャンネルの同時サンプリングが可能である。Σ-ΔAD変換の概略図を示す。アナログ信号Vinに対して、サンプリング周波数fs(Hz)×nのオーバーサンプリングとΣ-Δ変調を施すことにより、帯域外の高周波帯域に不要なノイズの周波数スペクトルを移行させ、これをデジタルフィルタにより除去する。最後にfs(Hz)にダウンレートすることで、デジタライズされた出力信号を得る。広く用いられる逐次比較AD変換と比べてSN比を高くとることができ、またアンチエイリアシングフィルタを単純化することができる。
図5の(c)に示すように、AD変換によりデジタライズされた計測データはUSB2.0(High Speed)インターフェースを介してPCに取り込まれる。これらの処理はDSP(Digital Signal Processor)に書き込まれたファームウェアによって実現される。サンプリング周波数毎に、各AD変換モジュールから転送される計測データは、DMA(Direct Memory Access)によって、DSP内のメモリに転送される。DSPは、デジタルフィルタ等の追加の信号処理を行い、SDRAMで構成されるFIFO(First In First Out)メモリに計測データを保存する。USB送信バッファが空になると、FIFOメモリから対象の計測データを順次読み込み、PC(USBホスト)に送信する。このようにFIFOメモリを、データ処理とUSB転送処理の間に入れることで、抜けを起こさずに全ての計測データを、PCに転送できるようにした。
図6に示すように、多機能筋電位計測装置30は、生体活動をモニタリングするための計測装置であるため、安全性についても考慮する必要がある。電極と生体が接触するアナログ部(既述のシグナルコンディショニング部とAD変換部)と、電源やPCへの接続を可能にするデジタル部(既述のデータ転送部)は、電気的に絶縁する仕様とした。アナログ部の駆動電力は、12V入力から絶縁電源回路により生成される。デジタル部とアナログ部のデータ通信は、デジタルアイソレータを介して行われる。
解析部40(図2参照)は、生体信号から特徴量を抽出し、抽出した特徴量を変換して画像化し嚥下パターン画像を作成し、畳み込みニューラルネットワークを用いて嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を行う。カーネル主成分分析では、嚥下パターンを識別可能な高次元特徴空間に特徴ベクトルを写像したのち、取り扱い容易な低次元の特徴ベクトルに次元圧縮する(図14参照)。さらに解析部40は、次元圧縮された特徴ベクトルから各動作群同士の類似度の一つとして、ユークリッド距離を算出し、算出された前記各動作群同士のユークリッド距離を用いて嚥下パターンの分類精度を評価する。なお、特徴ベクトルは、特徴量の値が組になったものだけではなく、1次元の特徴量(すなわちスカラー)をも含むものとする。
被験者は20代の若年者15名(男性13名、女性2名、年齢21.9±1.2歳、身長170.4±5.9cm、体重63.4±7.7kg、mean±SD)、高齢者15名(男性9名、女性6名、年齢70.1±4.5歳、身長162.3±7.7cm、体重61.0±10.5kg、mean±SD))の計30名とした。
(1)Root Mean Square (RMS)
RMSは時間領域の特徴量であり、sEMG信号の振幅情報を含む。RMSは数式1により求められ、sEMGl,n(p) (n=0,…,N-1)は、電極番号l (l=1,2,…,22)の、p番目のフレームにおけるn番目のsEMGサンプルの値を示している。なお、フレームのサンプル数Nは256である。
Cepstrum coefficients (CC) は周波数領域の特徴量であり、sEMG信号のパワースペクトルに関する情報を含む。低次のCCはなだらかな変動(包絡形状)に対応し,高次のCCは細かな変動(微細構造)に対応する。本研究では、パワースペクトルの包絡形状に着目し、低次(1~3)のCCを特徴量として採用する。CCは、数式2によりsEMG信号の離散フーリエ変換Xl k(k=0,…,N-1)を求め、数式3によりCCl n(p)が求められる。
sEMG信号から抽出した特徴量を用いて、舌骨上筋群と舌骨下筋群それぞれで嚥下パターン画像の作成を行う。以下に特徴量の画像化方法を述べる。
画像化の後、事前学習済みのCNNを特徴抽出器として用いることによって、作成された嚥下パターン画像から特徴ベクトルを抽出する。特徴ベクトルの抽出は、舌骨上筋群と舌骨下筋群それぞれ個別に行う。以下にCNNの構造と特徴抽出器としての転用方法について述べる。
CNNを含む多層のNNが学習する特徴はその層構造に対応した階層性を持ち、下位層の特徴ほど普遍性を持ち、上位層の特徴ほどタスク依存性が高くなる。つまり、下位層の特徴は異なるタスク間で共有される。この性質から、ある認識タスクに対し多層NNが学習した特徴を別の認識タスクに転用することが可能であるとされている。転用の方法には、「ネットワークのFine-tuning」と「特徴抽出器としての利用」の2つがある。
sEMG信号の画像化、そして作成された嚥下パターン画像からの特徴ベクトルの抽出は舌骨上筋群と舌骨下筋群それぞれ個別に行ってきた。しかし、嚥下は舌骨上筋群と舌骨下筋群の協調運動によって行われる運動である。そのため、嚥下運動を評価する際にはどちらか片方の筋群のみを用いて評価するのではなく、舌骨上筋群と舌骨下筋群の両方の筋群のsEMG信号を用いて評価を行うことで、双方の特徴を考慮した評価を行うことができる。図13に示すように、本発明では、事前学習されたCNNのfc6層から抽出された、舌骨上筋群と舌骨下筋群の4096次元の各特徴ベクトルを連結することで、8192次元の特徴ベクトルを作成し、これを1動作分の特徴ベクトルとした。
D次元ベクトルのデータセットを{xi}とする。元のD次元特徴空間からM次元特徴空間(M≫D)への非線形変換φ(x)を仮定すると、各データ点xiは点φ(xi)へと投影される。この新しい特徴空間において通常のPCAを行うことができるが、非常にコストがかかり、非効率的である。そこでカーネル関数を使用することにより計算を簡略化できる。はじめに、投影後の特徴量の平均が0となるように中心化されていると仮定する(数式15)。
KPCAでは使用するカーネル関数によってハイパーパラメータの設定が必要である。本研究ではカーネル関数に、前述同様にRBFカーネルを使用しており、設定するべきハイパーパラメータはγの1種類である。KPCAではこのハイパーパラメータの設定により結果が大きく異なることが予想されるため、ハイパーパラメータの選択は非常に重要となる。そこで本研究では、最適なγの探索を、γ={2-23,2-21,…,2-11}の7通りに対して試行錯誤的に行った。
KPCAでは、KPCAに使用したデータ数iと同じ数の主成分yを得ることができる。KPCAを用いた解析においては、どの主成分を使用するか、つまり何次元まで特徴量を圧縮するかも非常に重要となる。そのため解析に使用する主成分数についても探索を行った。本発明では、KPCAに用いる特徴ベクトルは5880サンプル(被験者数30×データ数7×動作数4×画像増幅率7)×8192次元であり、数式24と数式29より5880×5880のカーネル行列Kが得られる。カーネル行列Kを固有値分解すると、5880個の固有値λkと5880×5880の固有ベクトルakが得られ、最大で5880個の主成分が得られる。そこで、図15に示すように、ここでは固有値λk着目し、降順に並び替えた固有値λkの値の変位が大きい範囲(第600主成分まで)に対して、主成分数={3,10,50,100,400,600,5880}の7通りで試行錯誤的に行った。
嚥下予備能を定量的に評価するために、各嚥下条件における特徴ベクトルの類似度を評価することによって嚥下予備能を数値化する。一般的に類似度は角度、距離、相関等で表される。図16の(a)、(b)に示すように、本発明では、類似度を各特徴ベクトルの差、つまりユークリッド距離として表現することで、嚥下予備能を数値化した。また、特徴空間上で距離を求める際には、距離測定方法以外に各動作群の位置を決定する必要がある。そこで各動作群の位置は、外れ値の影響を考慮するため各動作群のデータの中央値とし、ユークリッド距離の計算は被験者ごとに行った。本発明では嚥下条件を変化させたときの類似度の違いを見るために、以下の3条件、合計6つのユークリッド距離について検討した。
(1)1ml通常嚥下と1ml努力嚥下(NS1 - ES1)
(2)6ml通常嚥下と6ml努力嚥下(NS6 - ES6)
(b)一回嚥下量を変化させた場合のユークリッド距離
(3)1ml通常嚥下と6ml通常嚥下(NS1 - NS6)
(4)1ml努力嚥下と6ml努力嚥下(ES1 - ES6)
(c)随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
(5)1ml通常嚥下と6ml努力嚥下(NS1 - ES6)
(6)6ml通常嚥下と1ml努力嚥下(NS6 - ES1)
(1)1ml通常嚥下と1ml努力嚥下(NS1 - ES1)
(2)6ml通常嚥下と6ml努力嚥下(NS6 - ES6)
(b)一回嚥下量を変化させた場合のユークリッド距離
(3)1ml通常嚥下と6ml通常嚥下(NS1 - NS6)
(4)1ml努力嚥下と6ml努力嚥下(ES1 - ES6)
(c)随意嚥下の強さと一回嚥下量の両方を変化させた場合のユークリッド距離
(5)1ml通常嚥下と6ml努力嚥下(NS1 - ES6)
(6)6ml通常嚥下と1ml努力嚥下(NS6 - ES1)
(d)原点と各動作群とのユークリッド距離
(7)原点Oと1ml通常嚥下(NS1)
(8)原点Oと6ml通常嚥下(NS6)
(9)原点Oと1ml努力嚥下(ES1)
(10)原点Oと6ml努力嚥下(ES6)
本発明の手法の評価はt検定によって行う。若年者と高齢者との間で評価指標Dに対してt検定を行い、有意差が表れるかを検証する。有意差が出た場合、それは年齢の変化に伴う嚥下機能の変化を評価できていることを意味する。さらに、評価指標DとRSST、最大舌圧を合わせた8項目と年齢、評価指標DとRSST、評価指標Dと最大舌圧との関係を調べるために、それぞれで相関係数を求めた。
全被験者の舌骨上筋群と舌骨下筋群の各嚥下条件の嚥下パターン画像の一例を図17に示す。最適化したパラメータを図18に示す。ハイパーパラメータγは、γ={2-23,2-21,…,2-15}の範囲で結果に大きな差が見られなかったため、前述における最適なγの値であるγ=2-15を最適なパラメータとして採用した。最適な主成分数は3、正規化用のユークリッド距離は原点Oと6ml通常嚥下(NS6)のユークリッド距離であった。図18のγと主成分数を用いて計算された、正規化を行う前の年齢層ごとの動作群同士のユークリッド距離を図19の(a)に、t検定におけるP値を図19の(b)に示す。また、正規化後の年齢層ごとの評価指標Dを図20の(a)に、t検定におけるP値を図20の(b)に示す。正規化前の動作群同士のユークリッド距離には若年者と高齢者の間に有意差は見られなかった。一方、原点Oと6ml通常嚥下(NS6)のユークリッド距離を用いて各動作群同士のユークリッド距離を正規化することにより、|NS1-ES1|/|NS6|、|NS6-ES6|/|NS6|、|NS1-NS6|/|NS6|、|NS1-ES6|/|NS6|、|NS6-ES1|/|NS6|、の5つの評価指標Dで有意差が見られた。
Claims (3)
- 被験者の摂食嚥下動作に関わる生体信号を検出する生体信号検出工程と、
解析部で前記生体信号から嚥下パターン画像を作成する嚥下パターン画像作成工程と、
異なる嚥下条件における前記嚥下パターン画像の類似度を計算する画像類似度計算工程と、
前記類似度から嚥下機能を評価する評価工程と、を備え、
前記生体信号検出工程では、前記生体信号として表面筋電位信号を用い、
前記嚥下パターン画像作成工程では、多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間-周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて1つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて1枚の前記嚥下パターン画像を作成し、
前記画像類似度計算工程では、畳み込みニューラルネットワークに代表される深層学習の画像認識モデルを用いて、前記嚥下パターン画像から特徴ベクトルを抽出し、カーネル主成分分析を用いたうえで、異なる嚥下条件における前記特徴ベクトルの類似度を、前記特徴ベクトルの少なくとも角度、距離、相関のいずれかで数値化し、
評価工程では、各動作群同士の前記特徴ベクトルの少なくとも角度、距離、相関のいずれかを、基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価方法。 - 請求項1の嚥下パターン画像の類似度を用いた嚥下機能評価方法であって、
前記生体信号検出工程では、少なくとも舌骨上筋群と舌骨下筋群の一方の前記表面筋電位信号を用いていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価方法。 - 被験者の摂食嚥下動作に関わる生体信号として表面筋電位信号を検出するセンサ部と、
多点同時計測による嚥下の始まりから終わりまでの前記生体信号の振幅の時間領域の特徴量、周波数成分の周波数領域の特徴量、又は時間-周波数領域の特徴量をカラーマップに変換して画像化するとともに一方向に並べて1つのフレームとし、前記フレームを一方向に直交する方向に複数個並べて1枚の嚥下パターン画像を作成し、畳み込みニューラルネットワークに代表される深層学習の画像認識モデルの特徴抽出器を用いて前記嚥下パターン画像から特徴ベクトルを抽出し、前記特徴ベクトルに対してカーネル主成分分析を行い、高次元特徴空間に写像された特徴ベクトルを次元圧縮し、次元圧縮された前記特徴ベクトルから各動作群同士の類似度を少なくとも角度、距離、相関のいずれかとして算出し、算出された前記各動作群同士の少なくとも角度、距離、相関のいずれかを、基準値となる所定の嚥下条件での少なくとも角度、距離、相関のいずれかで正規化し、得られた値を評価指標とし、筋走行に対する電極位置の違い、電極装着位置の皮下組織の組成の違い、及び嚥下諸器官の筋力の違いのベースラインを整えることで用いて嚥下パターンの変化量である嚥下予備能を評価する解析部と、を備えていることを特徴とする嚥下パターン画像の類似度を用いた嚥下機能評価システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020146438A JP7428383B2 (ja) | 2020-08-31 | 2020-08-31 | 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020146438A JP7428383B2 (ja) | 2020-08-31 | 2020-08-31 | 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022041316A JP2022041316A (ja) | 2022-03-11 |
JP7428383B2 true JP7428383B2 (ja) | 2024-02-06 |
Family
ID=80499775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020146438A Active JP7428383B2 (ja) | 2020-08-31 | 2020-08-31 | 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7428383B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117064344B (zh) * | 2023-10-16 | 2023-12-22 | 中国人民解放军总医院第二医学中心 | 一种多模态刺激的吞咽障碍治疗方法及其系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180217660A1 (en) | 2017-02-02 | 2018-08-02 | Stmicroelectronics, Inc. | System and method of determining whether an electronic device is in contact with a human body |
WO2019022259A1 (ja) | 2017-07-28 | 2019-01-31 | 株式会社メルティンMmi | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム |
JP2019208629A (ja) | 2018-05-31 | 2019-12-12 | 国立大学法人岩手大学 | 嚥下機能評価法及び嚥下機能評価装置 |
JP2020508745A (ja) | 2017-02-28 | 2020-03-26 | ソシエテ・デ・プロデュイ・ネスレ・エス・アー | 加速度測定信号から抽出されたメタ特徴を使用して、嚥下障害を検出する方法及びデバイス |
-
2020
- 2020-08-31 JP JP2020146438A patent/JP7428383B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180217660A1 (en) | 2017-02-02 | 2018-08-02 | Stmicroelectronics, Inc. | System and method of determining whether an electronic device is in contact with a human body |
JP2020508745A (ja) | 2017-02-28 | 2020-03-26 | ソシエテ・デ・プロデュイ・ネスレ・エス・アー | 加速度測定信号から抽出されたメタ特徴を使用して、嚥下障害を検出する方法及びデバイス |
WO2019022259A1 (ja) | 2017-07-28 | 2019-01-31 | 株式会社メルティンMmi | 筋電信号が由来する動作を認識するためのシステム、方法、およびプログラム |
JP2019208629A (ja) | 2018-05-31 | 2019-12-12 | 国立大学法人岩手大学 | 嚥下機能評価法及び嚥下機能評価装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022041316A (ja) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Turkoglu et al. | An intelligent system for diagnosis of the heart valve diseases with wavelet packet neural networks | |
JP6564475B2 (ja) | 数学的分析および機械学習を使用して病気を診断する方法およびシステム | |
Hasan et al. | Detection and processing techniques of FECG signal for fetal monitoring | |
JP7133200B2 (ja) | 嚥下機能評価装置による評価方法及び嚥下機能評価装置 | |
Lee et al. | Estimation of body postures on bed using unconstrained ECG measurements | |
Ye-Lin et al. | Automatic identification of motion artifacts in EHG recording for robust analysis of uterine contractions | |
Khalifa et al. | Upper esophageal sphincter opening segmentation with convolutional recurrent neural networks in high resolution cervical auscultation | |
CN103919548B (zh) | 一种吞咽肌障碍的检测装置及设备 | |
CN113509186B (zh) | 基于深度卷积神经网络的ecg分类系统与方法 | |
Orguc et al. | EMG-based real time facial gesture recognition for stress monitoring | |
JP7428383B2 (ja) | 嚥下パターン画像の類似度を用いた嚥下機能評価方法及びそのシステム | |
Sankar et al. | Effective enhancement of classification of respiratory states using feed forward back propagation neural networks | |
Hussain et al. | Food intake detection and classification using a necklace-type piezoelectric wearable sensor system | |
JP7452855B2 (ja) | 時系列データ予測を用いた嚥下運動予測方法及びそのシステム | |
Sulas et al. | A non-invasive multimodal foetal ECG–Doppler dataset for antenatal cardiology research | |
Lee et al. | Swallow segmentation with artificial neural networks and multi-sensor fusion | |
Vahabi et al. | Deep analysis of EIT dataset to classify apnea and non-apnea cases in neonatal patients | |
Sonmezocak et al. | Detection of EMG signals by neural networks using autoregression and wavelet entropy for bruxism diagnosis | |
Tseng et al. | Healthcare knowledge of relationship between time series electrocardiogram and cigarette smoking using clinical records | |
Roldan-Vasco et al. | Swallowing disorders analysis using surface EMG biomarkers and classification models | |
Hsu et al. | Using swallow sound and surface electromyography to determine the severity of dysphagia in patients with myasthenia gravis | |
Dong et al. | Analyzing breathing signals and swallow sequence locality for solid food intake monitoring | |
Allam et al. | Patient-specific ECG beat classification using EMD and deep learning-based technique | |
CN109431493B (zh) | 基于距离分段加权算法的可穿戴体表电势采集装置 | |
CN105555188A (zh) | 诊断恶性肺肿瘤的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230306 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7428383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |