JP6914525B2

JP6914525B2 - 嚥下機能解析システム及びプログラム

Info

Publication number: JP6914525B2
Application number: JP2017178096A
Authority: JP
Inventors: 健嗣鈴木; ドゥシャンタジャヤティラカプラバート; 智也下柿元
Original assignee: University of Tsukuba NUC
Current assignee: University of Tsukuba NUC
Priority date: 2017-09-15
Filing date: 2017-09-15
Publication date: 2021-08-04
Anticipated expiration: 2037-09-15
Also published as: JP2019051129A

Description

本発明は、嚥下動作に伴って利用者の頸部から発生する振動を含む音を検出し、解析する嚥下機能解析システム及びプログラムに関する。

一般的に、加齢に伴い、飲み込みの能力すなわち嚥下機能の低下がみられる。嚥下機能が低下した高齢者は、日常的な食事が困難になることがある。また、片麻痺や脳卒中などの障害によって嚥下障害の症状が顕れる場合も有り、その患者数も年々増加傾向にある。このよう嚥下障害の患者は、誤嚥を引き起こす可能性が高い。誤嚥は、窒息の危険性を高めるだけでなく、口腔内の雑菌が肺に入ることで誤嚥性肺炎を引き起こす原因となる。

肺炎による死亡は、日本人の年間死亡原因の上位であり、極めて多い。特に、嚥下障害による肺炎は、再発性が高く、悪化することで死亡してしまう例が多くみられる。嚥下動作は摂食時に限らず、就寝中の無意識下においても行われている。したがって、就寝中なども継続的に嚥下動作を測定し、嚥下機能の障害の程度を早期に知るとともに、障害の程度に適した治療やリハビリテーションを行うことが重要となる。

特許文献１には、測定対象となる利用者の頸部に装着した測定装置より音信号を取得し、音信号の時系列波形の中で、嚥下に共通する有意音区間をリアルタイムに抽出することが開示されている。

特許文献２には、測定対象となる利用者の頚部に対応する皮膚表面に加速度センサをテープで張り付け嚥下音による振動を検出し、喉頭蓋閉音、食塊通過音、喉頭蓋開音の３音を識別してモニタに診断結果を表示することが開示されている。

特許文献３には、マイクロフォンを内蔵した生体センサを測定対象の利用者の首の生体面に取り付け、利用者が発する咳、咳払い、嚥下音、発生音その他の音声情報を取得する生体信号解析装置が開示されている。

特許文献４には、測定対象となる利用者から取得した嚥下波形及び咀嚼波形を含む波形と、あらかじめ学習した嚥下波形との類似度の比較を行うことが開示されている。

特許５９５２５３６号公報特開２００９−６０９３６号公報特開２００６−２６３２９９号公報特開２０１７−５６０５３号公報

上述のように、音信号の解析により嚥下動作を識別する多くの技術が開示されている。人間が嚥下動作を行う際には、一般的に喉頭蓋閉音、食塊通過音、喉頭蓋開音の３音（これらの総称を嚥下音と呼ぶ）が含まれることが既知であり、既存の技術においてもこれらの嚥下音を全て含む場合を想定している。図２に代表的な嚥下音のサンプリング波形を示す。

しかしながら、正常な嚥下音であっても、これら３音が全て含まれない場合がある。例えば、嚥下動作には、随意運動として行われる嚥下（随意嚥下）と反射運動として行われる嚥下（反射嚥下）が含まれるが、反射嚥下は、随意嚥下に比べて、第１音が欠落しやすいという特徴がある。また、嚥下機能の低下の有無にかかわらず、個人差や嚥下障害の度合いによっても嚥下音の一部が欠落することがある。このように嚥下音の一部が欠落する場合、既知の技術では嚥下動作をうまく識別することができない。

本発明は、上記事情を考慮してなされたものであり、嚥下音の一部が欠落した場合でも、精度よく嚥下動作を識別するこができる嚥下機能解析システム及びプログラムを提供する。

本発明の一態様に係る嚥下機能解析システムは、第１の被検者の嚥下動作に関する入力データを取得するデータ取得部と、第２の被検者の嚥下の状態を示す状態情報を含む学習データによって学習済であり、データ取得部によって取得された入力データに基づいて第１の被検者の嚥下の状態を喉頭蓋閉音、食塊通過音及び喉頭蓋開音をそれぞれ区別して識別し、識別された嚥下の状態を示す第１の識別データを生成する識別部と、学習データを格納する記憶部と、を具備する。識別部は、喉頭蓋閉音、食塊通過音及び喉頭蓋開音が含まれることが想定される一連の嚥下動作期間において、喉頭蓋閉音を含み食塊通過音及び喉頭蓋開音を含まない第１の学習データ、食塊通過音を含み喉頭蓋開音及び喉頭蓋閉音を含まない第２の学習データ、並びに、喉頭蓋開音を含み喉頭蓋閉音及び食塊通過音を含まない第３の学習データのうち少なくとも１種である複数個のデータを含む学習データにより学習されていることを特徴とする。

本発明によれば、嚥下機能の解析に深層学習を用いる。深層学習において、嚥下音が欠落した場合の学習データを用いて識別器を学習することにより、嚥下音の一部が欠落した場合でも、精度よく嚥下動作を識別するこができる。

また、本発明によれば、学習データを格納するデータベース及び嚥下動作を識別する識別器をクラウド上に構築することにより、大規模な学習データを用いた識別器の構築が可能となる。

図１は、本発明の実施形態に係る嚥下機能解析システムの一例を示すブロック図である。図２は、嚥下動作を計測することにより得られる音データの一例を示す図である。図３は、本発明の実施形態に係る嚥下機能解析システムの一利用例を示す斜視図である。図４は、本発明の実施形態に係る符号化部の処理の一例を示すフローチャートである。図５は、本発明の実施形態に係る識別部の処理の一例を示すフローチャートである。図６は、本発明の実施形態に係る識別部により出力される第１の結果データの一例を示す図である。

本実施形態においては、被測定者（被検者）より嚥下動作に関するデータを取得する測定装置、測定装置を制御する制御装置、及び、嚥下動作を解析し、識別するサーバ装置を含む嚥下機能解析システムについて説明する。

以下では、本実施形態に係る嚥下機能解析システムは、嚥下動作に関するデータの取得及び解析に適用されるものとして説明する。しかしながら、本実施形態に係る嚥下機能解析システムは、例えば、咳、むせ、呼吸など、他の生体データに関するデータの取得及び解析にも適用可能である。

以下、本発明の実施形態を、図面を参照して説明する。なお、以下の説明において、略又は実質的に同一の機能及び構成要素については、同一符号を付し、必要な場合にのみ説明を行う。

図１は、本実施形態に係る嚥下機能解析システム１の一例を示すブロック図である。

嚥下機能解析システム１は、例えば、サーバ装置２、測定装置３、制御装置４を含む。サーバ装置２、測定装置３、制御装置４は、ネットワークＮを介して双方向に通信可能に接続されている。

ネットワークＮは、例えば、ＰＡＮ(Personal Area Network)，ＬＡＮ（Local Area Network），ＷＡＮ（Wide Area Network），インターネットなどである。本実施形態において、ネットワークＮはインターネットであるとして説明するが、嚥下機能解析システム１はＰＡＮ，ＬＡＮ及びＷＡＮに対しても適用可能である。

サーバ装置２は、測定装置３により得られた計測データＤ５を識別器Ｄ２に入力することにより、計測データＤ５が嚥下動作であるか否かを識別し、識別結果である第１の結果データＤ４１を出力する。サーバ装置２は、第１の結果データＤ４１を時間分析器Ｄ３に入力することにより、一連の嚥下動作を認識し、認識結果である第２の結果データＤ４２を出力する。また、サーバ装置２は、嚥下動作を識別するために適した学習データＤ１を用いて識別器Ｄ２を学習する。

サーバ装置２は、メモリ２０、プロセッサ２１、データベースＤＢなどを備える。サーバ装置は、例えば情報処理装置である。メモリ２０、プロセッサ２１及びデータベースＤＢは、バスＢ１又はネットワークＮなどを介して互いに通信可能に接続されている。データベースＤＢは、例えば記憶装置である。データベースＤＢに格納される各種データの詳細については、後述する。

メモリ２０は、例えばハードディスク、ＳＳＤ（Solid State Drive）、フラッシュメモリなどのストレージデバイスにより構成される。

メモリ２０は、各種ソフトウェア又はデータを格納する。各種ソフトウェアは、オペレーティングシステム（ＯＳ）、データ管理プログラム、及び各種アプリケーションプログラム等を含む。メモリ２０は、嚥下動作の識別、学習の各種処理を実行するプログラムＰ１を格納する。

また、メモリ２０は、プロセッサ２１が各種ソフトウェアを実行する際に使用するワークエリアを含んでいてもよい。ワークエリアは、例えばＲＡＭ（Random Access Memory）により構成されていてもよい。

プロセッサ２１は、各種ソフトウェア（プログラム）を実行し、サーバ装置２全体を制御する。プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＳＰ（Application Specific Standard Product）などである。

プロセッサ２１は、メモリ２０に格納されたプログラムＰ１を読み出して実行することにより、例えば、符号化部２１１、識別部２１３、データ管理部２１４、又は、通信部２１５として機能する。

符号化部２１１は、学習データＤ１、計測データＤ５などを用いて識別器Ｄ２を学習する。識別器Ｄ２は、例えば、複数層の畳み込みフィルタを有する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）により構成される。符号化部２１１は、学習データＤ１を用いて、オートエンコーダ法（自己符号化）などを用いた深層学習により識別器Ｄ２の各フィルタを学習させ、学習させた識別器Ｄ２をデータ管理部２１４を介してデータベースＤＢに格納する。識別器Ｄ２のフィルタの一部には、ＳＶＭ（Support Vector Machine）が用いられてもよい。

なお、識別器Ｄ２は、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long-Short Term Memory）などを用いて構成されてもよい。

識別部２１３は、識別器Ｄ２を用いて、計測データＤ５が嚥下動作であるか否かを識別する。識別部２１３は、例えば、識別器Ｄ２の出力層から得られる出力結果のみを識別結果として用いるだけでなく、識別器Ｄ２が有する複数層のフィルタからの出力結果を統合して１つの識別結果とすることが好ましい。識別部２１３は、得られた識別結果を第１の結果データＤ４１として出力する。第１の結果データＤ４１は、好ましくは確率値である。

さらに、識別部２１３は、後述する時間分析器Ｄ３を用いて、第１の結果データＤ４１を時系列に解析することにより、一連の嚥下動作を認識する。時間分析器Ｄ３は、あらかじめ作成された嚥下音の時間分析データを用いて、嚥下動作であるか否かの識別結果を含む第１の結果データＤ４１と時間分析データとの類似度を算出することにより、嚥下動作の状態遷移を識別する。より具体的には、識別部２１３は、例えば、３種類の嚥下音（喉頭蓋閉音、食塊通過音、喉頭蓋開音）を区別し、それぞれの開始タイミング及び長さを認識する。嚥下音の時間分析データは、例えば、専門家などの助言を得て作成された、それぞれの嚥下動作のタイミングが記録されたデータである。

識別部２１３は、時間分析器Ｄ３による認識結果を第２の結果データＤ４２として出力する。より具体的には、第２の結果データＤ４２は、例えば、一連の嚥下動作が行われた期間、当該期間に含まれるそれぞれの嚥下動作の状態遷移、当該嚥下動作が反射嚥下であるか又は随意嚥下であるか、などである。なお、第２の結果データＤ４２に含まれる認識結果は、上述のものに限られない。

データ管理部２１４は、データベースＤＢに格納されている各種データの読み出し、書き込みなどを行う。例えば、データ管理部２１４は、符号化部２１１が出力した学習データＤ１、識別部２１３が出力した結果データＤ４などをデータベースＤＢに格納する。

通信部２１５は、ネットワークＮを介して制御装置４との間でコマンド、アドレス、データ、信号などの送受信を制御する。

通信部２１５は、制御装置４より計測データＤ５を受信する。また、通信部２１５は、データ管理部２１４がデータベースＤＢより読み出した結果データＤ４を読み出し、制御装置４へ送信する。

測定装置３は、被測定者Ｐの嚥下音を取得するための装置である。測定装置３は、被測定者Ｐに装着される。

測定装置３は、例えば、音検出部３１、接続部３５を備える。音検出部３１、接続部３５は、同一基板上に存在し、例えば回路上で互いに接続されている。

音検出部３１は、制御装置４からの指令により、被測定者Ｐの少なくとも嚥下動作に伴う音を検出した実測音信号を出力する。音検出部３１は、例えばマイクを含む。なお、音検出部３１は、制御装置４からの指令によらず、被測定者Ｐが嚥下する際に喉頭蓋が動く音信号を検出することにより、音信号の取得を開始してもよい。なお、ここでいう「音」とは、汎用的な人間の可視聴周波数帯域内の音波のみならず、振動を含む弾性波一般を意味する。

音検出部３１により取得された音信号は、接続部３５を経由して制御装置４に送信される。

接続部３５は、例えば、測定装置３と制御装置４とを通信可能に有線接続するためのコネクタなどである。測定装置３は、接続部３５を介して制御装置４と間でコマンド、アドレス、データ、信号などを送受信する。

なお、測定装置３は、近距離無線通信を実行可能な通信部３３としての機能を含んでいてもよい。この場合、通信部３３は、近距離無線通信により、制御装置４と間でコマンド、アドレス、データ、信号などを送受信してもよい。近距離無線通信は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、その他の規格に準拠する無線通信などである。

制御装置４は、例えば情報処理装置であり、被測定者Ｐが携帯可能な端末であることが好ましい。制御装置４は、例えば、スマートフォン、タブレット型コンピュータ、ノート型コンピュータなどのモバイルデバイスである。

制御装置４は、例えば、メモリ４０、プロセッサ４１、接続部４２、出力部４３、バッテリ４４などを備える。

メモリ４０及びプロセッサ４１は、バスＢ３を介して互いに通信可能に接続されている。また、メモリ４０及びプロセッサ４１の構成は、サーバ装置２のメモリ２０及びプロセッサ２１と同様である。

メモリ４０は、被測定者Ｐに装着された測定装置３より音データを取得するためのプログラムＰ３を格納する。また、メモリ４０は、データ生成部４１５により生成された計測データＤ５を格納する。

プロセッサ４１は、メモリ４０に格納されたプログラムＰ２を読み出して実行することにより、例えば、通信部４１１、制御部４１３、データ生成部４１５として機能する。

通信部４１１は、ネットワークＮを介して制御装置４との間でコマンド、アドレス、データ、信号などの送受信を制御する。

通信部４１１は、サーバ装置２より結果データＤ４を受信する。また、通信部４１１は、近距離無線通信により、測定装置３が取得する音信号を受信してもよい。

制御部４１３は、測定装置３を制御する。より具体的には、制御部４１３は、測定装置３に対して指令を送信することにより、被測定者Ｐからの音信号の取得の開始及び終了を指示してもよい。

データ生成部４１５は、測定装置３の音検出部３１が取得した音信号を、接続部４２を経由して取得し、制御装置４及びサーバ装置２で扱える適切なデジタルデータに変換する。データ生成部４１５は、例えばＡ／Ｄ変換器を含む。データ生成部４１５は、デジタルデータに変換された音信号を計測データＤ５としてメモリ４０に格納する。

接続部４２は、接続部３５と同様であり、例えば、測定装置３と制御装置４とを通信可能に有線接続するためのコネクタなどである。

出力部４３は、例えばディスプレイを含む。出力部４３は、嚥下機能解析システム１の制御に必要なインタフェース、及び、嚥下機能解析システム１で用いられるデータなどを、視認可能なように表示する。より具体的には、出力部４３は、例えば、測定装置３を制御するためのユーザインタフェース、サーバ装置２にアクセスするためのユーザインタフェース、データベースＤＢに含まれる各種データなどを表示する。

バッテリ４４は、制御装置４の各処理部に電力を供給する。また、測定装置３の音検出部３１は、接続部４２及び接続部３５を介してバッテリ４４から電力の供給を受ける。

データベースＤＢは、学習データＤ１、識別器Ｄ２、時間分析器Ｄ３、結果データＤ４などを格納する。

学習データＤ１は、あらかじめ複数の被測定者Ｐにより得られた、嚥下動作の音データである。ここで、嚥下動作を計測することにより得られる音データの一例を図２に示す。

一般的な嚥下音の音データは、喉頭蓋が気道を閉じる喉頭蓋閉音Ｗ１の音信号と、食塊が食道を通過する食塊通過音Ｗ２の音信号と、喉頭蓋が気道を開く喉頭蓋開音Ｗ３の音信号とが時系列上で連続する。喉頭蓋閉音Ｗ１と食塊通過音Ｗ２との間、及び、食塊通過音Ｗ２と喉頭蓋開音Ｗ３との間にはそれぞれインターバルが存在する。喉頭蓋閉音Ｗ１、食塊通過音Ｗ２、喉頭蓋開音Ｗ３、及び各インターバルの長さには個人差がある。また、嚥下動作に疾患がある場合は、３音のうちいずれかが欠落し、又は、音の長さに異常が見られる。また、反射嚥下の場合は、随意嚥下の場合に比べ、喉頭蓋閉音Ｗ１が欠落しやすい。

本実施形態において、学習データＤ１として用いられる音データは、例えば、喉頭蓋閉音Ｗ１発生の約１秒前から喉頭蓋開音Ｗ３終了の約１秒後までのデータであることが好ましいが、これに限定されない。この嚥下開始直前及び終了直後の音データには、咀嚼音などの嚥下とは関連性の低い音が含まれていてもよい。このように嚥下開始直前及び終了直後の音データを学習データＤ１に加えることにより、嚥下動作の識別精度を向上させることができる。

当該音データは、所定のサンプリング周波数により標本化され、所定の量子化ビット数により量子化され、所定のデータ長に区切られる（以下、時間窓で区切られたデータをデータ単位と呼ぶ）。例えば、サンプリング周波数は８〜１２ｋＨｚであり、量子化ビット数は８又は１６ビットであり、データを切り出すための時間窓は３０〜５０ｍｓｅｃ程度であることが好ましい。しかしながら、当該音データの仕様は上述のものに限定されない。

学習データＤ１は、喉頭蓋閉音Ｗ１、食塊通過音Ｗ２、喉頭蓋開音Ｗ３の３音全てが含まれている音データに加え、これらのうちいずれか１つ以上の嚥下音が含まれる音データを所定の割合以上含むことが好ましい。より好ましくは、学習データＤ１は、第１音である喉頭蓋閉音Ｗ１及び第３音である喉頭蓋開音Ｗ３のうち少なくとも一方が含まれる音データを所定の割合以上含む。このように、嚥下音としては部分的に欠落のある音データを含む学習データＤ１を用いて識別器Ｄ２を学習することにより、嚥下音の一部が欠落した場合の識別精度を向上させることができる。

なお、学習データＤ１は、当該音データの提供元の被検者ＩＤと関連付けてデータベースＤＢに格納されてもよい。

また、当該音データは学習用のデータであるため、データ単位毎にあらかじめ特徴データが付与されることが好ましい。特徴データは、例えば、スコアなどである。スコアは、正解データに近いほど高く、正解データから遠いほど低くなる。スコアの判定基準は、例えば、当該データ単位が正常な嚥下音であるか、異常な嚥下音であるか、嚥下とは関連性の低い音であるか、などである。また、特徴データは、スコア以外のデータであってもよく、例えば、嚥下音に欠落があるか否か、及び／又は、当該音データの提供元の被検者の嚥下動作に関わるデータ、及び／又は、咳、むせ、呼吸のような嚥下動作であるか否か、及び／又は、被検者の疾患の有無などを表すデータでもよい。

結果データＤ４は、上述の第１の結果データＤ４１及び第２の結果データＤ４２を含む。

なお、本実施形態において、サーバ装置２と制御装置４とは無線通信により双方向通信可能としているが、有線通信により双方向通信可能としてもよい。

本実施形態に係る嚥下機能解析システム１において、データベースＤＢは、サーバ装置２とは異なるハードウェアとして管理されてもよい。この場合、データベースＤＢは、例えば通信部を備え、ネットワークＮ及び当該通信部を介してサーバ装置２及び制御装置４と通信可能である。

また、本実施形態において、制御装置４は、取得した計測データＤ５を制御装置４内で解析せずにサーバ装置２に送信し、サーバ装置２より解析結果を受信して表示する。換言すれば、サーバ装置２は、制御装置４に対してクラウドコンピューティングサービスを提供する。

図３は、本実施形態に係る嚥下機能解析システム１の一利用例を示す斜視図である。図３は、測定装置３を被測定者Ｐの頸部に装着した状態を示している。

測定装置３は、制御装置４と通信ケーブルＣを介して有線接続されている。また、制御装置４は、ネットワークＮを介して無線通信によりサーバ装置２と接続されている。

本実施形態において、生成された計測データＤ５、結果データＤ４などは、制御装置４の出力部４３に表示される。

測定装置３の左右両端には、音検出部３１が備えられる。また、測定装置３は、ホルダＨを備える。ホルダＨは、被測定者Ｐの頸部の後方から外嵌される。ホルダＨは、復元力を有した弾性部材、例えば、硬質ウレタンゴムなどで成形されており、頸部に抱き着いた状態で頸部を強く締め付けない程度の柔軟性を有している。また、ホルダＨには、ユニットＵが備えられる。ユニットＵは、例えば、通信部３３及び接続部３５などを格納する。また、ユニットＵは、音信号を増幅する増幅器（アンプ）を含んでいてもよい。当該増幅器は、制御装置４に含まれていてもよい。

図４は、本実施形態に係る符号化部２１１の処理の一例を示すフローチャートである。

ステップＳ１０１において、符号化部２１１は、データ管理部２１４を介してデータベースＤＢより学習データＤ１を読み出す。

ステップＳ１０２において、符号化部２１１は、学習データＤ１に前処理を施す。より具体的には、符号化部２１１は、例えば、学習データＤ１に含まれる音データのデータ長、量子化ビット数、データ単位ごとのスコアが適切な形式であるかをチェックし、識別器Ｄ２に入力可能な形式に変換する。

ステップＳ１０３において、符号化部２１１は、ステップＳ１０２において得られた前処理後の学習データを用いて、識別器Ｄ２を学習する。識別器Ｄ２の学習においては、例えば、入力された学習データＤ１（入力層）の持つ次元をより少ない次元で表現可能な複数の中間層が算出される。中間層の次元は、深層に進むにつれて小さくなる。中間層を経て出力される出力層においては、入力層と同じ次元を表現できることが好ましい。識別器Ｄ２は、このようにして得られた入力層及び中間層を含む。

ステップＳ１０４において、符号化部２１１は、データ管理部２１４を介して学習済の識別器Ｄ２をデータベースＤＢに格納する。

図５は、本実施形態に係る識別部２１３の処理の一例を示すフローチャートである。図５を用いて、嚥下機能解析システム１が、被測定者Ｐより取得した嚥下音の音波形に基づいて嚥下動作を識別する一連の処理の流れを説明する。なお、測定装置３は接続部３５及び接続部４２を介して制御装置４と接続されているものとする。

ステップＳ２０１において、制御装置４の制御部４１３は、音波形の取得開始信号を生成する。より具体的には、制御部４１３は、測定装置３に対し、音波形の取得を開始するためのトリガとなる信号を送信してもよい。また、測定装置３から制御装置４へ常に音信号が入力されている場合は、制御装置４のデータ生成部４１５は、この取得開始信号をトリガとして音信号のサンプリングを開始してもよい。

ステップＳ２０２において、測定装置３の音検出部３１は、被測定者Ｐより音波形を取得する。また、音検出部３１は、接続部３５を介して制御装置４へ取得した音波形を送信する。

ステップＳ２０３において、データ生成部４１５は、入力された音波形を所定のサンプリング周波数及び所定の量子化ビット数によりＡ／Ｄ変換し、得られた計測データＤ５をメモリ４０に格納する。

ステップＳ２０４において、通信部４１１は、計測データＤ５をネットワークＮを経由してサーバ装置２へ送信する。

ステップＳ２０５において、サーバ装置２の識別部２１３は、制御装置４より受信した計測データＤ５に対して、前処理を実行する。より具体的には、識別部２１３は、例えば、計測データＤ５の音データ長をデータ単位ごとに切り出す。以下では、データ単位を切り出すための時間窓の長さは時間Ｔ１であるとする。

ステップＳ２０６において、識別部２１３は、データ管理部２１４を介してデータベースＤＢより識別器Ｄ２を読み出す。識別部２１３は、前処理済の計測データＤ５を読み出した識別器Ｄ２に入力し、第１の結果データＤ４１を得る。第１の結果データＤ４１は、例えば、入力した計測データＤ５が嚥下動作であるかを示す確率値である。

ステップＳ２０７において、識別部２１３は、データ管理部２１４を介してデータベースＤＢより時間分析器Ｄ３を読み出す。識別部２１３は、時系列に得られた複数の第１の結果データＤ４１を読み出して時間分析器Ｄ３に入力し、第２の結果データＤ４２を得る。第２の結果データＤ４２は、例えば、３種類の嚥下音（喉頭蓋閉音、食塊通過音、喉頭蓋開音）の区別と、それぞれの開始タイミング及び長さである。また、第２の結果データＤ４２は、当該嚥下動作が反射嚥下であるか又は随意嚥下であるかの判定を含んでいてもよい。

ステップＳ２０８において、識別部２１３は、ステップＳ２０６，Ｓ２０７において得られた第１の結果データＤ４１及び第２の結果データＤ４２をデータ管理部２１４を介してデータベースＤＢに格納する。

ステップＳ２０９において、通信部２１５は、ステップＳ２０８において得られた第１の結果データＤ４１及び第２の結果データＤ４２のうち少なくとも一方を、ネットワークＮを経由して制御装置４へ送信する。

ステップＳ２１０において、制御装置４の制御部４１３は、受信した結果データＤ４を、被測定者Ｐが視認可能なように出力部４３に出力する。より具体的には、制御部４１３は、第１の結果データＤ４１を受信した場合、ディスプレイ上に横軸を時間軸とするグラフを描画することにより第１の結果データを出力してもよい。また、制御部４１３は、第２の結果データＤ４２を受信した場合、嚥下動作が行われたと認識された場合に、ディスプレイ上にその旨を表示してもよい。

なお、符号化部２１１は、ステップＳ２０８までに得られた計測データＤ５及びこれに対応する結果データＤ４を新たな学習データＤ１として追加し、識別器Ｄ２を学習してもよい。より具体的には、符号化部２１１は、結果データＤ４に示される識別結果を用いて、計測データＤ５にスコアを付与する。また、符号化部２１１は、結果データＤ４に基づいて計測データＤ５に含まれる嚥下動作の開始約１秒前から終了約１秒後までのデータを切り出し、切り出したデータを、付与されたスコアとともにデータ管理部２１４を介してデータベースＤＢへ格納してもよい。

図６は、本実施形態に係る識別部により出力される第１の結果データＤ４１の一例を示す図である。より具体的には、図６は、識別部２１３により出力される第１の結果データＤ４１の一例を示す。

識別部２１３は、上述のように識別器Ｄ２により時間窓の長さである時間Ｔ１ごとに区切られた計測データＤ５を処理する。このため、第１の結果データＤ４１は、時間Ｔ１ごとの確率値Ｖを含む。確率値Ｖが高い場合、その区間は嚥下動作である可能性が高いことを示し、確率値Ｖが低い場合、その区間は嚥下動作である可能性が低いことを示す。

識別部２１３は、この第１の結果データＤ４１を時間分析器Ｄ３に入力し、嚥下動作の状態遷移を認識する。図６の例においては、時間分析器Ｄ３は、あらかじめ作成された所定の時間分析データと第１の結果データＤ４１及び第１の結果データＤ４１に対応する計測データＤ５などを比較し、類似度を求める。識別部２１３は、この時間分析器Ｄ３により得られた類似度に基づき、例えば区間Ｖ１の音データは食塊通過音Ｗ２であると識別し、区間Ｖ２の音データは喉頭蓋開音Ｗ３であると識別する。また、識別部２１３は、例えば、食塊通過音Ｗ２及び喉頭蓋開音Ｗ３の長さ、信号の強さ、又はその他の特徴量を時間分析データと比較し、時間Ｔ２を一連の嚥下動作であると推定する。これにより、識別部２１３は、例えば、当該嚥下動作は喉頭蓋閉音Ｗ１が欠落した反射嚥下であると判定する。

識別部２１３は、時間分析器Ｄ３を用いることにより得られた上述のような認識結果（第２の結果データＤ４２）を、データ管理部２１４を介してデータベースＤＢに格納する。

以上説明した本実施形態においては、識別部２１３は、時間窓（時間Ｔ１）ごとに切り出された計測データＤ５に対して識別器Ｄ２により嚥下音であるか否かを識別した第１の結果データＤ４１を出力し、さらに時間Ｔ１毎に得られた複数の第１の結果データＤ４１を用いて、嚥下音の状態遷移を認識する。特に、学習段階において、符号化部２１１は、一連の嚥下動作における嚥下音の一部が欠落した音データを、識別器Ｄ２を学習するための学習データＤ１として用いる。さらに、識別段階において、識別部２１３は、識別器Ｄ２が有する複数層のフィルタからの出力結果を統合して１つの識別結果とする。

これにより、識別部２１３は、嚥下音のうち一部が欠落した計測データＤ５に対し、第１の結果データＤ４１の識別精度を向上させることができる。また、時間分析器Ｄ３への入力精度が向上することにより、嚥下音の状態遷移の認識率が向上し、反射嚥下又は随意嚥下の識別が可能となる。さらには、咽頭通過時間（ＰＩＴＴ）に関する指標を、結果データＤ４を用いて正確に算出可能となる。

本実施形態において、制御装置４は、測定装置３により取得した計測データＤ５を、ネットワークＮを経由して例えばクラウド上にあるサーバ装置２へ送信し、嚥下動作の識別結果である結果データＤ４を受信する。これにより、嚥下機能解析システム１は、制御装置４のプロセッサ４１の処理能力が低い場合でも、プロセッサ２１の処理能力が比較的高いサーバ装置２に嚥下機能を解析させることにより実時間（リアルタイム）で結果データＤ４を出力することができる。すなわち、嚥下機能解析システム１は、測定装置３により被測定者Ｐの嚥下動作に伴う嚥下音を含む計測データＤ５を取得し、所定の処理時間の後、リアルタイムに制御装置４に当該嚥下動作の解析結果を表示可能である。

また、学習データＤ１は、例えばクラウド上のデータベースＤＢに格納される。これにより、嚥下機能解析システム１は、制御装置４には格納することができない膨大な量の学習データＤ１を扱うことができる。

なお、本実施形態において、制御装置のデータ生成部４１５は、測定装置３に含まれていてもよい。すなわち、測定装置３の音検出部３１は、取得した音をＡ／Ｄ変換器などによりデジタルデータ（計測データＤ５）に変換してもよい。測定装置３が計測データＤ５を通信部３３を経由して制御装置４に送信する場合は、接続部３５及び接続部４２は省略可能である。また、例えば被測定者を限定し学習データＤ１が小容量のデータとなる場合、もしくは、制御装置４上に大容量のメモリ又はストレージなどを搭載可能な場合などにおいては、学習データＤ１を含むデータベースＤＢは制御装置４上に搭載されてもよい。

本実施形態に係る嚥下機能解析システム１を用いることにより、嚥下動作だけでなく、例えば、嚥下動作の前後に生じる咳、むせ、呼吸の頻度及びタイミングに関するデータの取得及び解析が可能である。これらのデータにより、例えば、入院病棟又は家庭での就寝中においても嚥下活動の把握が可能となる。

以上、本実施形態を用いて本発明の嚥下機能解析システム１について説明した。これらの実施形態は、本発明を実施するにあたって理解しやすくするための一例に過ぎず、これらの実施形態のみに限定されることを意図していない。したがって、本発明を実施するにあたってその趣旨を逸脱しない範囲で、各構成を同等の機能を有するものに置き換えて実施することも可能であり、それらもまた本発明に含まれる。また、各実施形態で説明した構成のいくつかを互いに組み合わせて、あるいは置き換えて実施することも本発明に含まれる。

１…嚥下機能解析システム、２…サーバ装置、３…測定装置、４…制御装置、２０，４０…メモリ、２１，４１…プロセッサ、３１…音検出部、３３，２１５，４１１…通信部、３５，４２…接続部、４３…出力部、４４…バッテリ、２１１…符号化部、２１３…識別部、２１４…データ管理部、４１３…制御部、４１５…データ生成部、Ｂ１，Ｂ３…バス、Ｄ１…学習データ、Ｄ２…識別器、Ｄ３…時間分析器、Ｄ４…結果データ、Ｄ４１…第１の結果データ、Ｄ４２…第２の結果データ、Ｄ５…計測データ、ＤＢ…データベース、Ｎ…ネットワーク、Ｐ１，Ｐ３…プログラム。

Claims

第１の被検者の嚥下動作に関する入力データを取得するデータ取得部と、
第２の被検者の嚥下の状態を示す状態情報を含む学習データによって学習済であり、前記データ取得部によって取得された前記入力データに基づいて前記第１の被検者の嚥下の状態を喉頭蓋閉音、食塊通過音及び喉頭蓋開音をそれぞれ区別して識別し、識別された前記嚥下の状態を示す第１の識別データを生成する識別部と、
前記学習データを格納する記憶部と、
を具備し、
前記識別部は、前記喉頭蓋閉音、前記食塊通過音及び前記喉頭蓋開音が含まれることが想定される一連の嚥下動作期間において、前記喉頭蓋閉音を含み前記食塊通過音及び前記喉頭蓋開音を含まない第１の学習データ、前記食塊通過音を含み前記喉頭蓋開音及び前記喉頭蓋閉音を含まない第２の学習データ、並びに、前記喉頭蓋開音を含み前記喉頭蓋閉音及び前記食塊通過音を含まない第３の学習データのうち少なくとも１種である複数個のデータを含む前記学習データにより学習されている
ことを特徴とする嚥下機能解析システム。
前記識別部は、畳み込みニューラルネットワークにより構成される複数層のフィルタの出力結果を統合することにより、前記第１の識別データを出力し、
前記第１の識別データは、時間ごとの嚥下動作であるか否かを表す確率値を含むことを特徴とする請求項１に記載の嚥下機能解析システム。
前記識別部は、前記第１の識別データを時系列に分析することにより第２の識別データを出力し、
前記第２の識別データは、一回の嚥下動作が行われた区間における前記喉頭蓋閉音、前記食塊通過音、及び前記喉頭蓋開音の区別を示す第１の区別情報と、前記嚥下動作が反射嚥下であるか随意嚥下であるかの区別を示す第２の区別情報のうち少なくとも一方を含むことを特徴とする請求項１又は請求項２に記載の嚥下機能解析システム。
前記識別部を備え、前記学習データを記憶するデータベースを制御する第１の情報処理装置と、
前記第１の情報処理装置と通信可能な第２の情報処理装置と、
を具備し、
前記第２の情報処理装置は、前記第２の被検者の被検者ＩＤ、前記被検者ＩＤの示す被検者の特徴データ、前記被検者ＩＤの示す被検者から得られた前記学習データ、を前記第１の情報処理装置へ送信し、
前記第１の情報処理装置は、前記被検者ＩＤ、前記特徴データ、前記学習データ、を関連付けて前記データベースへ格納する管理部と、前記学習データに基づいて前記識別部を学習させる学習部と、をさらに具備し、前記第２の情報処理装置から取得した前記第１の被検者の計測データに基づいて前記識別部を用いて前記第１の被検者に関する前記第１の識別データを生成する
ことを特徴とする請求項１に記載の嚥下機能解析システム。
前記第１の情報処理装置の処理能力は前記第２の情報処理装置の処理能力よりも高く、前記第１の情報処理装置は、実時間で前記第１の識別データを生成する
ことを特徴とする請求項４に記載の嚥下機能解析システム。
コンピュータを、
第１の被検者の嚥下動作に関する入力データを取得するデータ取得手段と、
第２の被検者の嚥下の状態を示す状態情報を含む学習データによって学習済であり、前記データ取得手段によって取得された前記入力データに基づいて前記第１の被検者の嚥下の状態を喉頭蓋閉音、食塊通過音及び喉頭蓋開音をそれぞれ区別して識別し、識別された前記嚥下の状態を示す第１の識別データを生成する識別手段と、
前記学習データを格納する記憶手段と、
して機能させ、
前記識別手段は、前記喉頭蓋閉音、前記食塊通過音及び前記喉頭蓋開音が含まれることが想定される一連の嚥下動作期間において、前記喉頭蓋閉音を含み前記食塊通過音及び前記喉頭蓋開音を含まない第１の学習データ、前記食塊通過音を含み前記喉頭蓋開音及び前記喉頭蓋閉音を含まない第２の学習データ、並びに、前記喉頭蓋開音を含み前記喉頭蓋閉音及び前記食塊通過音を含まない第３の学習データのうち少なくとも１種である複数個のデータを含む前記学習データにより学習されている
ことを特徴とするプログラム。