JP6604113B2 - 飲食行動検出装置、飲食行動検出方法及び飲食行動検出用コンピュータプログラム - Google Patents

Description

本発明は、例えば、被検者の飲食行動を検出する飲食行動検出装置、飲食行動検出方法及び飲食行動検出用コンピュータプログラムに関する。

従来より、人が発する音声などの信号に基づいて、その人の行動または状態を解析することが研究されている。そのような研究の一つとして、被検者の体内から発せられる振動に基づいて、被検者の嚥下または咀嚼といった飲食行動を検出する技術が提案されている（例えば、特許文献１〜３を参照）。

例えば、特許文献１には、体内音を検出する体内音マイクからの出力信号を演算処理して得られる出力データに基づいて、発話状態または飲食状態を判定する発話・飲食状態検出システムが開示されている。この発話・飲食状態検出システムは、出力データの所定時間における基本周波数成分のパワーが第１の閾値未満で、かつ、出力データの所定時間におけるパワーが第２の閾値以上のときに飲食状態と判定する。さらに、この発話・飲食状態検出システムは、一定時間内における飲食状態の発生頻度を算出し、咀嚼状態と嚥下状態とを判定する。その際、この発話・飲食状態検出システムは、発生頻度が高いものを咀嚼状態、発生頻度が低いものを嚥下状態と判定する。

また、特許文献２に開示された状態検出装置は、生体の振動信号を体動信号と音声信号に分離し、音声信号から検出される嚥下音と、体動信号から検出される喉部の嚥下運動とに基づいて被検者の嚥下を検出する。

さらに、特許文献３に開示された咀嚼検出装置は、咀嚼音を計測し、計測された咀嚼音の時間方向のパワー推移の概形を求め、この概形に基づいて咀嚼を判定する。

特開２００８−６１７９０号公報 特開２００９−２７９１２２号公報 特開２０１２−１９６２８４号公報

人が飲食行動を行う場合、その飲食行動中に咀嚼と嚥下の両方を行うことがある。このような場合、特許文献１に開示された技術では、一定時間内に咀嚼状態と嚥下状態の両方が含まれているために、嚥下も咀嚼として誤判定されてしまい、嚥下と咀嚼とが識別できないことがある。また、特許文献２に開示された技術、及び、特許文献３に開示された技術では、咀嚼と嚥下とを識別することは対象とされていない。

一つの側面では、本発明は、被検者が発する振動に応じた振動信号に基づいて被検者の咀嚼と嚥下とを識別可能な飲食行動検出装置を提供することを目的とする。

一つの実施形態によれば、飲食行動検出装置が提供される。この飲食行動検出装置は、被検者の体内から発せられる振動を取得し、その振動に応じた振動信号を生成する振動取得部と、振動信号を、所定時間長のフレームに分割し、フレームごとに振動信号のパワーを算出するパワー算出部と、振動信号のフレームごとに、そのフレームが周期性を持つ定常信号か周期性を持たない非定常信号かを判定する定常性判定部と、振動信号のフレームごとのパワー及び定常性判定部の判定結果に基づいて、振動信号のパワーがパワー閾値以上で非定常信号が継続する期間を検出し、その期間の継続時間を取得する継続時間計測部と、継続時間に応じて、非定常信号が継続する期間において被検者が嚥下したか咀嚼したかを判定する判定部とを有する。

被検者が発する振動に応じた振動信号に基づいて被検者の咀嚼と嚥下とを識別できる。

咀嚼音と嚥下音とを含む音声信号の一例を示す図である。 第１の実施形態による飲食行動検出装置の概略構成図である。 第１の実施形態による処理部の機能ブロック図である。 自己相関列に基づく定常性判定処理の動作フローチャートである。 非定常信号の継続時間測定処理の動作フローチャートである。 飲食行動検出処理の動作フローチャートである。 本実施形態による飲食行動検出処理を、振動信号として取得された音声信号に適用した場合の検出結果の一例を示す図である。 第２の実施形態による処理部の機能ブロック図である。 閾値制御処理の動作フローチャートである。 第３の実施形態による飲食行動検出装置の処理部の機能ブロック図である。 第４の実施形態による飲食行動検出装置の処理部の機能ブロック図である。

以下、図を参照しつつ、飲食行動検出装置について説明する。この飲食行動検出装置は、被検者が発する振動に応じた振動信号を解析することにより、被検者の飲食行動、特に、咀嚼と嚥下とを検出する。

図１は、咀嚼音と嚥下音とを含む音声信号の一例を示す図である。図１において、横軸は時間を表し、縦軸は音声信号の振幅を表す。そして信号１００は、音声信号を表す。また、図１において、区間１０１は、咀嚼が行われている区間に対応し、一方、区間１０２は、嚥下が行われている区間に対応する。また、音声信号１００の下側のグラフ１１０は、音声信号１００のパワーの時間変化を表す。

嚥下音は、咽頭における筋肉の動きによる衝撃と、食物が喉を通過する際の摩擦または空気と食物の入れ替わりにより生じる音であり、約500msec〜約800sec程度継続する音である。一方、咀嚼音は、食物が粉砕される際に生じる音であり、嚥下音と比較して、継続時間が短く、例えば、約100msec〜約300msec程度継続する音である。また、音声信号１００及びグラフ１１０に示されるように、咀嚼音及び嚥下音は、何れも、周期性を持たない、すなわち、ピッチを有さず、発声音と比較して自己相関の範囲が狭い非定常音である。また、咀嚼音と嚥下音とを比較すると、咀嚼音における、ある一定以上のパワーが継続する期間は、嚥下音における、ある一定以上のパワーが継続する期間よりも相対的に短い。

そこで、この飲食行動検出装置は、被検者から発する振動に応じた振動信号において、一定以上のパワーを持ち、かつ、非定常信号が継続する期間を嚥下または咀嚼が行われている期間として検出する。そしてこの飲食行動検出装置は、その期間の長さに応じて、その期間が咀嚼に相当するか嚥下に相当するかを識別する。

図２は、第１の実施形態による飲食行動検出装置の概略構成図である。飲食行動検出装置１は、例えば、携帯電話機、スマートフォン、タブレット、あるいはコンピュータとして実装される。そして飲食行動検出装置１は、人体振動取得部２と、アナログ／デジタル変換部３と、ユーザインターフェース部４と、記憶部５と、記憶媒体アクセス装置６と、処理部７とを有する。飲食行動検出装置１は、さらに、他の機器と有線または無線で通信するための通信部（図示せず）を有していてもよい。

人体振動取得部２は、被検者の体内から発せられる振動、特に、口内あるいは喉周囲の筋肉または骨の振動あるいはその振動に由来する音声を取得し、その振動に応じた電気信号を振動信号として生成する。そのために、人体振動取得部２は、例えば、マイクロホン、咽頭マイクロホン、骨伝導マイクロホン、ピックアップ、加速度センサ、圧力センサ、ビデオカメラ、あるいは筋電センサなどの体内から発する振動またはその振動に由来する音声を取得できるセンサを有する。そしてそのセンサは、ネックレス、耳かけ、パッチ、イヤホン、ヘッドフォン、あるいは衣類へ埋め込まれて、例えば、被検者の首回り、胸元、頭部あるいは顔面に取り付けられる。また、センサがビデオカメラである場合、そのビデオカメラは、被験者の首または胸部へ向けて設置される。そしてビデオカメラにより得られた画像信号において、被験者の首または胸部が写っている画素の輝度値などの変化により、口内あるいは喉周囲の筋肉または骨の振動を表す振動信号が取得される。
人体振動取得部２は、生成した振動信号をアナログ／デジタル変換部３へ出力する。

また、変形例において、人体振動取得部２は、飲食行動検出装置本体と別個に設けられ、無線通信により、取得した信号を飲食行動検出装置本体へ送信してもよい。この場合には、人体振動取得部２は、例えば、Body Area Networkに応じた規格に従った無線端末に実装され、その無線端末が被検者に取り付けられてもよい。そして飲食行動検出装置本体は、その無線端末と通信可能な範囲内に固定的に設置されてもよい。そして無線端末は、生成した振動信号を飲食行動検出装置本体へ逐次送信してもよい。あるいは、人体振動取得部２を有する無線端末は、生成した振動信号を一定期間保存しておき、その無線端末が飲食行動検出装置本体と無線通信可能となったタイミングで、保存している振動信号を飲食行動検出装置本体へ送信してもよい。

アナログ／デジタル変換部３は、例えば、アンプと、アナログ／デジタル変換器とを有する。アナログ／デジタル変換部３は、人体振動取得部２から受け取った振動信号をアンプにより増幅する。そしてアナログ／デジタル変換部３は、その増幅された振動信号をアナログ／デジタル変換器により所定のサンプリング周期でサンプリングすることにより、デジタル化された振動信号を生成する。以下では、便宜上、このデジタル化された振動信号を、単に振動信号と呼ぶ。アナログ／デジタル変換部３は、振動信号を処理部７へ出力する。

ユーザインターフェース部４は、例えば、タッチパネルを有する。そしてユーザインターフェース部４は、ユーザによる操作に応じた操作信号、例えば、振動信号解析の開始を指示する信号、あるいは、振動信号解析の結果を表示させる信号を生成し、その操作信号を処理部７へ出力する。またユーザインターフェース部４は、処理部７から受け取った表示用の信号に従って、振動信号解析の結果などを表示する。なお、ユーザインターフェース部４は、操作信号入力用の複数の操作ボタンと、液晶ディスプレイといった表示装置とを別個に有していてもよい。

記憶部５は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部５は、飲食行動検出装置１で用いられる各種コンピュータプログラム及び各種のデータを記憶する。特に、記憶部５は、飲食行動検出処理で用いられる各種の情報、及び飲食行動検出処理の対象となる振動信号を記憶する。

記憶媒体アクセス装置６は、例えば、半導体メモリカード、ハードディスク、あるいは光記憶媒体といった記憶媒体６ａにアクセスする装置である。記憶媒体アクセス装置６は、例えば、記憶媒体６ａに記憶された処理部７上で実行されるコンピュータプログラムを読み込み、処理部７に渡す。

処理部７は、一つまたは複数のプロセッサと、メモリ回路と、周辺回路とを有する。処理部７は、飲食行動検出装置１全体を制御する。

また処理部７は、取得した振動信号に対して飲食行動検出処理を実行して、被検者の咀嚼及び嚥下といった飲食行動を検出する。

図３は、第１の実施形態による処理部７の機能ブロック図である。処理部７は、パワー算出部１１と、定常性判定部１２と、継続時間計測部１３と、判定部１４とを有する。
処理部７が有するこれらの各部は、例えば、処理部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、処理部７が有するこれらの各部は、処理部７が有するプロセッサとは別個に、それらの各部の機能を実現する一つまたは複数の集積回路として飲食行動検出装置１に実装されてもよい。

パワー算出部１１は、振動信号を所定長を持つフレーム単位で分割し、フレームごとに振動信号のパワーを算出する。例えば、パワー算出部１１は、次式に従ってパワーを算出する。
ここでp(t,t+L)は、時刻tから開始される、長さLのフレームにおける振動信号のパワーを表す。またs(i)は、フレームに含まれる、各サンプリング点での振動信号を表す。例えば、フレーム長Lは、数msec程度であり、フレームに含まれるサンプリング点の数は、数千程度である。
なお、パワー算出部１１は、振動信号を、フレームごとに、高速フーリエ変換（Fast Fourier Transform,、FFT）といった時間周波数変換を行って、周波数領域の信号を算出してもよい。この場合には、パワー算出部１１は、次式に従ってパワーを算出してもよい。
ここでS(f)は、時刻tから開始されるフレームにおける、fで表される周波数に相当する周波数信号である。またfmin、fmaxは、それぞれ、パワー算出に利用する周波数の下限値、上限値を表す。この周波数の下限値、上限値は、例えば、嚥下音または咀嚼音が持つ周波数成分の下限値、上限値に対応する値に設定されればよい。

パワー算出部１１は、フレームごとの振動信号のパワーを継続時間計測部１３へ出力する。また、パワー算出部１１は、定常性判定部１２が周波数領域の信号に基づいて振動信号の定常性を判定する場合には、フレームごとの周波数領域の信号を定常性判定部１２へ出力してもよい。

定常性判定部１２は、振動信号について、フレームごとに周期性を持つ定常信号か、周期性を持たない非定常信号かを判定する。図１に関して説明したように、嚥下及び咀嚼に由来する振動信号は、発声音よりも定常性が低いので、定常性は、発声音と嚥下及び咀嚼に由来する振動信号とを識別するための特徴量として有用である。

定常性判定部１２は、例えば、振動信号の自己相関列をフレームごとに算出し、その自己相関列に基づいて、フレームが定常信号か非定常信号かを判定する。

図４は、自己相関列に基づく定常性判定処理の動作フローチャートである。定常性判定部１２は、フレームごとに、以下の動作フローチャートに従って定常信号か非定常信号かを判定する。
定常性判定部１２は、例えば、次式に従って、振動信号の自己相関列を算出する（ステップＳ１０１）。
ここでR(i)(i=1,2,...,L)は、自己相関列を表す。そして定常性判定部１２は、自己相関列に含まれる自己相関値のうちの最大値の絶対値|max(R(i))|が閾値Thよりも大きいか否か判定する（ステップＳ１０２）。振動信号の着目するフレームが定常性を有する場合には、そのフレームにおいて振動信号が一定の周期性、すなわちピッチを持つため、自己相関値の最大値の絶対値は高くなる。一方、振動信号の着目するフレームが定常性を有さない場合には、そのフレームにおいて振動信号が周期性を持たないため、自己相関値の最大値の絶対値は低くなる。そこで、自己相関値の最大値の絶対値|max(R(i))|が閾値Thよりも大きい場合（ステップＳ１０２−Ｙｅｓ）、定常性判定部１２は、着目するフレームは定常信号であると判定する（ステップＳ１０３）。一方、自己相関値の最大値の絶対値|max(R(i))|が閾値Th以下である場合（ステップＳ１０２−Ｎｏ）、定常性判定部１２は、着目するフレームは非定常信号であると判定する（ステップＳ１０４）。なお、閾値Thは、例えば、0.05に設定される。
ステップＳ１０３またはＳ１０４の後、定常性判定部１２は、定常性判定処理を終了する。

なお、変形例によれば、定常性判定部１２は、自己相関の代わりに、振動信号のスペクトルまたはケプストラムのピークに基づいて、振動信号の着目するフレームが定常信号か非定常信号かを判定してもよい。例えば、定常性判定部１２は、振動信号の着目するフレームについての周波数領域の信号を周波数ごとに２乗することで振動信号のスペクトルを算出する。そして定常性判定部１２は、0以外の周波数において、スペクトルのピークを検出する。そのピークが所定の閾値よりも高い場合、定常性判定部１２は、着目するフレームが定常信号であると判定し、一方、そのピークが所定の閾値以下である場合、定常性判定部１２は、着目するフレームが非定常信号であると判定してもよい。

また、定常性判定部１２は、ケプストラムに基づいて着目するフレームが定常信号か非定常信号かを判定する場合、例えば、ケプストラムとして、FFTケプストラム、線形予測ケプストラムあるいはメル周波数ケプストラムを算出する。ケプストラムは、被検者の声道の共振特性を表すスペクトル包絡情報である。そのため、着目するフレームに発声音が含まれる場合には、ケプストラムのピークは相対的に高くなるのに対して、着目するフレームに発声音が含まれず、咀嚼音または嚥下音が含まれる場合には、ケプストラムのピークは相対的に低くなる。そこで定常性判定部１２は、ケプストラムのピークを検出し、そのピークが所定の閾値よりも高い場合、着目するフレームが定常信号であると判定し、一方、そのピークが所定の閾値以下である場合、着目するフレームが非定常信号であると判定してもよい。

定常性判定部１２は、フレームごとの定常信号か非定常信号かの判定結果を継続時間計測部１３へ出力する。

上記のように、咀嚼と嚥下音とで、一定以上のパワーを持ち、かつ、非定常信号となる期間の長さが異なる。そこで継続時間計測部１３は、一定以上のパワーを持つ非定常信号が継続する期間を検出し、その期間の継続時間を測定する。

図５は、非定常信号の継続時間測定処理の動作フローチャートである。継続時間計測部１３は、フレームごとに、以下の動作フローチャートに従って、非定常信号の継続時間測定処理を実行する。

継続時間計測部１３は、前フレームのパワーが所定のパワー閾値Thpよりも大きいか否か判定する（ステップＳ２０１）。なお、パワー閾値Thpは、例えば、嚥下または咀嚼に由来する振動信号のフレームあたりのパワーの下限値に設定される。前フレームのパワーがパワー閾値Thpよりも大きい場合（ステップＳ２０１−Ｙｅｓ）、継続時間計測部１３は、前フレームの振動信号が非定常信号であるか否か判定する（ステップＳ２０２）。

前フレームの振動信号が非定常信号でない場合（ステップＳ２０２−Ｎｏ）、あるいは、ステップＳ２０１にて、前フレームのパワーがパワー閾値Thp以下である場合（ステップＳ２０１−Ｎｏ）、前フレームは、咀嚼及び嚥下の何れにも相当しないと想定される。そこで継続時間計測部１３は、現フレームから非定常信号の継続時間の計測を開始するか否かを判定するために、現フレームのパワーがパワー閾値Thpよりも大きいか否か判定する（ステップＳ２０３）。現フレームのパワーがパワー閾値Thp以下である場合（ステップＳ２０３−Ｎｏ）、現フレームは、咀嚼及び嚥下の何れにも相当しないと想定される。そこで継続時間計測部１３は、継続時間の計測を開始せずに非定常信号の継続時間測定処理を終了する。

一方、現フレームのパワーがパワー閾値Thpよりも大きい場合（ステップＳ２０３−Ｙｅｓ）、継続時間計測部１３は、現フレームの振動信号が非定常信号であるか否か判定する（ステップＳ２０４）。現フレームの振動信号が非定常信号でない場合（ステップＳ２０４−Ｎｏ）、現フレームは、咀嚼及び嚥下の何れにも相当しないと想定される。そこで継続時間計測部１３は、継続時間の計測を開始せずに非定常信号の継続時間測定処理を終了する。一方、現フレームの振動信号が非定常信号である場合（ステップＳ２０４−Ｙｅｓ）、現フレームは、咀嚼及び嚥下の何れに相当すると想定される。そこで継続時間計測部１３は、継続時間の測定を開始し、非定常信号の継続時間の測定中であることを示すフレームのカウント数Cを1とする（ステップＳ２０５）。そして継続時間計測部１３は、非定常信号の継続時間測定処理を終了する。

また、ステップＳ２０２にて、前フレームの振動信号が非定常信号である場合（ステップＳ２０２−Ｙｅｓ）、前フレームの時点で、非定常信号の継続時間の測定が継続されている。そこで、継続時間計測部１３は、現フレームにて、継続時間の測定を終了するか否かを判定するために、現フレームのパワーがパワー閾値Thpよりも大きいか否か判定する（ステップＳ２０６）。現フレームのパワーがパワー閾値Thpよりも大きい場合（ステップＳ２０６−Ｙｅｓ）、継続時間計測部１３は、現フレームの振動信号が非定常信号であるか否か判定する（ステップＳ２０７）。

現フレームの振動信号が非定常信号でない場合（ステップＳ２０７−Ｎｏ）、あるいは、ステップＳ２０６にて、現フレームのパワーがパワー閾値Thp以下である場合（ステップＳ２０６−Ｎｏ）、現フレームは、咀嚼及び嚥下の何れにも相当しないと想定される。そこで継続時間計測部１３は、現フレームの時点でのカウント数Cにフレーム長を乗じることで、非定常信号の継続時間を算出する（ステップＳ２０８）。また継続時間計測部１３は、カウント数Cを0にリセットする。

一方、ステップＳ２０７にて、現フレームの振動信号が非定常信号である場合（ステップＳ２０７−Ｙｅｓ）、現フレームも咀嚼及び嚥下の何れに相当すると想定される。そこで継続時間計測部１３は、非定常信号の継続時間を表すフレームのカウント数Cを1インクリメントする（ステップＳ２０９）。
ステップＳ２０８またはＳ２０９の後、継続時間計測部１３は、非定常信号の継続時間測定処理を終了する。

なお、継続時間計測部１３は、ステップＳ２０５にて、現フレームに相当する時刻を、非定常信号の開始時刻として、記憶部５に保存してもよい。そして継続時間計測部１３は、ステップＳ２０８にて、現フレームに相当する時刻から、非定常信号の開始時刻を減じることで、非定常信号の継続時間を算出してもよい。この場合には、ステップＳ２０９の処理は省略されてもよい。

継続時間計測部１３は、一定以上のパワーを持つ非定常信号が継続した期間が終了する度に、その期間について算出した継続時間を判定部１４へ出力する。

判定部１４は、一定以上のパワーを持つ非定常信号が継続した期間の継続時間に基づいて、その期間が嚥下に相当するか咀嚼に相当するかを判定する。上記のように、嚥下の方が、咀嚼よりも継続する時間が長い。そこで判定部１４は、一定以上のパワーを持つ非定常信号が継続した期間の継続時間を所定の時間閾値と比較し、時間閾値よりも長ければ、その期間を嚥下に相当すると判定する。一方、一定以上のパワーを持つ非定常信号が継続した期間の継続時間が時間閾値以下であれば、判定部１４は、その期間を咀嚼に対応すると判定する。なお、時間閾値は、代表的な嚥下の継続時間の長さと咀嚼の継続時間の長さの中間の長さ、例えば、400msecに設定される。
判定部１４は、被検者の咀嚼または嚥下が検出される度に、飲食行動検出装置が有する時計情報を参照して、その検出されたときの時刻を取得する。そして判定部１４は、咀嚼または嚥下が検出された時刻を、その判定結果とともに記憶部５に記憶する。

図６は、飲食行動検出処理の動作フローチャートである。
パワー算出部１１は、振動信号をフレーム単位で分割し、フレームごとに振動信号のパワーを算出する（ステップＳ３０１）。また、定常性判定部１２は、振動信号を、フレームごとに定常信号か非定常信号かを判定する（ステップＳ３０２）。

継続時間計測部１３は、フレームごとのパワーと定常信号か非定常信号かの判定結果に基づいて、一定以上のパワーを持つ非定常信号が継続した期間の長さを求める（ステップＳ３０３）。そして判定部１４は、その期間の長さが時間閾値Thtよりも長いか否か判定する（ステップＳ３０４）。

非定常信号が継続した期間の長さが時間閾値Thtよりも長い場合（ステップＳ３０４−Ｙｅｓ）、判定部１４は、その期間を嚥下に相当すると判定する（ステップＳ３０５）。一方、非定常信号が継続した期間の長さが時間閾値Tht以下である場合（ステップＳ３０４−Ｎｏ）、判定部１４は、その期間を咀嚼に相当すると判定する（ステップＳ３０６）。処理部７は、飲食行動検出処理の対象となる振動信号が終了するまで、上記の飲食行動検出処理を繰り返し実行する。

図７は、本実施形態による飲食行動検出処理を、振動信号として取得された音声信号に適用した場合の検出結果の一例を示す図である。図７において、横軸は時間を表し、縦軸は音声信号７００の振幅を表す。そして区間７０１及び区間７０３は、被検者が咀嚼していた区間であり、一方、区間７０２は、被検者が嚥下していた区間である。また丸印で表された区間７１１−１〜７１１−１０は、本実施形態による飲食行動検出処理を適用することにより、咀嚼として検出された区間を表す。一方、四角形で表された区間７１２は、本実施形態による飲食行動検出処理を適用することにより、嚥下として検出された区間を表す。
図７に示されるように、本実施形態による飲食行動検出処理により、嚥下と咀嚼とが混在している場合でも、正確に嚥下と咀嚼とが識別され、かつ、検出されていることが分かる。

以上に説明してきたように、この飲食行動検出装置は、被検者の体内から発せられる振動に応じた振動信号を解析することにより、一定以上のパワーを持つ非定常信号が継続する期間を測定し、その期間の長さに応じて、咀嚼か嚥下かを判定する。そのため、この飲食行動検出装置は、被検者が咀嚼と嚥下とを交互に行っているような場合でも、咀嚼と嚥下とを検出し、かつ、咀嚼と嚥下とを正確に識別できる。さらに、この飲食行動検出装置は、咀嚼または嚥下を検出する際、振動信号が一定以上のパワーを持つことを条件としているので、振動信号に含まれるノイズを咀嚼または嚥下として誤検出することを抑制できる。

次に、第２の実施形態による飲食行動検出装置について説明する。第２の実施形態による飲食行動検出装置は、一定期間にわたる嚥下及び咀嚼の判定結果に基づいて、定常性判定で使用される閾値、継続時間判定で使用されるパワー閾値または嚥下と咀嚼の識別のために使用される時間閾値を調節する。

図８は、第２の実施形態による飲食行動検出装置の処理部の機能ブロック図である。第２の実施形態による飲食行動検出装置の処理部７１は、パワー算出部１１と、定常性判定部１２と、継続時間計測部１３と、判定部１４と、閾値制御部１５とを有する。第２の実施形態による飲食行動検出装置は、第１の実施形態による飲食行動検出装置と比較して、処理部７１が閾値制御部１５を有する点で異なる。そこで以下では、閾値制御部１５及びその関連部分について説明する。第２の実施形態による飲食行動検出装置のその他の構成要素に関しては、第１の実施形態による飲食行動検出装置の対応する構成要素の説明を参照されたい。

閾値制御部１５は、過去一定期間内における、嚥下及び咀嚼の判定結果が異常であると想定される場合に、定常性判定で使用される閾値、継続時間判定で使用されるパワー閾値または嚥下と咀嚼の識別のために使用される時間閾値を調節する。

例えば、数時間、あるいは、一日程度の期間のうちに一度も嚥下が検出されなかった場合、飲食行動検出装置が被検者の嚥下の検出に失敗したか、あるいは、被検者の嚥下を咀嚼と誤検出したと想定される。このような場合、閾値制御部１５は、嚥下が検出され易くなるか、または、咀嚼が検出され難くなるように、上記の各閾値の少なくとも何れかを調節することが好ましい。例えば、閾値制御部１５は、継続時間判定で使用されるパワー閾値を低下させるか、定常性判定で使用される閾値を高くするか、あるいは、嚥下と咀嚼の識別のために使用される時間閾値を短くする。

一方、数時間、あるいは、一日程度の期間のうちに検出された嚥下の回数が多過ぎる場合には、雑音が被検者の飲食行動を表す信号として誤検出されているか、被検者の咀嚼が嚥下として誤検出されていることが想定される。そこでこのような場合、閾値制御部１５は、咀嚼が検出され易くなるか、または、雑音が飲食行動として検出され難くなるように、上記の各閾値の少なくとも何れかを調節することが好ましい。例えば、閾値制御部１５は、継続時間判定で使用されるパワー閾値を高くするか、定常性判定で使用される閾値を低下させるか、あるいは、嚥下と咀嚼の識別のために使用される時間閾値を長くする。

図９は、閾値制御部１５による、閾値制御処理の動作フローチャートである。閾値制御部１５は、飲食行動検出処理が一定期間（例えば、数時間〜１日）実行される度に、以下の動作フローチャートに従って閾値制御処理を実行する。

閾値制御部１５は、一定期間中に検出された嚥下と咀嚼の合計頻度のうち、嚥下の検出頻度が所定の下限頻度以下か否か判定する（ステップＳ４０１）。なお、下限頻度は、例えば、0.01に設定される。

嚥下の検出頻度が下限頻度以下である場合（ステップＳ４０１−Ｙｅｓ）、被検者の嚥下が適切に検出されていないと想定される。そこで閾値制御部１５は、継続時間判定で使用されるパワー閾値を低下させるか、定常性判定で使用される閾値を高くするか、あるいは、嚥下と咀嚼の識別のために使用される時間閾値を短くする（ステップＳ４０２）。なお、１回の閾値の調整において、閾値制御部１５は、例えば、パワー閾値を1dB低下させる。あるいは、閾値制御部１５は、例えば、定常性判定で使用される、自己相関の最大値に対する閾値を0.01高くする。あるいはまた、閾値制御部１５は、例えば、嚥下と咀嚼の識別のために使用される時間閾値を25msec短くする。なお、閾値制御部１５は、ステップＳ４０２の処理が行われる度に、これら閾値のうちの何れか一つまたは二つを順番に変更してもよく、あるいは、これら閾値全てを変更してもよい。

一方、ステップＳ４０１にて、嚥下の検出頻度が下限頻度よりも高い場合（ステップＳ４０１−Ｎｏ）、閾値制御部１５は、一定期間中に検出された嚥下と咀嚼の合計頻度のうち、嚥下の検出頻度が所定の上限頻度以上か否か判定する（ステップＳ４０３）。なお、上限頻度は、例えば、0.1に設定される。

嚥下の検出頻度が上限頻度以上である場合（ステップＳ４０３−Ｙｅｓ）、被検者の嚥下以外による振動が嚥下として誤検出されていると想定される。そこで閾値制御部１５は、継続時間判定で使用されるパワー閾値を高くするか、定常性判定で使用される閾値を低下させるか、あるいは、嚥下と咀嚼の識別のために使用される時間閾値を長くする（ステップＳ４０４）。この場合も、１回の閾値の調整において、閾値制御部１５は、各閾値について、ステップＳ４０２における調整量と同程度の量だけ変更すればよい。また、閾値制御部１５は、ステップＳ４０４の処理が行われる度に、これら閾値のうちの何れか一つまたは二つを順番に変更してもよく、あるいは、これら閾値全てを変更してもよい。
また、ステップ４０３にて、嚥下の検出頻度が上限頻度未満である場合（ステップＳ４０３−Ｎｏ）、閾値制御部１５は、上記の各閾値を修正しない。

なお、閾値制御部１５は、ステップＳ４０２またはＳ４０４の処理が実行された回数が増えるほど、１回の閾値の調整における調整量を少なくしてもよい。これにより、閾値制御部１５は、閾値の調整量が大き過ぎることにより、無限に閾値制御処理が繰り返されることを防止できる。

第２の実施形態によれば、飲食行動検出装置は、過去一定期間の嚥下の検出頻度に応じて、飲食行動検出処理で用いられる各閾値を自動的に調節するので、飲食行動検出装置が用いられる環境に応じて、被検者の嚥下及び咀嚼を適切に検出することができる。

次に、第３の実施形態による飲食行動検出装置について説明する。第３の実施形態による飲食行動検出装置は、被検者の嚥下が検出される度に、その直前の咀嚼回数に応じて、被検者が適正回数以上の咀嚼を行っているか否かを判定する。

図１０は、第３の実施形態による飲食行動検出装置の処理部の機能ブロック図である。第３の実施形態による飲食行動検出装置の処理部７２は、パワー算出部１１と、定常性判定部１２と、継続時間計測部１３と、判定部１４と、咀嚼回数計測部１６と、適正回数判定部１７とを有する。第３の実施形態による飲食行動検出装置は、第１の実施形態による飲食行動検出装置と比較して、処理部７２が咀嚼回数計測部１６及び適正回数判定部１７を有する点で異なる。そこで以下では、咀嚼回数計測部１６及び適正回数判定部１７及びその関連部分について説明する。第３の実施形態による飲食行動検出装置のその他の構成要素に関しては、第１の実施形態による飲食行動検出装置の対応する構成要素の説明を参照されたい。

咀嚼回数計測部１６は、前回の被検者の嚥下が検出された以降において、判定部１４によって被検者の咀嚼が検出される度に、その検出回数を表すカウント値を１インクリメントする。そして咀嚼回数計測部１６は、判定部１４によって被検者の嚥下が検出されると、咀嚼の検出回数を表すカウント値を、１回の嚥下までに被検者が行った咀嚼の回数として、適正回数判定部１７へわたす。その後、咀嚼回数計測部１６は、カウント値を0にリセットする。

適正回数判定部１７は、１回の嚥下までに被検者が行った咀嚼の回数を、所定の咀嚼回数閾値（例えば、20回）と比較する。そして適正回数判定部１７は、その咀嚼の回数が、咀嚼回数閾値未満である場合、ユーザインターフェース部４に、咀嚼回数が少ないことを被検者に知らせるためのメッセージを表示させる。あるいは、飲食行動検出装置がスピーカ（図示せず）を有する場合には、適正回数判定部１７は、咀嚼回数が少ないことを被検者に知らせるための音声信号を、スピーカから出力させてもよい。

第３の実施形態による飲食行動検出装置は、被検者の１回の嚥下当たりの咀嚼回数を求めて、その結果により、被検者に咀嚼に関するアドバイスを行うことができる。

次に、第４の実施形態による飲食行動検出装置について説明する。第４の実施形態による飲食行動検出装置は、被検者の咀嚼及び嚥下が検出された時刻が所定の規則性条件を満たすか否かに応じて、被検者が規則的な食生活を行っているか否かを判定する。

図１１は、第４の実施形態による飲食行動検出装置の処理部の機能ブロック図である。第４の実施形態による飲食行動検出装置の処理部７３は、パワー算出部１１と、定常性判定部１２と、継続時間計測部１３と、判定部１４と、食事時刻推定部１８と、規則性判定部１９とを有する。第４の実施形態による飲食行動検出装置は、第１の実施形態による飲食行動検出装置と比較して、処理部７３が食事時刻推定部１８及び規則性判定部１９を有する点で異なる。そこで以下では、食事時刻推定部１８及び規則性判定部１９及びその関連部分について説明する。第４の実施形態による飲食行動検出装置のその他の構成要素に関しては、第１の実施形態による飲食行動検出装置の対応する構成要素の説明を参照されたい。

判定部１４は、被検者の咀嚼または嚥下が検出される度に、飲食行動検出装置が有する時計情報を参照して、その検出されたときの時刻を取得する。そして判定部１４は、咀嚼または嚥下が検出された時刻及びその継続時間を記憶部５に記憶する。

食事時刻推定部１８は、毎日、数日おき、あるいは、特定曜日ごとに、咀嚼が検出された時刻及び嚥下が検出された時刻に基づいて、被検者が食事を行った時刻を推定する。

例えば、食事時刻推定部１８は、一定期間（例えば、30分）ごとに、その期間内で検出された咀嚼の継続時間の合計と検出された嚥下の継続時間の合計を算出する。そして食事時刻推定部１８は、一定期間に占める、咀嚼の継続時間の合計が50%以上であり、かつ、一定期間に占める、嚥下の継続時間の合計が1%以上である場合、その一定期間において被検者が食事を行ったと判定する。

さらに、食事時刻推定部１８は、午前の所定時刻(例えば、午前11時)より前において、食事が行われたと判定された期間のうち、咀嚼の継続時間の合計と嚥下の継続時間の合計の和が最大となる期間を、被検者が朝食を取った推定時刻とする。同様に、食事時刻推定部１８は、正午前後（例えば、午前11時〜午後3時）において、食事が行われたと判定された期間のうち、咀嚼の継続時間の合計と嚥下の継続時間の合計の和が最大となる期間を、被検者が昼食を取った推定時刻とする。さらに、食事時刻推定部１８は、午後の所定時刻（例えば、午後3時）以降において、食事が行われたと判定された期間のうち、咀嚼の継続時間の合計と嚥下の継続時間の合計の和が最大となる期間を、被検者が夕食を取った推定時刻とする。

食事時刻推定部１８は、被検者の朝食、昼食、及び夕食の推定時刻を、記憶部５に保存する。

規則性判定部１９は、一定期間（例えば、１週間あるいは１か月間）における、被検者の日々の食事の推定時刻の分布の統計量が所定の規則性条件を満たすか否かに基づいて、被検者が規則的に食事を行っているか否かを判定する。例えば、規則性判定部１９は、被検者の日々の食事の推定時刻の分布の統計量として、一定期間における被検者の夕食時刻の標準偏差を算出する。そして規則性判定部１９は、その標準偏差が一定値（例えば、1時間）よりも大きければ、規則性条件が満たされず、被検者は規則的な食事を行っていないと判定する。あるいは、規則性判定部１９は、一定期間における被検者の夕食時刻が所定時刻（例えば、午後10時）以降となる割合を、被検者の日々の食事の推定時刻の分布の統計量として算出する。そして規則性判定部１９は、その割合が一定値（例えば、80%）以上となる場合、規則性条件が満たされず、被検者は規則的な食事を行っていないと判定してもよい。
規則性判定部１９は、被検者は規則的な食事を行っていないと判定した場合、ユーザインターフェース部４に、被検者の食事が不規則であることを被検者に知らせるためのメッセージを表示させる。

第４の実施形態による飲食行動検出装置は、被検者の食事の規則性を判定して、その結果により、被検者に食事の規則性に関するアドバイスを行うことができる。

なお、第２〜第４のそれぞれの実施形態は、互いに組み合わされてもよい。

また、上記の各実施形態または変形例において、被検者は、人に限られず、家畜などの動物であってもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被検者の体内から発せられる振動を取得し、当該振動に応じた振動信号を生成する振動取得部と、
前記振動信号を、所定時間長のフレームに分割し、当該フレームごとに前記振動信号のパワーを算出するパワー算出部と、
前記振動信号の前記フレームごとに、当該フレームが周期性を持つ定常信号か周期性を持たない非定常信号かを判定する定常性判定部と、
前記振動信号の前記フレームごとのパワー及び前記定常性判定部の判定結果に基づいて、前記振動信号のパワーがパワー閾値以上で前記非定常信号が継続する期間を検出し、当該期間の継続時間を取得する継続時間計測部と、
前記継続時間に応じて、前記非定常信号が継続する期間において前記被検者が嚥下したか咀嚼したかを判定する判定部と、
を有する飲食行動検出装置。
（付記２）
前記判定部は、前記継続時間が時間閾値よりも長い場合、前記非定常信号が継続する期間において前記被検者が嚥下したと判定し、一方、前記継続時間が前記時間閾値以下である場合、前記非定常信号が継続する期間において前記被検者が咀嚼したと判定する、付記１に記載の飲食行動検出装置。
（付記３）
前記定常性判定部は、前記振動信号の前記フレームごとに、周期性を表す特徴量を求め、前記特徴量が定常判定閾値以上の場合に前記フレームを前記定常信号と判定し、一方、前記特徴量が前記定常判定閾値未満の場合に前記フレームを前記非定常信号と判定する、付記２に記載の飲食行動検出装置。
（付記４）
前記嚥下が検出された時刻を記憶する記憶部と、
前記嚥下が検出された時刻を参照して、所定の期間内において前記嚥下が検出された頻度を算出し、当該頻度に応じて、前記パワー閾値、前記時間閾値及び前記定常判定閾値のうちの少なくとも一つを調節する閾値制御部と、
をさらに有する付記３に記載の飲食行動検出装置。
（付記５）
前記閾値制御部は、前記頻度が所定の下限値以下である場合、前記パワー閾値を低下させること、前記定常判定閾値を高くすること、及び、前記時間閾値を短縮することのうちの少なくとも一つを実行する、付記４に記載の飲食行動検出装置。
（付記６）
前記閾値制御部は、前記頻度が所定の上限値以上である場合、前記パワー閾値を高くすること、前記定常判定閾値を低下させること、及び、前記時間閾値を長くすることのうちの少なくとも一つを実行する、付記４に記載の飲食行動検出装置。
（付記７）
前記嚥下が検出されるまで、前記咀嚼が検出される度に前記咀嚼が検出された回数をカウントする咀嚼回数計測部と、
前記嚥下が検出されたときの前記咀嚼が検出された回数が所定回数未満である場合に、前記被検者に通知する適正回数判定部と、
をさらに有する付記１〜３の何れかに記載の飲食行動検出装置。
（付記８）
前記嚥下が検出された時刻及び前記嚥下に対応する前記非定常信号が継続する期間の継続時間と、前記咀嚼が検出された時刻及び前記咀嚼に対応する前記非定常信号が継続する期間の継続時間とを記憶する記憶部と、
前記嚥下が検出された時刻及び前記嚥下に対応する前記非定常信号が継続する期間の継続時間と、前記咀嚼が検出された時刻及び前記咀嚼に対応する前記非定常信号が継続する期間の継続時間に基づいて、前記被検者が食事を行った推定時刻を求める食事時刻推定部と、
一定期間における、前記被検者が食事を行った推定時刻の分布の統計量が所定の規則性条件を満たさない場合に、前記被検者に通知する規則性判定部と、
をさらに有する付記１〜３の何れかに記載の飲食行動検出装置。
（付記９）
被検者の体内から発せられる振動を取得し、当該振動に応じた振動信号を生成し、
前記振動信号を、所定時間長のフレームに分割し、当該フレームごとに前記振動信号のパワーを算出し、
前記振動信号の前記フレームごとに、当該フレームが周期性を持つ定常信号か周期性を持たない非定常信号かを判定し、
前記振動信号の前記フレームごとのパワー及び前記定常信号か前記非定常信号かの判定結果に基づいて、前記振動信号のパワーがパワー閾値以上で前記非定常信号が継続する期間を検出し、当該期間の継続時間を取得し、
前記継続時間に応じて、前記非定常信号が継続する期間において前記被検者が嚥下したか咀嚼したかを判定する、
ことを含む飲食行動検出方法。
（付記１０）
被検者の体内から発せられる振動を取得し、当該振動に応じた振動信号を生成し、
前記振動信号を、所定時間長のフレームに分割し、当該フレームごとに前記振動信号のパワーを算出し、
前記振動信号の前記フレームごとに、当該フレームが周期性を持つ定常信号か周期性を持たない非定常信号かを判定し、
前記振動信号の前記フレームごとのパワー及び前記定常信号か前記非定常信号かの判定結果に基づいて、前記振動信号のパワーがパワー閾値以上で前記非定常信号が継続する期間を検出し、当該期間の継続時間を取得し、
前記継続時間に応じて、前記非定常信号が継続する期間において前記被検者が嚥下したか咀嚼したかを判定する、
ことをコンピュータに実行させるための飲食行動検出用コンピュータプログラム。

１ 飲食行動検出装置
２ 人体振動取得部
３ アナログ／デジタル変換部
４ ユーザインターフェース部
５ 記憶部
６ 記憶媒体アクセス装置
６ａ 記憶媒体
７、７１、７２、７３ 処理部
１１ パワー算出部
１２ 定常性判定部
１３ 継続時間計測部
１４ 判定部
１５ 閾値制御部
１６ 咀嚼回数計測部
１７ 適正回数判定部
１８ 食事時刻推定部
１９ 規則性判定部

Claims (3)

1. 被検者の体内から発せられる振動を取得し、当該振動に応じた振動信号を生成する振動取得部と、
   前記振動信号を、所定時間長のフレームに分割し、当該フレームごとに前記振動信号のパワーを算出するパワー算出部と、
   前記振動信号の前記フレームごとに、当該フレームが周期性を持つ定常信号か周期性を持たない非定常信号かを判定する定常性判定部と、
   前記振動信号の前記フレームごとのパワー及び前記定常性判定部の判定結果に基づいて、前記振動信号のパワーがパワー閾値以上で前記非定常信号が継続する期間を検出し、当該期間の継続時間を取得する継続時間計測部と、
   前記継続時間が時間閾値よりも長い場合、前記非定常信号が継続する期間において前記被検者が嚥下したと判定し、一方、前記継続時間が前記時間閾値以下である場合、前記非定常信号が継続する期間において前記被検者が咀嚼したと判定する判定部と、
   を有する飲食行動検出装置。
2. 被検者の体内から発せられる振動を取得し、当該振動に応じた振動信号を生成し、
   前記振動信号を、所定時間長のフレームに分割し、当該フレームごとに前記振動信号のパワーを算出し、
   前記振動信号の前記フレームごとに、当該フレームが周期性を持つ定常信号か周期性を持たない非定常信号かを判定し、
   前記振動信号の前記フレームごとのパワー及び前記定常信号か前記非定常信号かの判定結果に基づいて、前記振動信号のパワーがパワー閾値以上で前記非定常信号が継続する期間を検出し、当該期間の継続時間を取得し、
   前記継続時間が時間閾値よりも長い場合、前記非定常信号が継続する期間において前記被検者が嚥下したと判定し、一方、前記継続時間が前記時間閾値以下である場合、前記非定常信号が継続する期間において前記被検者が咀嚼したと判定する、
   ことを含む飲食行動検出方法。
3. 被検者の体内から発せられる振動を取得し、当該振動に応じた振動信号を生成し、
   前記振動信号を、所定時間長のフレームに分割し、当該フレームごとに前記振動信号のパワーを算出し、
   前記振動信号の前記フレームごとに、当該フレームが周期性を持つ定常信号か周期性を持たない非定常信号かを判定し、
   前記振動信号の前記フレームごとのパワー及び前記定常信号か前記非定常信号かの判定結果に基づいて、前記振動信号のパワーがパワー閾値以上で前記非定常信号が継続する期間を検出し、当該期間の継続時間を取得し、
   前記継続時間が時間閾値よりも長い場合、前記非定常信号が継続する期間において前記被検者が嚥下したと判定し、一方、前記継続時間が前記時間閾値以下である場合、前記非定常信号が継続する期間において前記被検者が咀嚼したと判定する、
   ことをコンピュータに実行させるための飲食行動検出用コンピュータプログラム。