JP6244292B2 - 咀嚼検知システム、方法およびプログラム - Google Patents

Description

この発明は、人の咀嚼状況を検知するための咀嚼検知システムとこのシステムで使用される方法およびプログラムに関する。

咀嚼がヘルスケアに与える効能には、（１）満腹中枢を働かせるため、過食による肥満を防止する。（２）食物を小さな食塊にし、表面積を増加させることで消化酵素による分解と吸収とを効率化できる。（３）咀嚼により海馬が刺激され、痴呆の予防につながる。など多くあることが指摘されている。

日本のように高齢化が進み、また医療サービスの提供余力が減少傾向にある社会では、上記した咀嚼がヘルスケアに与える効能に着目し、より一層健康増進や医療サービスに活用しやすくすることが必要である。

そこで、利用者の口部を含む画像を取得し、画像を計算機等で処理して、一定周期の口部の動きのみを咀嚼回数として算出する咀嚼回数検出する技術が提案されている（例えば特許文献１を参照）。また、筋電計などの体表の電位を測定するセンサを利用者の頭部に巻いて装着し、得られたデータを解析して咀嚼回数を検知する技術も提案されている（例えば特許文献２を参照）。

特開２００４−２４２９０２号公報 特開２０１２−００５６６４号公報

ところが、特許文献１および２に記載された技術は、利用者に計測器具を装着する際に利用者の体格などの個人差に応じた調整が必要であり、装着作業に専門的な準備、経験および時間を要する。また、利用者にとっては装着後の違和感や見た目の異様性があり、さらにポータビリティー性に難があり身体の自由が損なわれるため、利用者の日常生活における咀嚼検知には不向きである。

また、映像による口の動きや筋肉の動きから咀嚼を検知するものであるため、咀嚼と発話との識別が難しく、判定精度が低い。さらに、判定アルゴリズムが固定されているため、更新が不可能であるか或いは更新に際し装置ごとのメンテナンスが必要となり、また測定データが装置個別に分散管理されているため測定データを簡単に収集し分析することができず、アルゴリズムの見直しや閾値の見直しなど、判定精度の改善活動につなげられない。

この発明は上記事情に着目してなされたもので、その主たる目的は、計測器具を面倒な調整を必要とすることなく利用者に装着できるようにすると共に、装着後に利用者が不自由や違和感を感じずに計測でき、しかも咀嚼と発話とを正確に識別できるようにして、日常生活における利用者の咀嚼の状況を高精度に検知できるようにした咀嚼検知システムとこのシステムで使用される方法およびプログラムを提供することである。

上記目的を達成するためにこの発明は以下の各種態様を備えることを特徴とする。
第１の態様は、メガネ型装着具に、利用者の咀嚼動作に伴う耳周辺部の動きを計測する動きセンサおよび当該耳周辺部に伝わる咀嚼動作音を計測する音センサを取着または内設する。そして、上記動きセンサにより計測された動き、および上記音センサにより計測された咀嚼動作音を、咀嚼動作モデルに基づいて予め設定された判定ルールと比較することで上記利用者の咀嚼動作を判定し、当該咀嚼動作の判定結果を表す情報を出力するようにしたものである。
さらに第１の実施形態は、上記咀嚼動作を判定する際に、上記動きセンサにより計測された動きの大きさが上記判定ルールにより定義された第１のしきい値以上で、かつ上記音センサにより計測された咀嚼動作音の大きさが上記判定ルールにより定義された第２のしきい値未満であり、さらに上記動きセンサにより計測された動きの周期または上記音センサにより計測された咀嚼動作音の周期が上記判定ルールにより定義された範囲内にある場合に、上記利用者が咀嚼動作を行っていると判定するようにしたものである。

第２の態様は、判定ルール更新手段をさらに具備し、この判定ルール更新手段により、咀嚼動作モデルに基づいて予め設定された複数種の判定ルールを記憶しておき、利用者ごとにその咀嚼動作の特徴に対応する判定ルールを上記複数種の判定ルールの中から選択して上記判定処理に与えるようにしたものである。

第３の態様は、サービスサーバをさらに具備し、当該サービスサーバにより、利用者の咀嚼動作の特徴を統計的に分析して、その分析結果を表す情報を当該利用者に提示するようにしたものである。

第４の態様は、サービスサーバをさらに具備し、当該サービスサーバにより、複数の利用者の咀嚼動作の判定結果を表す情報を収集して蓄積し、この蓄積された情報をもとに上記判定ルールの新規作成または更新処理を行うようにしたものである。

この発明の第１の態様によれば、利用者の咀嚼動作に伴う耳周辺部の動きを計測する動きセンサおよび当該耳周辺部に伝わる咀嚼動作音を計測する音センサが、メガネ型装着具に設けられる。メガネ型装着具は、年齢や性別などの個人の体格差に起因する個別調整が不要であるため、装着作業に専門的な準備、経験および時間が不要となる。また、一般的なメガネをかける動作のみで動きセンサおよび音センサを利用者の頭部に密着させることができるので、装着作業に特別の支援や知識が不要となる。

また、従来技術のようにカメラの前の一定の場所に長期間座らされたり、頭部にセンサを巻き付ける必要がないので、見た目の異様性がなく、また利用者の自由度を損なうこともない。このため、利用者の日常生活、つまり医療機関内のみならず自宅や外出先での食事において、利用者の咀嚼動作をストレスを感じさせずに自然な状態で判定することが可能となる。

さらに、動きセンサと音センサという２種類のセンサを使用し、その計測結果を咀嚼動作モデルに基づいて設定された判定ルールと比較することで咀嚼動作を判定している。具体的には、動きセンサにより計測された動きの大きさが上記判定ルールにより定義された第１のしきい値以上で、かつ上記音センサにより計測された咀嚼動作音の大きさが上記判定ルールにより定義された第２のしきい値未満であり、さらに上記動きセンサにより計測された動きの周期または上記音センサにより計測された咀嚼動作音の周期が上記判定ルールにより定義された範囲内にある場合に、上記利用者が咀嚼動作を行っていると判定するようにしている。
このため、単一のセンサに頼っていた従来技術に比べ、咀嚼動作を発話等の他の動作と区別してより高い精度で判定することが可能となる。

この発明の第２の態様によれば、咀嚼動作モデルに基づいて予め設定された複数種の判定ルールが用意され、利用者ごとにその咀嚼動作の特徴に対応する判定ルールが上記複数種の判定ルールの中から選択され判定処理に使用される。このため、利用者ごとに咀嚼動作の特徴に応じた適切な判定ルールを使用して咀嚼動作を判定することができる。

この発明の第３の態様によれば、サービスサーバにより利用者の咀嚼動作の特徴が統計的に分析されて、その分析結果を表す情報が当該利用者に提示される。このため、利用者は自身の咀嚼動作についての統計的な分析結果を確認することが可能となり、その確認結果をもとに自身の咀嚼動作に対する改善意識を高めることができる。

この発明の第４の態様によれば、複数の利用者の咀嚼動作の判定結果を表す情報がサービスサーバにより収集蓄積され、この蓄積された情報をもとに上記判定ルールの新規作成または更新処理が行われる。このため、利用者数や利用回数の増加に伴い判定ルールをより適切なものに改善することが可能となり、これにより咀嚼動作の判定精度をさらに高めることが可能となる。

すなわちこの発明によれば、計測器具を面倒な調整を必要とすることなく利用者に装着できると共に、装着後に利用者が不自由や違和感を感じずに計測でき、しかも咀嚼と発話とを正確に識別して、日常生活における利用者の咀嚼の状況を高精度に検知できるようにした咀嚼検知システム、方法およびプログラムを提供することができる。

この発明の一実施形態に係る咀嚼検知システムの全体構成図。 図１に示した咀嚼検知システムで使用されるセンサユニットの機能構成を示すブロック図。 図１に示した咀嚼検知システムで使用されるサービスサーバの機能構成を示すブロック図。 図１に示した咀嚼検知システムで使用される情報処理端末の機能構成を示すブロック図。 咀嚼モデルの一例を示す図。 咀嚼判定ルールの一例を示す図。 サービス利用時のシーケンスを示す図。 咀嚼判定ルールの更新シーケンスを示す図。 ログデータ収集シーケンスを示す図。 咀嚼の分析データと当該分析データに対するサービス情報の表示結果を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１はこの発明の一実施形態に係る咀嚼検知システムの全体構成を示す図である。本実施形態の咀嚼検知システムは、メガネ型装着具１の左右のつる１Ｒ，１Ｌに取着されるセンサユニット２Ｒ，２Ｌと、これらのセンサユニット２Ｒ，２Ｌに対し有線または無線により接続される情報処理端末４と、この情報処理端末４との間で通信ネットワーク６を介して通信が可能なサービスサーバ５とから構成される。

なお、メガネ型装着具１としては、日常生活において利用者が視力矯正用に使用するメガネや日光を遮断するサングラスのほか、ファッションや装飾を目的として使用されるいわゆる伊達メガネを使用することも可能である。

（１）センサユニット
センサユニット２Ｒ，２Ｌは、板状をなす筐体内に図２に示すように動きセンサ２１と、音センサ２２と、通信部２３を収容し、音センサ２２に音ピックアップ３Ｒ，３Ｌを接続したものである。筐体には、クリップ、結束バンドまたは筒体からなる取着部が設けられ、センサユニット２Ｒ，２Ｌはこの取着部により上記メガネ型装着具１の左右のつる１Ｒ，１Ｌに着脱可能に取着される。なお、取着部は上記クリップ、結束バンドまたは筒体を用いるものに限定されるものではなく、粘着テープや紐などを用いてもよい。

動きセンサ２１は、例えばジャイロを用いたもので、利用者の咀嚼動作に伴う耳周辺の動きを所定のサンプリング周期で計測してその計測データを出力する。音センサ２２は、利用者の咀嚼動作に伴い耳周辺に骨伝導した音（骨伝音）を音ピックアップ３Ｒ，３Ｌを介して所定のサンプリング周期で計測し、その計測データを出力する。通信部２３は、上記動きセンサ２１および音センサ２２から出力された各計測データを計測時刻が同一のもの同士を対応付けて一旦蓄積する。そして、この蓄積された計測データを一定時間分ずつ読み出して情報処理端末４に向け送信する。なお、通信部２３は、上記各計測データをリアルタイムで送信することも可能である。通信インタフェースとしては、伝送媒体として例えばＵＳＢケーブルなどの有線ケーブルを用いるものや、Bluetooth（登録商標）または無線ＬＡＮなどの近距離データ通信方式を採用した無線インタフェースを用いる。

（２）情報処理端末
情報処理端末４は、例えばウェアラブル端末またはスマートホンのように利用者が常時装着または所持することが可能な端末であり、例えば次のように機能を備えている。図４はその機能構成を示すブロック図である。

すなわち情報処理端末４は、制御ユニット４１と、記憶ユニット４２と、通信インタフェースユニット４３と、入出力インタフェースユニット４４を備えている。通信インタフェースユニット４３は、制御ユニット４１の制御の下、上記センサユニット２Ｒ，２Ｌから送信された計測データを受信する機能と、通信ネットワーク６を介してサービスサーバ５との間で分析データおよび更新情報等を送受信する機能を備える。入出力インタフェースユニット４４には、キーパッドまたはタブレット型の入力部４４１と、液晶を用いた表示部４４２が接続されている。入出力インタフェースユニット４４は、上記入力部において利用者が入力した操作情報を制御ユニット４１に入力する機能と、制御ユニット４１から出力された表示データを上記表示部４４２に表示させる機能を有する。

記憶ユニット４２は、記憶媒体としてＮＡＮＤ型フラッシュメモリなどの随時書き込みおよび読み出しが可能な不揮発性メモリを用いたもので、計測データ記憶部４２１と、分析データ記憶部４２２と、判定ルール記憶部４２３を備えている。計測データ記憶部４２１は、上記センサユニット２Ｒ，２Ｌから送られた計測データを記憶するために使用される。分析データ記憶部４２２は、後述する制御ユニット４１により得られる咀嚼動作の分析データを記憶するために使用される。判定ルール記憶部４２３は、制御ユニット４１が計測データの分析を行うために使用する判定ルールを記憶するために使用される。

制御ユニット４１はＣＰＵ（Central processing Unit）を有し、本実施形態を実現するために必要な制御機能として、計測データ受信記憶制御部４１１と、分析部４１２と、判定ルール更新制御部４１３と、サービス利用制御部４１４と、ログデータ送信制御部４１５を備える。これらの機能は何れも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。

計測データ受信記憶制御部４１１は、上記センサユニット２Ｒ，２Ｌから送信された動きおよび音の各計測データを通信インタフェースユニット４３を介して受信し、当該受信された各計測データを計測タイミングが同一のもの同士を対応付けて上記計測データ記憶部４２１に記憶させる処理を行う。

分析部４１２は、上記計測データ記憶部４２１に一定時間分の動きおよび音の各計測データが記憶されるごとに、当該各計測データを読み出してその信号レベルと周期を上記判定ルール記憶部４２３に記憶された判定ルールと比較する。そして、その比較結果をもとに、上記計測データが利用者の咀嚼動作を表すものか或いはそれ以外の動作を表すものかを判定し、その判定結果をもとに咀嚼回数の累計値、最大咀嚼回数、平均咀嚼回数を算出する。そして、これらの算出結果と、食事開始時刻、経過時間およびコメントを含む分析データを、当該分析データを得たときに使用した判定ルールの識別情報と関連付けて、分析データ記憶部４２２に記憶させる処理を行う。

判定ルール更新制御部４１３は、利用者が入力部４４１において判定ルールの変更を要求する操作を行った場合に、サービスサーバ５との間で所定の手順で判定ルールを更新するための通信を実行してサービスサーバ５から新たな判定ルールを取得し、判定ルール記憶部４２３に記憶された判定ルールを上記新たな判定ルールに更新する処理を行う。

サービス利用制御部４１４は、利用者が食事中または食事終了後に入力部４４１において評価サービスの利用を要求する操作を行った場合に、上記分析データ記憶部４２２から分析データを読み出してサービスサーバ５へ送信する。そして、これに対しサービスサーバ５から咀嚼動作に係る評価サービスの回答情報が送られた場合に、当該サービス回答情報を入出力インタフェースユニット４４を介して表示部４４２に表示させる処理を行う。

ログデータ送信制御部４１５は、サービスサーバ５からログデータの収集要求を受信した場合に、利用者による利用許諾情報をもとにログデータの送信の諾否を判定する。そして、送信が許諾された場合には、分析データ記憶部４２２に記憶されている未送信のログデータを要求元のサービスサーバ５へ送信する処理を行う。ログデータには、分析データと、当該分析データを得るときに使用した判定ルールの識別情報および日時を表す情報が含まれる。

（３）サービスサーバ
サービスサーバ５は例えばＷｅｂサーバまたはクラウドコンピュータからなり、次のように機能を備えている。図３はその機能構成を示すブロック図である。
すなわちサービスサーバ５は、制御ユニット５１と、記憶ユニット５２と、通信インタフェースユニット５３を備えている。このうち通信インタフェースユニット５３は、制御ユニット５１の制御の下、上記情報処理端末４との間で通信ネットワーク６を介して更新情報や分析データ等を送受信する機能を備える。

記憶ユニット５２は、記憶媒体としてＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの随時書き込みおよび読み出しが可能な不揮発性メモリを用いたもので、ユーザ情報記憶部５２１と、サービス情報記憶部５２２と、判定ルール集記憶部５２３と、ログデータ記憶部５２４を備えている。

ユーザ情報記憶部５２１には、本実施形態における咀嚼動作の評価を含む健康増進サービスに対し利用登録をした利用者の個人情報および認証情報が記憶される。サービス情報記憶部５２２には、上記咀嚼動作の評価を行うために必要な参照情報が記憶される。この参照情報には、咀嚼動作の良否を評価するための情報と、評価結果に応じたガイダンスメッセージ、咀嚼回数の順位等を決定するための統計情報が含まれる。判定ルール集記憶部５２３には、想定される様々な咀嚼動作モデルに基づいて予め設定された複数の判定ルールが記憶される。ログデータ記憶部５２４は、上記情報処理端末４から送られた各利用者のログデータを蓄積するために使用される。

制御ユニット５１はＣＰＵ（Central processing Unit）を有し、本実施形態を実現するために必要な制御機能として、端末識別部５１１と、サービス対応処理部５１２と、判定ルール更新制御部５１３と、ログデータ収集制御部５１４を備えている。なお、これらの機能は何れも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。

端末識別部５１１は、利用者の情報処理端末４から咀嚼動作の評価を含む健康増進サービスに対する連携要求が送られた場合に、ユーザ情報記憶部５２１に記憶された利用者の個人情報および認証情報をもとに、上記要求元の情報処理端末４を識別してサービス連携の許否を判定する処理を行う。

サービス対応処理部５２１は、上記サービス連携が許可された情報処理端末４において評価サービスの種類が選択された場合に、当該選択されたサービスに対応するスレッドを起動する。そして、情報処理端末４から分析データを受信し、サービス情報記憶部５２２に記憶された参照情報をもとに、上記受信された分析データの評価を行う。そして、この評価結果を含む回答情報を作成し、当該作成された回答情報を要求元の情報処理端末４へ返送する処理を行う。

判定ルール更新制御部５１３は、情報処理端末４から判定ルールの変更要求が送られた場合に、要求元の情報処理端末４に対する認証を行ったのち、判定ルール集記憶部５２３に記憶された判定ルールのリストを要求元の情報処理端末４へ送信する。そして、情報処理端末４から判定ルールの選択情報が送られた場合に、該当する判定ルールを情報処理端末４へ送信し、それまで使用していた判定ルールを上記選択された判定ルールに更新させる。

ログデータ収集制御部５１４は、上記情報処理端末４に対しログデータの収集要求を送信し、この要求に対し情報処理端末４からログデータが送られた場合に当該ログデータを利用者または情報処理端末４の識別情報と関連付けてログデータ記憶部５２４に記憶させる処理を行う。

（動作）
次に、以上のように構成された咀嚼検知システムの動作を説明する。
（１）判定ルールの設定
人の咀嚼動作のモデルには様々なモデルがある。例えば図５に示す例では、食べ物または飲み物を口に含む過程Ｓ１と、口に含んだ食べ物を咀嚼する過程Ｓ２と、上記口に含んだ飲み物または咀嚼した食べ物を嚥下する過程Ｓ３と、上記咀嚼中または嚥下中に発話する過程Ｓ４と、上記咀嚼中または嚥下後に口の動きを一時停止する休憩過程Ｓ５とを備える。

このような咀嚼動作のモデルに基づいて、咀嚼判定ルールは例えば以下のように設定される。図６はその設定例を示すものである。すなわち、先ず「発話中」においては、図６（ａ）に示すように動きセンサ２１による計測値および音センサ２２による計測値は何れも大きな値となる。これに対し「咀嚼中」においては、図６（ｃ）に示すように動きセンサ２１による計測値は上記「発話中」と同様に大きな値になるが、音センサ２２の計測値は「発話中」の計測値より小さい値となる。また「嚥下中」においては、図６（ｄ）に示すように動きセンサ２１の計測値および音センサ２２の計測値は何れも上記「発話中」の計測値より小さい値になる。さらに「休憩中」になると、図６（ｂ）に示すように音センサ２２の計測値は上記「咀嚼中」および「嚥下中」の計測値と同程度となるが、動きセンサ２１の計測値は上記「発話中」、「咀嚼中」および「嚥下中」の計測値より小さな値となる。

以上のような特徴を考慮し、動きセンサ２１用の閾値としては、「休憩中」の計測値を他の状態と識別するための低い値Ｍｔｈ１と、「発話中」の計測値を他の状態と識別するための高い値Ｍｔｈ２をそれぞれ設定する。また、音センサ２２用の閾値としては、上記「発話中」の計測値を他の状態と識別するための高い値Ａｔｈ２を設定する。なお、「休憩中」には音センサ２２の計測値がその他の状態の計測値より小さくなることもあるので、低い閾値Ａｔｈ１も併せて設定する。

さらに、「咀嚼中」においては、図６（ｃ）に示すように動きセンサ２１および音センサ２２の何れの計測値も周期性を持つ。これは、「咀嚼中」以外の動作には見られない特徴である。そこで、この周期性を判定するために、動きセンサ２１用および音センサ２２用の閾値として、一般的な咀嚼動作による周期の範囲を含むように設定された周期判定用閾値を用意する。

以上の判定ルールは咀嚼動作モデルごとに設定され、この設定された各判定ルールはその識別情報と関連付けられ、判定ルール集としてサービスサーバ５の判定ルール集記憶部５２３に格納される。

そして、例えば利用者のサービス利用登録時において、サービスサーバ５は上記判定ルール集記憶部５２３に記憶された複数の判定ルールの中から平均的な判定ルールを初期設定用として選択し、この選択した初期設定用の判定ルールを上記利用者が所持する情報処理端末４に送信する。情報処理端末４は、上記サービスサーバ５から送られた初期設定用の判定ルールを、判定ルール記憶部４２３に格納する。

なお、上記初期設定用の判定ルールを選択する際には、利用者のサービス利用登録時に取得した利用者の属性情報、例えば年齢や性別、病歴、障害の有無をもとに、これらを考慮して判定ルールを選択するようにしてもよい。これは、判定ルール集に上記属性情報を予め紐付けておくことで容易に実現できる。

（２）咀嚼の計測および分析
利用者は、食事を始める際に事前にメガネ型装着具１を装着すると共に、センサユニット２Ｒ，２Ｌと情報処理端末４を起動させる。そして、食事を開始すると、センサユニット２Ｒ，２Ｌの動きセンサ２１および音センサ２２によりそれぞれ咀嚼に伴う耳周辺部位の動きと音が計測され、その各計測データが通信部２３から情報処理端末４へ送信される。なお、上記計測データは、リアルタイムに送信してもよく、また一定時間分ずつまとめて送信してもよい。

一方情報処理端末４は、計測データ受信記憶制御部４１１の制御の下、上記センサユニット２Ｒ，２Ｌから送信された各計測データを受信し、当該受信された各計測データを当該計測データの受信タイミングを表すタイムスタンプと紐付けて計測データ記憶部４２１に順次記憶させる。そして、所定時間分の計測データが記憶されるごとに、分析部４１２が当該計測データをもとに咀嚼動作を判定するための分析処理を以下のように実行する。

すなわち、左右のセンサユニット２Ｒ，２Ｌごとに上記所定時間分の動きおよび音の各計測データを計測データ記憶部４２１からそれぞれ読み出し、当該各計測データの信号レベルおよび周期を、判定ルール記憶部４２３から読み出した判定ルールに記載された閾値と比較する。そして、左右のセンサユニット２Ｒ，２Ｌごとに、当該比較結果に基づいて上記計測データが「咀嚼中」、「発話中」、「嚥下中」および「休憩中」の何れを示すものかを判定する。

例えば、動きセンサ２１の計測値が高い閾値Ｍｔｈ２以上の動き量を示し、かつ音センサ２２の計測値が高い閾値Ａｔｈ２以上の音量を示す場合で、周期性が検出されない場合には、「発話中」と判定する。また、動きセンサ２１の計測値が低い閾値Ｍｔｈ１以下の動き量を示している場合には、「休憩中」と判定する。さらに、動きセンサ２１の計測値が閾値Ｍｔｈ１以上でＭｔｈ２未満の動き量を示し、音センサ２２の計測値が閾値Ａｔｈ１以上で閾値Ａｔｈ２未満の音量を示す場合であって、かつ周期性が検出されない場合には、食べ物・飲み物を口に含んでいるか嚥下している状態（「嚥下中」）と判定する。なお、動き量を示す計測値が高い閾値Ｍｔｈ２以上であっても、周期性が検出されなければ、「嚥下中」と判定する。

これに対し、動きセンサ２１の計測値が閾値Ｍｔｈ２以上の動き量を示し、音センサ２２の計測値が閾値Ａｔｈ１以上で閾値Ａｔｈ２未満の音量を示す場合で、かつ周期性が検出された場合には、「咀嚼中」と判定する。なお、音センサ２２の計測値が閾値Ａｔｈ２以上の場合も、周期性が検出されれば、「咀嚼中」と判定する。そして、「咀嚼中」と判定手された場合には、動きセンサ２１の周期性と音センサ２２の周期性を参考にして咀嚼回数をカウントする。

そして、上記判定結果をもとに咀嚼回数の累計値、最大咀嚼回数、平均咀嚼回数をそれぞれ算出し、これらの算出結果と、食事開始時刻、経過時間およびコメントを含む分析データを、当該分析データを得たときに使用した判定ルールの識別情報と関連付けて、分析データ記憶部４２２に記憶させる。なお、コメントとしては、例えば咀嚼動作に対するアドバイスメッセージが用いられる。

なお、左右のセンサユニット２Ｒ，２Ｌによる判定結果が完全に一致しなかった場合には、当該判定結果を「不明」と判定し、この区間における判定結果は分析データに含めない。また、上記判定結果が一致するか否かを判定する際に、許容する乖離の幅を表す閾値を設定しておき、上記左右のセンサユニット２Ｒ，２Ｌによる判定結果の差が上記閾値以内の場合には一致と判定し、閾値を超えている場合に不一致と判定するようにしてもよい。

以後同様に、食事が終了して利用者が情報処理端末４の終了ボタンを押下するまで、以上の咀嚼判定処理が繰り返し実行される。なお、計測の開始と終了の判定手段としては、情報処理端末４の開始および終了ボタンの押下を検知するもの以外に、咀嚼動作モデルに基づいて、ある閾値時間以上「咀嚼中」以外の状態だったものが「咀嚼中」になったことを検知するものや、「咀嚼中」状態であったものがある閾値時間以上「咀嚼中」以外の状態になったことを検知するものであってもよい。このようにすると、利用者が開始および終了ボタンを押下しなくても、咀嚼判定動作を自動的に開始および終了することが可能となる。

（３）評価サービスの利用
咀嚼動作の分析結果に対する評価サービスは以下のように実行される。図７はその処理手順と処理内容を示すシーケンス図である。
すなわち、食事中または食事終了後に、咀嚼動作の分析結果に対する評価サービスを利用しようとする場合、利用者は先ず自身の情報処理端末４においてそのメニューを選択する。そうすると、ステップＳ１１において情報処理端末４からサービスサーバ５に対しサービス連携の要求が送信される。これに対しサービスサーバ５は、上記連携要求を受信すると端末識別部５１１の制御の下、ステップＳ１２において、ユーザ情報記憶部５２１に記憶された利用者の個人情報および認証情報をもとに上記要求元の情報処理端末４を識別し、サービス連携の許否を判定する。そして、その判定結果を要求元の情報処理端末４に対し通知する。

上記サービス連携が許可されると、利用者はサービスメニューの中から所望のサービスの種類を選択する。例えば、「全国順位の表示」を選択する。そうすると、情報処理端末４はサービス利用制御部４１４の制御の下、ステップＳ１３によりサービスサーバ５に対し上記サービス種別の選択情報を送信する。これに対しサービスサーバ５は、上記サービス種別の選択情報を受信するとサービス対応処理部５１２が起動し、このサービス対応処理部５１２の制御の下、先ずステップＳ１４により全国順位サービススレッドを起動する。次にステップＳ１５により、上記要求元の情報処理端末４について全国順位サービスへの参加の許否を判定し、参加が承認されるとその旨を情報処理端末４に通知する。

情報処理端末４は、上記参加承認の通知を受信すると、サービス利用制御部４１４の制御の下、ステップＳ１６により分析データ記憶部４２２から最新の平均咀嚼回数を読み出してサービスサーバ５へ送信する。これに対しサービスサーバ５は、サービス対応制御部５１２の制御で動作する全国順位サービススレッドにおいて、先ずステップＳ１７により、サービス情報記憶部５２２に記憶された参照情報に基づいて、上記情報処理端末４から送られた最新の平均咀嚼回数の全国順位を判定し、当該判定した全国順位を含む回答情報を作成して情報処理端末４へ送信する。そして、上記回答情報の送信終了後、ステップＳ１９において上記情報処理端末４をサービスから離脱させるための除外処理を実行し、待ち状態に戻る。

一方情報処理端末４は、サービスサーバ５からサービスの回答情報を受信すると、サービス利用制御部４１４の制御の下、ステップＳ１８において、上記回答情報を分析データ記憶部４２２から読み出した分析データに付加して表示部４４２に表示させる。

図１０にその表示結果の一例を示す。この例では、基本サービスとして分析データが表示され、サーバ側サービスとして上記回答情報が表示される場合を示している。分析データとしては、食事開始時刻、経過時間、咀嚼回数、最大連続回数、平均咀嚼回数が表示され、さらに上記平均咀嚼回数に応じたコメントが表示される。また、回答情報としては、今日の咀嚼王による平均回数と、利用者の平均咀嚼回数の全国順位と、現在の判定ルールの識別情報が表示される。

（４）判定ルールの変更
初期設定時に情報処理端末４の判定ルール記憶部４２３に記憶させた判定ルールは平均的な判定ルールであるため、当該判定ルールは必ずしも利用者の咀嚼動作に対応しているとは限らない。この場合、利用者はサービスサーバ５に対し判定ルールの変更を要求することができる。図８はその処理手順と処理内容を示すシーケンス図である。

情報処理端末４において、利用者が判定ルールの変更要求操作を行うと、情報処理端末４は判定ルール更新制御部４１３の制御の下で、先ずステップＳ２１によりサービスサーバ５に対し変更ルールの変更要求を送信する。これに対しサービスサーバ５は、上記変更要求を受信すると、判定ルール更新制御部５１３の制御の下、ステップＳ２２により要求元の情報処理端末４について認証を行ったのち、判定ルール集記憶部５２３から判定ルールのリストを読み出し、要求元の情報処理端末４へ送信する。

情報処理端末４は、上記判定ルールのリストを受信すると、判定ルール更新制御部４１３の制御の下、ステップＳ２３で当該リストを表示部４４２に表示させる。そして、入力部４４１において利用者がこの表示されたリストの中から一つを選択すると、その選択情報をサービスサーバ５へ送信する。

情報処理端末４は、上記選択情報を受信すると、判定ルール更新制御部５１３の制御の下、ステップＳ２４により上記選択情報により表される判定ルールを判定ルール集記憶部４２３から読み出し、当該読み出された判定ルールを情報処理端末４へ送信する。情報処理端末４は、上記判定ルールを受信すると、判定ルール更新制御部５１３の制御の下、ステップＳ２５により上記受信された判定ルールを判定ルール記憶部４２３に格納すると共に、初期設定時に記憶した判定ルールを削除する。

なお、以上述べた判定ルールの変更制御は、利用者の要求に応じて何度でも行うことができる。

（５）ログデータの収集
サービスサーバ５は、サービス利用登録した複数の利用者の情報処理端末４から分析データを収集し、この収集した分析データに基づいて統計情報の更新や判定ルールの新規作成や修正等を行うことができる。図９はログデータ収集処理の手順と処理内容を示すシーケンス図である。

サービスサーバ５は、ログデータ収集制御部５１４の制御の下、ステップＳ３１により定期的または任意のタイミングで情報処理端末４に対しログデータの収集要求を送信する。なお、この収集要求は、収集対象となる複数の情報処理端末に対し一斉に送信しても、また一定の時間差を経て順次送信するようにしてもよい。

情報処理端末４は、上記収集要求を受信すると、ログデータ送信制御部４１５の制御の下、先ずステップＳ３２において利用許諾の確認処理を実行する。この利用許諾確認処理は、上記収集要求に対する諾否を入力させるためのメッセージを表示部４４２に表示し、利用者がこのメッセージに対し諾否を選択入力することによりなされる。なお、利用許諾の諾否情報が既に制御ユニット４１のメモリに保存されている場合には、当該保存されている諾否情報に基づいて行ってもよい。

上記利用許諾の確認処理の結果、利用者が許諾したことをステップＳ３３で確認すると、ログデータ送信制御部４１５は分析データ記憶部４２２から未送信のログデータを読み出し、当該ログデータを要求元のサービスサーバ５へ送信する。このとき、ログデータには分析データと、当該分析データを得るときに使用した判定ルールの識別情報および日時を表す情報が含まれる。

サービスサーバ５は、ログデータ収集制御部５１４の制御の下、ステップＳ３４において、情報処理端末４から送られたログデータを利用者または情報処理端末４の識別情報と関連付けてログデータ記憶部５２４に記憶させる。そして、サービスサーバ４１５は、上記収集した分析データと当該分析データを得るために使用した判定ルールをもとに新たな判定ルールの作成の要否や既存の判定ルールの修正の要否を判定し、必要に応じて新たな判定ルールの作成、または既存の判定ルールの修正処理を行う。また、咀嚼回数の全国順位や全国平均などを計算するための統計情報の更新処理を行う。

（実施形態の効果）
以上詳述したように本実施形態では、メガネ型装着具１の左右のつる１Ｒ，１Ｌにそれぞれセンサユニット２Ｒ，２Ｌを取着し、このセンサユニット２Ｒ，２Ｌに内蔵した動きセンサ２１および音センサ２２によりそれぞれ利用者の咀嚼動作に伴う耳周辺部の動きおよび当該耳周辺部に伝わる咀嚼動作音を計測するする。そして、上記動きセンサ２１により計測された動きの大きさと周期、および上記音センサ２２により計測された咀嚼動作音の大きさと周期を、咀嚼動作モデルに基づいて予め設定した判定ルールの閾値と比較することで上記利用者の咀嚼動作を判定するようにしている。

したがって、メガネ型装着具１を用いたことで、利用者の年齢や性別などの個人の体格差に起因する個別調整や装着時の支援を必要とせず、また装着作業に専門的な準備、経験および時間を必要とすることなく計測を行うことができる。また、従来技術のようにカメラの前の一定の場所に長期間座らされたり、頭部にセンサを巻き付ける必要がないので、見た目の異様性がなく、また利用者の自由度を損なうこともない。このため、利用者の日常生活、つまり医療機関内のみならず自宅や外出先での食事において、利用者にストレスなどを感じさせることなく咀嚼動作を自然な状態で判定することが可能となる。

また、動きセンサ２１と音センサ２２という２種類のセンサを使用し、動きセンサ２１により計測された動きの大きさが判定ルールにより定義された閾値Ｍｔｈ２以上で、かつ上記音センサ２２により計測された咀嚼動作音の大きさが判定ルールにより定義された閾値未満であり、さらに上記動きセンサ２１により計測された動きの周期または上記音センサ２２により計測された咀嚼動作音の周期が上記判定ルールにより定義された時間の範囲内にある場合に、上記利用者が咀嚼動作を行っていると判定するようにしている。このため、単一のセンサに頼っていた従来技術に比べ、咀嚼動作を発話等の他の動作と区別してより高い精度で判定することが可能となる。

さらに、サービスサーバ５に、咀嚼動作モデルに基づいて予め設定された複数の判定ルールを記憶しておき、利用者からの変更要求に応じて上記複数の判定ルールの中から任意の判定ルールを選択して情報処理端末４に送信し更新するようにしている。このため、利用者ごとに咀嚼動作の特徴に応じた適切な判定ルールを使用して咀嚼動作を判定することが可能となる。

さらに、サービスサーバ５において、複数の利用者の情報処理端末４から分析データと当該分析データを得る際に使用した判定ルールの識別情報をログデータとして収集して蓄積し、この蓄積されたログデータをもとに上記判定ルールの新規作成または修正処理を行うようにしている。このため、利用者数や利用回数の増加に伴い判定ルールをより適切なものに改善することが可能となり、これにより咀嚼動作の判定精度をさらに高めることが可能となる。

［他の実施形態］
前記実施形態では、センサユニット２Ｒ，２Ｌと情報処理端末４とを別々の装置とし、両者間を有線または無線接続するようにした。しかし、それに限らず、センサユニット２Ｒ，２Ｌの機能と情報処理端末４の機能を１つのウェアラブル端末に内蔵し、このウェアラブル端末をメガネ型装着具に取り付けるかまたは内蔵するようにしてもよい。また、センサユニットは必ずしも２個設ける必要はなく、メガネ型装着具１の左右のつる１Ｒ，１Ｌのいずれか一方に取着するようにしてもよい。

前記実施形態では、情報処理端末４において利用者が判定ルールの変更を要求する操作を行った場合に、サービスサーバ５が選択可能な判定ルールのリストを情報処理端末４へ送信して利用者に判定ルールを選択させ、この選択された判定ルールをサービスサーバ５から情報処理端末４へ送信して判定ルール記憶部４２３に記憶させるようにした。しかしそれに限らず、定期的または更新の必要がある場合にサービスサーバ５から情報処理離端末４へ更新用の判定ルールを送信し、当該更新用の判定ルールを判定ルール記憶部４２３に記憶させるようにしてもよい。またその際、サービスサーバ５から情報処理端末４へ更新候補となる判定ルールのリストを送り、このリストの中から所望の判定ルールを利用者が選択するようにしてもよい。

前記実施形態では、サービスサーバ５が提供する、咀嚼動作の分析結果に対する評価サービスを利用する際に、情報処理端末４が食事中に得られた咀嚼動作の分析データを保存し、例えば１回の食事期間分をまとめてサービスサーバ５へ送信するようにした。しかし、これに限定されるものではなく、食事中に情報処理端末４で得られた咀嚼動作の分析データをサービスサーバ５へ順次送信するようにしてもよい。このようにすると、サービスサーバ５は利用者の食事中のその咀嚼動作をほぼリアルタイムに評価して、その結果を情報処理端末４へ返信することができる。その結果、利用者は食事をしながら例えば自身の咀嚼動作が事前に設定した目標値に徹しているか否かをその場で確認することが可能となる。また、例えば同一食堂内で一緒に食事している複数の利用者、或いは遠隔地にいて同一時間帯に食事をしている複数の利用者の咀嚼動作をサービスサーバ５でほぼリアルタイムに同時に評価し、その評価結果に基づいて上記複数の利用者の咀嚼動作の比較結果等を各利用者の情報処理端末４へ送信する、といったサービスの提供も可能となる。

前記実施形態では、サービスサーバ５において咀嚼の分析データをもとに咀嚼の良否判定や全国順位の決定などの評価を行い、その結果を情報処理端末４に表示するサービスについて述べた。しかし、それに限らず、サービスサーバ５において、情報処理端末４から送られた咀嚼の分析データをもとに、一定期間（例えば１２時間）にわたり咀嚼が行われていないかどうかを判定する。そして、行われていないと判定した場合に、安否確認情報を生成して該当利用者の情報処理端末４へ送信すると共に、必要に応じて家族や介護担当者の携帯端末へ送信するようにしてもよい。また、咀嚼の分析データをもとに食事時間帯を判定し、利用者が決められた時間に食事を摂っているか否か等を判定するようにしてもよい。これにより、単身者や老人の食生活を管理することが可能となる。

さらに、センサユニット２Ｒ，２Ｌにより得られる計測データをもとに利用者が発話している状態を咀嚼などの他の状態と区別して判定し、その判定結果をサービスサーバが収集して分析することで、利用者の営業活動を把握するようにしてもよい。

その他、咀嚼検知システムの構成、メガネ型装着具に対するセンサユニットの設置方法、利用者の咀嚼動作を判定する判定手段や判定ルール更新手段の処理手順と処理内容、判定ルールの構成要素等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…メガネ型装着具、２Ｒ，２Ｌ…センサユニット、３Ｌ，３Ｒ…音ピックアップ、４…情報処理端末、５…サービスサーバ、６…通信ネットワーク、２１…動きセンサ、２２…音センサ、２３…通信部、４１，５１…制御ユニット、４２，５２…記憶ユニット、４３，５３…通信インタフェースユニット、４４…入出力インタフェースユニット、４１１…計測データ受信記憶制御部、４１２…分析部、４１３…判定ルール更新制御部、４１４…サービス利用制御部、４１５…ログデータ送信制御部、４２１…計測データ記憶部、４２２…分析データ記憶部、４２３…判定ルール記憶部、４１…入力部、４４２…表示部、５１１…端末識別部、５１２…サービス対応処理部、５１３…判定ルール更新制御部、５１４…ログデータ収集制御部、５２１…ユーザ情報記憶部、５２２…分析データ記憶部、５２３…判定ルール集記憶部、５２４…ログデータ記憶部。

Claims (6)

1. メガネ型装着具に取着または内設され、利用者の咀嚼動作に伴う耳周辺部の動きを計測する動きセンサ、および当該耳周辺部に伝わる咀嚼動作音を計測する音センサと、
   前記動きセンサにより計測された動き、および前記音センサにより計測された咀嚼動作音を、咀嚼動作モデルに基づいて予め設定された判定ルールと比較することで、前記利用者の咀嚼動作を判定する判定手段と、
   前記判定手段による咀嚼動作の判定結果を表す情報を出力する出力手段と
   を具備し、
   前記判定手段は、前記動きセンサにより計測された動きの大きさが前記判定ルールにより定義された第１のしきい値以上で、かつ前記音センサにより計測された咀嚼動作音の大きさが前記判定ルールにより定義された第２のしきい値未満であり、さらに前記動きセンサにより計測された動きの周期または前記音センサにより計測された咀嚼動作音の周期が前記判定ルールにより定義された範囲内にある場合に、前記利用者が咀嚼動作を行っていると判定することを特徴とする咀嚼検知システム。
2. 咀嚼動作モデルに基づいて予め設定された複数種の判定ルールを記憶し、利用者ごとにその咀嚼動作の特徴に対応する判定ルールを前記複数種の判定ルールの中から選択して前記判定手段に与える判定ルール更新手段を、さらに具備することを特徴とする請求項１記載の咀嚼検知システム。
3. サービスサーバをさらに具備し、
   当該サービスサーバは、前記利用者の咀嚼動作の特徴を統計的に分析して、その分析結果を表す情報を当該利用者に提示する手段を備えることを特徴とする請求項１又は２に記載の咀嚼検知システム。
4. サービスサーバをさらに具備し、
   当該サービスサーバは、複数の利用者の咀嚼動作の判定結果を表す情報を収集して蓄積し、この蓄積された情報をもとに前記判定ルールの新規作成または更新処理を行う手段を備えることを特徴とする請求項１乃至３の何れかに記載の咀嚼検知システム。
5. メガネ型装着具に取着または内設された動きセンサにより、利用者の咀嚼動作に伴う耳周辺部の動きを計測する過程と、
   前記メガネ型装着具に取着または内設された音センサにより、前記動きの計測動作と並行して前記利用者の耳周辺部に伝わる咀嚼動作音を計測する過程と、
   情報処理部により、前記動きセンサにより計測された動き、および前記音センサにより計測された咀嚼動作音を、咀嚼動作モデルに基づいて予め設定された判定ルールと比較することで、前記利用者の咀嚼動作を判定する過程と、
   前記情報処理部により、前記咀嚼動作の判定結果を表す情報を出力する過程と
   を具備し、
   前記判定する過程は、前記動きセンサにより計測された動きの大きさが前記判定ルールにより定義された第１のしきい値以上で、かつ前記音センサにより計測された咀嚼動作音の大きさが前記判定ルールにより定義された第２のしきい値未満であり、さらに前記動きセンサにより計測された動きの周期または前記音センサにより計測された咀嚼動作音の周期が前記判定ルールにより定義された範囲内にある場合に、前記利用者が咀嚼動作を行っていると判定することを特徴とする咀嚼検知方法。
6. 請求項１乃至４の何れかに記載の咀嚼検知システムが具備する各手段が行う処理を、当該咀嚼検知システムが備えるコンピュータに実行させるプログラム。

Images