JP5986884B2

JP5986884B2 - 咀嚼回数計算装置

Info

Publication number: JP5986884B2
Application number: JP2012235368A
Authority: JP
Inventors: 尾崎　貴志; 貴志尾崎; 道孝對馬
Original assignee: Nippon Telegraph and Telephone West Corp
Current assignee: Nippon Telegraph and Telephone West Corp
Priority date: 2012-10-25
Filing date: 2012-10-25
Publication date: 2016-09-06
Anticipated expiration: 2032-10-25
Also published as: JP2014083279A

Description

本発明は、食事中の咀嚼回数をカウントする技術に関する。

適切な咀嚼運動は、唾液が多く出ることで虫歯になりにくいことや、食べ物がよく噛み砕かれて内蔵への消化負担が減ることで胃がんなどの病気になりにくいと言われている。自分の咀嚼回数を把握し、適切な咀嚼回数で食事をすることでより健康な生活を送ることができる。近年では、器具を外耳に装着して咀嚼回数をカウントする装置も提案されている（例えば、特許文献１，２）。

特開２００８−０４８７９１号公報特開２０１１−０１０７９１号公報

しかしながら、特許文献１，２の技術では、食事中、顔等に器具を装着しなければならず、煩わしいという問題があった。また、発話や舌の動作を咀嚼回数にカウントしてしまうという問題があった。

本発明は、上記に鑑みてなされたものであり、利用者に器具を装着させずに咀嚼回数をカウントすることを目的とする。

第１の本発明に係る咀嚼回数計算装置は、ユーザの食事中の音を集音した音声データと食事中の料理の重量変化を測定した重量データを入力する入力手段と、前記音声データから咀嚼音が記録された区間を抽出する咀嚼音抽出手段と、前記重量データの重量変化から咀嚼動作中の区間を推定する動作検知手段と、前記音声データの前記咀嚼音が記録された区間から前記咀嚼動作中の区間以外の区間を除去し、不要な部分を除去した区間の前記音声データからユーザの咀嚼回数を求める咀嚼回数計算手段と、前記咀嚼動作中の区間において咀嚼音が取れにくかった部分について、事前に登録を行った食材ごとのユーザの咀嚼スピードに基づき咀嚼回数を補完する補完手段と、を有することを特徴とする。

上記咀嚼回数計算装置において、前記音声データは、ユーザの身体に取り付けずに設置したマイクで集音され、前記重量データは、料理を乗せたプレート状の重量計で測定されたことを特徴とする。

本発明によれば、利用者に器具を装着させずに咀嚼回数をカウントすることができる。

本実施の形態における咀嚼回数計算装置を含む全体構成図である。咀嚼回数を計算する処理の流れを示すシーケンス図である。重量計測集音装置が重量データと音声データを収集して咀嚼回数計算装置へ送信する処理の流れを示すフローチャートである。咀嚼回数計算装置が咀嚼回数を計算する処理の流れを示すフローチャートである。咀嚼回数計算装置が受信する音声データと重量データを示す図である。重量データに基づいて咀嚼動作中以前の音を誤認情報として除去する様子を説明する図である。料理の食材のかたさによって咀嚼スピードが異なることを模式的に示す図である。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態における咀嚼回数計算装置を含む全体構成図である。本実施の形態における咀嚼回数計算装置１は、ユーザ宅内に配置された重量計測集音装置２からユーザの咀嚼音を含む音声データと食べ物の重量変化を計測した重量データを受信して咀嚼回数を計算する装置である。重量計測集音装置２は、ユーザの食卓に設置されて、食事中の音を集音するとともに食べ物の重量の変化を計測し、ネットワーク１００に接続された宅内ＧＷ（ゲートウェイ）４を介して音声データ、重量データを送信する。また、ユーザは、携帯端末やパーソナルコンピュータなどの閲覧端末３でネットワーク１００を介してＷｅｂサーバ１８にアクセスし、咀嚼回数計算装置１の解析結果を確認することができる。以下、各装置について説明する。

咀嚼回数計算装置１は、受信部１１、除去部１２、動作検知部１３、補完部１４、解析部１５、および料理情報蓄積部１６を備え、解析結果を咀嚼情報蓄積部１７に格納する。咀嚼回数計算装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは咀嚼回数計算装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

受信部１１は、重量計測集音装置２から音声データ、重量データを受信して保持する。

除去部１２は、咀嚼音の音声パターンを保有し、受信部１１が受信した音声データと咀嚼音の音声パターンをマッチングして音声データ中の咀嚼音の区間を抽出し、咀嚼音の音声パターンにマッチしない部分を発話音として除去する。

動作検知部１３は、受信部１１が受信した重量データを参照し、重量変化があった直後はユーザが咀嚼動作中であると推定し、音声データ中の咀嚼動作中ではない区間において咀嚼音とされた部分を誤認情報として除去する。そして、除去部１２と動作検知部１３で不要な部分を除去した後の音声データから咀嚼回数を求める。

補完部１４は、咀嚼動作中と推定された区間において咀嚼音が取れにくかった部分について、ユーザの咀嚼スピードに基づき咀嚼回数を補完し、求めた咀嚼回数などの咀嚼情報を咀嚼情報蓄積部１７に送信する。

解析部１５は、ユーザから料理画像データならびに料理レシピ等を受信し、料理に含まれている食材を判定して食材のかたさを求め、求めた食材のかたさに対するユーザの咀嚼スピードを料理情報蓄積部１６から取得して補完部１４に送信する。

料理情報蓄積部１６は、ユーザそれぞれについて、食材のかたさに対する咀嚼スピードを複数種類蓄積する。ユーザ毎の咀嚼スピードの情報は、予めユーザから受信して事前に登録しておく。

咀嚼情報蓄積部１７は、咀嚼回数計算装置１から咀嚼回数、咀嚼時間、食事時間などの咀嚼情報を受信し、ユーザ毎に咀嚼情報を蓄積する。

Ｗｅｂサーバ１８は、ユーザからの問い合わせに応じて、咀嚼情報蓄積部１７から咀嚼情報を読み出してユーザに提示する。提示方法としては、グラフにして示す、表にして示すなどの方法がある。

重量計測集音装置２は、マイク２１、重量計２２を備えて、食卓上に設置される。なお、図示していないが、宅内ＧＷ４およびネットワーク１００を介して咀嚼回数計算装置１へデータを送信する送信手段も備えている。重量計測集音装置２は、マイク２１、重量計２２の電源がＯＮにされると集音、重さの計測を開始する。所定の時間、重量計２２で計測する重さの変化がない場合に、食事が終了したと判定し、食事中に集音した音声データ、重量データを咀嚼回数計算装置１へ送信して電源をオフにする。

マイク２１は、ユーザの咀嚼音を含む食事中の音を集音する感度の良い集音装置である。マイク２１は、食事中の音が集音できればよいので、ユーザの顔などに取り付ける必要はなく、食卓上に配置したり、天井からぶら下げてもよい。

重量計２２は、食事中の料理の重さの変化を計測する。重量計２２は、料理の重さを計測するためにプレート型の形状で食卓上に設置され、料理はプレート状の重量計２２の上に配膳される。

閲覧端末３は、Ｗｅｂサーバ１８にアクセスし、咀嚼回数計算装置１の計算結果を取得して表示する。また、咀嚼回数計算装置１に料理のメニューを通知するために、閲覧端末３にカメラを備えて料理を撮影し、咀嚼回数計算装置１に送信してもよい。

宅内ＧＷ４は、宅内のＬＡＮに接続された重量計測集音装置２や閲覧端末３を外部のネットワーク１００に接続する。

次に、咀嚼回数を計算する動作について説明する。

まず、咀嚼回数計算装置１及び重量計測集音装置２を含む全体の処理の流れについて説明する。

図２は、咀嚼回数を計算する処理の流れを示すシーケンス図である。

まず、ユーザは、食べる料理の情報を咀嚼回数計算装置１に通知する（ステップＳ１１）。

ユーザが重量計測集音装置２の電源をオンにして食事を開始すると、重量計測集音装置２は、咀嚼音の集音と料理の重量の計測を開始する（ステップＳ１２）。

ユーザの食事が終了すると重量計測集音装置２は計測を停止し（ステップＳ１３）、音声データと重量データを咀嚼回数計算装置１へ送信する（ステップＳ１４）。

そして、咀嚼回数計算装置１は、受信した音声データと重量データを解析して咀嚼回数を計算し（ステップＳ１５）、計算した咀嚼回数を含む咀嚼情報を咀嚼情報蓄積部１７へ送信する（ステップＳ１６）。

咀嚼情報蓄積部１７は、受信した咀嚼情報を登録する（ステップＳ１７）。

ユーザは、閲覧端末３でＷｅｂサーバ１８にアクセスすることで、Ｗｅｂサーバ１８が咀嚼情報蓄積部１７からユーザの咀嚼情報を読み出して閲覧端末３に表示させ、咀嚼情報を閲覧できる（ステップＳ１８）。

続いて、重量計測集音装置２の動作について説明する。

図３は、重量計測集音装置２が音声データと重量データを収集して咀嚼回数計算装置１へ送信する処理の流れを示すフローチャートである。

まず最初に、ユーザが食べる料理のデータを咀嚼回数計算装置１へ送信する（ステップＳ２１）。本実施例では、閲覧端末３が料理の画像データ・料理レシピ等を咀嚼回数計算装置１へ送信する。なお、料理の画像データではなく、料理の名称や料理に使われている食材などの情報を送信してもよい。

ユーザが食事を開始すると、マイク２１はユーザの食事中の音を集音して記録し、重量計２２は食事中の料理の重量変化を計測して記録する（ステップＳ２２）。

そして、料理の重量変化に基づいて食事が終了したか否かを判定し（ステップＳ２３）、食事が終了したと判定した場合はステップＳ２４に進む。例えば、料理の重量が所定の時間以上変化しない場合は食事が終了したと判定する。

食事が終了すると、重量計測集音装置２は、音声データと重量データを咀嚼回数計算装置１へ送信する（ステップＳ２４）。

続いて、咀嚼回数計算装置１の動作について説明する。

図４は、咀嚼回数計算装置１が咀嚼回数を計算する処理の流れを示すフローチャートである。

受信部１１は、重量計測集音装置２から音声データと重量データを受信してメモリ等の記憶手段に記憶させる（ステップＳ３１）。

除去部１２は、受信した音声データと咀嚼音の音声パターンをマッチングして発話音を音声データから除去する（ステップＳ３２）。

動作検知部１３は、受信した重量データから料理の重量が減った後の所定の期間を咀嚼動作中として推定し、咀嚼動作中として推定された区間以外で咀嚼音として検出された部分を誤認情報として除去する（ステップＳ３３）。ステップＳ３２，Ｓ３３の処理により、音声データ中の咀嚼音の区間が特定されるので、咀嚼音と特定された音声データから咀嚼回数を求める。なお、ステップＳ３２，Ｓ３３を逆の順序で行なってもよい。

咀嚼動作中と推定された区間で音声が取れにくかった部分が存在する場合は、解析部１５が、登録された料理のデータから食材のかたさを求めて、食材のかたさに対するユーザの咀嚼スピードを料理情報蓄積部１６から取得し、補完部１４が、咀嚼スピードと音声が取れにくかった部分の時間長から咀嚼回数を補完する（ステップＳ３４）。

そして、上記のステップＳ３２〜Ｓ３４の処理で求めた咀嚼回数や咀嚼時間などの咀嚼情報を咀嚼情報蓄積部１７に送信して登録する（ステップＳ３５）。

次に、除去部１２、動作検知部１３、および補完部１４の処理について説明する。

図５に、咀嚼回数計算装置１が受信するデータを示す。

図５（ａ）は、咀嚼回数計算装置１が受信する音声データを示す図である。同図に示すように、咀嚼回数計算装置１が受信する音声データには、咀嚼音だけでなく食事中の発話音やその他の音が含まれている。そこで、除去部１２が咀嚼音の音声パターンと受信した音声データとをマッチングし、咀嚼音以外の発話音などを音声データから除去する。

図５（ｂ）は、咀嚼回数計算装置１が受信する重量データを示す図である。咀嚼回数計算装置１が受信する重量データは、食事中の料理の重量の変化を計測した重量データであり、ユーザが箸などで料理を取ったタイミングで料理の重量が減少する。そこで、動作検知部１３は、重量が減少した後の所定の期間は咀嚼動作中であると推定し、咀嚼動作前で咀嚼音としてマッチングした部分は誤認したとする。

図６は、重量データに基づいて咀嚼動作中以前の音を誤認情報として除去する様子を説明する図である。動作検知部１３は、音声データと重量データの時間情報を対応させて、咀嚼動作中以前の音声データについて咀嚼音としてマッチングした部分については、誤認したと判定して音声データから除去する。図６の符号Ａで示した部分は咀嚼動作前と推定されるので、咀嚼音として誤認したと判定して音声データから除去する。なお、咀嚼動作中として推定する所定の期間の長さは、予めユーザ毎に登録しておく方法や、重量減少後に音声データで発話が確認されるまでとする方法などが考えられる。

図７は、料理の食材のかたさによって咀嚼スピードが異なることを模式的に示す図である。食材のかたさが固い場合は咀嚼スピードがゆっくりとなり（図７の上の波形）、食材のかたさが普通の場合は固い場合よりも早くなる（図７の下の波形）。

音声データの咀嚼動作中と推定される区間において、音声が取れにくかった部分については、補完部１４が、食材のかたさに対応した咀嚼スピードに基づいて咀嚼回数を補完する。ユーザは、複数の食材のかたさのそれぞれに対応する咀嚼スピードを予め咀嚼回数計算装置１の料理情報蓄積部１６に登録しておく。例えば、食材のかたさが固いものと普通のものの２パターンについてそれぞれ咀嚼スピードを登録する。解析部１５が食事前に食べる料理の情報を受信し、受信した料理の情報に基づいて食材のかたさを判定し、咀嚼スピードを決定する。

本実施例では、音声データと重量データをネットワーク１００を介して送受信する実施例について説明したが、咀嚼回数計算装置１と重量計測集音装置２とを一体化した装置を用いることもできる。

また、重量計測集音装置２は、食事の終了時に音声データと重量データを送信したが、音声データと重量データをリアルタイムに逐次送信するものでも、食事中の所定のタイミングで順次送信するものでもよい。

複数のユーザの咀嚼回数を計算する場合は、重量計２２を識別する領域ＩＤを付与し、ユーザと重量計２２を結びつけて、領域ＩＤとともに重量データを送信し、ユーザそれぞれの料理の重量変化を検出する。

以上説明したように、本実施の形態によれば、ユーザの食事中の音を集音した音声データと食事中の料理の重量変化を測定した重量データを入力し、音声データから咀嚼音が記録された区間を抽出し、さらに、重量データの重量変化から咀嚼動作中の区間を抽出して咀嚼回数を計算することにより、料理の重量変化に基づいて咀嚼音と誤認された部分を除去できるので、器具をユーザに装着することなく、卓上に設置したマイク２１で集音した音声データからより正確に咀嚼回数を計算することが可能となる。

本実施の形態によれば、料理の食材のかたさからユーザの咀嚼スピードを算出し、咀嚼動作中において咀嚼音が取れにくかった部分について、ユーザの咀嚼スピードに基づき咀嚼回数を補完することで、より正確な咀嚼回数を計算することが可能となる。

本発明の応用例としては、一回に必要な咀嚼回数を下回った場合や食事時間が極端に早く終わりそうな場合にアラートをユーザに送信する、あるいは、運動ログや食事データをもとに、咀嚼回数や食事時間が最適になるような料理や食材を推薦する、などが考えられる。

１…咀嚼回数計算装置
１１…受信部
１２…除去部
１３…動作検知部
１４…補完部
１５…解析部
１６…料理情報蓄積部
１７…咀嚼情報蓄積部
１８…Ｗｅｂサーバ
２…重量計測集音装置
２１…マイク
２２…重量計
３…閲覧端末
４…宅内ＧＷ
１００…ネットワーク

Claims

ユーザの食事中の音を集音した音声データと食事中の料理の重量変化を測定した重量データを入力する入力手段と、
前記音声データから咀嚼音が記録された区間を抽出する咀嚼音抽出手段と、
前記重量データの重量変化から咀嚼動作中の区間を推定する動作検知手段と、
前記音声データの前記咀嚼音が記録された区間から前記咀嚼動作中の区間以外の区間を除去し、不要な部分を除去した区間の前記音声データからユーザの咀嚼回数を求める咀嚼回数計算手段と、
前記咀嚼動作中の区間において咀嚼音が取れにくかった部分について、事前に登録を行った食材ごとのユーザの咀嚼スピードに基づき咀嚼回数を補完する補完手段と、
を有することを特徴とする咀嚼回数計算装置。
前記音声データは、ユーザの身体に取り付けずに設置したマイクで集音され、前記重量データは、料理を乗せたプレート状の重量計で測定されたことを特徴とする請求項１記載の咀嚼回数計算装置。