JP6403825B1 - 情報提供装置及びプログラム - Google Patents

Abstract

【課題】利用者の飲食行動の際に、飲食行動に関する情報を提供できる情報提供装置及びプログラムを提供する。
【解決手段】配膳された少なくとも一つの飲食物を利用者が飲食する場面を撮像し、配膳された飲食物を識別し、撮像された映像に基づいて、利用者の、前記識別された各飲食物の飲食態様に係る飲食態様情報を生成し、当該飲食場面の撮像中に、生成された飲食態様情報に基づく所定の情報提供処理が実行される情報提供装置である。
【選択図】図１

Description

本発明は、飲食場面において情報を提供する情報提供装置及びプログラムに関する。

近年では、栄養バランスを欠いた食生活による生活習慣病などの研究が広く行われており、生活習慣病予防のための食生活を見直す機会が求められている。このような食生活の見直しの方法の一つとして、日々の食事の内容を記録し、当該記録に基づいて栄養管理者等によるアドバイスを提供するサービスなどが存在する。

特開２００８−２９９８０３号公報

しかしながら、上記従来のサービスでは、サービスの利用者は過去に、既に飲食した内容に基づく栄養指導を受けることとなり、利用者が飲食行動をとってから、当該飲食行動における問題点が指摘されるまでのタイムラグが大きい。また、利用者にとって、過去の飲食行動に基づく栄養指導となるため、現在または将来の飲食時に、どの食品をどの程度飲食してよいのかなどを理解するまでには、繰り返しの指導が必要となり、利用者の飲食行動を変化させるまでに、相当の時間がかかっているのが現状である。

本発明は上記実情に鑑みて為されたもので、利用者の飲食行動の際に、飲食行動に関する情報を提供できる情報提供装置及びプログラムを提供することを、その目的の一つとする。

なお、特許文献１には、店舗内の顧客の購買行動を分析するため、ショッピングカートに取り付けた非接触ＩＣタグを用いる例が開示されている。

上記従来例の問題点を解決する本発明の一態様は、情報提供装置であって、利用者が、配膳された少なくとも一つの飲食物を飲食する場面を撮像する撮像手段と、前記配膳された飲食物を識別する識別手段と、前記撮像手段により撮像された映像に基づいて、利用者の、前記識別された各飲食物の飲食態様に係る飲食態様情報を生成する生成手段と、を含み、前記撮像手段による飲食場面の撮像中に、前記生成された飲食態様情報に基づく所定の情報提供処理が実行されることとしたものである。

本発明によると、利用者の飲食行動の際に、飲食行動に関する情報を提供できる。

本発明の実施の形態に係る情報提供装置の構成例を表すブロック図である。 本発明の実施の形態に係る情報提供装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報提供装置が記録する認識結果の例を表す説明図である。 本発明の実施の形態に係る情報提供装置による飲食行動の検出例を表す説明図である。 本発明の実施の形態に係る情報提供装置が生成する飲食記録の例を表す説明図である。 本発明の実施の形態に係る情報提供装置において設定される情報提供条件の例を表す説明図である。 本発明の実施の形態に係る情報提供装置による情報提供例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報提供装置１は、家庭内であればダイニングルーム、組織等であれば食堂、または飲食店等に備えられる。この情報提供装置１は、図１に例示するように、制御部１１と、記憶部１２と、撮像部１３と、情報提供部１４と、通信部１５とを含んで構成される。

制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、後に説明する撮像部１３により撮像された、利用者の飲食場面の映像（一連の画像データを含む情報）の入力を受け入れ、当該飲食場面において配膳された飲食物を識別する。またこの制御部１１は、利用者の、上記識別された各飲食物の飲食態様に係る飲食態様情報を生成し、飲食場面の撮像中に、当該生成された飲食態様情報に基づく所定の情報提供処理を実行する。この制御部１１の詳しい処理の内容については後に説明する。

記憶部１２は、メモリデバイスやディスクデバイス等であり、制御部１１によって実行されるプログラムを保持する。この記憶部１２はまた、制御部１１のワークメモリとしても動作する。

撮像部１３は、カメラ等であり、ダイニングルームや食堂等の食卓上方に配されて、食卓上に配膳された飲食物や、食卓に向かって飲食動作を行う利用者（複数の利用者が存在してもよい）の映像を撮像する。この撮像部１３は、撮像して得られた映像を制御部１１に出力する。本実施の形態では、この撮像部１３は、所定のタイミングごとに（例えば１／６秒ごとなど定期的に）、飲食物が配膳されている食卓と、食卓に向かって飲食をしている利用者とを撮像した画像データを、逐次的に出力する。

情報提供部１４は、例えばプロジェクタや、スピーカ等であり、制御部１１から入力される指示に従い、利用者に対して画像や音声の情報を提供する。通信部１５は、ネットワークインタフェース等であり、制御部１１から入力される指示に従って、外部のサーバ等との間で情報を送受する。

次に、本実施の形態の制御部１１の動作について説明する。本実施の形態の一例に係る制御部１１は、図２に例示するように、映像受入部２１と、認識処理部２２と、飲食態様情報生成部２３と、提供情報生成部２４と、情報提供処理部２５とを機能的に含んで構成される。

ここで映像受入部２１は、撮像部１３が出力する画像データの入力を受け入れ、認識処理部２２と、飲食態様情報生成部２３とに出力する。認識処理部２２は、映像受入部２１が受け入れた各画像データについて、画像データに撮像されている飲食物を、それぞれ識別する処理を実行する。具体的にこの認識処理部２２は、映像受入部２１が受け入れた映像から、当該映像に含まれる飲食物の種類（唐揚げ、野菜サラダ、等の別）と、位置（当該飲食物を盛りつけた皿が配されている領域、以下、配膳位置と呼ぶ）とを認識する。この飲食物の種類を識別したり、配膳位置を認識したりといった処理は、飲食物の色などを用いて認識する処理などの広く知られた処理を採用でき、また、飲食物の配膳位置（食事中移動し得る）の情報は、時間的に連続して入力される画像データ間の比較による対象物（ここでは飲食物）の移動を認識する処理などの広く知られた処理を採用できるので、ここでの詳しい説明を省略する。

なお、ここでは認識処理部２２は映像に基づいて飲食物の種類や配膳位置を認識することとしているが、認識処理部２２の処理はこの例に限られない。認識処理部２２は、例えば飲食物を盛りつけた皿などに飲食物の種類の情報を発信するＩＣタグを付しておき、当該ＩＣタグから発信される情報を受信して、食卓上に配膳された各飲食物の種類とその配膳位置とを認識してもよい。また、食卓の上面に、重量の場所ごとの分布を計測可能な圧力センサを配したマット等を敷き、この上に配膳することで、食器及び食品の重量による圧力の分布を計測し、当該計測の結果に基づいて配膳位置や、重量を認識してもよい。このようなマットは、例えばマトリクス状に圧力センサを配して作成できる。

認識処理部２２は、食卓上に配膳された各飲食物を特定する情報（飲食物名等）と、当該飲食物の配膳位置（当該飲食物を盛りつけた皿が配されている領域を特定するもの、例えば皿に外接する円の中心位置座標（ｘ，ｙ）及び半径Ｒ）の情報とを関連付けて、飲食物情報として記録する（図３）。

飲食態様情報生成部２３は、撮像部１３により撮像され、映像受入部２１が受け入れた映像に基づいて、利用者の、識別された各飲食物の飲食態様に係る飲食態様情報を生成する。具体的にこの飲食態様情報生成部２３は、利用者（複数の利用者が撮像されている場合は、各利用者）の手の位置を識別する。この手の位置の認識処理は、利用者の頭部の識別や、肌色領域の識別等の広く知られた方法で行うことができるので、ここでの詳しい説明を省略する。

飲食態様情報生成部２３は、利用者ごとの手の位置と、認識処理部２２が識別した飲食物の配膳位置との比較により、各利用者がどの飲食物を飲食しようとしているかを判断する。

一例として、飲食態様情報生成部２３は、時間的に連続して逐次的に入力される画像データのそれぞれから、所定のタイミングごとに、利用者ごとの、手の位置（左右の手の位置）を逐次的に認識し、利用者ごとの手の位置の移動軌跡の情報を得る。この情報は例えば、ある利用者の一方の手（便宜的に注目手と呼ぶ）についてその重心位置（Ｐｘ（ｔi），Ｐｙ（ｔi））（ここで、Ｐｘ，Ｐｙは、撮像部１３が出力する画像データにおいて予め定められた直交座標の値を表す）として表され、ｔi（ｉ＝１，２，…）は、時刻（処理のタイミング）を表す。なお、以下の説明では、ｔ1＜ｔ2…＜ｔi＜ｔi+1…とする。

飲食態様情報生成部２３は、例えばΔＰ＝（Ｐｘ（ｔ）−Ｐｘ（ｔi-1），Ｐｙ（ｔ）−Ｐｙ（ｔi-1））を求め、このΔＰの大きさ（各成分の二乗和の平方根でよい）が予め定めたしきい値より大きいときには、注目手が移動中であると判断する。

このように注目手が移動中であると判断したときには、飲食態様情報生成部２３は、図４（ａ）に例示するように、現在（時刻ｔiとする）の注目手の重心位置Ｐから、ΔＰの方向を中心とした予め定めた角度θ内の領域Ｑ内にある飲食物を検索する。すなわち、時刻ｔiにおける画像データから認識処理部２２が生成して記録された飲食物情報を参照し、当該飲食物情報に記録されている配膳位置がこの領域Ｑ内にある飲食物を検索する。そして飲食態様情報生成部２３は、そのような飲食物があれば、当該検索によって見いだされた飲食物の種類の情報（複数ある場合は複数の種類の情報）を、飲食対象候補情報として、利用者を特定する情報とともに出力する。

また飲食態様情報生成部２３は、ΔＰの大きさ（各成分の二乗和の平方根でよい）が予め定めたしきい値より小さいときには、注目手が静止中であると判断する。このように注目手が移動中であると判断したときには、飲食態様情報生成部２３は、図４（ｂ）に例示するように、現在（時刻ｔiとする）の注目手の重心位置Ｐを中心とし、予め定められた半径ｒの円Ｒ内にある飲食物を検索する。

すなわち、時刻ｔiにおける画像データから認識処理部２２が生成して記録された飲食物情報を参照し、当該飲食物情報に記録されている配膳位置がこの円の領域Ｒ内にある飲食物を検索する。そして飲食態様情報生成部２３は、そのような飲食物があれば、当該検索によって見いだされた飲食物の種類の情報（複数ある場合は、最も重心位置Ｐに近い配膳位置の情報に関連付けられた飲食物の種類の情報）を、飲食対象情報として一時的に、注目手に係る利用者を特定する情報に関連付けて記録する。

なお、既に、一時的に記録された飲食対象情報（注目手に係る利用者を特定する情報が関連付けられた情報）があるときには、飲食態様情報生成部２３は、当該飲食対象情報に上書きして、今回得られた飲食物の種類の情報を飲食対象情報として、注目手に係る利用者を特定する情報とに関連付けて記録する。これにより、利用者の注目手が利用者の頭部近傍に戻る直前に取得した飲食物を特定する。

さらに飲食態様情報生成部２３は、処理のタイミングにおいて注目手の重心位置Ｐと、対応する利用者の頭部の重心Ｘとの距離が予め定めた距離を下回っているときには、当該利用者を特定する情報に関連付けて、一時的に記録された飲食対象情報があるか否かを調べる。飲食態様情報生成部２３は、そのような飲食対象情報があれば、飲食態様情報生成部２３は、当該飲食対象情報と、それに関連付けて記録されている、注目手に係る利用者を特定する情報を取得する。そして飲食態様情報生成部２３は、当該取得した、飲食対象情報が表す飲食物を特定する情報と、利用者を特定する情報と、現在の時刻（記録の時点を表す情報）とを関連付けたデータレコードを蓄積して、飲食記録として記録する（図５）。

このように飲食態様情報生成部２３は、利用者が手を伸ばそうとしている飲食物があれば、当該飲食物の情報を、飲食対象候補情報として出力し、また、利用者が実際に取得して飲食したと認識される飲食物があれば（ここでの例では、飲食物の配膳位置近傍で手が静止し、その後、利用者の頭部に戻った場合）、そのような飲食物の種類を表す情報と、利用者を特定する情報と、時刻とを飲食記録として記録していく。本実施の形態のここでの例では、これら飲食対象候補情報と、飲食記録とが、飲食態様情報に相当する。

提供情報生成部２４は、撮像部１３による飲食場面の撮像中に、飲食態様情報生成部２３により生成された現時点、または過去の時点の飲食態様情報（ここでの例では飲食対象候補情報と、飲食記録）に基づいて提供するべき情報を生成する。具体的に、本実施の形態の一例では、記憶部１２に予め、飲食物の種類の情報と栄養価の情報とが関連付けられて、栄養価データベースとして記憶されているものとする。ここで栄養価の情報は、単位分量（ここでは例えば、箸やスプーン等で一度に取り分けることのできる分量としてよい）あたりのカロリー、塩分、糖分、脂質等の情報を含む。

なお、提供情報生成部２４は、後に述べるように、飲食態様情報だけでなく、過去に提供した情報の内容も参照して、提供するべき情報を生成してもよい。

提供情報生成部２４は、飲食態様情報生成部２３が記録した飲食記録を参照し、利用者ｋ（ｋは、利用者ごとに固有の識別値であり、例えばｋ＝１，２，…なる自然数とする）ごとの、今回の飲食場面において飲食した各飲食物の飲食回数Ｆ（ｋ，ｊ）（ｊは、飲食物ごとに固有の識別値であり、例えばｊ＝１，２，…なる自然数とする）を求める。そして提供情報生成部２４は、飲食物ごとに、飲食物ｊに関連付けて栄養価データベースに記憶されている単位分量あたりの栄養価の情報に、当該飲食物ｊの飲食回数Ｆ（ｋ，ｊ）を乗じた積を求め、求められた積の総和を演算して、飲食記録の開始時点から現在までに利用者ｋが摂取した栄養価の値（カロリー、塩分、糖分、脂質等の摂取量）を求め、当該求めた栄養価の値を摂取状態情報として、利用者ｋを特定する情報と、現在時刻（記録の時点）とに関連付けたデータレコードを蓄積して記録する。

提供情報生成部２４は、飲食態様情報生成部２３が飲食対象候補情報と利用者ｋを特定する情報とを出力したときに、摂取状態情報として記録された情報のうち、利用者ｋを特定する情報に関連付けられた栄養価の値を現在情報として取得する。また、飲食態様情報生成部２３が出力する飲食対象候補情報に含まれる情報（飲食物を特定する情報、複数ある場合はそれぞれ）に関連付けて栄養価データベースに記憶されている単位分量あたりの栄養価の情報を、推定栄養価情報として取得する。提供情報生成部２４は、上記取得した現在情報に推定栄養価情報（飲食対象候補情報に含まれる情報が複数ある場合はそれぞれに関する推定栄養価情報）を加算して、推定累算栄養価情報を得る。

提供情報生成部２４は、得られた推定累算栄養価情報を参照し、予め定められた情報提供条件のいずれかを満足するか否かを調べる。ここで情報提供条件は、例えば、図６に例示するように、栄養価に係る条件（Ｃ）と、当該条件が満足されたときに生成されるべき、提供情報のひな形の情報（Ｔ）とを関連付けたものである。図６の例では、栄養価である「塩分が１０グラムを超えた」との条件に対して、提供情報のひな形として「（飲食物名）は、今日はもうやめておきましょう」といった文字列の情報が関連付けて記録されている例が示されている。

提供情報生成部２４は、いずれかの情報提供条件を満足する推定累算栄養価情報が見いだされると、当該推定累算栄養価情報が満足する情報提供条件に含まれるひな形の情報（Ｔ）を読み出し、また、当該推定累算栄養価情報の演算に用いた推定栄養価情報に関連付けられた、飲食物を特定する情報を取得する。そして提供情報生成部２４は、当該取得した、飲食物を特定する情報（飲食物名）と、ひな形の情報とを用いて、「（飲食物名）は、今日はもうやめておきましょう」などといった文字列情報を生成して、提供情報として情報提供処理部２５に出力する。ここで、「（飲食物名）」の部分は、飲食物名に置き換えた文字列の情報とする。

情報提供処理部２５は、提供情報生成部２４が出力する提供情報を、利用者に提示する。具体的にこの情報提供処理部２５は、提供情報生成部２４が出力する提供情報に基づいて公知の音声合成処理を行って音声信号を生成し、情報提供部１４のスピーカを制御して、当該音声信号を鳴動させる。また画像データとして提供する場合、情報提供処理部２５は、提供情報生成部２４が出力する文字列情報に基づく画像データを生成し、情報提供部１４に含まれるディスプレイや、プロジェクタ等を制御して、当該画像データを表示出力する。

またこの情報提供処理部２５は、利用者に提供情報を提示したときには、当該提供情報と、提供情報の提示の時刻を表す時刻情報とを関連付けて、記憶部１２に蓄積して、情報提供記録として記憶してもよい。

本実施の形態は、基本的に以上のような構成を備えており、次のように動作する。以下の説明では、情報提供装置１が家庭内で利用されるものとする。また撮像部１３は、ダイニングルームの食卓上方に配されており、食卓全体と、飲食中、食卓の周囲に所在する利用者を撮像可能となっているものとする。

情報提供装置１は、飲食の開始時（配膳開始の時点、あるいは配膳後、食事を開始する時点など）に、例えば利用者の指示によって処理を開始する。そして撮像部１３が逐次的に出力する画像データのそれぞれから、画像データに撮像されている飲食物を、それぞれ識別する。そして画像データに撮像されている飲食物の種類（唐揚げ、野菜サラダ、等の別）と、その配膳位置を表す情報とを関連付けて、図３に例示したように、飲食物情報として記録する。

以下の説明では、食卓にはご飯、唐揚げ、野菜サラダが配膳されているものとする。この場合、予め銘々の茶碗に盛りつけられたご飯（利用者α，βのそれぞれのご飯２膳分）と、唐揚げが盛りつけられた皿、野菜サラダが盛りつけられた皿の４つの飲食物について、それぞれを特定する情報（「ご飯」、「唐揚げ」、「野菜サラダ」）と、それぞれの茶碗や皿の配膳位置の情報（Ｘ，Ｙ座標系での座標値及びその範囲を表す半径Ｒ）とが関連付けて記録されるものとする。

なお、以下の説明では、それぞれの飲食物の栄養価が次のように予め栄養価データベースに格納されているものとする：
ご飯（１口あたり）…エネルギー：２７ｋｃａｌ，タンパク質：０．４グラム、脂質：０．０５グラム、炭水化物：６グラム、食塩：０グラム、ビタミンＥ：０．４ミリグラム…
唐揚げ（１個あたり）…エネルギー：１００ｋｃａｌ，タンパク質：４グラム、脂質：８グラム、炭水化物：１．２グラム、食塩：０．４グラム、ビタミンＥ：０．０２ミリグラム…
野菜サラダ（一回の平均的取り分け量（２０グラム）あたり）…エネルギー：２５ｋｃａｌ，タンパク質：０．２グラム、脂質：３グラム、炭水化物：１グラム、食塩：０．０６グラム、ビタミンＥ：０．６ミリグラム…

情報提供装置１は、また、撮像部１３により撮像された一連の画像データのそれぞれから、利用者の手の位置を表す情報を生成する。ここで食卓に向かって食事をしている利用者が、α，βの２名である場合、利用者αと利用者βのそれぞれの手の位置を表す情報を生成する。そして情報提供装置１は、それぞれの利用者の手の重心位置（Ｐαｘ（ｔi），Ｐαｙ（ｔi）），（Ｐβｘ（ｔi），Ｐβｙ（ｔi））を得る。なお、Ｐαｘ，Ｐαｙは利用者αの手の重心位置のＸ，Ｙ座標値、Ｐβｘ，Ｐβｙは利用者βの手の重心位置のＸ，Ｙ座標値、ｔi（ｉ＝１，２，…）は、時刻を表す。ここでは、ｔ1＜ｔ2…＜ｔi＜ｔi+1…とする。

情報提供装置１は、ΔＰα＝（Ｐαｘ（ｔ）−Ｐαｘ（ｔi-1），Ｐαｙ（ｔ）−Ｐαｙ（ｔi-1））と、ΔＰβ（ΔＰαと同様の計算式で求めることができるので、繰り返しての説明を省略する）を求める。情報提供装置１は、ΔＰα，ΔＰβの大きさが予め定めたしきい値より大きいか否かを調べ、このしきい値より大きいときには、対応する利用者の手が移動中であると判断する。

情報提供装置１は、例えば、利用者αの手が移動中であると判断したときには、現在（時刻ｔiとする）の利用者αの手の重心位置Ｐから、ΔＰαの方向を中心とした予め定めた角度θ内の領域Ｑ内にある飲食物を検索する。ここでは当該領域Ｑ内に、唐揚げの皿と野菜サラダの皿があるものとする。この場合、情報提供装置１は、「唐揚げ」，「野菜サラダ」を飲食対象候補情報として、利用者を特定する情報（利用者α）に関連付けて記憶する。

またこのとき、後に説明するように、情報提供装置１は、推定栄養価情報及び推定累算栄養価情報を求め、情報を提供する処理を実行するが、便宜的に、この段階では提供する情報がなかったものとする。

やがて、利用者αの手が唐揚げの皿近傍に移動し、この皿から唐揚げを取り上げる作業を行うと、その時点で利用者αの手の重心位置は静止した状態となるので、ΔＰαの大きさが予め定めたしきい値より小さくなる。このとき情報提供装置１は、当該利用者αの手の重心位置Ｐαを中心とし、予め定められた半径ｒの円Ｒ内にある飲食物を検索する。ここでは、唐揚げの皿が検索されることとなる。情報提供装置１は、そこで当該検索によって見いだされた飲食物の種類の情報である「唐揚げ」の情報を、飲食対象情報として一時的に、利用者αを特定する情報に関連付けて記録する。

その後、利用者αが唐揚げを一つ取り上げて、手元へ運ぶ段階では、情報提供装置１は、利用者αの手が移動中であると判断する。利用者αがそのまま（唐揚げ以外の飲食物を取り上げることなく）唐揚げを手元まで運んだときには、利用者αの手の重心位置Ｐαと、対応する利用者αの頭部の重心Ｘαとの距離が予め定めた距離を下回るので、情報提供装置１は、その時点で当該利用者αを特定する情報に関連付けて、一時的に記録された飲食対象情報があるか否かを調べる。ここでは、上述のように、飲食対象候補情報として、利用者を特定する情報（利用者α）に関連付けて「唐揚げ」の情報が記録されているので、情報提供装置１は、飲食対象情報が表す飲食物を特定する情報「唐揚げ」と、利用者を特定する情報（利用者α）と、現在の時刻（記録の時点を表す情報）とを関連付けて、飲食記録として、蓄積して記録する。この記録は図５に例示したようなものとなる。情報提供装置１は、利用者βについても同様の処理を行う。

さらに情報提供装置１は、飲食中の所定のタイミングごと（例えば飲食記録を記録するごと）に、各利用者についての各飲食物の飲食回数Ｆ（ｋ，ｊ）（ｊは、飲食物ごとに固有の識別値であり、例えばｊ＝１，２，…なる自然数とする）を求める。ここでは例えば、時刻ｔiまでの間に、利用者αがご飯の茶碗からご飯を５回、唐揚げの皿から唐揚げを３回取り上げて飲食しており、利用者βがご飯の茶碗からご飯を３回、唐揚げの皿から唐揚げを１回、野菜サラダを１回、それぞれ取り上げて飲食しているものとする。この場合、飲食回数は、
Ｆ（α，１）＝５
Ｆ（α，２）＝３
Ｆ（α，３）＝０
Ｆ（β，４）＝４
Ｆ（β，２）＝１
Ｆ（β，３）＝１
となる。なお、この例では、利用者αご飯の茶碗の固有の識別値を「１」、唐揚げの皿の固有の識別値を「２」、野菜サラダの皿の固有の識別値を「３」、利用者βのご飯の茶碗の固有の識別値を「４」としている。

情報提供装置１は、各利用者の現在（時刻ｔi）までの栄養価の摂取量を求める。この値は、先の栄養価データベースの内容と、ここでの飲食回数とを用いて得られる。例えば利用者αの摂取したエネルギーが、２７×５＋１００×３＋２５×０＝４３５ｋｃａｌ、脂質が０．０５×５＋８×３＋３×０＝２４．２５グラム、食塩が０×５＋０．４×３＋０．０６×０＝１．２グラム、ビタミンＥが０．４×５＋０．０２×３＋０．６×０＝２．０６ミリグラム…と計算される。情報提供装置１は、各利用者の現在時刻（時刻ｔi）までの栄養価の摂取量の情報を、摂取状態情報として記録する。

情報提供装置１は、その後、例えば利用者αが、再度、移動中であると判断したときには、その時点の利用者αの手の重心位置Ｐから、その時点でのΔＰαの方向を中心とした予め定めた角度θ内の領域Ｑ内にある飲食物を検索する。ここでは当該領域Ｑ内に、唐揚げの皿と野菜サラダの皿があるものとする。この場合、情報提供装置１は、「唐揚げ」，「野菜サラダ」を飲食対象候補情報として、利用者を特定する情報（利用者α）に関連付けて記憶する。

そして情報提供装置１は、推定栄養価情報及び推定累算栄養価情報を求め、情報を提供する処理を実行する。具体的に、情報提供装置１は、推定栄養価情報として、飲食対象候補情報で特定される飲食物に係る栄養価の情報を栄養価データベースから取得する。そしてこの時点での利用者αの摂取状態情報に、取得した栄養価の情報を加算して、推定累算栄養価情報を求める。ここでは、飲食対象候補情報が「唐揚げ」，「野菜サラダ」の２つであるので、情報提供装置１は、それぞれの栄養価の情報を加算して、利用者αがそれぞれを摂取したときの推定累算栄養価情報を求める。具体的に上述の例では、利用者αが「唐揚げ」を取得した場合の推定累算栄養価情報として、エネルギーが、４３５＋１００＝５３５ｋｃａｌ、脂質が２４．２５＋８＝３２．２５グラム、食塩が１．２＋０．４＝１．６グラム、ビタミンＥが２．０６＋０．０２＝２．０８ミリグラム…などと計算される。また利用者αが「野菜サラダ」を取得した場合の推定累算栄養価情報として、エネルギーが、４３５＋２５＝４６０ｋｃａｌ、脂質が２４．２５＋３＝２７．２５グラム、食塩が１．２＋０．０６＝１．２６グラム、ビタミンＥが２．０６＋０．６＝２．６６ミリグラム…などと計算される。

情報提供装置１は、これらの計算された推定累算栄養価情報を参照し、予め定められた情報提供条件のいずれかを満足するか否かを調べる。一例として、以下では情報提供条件と、それに対応する提供情報のひな形とが関連付けられて、次のように設定されている場合について説明する。すなわち、
（条件１）栄養価に係る条件Ｃ：「脂質が３０グラム以上」、提供情報のひな形Ｔ：「（飲食物名）は、今日はもうやめておきましょう」
（条件２）栄養価に係る条件Ｃ：「ビタミンＥが２．５ミリグラム以上」、提供情報のひな形Ｔ：「（飲食物名）を食べませんか？」
…
などの情報提供条件と、提供情報のひな形との組が予め記憶部１２に格納されているものとする。この情報の組の記録を以下、提供情報データベースと呼ぶ。

この例の場合、情報提供装置１は、利用者αが「唐揚げ」を取得した場合の推定累算栄養価情報において、脂質が３２．２５グラムとなり、条件１の栄養価に係る条件Ｃ：「脂質が３０グラム以上」を満足することとなるので、その際の飲食対象候補情報である「唐揚げ」を飲食名として、対応するひな形の対応部分を置き換えて、「唐揚げは、今日はもうやめておきましょう」という提供対象情報を生成する。そして、例えばこの提供対象情報の音声を鳴動する。

またこのとき、情報提供装置１は、利用者αが「野菜サラダ」を取得した場合の推定累算栄養価情報において、ビタミンＥが２．６６ミリグラムとなり、条件２の栄養価に係る条件Ｃ：「ビタミンＥが２．５ミリグラム以上」を満足することとなるので、その際の飲食対象候補情報である「野菜サラダ」を飲食名として、対応するひな形の対応部分を置き換えて、「野菜サラダを食べませんか？」という提供対象情報を生成する。そして、例えばこの提供対象情報の音声を鳴動する。

この例によると、利用者αは、仮に唐揚げに手を伸ばそうとしていたときであっても、情報提供装置１から、「唐揚げは、今日はもうやめておきましょう。」「野菜サラダを食べませんか？」という音声を聞くこととなる。つまり、この例では利用者に対して飲食中に適時に、対応する情報の提供が行われ、利用者の飲食行動の変化が促進される。

なお、本実施の形態は、ここで述べた例に限られないので、以下、いくつかの変形例について説明する。

［プロジェクタを用いた情報提供］
例えば、ここまでの説明では情報提供は音声を鳴動することによって行うことを例として説明したが、本実施の形態はこれに限られない。例えば、情報提供装置１は、飲食物を配膳する食卓をスクリーンとするプロジェクタを備え、食卓上に情報を提示してもよい。例えば上述の動作例において、「唐揚げは、今日はもうやめておきましょう」という提供対象情報を生成したときに、唐揚げの皿の配膳位置近傍に、注意を促すアイコンを表示する（図７）ようにしてもよい。

また、プロジェクタ以外に、照明装置等を備え、いずれかの飲食物の配膳位置近傍にスポットライトを当てる、等の方法で情報提供を行ってもよい。

［重量測定］
さらにここまでの例では、利用者が一回の動作で取得する飲食物の量を、予め設定しておくことで、飲食物の取得回数に基づいて飲食量を推定することとしていたが本実施の形態はこれに限られず、例えば食卓や、皿に、食卓や皿に乗せられた飲食物の重量を測定する重量センサと、当該重量の測定結果を無線にて情報提供装置１へ送出する無線装置とを備え、情報提供装置１が、食卓や皿から重量の測定結果の情報を取得して、利用者が取得動作を行う前後の重量の変化量を求め、実際に飲食した量を用いて栄養価情報や、推定累算栄養価情報等を算出してもよい。

［提供情報履歴に基づく情報提供］
また上述の例では、利用者αがその後「野菜サラダ」に手を伸ばそうとするたびに、条件２の「ビタミンＥが２．５ミリグラム以上」との条件が満足されてしまうので、「野菜サラダを食べませんか？」という音声が繰り返し鳴動してしまう。そこで本実施の形態の一例では、情報提供装置１は、過去に提供した提供情報を蓄積して記録しておき、同じ提供情報が繰り返して提供されないようにしてもよい。

具体的に、本実施の形態のある例に係る情報提供装置１では、情報提供条件に含まれる提供情報のひな形ごとに、繰り返し提供するか否かを表すフラグ情報をさらに関連付けておく。例えば、上述の例であれば、栄養価に係る条件Ｃ：「脂質が３０グラム以上」に関連付けられた提供情報のひな形Ｔ：「（飲食物名）は、今日はもうやめておきましょう」については、繰り返し提供するものとするフラグ情報を関連付け、また、栄養価に係る条件Ｃ：「ビタミンＥが２．５ミリグラム以上」に関連付けられた提供情報のひな形Ｔ：「（飲食物名）を食べませんか？」については、繰り返し提供しないものとするフラグ情報を関連付けて記憶部１２に格納しておく。

情報提供装置１は、情報提供処理部２５として動作する際に、提供情報を利用者に提示するごとに、当該提示した提供情報の内容を、記憶部１２に蓄積して記憶しておく。

また情報提供装置１は、提供情報生成部２４として動作する際に、推定累算栄養価情報を求めた後に、当該推定累算栄養価情報が満足する情報提供条件があれば、当該情報提供条件に含まれるひな形の情報（Ｔ）と、それに関連付けられたフラグ情報とを読み出す。また、当該推定累算栄養価情報の演算に用いた推定栄養価情報に関連付けられた、飲食物を特定する情報を取得する。

そして提供情報生成部２４は、飲食物を特定する情報（飲食物名）と、ひな形の情報とを用いて、「（飲食物名）は、今日はもうやめておきましょう」といった提供情報を生成する。なお、「（飲食物名）」の部分は、飲食物名に置き換える。

提供情報生成部２４は、読み出したフラグ情報が、繰り返し提供しないことを表すものであれば、当該生成した提供情報が過去に提供された情報として記憶部１２に格納されているか否かを調べる。ここで生成した提供情報が過去に提供された情報として記憶部１２に格納されていれば、提供情報生成部２４は、生成した提供情報を出力しないよう制御する。一方、生成した提供情報が過去に提供された情報として記憶部１２に格納されていなければ、生成した提供情報を出力する。

また提供情報生成部２４は、読み出したフラグ情報が、繰り返し提供することを表すものであれば、生成した提供情報を出力する。

［情報提供前後の行動変化の考慮］
また本実施の形態において、既に述べたように情報提供記録が記録されているときには、当該情報提供記録として記録されている提供情報を提示した各時点の前後の飲食記録を参照し、利用者の飲食行動の変化を検出する処理を実行してもよい。

具体的にこの例では、情報提供装置１は、提供情報データベースにおいて、情報提供条件に対して、対応する提供情報のひな形を複数関連付けて保持しておく。

例えば共通の情報提供条件に関連付けられる複数の提供情報のひな形について、それぞれ異なる提供情報の強度（訴えかけの強さ）の情報を設定しておく。一例として、
栄養価に係る条件Ｃ：「脂質が３０グラム以上」に関連付けられて、
「強度１」の提供情報のひな形Ｔ１：「（飲食物名）は、今日はもうやめておきましょう」
「強度２」の提供情報のひな形Ｔ２：「（飲食物名）は、今日はもうやめなさい」
「強度３」の提供情報のひな形Ｔ３：「（飲食物名）をこれ以上摂取すると、健康を害します。」
のように設定しておく（実際に訴えかけの程度が強いか否かは、統計的、実験的に決定して、ひな形の内容を定めておくか、利用者ごとの過去の傾向に基づき、情報提供効果があったものほど強度が強いと機械学習的に設定するようにしてもよい）。

そして情報提供装置１は、ある情報提供条件ＣＸが満足されたと判断すると、当該情報提供条件に関連して過去に行った情報提供の効果があったか否かを判断し、情報提供の効果がなかったと判断すると、満足した情報提供条件ＣＸに関連付けられており、過去に提供した提供対象情報の強度の情報を参照し、当該参照した強度より強い強度の情報として設定され、かつ、上記情報提供条件ＣＸに関連付けられた提供対象情報を取り出して、当該提供対象情報に基づく情報提供の処理を行う。

なお、情報提供の効果があったか否かの判断は、例えば次のように行うことができる。すなわち、情報提供装置１の制御部１１は、情報提供記録を参照し、提供情報の提示が行われた時刻の情報τ1，τ2…を取得する。そして、τi（ｉ＝１，２，…）のそれぞれの前後における飲食記録に基づき、記録開始の時点からτ1までの時間の各種類の栄養価の摂取量、…τiからτi+1までの間の時間の各種類の栄養価の摂取量（ｉ＝１，２，…）をそれぞれ求める。

そして制御部１１は、各情報提供の時点前後の時間での各種類の栄養価の摂取量の差を演算し、栄養価の種類ごとに定めたしきい値を超える変化があったか否かを調べ、情報提供の効果の有無を判断する。

一例として、情報提供装置１の制御部１１は、τiの時点での情報提供の前、τi-1からτiまでの時間に摂取された炭水化物の摂取量と、当該情報提供の後、τiからτi+1までの時間に摂取された炭水化物の摂取量との差の絶対値が、炭水化物について予め定められたしきい値を超える場合、τiの時点での情報提供の効果があったものと判断する。

また、制御部１１は、τiの時点での情報提供の前、τi-1からτiまでの時間に摂取された各栄養価の摂取量と、当該情報提供の後、τiからτi+1までの時間に摂取された各栄養価の摂取量との差の絶対値が、いずれも、それぞれの栄養価ごとに予め定められたしきい値を超えない場合は、τiの時点での情報提供の効果がなかったものと判断する。

このようにすると、例えば唐揚げの飲食行動を検知したときに、情報提供装置１が（当該食事で初めて）油脂の摂取量に係る情報提供条件を満足すると判断したときには、まず「強度１」の（強度がもっとも低い）提供情報のひな形を用いて、「唐揚げは、今日はもうやめておきましょう」のような情報提供を行う。

しかしその情報提供の前後における油脂の摂取量に変化がない場合、情報提供装置１は、上記情報提供に効果がなかったと判断し、油脂の摂取量に係る情報提供条件に関連付けられた情報提供の強度をインクリメントする。例えば、情報提供装置１は、次に油脂の摂取量に係る情報提供条件を満足すると判断したときには、「強度２」の提供情報のひな形を用いて、「唐揚げは、今日はもうやめなさい」のような情報提供を行う。

なお、強度の変化により、訴えかけの程度を変化させることに代えて、訴えかけの内容を変更しておいてもよい。例えば、
栄養価に係る条件Ｃ：「脂質が３０グラム以上」に関連付けられて、
「強度１」の提供情報のひな形Ｔ１：「（飲食物名）は、今日はもうやめておきましょう」に対し、「強度２」の提供情報のひな形Ｔ２を、「これ以上の飲食は今日はやめてはいかがでしょう。」のように、総カロリー量を抑えるアドバイスとして設定することとしてもよい。このようなひな形の設定は、実験的・経験的に適宜定め得る。

このように、本実施の形態のこの例では、カメラ等で利用者の飲食行動を検出し続け、利用者の所定の飲食行動に対して適時に効果の有無を調べつつ、情報提供の処理を行って、利用者の行動の変容までの期間を短くする。

なお、飲食行動が変化か否かについては、上述のように摂取傾向の変化に基づいて判断してもよいし、得られた種々の情報に基づく機械学習により、変化したか否かを判断させてもよい。

［飲食時刻の考慮］
またここまでの説明において情報提供条件には、栄養価に係る条件が含まれるものとしていたが、本実施の形態における情報提供条件は、これに限られない。例えば情報提供条件として、栄養価に係る条件のほか、飲食時刻に係る条件が含まれてもよい。この例では具体的に、

飲食時刻に係る条件Ｃ１：「時刻が２１：００から３：００の間」、栄養価に係る条件Ｃ２：「エネルギーが１００ｋｃａｌ以上」、提供情報のひな形Ｔ：「（飲食物名）は、明日にしましょう」
などというように、飲食時刻に係る条件と栄養価に係る条件とを提供情報のひな形に関連付けて記憶部１２に格納しておく。

そしてこの例の情報提供装置１は、推定累算栄養価情報を計算するとともに、現在時刻を参照し（図示しないカレンダーＩＣ等の計時手段から現在時刻の情報を取得すればよい）、予め定められた情報提供条件のいずれかを満足するか否かを調べる。

例えば上述の情報提供条件が設定されている場合に、利用者が飲食物「唐揚げ」に手を伸ばそうとしているときに、「唐揚げ」を摂取したときの推定累算栄養価情報のうちエネルギーの情報が１００ｋｃａｌを超えるときには、現在時刻が３：００以降で２１：００より前であれば、情報提供装置１は、上記情報提供条件を満足しないと判断する。一方、「唐揚げ」を摂取したときの推定累算栄養価情報のうちエネルギーの情報が１００ｋｃａｌを超え、かつ、現在時刻が２１：００以降で３：００より前であれば、情報提供装置１は、上記情報提供条件を満足したと判断して、当該条件に関連付けられている提供情報のひな形「（飲食物名）は、明日にしましょう」を取得する。そして情報提供装置１は、「（飲食物名）」の部分を、利用者が摂取しようとしている飲食物名である「唐揚げ」に置き換えて提供情報を生成して出力する。これにより、「唐揚げは、明日にしましょう」といった情報が、例えば音声にて提供される。

［飲食速度の考慮］
また情報提供装置１は、情報提供条件として飲食速度に係る条件を用いてもよい。この例では情報提供装置１は、飲食記録または摂取状態情報の記録を参照して、飲食態様情報の一例としての利用者の飲食速度を求め、飲食速度に基づく情報提供を行う。具体的に情報提供装置１は、飲食記録または摂取状態情報の記録に含まれる各データレコードの時刻の情報を参照し、ｉ番目に記録されたデータレコードとｉ＋１番目に記録されたデータレコードとにおける時刻の情報の差Δｔiを求める（なお、ｉ＝１，２，…）。さらに情報提供装置１は、この時刻の情報Δｔiの直近ｎ回分（ｎは任意に定めた正の整数）の平均Δｔavを求め、当該平均Δｔavが予め定めたしきい値を下回るとの条件（情報提供条件）を満足するときに、飲食速度が速いと判断して、「もうすこしゆっくりされてはいかがですか」といった情報を提供する。

また情報提供装置１は、摂取状態情報の記録から、栄養価ごとの上昇速度（単位時間あたりの平均の上昇量）を求め、当該求めた栄養価ごとの上昇速度に係る情報提供条件を用いて情報提供の処理を実行してもよい。この例では予め、栄養価ごとに、単位時間あたりの平均の上昇量についてのしきい値（当該しきい値を超えた場合に情報を提供する上側しきい値と、当該しきい値を下回る場合に情報を提供する下側しきい値とを含んでもよい）を情報提供条件として定めておく。

この例の情報提供装置１は、摂取状態情報の記録を参照して、ｉ番目に記録されたデータレコードにおける各栄養価νj［ｉ］とｉ＋１番目に記録されたデータレコードにおける各栄養価νj［ｉ＋１］との差の値Δνj［ｉ］を求める（なお、ｉ＝１，２，…、ｊ＝１，２，…）。そして情報提供装置１は、この時刻の情報Δνj［ｉ］の直近ｎ回分（ｎは任意に定めた正の整数）の平均Δνj_avを求め、当該平均Δνj_avが対応する栄養価について予め定められたしきい値（上側しきい値）を超えるとの条件を満足するとき、または対応する栄養価について予め定められたしきい値（下側しきい値）を下回るとの条件を満足するときに、情報提供の処理を実行する。

一例として、予め、「ビタミンＡ」の栄養価について、下側しきい値が１分あたり９マイクログラム、上側しきい値が３００マイクログラムとして設定されているとするとき、情報提供装置１は摂取状態情報を参照して、ビタミンＡに関する直近の、差の平均Δν(va)_avが、下側しきい値である９マイクログラムを下回るときには、配膳されている飲食物のうち、ビタミンＡが含まれている飲食物をランダムに、あるいはビタミンＡ含有量の多いものから順に、「（飲食物）をもうちょっと摂ったほうがいいですよ」といった情報を提供する。また、情報提供装置１はビタミンＡに関する直近の、差の平均Δν(va)_avが、上側しきい値である３００マイクログラムを超えると、ビタミンＡが含まれている飲食物をランダムに、あるいはビタミンＡ含有量の多いものから順に、「（飲食物）は、そろそろ食べ過ぎでは？」といった情報を提供する。

また、ここでは飲食の速度の情報として、単位時間あたりの飲食回数や、栄養価ごとの増加量を用いていたが、本実施の形態はこれに限られない。例えば、飲食物ごとの出現回数などの情報を用いてもよい。例えば本実施の形態の情報提供装置１は、現在時刻までの飲食物ｊ（ｊ＝１，２…）ごとの飲食回数Ｆ（ｋ，ｊ）を用い、利用者ｋごとの飲食回数の総和ＦＴ（ｋ）＝Σ_j（Ｆ（ｋ，ｊ））に対する各飲食物の飲食回数の比ＦＲ（ｋ，ｊ）＝Ｆ（ｋ，ｊ）／ＦＴ（ｋ）（なお、Σ_j（Ｘ）は、Ｘのｊについての総和を意味する）を求める。

そして、情報提供装置１は、飲食回数の比ＦＲ（ｋ，ｊ）が予め定めたしきい値を超えるときに、「（利用者ｋ）さん、（飲食物ｊ）ばかり食べていないで、他のものも食べましょう！」といった情報を提供する。ここで「（利用者ｋ）」は、利用者ｋの氏名の情報等に置き換える。また、「（飲食物ｊ）」は、飲食物ｊの飲食物名の情報に置き換えるものとする。

［飲食順］
また本実施の形態の一例では、情報提供条件として飲食順に係る条件を用いてもよい。この例では情報提供装置１は、飲食記録を参照して、飲食態様情報の一例としての利用者の飲食物の飲食順を調べる。そして情報提供装置１は、この飲食順が予め定められた条件を満足する場合に、当該条件に関連付けて予め設定された情報を提供する。例えば飲食順に係る条件として、「同じ飲食物が３回以上連続して出現する」との条件であるときに、提供するべき情報として「同じものばかり食べていないで、他のものも食べましょう」のような情報を関連付けて設定しておく。情報提供装置１は、飲食記録を参照し、ある利用者の飲食物の飲食順において同じ飲食物が３回以上連続して記録されているときに、「同じ飲食物が３回以上連続して出現する」との条件を満足すると判断し、当該条件に関連付けて設定されている、「同じものばかり食べていないで、他のものも食べましょう」との文字列情報に基づく音声を鳴動するなどして、情報の提供を行う。

［利用者ごとの設定］
またここまでの説明において、情報提供条件は利用者ごとに異なって設定されてもよい。一例として本実施の形態において情報提供条件には、利用者に関する条件が含まれてもよい。例えば推定累算栄養価情報に係る条件について、男女差や年齢差を考慮して、
（条件１ａ）栄養価に係る条件Ｃ：「亜鉛が３ミリグラム以下」かつ、利用者に係る条件Ｃu：年齢範囲が「１７才以下」または性別が「女性」、提供情報のひな形Ｔ：「（飲食物名）を、もう少し食べませんか？」
（条件１ｂ）栄養価に係る条件Ｃ：「亜鉛が４ミリグラム以下」かつ、利用者に係る条件Ｃu：年齢範囲が「１７才を超える」かつ性別が「男性」、提供情報のひな形Ｔ：「（飲食物名）を、もう少し食べませんか？」
などというように、設定することとする。

この例では、情報提供装置１は、予め利用者ごとの年齢（生年月日と現在日時とから演算されてもよい）や性別、身長、体重、体調等の情報の入力を受けて記憶しておく。また、撮像して得られた画像データから、利用者を認識して、利用者ごとの頭部の位置と手の位置とを識別する。ここで利用者の認識は、利用者が明示的に指定してもよいし、画像データから認識する処理を行ってもよい。また椅子等に重量計を設置し、その計測結果を受け入れて、利用者ごとに設定された体重の情報等と比較して利用者の着席位置を認識することとしてもよい。

そして利用者ｋについての推定累算栄養価情報が得られると、情報提供装置１は、当該利用者ｋの年齢と性別との情報を取得し、上記条件（１ａ）または（１ｂ）に含まれる栄養価に係る条件Ｃが満足され、かつ、利用者に係る条件Ｃuが満足されるときに、当該満足された条件に関連付けられた提供情報のひな形を読み出し、当該ひな形を用いて情報提供の処理を行う。

具体的に、利用者ｋについて得られた推定累算栄養価情報に含まれる栄養価「亜鉛」の値が３．５ミリグラムであり、当該利用者ｋが２０才の女性である場合、条件（１ａ），（１ｂ）のいずれも満足されないので、上記条件（１ａ）または（１ｂ）に基づく情報提供は行われない。

一方、利用者ｋ′について得られた推定累算栄養価情報に含まれる栄養価「亜鉛」の値が３．５ミリグラムであり、当該利用者ｋ′が２０才の男性である場合、条件（１ｂ）が満足されるので、「レバーを、もう少し食べませんか？」といった情報提供が行われる（レバーが食卓にあり、利用者ｋ′の手がレバーの配膳位置の方向に伸ばされているとき）。

［配膳行動］
さらに、ここまでの例では、飲食中の情報提供について説明したが、本実施の形態の情報提供装置１は必ずしも飲食中の情報提供に限って用いられなくてもよい。この例の情報提供装置１は、情報提供条件として、食卓を利用する利用者の人数で当該総和に含まれる各栄養価情報を除した値が、利用者一人あたりが食事ごとに摂取するべき値に到達しない栄養価があるとの条件や、利用者一人あたりが食事ごとに摂取すると過剰となる値に到達している栄養価があるとの条件に対して、それぞれ所定の提供情報のひな形を関連付けて設定しておく。

例えば、情報提供条件の一つとして、大人Ｎ名が飲食を行う食卓において鉄分が１０×Ｎミリグラム以下である、との条件に対して、「鉄分を含む食品はありませんか？」のような提供情報のひな形を関連付けて設定しておく。また別の情報提供条件では、大人Ｎ名が飲食を行う食卓において、ビタミンＡが２７００×Ｎマイクログラム以上である、との条件に対して、「すこし量が多すぎるようです」といった提供情報のひな形を関連付けて設定しておく。

この例の情報提供装置１は、食卓を撮像した画像データから配膳された飲食物を認識する。配膳の行動としては、利用者が、画像データの画角外から飲食物を食卓上へ移動させる行動があったときに配膳された、と判断すればよい。また、配膳の終了は、利用者が食卓近傍に予め定めたしきい値以上の時間だけとどまっているときに、配膳が終了したと判断することとしてもよい。また、情報提供装置１は、配膳終了時に食卓上にある飲食物を認識し、さらに配膳終了時に食卓近傍に所在する利用者の数Ｎを認識する。これらの認識の処理は、既に述べたように、広く知られた技術を採用できる。

情報提供装置１は、認識された各飲食物の栄養価情報の総和を求め、この総和に含まれる栄養価の値と、利用者の数Ｎとが満足する条件を含む情報提供条件があれば、当該情報提供条件に含まれる提供情報に基づく情報提供処理を実行する。

具体的に、上述のように鉄分に関する情報提供条件が設定されているとき、認識された配膳された飲食物が、ご飯各一膳分（鉄分の合計０．２ミリグラム）と、唐揚げ（鉄分の合計０．９ミリグラム）のみであり、認識された利用者の数Ｎ＝２であると、情報提供装置１は、これらから栄養価情報の一つとしての鉄分の合計が１．１ミリグラムであり、情報提供条件の一つである、鉄分が１０×Ｎ＝１０×２＝２０ミリグラム以下、との条件を満足するため、当該条件に関連付けられているひな形に基づいて、「鉄分を含む食品はありませんか？」といった音声を鳴動する。

なお、ここでの例でも、情報提供条件には配膳の時刻が含まれてもよい。例えば午後１１時頃に配膳される飲食物に関する情報提供条件に含まれるカロリーに係る条件は、午後７時頃に配膳される飲食物にする情報提供条件に含まれるカロリーに係る条件よりも厳しく（より少ないカロリー量で「食べ過ぎです」といった情報提供が行われるように）設定され、情報提供装置１は、配膳終了時の時刻情報を取得して、この時刻情報に係る条件も満足する情報提供条件を検索することとする。

［過去の飲食記録に基づく情報提供］
さらに飲食態様の情報としては、利用者の過去の食事（直前の食事、直近１週間、直近１ヶ月の食事など）で飲食された飲食物の情報（各飲食物の種類、それぞれの飲食量、飲食順、飲食速度などの記録）が含まれてもよい。

この例では、情報提供装置１は、利用者の過去の食事の記録に含まれる飲食物の情報に基づいて、摂取した栄養価情報等を求める。一例として情報提供装置１は、情報提供の処理を行っている日から直近１週間の飲食の記録に、飲食物名と飲食量の情報が含まれる場合は、当該飲食物名の情報をキーとして、栄養価データベースを参照し、飲食量の情報で補正して、直近一週間の間に摂取した栄養価の情報（週間累計摂取栄養価情報）を生成する。

この例では、情報提供条件を、この週間累計摂取栄養価情報に基づいて変更してもよい。一例として「日ごとの累計摂取栄養価情報に含まれるエネルギーの値が、３０００キロカロリー以上である」との条件が設定されているとき、週間累計摂取栄養価情報により、直近７日間の平均の日ごとの摂取エネルギーが３０００キロカロリーを超えている場合（７日間の週間累計摂取栄養価情報に含まれるエネルギーの情報が２１０００キロカロリーを超える場合）には、提供情報のひな形として「今日はもうそろそろ飲食を控えましょう」などという提供情報に関連付けられた、「日ごとの累計摂取栄養価情報に含まれるエネルギーの値が、３０００キロカロリー以上である」との条件を補正して、「日ごとの累計摂取栄養価情報に含まれるエネルギーの値が、２８００キロカロリー以上である」とする。

また逆に、直近７日間の平均の日ごとの摂取エネルギーが３０００キロカロリーを、所定の閾値（例えば５００キロカロリー）を超えて下回る場合（この例の場合、７日間の週間累計摂取栄養価情報に含まれるエネルギーの情報が１７５００キロカロリーを下回る場合）には、「日ごとの累計摂取栄養価情報に含まれるエネルギーの値が、３０００キロカロリー以上である」との条件を補正して、「日ごとの累計摂取栄養価情報に含まれるエネルギーの値が、３２００キロカロリー以上である」とする。

この例によると、近時の栄養価の情報も考慮して、一日の栄養価の摂取量に応じた処理を行うことが可能となる。

なお、ここでは栄養価の情報に基づいて情報提供条件を補正する例について述べたが、情報提供条件の補正は、これに限られず、利用者の属性の情報、すなわち、直近の身長・体重・体脂肪率や、運動量、活動量の変化等、あるいは病歴の情報に基づいて行ってもよい。

例えば過去に結石の病歴がある場合は、肉類の摂取量に関する情報提供条件を補正して、より少ない摂取量で情報提供が行われるように設定してもよい。

［飲食態様の他の例］
また本実施の形態の情報提供装置１の制御部１１が実現する飲食態様情報生成部２３は、ここまでの説明のように、利用者が「飲食物に手を伸ばしている」行動と、「飲食物を摂取する」行動とを認識して飲食記録として記録するほか、次のような行動を認識して飲食記録に含めてもよい。

例えば、飲食態様情報生成部２３は、利用者ごとに、
「ご飯のおかわりをした」
「飲み物を飲んだ」
「飲み物を注ぎ足した」
「飲食を終了した」
などの行動を認識し、飲食記録に含めてもよい。これらの行動の認識は、例えば利用者が画像データの画角外に出たことや、茶碗やコップ等の中身の増減、等に基づいて判断する、公知の技術が利用できるので、ここでの詳しい説明を省略する。

［変形例］
さらに本実施の形態の以上の例では、食卓における飲食行動についての情報提供を行う場合を例として説明したが、本実施の形態はこれに限られず、例えば飲食店においてテーブルごとの顧客の飲食行動についてのサービスに用いられてもよい。

［サーバとの通信］
また、ここまでの説明においては、情報提供条件や、栄養価データベース等は記憶部１２に格納されているものとしたが、本実施の形態はこれに限られず、通信部１５を介して通信可能なネットワーク上のサーバにこれらが格納されていてもよい。この場合、制御部１１は、情報提供条件や栄養価データベースに含まれる情報を、サーバから取得することとなる。

さらに、飲食記録等、情報提供装置１が生成する記録も、ネットワークを介して通信可能なサーバ上に記録されてもよい。

［外食記録との連携］
さらに本実施の形態の一例では、情報提供装置１は、利用者の外食の記録を、例えば利用者の持つスマートフォンや、ネットワークを介して接続されたサーバから取得して、飲食記録の内容とともに、情報提供の処理に用いてもよい。

この例では、情報提供装置１は、外食の記録に含まれる飲食物の情報や、摂取した栄養価情報等を、飲食記録の内容や、摂取栄養価情報とともに用いる。一例として情報提供装置１は、情報提供の処理を行っている当日の外食の記録に、外食した飲食物名の情報が含まれる場合は、当該飲食物名の情報をキーとして、栄養価データベースを参照し、外食で摂取した栄養価の情報を得る。

そして情報提供装置１は、飲食記録に基づいて生成した摂取栄養価情報に含まれる栄養価の情報に、外食で摂取した、対応する栄養価の情報や、当日の別の飲食の際の飲食記録（現在が夕食であれば、同じ食卓で摂られた朝食や昼食での飲食記録）に基づく摂取栄養価情報の、対応する栄養価の情報を加算して、日ごと累計摂取栄養価情報を生成する。

またこの例では、情報提供条件に含める条件として、この日ごと累計摂取栄養価情報に基づく条件を含める。一例として「日ごと累計摂取栄養価情報に含まれるエネルギーの値が、３０００キロカロリー以上である」との条件に対して、提供情報のひな形として「今日はもうそろそろ飲食を控えましょう」といった情報を関連付けて設定しておく。この例によると、外食も考慮して、一日の栄養価の摂取量に応じた処理を行うことが可能となる。

［機械学習を用いる例］
さらに本実施の形態の情報提供装置１は、以上の説明のように、情報提供条件を設定して、条件分岐により情報提供を行う処理に代えて、機械学習した結果を用いて提供する情報を決定することとしてもよい。この例に係る情報提供装置１の制御部１１の提供情報生成部２４は、飲食態様情報と、過去の提供情報（直近所定回数分の提供情報でよい）を特定する情報と、現在の時刻とを入力とするニューラルネットワークを含んで構成される。このニューラルネットワークは、予め定められている複数の提供情報のいずれかを選択する情報を出力する。

本実施の形態のこの例では、提供情報生成部２４は、例えば飲食態様情報ｘ［ｔi］と、過去の提供情報としての直前の提供情報ａ［ｔi-1］と、現在の時刻ｔiとに基づいて利用者ごとに利用者の状態を表すベクトル情報ｓt＝ｆ（ｘ［ｔi］，ａ［ｔi-1］，ｔi）を生成する。また、このベクトル情報には、過去の利用者の状態を表すベクトル情報を含めてもよい。つまり、ｓt＝ｆ（ｘ［ｔi］，ａ［ｔi-1］，ｔi，ｓt-1）としてもよい。

提供情報生成部２４は、このベクトル情報ｓtを入力とするニューラルネットワークを用いて、予め定められている複数の提供情報のいずれかを選択する情報を出力する。

利用者、または情報提供装置１の管理者は、実際にいくつかの飲食態様情報と、過去の提供情報を特定する情報と、現在の時刻とを入力し、当該飲食態様情報と、過去の提供情報を特定する情報と、現在の時刻とが入力されたときに出力されるべき提供情報を選択する情報を、このニューラルネットワークに与えて、いわゆる教師付き学習を行わせて、上記入力に対する正解となる出力を学習させる。このようなニューラルネットワークの学習過程は、広く知られた技術であるので、ここでの説明は省略する。

本実施の形態のこの例では、学習によりニューラルネットワーク内の状態情報（各層におけるベクトルの変換パラメータやバイアス等の情報）が得られるが、ニューラルネットワークは必ずしも情報提供装置１内に記憶されている必要はなく、ネットワークを介して接続されたサーバ側に記憶されていてもよい。この場合、サーバに記憶されたニューラルネットワーク内の状態情報が、各所に配置された複数の情報提供装置１からの情報によって学習され、利用者をまたいだ学習が行われることとなり、学習効率が向上する。

またここでの例のように、提供情報と利用者の行動の時系列情報に基づくベクトルを入力として機械学習を行うことで、適切な提供情報の選択（効果のある提供情報のより早い段階での選択）の可能性が高められる。

［提供情報の変形例］
なお、ここまでの説明において提供情報のひな形や、ニューラルネットワークの出力として予め設定された複数の提供情報のうちには、互いに同じ趣旨の情報でありながら、表現の方法が異なるものを含んでもよい。

例えば、所定の飲食物の摂取を控えるよう促す趣旨の提供情報であっても、
「今日はもう（飲食物名）は、やめておきましょう。」
「（飲食物名）を食べ過ぎです！」
「もうやめましょう！」
のように互いに異なる表現のものを含んでもよい。さらに、文字列として同じであっても、発声方法を異ならせた（アクセントや音声の高低が異ならされている）提供情報が含まれていてもよい。

［情報提供のタイミング］
さらに、ここまでの例では、飲食態様情報が生成されるときに情報提供が行われる例としていたが、本実施の形態はこれに限られず、飲食終了後の所定のタイミングで情報提供が行われるよう制御されてもよい。この例の情報提供装置１では、例えば、提供情報のひな形や、ニューラルネットワークの出力として予め設定された複数の提供情報のうちに、提供タイミングに係る情報を含めておく。この提供タイミングの情報は、「即時」、「食後」、「明日朝」のように設定しておき、情報提供処理部２５は、この提供タイミングの情報を含む提供情報を、提供情報生成部２４から受け入れる。そして情報提供勝利部２５は、当該受け入れた提供情報を、受け入れた提供タイミングで利用者に対して提供する。

［実施の形態の効果］
本実施の形態の例によると、利用者の飲食行動の際に、飲食行動に関する情報を提供できる。

１ 情報提供装置、１１ 制御部、１２ 記憶部、１３ 撮像部、１４ 情報提供部、１５ 通信部、２１ 映像受入部、２２ 認識処理部、２３ 飲食態様情報生成部、２４ 提供情報生成部、２５ 情報提供処理部。

Claims (6)

1. 利用者が、配膳された少なくとも一つの飲食物を飲食する場面を撮像する撮像手段と、
   前記配膳された飲食物を識別する識別手段と、
   前記撮像手段により撮像された映像に基づいて、利用者が前記識別された各飲食物のうち、どの飲食物を飲食しようとしているかを表す飲食対象候補情報を取得する手段と、
   前記飲食対象候補情報と、利用者が過去の所定期間に飲食した飲食物を表す飲食記録とを含む飲食態様情報を生成する生成手段と、
   を含み、
   前記撮像手段による飲食場面の撮像中に、前記生成された飲食態様情報に基づく所定の情報提供処理が実行され、
   前記飲食記録に基づいて利用者が摂取した栄養価の値を累算した情報を求め、当該累算した栄養価の情報が予め定めた情報提供条件のいずれかを満足する場合に、当該情報提供条件に関連付けて定められた情報を提供する情報提供装置。
2. 請求項１記載の情報提供装置であって、
   前記情報提供条件には、累算した栄養価が所定の値を超えるとの条件を含み、当該条件には、飲食を抑制または勧める情報が関連付けられている情報提供装置。
3. 請求項１または２に記載の情報提供装置であって、
   前記飲食記録に基づく、利用者が摂取した栄養価の値を累算した情報と、前記飲食対象候補情報が表す、飲食しようとしている飲食物を飲食したときに利用者が摂取することとなる栄養価の情報である推定栄養価情報とを加算して、推定累算栄養価情報を取得し、当該推定累算栄養価情報が予め定めた情報提供条件のいずれかを満足する場合に、当該情報提供条件に関連付けて定められた情報を提供する情報提供装置。
4. 請求項３に記載の情報提供装置であって、
   前記情報提供条件には、推定累算栄養価情報が所定の値を超えるとの条件を含み、当該条件には、前記飲食対象候補情報が表す、飲食しようとしている飲食物の飲食を抑制または勧める情報が関連付けられている情報提供装置。
5. 請求項１から４のいずれか一項に記載の情報提供装置であって、
   前記所定の情報提供処理は、
   前記生成手段が過去の情報提供処理の実行前に生成した飲食態様情報と、前記過去の情報提供処理の実行後に生成した飲食態様情報との相違に基づいて実行される情報提供装置。
6. 利用者が、配膳された少なくとも一つの飲食物を飲食する場面を撮像する撮像手段に接続されるコンピュータを、
   前記配膳された飲食物を識別する識別手段と、
   前記撮像手段により撮像された映像に基づいて、利用者が前記識別された各飲食物のうち、どの飲食物を飲食しようとしているかを表す飲食対象候補情報を取得する手段と、
   前記飲食対象候補情報と、利用者が過去の所定期間に飲食した飲食物を表す飲食記録とを含む飲食態様情報を生成する生成手段と、
   として機能させ、
   前記撮像手段による飲食場面の撮像中に、前記生成された飲食態様情報に基づく所定の情報提供処理をコンピュータに実行させ、前記飲食記録に基づいて利用者が摂取した栄養価の値を累算した情報を求め、当該累算した栄養価の情報が予め定めた情報提供条件のいずれかを満足する場合に、当該情報提供条件に関連付けて定められた情報を提供させるプログラム。
   

Images