JP4459659B2 - 飲食物摂取状態管理システム。 - Google Patents

Description

本発明は、画像処理によって個人ごとの飲食物の摂取状態を管理可能な飲食物摂取状態管理システムに関する。

従来より、食器取り分け用の盆及び当該盆上に載置された食器並びに当該食器に盛られた飲食物の画像を撮像する撮像手段を備え、当該撮像装置にて撮像された画像情報より盆上に載置された食器の種別と個数とを判別して、飲食代金を自動的に精算する飲食代金自動精算装置が知られている（例えば、特許文献１参照。）。

この飲食代金自動精算装置を用いると、無人で飲食代金の精算を自動的に行うことができるので、カフェテリア形式の食堂における飲食代金の精算を効率化することができる。
特開平１０−０６９５７９号公報

ところで、近年においては、成人病の予防や治療などのために飲食物の摂取状態を管理することが求められており、病院のみならず家庭においても、個人ごとの飲食物の摂取状態を厳密に把握することが重要になっている。そして、飲食物の摂取状態を厳密に把握するためには、摂取された飲食物の種類、量、素材、調理法及び栄養価などを総合的に管理する必要がある。

しかるに、家庭においては、家族ごとに上記の如き詳細な項目に亘って飲食物の摂取状態を把握することは甚だ困難であり、特に、勤務先や外出先で飲食した飲食物の摂取状態については全く把握することができない。また、病院においても通院患者に関しては自己申告によって飲食物の摂取状態を把握する以外に手だてがなく、入院患者に関しても医師や看護士が食事後の食器の状態をみて食欲の有無を感覚的に知る以外に飲食物の摂取状態を把握することができない。

前記飲食代金自動精算装置には、撮像装置と当該撮像装置にて撮像された画像情報の処理装置とが備えられているので、これを応用すれば、飲食前後の画像情報の比較から個人ごとの摂取した飲食物の種類及び量を検出することができる。

しかしながら、従来の飲食代金自動精算装置には、飲食物の名称、容量及び熱量が記憶されている程度で、飲食物の素材、調理法及び栄養価などに関する情報が記憶されていないのが普通であり、また、撮像装置にて撮像された画像情報から飲食物の摂取状態に関する情報を算出する演算手段や当該演算手段にて算出された飲食物の摂取状態に関する情報を所要の受信装置に配信する配信手段を備えていないので、このままでは飲食物摂取状態管理システムとして適用することは到底不可能である。

本発明は、かかる知見に基づいてなされたものであり、その目的は、画像処理によって個人ごとの飲食物の摂取状態を管理可能な飲食物摂取状態管理システムを提供することにある。

本発明は、前記課題を解決するため、飲食物摂取状態管理システムを、食器取り分け用の盆及び当該盆上に載置された食器並びに当該食器に盛られた飲食物の３次元画像を撮像する撮像手段と、前記食器に盛られる飲食物に関する情報を記憶する記憶手段と、前記撮像手段にて撮像された飲食後の前記食器及びこれに盛られた飲食物の３次元画像並びに前記記憶手段に予め登録された前記食器の形状から飲食後の前記飲食物の残量情報を算出すると共に、前記記憶手段に記憶された飲食前の前記飲食物に関する情報と前記飲食物の残量情報の差分及び前記記憶手段に記憶された当該飲食物に関する栄養価情報から飲食物の摂取状態に関する情報を算出する演算手段と、該演算手段にて算出された前記飲食物の摂取状態に関する情報を配信する配信手段と、該配信手段より配信された前記飲食物の摂取状態に関する情報を受信する受信手段と、前記配信手段と前記受信手段を接続する通信回線とを備えるという構成にした。

このように、撮像手段、記憶手段、演算手段、配信手段、受信手段及び通信回線を備えて飲食物摂取状態管理システムを構成すると、撮像手段によって撮像された飲食前後の画像情報及び記憶手段に記憶された飲食物に関する情報より演算手段にて個人ごとの飲食物の摂取状態に関する情報を算出することができ、この摂取状態に関する情報を配信手段及び通信回線を介して受信手段に配信することができるので、家庭や病院などにおいて個人の飲食物の摂取状態を詳細に把握することが可能になり、当該個人の健康管理や病気の治療を有効に行うことができる。

また、本発明は、前記構成の飲食物摂取状態管理システムにおいて、前記記憶手段に記憶される前記飲食物に関する情報には、前記食器に盛られた飲食物の画像情報、栄養価情報、容量情報及びレシピ情報を含むという構成にした。

このように、飲食物に関する情報に、前記食器に盛られた飲食物の画像情報、栄養価情報、容量情報及びレシピ情報を含むと、個人が飲食している飲食物に関する情報を総合的に知ることができるので、個人の健康管理や病気の治療を有効に行うことができると共に、配信手段及び通信回線並びに受信手段を介して飲食物に関する情報の配信を受けた者の知識を豊富にすることができ、家庭や病院などにおける料理のレパートリーを増やすことができる。

また、本発明は、前記構成の飲食物摂取状態管理システムにおいて、前記食器に盛られた飲食物の代金を精算する精算手段を備え、前記撮像手段にて飲食前の前記盆上に載置された食器の画像を撮像し、前記精算手段にて前記盆上に載置された食器の種別と個数を判別して飲食代金を自動的に精算するという構成にした。

このように、盆上に載置された食器の種別と個数を判別して飲食代金を自動的に精算する精算手段を備えると、飲食物摂取状態管理システムに飲食代金自動精算装置としての機能を付加することができるので、飲食物摂取状態管理システムの多機能化及び多用途化を図ることができる。

また、本発明は、前記構成の飲食物摂取状態管理システムにおいて、前記配信手段は、前記受信手段としてのパーソナルコンピュータ及び携帯電話の双方に対応可能であるという構成にした。

このように、配信手段としてパーソナルコンピュータ及び携帯電話の双方に対応可能なものを備えると、受信手段の種別を増やすことができ、受信手段側における情報の取得を容易なものにすることができるので、システムの実用性を高めることができる。

本発明の飲食物摂取状態管理システムのうち、撮像手段、記憶手段、演算手段、配信手段、受信手段及び通信回線を備えたものは、撮像手段によって撮像された飲食前後の画像情報及び記憶手段に記憶された飲食物に関する情報より演算手段にて個人ごとの飲食物の摂取状態に関する情報を算出することができ、この摂取状態に関する情報を配信手段及び通信回線を介して受信手段に配信することができるので、家庭や病院などにおいて個人の飲食物の摂取状態を詳細に把握することが可能になり、当該個人の健康管理や病気の治療を有効に行うことができる。

また、本発明の飲食物摂取状態管理システムのうち、撮像手段、記憶手段、配信手段、受信手段及び通信回線を備えたものは、記憶手段に記憶された飲食物に関する情報を配信手段及び通信回線を介して受信手段に配信することができるので、家庭や病院などにおいて個人が飲食している飲食物を詳細に把握することが可能になり、個人の健康管理や病気の治療を有効に行うことができる。

本発明に係る飲食物摂取状態管理システムの実施形態を図１乃至図９に基づいて説明する。図１は実施形態例に係る飲食物摂取状態管理システムの構成図、図２は実施形態例に係る撮像装置及び照明装置の配置を示す光学系配置図、図３は実施形態例に係る撮像画像の説明図、図４は実施形態例に係る精算用コンピュータに格納される教示テーブルの説明図、図５は実施形態例に係る精算用コンピュータに格納される金額テーブルの説明図、図６は実施形態例に係るタッチパネルの表示形式を示す説明図、図７は実施形態例に係る記憶装置に記憶される飲食物に関する情報の説明図、図８は実施形態例に係る飲食物摂取情報演算装置において行われる処理の手順を示すフローチャート、図９は実施形態例に係る飲食物摂取情報の説明図である。

図１に示すように、実施形態例に係る飲食物摂取状態管理システムは、飲食代金自動精算装置１と、当該飲食代金自動精算装置１とＬＡＮ２を介して接続された配信用コンピュータ（ウェブサーバー）３と、当該配信用コンピュータ３に接続された記憶装置４及び飲食物摂取情報演算装置５と、前記配信用コンピュータ３と通信回線６を介して接続された閲覧用の端末機器７とから構成されている。

飲食代金自動精算装置１は、本願出願人が先に特開平１０−０６９５７９号公報で提案したものであって、撮像装置１１と、照明装置１２と、タッチパネル１３と、カードリーダ１４と、これらの各装置１１〜１４を制御する精算用コンピュータ１５とから構成されている。

撮像装置１１及び照明装置１２は、図２に示すように、精算台２１と対向に配置されており、精算台２１上にセットされた食器取り分け用の盆２２及び当該盆２２上に載置された食器２３ａ，２３ｂ並びに当該食器２３ａ，２３ｂに盛られた飲食物２４ａ，２４ｂの画像を撮像する。撮像装置１１としてはテレビカメラやデジタルスチルカメラが用いられ、照明装置１２としては液晶プロジェクタなどのパターン照射装置が用いられる。これら撮像装置１１及び照明装置１２は、三角測量の原理により食器２３ａ，２３ｂの高さを情報として取り込むため、精算台２１に関して撮像装置１１の撮像光軸Ｘと照明装置１２の照明光軸Ｙとが互いに内向きに傾斜して配置される。

このように撮像装置１１の撮像光軸Ｘと照明装置１２の照明光軸Ｙとを互いに傾斜し、照明装置１２からスリット光１２ａ，１２ｂを照射すると、食器２３ａ，２３ｂのそれぞれ高い部分に照射された光が盆２２の表面に照射された光からずれるため、その画像は、図３に例示するように、盆２２の表面に対して食器２３ａ，２３ｂの高い部分が左右にずれた画像となる。そして、このときのスリット光１２ａ，１２ｂの照射角度と撮像された光のずれの程度により、光が照射された位置の高さ、即ち、食器２３ａ，２３ｂの高さを計算することができる。図３の例では、食器２３ａの部分の光のずれが食器２３ｂの部分の光のずれよりも大きいので、食器２３ｂよりも食器２３ａの方が高いことを判別できる。

また、図２に矢印Ａで示すように、スリット光１２ａ，１２ｂを振って盆２２の全体を走査することにより、盆２２の表面からの高さ情報を含んだ３次元的な画像情報を生成することができる。そして、この画像情報を解析することにより、３次元的な食器の形状の判別が可能となるので、予め食器の形状を登録しておくことにより、それに盛られる飲食物の体積を算出することができる。さらに、前記画像情報を解析することにより、３次元的な食器の形状とそれに盛られた飲食物の形状の判別が可能となるので、食前と食後の飲食物の差分を求めることにより、飲食物の摂取量を算出することができる。

精算用コンピュータ１５には、図４に示す教示テーブル３１と図５に示す金額テーブル３２とが格納されている。教示テーブル３１には、図４に示すように、食器番号３３、食器の名称３４、縁の平均高さ３５、縁内の面積３６及び縁の周囲長３７が表形式で登録されており、金額テーブル３２には、図５に示すように、食器番号３３、食器の名称３４及び各食器に盛られた飲食物の価格３８が表形式で登録されている。

精算用コンピュータ１５は、前記撮像装置１１にて撮像された画像情報より各食器２３ａ，２３ｂの特徴点を抽出し、抽出された特徴点と教示テーブル３１に登録された教示情報とを比較して画像情報に合致する食器番号３３及び食器３４の名称を選択すると共に、選択された食器番号３３及び食器の名称３４に対応する価格３８を金額テーブル３２より選択し、図６に示すように、選択された食器の名称３４とこれに対応する価格３８と合計金額３９とをタッチパネル１３に表示する。利用者は、タッチパネル１３に表示された合計金額３９が正しい場合には、タッチパネル１３に表示された確認ボタン４０Ａを操作した後にカードリーダ１４に精算カードを差し込み、精算用コンピュータ１５に提供された飲食物の精算を求める。精算用コンピュータ１５は、差し込まれた精算カードの適否を確認した後、残金情報より前記合計金額を差し引いて、新たな残金情報を精算カードに書き込む。これによって、飲食代金の精算を自動的に行うことができるので、カフェテリア形式の食堂における飲食代金の精算を効率化することができる。

なお、飲食代金の詳細な精算方式については、特開平１０−０６９５７９号公報に記載の方式を応用することができる。

記憶装置４には、図７に示すように、飲食物に関する情報として、メニュー名情報４１と、食器に盛られた飲食物の画像情報４２と、栄養価情報４３と、容量情報４４と、レシピ情報４５とが、各ジャンルごとに区分し、かつ各メニューごとに随時登録及び読み出し可能な形式で登録されている。

飲食物摂取情報演算装置５は、前記撮像装置１１にて撮像された飲食後の飲食物の３次元画像情報より飲食後の飲食物の残量情報を算出し、当該残量情報と前記記憶装置４に記憶された画像情報４２との差より飲食物の摂取量情報を算出し、さらには、当該摂取量情報と前記記憶装置４に記憶された栄養価情報４３とから栄養価の摂取情報を算出する。この栄養価の摂取情報は、前記記憶装置４に記憶される。

以下、飲食物摂取情報演算装置５における処理内容を、図８及び図９に基づいてより詳細に説明する。

利用者が飲食後の食器２３ａ，２３ｂが載置された盆２２を飲食代金自動精算装置１の精算台２１上のセットし（手順Ｓ−１）、タッチパネル１３に表示された撮影ボタン４０Ｂを操作すると（手順Ｓ−２）、撮像装置１１が飲食後の盆２２及び食器２３ａ，２３ｂの画像を撮像し（手順Ｓ−３）、精算用コンピュータ１５及び配信用コンピュータ３を介して当該画像情報を飲食物摂取情報演算装置５に送信する（手順Ｓ−４）。飲食物摂取情報演算装置５は、送信された画像情報を画像処理して飲食後の飲食物の残量情報を算出する（手順Ｓ−５）。また、飲食物摂取情報演算装置５は、配信用コンピュータ３を介して記憶装置４に記憶された画像情報４２を取り込み、残量情報と画像情報４２との差より飲食物の摂取量情報を算出する（手順Ｓ−６）。さらに、飲食物摂取情報演算装置５は、算出された摂取量情報と記憶装置４に記憶された栄養価情報４３（例えば、１００ｍｌ当たりの栄養価）とから、摂取量情報に相当する図９に示す栄養価の摂取情報５１（絶対値）を算出する（手順Ｓ−７）。最後に、この栄養価の摂取情報５１を、個人識別情報と共に配信用コンピュータ３を介して記憶装置４に記憶する（手順Ｓ−８）。なお、記憶装置４に記憶された栄養価の摂取情報５１は、記憶装置４の有効利用を図るため、日単位、週単位又は月単位で自動的に削除するようにすることもできる。

配信用コンピュータ３は、個人識別情報を付した閲覧用の端末機器７からの要求に応じて、記憶装置４に記憶された当該個人の飲食物に関する情報４１〜４５及び栄養価の摂取情報５１を配信する。利用者は、閲覧用の端末機器７を介して飲食物に関する情報４１〜４５を得ることにより、料理に関する知識やレパートリーを増やすことができる。また、家庭においては、昼食のメニューとは異なる夕食のメニューを用意することができ、同一食の重複を避けることができる。さらに、閲覧用の端末機器７を介して栄養価の摂取情報５１を得ることにより、家庭や病院などにおいて個人の飲食物の摂取状態を詳細に把握することが可能になる。配信用コンピュータ３は、パーソナルコンピュータと携帯電話の双方に対応できるように構成されており、図１に示すように、閲覧用の端末機器７としては、パーソナルコンピュータと携帯電話の双方を用いることができる。

本例の飲食物摂取状態管理システムは、閲覧用の端末機器７を介して記憶装置４に記憶された飲食物に関する情報４１〜４５及び栄養価の摂取情報５１を利用者に配信することができるので、家庭や病院などにおいて個人の飲食物の摂取状態を詳細に把握することが可能になり、当該個人の健康管理や病気の治療を有効に行うことができる。

また、本例の飲食物摂取状態管理システムは、飲食物に関する情報に、食器に盛られた飲食物の画像情報４２、栄養価情報４３、容量情報４４及びレシピ情報４５を含むので、個人が飲食している飲食物に関する情報を総合的に知ることができ、個人の健康管理や病気の治療を有効に行うことができると共に、利用者の料理に関する知識を豊富にすることができ、家庭や病院などにおける料理のレパートリーを増やすことができる。

また、本例の飲食物摂取状態管理システムは、飲食代金自動精算装置１を備え、飲食代金を自動的に精算するので、飲食物摂取状態管理システムに飲食代金自動精算装置としての機能を付加することができ、飲食物摂取状態管理システムの多機能化及び多用途化を図ることができる。

また、本例の飲食物摂取状態管理システムは、配信用コンピュータ３をパーソナルコンピュータ及び携帯電話の双方に対応可能に構成したので、閲覧用の端末機器７の種別を増やすことができ、閲覧用の端末機器７側における情報の取得を容易なものにすることができて、システムの実用性を高めることができる。

なお、前記実施形態においては、飲食代金自動精算装置１を備え、飲食代金を自動的に精算するようにしたが、本発明の要旨はこれに限定されるものではなく、飲食代金の精算にのみ適用されるカードリーダ１４については、これを省略することもできる。

また、前記実施形態においては、飲食物摂取情報演算装置５を備え、栄養価の摂取情報５１を配信するようにしたが、本発明の要旨はこれに限定されるものではなく、飲食物摂取情報演算装置５を省略し、記憶装置４に記憶された飲食物に関する情報４１〜４５のみを送信するようにすることもできる。この場合にも、家庭や病院などにおいて個人が飲食している飲食物をある程度詳細に把握することができるので、個人の健康管理や病気の治療を有効に行うことができる。

さらに、前記実施形態においては、飲食物に関する情報４１〜４５及び／又は栄養価の摂取情報５１のみを配信するようにしたが、本発明の要旨はこれに限定されるものではなく、記憶装置に利用者の年齢、性別、身長、体重、病歴などの個人情報を記憶しておき、飲食物摂取情報演算装置５にて摂取された飲食物又は栄養価が個人情報に照らして適当であるか否かを判定することによって、利用者に飲食物に関する情報４１〜４５と栄養価の摂取情報５１と前記判定結果とを送信するという構成にすることもできる。

実施形態例に係る飲食物摂取状態管理システムの構成図である。 実施形態例に係る撮像装置及び照明装置の配置を示す光学系配置図である。 実施形態例に係る撮像画像の説明図である。 実施形態例に係る精算用コンピュータに格納される教示テーブルの説明図である。 実施形態例に係る精算用コンピュータに格納される金額テーブルの説明図である。 実施形態例に係るタッチパネルの表示形式を示す説明図である。 実施形態例に係る記憶装置に記憶される飲食物に関する情報の説明図である。 実施形態例に係る飲食物摂取情報演算装置において行われる処理の手順を示すフローチャートである。 実施形態例に係る飲食物摂取情報の説明図である。

符号の説明

１ 飲食代金自動精算装置
２ ＬＡＮ
３ 配信用コンピュータ
４ 記憶装置
５ 飲食物摂取情報演算装置
６ 通信回線
７ 閲覧用の端末機器
１１ 撮像装置
１２ 照明装置
１３ タッチパネル
１４ カードリーダ
１５ 精算用コンピュータ
２１ 精算台
２２ 盆
２３ａ，２３ｂ 食器
２４ａ，２４ｂ 飲食物
３１ 教示テーブル
３２ 金額テーブル
４１〜４５ 飲食物に関する情報
５１ 栄養価の摂取情報

Claims (4)

1. 食器取り分け用の盆及び当該盆上に載置された食器並びに当該食器に盛られた飲食物の３次元画像を撮像する撮像手段と、
   前記食器に盛られる飲食物に関する情報を記憶する記憶手段と、
   前記撮像手段にて撮像された飲食後の前記食器及びこれに盛られた飲食物の３次元画像並びに前記記憶手段に予め登録された前記食器の形状から飲食後の前記飲食物の残量情報を算出すると共に、前記記憶手段に記憶された飲食前の前記飲食物に関する情報と前記飲食物の残量情報の差分及び前記記憶手段に記憶された当該飲食物に関する栄養価情報から飲食物の摂取状態に関する情報を算出する演算手段と、
   該演算手段にて算出された前記飲食物の摂取状態に関する情報を配信する配信手段と、
   該配信手段より配信された前記飲食物の摂取状態に関する情報を受信する受信手段と、
   前記配信手段と前記受信手段を接続する通信回線とを備えたことを特徴とする飲食物摂取状態管理システム。
2. 前記記憶手段に記憶される前記飲食物に関する情報には、前記食器に盛られた飲食物の画像情報、栄養価情報、容量情報及びレシピ情報を含むことを特徴とする請求項１に記載の飲食物摂取状態管理システム。
3. 前記食器に盛られた飲食物の代金を精算する精算手段を備え、前記撮像手段にて飲食前の前記盆上に載置された食器の画像を撮像し、前記精算手段にて前記盆上に載置された食器の種別と個数を判別して飲食代金を自動的に精算することを特徴とする請求項１又は請求項２のいずれか１項に記載の飲食物摂取状態管理システム。
4. 前記配信手段は、前記受信手段としてのパーソナルコンピュータ及び携帯電話の双方に対応可能であることを特徴とする請求項１に記載の飲食物摂取状態管理システム。

Images