JPWO2017199389A1 - 情報提供システム、情報提供方法および情報提供プログラム - Google Patents

Abstract

【課題】携帯端末のユーザに対し、多様な食材情報を利用しながら、かつ、ユーザにとって簡易な方法で情報を提供できる情報提供システムを実現する。
【解決手段】情報提供システムは、携帯端末１０とシステムサーバ２０とがインターネット３０で接続されてなる。携帯端末１０は、携帯端末１０で撮影された撮影画像に対して解析を行ってパラメータの抽出を行うＯＣＲ処理部１６と食材認識部１７とを備えている。システムサーバ２０は、抽出された記パラメータに対応する情報を出力するデータベース２２を備えている。データベース２２から出力された情報は、システムサーバ２０から携帯端末１０に送信され、携帯端末１０にて表示されてユーザに提示される。
【選択図】図１

Description

本発明は、スマートフォンやタブレット等の携帯端末を利用し、食材や料理に関する情報提供を行う情報提供システム、情報提供方法および情報提供プログラムに関する。

特許文献１には、携帯端末に備えられたデジタルカメラ等を用いて、印刷された広告やカタログを撮影し、撮影画像の情報を用いて商品の注文を行うことが開示されている。また、特許文献１には、類似の注文サービスとして、レストランのメニューに対してカメラを使用し、客が自分の注文を直接レストランのキッチンに転送するといったメニュー注文方法も開示されている。

特表２００４−５１４２２５号公報

雑誌、テレビ、インターネット等の様々なメディアが食に関しての多様な情報を発信している。そのような情報としては、例えば、美容や健康管理に効果の高い食材、あるいは特定の病気や疾患に対して避けるべき食材等の食材情報がある。このような食材情報の存在により、消費者側でも、食事の際のメニュー選択に食材情報を取り入れることが増えている。

レストラン等の外食産業や、弁当屋や総菜屋等の中食産業では、客に対してそれぞれのメニューにおけるカロリー情報を提供することも増えている。しかしながら、上記のような食材情報は極めて多様であり、客毎に食材情報のニーズも異なっている。このため、メニューを提供する店舗側があらゆる食材情報を客に対して提供することはほぼ不可能である。このため、消費者が、食材情報を参考にしたメニュー選択を行おうとしても、多様な食材情報を十分に活用することは困難であるといった課題がある。

特許文献１は、客が自分の注文をレストランのキッチンに転送することで、レストランのスタッフの負担を軽減するものに過ぎず、客に対して食材情報を取り入れたメニュー選択方法を提供できるものではない。

本発明は、上記課題に鑑みてなされたものであり、携帯端末のユーザに対し、多様な食材情報を利用しながら、かつ、ユーザにとって簡易な方法で情報を提供できる情報提供システムを実現することを目的とする。

上記の課題を解決するために、本発明は、撮影部および表示部を備えた携帯端末を用いて情報提供を行う情報提供システムであって、前記撮影部によって撮影された撮影画像に対して解析を行ってパラメータの抽出を行う画像解析手段と、前記画像解析手段にて抽出したパラメータを入力パラメータとし、該入力パラメータに対応する情報を出力するデータベースと、前記データベースから出力された情報を前記表示部にて表示することを特徴としている。

上記の構成によれば、ユーザが携帯端末の撮影部を用いてメニューや食材や料理の撮影を行えば、画像解析処理によって撮影画像からパラメータが抽出され、抽出されたパラメータに対応する情報がデータベースから出力される。出力された情報は、携帯端末の表示部で表示される。これにより、ユーザはメニューや食材や料理等の撮影を行うだけで様々な情報を得ることができる。

上記情報提供システムでは、前記携帯端末は入力部を備えており、該入力部から疾患名を入力することが可能であり、前記画像解析手段は、前記撮影画像に対してＯＣＲ処理を施して、前記撮影画像中の文字部分をテキストデータに変換するＯＣＲ処理部と、前記テキストデータから食材名に相当する部分を抽出する食材認識部とを含んでおり、前記データベースには、食材名と該食材が各疾患に対して摂取を制限すべき制限食材であるか否かの食材情報とが対応付けて格納されており、前記データベースは、前記食材認識部によって抽出された食材名と前記入力部から入力された疾患名とが入力パラメータとして入力されたとき、入力された食材が入力された疾患に対しての制限食材であるか否かの情報を出力する構成とすることができる。

上記の構成によれば、ユーザがレストランのメニュー表等を撮影すると、ＯＣＲ処理部および食材認識部により、その撮影画像から食材名に相当する部分が抽出される。また、携帯端末では、ユーザが持っている疾患名を入力部から入力することができる。データベースにおいて、食材認識部によって抽出された食材名と疾患名とが入力パラメータとして入力されると、入力された食材が入力された疾患に対しての制限食材であるか否かの情報が出力される。この情報は携帯端末側で表示されるため、ユーザは、メニュー表に載っている食材のうち、自分にとっての制限食材を容易に確認することができる。

上記情報提供システムでは、前記画像解析手段は、前記撮影画像に対して画像解析処理を施して、前記撮影画像中に写っている食材を認識・抽出する画像解析部を含んでおり、前記データベースには、料理名とその料理に使用される使用食材とが対応付けて格納されており、前記データベースは、前記画像解析部によって抽出された食材名が入力パラメータとして入力されたとき、入力された食材を使用食材とする料理の情報を出力する構成とすることができる。

上記の構成によれば、ユーザが食材そのものを撮影すると、画像解析部により、その撮影画像に写っている食材が抽出される。データベースにおいて、画像解析部によって抽出された食材が入力パラメータとして入力されると、入力された食材を使用食材とする料理の情報が出力される。この情報は携帯端末側で表示されるため、ユーザは、撮影した食材を用いてできる料理の情報を容易に取得することができる。

上記情報提供システムでは、前記画像解析手段は、前記撮影画像に対して画像解析処理を施して、前記撮影画像中に写っている料理もしくは食材を認識・抽出する画像解析部を含んでおり、前記データベースには、料理もしくは食材とその料理もしくは食材におけるカロリーとが対応付けて格納されており、前記データベースは、前記画像解析部によって抽出された料理もしくは食材が入力パラメータとして入力されたとき、入力された料理もしくは食材に相当するカロリーを出力する構成とすることができる。

上記の構成によれば、ユーザが調理済料理等を撮影すると、画像解析部により、その撮影画像に写っている料理もしくは食材が抽出される。データベースにおいて、画像解析部によって抽出された料理もしくは食材が入力パラメータとして入力されると、入力された料理もしくは食材に相当するカロリーが出力される。撮影画像から抽出された全ての料理もしくは食材のカロリーを加算すれば、その料理の総カロリーが算出できる。この情報は携帯端末側で表示されるため、ユーザは、撮影した調理済の総カロリーを容易に認識することができる。

上記の課題を解決するために、本発明の情報提供方法は、撮影部および表示部を備えた携帯端末を用いて情報提供を行う情報提供方法であって、前記撮影部で撮影された撮影画像に対して解析を行ってパラメータの抽出を行う画像解析工程と、前記画像解析工程にて抽出されたパラメータを入力パラメータとしてデータベースに入力し、該入力パラメータに対応する情報をデータベースから出力する情報出力工程と、前記情報出力工程にて出力された情報を、前記表示部にて表示する表示工程を含むことを特徴としている。

上記の課題を解決するために、本発明の情報提供プログラムは、撮影部および表示部を備えた携帯端末を用いて情報提供を行うための情報提供プログラムであって、前記携帯端末が有する制御部に、前記撮影部で撮影された撮影画像に対して解析を行ってパラメータの抽出を行う画像解析工程と、前記画像解析工程にて抽出されたパラメータを入力パラメータとしてデータベースに入力し、該入力パラメータに対応する情報をデータベースから出力する情報出力工程と、前記情報出力工程にて出力された情報を、前記表示部にて表示する表示工程とを実行させることを特徴としている。

本発明の情報提供システム、情報提供方法および情報提供プログラムは、ユーザが携帯端末を用いてメニューや食材や料理等の撮影を行うだけで、該ユーザに対して様々な情報を提示することができるといった効果を奏する。

本発明の一実施形態を示すものであり、実施の形態１における情報提供システムの概略構成を示すブロック図である。 本発明の一実施形態を示すものであり、実施の形態１における情報提供システムの他の構成を示すブロック図である。 実施の形態１におけるデータベースのデータ構成例を示す図である。 実施の形態１の情報提供システムにおける情報表示画面の一例を示す図である。 実施の形態１の情報提供システムにおける情報表示画面の他の例を示す図である。 本発明の一実施形態を示すものであり、実施の形態１における情報提供システムの他の構成を示すブロック図である。 本発明の一実施形態を示すものであり、実施の形態２における情報提供システムの概略構成を示すブロック図である。 実施の形態２におけるデータベースのデータ構成例を示す図である。 実施の形態２の情報提供システムにおける情報表示画面の一例を示す図である。 実施の形態３におけるデータベースのデータ構成例を示す図である。 実施の形態３の情報提供システムにおける情報表示画面の一例を示す図である。

〔実施の形態１〕
以下、本発明の実施の一形態について、図面を参照して詳細に説明する。

図１は、本実施の形態１に係る情報提供システム（以下、本システムと称する）の概略構成を示すブロック図である。本システムは、ユーザが所有するスマートフォンやタブレットである携帯端末１０と、本システムのサービスを提供するシステムサーバ（情報提供装置）２０と、情報端末１０およびシステムサーバ２０を接続するインターネット３０とにより構成される。

携帯端末１０は、基本的な機能部として、カメラ等の撮影部１１、ディスプレイ等の表示部１２、ユーザが操作入力を行うためのタッチパネル等の入力部１３、インターネット３０に接続・通信するための通信部１４、および携帯端末１０の動作を制御する制御部１５を備えている。さらに、制御部１５は、本システムを利用するためにＯＣＲ処理部（画像解析手段）１６、食材認識部（画像解析手段）１７、位置記憶部１８、および設定記憶部１９を備えている。

制御部１５は、携帯端末１０が備えるＣＰＵ（Central Processing Unit）およびメモリによって構成されている。また、ＯＣＲ（Optical Character Recognition）処理部１６、食材認識部１７、位置記憶部１８および設定記憶部１９は、携帯端末１０に所定のアプリケーションソフトウェアをインストールし、制御部１５が該ソフトウェアに従って動作することで実現される。

システムサーバ２０は、制御部２１、データベース２２、および通信部２３を備えている。制御部２１は、データベース２２から所望のデータを抽出して取り出すデータ抽出部２４を備えている。データベース２２には、多様な食材情報が各種パラメータと関連付けられて格納されている。また、システムサーバ２０は、通信部２３を介してインターネット３０に接続されている。

尚、上記説明では、データベース２２をシステムサーバ２０に備え、携帯端末１０とシステムサーバ２０とによって本システムが構成されるとしている。しかしながら、本発明にこれに限定されるものではなく、携帯端末１０を機器単独（スタンドアローン）で使用して本システムを実現することも可能である。この場合は、携帯端末１０にインストールするアプリケーションソフトウェアによって制御部１５をデータ抽出部２４としても機能させると共に、データベース２２も携帯端末１０側にダウンロードする。すなわち、本システムを実現するための構成要素が全て携帯端末１０に備えられるようにすればよい（図２参照）。

続いて、本実施の形態１におけるシステム利用方法の具体例を説明する。本具体例では、例えば糖尿病や痛風等の疾患を有するユーザが、レストラン等のメニューから注文を行う際に、該疾患に対して注意すべき（摂取を制限すべき）食材をユーザに対して携帯端末１０から提示することが可能となる。また、以下の説明では、携帯端末１０とシステムサーバ２０とによって本システムが構成される場合（図１）を例にとって説明するが、携帯端末１０をスタンドアローンで使用する場合（図２）も基本的には同様の動作となる。

ユーザは、レストランにおけるメニュー表を携帯端末１０の撮影部１１によって撮影する。この撮影画像に対してＯＣＲ処理部１６がＯＣＲ処理を行い、撮影画像中の文字部分をテキストデータ化する。さらに、食材認識部１７が、このテキストデータから食材名に相当する部分を認識して抽出する。すなわち、ユーザがレストランのメニュー表を撮影すると、該メニュー表に記載のある食材名がＯＣＲ処理部１６および食材認識部１７によって認識・抽出される。また、抽出された食材名の表示部１２上での表示位置が、位置記憶部１８によって記憶される。

尚、ＯＣＲ処理部１６、食材認識部１７および位置記憶部１８による上記処理は、静止画像に対して行うものであっても良いが、動画に対してリアルタイムに処理を行うものであっても良い。動画に対してリアルタイム処理を行う場合には、携帯端末１０をスタンドアローンで使用する構成とすることが好ましい。

設定記憶部１９には、ユーザ情報としてユーザの有する疾患や持病が記憶されている。設定記憶部１９に記憶されるユーザ情報は、入力部１３を介して、ユーザが予め設定・登録することができる。また、設定記憶部１９には、これ以外にユーザの年齢、性別、身長、体重、および生活形態等をユーザ情報として記憶してもよい。

こうして、ユーザがレストランのメニュー表を撮影すると、ＯＣＲ処理部１６および食材認識部１７によって認識・抽出された食材名と、設定記憶部１９に記憶されているユーザ情報とが、インターネット３０を介してシステムサーバ２０へ送信される。システムサーバ２０は、携帯端末１０から送信されてきた食材名およびユーザ情報と、データベース２２に格納されている食材情報とに基づき、ユーザが摂取を制限すべき食材（以下、制限食材）を判定する。

ここで、データベース２２の構成例について説明する。図３は、本実施の形態１におけるデータベース２２のデータ構成の一例を示す図である。データベース２２には、各疾患に対して制限食材であるか否かの食材情報が摂取制限フラグにて設定されている。具体的には、制限食材であれば摂取制限フラグが「１」とされ、制限食材でなければ摂取制限フラグが「０」とされる。例えば、糖尿病に対しては食材Ａ，Ｄ，Ｆの摂取制限フラグが「１」となっており、痛風に対しては食材Ｂ，Ｅの摂取制限フラグが「１」となっている。すなわち、糖尿病に対しては食材Ａ，Ｄ，Ｆが制限食材であり、痛風に対しては食材Ｂ，Ｅが制限食材であると判定される。尚、携帯端末１０をスタンドアローンで使用する構成では、データベース２２の全ての情報を携帯端末１０側にダウンロードする必要は無い。例えば、ユーザが痛風に対しての情報のみを必要とし、それ以外の情報が不要なのであれば、痛風に対しての制限食材のデータのみを選択的にダウンロードすればよい。

データ抽出部２４は、携帯端末１０から食材名およびユーザ情報が送られてくると、これをデータベース２２へ入力する。そして、入力した食材名のうち、ユーザ情報に含まれる疾患に対しての制限食材を抽出する。こうして抽出された制限食材は、インターネット３０を介して携帯端末１０へ送り返される。

携帯端末１０における制御部１５は、制限食材の情報が送り返されてくると、最初に撮影した撮影画像（すなわち、メニュー表の画像）において、どの食材が制限食材であるかの情報をユーザに提示するための表示制御を行う。具体的には、図４に示すように、表示部１２に表示されている撮影画像において、制限食材である食材名に消し線を重畳して表示する（情報表示画面）。消し線の表示箇所は、位置記憶部１８によって記憶された食材名の表示位置に基づいて特定できる。これにより、ユーザは、消し線表示されている食材が制限食材であると容易に認識することができる。

このように、本システムでは、ユーザはメニュー表を携帯端末１０で撮影するだけで、メニュー表に記載されている食材の中から制限食材のみが消し線表示される。これにより、ユーザに対して煩雑な作業を要求することなく、簡単に食材情報を提供することができる。特に、携帯端末１０をスタンドアローンで使用する構成とし、撮影されている動画に上記情報を重畳表示するＡＲ（拡張現実：Augmented Reality）では、本システムを利用するユーザに対して遊び感覚での使用感を持たせることができ、本システムを多くのユーザに使用してもらうことが期待できる。

また、図４に示す情報表示画面では、画面内に疾患名表示領域５０を設け、設定されている疾患名を同時に表示しても良い。情報表示画面において疾患名を同時表示することにより、提示されている制限食材の情報が何の疾患に対しての制限食材であるのかをユーザが誤りなく認識することができる。

さらに、疾患名表示領域５０に疾患名を表示する場合、この疾患名表示領域５０をユーザがスクロール操作して他の疾患名に表示変更できる構成としても良い。この場合、表示される疾患名が変更されると、情報表示画面における制限食材の表示もその疾患名に対応するものに変更される。例えば、情報表示画面に痛風に対応する制限食材が表示されているとき、ユーザが疾患名表示領域５０をスクロールさせて表示される疾患名を糖尿病に変更すると、データ抽出部２４は糖尿病に対しての制限食材をデータベース２２から抽出する。そして、携帯端末１０は、その情報に応じて情報表示画面を変更する。この構成では、設定記憶部１９に設定・記憶されているユーザ情報を設定変更することなく、ユーザは種々の疾患に対する制限食材の情報を簡単に手に入れることができる。

また、上記説明では、各疾患に対して摂取を制限すべき制限食材の情報を提示する場合を説明したが、これに加えて各疾患に対して摂取を推奨すべき食材（以下、推奨食材）の情報を提示することも可能である。この場合、図３に示すように、データベース２２には、各疾患に対して推奨食材であるか否かの食材情報が摂取推奨フラグにて設定されている。具体的には、推奨食材であれば摂取制限フラグが「１」とされ、推奨食材でなければ摂取制限フラグが「０」とされる。例えば、糖尿病に対しては食材Ｇの摂取制限フラグが「１」となっており、痛風に対しては食材Ｆの摂取制限フラグが「１」となっている。すなわち、糖尿病に対しては食材Ｇが推奨食材であり、痛風に対しては食材Ｆが推奨食材であると判定される。図４に示す情報表示画面では、推奨食材に対しては、例えば食材名に丸印を重畳して表示する。

本システムは、データベース２２における食材情報をできる限り広範囲に、かつ正確に記憶する（記憶される食材や疾患の種類の増加、摂取制限フラグや摂取推奨フラグの正確な設定）ことで、ユーザにとっての利便性が向上する。しかしながら、このような食材情報は極めて多様に存在する上、新たな研究によって新たな知見が発見されることも多い。このため、本システムのサービス提供者がデータベース２２の情報を適切に更新し続けることは困難である。

このため、本システムでは、システムサーバ２０におけるデータベース２２の格納情報は、ユーザからの情報のフィードバックによって自動更新されるものとすることが望ましい。例えば、あるユーザが、ある食材Ｘに関して該食材Ｘが疾患Ｙに対しての制限食材である（もしくは推奨食材である）との知識を持っており、しかしながら食材情報画面でそのような表示がなされていなかった場合、ユーザは自分が知っている知識（食材情報）をシステムサーバ２０に送ることができる。

システムサーバ２０では、ユーザから送られてくる食材情報をプールしておき、同様の食材情報が一定数蓄積されると、その食材情報が正しいものと認識して、データベース２２の格納情報を更新する。この場合、少数の提供情報によってデータベース２２の格納情報が更新されることはないため、少数のユーザからの誤った情報が反映されることはなく、本システムの信頼性が確保される。また、携帯端末１０をスタンドアローンで使用する構成では、システムサーバ２０に格納されているデータベース２２をダウンロードしなおすことで、携帯端末１０側で記憶するデータベース２２の情報を更新することができる。

このようなデータベース２２の情報の更新に当たっては、情報提供を行ったユーザが専門家であるか一般ユーザであるかなどによって重み付けを行い、専門家から提供された情報はより確度の高いものとして反映され易くしてもよい。この場合は、設定記憶部１９に記憶されるユーザ情報に職業を含め、例えば、医師や栄養管理士などの職業は専門家と見なすことが考えられる。

また、上記説明では、本システムの利用例として、レストランのメニュー表から制限食材（もしくは推奨食材）を抽出・表示する場合を例示したが、これ以外にも様々な利用方法が考えられる。例えば、ユーザがスーパーやコンビニエンスストアで買い物をする場合に、商品のラベル部分を携帯端末１０で撮影し、図５に示すように、ラベル部分に記載された食材名から制限食材（もしくは推奨食材）を抽出・表示してもよい。この場合、撮影するラベル部分は、商品名の表示部分であっても良く、原材料の表示部分であっても良い。

さらに、本システムは、疾患に対する制限食材や推奨食材を提示するものに限定されるものではなく、例えば、授乳期の妊婦に対する制限食材や、ペットに対する摂取付加食材などを提示することも可能である。

また、本システムでは、ＯＣＲ処理部１６を各種外国語に対応したものとし、ＯＣＲ処理部１６で認識された外国語の食材名を特定の言語（例えば日本語）に翻訳して表示できるようにしても良い。この場合、翻訳用の辞書はシステムサーバ２０のデータベース２２に格納しておけばよい。

また、制限食材は、摂取を制限すべき食材であって摂取を禁止すべき食材の意味ではない。このため、制限食材には過剰な摂取は控えるべきできであるが、適度の摂取は可能であるものも当然ながら含まれる。このため、本システムでは、健康管理と組み合わせて、日によって食べての良いか否かの判断を含めて制限表示を行うようにしても良い。具体的には、以下のような制御を行うことが考えられる。

まず、ユーザが本システムを使用する場合に、摂取した食材や成分などを累計して記録できるようにする。一方、データベース２２では、各疾患に対する制限食材において摂取頻度に関する情報（例えば、食材Ａは「週１回まで摂取可」、食材Ｂは「月２回まで摂取可」などの制限回数）もデータベース化しておく。そして、ユーザが摂取した食材の累計記録と、データベース２２に記憶されている摂取頻度に関する情報とを比較し、上記制限回数を超える場合には制限食材として上述した消し線表示するが、上記制限回数を超えない場合には制限食材として表示しないなどの制御を行うことが考えられる。

上記制御を行うための本システムの機能ブロック図を図６に示す。図６のブロック図では、制御部１５とデータベース２２との通信をインターネット３０を介さない構成（携帯端末１０をスタンドアローンで用いる構成）で記載しているが、データベース２２をシステムサーバ２０側に配置して、インターネット３０を介して通信する構成であってもよい。このことは、他の実施例でも同じである。

制御部１５は、図２に示すＯＣＲ処理部１６、食材認識部１７、位置記憶部１８および設定記憶部１９に加えて、累計データ記憶部４１及び判定部４２を備えている。累計データ記憶部４１は、制御部１５内のメモリにおいて、ユーザが摂取した食材や成分などを累計して記録する記憶領域である。判定部４２は、ユーザが摂取した食材の累計記録と、データベース２２に記憶されている摂取頻度に関する情報とを比較判定する手段である。

尚、図２の構成では、累計データ記憶部４１は制御部１５内のメモリに記憶領域として設定されるものとしているが、データベース２２内に記憶領域として設定されていても良い。また、データベース２２をシステムサーバ２０側に配置している構成では、累計データをユーザＩＤと対応付けて記憶し、携帯端末１０からユーザＩＤの通知を受けて累計データの書込み／読出しを行うようにすれば良い。

また、累計データ記憶部４１において、ユーザが摂取した食材の累計データの記憶を行うためには、携帯端末１０においてユーザが摂取した食材の入力を行う必要がある。この入力方法としては、例えば以下のような方法が考えられる。

第１の方法としては、図４に示す情報表示画面（タッチパネル表示）にて、食材認識部１７によって認識された全ての食材に例えば網掛けや囲み枠を重畳表示し、この情報表示画面にてユーザを摂取した食材の表示箇所をタッチすれば、その食材がユーザが摂取した食材であるとして、その摂取日と共に累計データ記憶部４１に記憶される。

第２の方法としては、ユーザが摂取する前の料理を直接撮影し、その撮影画像に基づいてユーザが摂取した食材（または料理）を認識し、その摂取日と共に累計データ記憶部４１に記憶する方法である。この第２の方法では、制御部１５は、実施の形態２で説明する画像解析部（画像解析手段）４３を有するものとする。すなわち、画像解析部４１が料理を撮影した画像に対して解析を行い、撮影された料理若しくはその料理に含まれる食材を認識する。画像解析部４１により認識された料理または食材がユーザが摂取した料理または食材であるとして、その摂取日と共に累計データ記憶部４１に記憶される。

制限食材の表示を行うときには、判定部４２が、データベース２２に記憶されている摂取頻度に関する情報と累計データとの比較に基づいて、制限食材として消し線表示するか否かを判定する。例えば、表示食材の中に食材Ｂがあり、該食材Ｂにおける摂取頻度の情報がデータベース２２において「月２回まで摂取可」と設定されている場合は、累計データにおいて直近の一ヶ月における食材Ｂの摂取回数を確認する。そして、直近の一ヶ月における食材Ｂの摂取回数が２回を超えていれば制限食材として消し線表示するが、超えていなければ制限食材としての表示は行わない。

また、上記累計記録から推奨食材の強調を行ってもよい。例えば、「週にどの程度ビタミンを取る必要がある」などの条件を設定しておけば、上記累計記録から「今週は残りどの程度のビタミンが必要であるか」の情報が導ける。これにより、最初の設定条件を満たすために積極的なビタミン摂取が必要であると判断される場合には、ビタミン含有量の多い食材を推奨食材として強調表示することも考えられる。

この場合は、例えば、設定記憶部１９において「週にどの程度ビタミンを取る必要がある（必要ビタミン量）」などの条件を設定しておく。さらに、データベース２２では、各食材におけるビタミン含有量等の情報もデータベース化しておく。上記累計記録では、ユーザが摂取した食材に基づき、その週に摂取したビタミンの総量（摂取ビタミン量）も累計して記録される。そして、判定部４２が、設定記憶部１９にて設定されている必要ビタミン量と累計記録された摂取ビタミン量とを比較し、その差分が所定値以上であれば、ビタミン含有量の多い食材を推奨食材として強調表示する。たとえば、表示食材の中でビタミン含有量を多いものに網掛け表示したり、「摂取推奨」との旗立て表示することなどが考えられる。尚、上記制御は、ビタミン以外の成分についても同様に行える。

また、本システムを利用するユーザの摂取した食材や成分などを累計して記録するようにした場合、その日の食事での摂取カロリーや食材や成分などを日報としてメール送信するようにしても良い。この場合は、ユーザが本システムの利用を開始するときなどに、自分自身の携帯端末１０のメールアドレス等をシステムサーバ２０に登録するようにすればよい。

また、累計記録を行うための摂取料理や摂取食材の入力においては、撮影画像を記録しておき、後から入力できるようにしてもよい。例えば、ユーザが摂取した食材の入力を可能とする情報表示画面（タッチパネル表示）の所定箇所に記録用のアイコンを表示しておき、ユーザがそのアイコンをタッチすればその情報表示画面が携帯端末１０のメモリに記憶されるようにする。そして、後から所定の操作でその情報表示画面を読み出し、読み出した情報表示画面から入力を行うようにしても良い。

〔実施の形態２〕
近年、画像認識ソフトの能力が著しく向上し、例えば、画像から料理や食材の種類等も認識できるようになっている。本実施の形態２は、撮影された画像において食材の認識・抽出を行い、その情報を用いてユーザに対して推奨メニューのレシピといった情報提供を行うものである。

図７は、本実施の形態２に係る情報提供システム（以下、本システムと称する）の概略構成を示すブロック図である。本システムは、ユーザが所有するスマートフォンやタブレットである携帯端末１０と、本システムのサービスを提供するシステムサーバ２０と、情報端末１０およびシステムサーバ２０を接続するインターネット３０とにより構成される。無論、本実施の形態２でも実施の形態１と同様に、携帯端末１０を機器単独（スタンドアローン）で使用して本システムを実現することも可能である。以下の説明では、携帯端末１０とシステムサーバ２０とによって本システムが構成される場合を例にとって説明を行っている。

携帯端末１０は、実施の形態１と同様に基本的な機能部として、撮影部１１、表示部１２、入力部１３、通信部１４、および制御部１５を備えている。さらに、制御部１５は、本システムを利用するために画像解析部（画像解析手段）４３を備えている。画像解析部４３は、携帯端末１０に所定のアプリケーションソフトウェアをインストールし、制御部１５が該ソフトウェアに従って動作することで実現される。

システムサーバ２０は、制御部２１、データベース２２、および通信部２３を備えている。制御部２１は、データベース２２から所望のデータを抽出して取り出すデータ抽出部２４を備えている。

続いて、本実施の形態２におけるシステム利用方法の具体例を説明する。本具体例では、冷蔵庫内の食材から推奨されるメニュー情報（以下、推奨メニュー）をユーザに対して携帯端末１０から提示することが可能となる。

ユーザは、冷蔵庫内部を携帯端末１０の撮影部１１によって撮影する。この撮影画像に対して画像解析部４３が解析を行い、冷蔵庫内の食材（すなわち、撮影された食材）を認識・抽出する。すなわち、ユーザが冷蔵庫内部を撮影すると、冷蔵庫に保存されている食材が画像解析部４３によって認識・抽出される。上述したように、近年では画像認識ソフトの能力が著しく向上しており、画像解析部４３は公知の画像認識ソフトをＡＰＩ（Application Programming Interface）として利用することができる。

画像解析部４３によって認識・抽出された食材は、インターネット３０を介してシステムサーバ２０へ送信される。システムサーバ２０は、携帯端末１０から送信されてきた食材と、データベース２２に格納されている情報とに基づき、推奨メニューを抽出する。

ここで、システムサーバ２０におけるデータベース２２の構成例について説明する。図８は、本実施の形態２におけるデータベース２２のデータ構成の一例を示す図である。データベース２２には、料理名とその料理に使用される食材（使用食材）とが対応付けて格納されている。

システムサーバ２０におけるデータ抽出部２４は、携帯端末１０から食材の情報が送られてくると、これをデータベース２２へ入力する。そして、入力された食材と、データベースに格納された使用食材とを対比させ、入力された食材と使用食材との対応が多くある料理を抽出する。尚、抽出される料理は一つに限定される必要はなく、複数の料理を候補として抽出することが好ましい。例えば、入力された食材が食材ａ，ｂ，ｄ，ｆであった場合、図８に示すデータベース２２では、料理Ａは３つの使用食材が対応し、料理Ｂ，Ｃは２つの使用食材が対応する。この場合、料理Ａを第一候補として抽出し、料理Ｂ，Ｃを第二候補として抽出することが考えられる。こうして抽出された料理は、インターネット３０を介して携帯端末１０へ送り返される。

携帯端末１０における制御部１５は、システムサーバ２０で抽出された料理の情報が送り返されてくると、その料理を推奨メニューとしてユーザに提示するための表示制御を行う。具体的には、図９に示すように、表示部１２に表示されている撮影画像において、「おすすめのレシピを見る」とのボタン表示を重畳して表示し、ユーザがこのボタンにタッチすると、システムサーバ２０から送られてきた料理を推奨メニューとして表示する。さらに、表示された推奨メニューの中から、ユーザが一つの料理を選択した場合に、選択された料理のレシピが表示されるようにすれば良い。

尚、料理のレシピ表示に関しては、レシピ情報そのものをデータベース２２に格納していても良いが、例えば、既存の料理レシピ提供サイトと提携し、ユーザが料理を選択した場合には、該サイトの料理レシピのページに飛んで、これを表示することが考えられる。無論、この場合は、料理レシピの情報もデータベース２２において、料理名に対応付けて格納されているものとする。

本実施の形態２に係るシステムでは、画像解析部４３による食材の認識・抽出は、静止画像に対して行うものであっても良いが、動画に対してリアルタイムに処理を行うものであることが好ましい。この場合、ユーザが携帯端末１０による撮影を行っている間、認識された食材に関しては、表示部１２の画面上で旗揚げが矢印表示などで表示するようにする。これにより、ユーザは、画像解析部４３によって画像認識された食材がどれであるかが容易に分かる。更に、ユーザは、画像認識させたい食材を写り易いところで持ってくるなどしながら撮影を行うこともできる。また、画像解析部４３による認識はできなかったが、ユーザが料理に使用したい食材については、入力部１３から手入力できるようにしても良い。このようにして、本システムでは、冷蔵庫の中の食材データを集めることができる。

また、上記説明では、本システムの利用例として、冷蔵庫内の食材から推奨メニューを得る方法を例示したが、これ以外にも様々な利用方法が考えられる。例えば、ユーザがスーパーなどで買い物をする場合に、ユーザが購入しようとする商品（食材）を連続して撮影していき、撮影した複数の食材から推奨メニューを得ることもできる。

さらにこの場合は、システムサーバ２０は、推奨メニューを提示するだけでなく、その推奨メニューを作る場合に不足する食材を提示するようにしても良い。例えば、システムサーバ２０に送信された食材が食材ａ，ｂ，ｄであり、システムサーバ２０が図８のデータベースに基づいて料理Ａを推奨メニューとして提示する場合、不足食材として食材ｃがあることを提示しても良い。この不足食材の提示により、ユーザは食材ｃを買い足すことができる。

また、本システムでは、家族全体での健康管理と組み合わせて、付け足すべき食材の提示を行うようにしても良い。具体的には、以下のような制御を行うことが考えられる。

まず、ユーザが本システムを使用する場合に、家庭内で摂取した食材の成分などが累計（摂取しないといけないもの／摂取を避けた方が良いもの）して記録されるようにする。事前に何品作るかを入力し、単純な場合、家族の年齢構成で上記の食材の成分などから最適に分けるレシピを考える。将来的に、個人の人間ドックの結果などもリンクできるようになった場合はもっと細かくレシピを提供するようにすることもできる。

上記制御を行うための本システムの機能ブロック図は、基本的に図６に示すものと同じである。但し、累計データ記憶部４３には、ユーザ個人だけでなく、家族の全員の摂取料理や摂取食材を記録できるようにする。これを可能にするには、例えば、図４に示す情報表示画面（タッチパネル表示）にて、食材認識部１７によって認識された全ての食材に例えば網掛けや囲み枠を重畳表示し、この情報表示画面にてユーザを摂取した食材の表示箇所をタッチすれば、続いて家族リストが表示され、この家族リストより家族の中で該食材を摂取した人間を個別指定できるようにするなどの方法が考えられる。

推奨メニューの提示時には、実施の形態１にて説明した方法で、判定部４２が家族内の個人ごとに摂取制限食材や摂取推奨食材を判定し、摂取推奨食材を使用する料理を推奨度の高い推奨メニューとする一方、摂取制限食材を使用する料理を推奨度の低い推奨メニューとする表示制御を行うことが考えられる。

〔実施の形態３〕
本実施の形態３は、調理済料理の撮影画像において食材の認識・抽出を行い、その情報を用いてユーザに対してカロリーや制限食材の有無といった情報提供を行うものである。本実施の形態３におけるシステムの概略は、実施の形態２と同じく図７に示すものとなる。

続いて、本実施の形態３におけるシステム利用方法の具体例を説明する。本具体例では、調理済料理の撮影画像を解析して使用されている食材の認識・抽出を行い、ユーザに対してカロリーや制限食材の有無といった情報を携帯端末１０から提示することが可能となる。

ユーザは、調理済料理を携帯端末１０の撮影部１１によって撮影する。この撮影画像に対して画像解析部４３が解析を行い、該料理に使用されている食材（すなわち、撮影された食材）を認識・抽出する。また、本実施の形態３では、画像解析部４３は、食材の種類のみならず、その料理における使用量も解析によって求めるものとする。

画像解析部４３によって認識・抽出された各食材およびその使用量は、インターネット３０を介してシステムサーバ２０へ送信される。システムサーバ２０は、携帯端末１０から送信されてきた食材およびその使用量と、データベース２２に格納されている情報とに基づき、撮影された料理のカロリー数を算出する。

ここで、システムサーバ２０におけるデータベース２２の構成例について説明する。図１０は、本実施の形態３におけるデータベース２２のデータ構成の一例を示す図である。データベース２２には、食材とその食材の単位グラム（例えば１００グラム）数当たりのカロリーとが対応付けて格納されている。

システムサーバ２０におけるデータ抽出部２４は、携帯端末１０から食材およびその使用量の情報が送られてくると、これをデータベース２２へ入力する。そして、上記料理で使用される各食材の使用量分に相当するカロリーを算出し、全ての食材におけるカロリーを加算することで入力された上記料理の総カロリーを算出する。上記総カロリーの算出は、システムサーバ２０の制御部２１にて行われる。算出された料理の総カロリーは、インターネット３０を介して携帯端末１０へ送り返される。

携帯端末１０における制御部１５は、システムサーバ２０で算出された料理の総カロリーが送り返されてくると、最初に撮影した撮影画像（すなわち、調理済料理の画像）において、その料理のカロリー情報をユーザに提示するための表示制御を行う。具体的には、図１１に示すように、表示部１２に表示されている撮影画像において情報表示領域５１を設け、情報表示領域５１に撮影された料理の総カロリーを表示する（情報表示画面）。また、情報表示領域５１には、認識された食材の種類を併せて表示しても良い。

実施の形態３に係る本システムにおいて、画像解析部４３によって認識・抽出される食材は、当然ながら撮影画像中に映り込んでいるものに限られ、また、調理済料理では食材は刻まれて形が変わるなどして画像解析部４３による認識が不可能になっていることも多い。しかしながら、本システムは、医療用途などの使用を想定するものではなく、ユーザが遊び感覚で利用できる健康管理アプリを想定しており、可能な範囲で食材の認識・抽出ができればよい。

また、調理済料理中の食材を個別に認識するのではなく、料理そのものの種類を認識し、その料理全体のカロリーを表示するものであっても良い。例えば、料理がカレーなどの一般的な料理である場合には、画像解析部４３によって料理そのものの種類を認識することも可能である。この場合には、データベース２２には、画像解析部４３によって認識・抽出可能な料理の一般的なカロリー数が格納されているものとする。また、確実にカレーであることが認識できなくても、カレー／シチュー／スープなど、類似しているものを複数表示し、複数表示された中から該当する料理（カレー）をユーザが選択するようにしても良い。また、カレーに何らかの食材がトッピングされているような場合には、画像解析部４３が料理としてのカレーとトッピングされた食材とを個別に認識・抽出することも考えられる。

実施の形態３に係る本システムにおいても、表示された料理の総カロリーが誤っている場合には、ユーザが修正できるようにしても良い。また、ユーザによって修正されたカロリー値が大きすぎたり小さすぎたりする場合には、システムサーバ２０の制御部２１でユーザによる修正が不適であると判断し、その修正値を採用しないようにすることもできる。

また、本実施の形態３のシステムでは、実施の形態１に係るシステムと組み合わせて制限食材の表示を行うこともできる。すなわち、データベース２２が、図１０に示すデータテーブルだけでなく、図３に示すデータテーブルも有しており、システムサーバ２０に送信された食材を図３のデータテーブルに入力して制限食材の抽出を行う。例えば、システムサーバ２０に送信された食材の中に食材Ｂがあった場合、該食材Ｂ（例えば大豆）は痛風に対する制限食材であるため、このことを情報表示画面（図１１参照）において表示することもできる。

また、上記説明では、本システムの利用例として、調理済料理の撮影画像から該料理のカロリーを得る方法を例示したが、これ以外にも様々な利用方法が考えられる。例えば、データベース２２においてお酒の銘柄と糖分含有率とを対応付けたデータテーブルを記憶させ、ユーザが酒瓶のラベル等を撮影した時に、そのお酒の糖分含有率を表示することも可能である。

本発明における情報提供システムは、上述した使用方法によって携帯端末１０のユーザに各種サービスを提供できるだけでなく、多数のユーザが本システムを利用することでビックデータの取得に役立てることも可能である。例えば、実施の形態１の使用方法では、携帯端末１０からシステムサーバ２０へ情報送信を行う際、ユーザがメニュー撮影を行った店の位置情報を含めることで、店のメニューと店の位置とが対応付けられたデータが収集可能となる。また、スタンドアローンで使用する場合であっても、ユーザが本システムを利用したときに、携帯端末１０が店のメニューと店の位置との情報をシステムサーバ２０に送信するようにすれば、データの収集は可能である。ユーザ情報にユーザの年齢・性別が含まれていれば、どのような年齢・性別の人間がどのような店に好んで行っているかのデータも収集できる。

このようなビッグデータの取得には、多数のユーザが本システムを利用することが必要であるが、本システムの利用者を増やすためにはユーザの操作をできる限り簡素化することが重要である。本システムでは、ユーザはメニューや食材や料理の撮影を行うだけで様々な情報が得られるものであり、ユーザの操作は極めて簡素化されている。また、情報の表示にＡＲを利用すれば、ユーザが遊び感覚で本システムを利用できるようになり、本システムを多くのユーザに使用してもらうことが期待できる。

今回開示した実施形態はすべての点で例示であって、限定的な解釈の根拠となるものではない。従って、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれる。

１０ 携帯端末
１１ 撮影部
１２ 表示部
１３ 入力部
１４ 通信部
１５ 制御部
１６ ＯＣＲ処理部（画像解析手段）
１７ 食材認識部（画像解析手段）
１８ 位置記憶部
１９ 設定記憶部
２０ システムサーバ（情報提供装置）
２１ 制御部
２２ データベース
２３ 通信部
２４ データ抽出部
３０ インターネット
４１ 累計データ記憶部
４２ 判定部
４３ 画像解析部（画像解析手段）
５０ 疾患名表示領域
５１ 情報表示領域

Claims (6)

1. 撮影部および表示部を備えた携帯端末を用いて情報提供を行う情報提供システムであって、
   前記撮影部によって撮影された撮影画像に対して解析を行ってパラメータの抽出を行う画像解析手段と、
   前記画像解析手段にて抽出したパラメータを入力パラメータとし、該入力パラメータに対応する情報を出力するデータベースと、
   前記データベースから出力された情報を前記表示部にて表示することを特徴とする情報提供システム。
2. 請求項１に記載の情報提供システムであって、
   前記携帯端末は入力部を備えており、該入力部から疾患名を入力することが可能であり、
   前記画像解析手段は、
   前記撮影画像に対してＯＣＲ処理を施して、前記撮影画像中の文字部分をテキストデータに変換するＯＣＲ処理部と、
   前記テキストデータから食材名に相当する部分を抽出する食材認識部とを含んでおり、
   前記データベースには、食材名と該食材が各疾患に対して摂取を制限すべき制限食材であるか否かの食材情報とが対応付けて格納されており、
   前記データベースは、前記食材認識部によって抽出された食材名と前記入力部から入力された疾患名とが入力パラメータとして入力されたとき、入力された食材が入力された疾患に対しての制限食材であるか否かの情報を出力することを特徴とする情報提供システム。
3. 請求項１に記載の情報提供システムであって、
   前記画像解析手段は、
   前記撮影画像に対して画像解析処理を施して、前記撮影画像中に写っている食材を認識・抽出する画像解析部を含んでおり、
   前記データベースには、料理名とその料理に使用される使用食材とが対応付けて格納されており、
   前記データベースは、前記画像解析部によって抽出された食材名が入力パラメータとして入力されたとき、入力された食材を使用食材とする料理の情報を出力することを特徴とする情報提供システム。
4. 請求項１に記載の情報提供システムであって、
   前記画像解析手段は、
   前記撮影画像に対して画像解析処理を施して、前記撮影画像中に写っている料理もしくは食材を認識・抽出する画像解析部を含んでおり、
   前記データベースには、料理もしくは食材とその料理もしくは食材におけるカロリーとが対応付けて格納されており、
   前記データベースは、前記画像解析部によって抽出された料理もしくは食材が入力パラメータとして入力されたとき、入力された料理もしくは食材に相当するカロリーを出力することを特徴とする情報提供システム。
5. 撮影部および表示部を備えた携帯端末を用いて情報提供を行う情報提供方法であって、
   前記撮影部で撮影された撮影画像に対して解析を行ってパラメータの抽出を行う画像解析工程と、
   前記画像解析工程にて抽出されたパラメータを入力パラメータとしてデータベースに入力し、該入力パラメータに対応する情報をデータベースから出力する情報出力工程と、
   前記情報出力工程にて出力された情報を、前記表示部にて表示する表示工程を含むことを特徴とする情報提供方法。
6. 撮影部および表示部を備えた携帯端末を用いて情報提供を行うための情報提供プログラムであって、
   前記携帯端末が有する制御部に、
   前記撮影部で撮影された撮影画像に対して解析を行ってパラメータの抽出を行う画像解析工程と、
   前記画像解析工程にて抽出されたパラメータを入力パラメータとしてデータベースに入力し、該入力パラメータに対応する情報をデータベースから出力する情報出力工程と、
   前記情報出力工程にて出力された情報を、前記表示部にて表示する表示工程とを実行させることを特徴とする情報提供プログラム。

Images