JP7078989B2 - 食育及び栄養の指導・学習支援システムおよび食育教材作成ツール - Google Patents

食育及び栄養の指導・学習支援システムおよび食育教材作成ツール Download PDF

Info

Publication number
JP7078989B2
JP7078989B2 JP2018155808A JP2018155808A JP7078989B2 JP 7078989 B2 JP7078989 B2 JP 7078989B2 JP 2018155808 A JP2018155808 A JP 2018155808A JP 2018155808 A JP2018155808 A JP 2018155808A JP 7078989 B2 JP7078989 B2 JP 7078989B2
Authority
JP
Japan
Prior art keywords
food
image
display
education
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018155808A
Other languages
English (en)
Other versions
JP2020030321A (ja
Inventor
宏哉 日高
一樹 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinshu University NUC
Original Assignee
Shinshu University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinshu University NUC filed Critical Shinshu University NUC
Priority to JP2018155808A priority Critical patent/JP7078989B2/ja
Publication of JP2020030321A publication Critical patent/JP2020030321A/ja
Application granted granted Critical
Publication of JP7078989B2 publication Critical patent/JP7078989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、子供から高齢者までが興味を持って食育活動や栄養改善に参加できるように構成された食育及び栄養の指導・学習支援システム、および食育教材作成ツールに関する。
現在、国内の糖尿病患者数は1000万人、脂質異常は200万人おり、近年では中学生でも患者数が増加していることが判っている。これらの生活習慣病の是正には、食生活の改善が必要である。そのための食育教材用ツールとして、食材模型や食材カードなどの各食材、各料理の栄養価、栄養バランスなどを理解させるための各種ツールが提案されている。
最も簡便なツールは、食品や食材の写真、イラスト等が印刷されたカード等である。一般に、各カードの表面には食品名、食材名が表記され、裏面には、食品あるいは食材の栄養成分、調理法等が記載される。これらのカードを組み合わせてバランスのよい食事プランなどを作成する等の活動を通して、食に関する知識、バランスのよい食を選択する力を習得でき、健全な食生活を実践できる力が育まれる。
特許文献1~3には、それぞれ、摂取食品選定用サンプルカード、食品用カロリーカード、献立選定用サンプルカードを用いた食育ツールが提案されている。このような印刷物の代わりに、特許文献4には、実際の食品、食材をイメージし易くするために、食品あるいは食材の模型を食育ツールとして用いる方法が提案されている。
一方、特許文献5には、コンピュータによるデータ処理によって、組み合わせた食材の栄養価等の算出を簡単に行えるように、食品あるいは食材の模型にICタグを埋め込む方法が提案されている。この方法では、ICタグに食品、食材に関する情報を担持させ、これをICタグリーダーによって読み取り、読取情報をコンピュータにより処理して、各食材の栄養価の集計情報等を画面上に表示している。また、特許文献6には、食品、食材に対応する食材カードに光学的に読取可能な特殊なコードを印刷して用いる方法が提案されている。この方法では、食材カードの撮影画像から光学式認識コードを認識し、これに基づき、コンピュータによるデータ処理によって、集めた食材カードが示す食材の栄養価の集計情報等を画面上に表示している。
特開昭61-94797号公報 特開平07-314950号公報 特開2002-182572号公報 実開昭56-164272号公報 特開2006-30485号公報 特開2016-12160号公報
ここで、特許文献5に記載の方法では、食材等の模型を制作して使用するので、学習者にとっては実際の食材等をイメージしやすいという利点がある。しかし、食材等の種類を増やすためには、その都度、模型を制作する必要があり費用が嵩む。また、模型の数が増えると、それらの保管、搬送も容易ではなく費用も嵩む。さらに、ICタグを読み取るための専用の読取装置を必要とし、汎用性に欠ける。これに対して、特許文献6に記載の方法では、光学的に読取可能なコードが印刷された食材カードを使用しているので、これらの食材カードの搬送、保管は容易である。しかし、学習者が実際の食材等をイメージし難いという問題がある。また、特殊なコードを使用しており、汎用性に欠ける。
また、特許文献5に記載の方法では、食材の追加の場合には、その食材模型を既に集めた食材模型に追加し、追加した食材模型のICタグを読み込む必要がある。また、食材の交換、削除の場合には、集めた食材模型の一部を交換、削除する作業を行うと共に、例えば、パソコン上において不要な食材のデータを削除する操作を行う必要がある。特許文献6に記載の方法では、食材の追加、交換、削除を行うには、読み込まれた一式の食材データをパソコンから一旦クリアした後に、再度、食育テーブルに食材カードを並べ直し、これらの画像を読み込む必要がある。
このため、学習者による食材(食材模型、食材カード)の追加、交換、削除の都度、学習者自ら、あるいは指導者がパソコン操作を行って、変更後の食材に関するデータに切り替え表示している。食材を表す食育ツール(食材模型、食材カード)を取り扱うだけで、パソコン上の表示、データも変更できることが望ましい。
一方、食育の学習等において、食材の栄養価等は調理方法等によって変化するので、各食材の栄養価、各料理の栄養価を単に画面表示し、それらの集計に基づき、栄養価の過不足、栄養バランスを判断するだけでは、十分でない場合がある。例えば、各食材の栄養成分等が調理方法によって変化すること等を学習者に理解させることで、実際の食事の栄養バランス、栄養価などについて理解がより深まる。しかしながら、このような点まで、効率良く、指導あるいは学習することについては、従来においては考慮されていない。
本発明の目的は、指導者、学習者が、効率良く、食育の指導、学習を行える食育及び栄養の指導・学習支援システム、並びに、当該システムに用いる食育教材作成ツールを提供することにある。また、本発明の目的は、指導者、学習者にとって、教材の管理が簡単で、長期間に亘る指導、学習を容易に継続できる食育及び栄養の指導・学習支援システム、並びに、当該システムに用いる食育教材作成ツールを提供することにある。
上記の課題を解決するために、本発明の食育及び栄養の指導・学習システムは、食材を特定する食材品目マーカー、撮像手段、データ処理手段、画像表示手段および食育データベースが備わっている。食材品目マーカーは、データ処理手段による画像認識によって識別可能な食材特定情報を担持している。食育データベースには、食材品目マーカーに割り当てた食材の栄養成分を含む食育データが登録されている。撮像手段は、所定の画像読取領域内に配置された食材品目マーカーの撮影画像を取得する。データ処理手段は:撮影画像をリアルタイムで画像表示手段の表示画面に表示させる撮影画像表示機能と;表示画面上の撮影画像に含まれる食材品目マーカーを画像認識する画像認識機能と;食育データベースの登録内容に基づき、認識した食材品目マーカーのそれぞれに対応する食材の栄養成分を含む表示用食材データを生成して表示画面に表示する表示用食材データ生成機能と;画像読取領域内に配置される食材品目マーカーの追加、交換、削除に応じて、表示画面上における食材の表示用食材データを更新する表示更新機能とを備えている。
食材品目マーカーとしては、予め定めた規則に従って生成されるバーコード、ARマーカーなどの画像パターンを用いることができる。また、食材を特定することのできる当該食材の特徴的輪郭部分、特徴的画像部分、特徴的立体形状部分を用いることもできる。例えば、果物のへたの部分の形状あるいは画像、魚の尾尻形状、食材模型の立体形状などを、パターンマッチング等の手法を用いることで、食材を特定するための食材品目マーカーとして用いることができる。
本発明のシステムの運用においては、食材品目マーカーを担持するマーカー担持体が使用される場合がある。マーカー担持体は、食材品目マーカーによって特定される食材を表す食材特定情報を、視認可能な形態で担持している。例えば、食材品目、食材画像等が表面に付された食材カード、食材模型などをマーカー担持体として利用できる。勿論、実在の食材をマーカー担持体として用いてもよい。このように、食材品目マーカーを用いることで、食育の教育、学習のために、視認可能な食材特定情報が担持されている各種の素材、あるいは実際の食材を利用することができる。従来のように、予め定められた規格の食育カード、食材模型等を事前に用意しておく場合等に比べて、汎用性の高いシステムを構築できる。また、食材品目マーカーを管理、維持するだけでよいので、多数枚の食育カード、多数種類の食材模型を保管、利用する場合等に比べて、指導者、学習者にとって、教材の管理が簡単で、長期間に亘る指導、学習を容易に継続できる食育及び栄養の指導・学習支援システムを提供できる。
ここで、食材模型、実際の食材を用いずに、食材の写真、絵、食材名などの食材特定情報が付されている食材カード等のマーカー担持体を用いる場合には、食材をイメージしやすいように、データ処理手段は、表示画面上の撮影画像における食材品目マーカーの位置のそれぞれに、対応する食材の食材画像を重ねて表示する食材画像表示機能を備えていることが望ましい。この場合には、表示更新機能は、画像読取領域内に配置されるマーカー担持体の追加、交換、削除に応じて、表示画面上における食材の食材画像を更新するように構成される。
指導者、学習者等は、表示画面上に表示される食材画像(写真、イラスト等)を見て、意図した食材が集められているか否かを確認できる。また、各食材が正しく読み込まれたか否かの読取不良の有無も簡単に判別でき、便利である。さらに、表示画面上に、各食材の写真、イラスト等の食材画像が表示されるので、各食材の実際のイメージを持ちやすい。従来のように栄養価等の数値データのみを表示する場合に比べて、食育の学習効果が高まることが期待できる。
指導者、学習者等は、表示画面上に表示された栄養成分等のデータを確認して、例えば、目標とする栄養価、栄養バランス等が得られているか否かなどを判断し、必要に応じて、食材の追加、交換、削除を行う。この場合、画像読取領域内に配置される食材品目マーカーの追加、交換、削除を行えばよい。例えば、マーカー担持体として食材品目マーカーを担持させた食材カードを用いる場合には、食材カードを、画像読取領域内に追加で並べる作業、画像読取領域内の食材カードを別の食材カードに交換する作業、画像読取領域内から削除対象の食材カードを取り出す作業を行えばよい。食材模型等の教材を使用する場合に比べて、場所を取らず、かつ、簡単に、食材の追加、交換、削除などの作業を行えるので便利である。また、食材模型等を使用する場合に比べて、各種の食材、新たな食材に対応できるように、多数枚の食材カードを保管することや、新たな食材カードを制作することも容易である。よって、長期間に亘る指導、学習を容易に継続できる。
このような食材カードの追加等が行われると、データ処理手段の側では、リアルタイムで取り込まれる撮像手段による撮影画像から認識される食材品目マーカーの変更に基づき、画像表示手段に表示される食材およびデータが自動更新される。このように、指導者、学習者は、コンピュータなどのデータ処理手段に対する入力操作等を行うことなく、実際の食材を取り扱う場合と同様に、食材品目マーカーを担持させた食材カード等の素材を取り扱う作業を行うだけでよい。よって、効率良く、簡単に、食育の指導、学習を行うことができる。また、食材品目マーカーが担持された食材カードを用いる場合には、ICタグ付きの食材模型を用いる場合に比べて、保管、搬送が容易であり、廉価にシステムを構築できる。
ここで、学習者あるいは指導者は、食育データベースに登録されていない食材を簡単に登録でき、また、当該食材の食材品目マーカーを簡単に制作できることが望ましい。そのために、本発明のシステムでは、指導者、学習者等によって、追加食材の品目名、当該追加食材の栄養成分を含む追加食育データがデータ処理手段に入力されると、追加食材の食材品目マーカーが発行されるようになっている。すなわち、データ処理手段は:追加食材の品目名、当該追加食材の栄養成分を含む追加食育データの入力を受け付ける機能と;追加食材を特定する新たな食材品目マーカーを生成するマーカー生成機能と;食材品目マーカーに対応付けした形態で追加食材の追加食育データを、食育データベースに追加登録するデータ追加登録機能と;追加食材の品目名および当該追加食材に付与した食材品目マーカーを作成して発行する発行機能とを備えている。
このように、ARマーカー等の食材品目マーカーを制作してカード等の素材に印刷、貼着等するだけで、各種の食材を表す食材カード等のマーカー担持体を廉価かつ簡単に作成できる。よって、郷土料理などの多様な食材、料理にも対応可能な汎用性の高い食育システムを簡単かつ廉価に構築できる。
ここで、食材品目マーカーとしてAR(拡張現実)マーカーを用いる場合には、斜め方向からの撮影画像からもマーカーを精度良く読取可能であり、また、各食材の三次元画像等の食材画像を簡単に表示画面上に重ねて表示できる。ICタグ、バーコード等を読み取る場合とは異なり、特殊な機器を用いることなくシステムを簡単かつ廉価に構築できる。また、表示画面上に表示される三次元画像を目視して食材を確認することで、読取不良の有無も簡単に判別できるので便利である。
本発明において、読み込まれた食材から調理可能な料理を自動生成して表示できるようにしてもよい。この場合には、食育データベースには、食育データとして、各食材と、これらの食材から作ることのできる調理品との対応関係が登録される。また、データ処理手段は:食育データベースの登録内容に基づき、撮影画像に含まれる食材品目マーカーによって特定される食材を用いて作ることのできる調理品を抽出し、抽出した調理品を表す調理品画像を前記表示画面に表示する調理品画像表示機能と;食育データベースの登録内容に基づき、表示される調理品についての栄養成分を含む表示用調理品データを生成して表示画面に表示する表示用調理品データ生成機能とを備えている。
学習者等が集めた食材から作ることが可能な調理品等が自動生成され、その写真、イラスト等の調理品画像と栄養成分等が表示される。これにより、学習者は、複数種類の食材から調理可能な各種の料理等について効率良く学習できる。また、各食材の栄養価等と、調理後の料理の栄養価等を比較することで、例えば、調理法による栄養価、栄養成分の変化等も知ることができる。
本発明において、食材の分量を指定する分量マーカーを用意してもよい。例えば、指導者あるいは学習者に、画像読取領域内において、分量を指定したい食材に割り当てた食材カード等の素材に対して特定の位置関係となるように、分量マーカーが担持されたマーカー担持体として、例えば分量カードを並べさせる。例えば、食材カードの右隣の位置に分量カードを並べさせる。データ処理手段は、撮像手段を介して、食材品目マーカーによって特定される食材の分量を、特定の位置関係にある分量マーカーによって指定される分量であると認識し、表示する食材の食材画像を指定された分量の写真、イラスト等にする。また、当該食材の指定された分量分の栄養成分等のデータを生成して表示する。
本発明において、調理法を指定する調理法マーカーを用意しておいてもよい。例えば、調理法を目視により認識可能な調理法指摘情報が担持された調理法カードの表面に、当該調理法カードに割り当てた調理法を表す調理法マーカーを、例えばARマーカーの形態で付しておく。データ処理手段は、撮像手段の撮影画像に、食材品目マーカーと共に調理法マーカーが含まれている場合には、その調理品を表す調理品画像を生成して表示すると共に、食育データベースの登録内容に基づき、当該調理法マーカーによって指定される調理法によって食材品目マーカーで指定される食材を調理した場合の各食材の栄養成分データを生成して表示する。このようにすれば、画面上において、同一の食材を用いて異なる調理法で調理して得られる料理の間の栄養価等の違い等を理解できる。
一方、本発明のシステムにおいて、食材品目マーカーを読み込んで、調理可能な調理品を自動生成する代わりに、料理などの調理品を表す調理品目マーカーを読み込んで、その調理品に含まれる食材を抽出して自動生成して表示することもできる。例えば、調理品を指定する調理品情報が目視可能に付された調理品目カードを用意する。調理品目カードの表面に、当該調理品目カードに割り当てた調理品を表す調理品目マーカーを、例えばARマーカーの形態で付しておく。データ処理手段は、撮像手段による撮影画像に、調理品目マーカーが含まれている場合には、当該調理品目マーカーによって指定される調理品を作るために必要とされる食材を、食育データベースに登録されている調理品と各食材との対応関係に基づき、抽出して前記表示画面上に表示する。
次に、本発明によって提供される食育及び栄養の指導・学習支援システムに用いる食育教材作成ツールは、複数種類の食材品目マーカーと、食材品目マーカーを用いて食育の指導・学習用の情報の生成および表示をコンピュータに実行させるためのコンピュータプログラムとを備えている。食材品目マーカーは、食材を特定する食材特定情報が、AR(拡張現実)用の二次元認識画像であるARマーカーの形態で担持されている。
コンピュータプログラムは:撮像手段で取得される所定の画像読取領域内に配置される食材品目マーカーの撮影画像をリアルタイムで表示画面に表示する撮影画像表示機能;表示画面上の撮影画像に含まれる食材品目マーカーを画像認識する画像認識機能;表示画面上の撮影画像における食材品目マーカーの位置のそれぞれに、対応する食材の食材画像を重ねて表示する食材表示機能;内蔵あるいは外付けの食育データベースの登録内容に基づき、認識した食材品目マーカーのそれぞれに対応する食材の栄養成分を含む表示用食材データを生成して表示画面に表示する表示用食材データ生成機能;および、画像読取領域内に配置される食材カードの追加、交換、削除に応じて、表示画面上における食材の食材画像および表示用食材データを更新する表示更新機能を、コンピュータに実行させるためのプログラムである。
(a)は本発明を適用した食育及び栄養の指導・学習支援システムの概略構成図であり、(b)は食育カードを示す説明図である。 各種の食育カードを示す説明図である。 ARマーカー付きの食材カード等と食材画像等との組み合わせ例を示す説明図である。 食材カードを用いた食育の学習手順の一例を示す説明図である。 集めた食材から調理可能な調理品を表示する手順を示す説明図である。 調理品目カードを用いた食育の学習手順の一例を示す説明図である。 食育カードの配置・読取形態を示す説明図である。 食材カード、食材品目マーカーの例を示す説明図である。 既存の食材カード、食材模型、実在の食材をマーカー担持体として用いた例を示す説明図である。 各種の学習形態を示す説明図である。 各種の学習形態を示す説明図である。 食生活指導ネットワークシステムの一例を示す説明図である。
以下に、図面を参照して、本発明の実施の形態を説明する。なお、以下の実施の形態は、食材品目マーカーとしてARマーカーを使用し、そのマーカー担持体として食材カードを用いた例であるが、本発明は実施の形態に限定されるものではない。例えば、後述のように、各種の食材品目マーカーおよびマーカー担持体を用いることができる。
(システム構成)
図1(a)は本発明に従って構成された食育カードを用いた食育及び栄養の指導・学習支援システムの実施の形態を示す概略構成図であり、図1(b)は1枚の食育カード(マーカー担持体)を示す説明図である。食育及び栄養の学習・支援システム1(以下、単に、「システム1」と呼ぶ。)は、食育に関する情報が担持される多数枚の食育カード2に担持される食材品目マーカーなどの識別用マーカーと、食育カード2に担持させた形態で各種識別用マーカーが並べられる平坦なカード配列面3aを備えたトレー3と、カード配列面3aに並べた食育カード2を撮影するカメラ4(撮像手段)と、カメラ4によって撮影された食育カード2の撮影画像を取り込み、所定の食育データを生成してその表示画面5aに表示するパーソナルコンピュータ5(データ処理手段、画像表示手段)と、食育に関する情報が蓄積された食育データベース6と、食育カード2を発行するためにパーソナルコンピュータ5に接続されたプリンタ7とが備わっている。カメラ4およびパーソナルコンピュータ5の代わりに、カメラ内蔵のパーソナルコンピュータ、カメラ内蔵のスマートフォンやタブレット端末などの機器を用いて、システム1を構築できる。また、撮影画像等の表示のために、有線あるいは無線で接続したテレビ等の単体の表示装置を用いて、システム1を構築できる。さらに、カメラ機能および画像表示機能を備えたスマートフォン、タブレット端末などの携帯用端末を用いて、撮像手段、データ処理手段および画像表示手段を備えたシステム1を構築してもよい。
食育データベース6は、パーソナルコンピュータ5に内蔵のものであってもよい。また、カードトレー3のカード配列面3aは、カメラ4によるカード読取領域(画像読取領域)を規定する。一般に、カメラ4はスタンド等に取り付けて固定した位置に設置され、そのカード読取領域が、カードトレー3のカード配列面3aを包含するように設定される。専用のカードトレー3を用いる代わりに、一般的なテーブル等の水平面、ホワイトボード等の垂直面、傾斜面等に食育カード2を並べてカメラ4によって撮影することもできる。食育カード2は、このようなカード配列面に、磁力、粘着力などを利用して着脱可能に貼り付けてもよい。
食育カード2のそれぞれは、図1(b)に示すように、矩形輪郭をした一定厚さで同一サイズのカードであり、紙、プラスチック、金属その他の素材からなる。食育カード2を、以下に説明する種類に応じて、異なる厚さ、異なるサイズ、形状のものとしてもよい。食育カード2のカード表面2aには、食育カード2に割り当てた食材、分量、調理法、調理品を表す特定情報2bが目視可能に付されている。また、カード表面2aには、食育カード2に割り当てた食材、分量、調理品、調理法等を表す識別用マーカー2cが、パーソナルコンピュータ5にインストールされている画像認識機能によって読み取り可能な形態で付されている。本例では、AR(拡張現実)用の二次元認識画像であるARマーカーの形態で印刷されている。ARマーカーは、例えば黒色の矩形枠内に配列した色付きの矩形パターンから構成される。
カードトレー3は、矩形輪郭の平板であり、素材は紙、プラスチック、金属その他の素材からなる。カードトレー3を磁性材料から形成し、各食育カード2を例えばプラスチック磁石とし、食育カード2を磁力でカード配列面3aに着脱可能に貼り付けてもよい。カードトレー3のカード配列面3aは、固定した位置に設置したカメラ4のカード読取領域内に位置するように配置される。食育の指導者、学習者によって、カード配列面3aに収まるように、複数枚の食育カード2が並べられる。カード配列面3a内に並べた食育カード2がカメラ4によって撮影され、その撮影画像をパーソナルコンピュータ5に取り込み可能である。
パーソナルコンピュータ5は、CPU、ROM、RAM等を備えた制御部と、キーボード5b等の入力部と、表示画面5a、プリンタ7等の出力部を備えている。制御部は、制御プログラム(食育カード用コンピュータプログラム)を実行することで、カメラ4の撮影画像に含まれている食育カード2の識別用マーカー2cを画像認識により識別し、それらの種類に応じて各種の処理を行う。本例では、パーソナルコンピュータ5は、AR(拡張現実)機能により、カメラ4から読み込まれた食育カード2の撮影画像から各食育カード2のARマーカー(後述の食材品目マーカー11c、分量マーカー12c、調理法マーカー13c、調理品目マーカー14c)を認識する。
パーソナルコンピュータ5は、認識したARマーカーに対応する食育データに基づき、表示用データを生成して、表示画面5a上に表示する。表示画面5a上には、カード配列面3aに並べた食育カード2の撮影画像が表示される。また、撮影画像における各ARマーカーのそれぞれが表示されている位置に重ねて、対応する食材の写真、イラストその他の画像、あるいは対応する調理品の写真、イラストその他の画像が表示される。また、対応する食材の栄養成分あるいは対応する調理品の栄養成分などの食育データが表示される。表示される画像の切り替えは、自動切り替え、あるいは、指導者、学習者等によるパーソナルコンピュータ5のキーボード5b等からの入力操作によって行われる。
食育データベース6には、各ARマーカーに対応するデータ、すなわち、各食育カード2に割り当てた食材、分量、調理法、調理品等に関する食育データが格納されている。各食育データには、各食材の栄養成分、各食材が使用される調理品、各調理品の栄養成分、各調理品のそれぞれに含まれる食材、その他のデータが含まれている。
図2は、本例で使用する各種の食育カード2を示す説明図である。食育カード2には、食材を特定する特定情報および識別用マーカーが付された多数枚の食材カード11と、食材の分量を特定する特定情報および識別用マーカーが付された複数枚の分量カード12と、調理法を特定する特定情報および識別用マーカーが付された複数枚の調理法カード13と、調理品目を指定する特定情報および識別用マーカーが付された複数枚の調理品目カード14が含まれている。勿論、これ以外の種類の食育カードが含まれていてもよい。
食材カード11のそれぞれの表面には、目視可能な特定情報として食材品目11bが表示されている。また、それぞれの表面には、識別用マーカーとして食材カード11のそれぞれに割り当てた食材を表す食材品目マーカー11c(ARマーカー)が印刷されている。例えば、食材カード11には、表面に、食パン、ごはん、じゃがいも、牛肉、にんじん、にんじん(1/3本)、ブロッコリー、たまねぎ、カレールーを表す文字列が印刷された食パンカード11(1)、ごはんカード11(2)、じゃがいもカード11(3)、牛肉カード11(4)、にんじんカード11(5)、にんじん1/3本カード11(6)、ブロッコリーカード11(7)、たまねぎカード11(8)、カレールーカード11(9)などが含まれている。食材カード11には、塩、胡椒、醤油等の調味料などを表すカードも含まれる。
分量カード12の表面には、目視可能な特定情報として分量12bが表記され、また、識別用マーカーとして、分量を表す分量マーカー12cがARマーカーの形態で付されている。分量には、1/2個、1/3個、2個、3個等、1/2カップ、2カップ、3カップ等、グラム数等の重量値指定、その他がある。
調理法カード13の表面には、食材特定用視認情報として調理法13bが表記され、また、識別用マーカーとして、調理法を表す調理法マーカー13cがARマーカーの形態で付されている。調理法には、例えば、煮る、焼く、蒸す、炒める、炊く、その他がある。
調理品目カード14の表面には、目視可能な特定情報として、調理品目14bが表記され、また、識別用マーカーとして、調理品目を表す調理品目マーカー14cがARマーカーの形態で付されている。料理品目には、カレー、餃子、ハンバーグ等の各種の料理品目、調理品目がある。
図3は、各食育カード2と対応する食材写真の組み合せ例を示す説明図である。後述のように、パーソナルコンピュータ5のAR機能により、各食育カード2のARマーカーを認識すると、その位置に重ねて、食育カード2に割り当てられている食材品目11b、調理品目14b等に対応する食材画像11d、調理品画像14d等が、カメラの撮影画面に重ねて表示される。
図4Aは、システム1を用いた食育の指導あるいは学習の手順の一例を示すフローチャートである。本例では、カメラ4の撮影画像に含まれている食育カード2の種類に応じて各種の処理を行う。例えば、学習者等は、システム1を立上げ、パーソナルコンピュータ5のAR機能を含むプログラムを起動する(ステップST1)。また、カードトレー3のカード配列面3aを撮影できるように設置したカメラ4により、カード配列面3aの撮影を開始する(ステップST2)。
学習者に、例えば、指定された調理品を作るために必要な食材、あるいは、指定された栄養価、栄養バランスを得るために必要な食材を集める作業を行わせる(ステップST3A)。学習者等は、食育カード2の束から、対応する食材カード11をカードトレー3のカード配列面3aに並べる作業を行う。例えば、食材カード11として、ごはんカード11(2)、じゃがいもカード11(3)、牛肉カード11(4)、にんじんカード11(5)、ブロッコリーカード11(7)、たまねぎカード11(8)、カレールーカード11(9)が選択されて、カードトレー3上のカード配列面3aに縦横に並べられる。
学習者等によって並べられた食材カード11のカード表面の撮影画像は、パーソナルコンピュータ5に取り込まれて、表示画面5a上に表示される(ステップST4:撮影画像取込・表示処理)。同時に、パーソナルコンピュータ5において、撮影画像51の各食材カード11のARマーカーが認識され(ステップST5)、表示画面5a上の撮影画像51における食材品目マーカー11cの位置のそれぞれに、対応する食材画像11dが重ねて表示される(ステップST6:食材画像表示処理)。本例では、図3に示すように、各ARマーカーによって特定される、ごはん、じゃがいも、牛肉、にんじん、ブロッコリー、たまねぎ、カレールーのそれぞれを表す食材画像11dが表示される。
また、パーソナルコンピュータ5において、認識した食材に基づき、表示用食材データを生成して表示する(ステップST7:表示用食材データ生成処理)。表示用食材データとして、各ARマーカーによって特定される食材である、例えば、ごはん、じゃがいも、牛肉、にんじん、ブロッコリー、たまねぎ、カレールーのそれぞれの栄養成分データが食育データベース6を用いて生成される。生成された表示用食材データ53が、表示画面5a上における所定の位置に所定の形態(一覧表、グラフ等)で表示される。
学習者等は、表示画面5aに表示されている各食材画像を目視することで、自分が選んだ食材が読み込まれたことを簡単に確認できる。また、集めた食材の種類、それらの栄養成分、集計された栄養価・栄養バランス等を表示内容から確認できる。さらに、指導者、学習者の間で集めた食材の栄養価・栄養バランス等についての評価、検討等が行われる(ステップST8)。
例えば、目標とする栄養価、栄養バランスに関する情報を、事前に食育データベース6等に登録しておく。集めた食材の栄養価、栄養バランスと共に、入力操作等によって、登録しておいた目標栄養価、栄養バランスなどの情報を表示する。これにより、栄養価の過不足、栄養バランスの良否を判断できる。勿論、これらの判断をパーソナルコンピュータ5に自動的に行わせ、判定結果を所定の形態で表示させることもできる。例えば、不足する栄養成分等を補うために必要な食材等を表示させることができる。
ここで、学習者等は、表示結果、評価・検討結果等に基づき、集めた食材を変更する作業を行う場合がある。並べた食材カード11に対して、食材カード11の追加、交換、削除を行う作業を行うことで、食材を変更できる(ステップST3B)。この作業を学習者が行うと、カメラの撮影画像に含まれる食材品目マーカー11cが変更される。パーソナルコンピュータ5は、この変更に対応して、表示データを自動的に変更する(ST4~ST7:表示更新処理)。学習者は、必要とされる栄養価、栄養バランスを備えた食材群を集める等の作業を通じて、食育に関する能力が養われる。
(新たな食材カードの作成)
ここで、本例のシステム1では、指導者、学習者等によって、追加食材の品目名、当該追加食材の栄養成分を含む追加食育データがパーソナルコンピュータ5に入力されると、追加食材の食材カードが発行されるようになっている。このために、パーソナルコンピュータ5には、追加食材の品目名、当該追加食材の栄養成分を含む追加食育データの入力を受け付ける機能と、追加食材を特定する新たな食材品目マーカーを生成するマーカー生成機能と、食材品目マーカーに対応付けした形態で追加食材の追加食育データを、食育データベース6に追加登録するデータ追加登録機能と、プリンタ7を用いて、追加食材の品目名および当該追加食材に付与した食材品目マーカーが印刷された新たな食材カードを作成して発行する追加カード発行機能が備わっている。学習者あるいは指導者は、食育データベースに登録されていない食材を簡単に登録でき、また、当該食材の食材カードを簡単に制作できる。
(調理品表示処理)
さらに、パーソナルコンピュータ5は、学習者等が集めた食材を用いて調理可能な調理品目を表示画面5aに表示可能である。この場合には、食育データベース6には、食育データとして、各食材と、これらの食材から作ることのできる調理品との対応関係が登録されている。パーソナルコンピュータ5では、食育データベース6の登録内容に基づき、撮影画像に含まれる食材品目マーカーによって特定される食材を用いて作ることのできる調理品を抽出し、抽出した調理品を表す調理品画像を表示画面5aに表示する(調理品画像表示機能)。また、食育データベース6の登録内容に基づき、表示される調理品についての栄養成分を含む表示用調理品データを生成して表示画面5aに表示する(表示用調理品データ生成機能)。
例えば、図4Bに示すように、集めた食材画像等が表示されている状態において、学習者が、キーボード5bから調理可能品目の表示指令を入力する。パーソナルコンピュータ5は、集められた食材を用いて作ることができる調理品目を食育データベース6から検索出力する。検索された調理品目に基づき表示用食育データが生成される。例えば、カレーを表す写真と、その栄養成分データが生成され、表示画面5a上に表示される(調理品画像表示、表示用調理品データ生成)。栄養成分データはグラフ、一覧表などの所定の形態で表示される。勿論、指令を入力することなく、自動的に画面を切り替えて調理可能な調理品写真、その栄養成分データを表示してもよい。
(分量カードの利用)
ここで、学習者は、食育カード2として、1枚の食材カード11に対して、食材の分量が表面に付された分量カード12を特定の位置関係となるように並べて、食材品目の使用量を増減することができる。食材カード11に分量カード12が、例えば右隣りに並べられている場合に、パーソナルコンピュータ5は、食材品目によって特定される食材の分量が、分量カード12によって指定される分量であると認識する。
この場合には、特定位置関係にある食材品目マーカーによって指定される食材を、分量カード12によって指定された分量で表す食材写真を用いて表示する(図4AのステップST6:食材画像表示処理)。また、特定位置関係にある食材品目マーカーによって指定される食材の表示用食材データを指定された分量で生成して表示する(図4AのステップST7:表示用食材データ生成処理)。学習者等は、食材の栄養価などを、標準的な大きさの1個単位だけでなく、調理等に必要とされる個数、グラム数に応じた数値を簡単に知ることができるので、便利である。
(調理法カードの利用)
また、学習者等は、調理法カード13を用いて集めた食材の調理法を指定することもできる。この場合、パーソナルコンピュータ5では、カメラ4による撮影画像に、食材品目マーカーと共に調理法マーカーが含まれている場合には(図4AのステップST5)、表示画面5a上において、調理法マーカーの位置に重ねて、調理法を表す画像、例えば、鍋等によって食材を茹でている状態の調理法画像を表示する(図4AのステップST6)。また、食育データベース6の登録内容に基づき、当該調理法マーカーによって指定される調理法によって食材品目マーカーで指定される食材を調理した場合の各食材の栄養成分を算出して表示する(図4AのステップST7:表示用食材データ生成)。
(調理品目カードの利用)
本例のシステム1では、学習者が、調理品目カード14を選択して、カードトレー3上に置き、カメラ4で撮影すると、その調理品を作るために必要な食材品目を表示画面5aに表示することが可能である。
例えば、図4Cに示すように、学習者は、食育カード2の中から、調理品目カード14としてカレーカード14(1)を選び、これをカードトレー3に載せる。カレーカード14(1)をカメラ4で撮影する。撮影画像がパーソナルコンピュータ5に入力される。パーソナルコンピュータ5では、AR機能により、カレーカード14(1)のARマーカーを認識し、カレーを表す調理品画像14dを表示画面5a上に表示する。
次に、調理品目マーカーによって指定される調理品を作るために必要とされる食材を、食育データベース6に登録されている調理品目と各食材との対応関係に基づき抽出し、抽出した各食材画像、例えば食材写真を表示画面5a上に表示する(食材抽出処理)。食育データベース6においては、例えば、カレーカード14(1)のARマーカーに対応付けされた調理品目のカレーには、食材データとして、ごはん、じゃがいも、牛肉、にんじん、ブロッコリー、たまねぎ、カレールーの各データおよび栄養成分とが対応付けされている。
さらに、食育データベース6の登録内容に基づき、調理品目のカレーの栄養成分等のデータ、および、抽出した食材のそれぞれについての栄養成分等を含む表示用食材データ53が生成され、表示画面5aに表示される(表示用食材データ生成機能)。
このように、学習者が調理品目カード14を選ぶと、それに対応する調理品目を表す写真等の画像および栄養成分等のデータが表示画面5aに表示される。また、その調理品目の構成食材のそれぞれの食材画像、例えば食材写真も表示画面5a上に表示される。画面表示から、学習者は、各調理品の構成食材を理解でき、また、各調理品に含まれる食材、各食材の栄養成分と、調理後の栄養成分との比較等を行うことができる。
(食育カードの配置・読取形態の例)
図5は、食育カード2の各種の配置・読取形態の例を示す説明図である。図5(a)は前述の基本的な配列例であり、専用のカードトレー3のカード配列面3a上に食育カード2が配列される場合の説明図である。
図5(b)に示す例は、カメラ4の設置面の真上に水平に透明アクリル板等の透光性素材からなる水平なボード21を配置し、そのボード表面に食育カードを並べる場合である。この場合には、例えば、ボード表面に、模型の食材の底面、例えば、ごはんなどが盛られた茶碗の食材模型22、副食用の野菜等が盛られた各種の皿の食材模型23、その他の食材模型の底面に、着脱可能に、各食材を表す食材カード11を取り付けておく。または、各食材模型の底面に、食材カード11を印刷しておく。カメラ4によって、各食材模型の底面の食材カード11のARマーカーを、ボード21を介して下側から撮影する。模型の代わりに、実物の食材を用いることも可能である。
図5(c)に示す例は、通常のテーブル面24に、実物あるいは模型の食材22、23等を並べ、それらの隣に、上向きで各食材カード11を並べる場合である。この場合には、真上からカメラ4で撮影する。場合によっては、左側に示すように、斜め上方からカメラ4で撮影する。ARマーカーはバーコード等に比べて、認識性が高いので、斜め方向からの撮影であっても正確に読取可能であり、便利である。
(サイズ表示)
ここで、食育カード2を用いたシステムでは、食材、料理等が表示画面上に表示されるので、食材の実物あるいは実寸模型を使用する場合に比べて、各食材などの大きさ、重量を実感しにくい場合がある。
コンピュータ画面上に表示される食材あるいは料理品目の三次元画像を目視した際に、その実寸を実感できるようにするために、例えば次のようにする。配列された食育カード2の隣の位置に、サイズ判断の指標となる食器等のサイズ指標物を置く。例えば皿を置く。コンピュータの表示画面上には、食材等の三次元画像と共に、サイズ指標物の三次元画像を表示する。実際のサイズ指標物と実際の食材との間の大小関係と同一となるように、画面上において、サイズ指標物の三次元画像の表示サイズに対応させて、食材、出来上がった料理の入った器等の三次元画像を重ねて表示する。これにより、学習者は、例えば、目前の実物の食器と、画面上の食器および食材とを見比べて、画面上において食器に重ねて表示される食材の実際の大きさを実感できる。
または、テーブル等に載せた実際の食器等の器に、プロジェクタ等を用いて、食材等の三次元画像を投射表示できる構成を採用することも可能である。
(食材品目マーカー、マーカー担持体の各種の形態)
図6(a)に示すように、上記の例においては、矩形輪郭の一定厚さのカード素材に食材を特定する食材特定情報として食材品目11bが印刷され、食材品目マーカー11cとしてARマーカーが印刷された構成の食材カード11を、マーカー担持体として用いている。食材カードとして、図6(b)に示すように、食材特定情報として、食材品目と共に、食材の写真、絵等が付されたものでもよい。また、マーカー担持体として、矩形輪郭のカード以外に各種の形状のカードを用いることができ、目視可能な形態で食材特定情報が担持され、かつ、食材品目マーカーを担持できる素材であればよい。また、食材品目マーカーとして、上記の例におけるARマーカーの代わりに各種形態のマーカーを用いることができる。
例えば、図6(c)、(d)に、食材品目マーカーを備えた食材カードの二例を示してある。図6(c)に示す食材カード200は、食材としてトマトを表すカードであり、その食材カード自体の輪郭形状が食材であるトマトの輪郭形状をしており、その表面にはトマト画像が印刷されている。この構成の食材カード200では、トマト画像が、食材特定情報202として機能する。また、カード輪郭形状(特徴的輪郭形状)が、画像認識可能な食材特定用の食材品目マーカー203として機能する。図6(d)に示す食材カード210は、食材として特定の魚を表すカードであり、その食材カード自体の輪郭形状が魚の輪郭形状をしており、その表面には魚画像が印刷されている。この場合においても、魚画像が目視可能な食材特定情報212として機能し、カード輪郭形状(特徴的輪郭形状)が画像認識可能な食材特定用の食材品目マーカー213として機能する。
これらの食材カード200、210を用いる場合には、図6(e)、(f)に示すように、別の部分を、食材品目マーカーとして用いることができる。図6(e)に示すトマトの食材カード200のトマト画像には、食材がトマトであることを画像認識によって特定可能なヘタの部分が含まれている。トマト画像におけるヘタの形状(特徴的画像部分あるいは特徴的形状部分)が、食材特定用の食材品目マーカー203として機能する。同様に、図6(f)に示す魚の食材カード210の魚画像には、食材が特定の魚であることを画像認識によって特定可能な尻尾の部分が含まれている。この部分が食材特定用の食材品目マーカー213として機能する。
次に、図7(a)には、食材カードの更に別の例を示してある。ここに示す食材カード220は、マーカー担持体として既存の食材カード221を利用し、そこに、食材品目マーカー223を担持させた構成となっている。既存の食材カード221は例えば市販の食材カードである。カード221の表面には食材特定情報222、例えば食材画像である魚画像が印刷され、カード輪郭形状も魚の輪郭形状を模している。このカード221の表面に、食材品目マーカー223を担持させる。食材品目マーカー223は、例えばARマーカーであり、図示の例では、裏面に粘着層を備え、表面に食材特定情報であるARマーカー自体が印刷されたシールの形態で制作される。各食材のシールを用意しておき、市販の食材カードに貼り付けることで、本発明のシステムに利用可能な食材カード220が簡単に得られる。
図7(b)には、食材カードの代わりに使用可能なマーカー担持体として、食材模型の例を示してある。食材模型230は、例えば3Dプリンタなどを用いて新たに制作してもよいが、既存の食材模型、例えば市販の食材模型231を用いることができる。この市販の食材模型231、例えば、食材を形どった消しゴム、食材模型玩具等の製品に、シールの形態で制作されている食材品目マーカー233を貼り付けることで、本発明のシステムに利用可能な食材模型230が得られる。この場合には、食材模型231の立体形状自体が食材特定情報232(特徴的立体形状部分)として機能する。
一方、図7(c)には、食材カードの代わりに使用可能な素材として、実在の食材を用いる例を示してある。この場合においては、板チョコ等の市販されている実際の食材240(食材特定情報242)の表面あるいは裏面等に、シールの形態で制作されている食材品目マーカー243を貼り付ける。これにより、実際の食材を、本発明のシステムに利用可能なマーカー担持体として用いることができる。
(学習・指導形態)
図8A、図8Bは、本例のシステム1を用いた食育あるいは栄養の学習・指導の各形態を示す説明図である。図8A(a)、(b)、(c)、(d)に示す例は、それぞれ、個人学習、対面学習の場合、複数学習、および少人数のグループ学習の場合である。図8B(a)、(b)に示す例は、集団学習の2形態である。
(食生活指導ネットワークシステムの構成例)
次に、図9には、本発明のシステム1を利用した食生活指導ネットワークシステムの構成例を示す説明図である。食生活指導システム100は、各所に設置される食育の指導・学習支援システム1(m)(m=1,2,3・・・)と、各医療機関等と提携することによって構築される各人の血液検査結果および判定結果等を含む健康診断結果が蓄積された健康診断データベース101と、連携サーバ102とが、インターネットあるいは専用の通信回線を介して接続されたシステム構成となっている。
各システム1(m)においては、タブレット、スマートフォン等を活用することにより、集合学習、グループワーク、個人指導等(図8A、8B参照)、利用シーンに応じた食育を行うことができる。食育の学習、指導活動によって、食育データベース6にリンクし、あるいは、各システム1(m)の食育データベース6として機能する栄養成分データベース103には、食育カード2に対応した栄養成分が蓄積され、利用者は自由に追加登録が可能である。この食育データベース6は、全国食生活データベースとして利用でき、Society5.0の基盤技術である「革新的AI関連技術」を支えるビッグデータとしての活用を見込める。
また、健康診断データベース101に蓄積される各人の血液検査結果、判定結果等と、食育データベースに蓄積される栄養成分等の食育データを活用して、連携サーバ102によって、所定のアルゴリズムに従って、血液検査判定結果等に応じて各人に適した食生活の改善を支援する食育コンテンツを生成して提供することが可能になる。
1 システム(食育及び栄養の指導・学習支援システム)
2 食育カード
2a カード表面
2b 特定情報
2c 識別用マーカー
3 カードトレー
3a カード配列面
4 カメラ
5 パーソナルコンピュータ
5a 表示画面
5b キーボード
6 食育データベース
7 プリンタ
11 食材カード
11b 食材品目
11c 食材品目マーカー
11d 食材画像
11(1) 食パンカード
11(2) ごはんカード
11(3) じゃがいもカード
11(4) 牛肉カード
11(5) にんじんカード
11(6) にんじん1/3本カード
11(7) ブロッコリーカード
11(8) たまねぎカード
11(9) カレールーカード
12 分量カード
12b 分量
12c 分量マーカー
13 調理法カード
13b 調理法
13c 調理法マーカー
14 調理品目カード
14b 調理品目
14c 調理品目マーカー
14d 調理品画像
14(1) カレーカード
21 ボード
21a ボード表面
22、23 食材模型
24 テーブル面
51 撮影画像
53 表示用食材データ
100 食生活指導システム
101 健康診断データベース
102 連携サーバ
103 栄養成分データベース
200、210、220、221 食材カード
202、212、222、232、242 食材特定情報
203、213、223、233、243 食材品目マーカー
230 食材模型

Claims (9)

  1. 食材を特定する食材品目マーカー、撮像手段、データ処理手段、画像表示手段および食育データベースが備わっており、
    前記食材品目マーカーは、前記データ処理手段による画像認識によって識別可能であり、
    前記食育データベースには、前記食材品目マーカーに割り当てた前記食材の栄養成分を含む食育データが登録されており、
    前記撮像手段は、所定の画像読取領域内に配置された前記食材品目マーカーの撮影画像を取得し、
    前記データ処理手段は、
    前記撮影画像をリアルタイムで前記画像表示手段の表示画面に表示させる撮影画像表示機能と、
    前記表示画面上の前記撮影画像に含まれる前記食材品目マーカーを画像認識する画像認識機能と、
    前記食育データベースの登録内容に基づき、認識した前記食材品目マーカーのそれぞれに対応する前記食材の栄養成分を含む表示用食材データを生成して前記表示画面に表示する表示用食材データ生成機能と、
    前記画像読取領域内に配置される前記食材品目マーカーの追加、交換、削除に応じて、前記表示画面上における前記食材の前記表示用食材データを更新する表示更新機能と
    を備えており、
    更に、
    前記食育データベースには、前記食育データとして、各食材と、これらの食材から作ることのできる調理品との対応関係が登録されており、
    前記データ処理手段は、
    前記食育データベースの登録内容に基づき、前記撮影画像に含まれる前記食材品目マーカーによって特定される食材を用いて作ることのできる調理品を抽出し、抽出した調理品を表す調理品画像を前記表示画面に表示する調理品画像表示機能と、
    前記食育データベースの登録内容に基づき、表示される前記調理品についての栄養成分を含む表示用調理品データを生成して前記表示画面に表示する表示用調理品データ生成機能と
    を備えている食育及び栄養の指導・学習支援システム。
  2. 食材を特定する食材品目マーカー、撮像手段、データ処理手段、画像表示手段および食育データベースが備わっており、
    前記食材品目マーカーは、前記データ処理手段による画像認識によって識別可能であり、
    前記食育データベースには、前記食材品目マーカーに割り当てた前記食材の栄養成分を含む食育データが登録されており、
    前記撮像手段は、所定の画像読取領域内に配置された前記食材品目マーカーの撮影画像を取得し、
    前記データ処理手段は、
    前記撮影画像をリアルタイムで前記画像表示手段の表示画面に表示させる撮影画像表示機能と、
    前記表示画面上の前記撮影画像に含まれる前記食材品目マーカーを画像認識する画像認識機能と、
    前記食育データベースの登録内容に基づき、認識した前記食材品目マーカーのそれぞれに対応する前記食材の栄養成分を含む表示用食材データを生成して前記表示画面に表示する表示用食材データ生成機能と、
    前記画像読取領域内に配置される前記食材品目マーカーの追加、交換、削除に応じて、前記表示画面上における前記食材の前記表示用食材データを更新する表示更新機能と
    を備えており、
    更に、
    食材の分量を指定する分量指定情報が前記画像認識機能によって認識可能な形態で担持している分量マーカーを備えており、
    前記データ処理手段は、前記撮影画像において、前記食材品目マーカーに対して予め設定した特定位置関係となるように前記分量マーカーが位置している場合には、前記特定位置関係にある前記食材品目マーカーによって指定される食材を、前記分量マーカーによって指定された分量の食材画像で表示する食材画像表示機能を備えており、
    前記表示用食材データ生成機能は、前記特定位置関係にある前記食材品目マーカーによって指定される前記食材の前記表示用食材データを指定された分量で生成する食育及び栄養の指導・学習支援システム。
  3. 食材を特定する食材品目マーカー、撮像手段、データ処理手段、画像表示手段および食育データベースが備わっており、
    前記食材品目マーカーは、前記データ処理手段による画像認識によって識別可能であり、
    前記食育データベースには、前記食材品目マーカーに割り当てた前記食材の栄養成分を含む食育データが登録されており、
    前記撮像手段は、所定の画像読取領域内に配置された前記食材品目マーカーの撮影画像を取得し、
    前記データ処理手段は、
    前記撮影画像をリアルタイムで前記画像表示手段の表示画面に表示させる撮影画像表示機能と、
    前記表示画面上の前記撮影画像に含まれる前記食材品目マーカーを画像認識する画像認識機能と、
    前記食育データベースの登録内容に基づき、認識した前記食材品目マーカーのそれぞれに対応する前記食材の栄養成分を含む表示用食材データを生成して前記表示画面に表示する表示用食材データ生成機能と、
    前記画像読取領域内に配置される前記食材品目マーカーの追加、交換、削除に応じて、前記表示画面上における前記食材の前記表示用食材データを更新する表示更新機能と
    を備えており、
    更に、
    調理法を指定する調理法指定情報が前記画像認識機能によって認識可能な形態で担持している調理法マーカーを備えており、
    前記表示用食材データ生成機能は、
    前記撮影画像に、前記食材品目マーカーと共に前記調理法マーカーが含まれている場合には、前記食育データベースの登録内容に基づき、当該調理法マーカーによって指定される調理法によって前記食材品目マーカーで指定される食材を調理した場合の各食材の栄養成分の算出、あるいは、調理によって変化してしまう各食材の栄養成分の算出を行う食育及び栄養の指導・学習支援システム。
  4. 食材を特定する食材品目マーカー、撮像手段、データ処理手段、画像表示手段および食育データベースが備わっており、
    前記食材品目マーカーは、前記データ処理手段による画像認識によって識別可能であり、
    前記食育データベースには、前記食材品目マーカーに割り当てた前記食材の栄養成分を含む食育データが登録されており、
    前記撮像手段は、所定の画像読取領域内に配置された前記食材品目マーカーの撮影画像を取得し、
    前記データ処理手段は、
    前記撮影画像をリアルタイムで前記画像表示手段の表示画面に表示させる撮影画像表示機能と、
    前記表示画面上の前記撮影画像に含まれる前記食材品目マーカーを画像認識する画像認識機能と、
    前記食育データベースの登録内容に基づき、認識した前記食材品目マーカーのそれぞれに対応する前記食材の栄養成分を含む表示用食材データを生成して前記表示画面に表示する表示用食材データ生成機能と、
    前記画像読取領域内に配置される前記食材品目マーカーの追加、交換、削除に応じて、前記表示画面上における前記食材の前記表示用食材データを更新する表示更新機能と
    を備えており、
    更に、
    調理品目を指定する調理品目情報が前記画像認識機能によって認識可能な形態で担持された調理品目マーカーを備えており、
    前記データ処理手段は、
    前記撮影画像に、前記調理品目マーカーが含まれている場合に、前記調理品目マーカーによって指定される調理品を作るために必要とされる食材を、前記食育データベースに登録されている調理品目と各食材との対応関係に基づき抽出し、抽出した各食材の食材画像を前記表示画面上に表示する食材抽出機能を備え、
    前記表示用食材データ生成機能は、前記食育データベースの登録内容に基づき、抽出した前記食材のそれぞれについての栄養成分を含む表示用食材データを生成して前記表示画面に表示する食育及び栄養の指導・学習支援システム。
  5. 食材を特定する食材品目マーカー、撮像手段、データ処理手段、画像表示手段および食育データベースが備わっており、
    前記食材品目マーカーは、前記データ処理手段による画像認識によって識別可能であり、
    前記食育データベースには、前記食材品目マーカーに割り当てた前記食材の栄養成分を含む食育データが登録されており、
    前記撮像手段は、所定の画像読取領域内に配置された前記食材品目マーカーの撮影画像を取得し、
    前記データ処理手段は、
    前記撮影画像をリアルタイムで前記画像表示手段の表示画面に表示させる撮影画像表示機能と、
    前記表示画面上の前記撮影画像に含まれる前記食材品目マーカーを画像認識する画像認識機能と、
    前記食育データベースの登録内容に基づき、認識した前記食材品目マーカーのそれぞれに対応する前記食材の栄養成分を含む表示用食材データを生成して前記表示画面に表示する表示用食材データ生成機能と、
    前記画像読取領域内に配置される前記食材品目マーカーの追加、交換、削除に応じて、前記表示画面上における前記食材の前記表示用食材データを更新する表示更新機能と
    を備えており、
    更に、
    サイズ判断の指標となるサイズ指標物が備わっており、
    前記画像認識機能は、前記表示画面上の前記撮影画像に含まれる前記サイズ指標物を画像認識する機能を備え、
    前記データ処理手段は、
    前記食材の三次元画像を表示する食材画像表示機能と、
    前記食材の三次元画像に対する前記サイズ指標物の表示サイズが、実際の前記食材に対する実際の前記サイズ指標物のサイズに対応するように、前記表示画面上に、前記サイズ指標物の三次元画像を表示するサイズ指標物表示機能とを備えている食育及び栄養の指導・学習支援システム。
  6. 前記食材品目マーカーは、
    予め定めた規則に従って生成されるパターン画像、または、
    食材を特定することが可能な当該食材の特徴的輪郭部分、特徴的画像部分、および、特徴的立体形状部分のうちの少なくともいずれか一つ
    である請求項1ないし5のうちのいずれか一つの項に記載の食育及び栄養の指導・学習支援システム。
  7. 前記データ処理手段は、
    追加食材の品目名、当該追加食材の栄養成分を含む追加食育データの入力を受け付ける機能と、
    前記追加食材を特定する新たな食材品目マーカーを生成するマーカー生成機能と、
    前記食材品目マーカーに対応付けした形態で前記追加食材の前記追加食育データを、前記食育データベースに追加登録するデータ追加登録機能と、
    前記追加食材の品目名および当該追加食材に付与した前記食材品目マーカーを作成して発行する発行機能と
    を備えている請求項1ないし6のうちのいずれか一つの項に記載の食育及び栄養の指導・学習支援システム。
  8. 血液検査結果を含む健康診断結果が各登録者に対応付けして蓄積される健康診断データベースと、
    前記食育データベースに蓄積される栄養成分を含む食育データ、および、前記健康診断データベースの前記健康診断結果に基づき、前記登録者に提供される食生活改善用の食育コンテンツを生成する連繋サーバと
    を備えている請求項1ないし7のうちのいずれか一つの項に記載の食育及び栄養の指導・学習支援システム。
  9. 請求項1ないしのうちのいずれか一つの項に記載の食育及び栄養の指導・学習支援システムに用いる食育教材作成ツールであって、
    複数種類の食材品目マーカーと、
    前記食材品目マーカーを用いて食育の指導・学習用の情報の生成および表示をコンピュータに実行させるためのコンピュータプログラムと
    を備えており、
    前記食材品目マーカーは、食材を特定する食材特定情報が、AR(拡張現実)用の二次元認識画像であるARマーカーの形態で担持されており、
    前記コンピュータプログラムは、コンピュータに、
    撮像手段で取得される所定の画像読取領域内に配置される前記食材品目マーカーの撮影画像をリアルタイムで表示画面に表示する撮影画像表示機能と、
    前記表示画面上の前記撮影画像に含まれる前記食材品目マーカーを画像認識する画像認識機能と、
    前記表示画面上の前記撮影画像における前記食材品目マーカーの位置のそれぞれに、対応する前記食材の食材画像を重ねて表示する食材表示機能と、
    内蔵あるいは外付けの食育データベースの登録内容に基づき、認識した前記食材品目マーカーのそれぞれに対応する前記食材の栄養成分を含む表示用食材データを生成して前記表示画面に表示する表示用食材データ生成機能と、
    前記画像読取領域内に配置される前記食材品目マーカーの追加、交換、削除に応じて、前記表示画面上における前記食材の前記食材画像および前記表示用食材データを更新する表示更新機能と
    を実行させることを特徴とする食育教材作成ツール。
JP2018155808A 2018-08-22 2018-08-22 食育及び栄養の指導・学習支援システムおよび食育教材作成ツール Active JP7078989B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018155808A JP7078989B2 (ja) 2018-08-22 2018-08-22 食育及び栄養の指導・学習支援システムおよび食育教材作成ツール

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018155808A JP7078989B2 (ja) 2018-08-22 2018-08-22 食育及び栄養の指導・学習支援システムおよび食育教材作成ツール

Publications (2)

Publication Number Publication Date
JP2020030321A JP2020030321A (ja) 2020-02-27
JP7078989B2 true JP7078989B2 (ja) 2022-06-01

Family

ID=69622458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018155808A Active JP7078989B2 (ja) 2018-08-22 2018-08-22 食育及び栄養の指導・学習支援システムおよび食育教材作成ツール

Country Status (1)

Country Link
JP (1) JP7078989B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521757A (zh) * 2021-07-22 2021-10-22 浙江理工大学科技与艺术学院 基于图像识别的桌面烹饪游戏系统
KR102406637B1 (ko) * 2021-07-29 2022-06-08 플레이에듀랩 주식회사 멀티 교육 컨텐츠와 연계한 커스텀 교육 패키지

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005338960A (ja) 2004-05-24 2005-12-08 Hidemasa Yamaguchi 栄養計算方法、栄養計算プログラム及びコンピューター読み取り可能な記録媒体
JP2006139554A (ja) 2004-11-12 2006-06-01 Toshiba Corp 栄養成分表示方法、栄養成分表示システム及びサーバ装置
JP2011118834A (ja) 2009-12-07 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012108282A (ja) 2010-11-17 2012-06-07 Nikon Corp 電子機器
JP2014041508A (ja) 2012-08-23 2014-03-06 Osaka Sealing Printing Co Ltd 商品情報提供システム
JP2015153169A (ja) 2014-02-14 2015-08-24 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP2016012160A (ja) 2014-06-27 2016-01-21 サトーホールディングス株式会社 食育システム
JP2016091253A (ja) 2014-11-04 2016-05-23 富士通株式会社 表示制御プログラム、表示制御方法および情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03187353A (ja) * 1989-12-15 1991-08-15 I C Denshi Kogyo Kk 栄養計算方法及びその装置
JPH0793287A (ja) * 1993-09-20 1995-04-07 Nec Corp 健康管理システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005338960A (ja) 2004-05-24 2005-12-08 Hidemasa Yamaguchi 栄養計算方法、栄養計算プログラム及びコンピューター読み取り可能な記録媒体
JP2006139554A (ja) 2004-11-12 2006-06-01 Toshiba Corp 栄養成分表示方法、栄養成分表示システム及びサーバ装置
JP2011118834A (ja) 2009-12-07 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012108282A (ja) 2010-11-17 2012-06-07 Nikon Corp 電子機器
JP2014041508A (ja) 2012-08-23 2014-03-06 Osaka Sealing Printing Co Ltd 商品情報提供システム
JP2015153169A (ja) 2014-02-14 2015-08-24 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP2016012160A (ja) 2014-06-27 2016-01-21 サトーホールディングス株式会社 食育システム
JP2016091253A (ja) 2014-11-04 2016-05-23 富士通株式会社 表示制御プログラム、表示制御方法および情報処理装置

Also Published As

Publication number Publication date
JP2020030321A (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
US8571698B2 (en) Simple techniques for three-dimensional modeling
US20160035248A1 (en) Providing Food-Portion Recommendations to Facilitate Dieting
TW201228632A (en) Health monitoring system
US20130273509A1 (en) Method of Monitoring Nutritional Intake by Image Processing
KR102606359B1 (ko) 급식관리 시스템
US9715759B2 (en) Reference object for three-dimensional modeling
CN107341340A (zh) 食谱推荐方法、系统及终端
JP7078989B2 (ja) 食育及び栄養の指導・学習支援システムおよび食育教材作成ツール
CN111080493B (zh) 一种菜品信息识别方法、装置及菜品自助结算系统
JP2018049393A (ja) 健康管理装置、健康管理システム、及び健康管理方法
JP2020135417A (ja) 食材又は調味料の使用量を推定する情報装置、プログラム及び方法
JP6459447B2 (ja) 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法およびプログラム
Röddiger et al. ARMart: AR-based shopping assistant to choose and find store items
JP6439415B2 (ja) 売上処理装置、および売上処理方法
CN114566254A (zh) 非接触式计算机视觉智能膳食营养评估方法和系统及设备
EP2787459A1 (en) Method of monitoring nutritional intake by image processing
JP2007334653A (ja) 問診装置、問診方法、問診プログラム
JP2022021261A (ja) 魚の品質判別プログラム及びシステム
CN114359299B (zh) 一种饮食分割方法及慢病患者的饮食营养管理方法
CN114360690B (zh) 一种慢病患者的饮食营养管理方法和系统
CN110383314A (zh) 电子订购系统和方法
JP6591115B1 (ja) 献立作成支援装置、献立作成支援システム、献立作成支援方法及び献立作成支援プログラム
KR102285325B1 (ko) 육아 가이드 인쇄물 및 모바일 단말을 이용한 육아가이드 방법
CN113521757A (zh) 基于图像识别的桌面烹饪游戏系统
KR20210093207A (ko) 영상을 이용한 대상물체 사이즈 결정방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220513

R150 Certificate of patent or registration of utility model

Ref document number: 7078989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150