JP7211677B2 - 食材管理支援システムおよび食材管理支援方法 - Google Patents

Description

本発明は、食材管理支援システムおよび食材管理支援方法に関する。

家庭の主婦にとっての調理は、毎日欠かすことの出来ない重要な家事である。よって、負担を感じやすいものでもある。そのため主婦は、他の家事や仕事の合間には献立に頭を悩ます。また、それに応じた食材の選定、購入、および保管にも時間と手間がかかる。

そうした主婦の負担を軽減するための従来技術としては、例えば、計量台に載置された食材の重量を計量する計量手段と、前記計量台に載置された前記食材を撮影する撮影手段と、前記計量台及び前記撮影手段の少なくとも一方を回転駆動させる駆動手段と、前記計量台及び前記撮影手段の少なくとも一方を回転駆動させて前記撮影手段により前記食材を複数の異なる角度から撮影した複数の撮影画像に基づいて、前記食材の体積を算出する体積算出手段と、前記食材の重量、前記食材の体積、及び前記複数の撮影画像に基づいて、前記食材の種類を判定する判定手段と、前記判定手段による判定結果を出力する出力手段と、を備えた食材判定装置（特許文献１参照）などが提案されている。

また、食材の調理を支援する調理支援装置であって、前記食材を被写体とした撮像を行う撮像部と、画像を投影するための投影部と、前記撮像された画像に基づく画像処理により、前記画像に写る食材の種類を識別する識別部と、前記識別された食材の種類に応じて、前記食材への調理方法を決定する調理方法決定部と、を備え、前記投影部は、前記決定した調理方法を表す画像を前記食材に重ねて投影することを特徴とする調理支援装置（特許文献２参照）なども提案されている。

特開２０１６－２０８３３号公報 特開２０１０－１９１７４５号公報

上述の従来技術によれば、食材の種類や重量が判明する。また、そうした食材に応じた料理方法が決定される。しかしながら、そうして得られる情報も、実際の家事環境に即したものとはなり難い。

例えば、スーパーマーケット等で販売される食材は、予め様々に加工およびパッキングされている。しかも、主婦らはそうした食材を購入して自宅に持ち帰り、更に加工（調理の概念含む）する。さらに、自宅で加工された食材は、ラップで包まれる、或いはタッパーで密封される、といった種々の状態で保管されうる。

上述のように加工状態や保管状態が様々な食材に関して従来技術を適用するとしても、料理方法を好適に選定することは難しい。

例えば、種類が判明した食材が、或るレシピに記述された食材として選定されたとする。ところが、当該加工状態が当該レシピで想定しているものとは異なるケースもある。その場合、調理自体が不可能となるケースも大いに想定される。

つまり、種々の食材の購入、加工、保管に伴う実際状況に対応し、適宜な食材管理やレシピ検討を支援する技術は提案されていなかった。

そこで本発明の目的は、食材個々の様々な状況に対応し、適宜な食材管理やレシピ検討を支援可能とする技術を提供することにある。

上記課題を解決する本発明の食材管理支援システムは、食材画像に対して当該食材の種類および加工状態についてラベル付けした教師データを保持する記憶装置と、前記教師データを機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類および加工状態との対応関係を前記機械学習エンジンに学習させる処理、ユーザ提供の判定対象画像を前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態を判定する処理、および、前記判定した食材の種類および加工状態の情報を所定装置に出力する処理、を実行する演算装置と、を備えたサーバを含むことを特徴とする。

また、本発明の食材管理支援方法は、サーバが、記憶装置において、食材画像に対して当該食材の種類および加工状態についてラベル付けした教師データを保持し、前記教師データを機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類および加工状態との対応関係を前記機械学習エンジンに学習させる処理と、ユーザ提供の判定対象画像を前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態を判定する処理と、前記判定した食材の種類および加工状態の情報を所定装置に出力する処理と、を実行することを特徴とする。

本発明によれば、食材個々の様々な状況に対応し、適宜な食材管理やレシピ検討の支援が可能となる。

本実施形態の食材管理支援システムを示すネットワーク構成図である。 本実施形態のサーバのハードウェア構成例を示す図である。 本実施形態のクライアント端末のハードウェア構成例を示す図である。 本実施形態の店舗端末のハードウェア構成例を示す図である。 本実施形態の教師データＤＢのデータ構成例１を示す図である。 本実施形態の教師データＤＢのデータ構成例２を示す図である。 本実施形態の判定対象画像ＤＢのデータ構成例を示す図である。 本実施形態の判定結果ＤＢのデータ構成例を示す図である。 本実施形態における食材管理支援方法のフロー例１を示す図である。 本実施形態における食材管理支援方法のフロー例２を示す図である。 本実施形態における画面例１を示す図である。 本実施形態における画面例２を示す図である。

－－－ネットワーク構成－－－
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の食材管理支援システム１０におけるネットワーク構成例を示す図である。図１に示す食材管理支援システム１０は、食材個々の様々な状況に対応し、適宜な食材管理やレシピ検討を支援可能とするコンピュータシステムである。

こうした食材管理支援システム１０は、例えば、インターネットなどのて適宜なネットワーク１でデータ通信可能に接続された、サーバ１００、クライアント端末２００、および店舗端末３００で構成されている。

このうちサーバ１００は、食材管理支援システム１０における主たる構成要素であり、処理を主導するサーバ装置である。

サーバ１００は、例えば、知見ある者が予めラベルを付与した教師データを教師データＤＢ１２５に保持し、この教師データを機械学習エンジン１０２１に入力して学習をさせる。この学習では、教師データである食材画像（の特徴量）と、当該食材画像が示す食材の種類、加工状態、保管状態といったラベルとの対応関係を学習することになる。

また、サーバ１００は、クライアント端末２００や店舗端末３００からアップロードされた判定対象画像を判定対象画像ＤＢ１２６に格納する。サーバ１００は、この判定対象画像ＤＢ１２６で保持する判定対象画像を、機械学習エンジン１０２１に入力し、当該判定対象画像が示す食材の種類、加工状態、保管状態などを判定する。

上述の判定結果は、サーバ１００からクライアント端末２００や店舗端末３００に配信されることとなる。

こうしたサーバ１００は、例えば、食材管理支援サービスの運営企業が運用する。また、食材管理支援サービスは、調理家電のメーカーやレシピ提供サイトの運営企業などが提供するサービスを想定できる。

つまり、サーバ１００で判定した食材の種類、加工状態、保管状態などの情報は、当該食材の所有者である一般消費者のクライアント端末２００などに提供される形態のみならず、調理対象となる食材の選定用情報として調理家電に配信されるか、或いは、レシピ選定用情報としてレシピ提供サイトのＷＥＢサーバに配信される、といった運用形態も想定可能である。

そうした場合、調理家電やＷＥＢサーバでは、サーバ１００から得た食材の種類、加工状態、保管状態などの情報を、自身で保持する各レシピや各調理動作のデータと照合する。

この照合の結果、当該食材の種類、加工状態、保管状態と、いずれかのレシピや調理動作における対象食材の種類、加工状態、保管状態とがマッチした場合、調理家電やＷＥＢサーバは、該当レシピや調理動作の情報を、当該食材の保有者たるユーザ（のクライアント端末２００）に向けて出力し提供するか、或いは調理家電でのレシピ設定や調理動作設定の処理を行う。

また、クライアント端末２００は、例えば、食材を保持する一般消費者が保持する端末である。具体的には、スマートフォンやＰＣ、タブレット端末、或いは、調理家電を想定する。

この場合、消費者が小売店等で購入し自宅に持ち帰った食材に対し、クライアント端末２００による撮影を実施する。するとクライアント端末２００は、そこで得た食材画像を判定対象画像としてサーバ１００にアップロードすることとなる。

ただし、クライアント端末２００が、いわゆるエッジコンピューティング可能である場合、すなわち機械学習エンジン２０２１を保持するならば、判定対象画像をサーバ１００
にアップロードし、そこでの判定結果を受信する運用形態は不要となる。

また、店舗端末３００は、例えば、食材を販売する店舗が運用する端末である。具体的には、ＰＯＳ端末ないしＰＯＳ端末と連動するタブレット端末、調理家電を想定できる。

この場合、消費者が決済対象として持ち込んだ食材に対し、ＰＯＳ端末での決済動作を行う際、当該ＰＯＳ端末である店舗端末３００が、当該食材に対する撮影を実施し、そこで得た食材画像を判定対象画像としてサーバ１００にアップロードすることとなる。

ただし、店舗端末３００が、いわゆるエッジコンピューティング可能である場合、すなわち機械学習エンジン３０２１を保持するならば、判定対象画像をサーバ１００にアップロードし、そこでの判定結果を受信する運用形態は不要となる。

－－－ハードウェア構成－－－
また、食材管理支援システム１０を主に構成するサーバ１００のハードウェア構成は図２に例示する如くとなる。すなわちサーバ１００は、記憶装置１０１、メモリ１０３、演算装置１０４、および通信装置１０５を備える。

このうち記憶装置１０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される装置である。

また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成される。

また、演算装置１０４は、記憶装置１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。

また、通信装置１０５は、ネットワーク１と接続して、クライアント端末２００や店舗端末３００といった他装置との通信処理を担うネットワークインターフェイスカード等である。

なお、記憶装置１０１内には、本実施形態のサーバ１００として必要な機能を実装する為のプログラム１０２に加えて、教師データＤＢ１２５、判定対象画像ＤＢ１２６、および判定結果ＤＢ１２７が少なくとも記憶されている。これらＤＢの詳細は後述する。また、プログラム１０２は、機械学習エンジン１０２１を保持している。

この機械学習エンジン１０２１は、例えば、教師データにおける画素ごとの輝度、色などの各種事象に関して特徴量を算定し、これを当該教師データに紐付くラベルと対応付けて学習するエンジンである。

続いて、図３に本実施形態のクライアント端末２００のハードウェア構成例を示す。本実施形態のクライアント端末２００は、記憶装置２０１、メモリ２０３、演算装置２０４、入力装置２０５、出力装置２０６、通信装置２０７、および撮像装置２０８を備える。

このうち記憶装置２０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される装置である。

また、メモリ２０３は、ＲＡＭなど揮発性記憶素子で構成される。

また、演算装置２０４は、記憶装置２０１に保持されるプログラム２０２をメモリ２０
３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。

また、入力装置２０５は、ユーザからのキー入力や音声入力を受け付けるキーボードやマイク等の装置である。

また、出力装置２０６は、処理データの表示を行うディスプレイやスピーカ等の装置である。

また、通信装置２０７は、ネットワーク１と接続して、サーバ１００や店舗端末３００といった他装置との通信処理を担うネットワークインターフェイスカード等である。

また、撮像装置２０８は、デジタルカメラ（動画撮影機能を具備したものも概念として含みうる）である。

なお、記憶装置２０１内には、本実施形態のクライアント端末２００として必要な機能を実装する為のプログラム２０２に加えて、判定対象画像ＤＢ２２５、および判定結果ＤＢ２２６を必要に応じて記憶している。これらＤＢの詳細は後述する。

また、プログラム２０２は、機械学習エンジン２０２１を保持しているとすれば好適である。この機械学習エンジン２０２１は、上述のサーバ１００が保持しているものと基本的には同じものであるが、いわゆるエッジコンピューティングの概念と同様に、十分に学習済みのもので、少なくとも一定期間は追加学習の必要性が低いものとなる。

つまり、クライアント端末２００が単体で画像認識処理を実行する形態に対応したものとなる。

図４に本実施形態の店舗端末３００のハードウェア構成例を示す。本実施形態の店舗端末３００は、記憶装置３０１、メモリ３０３、演算装置３０４、入力装置３０５、出力装置３０６、通信装置３０７、および撮像装置３０８を備える。

このうち記憶装置３０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される装置である。

また、メモリ３０３は、ＲＡＭなど揮発性記憶素子で構成される。

また、演算装置３０４は、記憶装置３０１に保持されるプログラム３０２をメモリ３０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。

また、入力装置３０５は、ユーザからのキー入力や音声入力を受け付けるキーボードやマイク等の装置である。

また、出力装置３０６は、処理データの表示を行うディスプレイやスピーカ等の装置である。

また、通信装置３０７は、ネットワーク１と接続して、サーバ１００やクライアント端末２００といった他装置との通信処理を担うネットワークインターフェイスカード等である。

また、撮像装置３０８は、デジタルカメラ（動画撮影機能を具備したものも概念として含みうる）である。

なお、記憶装置３０１内には、本実施形態の店舗端末３００として必要な機能を実装する為のプログラム３０２に加えて、判定対象画像ＤＢ３２５、および判定結果ＤＢ３２６を必要に応じて記憶している。これらＤＢの詳細は後述する。

また、プログラム３０２は、機械学習エンジン３０２１を保持しているとすれば好適である。この機械学習エンジン３０２１は、上述のクライアント端末２００と同様、いわゆるエッジコンピューティングの概念の下、十分に学習済みのもので、少なくとも一定期間は追加学習の必要性が低いものとなる。

つまり、店舗端末３００が単体で画像認識処理を実行する形態に対応したものとなる。

－－－データ構造例－－－
続いて、本実施形態の食材管理支援システム１０が用いるテーブル類について説明する。図５Ａに、本実施形態における教師データＤＢ１２５の一例を示す。

教師データＤＢ１２５は、知見ある者が予めラベルを付与した食材画像とその特徴量を蓄積したデータベースである。

そのデータ構造は、例えば、教師データたる食材画像に付与されているラベルをキーとして、当該食材画像の提供者であるユーザのＩＤ、当該食材画像の特徴量および画像ファイル名といったデータから成るレコードの集合体である。

このうち特徴量は、対応する食材画像に対して、機械学習エンジン１０２１が行った画像認識処理によって取得した、画素ごとの輝度、色などの情報群となる。こうした画像データから特徴量を取得する手法自体は従来技術を適宜に採用すればよい。

なお、図５Ａで示す教師データＤＢ１２５は、ユーザごとに、各ラベルと紐付く教師データたる食材画像の特徴量や画像ファイル名を保持する形態としたが、ユーザを跨がってすなわちユーザに無関係に特徴量や画像ファイル名を管理するとしてもよい（図５Ｂの教師データＤＢ１２５でも同様）。

また、図５Ａで示す教師データＤＢ１２５は、ラベルとして一次元の値を採用した形態について例示している。この一次元のラベルは、食材の種類、加工状態、および保管状態の各値がシリアルに連結した値となっている。

図５Ａで示す例のうち、例えば、「人参乱切りラップ」のラベルは、食材の種類が「人参」、加工状態が「乱切り」、保管状態が「ラップ」であることを一意に示している。

こうした一次元のラベルは、後述する判定結果ＤＢ１２７でも同様に含まれる。つまり、判定対象画像に対して機械学習エンジン１０２１による判定で得られた判定結果も一次元のラベルとなり、そのユーザ提供に際して、ラベルの先頭から所定バイト分を食材の種類、次の所定バイト分を加工状態、更に次の所定バイト分を保管状態、として切り分け、必要に応じて適宜に組み合わせるものとする。

また図５Ｂに、本実施形態における教師データＤＢ１２５の他例について示す。この場合、ラベルとして多次元の値を採用した形態について例示している。この多次元のラベルは、食材の種類、加工状態、および保管状態の各値が、それぞれ単独で付与されたものと
なっている。

なお、図５Ｂで示す例のうち、ラベル（種類）の値が、“（野菜）”であるレコードは、野菜特有の加工状態を示すもので、例えば「乱切り」、「輪切り」といったラベルが付与されていることを示している。

こうした多次元のラベルは、やはり判定結果ＤＢ１２７でも同様に含まれる。つまり、判定対象画像に対して機械学習エンジン１０２１による判定で得られた判定結果も多次元のラベルとなり、そのユーザ提供に際して、対象となる判定対象画像に関してそれぞれ得られた、種類、加工状態、および保管状態の各ラベルを取得し、必要に応じて適宜に組み合わせるものとする。

また図６に、本実施形態における判定対象画像ＤＢ１２６の一例を示す。この判定対象画像ＤＢ１２６は、例えば、クライアント端末２００や店舗端末３００からサーバ１００にアップロードされた食材画像を、判定対象画像として蓄積したデータベースである。

そのデータ構造は、当該判定対象画像が示す食材の保持者たるユーザのＩＤをキーとして、対象となる画像ファイル名、およびその取得日時といったデータから成るレコードの集合体である。

こうした判定対象画像ＤＢ１２６は、クライアント端末２００における判定対象画像ＤＢ２２５、および店舗端末３００における判定対象画像ＤＢ３２５と同様の構造を備える。よってこれら、判定対象画像ＤＢ２２５、３２５に関する説明は省略する。

また図７に、本実施形態における判定結果ＤＢ１２７の一例を示す。この判定結果ＤＢ１２７は、サーバ１００における機械学習エンジン１０２１で判定対象画像に対して判定した、ラベルすなわち食材の種類、加工状態、および保管状態の各値を蓄積したデータベースである。なお、クライアント端末２００の機械学習エンジン２０２１や、店舗端末３００の機械学習エンジン３０２１によるものも同様の構成となる。

そのデータ構造は、判定対象画像の提供者であるユーザのＩＤをキーとして、当該ユーザが提供した判定対象画像の画像ファイル名、機械学習エンジン１０２１による判定結果、上述のユーザにより予め指定されている指定項目、および回答結果といったデータから成るレコードの集合体である。

このうち指定項目は、食材の種類、加工状態、および保管状態のうち、どのラベルに関する判定結果を所望するか、ユーザが予め指定したものとなる。

また、回答結果は、機械学習エンジン１０２１による判定結果のうち、上述の指定項目に対応する値を抽出し構成したものである。

こうした判定結果ＤＢ１２７は、クライアント端末２００における判定結果ＤＢ２２６、および店舗端末３００における判定結果ＤＢ３２６と同様の構造を備える。よってこれら、判定結果ＤＢ２２６、３２６に関する説明は省略する。

－－－フロー例１－－－
以下、本実施形態における食材管理支援方法の実際手順について図に基づき説明する。以下で説明する食材管理支援方法に対応する各種動作は、例えば、サーバ１００が実行するプログラム１０２、クライアント端末２００が実行するプログラム２０２、および店舗端末３００が実行するプログラム３０２によって実現される。そして、これらのプログラ
ムは、以下に説明される各種の動作を行うためのコードから構成されている。

図８は、本実施形態における食材管理支援方法のフロー例１を示す図である。ここでは、サーバ１００における機械学習エンジン１０２１の学習フローについて説明する。

この場合、サーバ１００は、例えば、クライアント端末２００から、当該ユーザが提供する教師データ候補としての食材画像を取得し、これを機械学習エンジンに入力する（ｓ１）。この教師データ候補には、当該食材の種類、加工状態、および保管状態の少なくともいずれかのラベルの値が付与されている。

サーバ１００の機械学習エンジン１０２１は、入力された教師データ候補が示す食材画像について所定の画像認識アルゴリズムによって特徴量を抽出する（ｓ２）。

また、サーバ１００の機械学習エンジン１０２１は、上述の教師データ候補が示すラベルの値、すなわち当該食材画像における食材の種類、加工状態、および保管状態の少なくともいずれかを、上述のｓ２で得た特徴量と紐付けて、新たな教師データとして教師データＤＢ１２５に格納する（ｓ３）。

なお、サーバ１００が、上述の学習に際し、教師データ候補として、食材の種類についてのラベルのみ付与された食材画像、食材の加工状態についてラベルのみ付与された食材画像、および食材の保管状態についてのラベルのみ付与された食材画像、をそれぞれに機械学習エンジン１０２１に入力するとしてもよい。

その場合、該当食材画像と当該食材画像が示す食材の種類との対応関係、該当食材画像と当該食材画像が示す加工状態との対応関係、および該当食材画像と当該食材画像が示す食材の保管状態との対応関係、の少なくともいずれかをそれぞれ学習させることとなる。

また、サーバ１００は、ｓ１～ｓ３で得た教師データを、例えば、当該教師データ候補たる食材画像の提供者のユーザと紐付けて、教師データＤＢ１２５に格納するとすれば好適である。つまり、機械学習エンジン１０２１の学習に際し、ユーザごとに、食材画像と当該食材画像が示す食材の種類、加工状態、および保管状態の少なくともいずれかとの対応関係を学習させることとなる。

当然ながら、サーバ１００は、こうしたｓ１～ｓ３のフローを、教師データ候補が提供されるごと、また、教師データごとに繰り返し実行し、機械学習エンジン１０２１の学習度は進化していくこととなる。

－－－フロー例２－－－
続いて、判定対象画像に対する機械学習エンジン１０２１による判定処理について説明する。図９は本実施形態の食材管理支援方法のフロー例２を示す図である。

この場合、クライアント端末２００または店舗端末３００が、その撮像装置で、所定ユーザの食材に関して得た食材画像を、判定対象画像としてサーバ１００にアップロードしてきた状況を想定する。

この場合、まずサーバ１００は、クライアント端末２００または店舗端末３００から判定対象画像を受信し、当該判定対象画像を記憶装置１０１の判定対象画像ＤＢ１２６に格納する（ｓ１０）。

続いて、サーバ１００は、判定対象画像ＤＢ１２６から、例えば、所定ユーザから得て
いる判定対象画像を読み出し、これを機械学習エンジン１０２１に入力する（ｓ１１）。この時、当該ユーザに関して学習を行っている機械学習エンジン１０２１を対象として選択的に上述の入力を行うとしてもよい。

続いて、サーバ１００は、上述の機械学習エンジン１０２１によって、当該判定対象画像が示す食材の種類、加工状態、および保管状態の少なくともいずれかについて判定する（ｓ１２）。

この機械学習エンジン１０２１における判定は、判定対象画像の特徴量を画像認識アルゴリズムで抽出し、当該特徴量と（好ましくは該当ユーザに関して）対応関係が規定されているラベルの値、すなわち食材の種類、加工状態、および保管状態の各値を特定する処理となる。

続いて、サーバ１００は、上述のｓ１２の判定で得た、食材の種類、加工状態、および保管状態の各値（の少なくともいずれか）を、当該ユーザに関して予め指定を受けている指定項目（判定結果ＤＢ１２７の“指定項目”の値）に照合し、該当項目についてのみ抽出し、これを回答結果として特定する（ｓ１３）。

サーバ１００は、ｓ１３で得た回答結果を、当該ユーザ、判定対象画像の画像ファイル名、判定結果（ｓ１２で得たもの）らと対応付けたレコードを生成し、これを判定結果ＤＢ１２７に格納する（ｓ１４）。

なお、上述の回答結果の特定において、サーバ１００は、判定結果の形態に応じた処理を行うものとする。

すなわち、判定結果が図５Ａの教師データＤＢ１２５の例で示しような、一次元の形態である場合、例えば、当該判定結果が全９ビットであるならば、先頭３ビット分を食材の種類、つぎの３ビット分を食材の加工状態、さらに次の３ビット分を食材の保管状態、の各値として切り分けて抽出し、指定項目に対応するもの同士をマージして回答結果を生成する。

一方、判定結果が図５Ｂの教師データＤＢ１２５の例で示しような、多次元の形態である場合、当該ユーザの指定項目に対応するラベルの値を各判定結果から取得してマージし、回答結果を生成する。

続いて、サーバ１００は、ｓ１４で得た回答結果（勿論、判定結果や画像ファイル名など他の項目を含んでいてもよい）を、ｓ１０で判定対象画像をアップロードしてきた、クライアント端末２００または店舗端末３００に対して配信し（ｓ１５）、処理を終了する。

一方、クライアント端末２００または店舗端末３００は、上述のサーバ１００が配信してきた、食材の種類、加工状態、および保管状態の少なくともいずれかを含む回答結果を受信し、これをディスプレイ等の出力装置や、或いは、当該ユーザが使用する調理家電に出力（図１０の画面１０００）することとなる。

勿論、こうした回答結果を、クライアント端末２００や店舗端末３００から、レシピ提供サイトのＷＥＢサーバに送信し、当該回答結果が示す食材の種類、加工状態、保管状態にマッチした食材が使用されるレシピの提案（図１１の画面１１００）を受けるとしてもよい。

この場合のＷＥＢサーバは、こうした回答結果を伴うレシピ要求をクライアント端末２００や店舗端末３００から受けて、自身のレシピＤＢ等から該当するレシピを、上述の回答結果が示す語彙によるキーワード検索等で選択し、これを返信する機能を有している。

－－－その他の例－－－
上述までの例では、サーバ１００が、その機械学習エンジン１０２１により食材の種類、加工状態、保管状態について判定する流れについて説明した。しかし、クライアント端末２００や店舗端末３００が、機械学習エンジンをそれぞれ備え、エッジコンピューティング可能な構成であるケースも想定しうる。

その場合、例えば、クライアント端末２００は、自身の撮像装置２０８で得た食材画像に対し、自身の機械学習エンジン２０２１による判定を実行する。同様に、店舗端末３００は、自身の撮像装置３０８で得た食材画像に対し、自身の機械学習エンジン３０２１による判定を実行する。

そうしてクライアント端末２００や店舗端末３００が得た判定結果や回答結果は、クライアント端末２００や店舗端末３００の出力装置にて出力し、その食材を保持するユーザの閲覧対象として提供することとなる。勿論、自身の出力装置にて出力するだけでなく、上述のようにＷＥＢサーバに配信して、適宜なレシピの提案を受けるとしてもよい。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

こうした本実施形態によれば、食材個々の様々な状況に対応し、適宜な食材管理やレシピ検討の支援が可能となる。

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の食材管理支援システムにおいて、前記演算装置は、前記学習の処理に際し、前記教師データとして、食材の種類についてのラベルのみ付与された食材画像と、食材の加工状態についてラベルのみ付与された食材画像とを、それぞれに機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類との対応関係、および食材画像と当該食材画像が示す加工状態との対応関係、をそれぞれ学習させるものである、としてもよい。

これによれば、例えば、教師データとして、加工状態や保管状態に関わらず、種類のみ同一である食材の画像を用意し、或いは、食材の種類や保管状態に関わらず、加工状態のみ同一である食材の画像を用意すれば、機械学習エンジンの学習を進めることが可能となる。つまり、教師データの確保が容易となり、全体として処理効率が向上しやすい。ひいては、食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援システムにおいて、前記演算装置は、クライアント端末から前記判定対象画像を受信し、当該判定対象画像を記憶装置に格納する処理を更に実行し、前記判定の処理に際し、前記記憶装置から前記判定対象画像を複数読み出して、当該複数の判定対象画像それぞれを前記機械学習エンジンに入力し、前記複数の判定対象画像それぞれについて前記食材の種類および前記加工状態のそれぞれを判定するものである、としてもよい。

これによれば、ユーザの所持するスマートフォン等から判定対象画像を収集し、そこに写り込んでいる食材の種類や加工状態等を判定することが可能となる。ひいては、食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援システムにおいて、
前記記憶装置は、前記食材画像に対して当該食材の種類、加工状態、および保管状態の少なくともいずれかについてラベル付けした教師データを保持するものであり、前記演算装置は、前記学習の処理に際し、前記教師データを機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類、加工状態、および保管状態の少なくともいずれかとの対応関係を前記機械学習エンジンに学習させ、前記判定の処理に際し、前記ユーザ提供の判定対象画像を前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類、加工状態、および保管状態の少なくともいずれかを判定するものである、としてもよい。

これによれば、ラップ包装、タッパー容器での密封、平皿上に裸で保管、といった食材の保管状態についても判定し、その判定結果を食材管理やレシピ選定等に活用することができる。ひいては、食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援システムにおいて、前記記憶装置は、前記教師データを、当該食材のユーザと紐付けて保持するものであり、前記演算装置は、前記学習の処理に際し、前記教師データを機械学習エンジンに入力し、ユーザごとに、食材画像と当該食材画像が示す食材の種類および加工状態の少なくともいずれかとの対応関係を前記機械学習エンジンに学習させ、前記判定の処理に際し、所定ユーザが提供した判定対象画像を、当該ユーザに関して前記学習を行っている前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態の少なくともいずれかを判定し、前記出力の処理に際し、前記ユーザが提供した前記判定対象画像に関して判定した食材の種類および加工状態の少なくともいずれかの情報を、当該ユーザの情報と紐付けて所定装置に出力するものである、としてもよい。

これによれば、ユーザごと（例：世帯ごと）の食材利用の状況、癖などを反映した機械学習エンジンの学習が可能となる。そのため、判定対象画像についての処理に際しても、当該ユーザの特性を踏まえた判定が好適に行われやすくなる。ひいては、食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援システムにおいて、撮像装置と、前記撮像装置で得た判定対象画像を前記サーバに送信し、前記サーバにおける前記機械学習エンジンによる、前記判定対象画像が示す食材の種類および加工状態の情報を取得する処理、および前記取得した食材の種類および加工状態の情報を出力装置に出力する処理、を実行する演算装置と、を備えたクライアント端末をさらに含むとしてもよい。

これによれば、ユーザの使用するクライアント端末と協働し、当該ユーザの食材に関する種類、加工状態等の判定が円滑に実行可能となる。ひいては、食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援システムにおいて、前記クライアント端末は、前記撮像装置で得た判定対象画像を、自身の機械学習エンジンに入力し、前記機械学習エンジンによる、前記判定対象画像が示す食材の種類および加工状態の情報を取得する処理、および前記取得した食材の種類および加工状態の情報を出力装置に出力する処理、を実行するものである、としてもよい。

これによれば、クライアント端末における、いわゆるエッジコンピューティングによる食材判定が可能となる。このことは、上述のサーバとの連携が基本的には不要となり、ネットワーク環境下に無い状況であっても効率的に食材判定が遂行可能となる。ひいては、
食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援システムにおいて、撮像装置と、前記撮像装置で決済対象の食材に関して得た判定対象画像を前記サーバに送信する処理を実行する演算装置と、を備える店舗端末をさらに含み、前記サーバにおける前記演算装置は、前記店舗端末から受信した前記判定対象画像を、前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態を判定する処理、および前記判定した食材の種類および加工状態の情報を、前記クライアント端末に配信する処理、を実行するものである、としてもよい。

これによれば、ユーザが食材を購入した小売店等で、上述の店舗端末が食材画像を撮影し、これを判定対象画像としてサーバにアップロードする形態が可能となる。この場合、サーバは店舗端末からアップロードした判定対象画像に関して、食材の種類や加工状態等を判定し、これを当該ユーザのクライアント端末に返すこととなる。一方、ユーザとしては、自身で食材画像の撮影やサーバへのアップロード作業を行う状況から解放され、食材判定支援を受けるための手間や意識面での障害も解消される。ひいては、食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援システムにおいて、前記店舗端末は、前記撮像装置で得た判定対象画像を、自身の機械学習エンジンに入力し、前記機械学習エンジンによる、前記判定対象画像が示す食材の種類および加工状態の情報を取得する処理、および前記取得した食材の種類および加工状態の情報を出力装置に出力する処理、を実行するものである、としてもよい。

これによれば、店舗端末における、いわゆるエッジコンピューティングによる食材判定が可能となる。このことは、上述のサーバとの連携が基本的には不要となり、ネットワーク環境下に無い状況であっても効率的に食材判定が遂行可能となる。ひいては、食材個々の様々な状況に対応し、より適宜な食材管理やレシピ検討の支援が可能となる。

また、本実施形態の食材管理支援方法において、撮像装置を備えたクライアント端末が、前記撮像装置で得た判定対象画像を前記サーバに送信し、前記サーバにおける前記機械学習エンジンによる、前記判定対象画像が示す食材の種類および加工状態の情報を取得する処理と、前記取得した食材の種類および加工状態の情報を出力装置に出力する処理と、を実行するとしてもよい。

また、本実施形態の食材管理支援方法において、撮像装置を備えた店舗端末が、前記撮像装置で決済対象の食材に関して得た判定対象画像を前記サーバに送信し、前記サーバが、前記店舗端末から受信した前記判定対象画像を、前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態を判定する処理と、前記判定した食材の種類および加工状態の情報を、前記クライアント端末に配信する処理と、を実行するとしてもよい。

１ ネットワーク
１０ 食材管理支援システム
１００ サーバ
１０１ 記憶装置
１０２ プログラム
１０２１ 機械学習エンジン
１０３ メモリ
１０４ 演算装置
１０５ 通信装置
１２５ 教師データＤＢ
１２６ 判定対象画像ＤＢ
１２７ 判定結果ＤＢ
２００ クライアント端末
２０１ 記憶装置
２０２ プログラム
２０２１ 機械学習エンジン
２０３ メモリ
２０４ 演算装置
２０５ 入力装置
２０６ 出力装置
２０７ 通信装置
２０８ 撮像装置
２２５ 判定対象画像ＤＢ
２２６ 判定結果ＤＢ
３００ 店舗端末
２０１ 記憶装置
２０２ プログラム
３０２１ 機械学習エンジン
３０３ メモリ
３０４ 演算装置
３０５ 入力装置
３０６ 出力装置
３０７ 通信装置
３０８ 撮像装置
３２５ 判定対象画像ＤＢ
３２６ 判定結果ＤＢ

Claims (9)

1. 食材画像に対して当該食材の種類および加工状態についてラベル付けした教師データを保持する記憶装置と、
   前記教師データを機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類および加工状態との対応関係を前記機械学習エンジンに学習させる処理、ユーザ提供の判定対象画像を前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態を判定する処理、および、前記判定した食材の種類および加工状態の情報を所定装置に出力する処理、を実行する演算装置と、
   を備えたサーバを含むことを特徴とする食材管理支援システム。
2. 前記演算装置は、
   前記学習の処理に際し、前記教師データとして、食材の種類についてのラベルのみ付与された食材画像と、食材の加工状態についてラベルのみ付与された食材画像とを、それぞれに機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類との対応関係、および食材画像と当該食材画像が示す加工状態との対応関係、をそれぞれ学習させるものである、
   ことを特徴とする請求項１に記載の食材管理支援システム。
3. 前記演算装置は、
   クライアント端末から前記判定対象画像を受信し、当該判定対象画像を記憶装置に格納する処理を更に実行し、
   前記判定の処理に際し、前記記憶装置から前記判定対象画像を複数読み出して、当該複数の判定対象画像それぞれを前記機械学習エンジンに入力し、前記複数の判定対象画像それぞれについて前記食材の種類および前記加工状態のそれぞれを判定するものである、
   ことを特徴とする請求項２に記載の食材管理支援システム。
4. 前記記憶装置は、
   前記食材画像に対して当該食材の種類、加工状態、および保管状態についてラベル付けした教師データを保持するものであり、
   前記演算装置は、
   前記学習の処理に際し、前記教師データを機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類、加工状態、および保管状態との対応関係を前記機械学習エンジンに学習させ、
   前記判定の処理に際し、前記ユーザ提供の判定対象画像を前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類、加工状態、および保管状態を判定するものである、
   ことを特徴とする請求項１に記載の食材管理支援システム。
5. 前記記憶装置は、
   前記教師データを、当該食材のユーザと紐付けて保持するものであり、
   前記演算装置は、
   前記学習の処理に際し、前記教師データを機械学習エンジンに入力し、ユーザごとに、食材画像と当該食材画像が示す食材の種類および加工状態との対応関係を前記機械学習エンジンに学習させ、
   前記判定の処理に際し、所定ユーザが提供した判定対象画像を、当該ユーザに関して前記学習を行っている前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態を判定し、
   前記出力の処理に際し、前記ユーザが提供した前記判定対象画像に関して判定した食材
   の種類および加工状態の少なくともいずれかの情報を、当該ユーザの情報と紐付けて所定装置に出力するものである、
   ことを特徴とする請求項１に記載の食材管理支援システム。
6. 撮像装置と、
   前記撮像装置で得た判定対象画像を前記サーバに送信し、前記サーバにおける前記機械学習エンジンによる、前記判定対象画像が示す食材の種類および加工状態の情報を取得する処理、および前記取得した食材の種類および加工状態の情報を自身の出力装置に出力する処理、を実行する演算装置と、
   を備えたクライアント端末、
   をさらに含むことを特徴とする請求項１に記載の食材管理支援システム。
7. 前記クライアント端末は、
   前記撮像装置で得た判定対象画像を、自身の機械学習エンジンに入力し、前記機械学習エンジンによる、前記判定対象画像が示す食材の種類および加工状態の情報を取得する処理、および前記取得した食材の種類および加工状態の情報を前記出力装置に出力する処理、を実行するものである、
   ことを特徴とする請求項６に記載の食材管理支援システム。
8. サーバが、
   記憶装置において、食材画像に対して当該食材の種類および加工状態についてラベル付けした教師データを保持し、
   前記教師データを機械学習エンジンに入力し、食材画像と当該食材画像が示す食材の種類および加工状態との対応関係を前記機械学習エンジンに学習させる処理と、
   ユーザ提供の判定対象画像を前記機械学習エンジンに入力し、前記判定対象画像が示す食材の種類および加工状態を判定する処理と、
   前記判定した食材の種類および加工状態の情報を所定装置に出力する処理と、
   を実行することを特徴とする食材管理支援方法。
9. 撮像装置を備えたクライアント端末が、
   前記撮像装置で得た判定対象画像を前記サーバに送信し、前記サーバにおける前記機械学習エンジンによる、前記判定対象画像が示す食材の種類および加工状態の情報を取得する処理と、
   前記取得した食材の種類および加工状態の情報を自身の出力装置に出力する処理と、
   を実行することを特徴とする請求項８に記載の食材管理支援方法。

Images