JP7484215B2 - 飲料供給装置及び再学習済みモデル生成システム - Google Patents

Description

本発明は、カップの飲料情報を判定する飲料情報判定用の学習済みモデル自体の判定精度を高めることを可能にする飲料供給装置及び再学習済みモデル生成システムに関する。

従来、例えばコンビニエンスストア等の店舗には、コーヒーマシン等の飲料供給装置が設置されている。飲料供給装置は、利用者により飲料が選択された場合に、例えばコーヒー豆挽き及びドリッピングの抽出処理等を行って飲料を生成し、飲料供給部に配置されたカップに対して、該飲料供給部を構成するノズルより飲料を吐出して供給するものである（例えば、特許文献１参照）。

そして、飲料供給部の載置部に載置されたカップに飲料を供給する場合、載置部に載置されたカップの画像を撮像し、この撮像画像内のカップの色情報や輝度情報などをもとにカップ識別を自動で行い、カップ識別に対応した飲料をカップに供給するようにしていた。

特開２００９－２７４７６７号公報

しかしながら、飲料供給装置が設置される設置環境、例えば外来光や照明光の強度や色温度等が変化すると、カップの飲料情報の判定精度が低下してしまう場合がある。

そこで、カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の撮像画像を入力してカップの飲料情報を判定することが提案されている。この学習済みモデルを用いると、種々の設置環境であっても、カップの飲料情報の判定精度を高めることができる。

しかし、教師有り学習は、種々の設置環境を推定した膨大な教師データを用いていても、具体的に予想できない設置環境などが生じると、学習済みモデルを用いても判定精度が低下してしまうという課題があった。

本発明は、上記に鑑みてなされたものであって、カップの飲料情報を判定する飲料情報判定用の学習済みモデル自体の判定精度を高めることを可能にする飲料供給装置及び再学習済みモデル生成システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、飲料供給部に配置されたカップに対して、飲料生成部で生成した飲料を供給する飲料供給装置であって、前記カップの撮像画像を取得する撮像部と、前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力して前記カップの飲料情報を判定する判定部と、前記判定部が判定した飲料情報が不明あるいは不確定である場合、入力された撮像画像及び関連するメタデータを飲料供給装置内の記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、を備える。

また、本発明は、上記の発明において、前記判定部は、前記学習済みモデルから出力された飲料情報の出力値が第１の確率以上の場合、飲料情報が確定であると判定し、飲料情報の出力値が前記第１の確率未満かつ第２の確率以上の場合、飲料情報が不確定であると判定し、飲料情報の出力値が前記第２の確率未満の場合、飲料情報が不明であると判定し、前記飲料供給制御部は、飲料情報が確定である場合、確定した飲料情報の飲料の生成及び供給を制御し、前記出力制御部は、飲料情報が不確定である場合、前記カップの置き直しを案内して再度の飲料情報の判定を行わせるとともに、入力された撮像画像及び関連するメタデータを判定不確定データとして前記記憶部に記憶あるいは外部出力させ、飲料情報が不明である場合、入力された撮像画像及び関連するメタデータを判定不明データとして前記記憶部に記憶あるいは外部出力させるようにしてもよい。

また、本発明は、飲料供給部に配置されたカップの撮像画像を取得する撮像部と、前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力して前記カップの飲料情報を判定する判定部と、前記判定部が判定した飲料情報が不明あるいは不確定である場合、入力された撮像画像及び関連するメタデータをそれぞれ判定不明データあるいは判定不確定データとして飲料供給装置内の記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、を備えた飲料供給装置と、前記飲料供給装置から取得した、飲料情報が不明あるいは不確定である場合の撮像画像及び関連するメタデータを用い、取得した前記撮像画像を教師データとして前記学習済みモデルを再学習し、前記学習済みモデルを、再学習された再学習済みモデルに更新する再学習済みモデル生成装置と、を備える。

また、本発明は、上記の発明において、複数の前記飲料供給装置から出力される前記判定不明データ及び前記判定不確定データを記憶して管理する管理サーバを備え、前記再学習済みモデル生成装置は、前記管理サーバから前記判定不明データ及び前記判定不確定データを取得するようにしてもよい。

本発明によれば、カップの飲料情報を判定する飲料情報判定用の学習済みモデル自体の判定精度を高めることを可能にする。

図１は、本発明の実施の形態である飲料供給装置の外観構成を示す斜視図である。 図２は、図１に示した飲料供給装置の制御系の構成を模式的に示すブロック図である。 図３は、図１に示した飲料供給部の構成を示す正面図である。 図４は、図１に示した飲料供給部の構成を示す断面図である。 図５は、学習済みモデルを用いた飲料情報の判定処理を説明する説明図である。 図６は、制御部による飲料供給制御処理手順を示すフローチャートである。 図７は、再学習済みモデル生成システムの構成を示すブロック図である。 図８は、再学習済みモデル生成システムにおける学習済みモデルの再学習処理を示すシーケンス図である。

以下、添付図面を参照してこの発明を実施するための形態について説明する。

＜全体構成＞
図１は、本発明の実施の形態である飲料供給装置１の外観構成を示す斜視図である。また、図２は、飲料供給装置１の制御系の構成を模式的に示すブロック図である。また、図２は、図１に示した飲料供給部２２の構成を示す正面図である。また、図４は、図１に示した飲料供給部２２の構成を示す断面図である。

ここで例示する飲料供給装置１は、例えばコンビニエンスストア等の店舗に設置されるコーヒーマシンであり、例えばコーヒー豆挽き及びドリッピングの抽出処理を行って、容器である有底円筒状のカップＣに、例えばカフェラテ等の乳飲料を含んだコーヒー飲料を供給するものである。

飲料供給装置１は、本体キャビネット１０及び前面扉２０を備えている。本体キャビネット１０は、前面が開口した略直方状の形態を成すものである。この本体キャビネット１０の内部には、飲料（例えばコーヒー）を生成する飲料生成部１１が設けてある。

前面扉２０は、本体キャビネット１０の前面の開口を閉塞するのに十分な大きさを有する扉体である。この前面扉２０は、本体キャビネット１０の前方側の一側縁部において、上下方向に沿って延在する図示せぬ軸部の中心軸回りに揺動可能に設けてあり、本体キャビネット１０の前面の開口を開閉することが可能である。

前面扉２０は、前面が接客面を構成しており、表示部２１、飲料供給部２２及び開閉扉２２ａが設けてある。表示部２１は、例えば液晶タッチパネルで構成されており、各種情報を表示するとともに、タッチ操作等の入力操作が可能な入力部２１ａを有している。

飲料供給部２２は、表示部２１の下方側に凹部を設けることにより構成してある。この飲料供給部２２は、ノズル２３、ステージ２４、後壁２５、及び、側壁２６Ｌ，２６Ｒを有している（図３，４参照）。ノズル２３は、飲料生成部１１で生成された飲料を下方に向けて吐出するものである。ステージ２４は、ノズル２３の下方域に設けてある。ステージ２４は、カップＣを載置させる載置部であり、円弧状のストッパ２４ａが設けてある。また、ステージ２４には、ノズル２３から吐出されてカップＣに供給されなかった飲料を通過させる複数の通過孔２４ｂが形成されており（図４参照）、その下方には飲料を貯留するためのトレイ（図示せず）が設けてある。

後壁２５は、ステージ２４の後面を覆うものである。側壁２６Ｌ，２６Ｒは、ステージ２４の両側面を覆うものである。側壁２６Ｌ，２６Ｒは、後壁２５の両側縁部から前方に向けて相互間隔が漸次増大するように設けられている。

開閉扉２２ａは、例えば透明な樹脂等の透光性材料により構成されるものであり、飲料供給部２２の入口２７を覆うのに十分な大きさを有している。開閉扉２２ａは、左側端部が前面扉２０に軸支されており、前後方向に沿って揺動可能なものである。つまり、開閉扉２２ａは、飲料供給部２２に近接離反する態様で前後方向に沿って揺動可能であり、飲料供給部２２に近接する態様で後方に揺動する場合に飲料供給部２２の入口２７を閉成させることが可能であり、飲料供給部２２から離隔する態様で前方に揺動する場合に入口２７を開成させることが可能である。

図２に示すように、飲料供給装置１は、カップ検出部３１、投光部３２、撮像部３３、遮光板３４、扉開閉検知部３５、扉開閉ロック機構３６及び制御部４０を備える。

カップ検出部３１は、例えば光センサ等により構成されるもので、飲料供給部２２におけるカップＣの配置の有無、すなわちステージ２４にカップＣが載置されたか否かを検出するものである。カップ検出部３１は、カップＣの有無の検出結果を制御部４０に与える。

投光部３２は、図３及び図４に示すように、飲料供給部２２における左方の側壁２６Ｌ及び右方の側壁２６Ｒに設けてある。投光部３２は、例えばＬＥＤであり、ステージ２４に載置されたカップＣの表面に対して光照射を行う。投光部３２は、カップＣの上部周面に対して斜め上方から光を照射することができるように、それぞれ側壁２６Ｌ，２６Ｒの上方部に設けてある。

撮像部３３は、飲料供給部２２における左方の側壁２６Ｌの下部に設けられ、カップＣを含む画像を取得する。

扉開閉検知部３５は、飲料供給部２２の入口２７の近傍に設けてあり、例えば光センサ等で構成してある。この扉開閉検知部３５は、開閉扉２２ａによる入口２７の開閉を検知するものであり、より詳細には、入口２７が閉成、すなわち開閉扉２２ａが閉となるか否かを検知するものである。扉開閉検知部３５は、開閉扉２２ａが閉となるか否かの検知結果を制御部４０に与える。

扉開閉ロック機構３６は、飲料供給部２２の入口２７の近傍に設けてある。この扉開閉ロック機構３６は、入口２７を閉成する開閉扉２２ａが閉となる状態を保持させて該開閉扉２２ａが前方に向けて揺動することを規制するロック状態と、該開閉扉２２ａが前方に向けて揺動することを許容する解除状態との間で択一的に切替可能なものである。扉開閉ロック機構３６の切り替えは、制御部４０からの指令に応じて行われる。

通信部４２は、例えばＬＴＥ（登録商標）などの通信方式により、後述するネットワークＮを介して管理サーバに接続する通信インタフェースである。なお、通信部４２は、ＷｉＦｉ（登録商標）などの近距離無線通信機能を介してネットワークＮに接続するようにしてもよい。

制御部４０は、飲料生成部１１、表示部２１、カップ検出部３１、投光部３２、撮像部３３、扉開閉検知部３５、扉開閉ロック機構３６、通信部４２を接続し、記憶部４１に記憶されたプログラムやデータにしたがって、これら各部の動作を統括的に制御するものである。

制御部４０は、装置全体を制御する制御部であり、判定部４０ａ、飲料供給制御部４０ｂ及び出力制御部４０ｃを有する。判定部４０ａは、カップＣの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルＭを用いて、撮像部３３が撮像した判定対象の撮像画像を入力してカップＣの飲料情報を判定する。飲料情報は、カップサイズや供給飲料内容等であり、例えば、ラージサイズのアイスカフェラテである。

判定部４０ａは、学習済みモデルＭから出力された飲料情報の出力値が第１の確率以上の場合、飲料情報が確定であると判定し、飲料情報の出力値が前記第１の確率未満かつ第２の確率以上の場合、飲料情報が不確定であると判定し、飲料情報の出力値が前記第２の確率未満の場合、飲料情報が不明であると判定する。

出力制御部４０ｃは、飲料情報が不確定である場合、カップＣの置き直しを案内して再度の飲料情報の判定を行わせるとともに、入力された撮像画像及び関連するメタデータを判定不確定データＤ２として記憶部４１に記憶あるいは外部の管理サーバに外部出力させ、飲料情報が不明である場合、入力された撮像画像及び関連するメタデータを判定不明データＤ１として記憶部４１に記憶あるいは外部の管理サーバに外部出力させる。

飲料供給制御部４０ｂは、飲料情報が確定である場合、確定した飲料情報の飲料の生成及び供給を制御する。

＜学習済みモデルを用いた飲料情報の判定処理＞
図５は、学習済みモデルＭを用いた飲料情報の判定処理を説明する説明図である。図５に示すように、学習済みモデルＭに撮像部３３が撮像した撮像画像Ｄが入力されると、１つの飲料情報の確率Ｐを出力する。具体的には、学習済みモデルＭは、例えば、カップサイズ、アイスかホットか、飲料種などの組み合わせた飲料情報ごとに判定した確率を出力する。例えば、カップサイズが「レギュラー」と「ラージ」の２種類、「アイス」か「ホット」かの２種類、「コーヒー」か「カフェラテ」かの２種類の組み合わせた飲料情報であり、ここでは８種類の飲料情報となる。学習済みモデルＭは、８種類の飲料情報ごとに確率を出力し、その最大確率をもつ飲料情報とその確率Ｐを出力する。

判定部４０ａは、この確率Ｐの出力値が０．９（第１の確率）以上である場合、飲料情報の判定が確定されてものして、この判定された飲料情報を飲料供給制御部４０ｂに出力して飲料供給を行わせる。

判定部４０ａは、確率Ｐの出力値が０．８（第２の確率）以上０．９未満である場合、飲料情報の判定が不確定であるとして、カップＣの置き直しの案内を行わせ、その後、判定不確定データＤ２を記憶部４１あるいは管理サーバに出力する。また、判定部４０ａは、確率Ｐの出力値が０．８未満である場合、飲料情報の判定が不明であるとして、判定不明データＤ１を記憶部４１あるいは管理サーバに出力する。これら判定不確定データＤ２や判定不明データＤ１は、学習済みモデルＭの再学習のために提供されることになる。

なお、学習済みモデルＭは、上記したように、飲料情報が既知の撮像画像である入力データと正解データ（飲料情報）とのセットからなる教師データを用いた教師有り学習を行った多層ニューラルネットワーク（ＣＮＮ）である。教師有り学習は、例えば、飲料情報が既知の撮像画像を入力データとして、飲料情報という正解データが得られたならば、バックプロパゲーションによってニューロン間のパスの重み等のパラメータを変動させ、もって多層ニューラルネットワーク（ＣＮＮ）に学習させることが可能となる。なお、通常、教師有り学習を行う場合には大量の教師データを用いて学習を行わねばならず、一つの学習についても多大な時間がかかることになる。そこで、学習済みモデルＭの生成処理を、大型計算機又はクラウド上で行うようにしてもよい。

学習済みモデルＭは、例えば、コンボリューション層（Convolution）、コンボリューション層（Convolution）、アベレージプーリング層（Average Pooling）、コンボリューション層（Convolution）、アベレージプーリング層（Average Pooling）、全結合層（Fully Connect）、全結合層（Fully Connect）及び出力層（Softmax）が順次接続される。最初のコンボリューション層（Convolution）に対して撮像画像Ｄが入力されたならば、最後尾の出力層（Softmax）から各飲料情報の確率が出力される。

ここで、コンボリューション層は、局所的な特徴を抽出するために、前層で近くにあるノードにフィルタを畳み込んで特徴マップを生成する。アベレージプーリング層は、局所的な特徴をまとめあげるために、前層であるコンボリューション層から出力された特徴マップをさらに縮小して新たな特徴マップとする。このように、多層ニューラルネットワーク（ＣＮＮ）の隠れ層は、コンボリューション層とアベレージプーリング層により形成される。全結合層は、特徴部分が取り出された特徴マップを一つのノードに結合し、所定の活性化関数によって変換された値を出力する。この活性化関数には、周知技術であるＲｅＬＵ（Rectified Linear Unit）等を用いることができる。出力層は、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれ正しく分類される確率を出力する。また、オーバーフィッティングを避けるためにドロップアウト層を追加することもできる。

なお、既存の大規模画像データセットで学習させた学習済モデルであるＶＧＧ１６などを用いてもよい。ＶＧＧ１６は１３層の畳み込み層と３層の全結合層との計１６層からなる。本実施の形態の学習済モデルＭ１を学習させる場合、ＶＧＧ１６の全結合層を外して新たに全結合層を追加し、１４層までの重みを更新させず、１５層以降のみを学習させると、ＶＧＧ１６の高い特徴量抽出を継承しつつ、少ない教師データ、かつ、短時間に精度の高い学習済モデルを構築することができる。

＜飲料供給制御処理＞
次に、図６に示したフローチャートを参照して制御部４０による飲料供給制御処理手順について説明する。

図６に示すように、制御部４０は、まず、カップ検出部３１によりカップＣが飲料供給部２２に有ると検出されたか否かを判断する（ステップＳ１０１）。すなわち、カップ検出部３１は、カップＣがステージ２４に載置されたか否かを検出する。

カップＣが有ると検出された場合（ステップＳ１０１：Ｙｅｓ）、制御部４０は、扉開閉検知部３５の検知結果をもとに、開閉扉２２ａが閉であるか否かを判断する（ステップＳ１０２）。開閉扉２２ａが閉でない場合（ステップＳ１０２：Ｎｏ）には、ステップＳ１０２の判断処理を繰り返す。

一方、制御部４０は、開閉扉２２ａが閉である場合（ステップＳ１０２：Ｙｅｓ）には、撮像部３３が撮像した撮像画像Ｄを取得する（ステップＳ１０３）。その後、判定部４０ａは、この撮像画像を入力データとして学習済みモデルＭに入力して、カップＣの飲料情報の確率を取得して飲料情報を判定する処理を行う（ステップＳ１０４）。その後、判定部４０ａの判定結果が、確定か、不確定か、不明かを判定する（ステップＳ１０５）。

判定結果が確定である場合（ステップＳ１０５：確定）、制御部４０は、表示部２１に対して、判定したカップＣに供給する飲料の表示と、確認の文言が表示された入力部２１ａのタッチを案内する案内表示を行う（ステップＳ１０６）。

その後、制御部４０は、入力部２１ａがタッチされたか否かを判断する（ステップＳ１０７）。入力部２１ａがタッチされない場合（ステップＳ１０７：Ｎｏ）、制御部４０は、ステップＳ１０７の判断処理を繰り返す。一方、入力部２１ａがタッチされた場合（ステップＳ１０７：Ｙｅｓ）、制御部４０は、扉開閉ロック機構３６を用いて開閉扉２２ａを閉状態にロックし（ステップＳ１０８）、飲料生成部１１に対して、供給する飲料の生成及び供給の処理を行わせる（ステップＳ１０９）。

その後、制御部４０は、飲料生成部１１による飲料供給が終了したか否かを判断する（ステップＳ１１０）。飲料供給が終了していない場合（ステップＳ１１０：Ｎｏ）には、制御部４０は、ステップＳ１０９に戻って飲料の生成及び供給の処理を続行する。

一方、飲料供給が終了した場合（ステップＳ１１０：Ｙｅｓ）には、制御部４０は、扉開閉ロック機構３６による開閉扉２２ａの閉状態のロックを解除し（ステップＳ１１１）、本処理を終了する。

一方、判定結果が不確定である場合（ステップＳ１０５：不確定）、制御部４０は、カップＣの置き直しを案内し（ステップＳ１１２）、その後、判定不確定データＤ２を記憶部４１等に出力して（ステップＳ１１３）、本処理を終了する。

また、判定結果が不明である場合（ステップＳ１０５：不明）、制御部４０は、判定不明データＤ１を記憶部４１等に出力して（ステップＳ１１４）、本処理を終了する。

＜再学習モデル生成システム＞
図７は、再学習済みモデル生成システム１００の構成を示すブロック図である。図７に示すように、再学習済みモデル生成システム１００は、飲料供給装置１に対応する複数の飲料供給装置１－１～１－ｎ、管理サーバ１０１、及び、再学習済みモデル生成装置１０２は、ネットワークＮに接続される。なお、図７では、各飲料供給装置１－１～１－ｎで発生した判定不明データＤ１及び判定不確定データＤ２は、管理サーバ１０１にまとめて記憶されている。

再学習済みモデル生成装置１０２は、定期的に管理サーバ１０１が記憶する判定不明データＤ１及び判定不確定データＤ２を取得する。再学習処理部２０１は、取得した判定不明データＤ１及び判定不確定データＤ２を教師データとして学習済みモデルＭを再学習した再学習済みモデルＭ´を生成する。その後、再学習済みモデル生成装置１０２は、飲料供給装置１－１～１－ｎの学習済みモデルＭを再学習済みモデルＭ´に更新すべく、再学習済みモデルＭ´を各飲料供給装置１－１～１－ｎに配信する。

図８は、再学習済みモデル生成システム１００における学習済みモデルＭの再学習処理を示すシーケンス図である。図８に示すように、まず、各飲料供給装置１－１～１－ｎは、判定不明データＤ１及び判定不確定データＤ２を管理サーバ１０１に送信する（ステップＳ２０１）。その後、再学習済みモデル生成装置１０２は、管理サーバ１０１から判定不明データＤ１及び判定不確定データＤ２を取得する（ステップＳ２０２）。

その後、再学習済みモデル生成装置１０２は、判定不明データＤ１及び判定不確定データＤ２を用いて学習済みモデルＭを再学習させた再学習済みモデルＭ´を生成する再学習処理を行う（ステップＳ２０３）。その後、再学習済みモデル生成装置１０２は、生成した再学習済みモデルＭ´を各飲料供給装置１－１～１－ｎに配信する（ステップＳ２０４）。この再学習済みモデルＭ´を受信した各飲料供給装置１－１～１－ｎは、学習済みモデルＭを再学習済みモデルＭ´に更新し（ステップＳ２０５）、本処理を終了する。

本実施の形態では、飲料供給装置１，１－１～１－ｎが配置された実環境上の判定結果をフィードバックして、学習済みモデルＭを再学習済みモデルＭ´に更新するようにしているので、カップの飲料情報の判別精度をさらに向上させることができる。

なお、上記の実施の形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置及び構成要素の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１，１－１～１－ｎ 飲料供給装置
１０ 本体キャビネット
１１ 飲料生成部
２０ 前面扉
２１ 表示部
２１ａ 入力部
２２ 飲料供給部
２２ａ 開閉扉
２３ ノズル
２４ ステージ
２４ａ ストッパ
２４ｂ 通過孔
２５ 後壁
２６Ｌ，２６Ｒ 側壁
２７ 入口
３１ カップ検出部
３２ 投光部
３３ 撮像部
３５ 扉開閉検知部
３６ 扉開閉ロック機構
４０ 制御部
４０ａ 判定部
４０ｂ 飲料供給制御部
４０ｃ 出力制御部
４１ 記憶部
４２ 通信部
１００ 再学習済みモデル生成システム
１０１ 管理サーバ
１０２ 再学習済みモデル生成装置
２０１ 再学習処理部
Ｃ カップ
Ｄ 撮像画像
Ｄ１ 判定不明データ
Ｄ２ 判定不確定データ
Ｍ 学習済みモデル
Ｍ´ 再学習済みモデル

Claims (3)

1. 飲料供給部に配置されたカップに対して、飲料生成部で生成した飲料を供給する飲料供給装置であって、
   前記カップの撮像画像を取得する撮像部と、
   前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力し、前記学習済みモデルから出力された飲料情報の出力値が第１の確率以上の場合、前記カップの飲料情報が確定であると判定し、飲料情報の出力値が前記第１の確率未満かつ第２の確率以上の場合、前記カップの飲料情報が不確定であると判定し、飲料情報の出力値が前記第２の確率未満の場合、前記カップの飲料情報が不明であると判定する判定部と、
   前記判定部が判定した飲料情報が不確定である場合、前記カップの置き直しを案内して再度の飲料情報の判定を行わせるとともに、入力された撮像画像及び関連するメタデータを判定不確定データとして飲料供給装置内の記憶部に記憶あるいは外部出力し、飲料情報が不明である場合、入力された撮像画像及び関連するメタデータを判定不明データとして前記記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、
   前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、
   を備える飲料供給装置。
2. 飲料供給部に配置されたカップの撮像画像を取得する撮像部と、
   前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力し、前記学習済みモデルから出力された飲料情報の出力値が第１の確率以上の場合、前記カップの飲料情報が確定であると判定し、飲料情報の出力値が前記第１の確率未満かつ第２の確率以上の場合、前記カップの飲料情報が不確定であると判定し、飲料情報の出力値が前記第２の確率未満の場合、前記カップの飲料情報が不明であると判定する判定部と、
   前記判定部が判定した飲料情報が不確定である場合、前記カップの置き直しを案内して再度の飲料情報の判定を行わせるとともに、入力された撮像画像及び関連するメタデータを判定不確定データとして飲料供給装置内の記憶部に記憶あるいは外部出力し、飲料情報が不明である場合、入力された撮像画像及び関連するメタデータを判定不明データとして前記記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、
   前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、
   を備えた飲料供給装置と、
   前記飲料供給装置から取得した、飲料情報が不明あるいは不確定である場合の撮像画像及び関連するメタデータを用い、取得した前記撮像画像を教師データとして前記学習済みモデルを再学習し、前記学習済みモデルを、再学習された再学習済みモデルに更新する再学習済みモデル生成装置と、
   を備える再学習済みモデル生成システム。
3. 複数の前記飲料供給装置から出力される前記判定不明データ及び前記判定不確定データを記憶して管理する管理サーバを備え、
   前記再学習済みモデル生成装置は、前記管理サーバから前記判定不明データ及び前記判定不確定データを取得する
   請求項２に記載の再学習済みモデル生成システム。

Images