JP6894032B1 - 加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システム - Google Patents

Abstract

【課題】加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システムを提供することである。【解決手段】一実施形態に係る加熱状態識別装置は、被加熱物と液体とを有する容器内を時系列に撮影した複数の時系列画像を取得する取得部と、複数の時系列画像に基づき取得した時系列な画像特徴量を用いて、液体における複数の加熱状態を識別する識別部と、を備える。【選択図】図１

Description

本発明の実施形態は、加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システムに関する。

従来から飲食店では、店舗の従業員は、加熱量を判断し、より美味しく加熱調理された調理物を顧客に提供できるように努めている。例えば、沸騰しないように鍋の温度調整を行う調理方法がある。ところが、鍋などを加熱する加熱装置の加熱調整は、従業員の経験に左右される場合がある。

特開２０１７−１３３７２２号公報

そこで、本発明が解決しようとする課題は、調理者の経験に左右されることなくより適切な加熱制御で調理を行うことが可能な加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システムを提供することである。

一実施形態に係る加熱状態識別装置は、被加熱物と液体とを有する容器内を時系列に撮影した複数の時系列画像を取得する取得部と、
複数の時系列画像に基づき取得された時系列な特徴量を用いて、液体における複数の容器内状態を識別する識別部と、
を備える。

複数の時系列画像の画像毎に画像特徴量を生成して時系列に並べ、時系列な画像特徴量を生成する畳み込みニューラルネットワークを有する特徴量生成部を更に備え、
識別部は、畳み込みニューラルネットワークが生成した時系列な画像特徴量に基づき、複数の加熱状態を識別する再帰型ニューラルネットワークを、
有してもよい。

被加熱物及び液体の状態に対応する正解ラベルと、畳み込みニューラルネットワークが生成した時系列な画像特徴量とを含む学習セットを用いて機械学習を行う学習部を、更に備え、
識別部は、機械学習の結果に基づき、状態を識別してもよい。

加熱制御装置は、上述の加熱状態識別装置の識別部の識別結果に基づいて、容器を加熱する加熱装置の火力を制御する火力制御部してもよい。

火力制御部は、液体の沸騰前の所定の状態に応じて、所定の状態を維持する時間を変更する制御を行ってもよい。

識別部が、液体の液状態に依らず、被加熱物を投入している状態を識別した場合に、火力制御部は、被加熱物を投入している状態を識別した時刻から所定時刻が経過した後に、容器内の被加熱物の廃棄を促す表示画像を表示装置に表示させてもよい。

一実施形態に係る加熱制御方法は、被加熱物と液体とを有する容器内を時系列に撮像撮影した複数の時系列画像を取得する取得工程と、
複数の時系列画像に基づき時系列な画像特徴量を取得した、時系列な画像特徴量を用いて、液体における複数の加熱状態を識別する識別工程と、
を備える。

加熱状態識別方法の識別工程の識別結果に基づいて、容器を加熱する加熱装置の火力を制御する火力制御工程と、
を備えてもよい。

一実施形態に係る、加熱状態識別システムは、被加熱物と液体とを有する容器の上部から容器内を撮影する撮影装置と、
撮影装置が時系列に撮影した複数の画像を取得する取得部と、
複数の時系列画像に基づき取得した時系列な画像特徴量を用いて、液体における複数の加熱状態を識別する識別部と、
を備える。

加熱制御システムは、上述の加熱状態識別システムの識別部の識別結果に基づいて、容器を加熱する加熱装置の火力を制御する火力制御部と、
を備えてもよい。

本発明によれば、調理者の経験に左右されることなくより適切な加熱制御で調理を行うことが可能な加熱制御装置、加熱制御方法、及び加熱制御システムを提供できる。

本実施形態による加熱制御システムの構成を示すブロック図。 調理容器を撮影している撮影装置の位置の一例を示す図。 特徴量生成部の構成例を示す図。 被加熱物と液体の状態を文章で説明する表。 学習部の学習処理例を示すフローチャート。 火力制御部の制御例を示すフローチャート。 人的操作に対応させた正解ラベル例を示す表。 第４状態となった後に第３状態となる状態が複数回発生した例を示す図。 第２実施形態による調理指示装置の構成を示すブロック図。 第２実施形態に係る火力制御部の制御例を示すフローチャート。

以下、本発明の実施形態に係る加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システムについて、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

（第１実施形態）
図１は、第１実施形態による加熱制御システム１の構成を示すブロック図である。図１の加熱制御システム１は、加熱装置の火力を制御可能なシステムである。図１に示すように、本実施形態による加熱制御システム１は、加熱装置１０と、調理容器２０と、撮影装置３０と、表示装置４０、操作部５０と、加熱制御装置６０とを備えて構成される。

図２は、加熱装置１０上に載置された調理容器２０の内部を上方から撮影している撮影装置３０の位置の一例を示す図である。図２に示すように、加熱装置１０は、例えばガスコンロであり、その筐体の上面部に発熱部としてのバーナを有する。また、バーナ操作ボタンのモータによる回転操作によって、バーナの火力調整（発熱量の調整）を行うことが可能である。なお、本実施形態に係る加熱装置１０は、ガスコンロであるが、これに限定されない。例えば、電気コンロでもよい。

調理容器２０は、例えば鍋であり、内部に被加熱物である食材と、水と調味料が混合された調理用水とを蓄える。
撮影装置３０は、例えばカメラであり、調理容器２０の上部から調理容器２０内の状態を示す画像を時系列に撮影可能である。撮影装置３０は、例えば、赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）の３種のデジタル画像データを加熱制御装置６０に出力する。３種のデジタル画像データのそれぞれは、例えば縦１０８０×横１９２０の画素で構成される。

再び図１に示すように、表示装置４０は、例えば、モニターである。表示装置４０は、加熱制御装置６０が生成した画像を表示する。

操作部５０は、例えばキーボード、ポインティングデバイス等で構成される。表示装置40にタッチパネルとして統合することも可能である。操作部５０は、加熱制御装置６０を使用するユーザの操作に応じた指示信号を出力する。

加熱制御装置６０は、加熱装置１０の火力を制御することが可能な装置であり、取得部６００と、記憶部６０２と、特徴量生成部６０３と、学習部６０４と、識別部６０７と、火力制御部６０８と、画像生成部６１０と、を備えている。このような加熱制御装置６０は、例えばパーソナルコンピュータによって実現される。すなわち、加熱制御装置６０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。また、本実施形態に係る加熱状態識別装置６１は、取得部６００と、特徴量生成部６０３と、学習部６０４と、識別部６０７とを備え、本実施形態に係る加熱状態識別システム６２は、撮影装置３０と、加熱状態識別装置６１と、を備える。なお、本実施形態に係る加熱状態識別装置６１は、学習部６０４を備えるが、これに限定されない。例えば、加熱状態識別装置６１は、学習部６０４を備えずに構成してもよい。

取得部６００は、撮影装置３０が撮影した時系列な画像を取得し、記憶部６０２に記憶することもできる。取得部６００は、例えばネットワークにも接続されており、ネットワークを介して、サーバなどから画像を取得することも可能である。

記憶部６０２は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。記憶部６０２は、取得部６００が取得した画像を学習のために記憶することもできる。また、記憶部６０２は、加熱制御を実行するための各種のプログラムを記憶している。これにより、加熱制御装置６０は、例えば記憶部６０２に記憶されるプログラムを実行することにより、各処理部を構成する。また、記憶部６０２は、識別用の機械学習モデルを記憶する。なお、本実施形態では学習済の機械学習モデルを学習済みモデルと呼ぶ場合がある。

特徴量生成部６０３は、例えば、取得部６００が取得した時系列画像それぞれから時系列に画像特徴量を生成する。学習データは、例えば特徴量生成部６０３が生成した時系列な画像特徴量に調理容器２０内の被加熱物と液体の状態に対応する正解ラベルを関連付けたデータである。特徴量生成部６０３の詳細は後述する。

学習部６０４は、記憶部６０２に記憶された学習データを用いて機械学習、例えば教師あり学習を行う。この学習部６０４は、例えばニューラルネットワークで機械学習を行う。また、学習部６０４は、加熱制御装置６０外の例えば学習用のより計算能力の高い計算機内で演算処理してもよい。学習されたモデル（学習済みモデル）は、例えばネットワークを介して記憶部６０２に格納され識別部６０７が使用する。なお、学習部６０４は、本実施形態では加熱制御装置６０外の計算機内で演算処理されるが、これに限定されない。例えば、学習部６０４は、加熱制御装置６０内に設けてもよい。この場合には、現場で得られたデータを学習に即時に反映させることも可能である。

また、学習部６０４が機械学習する機械学習モデルは、ニューラルネットワークに限定されない。例えば、Ｋ−ｍｅａｎｓ法などの一般的なクラスタリング方法により識別関数などを機械学習モデルとして学習してもよい。なお、学習部６０４の詳細は後述する。

識別部６０７は、学習部６０４での機械学習結果を用いて、調理容器２０内における液体の所定状態を識別する。本実施形態に係る識別部６０７は、学習部６０４で学習されたニューラルネットワークを用いる。このニューラルネットワークは、撮影装置３０で撮影された複数の時系列画像に基づいて特徴量生成部６０３により生成された時系列な特徴量を用いて、調理容器２０内の液体の沸騰前の所定の状態を含む、複数の加熱状態を識別することが可能である。識別部６０７の詳細は後述する。

火力制御部６０８は、識別部６０７の識別結果に基づいて、加熱装置１０の火力を制御する。例えば、火力制御部６０８は、加熱装置１０のモータの回転を制御して、加熱装置１０の火力を制御する。火力制御部６０８の詳細も後述する。

画像生成部６１０は、識別部６０７の識別結果に基づいて、調理容器２０内の状態を示す画像を生成し、表示装置４０に出力する。また、画像生成部６１０は、識別部６０７の識別結果に基づいて、操作指示を示す画像を生成してもよい。

ここで、図３を用いて特徴量生成部６０３及び学習部６０４の詳細を説明する。
図３は、特徴量生成部６０３の構成例を示す図である。図３に示すように、特徴量生成部６０３は、複数の画像特徴量抽出部６０３ａを有する。画像特徴量抽出部６０３ａは、例えば畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒｌ ｎｅｔｗｏｒｋ、以下では単にＣＮＮと記す場合がある。）である。なお、本実施形態では複数の画像特徴量抽出部６０３ａを用いているがこれに限定されない。例えば、一つの画像特徴量抽出部６０３ａに順に画像ｔ１〜ｔｎを入力し、画像特徴量ｔ１〜ｔｎを順に生成してもよい。

このＣＮＮは、各レイヤのニューロンがフィルタにグループ化され、各フィルタが入力データの中の異なる重複する特徴を検出する。畳み込みニューラルネットワークにおける複数レイヤのニューラルネットワークアーキテクチャは、例えば複数の畳み込みレイヤ、複数のサンプリングレイヤ、及び複数の完全に接続されたレイヤを有する。また、このＣＮＮは、既存のラベル付き画像によって学習させた学習済みのＣＮＮ（例えばＩｍａｇｅＮｅｔ ｐｒｅ−ｔｒａｉｎｅｄ ｎｅｔ
ｗｏｒｋ）である。すなわち、特徴量抽出部６０３ａは、畳み込みニューラルネットワークを固定し、入力画像をフィードフォワードし、中間層の出力する値を特徴量として生成する。

複数の特徴量抽出部６０３ａのそれぞれには、時系列に撮影された画像ｔ１〜ｔｎが入力される。例えば１枚の画像は、赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）の３種のデジタル画像をそれぞれ２２４×２２４画素に縮小した画像を用いる。本実施形態では、Ｒ、Ｇ、Ｂの三原色を各８ビット（２５６階調）の数値で保持する。これにより、２２４×２２４×３の画素データがＣＮＮの初段の畳み込みレイヤに入力される。そして、時系列な画像特徴量ｔ１〜ｔｎが生成される。例えばｎは６０であり、一秒間に撮影された６０枚分の時系列な画像が学習部６０４又は識別部６０７に入力される。また、特徴量抽出部６０３ａが生成する画像特徴量は例えば１０２４次元である。このように、ＣＮＮにより、画像ｔ１〜ｔｎごとに画像特徴量ｔ１〜ｔｎを生成する。そして、特徴量生成部６０３は、時系列に並べた画像特徴量ｔ１〜ｔｎを出力する。

図４を用いて、学習用のデータについて詳細に説明する。
図４は、被加熱物と液体の状態を文章で説明する表である。調理容器２０内の被加熱物と液体の状態は、加熱時間の経過にしたがい時系列に変化する。すなわち、調理容器２０の加熱が進むに従い、例えば第１状態から第４状態に時系列に変化する。例えば、第１状態は、「沸騰しておらず、何も操作していない状態」である。第２状態は、「液面が安定しており、泡が所々上がってくる状態」である。第３状態は、「液面が盛り上がっているが、泡は出ていないか目立たたない状態」である。第４状態は、「沸騰している状態」である。例えば、第１状態から第３状態は、沸騰前の状態を示している。学習用のデータには、第１状態のときに取得部６００に得られた時系列な画像又は特徴量生成部６０３に得られた時系列な画像特徴量に、正解ラベルとして第１状態を示すラベルを付与し、第２状態のときに取得部６００に得られた時系列な画像又は特徴量生成部６０３に得られた時系列な画像特徴量に、正解ラベルとして第２状態を示すラベルを付与し、第３状態のときに取得部６００に得られた時系列な画像又は特徴量生成部６０３に得られた時系列な画像特徴量に、正解ラベルとして第３状態を示すラベルを付与し、第４状態のときに取得部６００に得られた時系列な画像又は特徴量生成部６０３に得られた時系列な画像特徴量に、正解ラベルとして第４状態を示すラベルを付与する。これらのラベルは例えば人手により付与することが可能である。これらのラベル付きの時系列な画像又は時系列な画像特徴量は、学習データとして記憶部６０２に記憶される。

再び図３に戻り学習部６０４について説明する。この学習部６０４は、上述の学習データを用いて、機械学習モデルの例であるニューラルネットワークを学習する。学習部６０４が学習するニューラルネットワークは、例えば、ラベル付きの時系列な画像特徴量を学習し、入力された時系列な画像特徴量に対するラベル（第１〜第４状態）を出力するように学習する。例えば、このニューラルネットワークは、複数のノードを有する層を多段に接続したニューラルネットワーク（LSTM：Long Short-term Memory）である。LSTMは、時系列データを学習する再帰型ニューラルネットワーク（リカレントニューラルネットワーク）の一形態である。

例えば、このニューラルネットワークは、各ノードの間の接続係数が初期化され、ラベル付きの時系列な画像特徴量が順に入力される。そして、ニューラルネットワークは、ニューラルネットワークにおける出力と、入力した時系列な画像特徴量に付与されたラベルとの誤差が少なくなるように接続係数を補正するバックプロパゲーション（誤差逆伝播法）等の処理により生成される。例えば、学習済のニューラルネットワークは、所定の損失関数を最小化するようにバックプロパゲーション等の処理を行うことにより生成される。上述のような処理を繰り返すことで、ニューラルネットワークは、入力された特徴量に対するラベルをより良く再現して出力することが可能となる。なお、ニューラルネットワークの学習方法については、上述した方法に限定されるものではなく、任意の公知技術が適用可能である。

識別部６０７は、上述のような学習を行ったニューラルネットワークを有する。このニューラルネットワークは、従来では判別が困難であった沸騰前の状態を複数の状態に識別可能となっている。例えば第１状態である「沸騰しておらず、何も操作していない状態」であれば、時系列な画像特徴量に変動がなく、ニューラルネットワークは、第１状態であると識別可能となる。

また、例えば、第２状態である「液面が安定しており、泡が所々上がってくる状態」であれば、泡に相当する画素データの値の時系列な変動が時系列な画像特徴量として捉えられる。このように、例えば泡に相当する画像特徴量の時系列な変動が捉えられる場合に、ニューラルネットワークは、第２状態であると識別可能となる。

また、例えば、第３状態である「液面が盛り上がっているが、泡は出ていないか目立たたない状態」であれば、液面の盛り上がりに相当する画素データの値の時系列な変動が時系列な画像特徴量として捉えられる。このように、例えば液面の盛り上がりに相当する画像特徴量の時系列な変動が捉えられる場合に、ニューラルネットワークは、第３状態であると識別可能となる。

また、例えば、第４状態である「沸騰している状態」であれば、液面の盛り上がりと泡に相当する画素データの値の時系列な変動が画像の全体領域から捉えられる。この場合、泡に相当する画素データの値の時系列な変動が第３状態よりもより大きくなる。このように、液面の盛り上がりに相当する画素データの値の時系列な変動が時系列な画像特徴量として捉えられる。これにより、例えば液面及び泡に相当する画素データの値のより大きな時系列な変動が時系列な画像特徴量として捉えられる場合に、ニューラルネットワークは、第４状態であると識別可能となる。

このように、被加熱物と液体とを有する調理容器２０内を時系列に撮影した複数の時系列画像に基づき取得した時系列な画像特徴量により、沸騰前の微少変化を捉えることが可能となる。これにより、これらの時系列な画像特徴量を用いて、液体における複数の加熱状態を識別することができる。なお、本実施形態では、加熱状態を４分類としているがこれに限定されない。例えば、５分類や、１０分類でもよい。

ここで、図５を用いて、学習部６０４の学習処理例を説明する。図５は、学習部６０４の学習処理例を示すフローチャートである。図５に示すように、まず、学習部６０４は、記憶部６０２から学習データのセットを取得する（ステップＳ１００）。学習データが時系列な画像の場合は、ここで特徴量生成部６０３を用いて時系列な画像特徴量に変換する。次に、学習部６０４は、ニューラルネットワークの学習を開始する（ステップＳ１０２）。この場合、入力として時系列な画像特徴量を与え、教師信号として時系列な画像特徴量に対応する１から４のいずれかのラベルを与えた学習を行う（ステップＳ１０４）。すなわち、入力した特徴量に対応するラベルとニューラルネットワークの出力値との誤差が少なくなるように接続係数を補正するバックプロパゲーションによる学習を行う。

次に、学習部６０４は、学習の終了条件を満たすか否かを判定し（ステップＳ１０６）、
終了条件を満たしていない場合（ステップＳ１０６のＮＯ）、ステップＳ１０４からの処理を繰り返す。終了条件は、例えば学習回数である。

一方で、終了条件を満たした場合（ステップＳ１０６のＹＥＳ）、全体処理を終了する。このようにして、時系列な複数の画像から得られた時系列な画像特徴量に対する状態を出力するニューラルネットワークが学習される。

ここで、火力制御部６０８の処理プログラムの一例を説明する。火力制御部６０８の処理プログラムは、料理別に、例えば第１から第４状態の継続時間がプログラムされている。ここでは、沸騰をさせない状態で調理する場合、火力制御部６０８は、例えば沸騰直前の第３状態の時間を最長とし、被加熱物と液体の加熱状態と冷却状態を制御する。

例えば、火力制御部６０８は、識別部６０７の識別結果を用いて、プログラムされた状態を遷移するように加熱装置１０の火力の強弱、及び火力の維持時間を制御する。

図６を用いて、火力制御部６０８の制御例を説明する。図６は、火力制御部６０８の制御例を示すフローチャートである。図６に示すように、まず、取得部６００は、撮影装置３０から時系列な複数の画像を取得する（ステップＳ２００）。

次に、特徴量生成部６０５は、６０×６０×３の６０枚の時系列な画素データから時系列な画像特徴量を生成し、識別器６０７に入力し、時系列な複数の画像の状態を識別する（ステップＳ２０２）。
次に、火力制御部６０８は、識別部の識別した状態により加熱装置１０の火力を制御する（ステップＳ２０４）。例えば、現状の状態を維持する場合には、火力を変更しないように、加熱装置１０の火力を制御し、状態を次の状態まで加熱する場合には、加熱装置１０の火力を増加する。一方で、状態を次の状態まで冷却する場合には、加熱装置１０の火力を減少する。

次に、火力制御部６０８は、プログラムされた調理が終了したか否かを判定し（ステップＳ２０６）、終了していない場合（ステップＳ２０６のＮｏ）、ステップＳ２００からの処理を繰り返す。一方で、終了した場合（ステップＳ２０６のＹＥＳ）、加熱装置１０を停止し、全体処理を終了する。温度計を用いた加熱制御の場合には、被加熱物の位置や、対流の発生状態により、温度にむらが生じてしまう。これに対して、時系列な画像による識別では、画像全体の状態変化の情報を用いるので、状態の識別がより高精度になる。このため、火力制御部６０８による加熱制御もより高精度に行うことが可能となる。

以上のように、本実施形態によれば、被加熱物と液体とを有する容器を時系列に撮影した複数の時系列画像により、学習部６０４が液体の沸騰前の所定の状態を機械学習することとした。これにより、識別部６０７は、学習部６０４の学習結果に基づき、液体の表面画像の微少変化を画像特徴量の時系列な変動として捉えることが可能となり、沸騰前の所定状態を識別可能となる。また、識別部６０７が、沸騰前の所定の状態を識別するので、火力制御部６０８が、例えば被加熱物と液体とを有する容器を沸騰させないように調理する加熱制御が可能となる

（第１実施形態の第１変形例）
第１実施形態に係る加熱制御システム１は、加熱装置１０による調理容器２０の加熱状態を識別していたが、第１実施形態の第１変形例に係る加熱制御システム１は、調理容器２０に対する人的操作も識別可能である点で第１実施形態に加熱制御システム１と相違する。以下では、第１実施形態と相違する点に関して説明する。

図７は、調理者の人的操作に対応させた正解ラベル例を示す表である。例えば、第５状態は、「液状態に依らず、道具でかき混ぜている状態」である。第６状態は、「液状態に依らず、道具を用いて灰汁取り等を行っている状態」である。第７状態は、「液状態に依らず、食材を投入している状態」である。

すなわち、第１実施形態の変形例に係る加熱制御システム１では、第１状態から第４状態に加えて、第５状態から第７状態の時系列な画像を用いて識別部６０７で使用する機械学習モデルを学習する。この場合、例えば第５状態に５、第６状態に６、第７状態に７の正解ラベルを付与し、識別部６０７で使用する機械学習モデルを学習する。

これにより、鍋の状態を認知して操作している調理者の動作を優先して検出することも可能となる。例えば、識別部６０７が第７状態を識別した場合には、第７状態を識別した時刻から所定時刻が経過した後に、火力制御部６０８は、調理容器２０内の被加熱物の廃棄を促す表示画像を表示装置４０に表示させる。これにより、調理容器２０内の被加熱物の品質を維持できる、このように、識別部６０７は、時系列に撮影した複数の時系列画像を用いて、第１状態から第４状態に加えて、第５状態から第７状態のいずれかを識別可能となる。

（第１実施形態の第２変形例）
第１実施形態の第２変形例に係る加熱制御システム１は、調理容器２０の加熱状態が所定状態になると、警告を発して加熱を停止する機能を更に有する。

図８は、「沸騰状態になっている」第４状態となった後に「液面が盛り上がっているが、泡は出ていないか目立たたない」第３状態となる状態が複数回発生した例を示す図である。

図８に示すように、加熱制御システム１では、第３状態で止める加熱制御を行っている場合に、第４状態となってしまう恐れがある。このように、第４状態の回数が、例えば所定回数である３回以上になると、表示装置４０に警告を出すとともに、加熱を停止する。

被加熱物の中には、長時間の沸騰により品質が低下する可能性がある品が含まれている場合がある。このように、沸騰回数により警告を発することにより、品質の確認を促すことが可能となり、品質状態によれば、被加熱物を破棄させることも可能である。

（第１実施形態の第３変形例）
第１実施形態の第３変形例に係る加熱制御装置６０は、調理容器２０内の液体温度を測定する液体温度測定部（不図示）、及び大気圧を測定する気圧測定部（不図示）を更に備える。識別部６０７は、複数の時系列画像に基づき取得した時系列な画像特徴量と、液体温度測定部が測定した液体温度、及び気圧測定部が測定した気圧の少なくとも一方とを用いて、液体における複数の加熱状態を識別する。例えば、識別部６０７は、複数の時系列画像に基づき取得した時系列な画像特徴量を用いて識別された液体における複数の加熱状態の識別結果を、液体温度測定部、及び気圧測定部の少なくとも一方によって測定された結果に基づいて補正することが可能となる。

火力制御部６０８は、液体温度測定部、及び気圧測定部の少なくとも一方によって測定された結果にも基づく識別部６０７の識別結果を用いて、調理容器２０を加熱する加熱装置１０の火力を制御する。例えば、加熱制御装置６０が設置される場所の高度によって、気圧が変わり沸点も異なる。識別部６０７は、このような環境による変動を液体温度測定部、及び気圧測定部の少なくとも一方によって測定された結果に基づいて補正可能であり、加熱制御装置６０は、より高精度な制御が可能となる。

（第１実施形態の第４変形例）
第１実施形態の第４変形例に係る加熱制御装置６０は、複数の加熱状態等の時間を計測する時間計測部（不図示）を更に備える。時間計測部は、各状態（例えば第１〜第４状態（図４）、後述する第５〜第７状態（図７））の経過時間を計測する。

火力制御部６０８は、識別部６０７の識別結果と、時間計測部による被加熱物が投入されてからの経過時間に基づいて、調理容器２０を加熱する加熱装置１０の火力を制御する。例えば、一定時間煮込んだ後に加熱を停止、保温に移行等することができる。これにより火力制御部６０８は、特に食材（例えば肉）を投入してから特定の時間で加熱を停止する等の制御が可能となる。

（第２実施形態）
第２実施形態に係る加熱制御システム１は、調理容器２０の形状により識別部が使用するニューラルネットワークを変更する点で第１実施形態に加熱制御システム１と相違する。以下では、第１実施形態と相違する点に関して説明する。

図９は、第２実施形態に係る加熱制御システム１の構成を示すブロック図である。図９に示すように、本実施形態による加熱制御システム１は、加熱制御装置６０の形状識別部６１２を更に備えて構成される。

調理容器２０には、丸形、方形型などの異なる複数の形状が存在する。学習部６０４は、形状識別部６１２で用いる機械学習モデルを、形状識別用に学習する。この場合、入力データを調理容器２０の上方から撮影した画像データとし、教師カテゴリーを形状とした学習データを用いる。

また、識別部６０７用の機械学習モデルも、丸形状の調理容器２０を撮影した学習データ１と、方形形状の調理容器２０を撮影した学習データ２と、をそれぞれ用いて学習する。すなわち、識別部６０７は、学習データ１で学習した学習結果１の機械学習モデル１と、学習データ２で学習した学習結果２の機械学習モデル２とを有する。

丸形状の調理容器２０の対流は、円形状鍋の中心部を対流中心として対流が生じる。一方で方形形状の調理容器２０の対流は、加熱位置の影響を受けた位置に対流中心がずれる傾向を示す。このため、調理容器２０の形状により、機械学習モデル１と、機械学習モデル２とを使い分けた方が、より識別精度が向上する。

図１０を用いて、第２実施形態に係る火力制御部６０８の制御例を説明する。図１０は、第２実施形態に係る火力制御部６０８の制御例を示すフローチャートである。図１２に示すように、まず、取得部６００は、撮影装置３０から画像を取得する（ステップＳ３００）。

次に、形状識別部６１２は、６０×６０×３の画素データに変換し、形状識別部６１２で用いる機械学習モデルに入力し、画像の状態を識別し、丸形状か否かを判別する（ステップＳ３０２）。
次に、識別部６０７は、丸形状であれば（ステップＳ３０２のＹＥＳ）、学習結果１の機械学習モデル１を使用し、方形形状であれば（ステップＳ３０２のＮＯ）、学習結果２の機械学習モデル２を使用する。

以上のように、本実施形態によれば、調理容器２０の形状により識別部６０７で用いるニューラルネットを変更することとした。これにより、調理容器２０の形状により容器内の状態が異なる場合にも、より高精度に容器内の状態を識別可能となる。

上述した実施形態で説明した加熱制御装置６０、及び加熱制御システム１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、加熱制御装置６０、及び加熱制御システム１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク部やメモリなどの固定型の記録媒体でもよい。

また、加熱制御装置６０、及び加熱制御システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

１：調理システム、１０：加熱装置、２０：調理容器、３０：撮影装置、４０：表示装置、６０：加熱制御装置、６１：加熱状態識別装置、６２：加熱状態識別システム、６００：取得部、６０３：特徴量生成部、６０４：学習部、６０６：識別器学習部、６０７：識別部、６０８：火力制御部、６１２：形状識別部。

Claims (10)

1. 被加熱物と液体とを有する容器内を時系列に撮影した複数の時系列画像を取得する取得部と、
   前記複数の時系列画像に基づき取得した前記時系列な画像特徴量を用いて、前記液体における複数の加熱状態を識別する識別部と、
   前記容器の形状に応じて異なる学習セットを用いて機械学習を行う学習部と、
   を備え、
   前記識別部は、前記容器の形状に応じた前記機械学習の結果に基づき、状態を識別する、加熱状態識別装置。
2. 前記複数の時系列画像の画像毎に画像特徴量を生成して時系列に並べ、前記時系列な画像特徴量を生成する畳み込みニューラルネットワークを有する特徴量生成部を更に備え、
   前記識別部は、前記畳み込みニューラルネットワークが生成した前記時系列な画像特徴量に基づき、前記複数の加熱状態を識別する再帰型ニューラルネットワークを、
   有する、請求項１に記載の加熱状態識別装置。
3. 前記学習部は、前記被加熱物及び前記液体の状態に対応する正解ラベルと、前記畳み込みニューラルネットワークが生成した前記時系列な画像特徴量とを含む学習セットを用いて前記機械学習を行い、
   前記識別部は、前記機械学習の結果に基づき、前記状態を識別する、請求項２に記載の加熱状態識別装置。
4. 請求項１乃至３のいずれかに記載の加熱状態識別装置の前記識別部の識別結果に基づいて、前記容器を加熱する加熱装置の火力を制御する火力制御部と、
   を備える、加熱制御装置。
5. 前記火力制御部は、前記液体の沸騰前の所定の状態に応じて、前記所定の状態を維持する時間を変更する制御を行う、請求項４に記載の加熱制御装置。
6. 前記識別部が、前記液体の液状態に依らず、前記被加熱物を投入している状態を識別した場合に、前記火力制御部は、前記被加熱物を投入している状態を識別した時刻から所定時刻が経過した後に、前記容器内の前記被加熱物の廃棄を促す表示画像を表示装置に表示させる、請求項４又は５に記載の加熱制御装置。
7. 被加熱物と液体とを有する容器内を時系列に撮像撮影した複数の時系列画像を取得する取得工程と、
   前記複数の時系列画像に基づき時系列な画像特徴量を取得した、前記時系列な画像特徴量を用いて、前記液体における複数の加熱状態を識別する識別工程と、
   前記容器の形状に応じて異なる学習セットを用いて機械学習を行う学習工程と、
   を備え、
   前記識別工程は、前記容器の形状に応じた前記機械学習の結果に基づき、状態を識別する、
   を備える、加熱状態識別方法。
8. 請求項７に記載の加熱状態識別方法の前記識別工程の識別結果に基づいて、前記容器を加熱する加熱装置の火力を制御する火力制御工程と、
   を備える、加熱制御方法。
9. 被加熱物と液体とを有する容器の上部から容器内を撮影する撮影装置と、
   前記撮影装置が時系列に撮影した複数の画像を取得する取得部と、
   前記複数の時系列画像に基づき取得した前記時系列な画像特徴量を用いて、前記液体における複数の加熱状態を識別する識別部と、
   前記容器の形状に応じて異なる学習セットを用いて機械学習を行う学習部と、
   を備え、
   前記識別部は、前記容器の形状に応じた前記機械学習の結果に基づき、状態を識別する、
   加熱状態識別システム。
10. 請求項９に記載の加熱状態識別システムの前記識別部の識別結果に基づいて、前記容器を加熱する加熱装置の火力を制御する火力制御部と、
    を備える、加熱制御システム。

Images