JP7149466B2 - 加熱調理器 - Google Patents

Description

本発明は、調理対象を加熱する加熱調理器に関する。

従来より、調理対象をカメラで撮影し、その撮影画像に写る調理対象の像に基づいて、調理対象に対する加熱を制御する加熱調理器が知られている（例えば、特許文献１参照）。

特開２０１５－６８５４２号公報

しかしながら、特許文献１に記載された加熱調理器の場合、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱の制御を行うため、カメラは、加熱調理器の本体に対して位置決めされる。そのため、カメラの設置の自由度が低い。その結果として、例えば、加熱調理器が設けられているキッチンの意匠性を損なうような位置にカメラが設置される可能性がある。

そこで、本発明は、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることを課題とする。

上述の課題を解決するために、本発明の一態様によれば、
調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記本体に設けられ、前記カメラに撮影されるマーカーと、
前記カメラの撮影画像に写る前記マーカーの像に基づいて前記カメラの撮影画像の幾何学的補正もしくは色補正の少なくとも１つを行い、
前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。

また、本発明の別の態様によれば、
調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記カメラの撮影画像を表示する撮影画像表示部と、
ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための携帯端末のタッチスクリーンの教示部と、
前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。

本発明によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。

本発明のこれらの態様と特徴は、添付された図面についての好ましい実施の形態に関連した次の記述から明らかになる。この図面においては、
本発明の一実施の形態に係る加熱調理器の概略的斜視図 加熱調理器のトッププレートの上面図 加熱調理器の構成を概略的に示す図 加熱調理器の制御系を示すブロック図 カメラの一例の撮影画像を示す図 撮影画像の幾何学的補正の流れを示すフローチャート図 台形補正された撮影画像を示す図 サイズ補正された撮影画像を示す図 位置補正および回転補正された撮影画像を示す図 撮影画像の色補正の流れを示すフローチャート図

本発明の一態様の加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記本体に設けられ、前記カメラに撮影されるマーカーと、前記カメラの撮影画像に写る前記マーカーの像に基づいて前記カメラの撮影画像の幾何学的補正もしくは色補正の少なくとも１つを行い、前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。

本発明の一態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。すなわち、撮影画像に写るマーカーの像の位置に基づいて調理対象の像を短時間で高精度に特定することができるので、カメラを加熱調理器の本体に対して高精度に位置決めする必要がない。

例えば、前記本体の天面に描かれているマークまたは貼り付けられているシールであってもよい。カメラの撮影画像においてその像が特定しやすいように構成されたマーカーを使用することができる。

例えば、前記マーカーが、前記容器載置部以外の前記天面の部分に設けられてもよい。これにより、マーカー上に容器が載置されることが抑制される。

例えば、前記マーカーが、複数設けられてもよい。複数のマーカーの像それぞれの撮影画像における位置に基づいて調理対象存在領域を一義的に特定できるので、結果として、調理対象の像の特定を短時間で高精度に行うことができる。

例えば、加熱調理器が、前記加熱部を操作するための操作部と、前記加熱部の出力状態を表示する表示部と、を有する場合、前記操作部および前記表示部の少なくとも一方が、前記マーカーとして使用されてもよい。これにより、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。

例えば、前記天面全体が、前記マーカーとして使用されてもよい。これにより、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。

例えば、前記調理対象状態推定部が、前記マーカーの像の形状に基づいて前記加熱調理器の機種を判別し、判別した機種における前記マーカーと前記容器載置部との間の位置関係に基づいて前記調理対象存在領域を特定する。これにより、機種の異なる加熱調理器に対して共通の調理対象状態推定部を採用することができる。

例えば、加熱調理器が、前記調理対象存在領域を特定できない場合に報知する、または、前記調理対象存在領域を特定できた場合に報知する報知部を有する。これにより、加熱調理器の本体に対してカメラを、容器載置部がカメラの撮影範囲から外れる位置に設置されることが抑制される。

本発明の別の一態様の加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記カメラの撮影画像を表示する撮影画像表示部と、ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための携帯端末のタッチスクリーンの教示部と、前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。

本発明の別の態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。

以下、本発明の一実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施の形態に係る加熱調理器の概略的斜視図である。また、図２は、加熱調理器のトッププレートの上面図である。さらに、図３は、加熱調理器の構成を概略的に示す図である。さらにまた、図４は、加熱調理器の制御系を示すブロック図である。なお、図において、Ｘ軸方向は加熱調理器の幅方向を示し、Ｙ軸方向は奥行き方向を示し、Ｚ軸方向は高さ方向を示す。

図１に示すように、加熱調理器１０は、本体１２を有し、また、その本体１２の上側部分として、例えばシチューなどの調理対象Ｔを収容した容器Ｃが載置されるトッププレート１４を有する。

また、本実施の形態の場合、加熱調理器１０は誘導加熱調理器であって、図１および図３に示すように、トッププレート１４における容器載置部（後述する容器載置エリア）に載置された容器Ｃの下方には、すなわち本体１２内には、加熱調理器１０の加熱部として加熱コイル１６Ａ～１６Ｃが配置されている。加熱コイル１６Ａ～１６Ｃは、トッププレート１４上に載置された容器Ｃを下方から誘導加熱する。

この加熱コイル１６Ａ～１６Ｃそれぞれをユーザが操作するための操作部として、複数のタッチキー１８Ａ～１８Ｃが、加熱調理器１０の正面１０ａ側のトッププレート１４の部分に設けられている。例えば、タッチキー１８Ａにより、対応する加熱コイル１６Ａの加熱が開始されるまたは停止される。また、その加熱レベル（例えば４段階）が調節される。

また、加熱コイル１６Ａ～１６Ｃの出力状態（加熱レベル）を表示する複数の出力表示部２０Ａ～２０Ｃも、加熱調理器１０の正面１０ａ側のトッププレート１４の部分に設けられている。

なお、加熱コイル１６Ａ～１６Ｃによる加熱を詳細に設定するために、設定部２２が加熱調理器１０の正面１０ａ側に設けられている。設定部２２は、本体１２に対して出し入れ可能であって、加熱コイル１６Ａ～１６Ｃによる加熱を詳細に設定するための設定キー２２ａと、その設定内容や加熱コイル１６Ａ～１６Ｃの詳細な状態などを表示する設定表示部２２ｂとを備える。この設定部２２により、加熱コイル１６Ａ～１６Ｃの加熱温度、加熱時間、タイマーなどが設定される。

また、加熱調理器１０は、ユーザに対して報知するスピーカーなどの報知部２４を、加熱調理器１０の正面１０ａ側に備える。

さらに、加熱調理器１０は、トッププレート１４上に載置された容器Ｃの温度を検出する複数の温度センサ２６Ａ～２６Ｃと、トッププレート１４上に載置された容器Ｃの重量を検出する重量センサ２８とを有する。

本実施の形態の場合、複数の温度センサ２６Ａ～２６Ｃは、トッププレート１４の下方に配置されるとともに、加熱コイル１６Ａ～１６Ｃそれぞれの中央に配置されている。すなわち、例えば温度センサ２６Ａは、加熱コイル１６Ａの上方に配置されて該加熱コイル１６Ａによって誘導加熱されている容器Ｃの底側の温度をトッププレート１４を介して検出している。

本実施の形態の場合、重量センサ２８は、トッププレート１４上の載置物の重量、すなわち容器Ｃが複数ある場合には、その複数の容器Ｃの重量とそれぞれの容器Ｃに収容されている調理対象の重量との合計を検出する。

さらに、加熱調理器１０は、トッププレート１４上の調理対象Ｔを上方から撮影するカメラ３０を有する。

カメラ３０は、例えば、静止画、動画、赤外線画像などを撮影可能なカメラであって、本体１２の上側部分であるトッププレート１４の天面１４ａ（すなわち本体１２の天面）全体を撮影する。カメラ３０は、加熱調理器１０の上方に位置する天井またはレンジフード（図示せず）などに取り付けられる。本実施の形態の場合、カメラ３０は、マグネットを介してレンジフードに取り付けられる。そのため、加熱調理器１０の本体１２に対してカメラ３０を自由に設置することができる（すなわち設置の自由度が高い）。その結果、キッチンの意匠性を損なうことがない、ユーザの好む位置にカメラを取り付けることができる。

本実施の形態の場合、ユーザの好む位置に配置可能なカメラ３０は、加熱調理器１０の制御部５０と無線通信するように構成されている。そのために、図３に示すように、カメラ３０がアンテナ３２を備えるとともに、加熱調理器１０の本体１２内にアンテナ３４が設けられている。なお、本実施の形態の場合、カメラ３０と制御部５０は、ルーター装置３６を介して接続されている。すなわち、カメラ３０と制御部５０は、ルーター装置３６を中心とするローカルエリアネットワーク３８に無線通信可能に接続されている。また、ルーター装置３６は、インターネット４０に接続されている。さらに、ルーター装置３６は、ユーザの携帯端末４２に無線通信可能に接続されている。

ここからは、加熱調理器１０の動作、すなわちその制御部５０が行う制御について図４を参照しながら説明する。

加熱調理器１０の制御部５０は、例えばＣＰＵなどの処理装置であって、ＲＯＭ、ＲＡＭ、ハードディスクなどの記憶部６０に記憶されているプログラムを実行することによって種々の機能を果たすように（例えば、後述する画像処理部として機能するように）構成されている。図４に示すように、制御部５０は、タッチキー１８Ａ～１８Ｃおよび設定部２２の設定キー２２ａに対するユーザの操作に対応する信号をこれらから受け取るように構成されている。制御部５０はまた、温度センサ２６Ａ～２６Ｃそれぞれによって検出された温度に対応する信号をこれらから受け取るように構成されている。制御部５０はさらに、重量センサ２８によって検出された重量に対応する信号を受け取るように構成されている。そして、制御部５０は、カメラ３０によって撮影された撮影画像（データ）を該カメラ３０から受け取るように構成されている。

加えて、加熱調理器１０の制御部５０は、加熱コイル１６Ａ～１６Ｃ、出力表示部２０Ａ～２０Ｃ、設定表示部２２ｂ、および報知部２４を制御するように構成されている。

例えば、制御部５０は、設定部２２の設定キー２２ａを介してユーザによって設定された加熱温度を温度センサ２６Ａ～２６Ｃが検出し続けるように、加熱コイル１６Ａ～１６Ｃの出力を制御する。これにより、例えば、揚げ物をする場合、容器Ｃに収容された油を一定の温度に維持することができる。

また例えば、制御部５０は、容器Ｃ内に水が収容されている場合（ユーザが自動湯沸しモードを設定部２２を介して設定した場合）、温度センサ２６Ａ～２６Ｃが沸騰温度を検出すると、加熱コイル１６Ａ～１６Ｃを停止させるとともに、報知部２４を介してユーザに湯沸しが完了したことを報知する。

さらに、制御部５０は、カメラ３０の撮影画像、具体的にはその撮影画像に写る調理対象Ｔの像に基づいて様々な制御を行うように構成されている。

そのために、加熱調理器１０の制御部５０は、カメラ３０から撮影画像を取得する画像取得部５２と、その取得した画像を処理（補正）する画像処理部５４と、その補正された撮影画像に写る容器Ｃ内の調理対象Ｔの像に基づいて該調理対象Ｔの状態を推定する調理対象状態推定部５６と、その推定結果に基づいて加熱コイル１６Ａ～１６Ｃを制御する加熱制御部としての加熱コイル制御部５８とを有する（すなわち、制御部５０は、画像取得部５２、画像処理部５４、調理対象状態推定部５６、および加熱コイル制御部５８として機能する）。

加熱調理器１０の制御部５０の画像取得部５２は、カメラ３０が撮影した撮影画像、例えば加熱調理中の調理対象Ｔを収容する容器Ｃが載置されている状態のトッププレート１４が写る撮影画像（データ）を取得する。本実施の形態の場合、カメラ３０は所定の時間間隔で撮影を行う。

図５は、画像取得部５２が取得するカメラ３０の撮影画像（オリジナル画像）の一例を示している。図５に示すように、カメラ３０の撮影画像Ｐ０には、トッププレート１４の天面１４ａの像１４ａ’が写っている。なお、図５において、調理対象Ｔの像Ｔ’は、クロスハッチングで示されている。

画像処理部５４は、画像取得部５２によって取得されたカメラ３０の撮影画像Ｐ０に対して画像処理を行う。具体的には、画像処理部５４は、調理対象状態推定部５６がカメラ３０の撮影画像Ｐ０に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を短時間で高精度に推定できるように、その前処理として、撮影画像Ｐ０を補正する。本実施の形態の場合、撮影画像Ｐ０に対して幾何学的補正と色補正とを行う。まず、幾何学的補正について、図６に示すフローチャートを参照しながら説明する。

まず、図６に示す幾何学的補正を適切に行うために、図２に示すように、加熱調理器１０の本体１２に設けられた複数のマーカー４４Ａ～４４Ｃを利用する。

具体的には、マーカー４４Ａ～４４Ｃは、撮影画像において調理対象Ｔの像Ｔ’を特定しやすくするため、すなわち短時間で高精度に特定するために、カメラ３０に撮影されるアライメントマーカーである。図２に示すように、本実施の形態の場合、複数のマーカー４４Ａ～４４Ｃは、トッププレート１４の天面１４ａ（すなわち本体１２の天面）に設けられている。例えば、マーカー４４Ａ～４４Ｃは、トッププレート１４の天面１４ａに描かれたマークまたは天面１４ａに貼り付けられたシールである。特に、マーカー４４Ａ～４４Ｃは、高精度に画像認識できる（カメラの撮影画像において特定しやすい）形状および色を備えたものであって、本実施の形態の場合、正三角形状である。

また、理由は後述するが、複数のマーカー４４Ａ～４４Ｃは、加熱コイル１６Ａ～１６Ｃに対応付けされている。本実施の形態の場合、正三角形状のマーカーにおける１つの頂点が加熱コイルに向くことにより、対応付けされている。また、複数のマーカー４４Ａ～４４Ｃは、加熱コイル１６Ａ～１６Ｃに対向する容器載置エリア４６Ａ～４６Ｃ（加熱コイルによって加熱される容器Ｃが載置される容器載置部）以外のトッププレート１４の天面１４ａの部分に設けられている。これにより、マーカー４４Ａ～４４Ｃ上に容器Ｃが載置されることが抑制されている。

具体的には、マーカー４４Ａは、加熱コイル１６Ａに対応付けされ、加熱コイル１６Ａに対向する容器載置エリア４６Ａの近傍（奥側）に設けられている。また、マーカー４４Ｂは、加熱コイル１６Ｂに対応付けされ、加熱コイル１６Ｂに対向する容器載置エリア４６Ｂの近傍（奥側）に設けられている。そして、マーカー４４Ｃは、加熱コイル１６Ｃに対応付けされ、加熱コイル１６Ｃに対向する容器載置エリア４６Ｃの近傍（手前側）に設けられている。なお、容器載置エリア４６Ａ～４６Ｃは、トッププレート１４の天面１４ａに設けられた略円環状のマーク４８Ａ～４８Ｃによって画定されているとともに、ユーザに提示されている。

したがって、カメラ３０の撮影画像においてマーカー４４Ａ～４４Ｃの像を特定できれば、その特定したマーカーの像の位置に基づいて、容器載置エリア４６Ａ～４６Ｃに対応する撮影画像の領域、すなわち調理対象Ｔの像が存在しうる領域（調理対象存在領域ＲＡ～ＲＣ、図９参照）を短時間で高精度に特定することができる。

説明すると、上述したように、カメラ３０は加熱調理器１０の本体１２に対して一定の位置ではなく、自由に設置可能である。そのため、撮影画像の一定の位置に調理対象Ｔの像が写るとは限らない。マーカー４４Ａ～４４Ｃがない場合、調理対象Ｔの像を特定するために撮影画像全体を確認する必要があるため、その像の特定に時間がかかり、また特定エラーが起こり得る。また、調理対象Ｔは種々あって一定の形状や色ではないため、調理対象Ｔによってその像の特定時間や特定エラーの起こりやすさが異なる。

したがって、撮影画像において一定の特徴（形状や色）を備えるマーカー４４Ａ～４４Ｃの像を特定し、その特定したマーカーの像の位置に基づいて容器載置エリア４６Ａ～４６Ｃに対応する撮影画像の領域（調理対象存在領域ＲＡ～ＲＣ）を特定し、その調理対象存在領域ＲＡ～ＲＣ内から調理対象Ｔの像を特定する。その結果、マーカーを用いずに撮影画像全体を確認して調理対象の像を特定する場合に比べて、調理対象の像を短時間で高精度に特定することができる。

本実施の形態の場合、このようなマーカー４４Ａ～４４Ｃを利用することにより、画像処理部５４がカメラ３０の撮影画像Ｐ０に対して幾何学的補正を行う。

まず、図６に示すように、ステップＳ１００において、画像処理部５４は、画像認識技術により、図５に示すカメラ３０の撮影画像Ｐ０において、複数のマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’を特定する。

ステップＳ１１０において、画像処理部５４は、マーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’の形状を計測する。

補足すると、図１に示すように、カメラ３０の光軸３０ａがトッププレート１４の天面１４ａに直交している場合、撮影画像Ｐに写るマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’の形状は、マーカー４４Ａ～４４Ｃ自体の実際形状と相似する。すなわち、本実施の形態の場合、実際形状が正三角形であるため、像４４Ａ’～４４Ｃ’の形状も正三角形のはずである。

しかしながら、加熱調理器１０の本体１２に対してカメラ３０が自由に設置可能であるために、トッププレート１４の天面１４ａに対して光軸３０ａが非直交の状態で、カメラ３０が設置される場合がある。その場合、図５に示すように、トッププレート１４の像１４’の形状は歪み、マーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’の形状も歪んで正三角形ではなくなる。

ステップＳ１１０に続くステップＳ１２０において、画像処理部５４は、ステップＳ１１０で計測されたマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’の形状に基づいて、カメラ３０の撮影画像Ｐ０を幾何学的補正する。具体的には、画像処理部５４は、計測した像４４Ａ’～４４Ｃ’の形状とマーカー４４Ａ～４４Ｃ自体の実際形状とを比較し、その比較結果に基づいて、台形補正の補正条件を算出する。補正条件は、像４４Ａ’～４４Ｃ’がマーカー４４Ａ～４４Ｃ自体の実際形状に相似な形状で写るように、撮影画像Ｐ０の形状を台形補正するための条件である。なお、そのために、マーカー４４Ａ～４４Ｃ自体の実際形状のデータが記憶部６０に記憶されている。この台形補正を行うことにより、撮影画像Ｐ０は、図７に示すように、カメラ３０の光軸３０ａがトッププレート１４の天面１４ａに直交した状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ１に補正される。

ステップＳ１３０において、画像処理部５４は、撮影画像Ｐ１におけるマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’のサイズを計測する。そして、続くステップＳ１４０において、画像処理部５４は、ステップＳ１３０で計測したサイズに基づいて、カメラ３０の撮影画像Ｐ１をサイズ補正する。具体的には、像４４Ａ’～４４Ｃ’が予め決められた所定のサイズで撮影画像に写るように、撮影画像を拡大補正または縮小補正する。このサイズ補正により、撮影画像Ｐ１は、図８に示すように、カメラ３０とトッププレート１４の天面１４ａとの間の距離が所定の距離である状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ２に補正される。

ステップＳ１５０において、画像処理部５４は、撮影画像Ｐ２におけるマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’の位置と姿勢とを計測する。そして、続くステップＳ１６０において、画像処理部５４は、ステップＳ１５０で計測した位置と姿勢とに基づいて、カメラ３０の撮影画像Ｐ２を位置補正および回転補正する。具体的には、像４４Ａ’～４４Ｃ’が予め決められた所定の位置および姿勢で写るように、撮影画像を位置補正および回転補正する。これらの補正により、撮影画像Ｐ２は、図９に示すように、カメラ３０が加熱調理器１０の本体１２に対して所定の位置に所定の姿勢で配置された状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ３に補正される。なお、所定の位置は、例えば、カメラ３０の光軸３０ａがトッププレート１４の中心を通過するようなカメラ３０の位置である。また、所定の姿勢は、例えば、トッププレート１４の長手方向（Ｘ軸方向）が撮影画像の長手方向と一致するような光軸３０ａを中心とするカメラ３０の回転姿勢である。

ステップＳ１６０での位置補正および回転補正が終了すると、画像処理部５４によるカメラ３０の撮影画像Ｐ０に対する幾何学的補正が完了する。

このような幾何学的補正により、加熱調理器１０の本体１２に対してカメラ３０がどのような位置に設置されても、実質的に同一の幾何学的条件で撮影された撮影画像を得ることができる。その結果、カメラ３０の位置によらず、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を実質的に一定の精度で推定することができる。

また、図９に示すように、マーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’が、画像処理部５４によって補正された撮影画像Ｐ３において所定の位置および所定の姿勢で写っている。したがって、詳細は後述するが、調理対象状態推定部５６は、撮影画像において、マーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’を、短時間に高い精度で特定することができる。

なお、カメラ３０がズーム機能を備える場合、図６に示すステップＳ１３０およびＳ１４０の処理を省略することができる。具体的には、設置されたカメラ３０が最初に撮影した撮影画像に写るマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’のサイズに基づいて、像４４Ａ’～４４Ｃ’が所定のサイズで写るようにカメラ３０をズームさせる。そのズーム状態を維持することにより、以後に撮影された撮影画像についてはサイズ補正をする必要がなくなる。

幾何学的補正が完了すると、画像処理部５４は、幾何学的補正された撮影画像Ｐ３に対して色補正を行う。色補正を行う理由は、加熱調理器１０周りの光環境の影響を撮影画像から取り除くためである。

具体的に説明すると、加熱調理器１０周りの光環境が変化すると、カメラ３０の撮影画像に写る調理対象Ｔの像Ｔ’の色合いが変化する。例えば、加熱調理中にカーテンが開けられてキッチンに夕日の光が入ると、その光によって撮影画像全体、すなわち調理対象Ｔの像Ｔ’が赤みを帯びる（色相が変化する）場合がある。また例えば、加熱調理中に照明が灯されると、その照明の光によって調理対象Ｔの像Ｔ’が白みを帯びる（彩度が低下する）場合がある。また、同じ調理対象であっても、加熱調理器１０周りの光環境が異なれば、撮影画像に写る調理対象Ｔの像Ｔ’の色合いも異なる。

このように加熱調理器１０周りの光環境の変化や違いによって撮影画像に写る調理対象の色合いに変化や違いが生じると、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づく該調理対象Ｔの状態の推定を高精度に行えない可能性がある。その結果として、調理対象Ｔの状態の推定結果に基づく該調理対象Ｔに対する加熱制御を適切に行えない可能性がある。

そのために、画像処理部５４は、幾何学的補正された撮影画像Ｐ３に対して色補正を行う。その色補正のために、本実施の形態の場合、幾何学的補正において利用したマーカー４４Ａ～４４Ｃが再び利用される。このマーカー４４Ａ～４４Ｃを利用した色補正の流れについて、図１０に示すフローチャートを参照しながら説明する。

図１０に示すように、まず、ステップＳ２００において、画像処理部５４は、画像認識技術により、図７に示す幾何学的補正された撮影画像Ｐ３において、複数のマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’を特定する。

次に、ステップＳ２１０において、画像処理部５４は、カメラ３０の撮影画像に写る複数のマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’それぞれについて色合いを計測する。本実施の形態の場合、色合いを示すパラメータとして、色相、彩度、および明度を計測する。なお、色合いとして、色相、彩度、および明度の少なくとも１つを計測してもよい。

続いて、ステップＳ２２０において、画像処理部５４は、各マーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’について、ステップ２１０で色合いを計測して得た計測結果に基づいて、本実施の形態の場合には色相、彩度、および明度に基づいて、色補正条件を算出する。具体的には、像４４Ａ’～４４Ｃ’がマーカー４４Ａ～４４Ｃ自体の実際の色合いで写るように撮影画像Ｐ３を補正するための色補正条件を、像４４Ａ’～４４Ｃ’それぞれについて算出する。これは、全てのマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’が、同等に光環境の影響を受けているとは限らないからである。例えば、マーカー４４Ａのみに夕日の光があたり、それによりマーカー４４Ａの像４４Ａ’のみが赤みを帯びている場合がある。このような場合を想定し、像４４Ａ’～４４Ｃ’それぞれについて色補正条件が算出される。したがって、複数の異なる色補正条件が算出される場合がある。

ステップＳ２２０に続くステップＳ２３０において、画像処理部５４は、ステップＳ２２０で算出した色補正条件それぞれにしたがって、図９に示す撮影画像Ｐ３における調理対象存在領域ＲＡ～ＲＣを色補正する。

これらの調理対象存在領域ＲＡ～ＲＣは、上述したように、また図９に示すように、容器載置エリア４６Ａ～４６Ｃに対応する領域であって、すなわち調理対象Ｔの像Ｔ’が存在しうる領域である。

撮影画像Ｐ３における調理対象存在領域ＲＡは、対応するマーカー４４Ａの像４４Ａ’について算出された色補正条件で色補正される。また、調理対象存在領域ＲＢは、対応するマーカー４４Ｂの像４４Ｂ’について算出された色補正条件で色補正される。そして、調理対象存在領域ＲＣは、対応するマーカー４４Ｃの像４４Ｃ’について算出された色補正条件で色補正される。

それにより、異なる容器載置エリア４６Ａ～４６Ｃに載置されている容器Ｃ内の調理対象Ｔの像Ｔ’は、異なる色補正条件で色補正される。その結果、容器載置エリア４６Ａ～４６Ｃそれぞれの調理対象Ｔの像Ｔ’は、適切に色補正される。

一例を挙げて説明する。容器載置エリア４６Ａに載置された容器Ｃ内の調理対象Ｔと対応するマーカー４４Ａとには、夕日の光が当たっている。それに対して、他の容器載置エリア４６Ｂ、４６Ｃとそれに対応するマーカー４４Ｂ，４４Ｃとには夕日の光が当たっていない。

マーカー４４Ａの像４４Ａ’を夕日の光が当たっていないときの色合いにするための色補正条件が算出される。その色補正条件を用いて、容器載置エリア４６Ａに載置された容器Ｃ内の調理対象Ｔの像Ｔ’が色補正される。すなわち、その調理対象Ｔの像Ｔ’は、夕日の光が当たっていない色合いに色補正される。これに対して、夕日の光が当たっていない容器載置エリア４６Ｂ～４６Ｃの調理対象Ｔの像Ｔ’には、この色補正が適用されない。

このような色補正により、加熱調理器１０周りの光環境が変化したり違いが生じても、実質的に同一の光環境下で撮影された撮影画像を得ることができる。その結果、光環境の変化や違いによらず、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を実質的に一定の精度で推定することができる。

調理対象状態推定部５６は、撮影画像に写るマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’の位置に基づいて、撮影画像において調理対象Ｔの像Ｔ’を特定する。本実施の形態の場合、画像処理部５４によって幾何学的補正および色補正された撮影画像において調理対象Ｔの像Ｔ’を特定する。

具体的には、図９に示すように、調理対象状態推定部５６は、まず、カメラ３０の撮影画像に写るマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’を特定する。次に、その特定した像４４Ａ’～４４Ｃ’の位置に基づいて、撮影画像におけるトッププレート１４の天面１４ａの容器載置エリア４６Ａ～４６Ｃに対応する調理対象存在領域ＲＡ～ＲＣを特定する。そして、その調理対象存在領域ＲＡ～ＲＣ内から調理対象Ｔの像Ｔ’を特定する。これにより、撮影画像全体を確認して調理対象Ｔの像Ｔ’を特定する場合に比べて、短時間で高精度に調理対象Ｔの像Ｔ’の特定を実行することができる。

なお、そのためには、マーカー４４Ａ～４４Ｃと容器載置エリア４６Ａ～４６Ｃ（調理対象存在領域ＲＡ～ＲＣ）との間の位置関係が既知である必要がある。マーカー４４Ａ～４４Ｃの像の位置に基づいて容器載置エリア４６Ａ～４６Ｃに対応する調理対象存在領域ＲＡ～ＲＣを特定するために、マーカーと容器載置エリアとの間の位置関係を示す加熱調理器のレイアウトデータが使用される。このレイアウトデータは、記憶部６０に記憶されている。

撮影画像において調理対象Ｔの像Ｔ’を特定すると、調理対象状態推定部５６は、その特定した調理対象Ｔの像Ｔ’を撮影画像から抽出する。例えば、抽出した像Ｔ’を画像データとして記憶部６０に記憶する。

抽出した調理対象Ｔの像Ｔ’に基づいて、調理対象状態推定部５６は、その調理対象Ｔの状態を推定する。例えば、連続する複数の撮影画像から抽出された調理対象Ｔの複数の像Ｔ’に基づいて、調理対象Ｔの像Ｔ’の変化を検出し、その変化に基づいて調理対象Ｔの状態を推定する。例えば、調理対象Ｔが液体であって、その液面の像の変化が大きい場合、調理対象Ｔが沸騰状態であると推定する。また例えば、調理対象Ｔが肉などの焼き物である場合、調理対象の像の色の変化がほぼなくなると、焼き上がりと推定する。

なお、調理対象状態推定部５６は、温度センサ２６Ａ～２６Ｃの検出温度や重量センサ２８の検出重量をも考慮に入れて、調理対象Ｔの状態を推定してもよい。例えば、調理対象Ｔが液体であって、その液面の像の変化が大きく、且つ、重量センサ２８の検出重量が減少し始めた場合、調理対象状態推定部５６は、調理対象Ｔが蒸発していると推定する。

加熱コイル制御部５８は、調理対象状態推定部５６によって推定された調理対象Ｔの状態に基づいて、加熱コイル１６Ａ～１６Ｃの出力を制御する。例えば、調理対象状態推定部５６によって調理対象Ｔが蒸発中であると推定された場合、加熱コイル制御部５８は加熱コイルの出力レベルを下げるまたは加熱コイルを停止させる。

以上、このような本実施の形態によれば、カメラ３０の撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔに対する加熱を制御する加熱調理器１０において、カメラ３０の設置の自由度を向上させることができる。

すなわち、撮影画像に写るマーカー４４Ａ～４４Ｃの像４４Ａ’～４４Ｃ’の位置に基づいて調理対象Ｔの像Ｔ’を短時間で高精度に特定することができるので、カメラ３０を加熱調理器１０の本体１２に対して高精度に位置決めする必要がない。

以上、上述の実施の形態を挙げて本発明を説明したが、本発明は上述の実施の形態に限定されない。

例えば、上述の実施の形態の場合、図１に示すように、加熱調理器１０は１台のカメラ３０を有するが、本発明の実施の形態に係る加熱調理器のカメラは１台に限らない。例えば、複数の加熱コイルそれぞれの上方にカメラが配置されてもよい。

また、上述の実施の形態の場合、図３に示すように、カメラ３０と加熱調理器１０の制御部５０は、ローカルエリアネットワーク３８を介して無線接続されているが、これに限らない。カメラ３０と制御部５０の少なくとも一方が、ローカルエリアネットワーク３８に対して有線接続されてもよい。また、カメラ３０が、加熱調理器１０の制御部５０に対して直接的に無線接続または有線接続されてもよい。さらに、カメラ３０の撮影画像を携帯端末４２に送信してもよく、またインターネット４０を介して外部に送信してもよい。これにより、カメラ３０が実際に撮影した撮影画像を、ユーザは確認することができる。

さらに、上述の実施の形態の場合、図１に示すように、加熱調理器１０は三基の加熱コイル１６Ａ～１６Ｃを備えるが、本発明の実施の形態に係る加熱調理器１０の加熱コイルの数はこれに限らない。加熱コイルは１つであってもよく、また３基以上あってもよい。

さらにまた、上述の実施の形態の場合、図２に示すように、マーカー４４Ａ～４４Ｃは、トッププレート１４の天面１４ａに描かれたマークまたはシールである。しかしながら、本発明の実施の形態は、これに限定されない。例えば、マーカーは、発光する発光体、例えばＬＥＤなどであってもよい。ただし、自然光と区別するために、白色光でなく、赤色や青色などの光を発光するものが好ましい。

加えて、上述の実施の形態の場合、カメラ３０の撮影画像において調理対象Ｔの像Ｔ’を特定するためのマーカー４４Ａ～４４Ｃは、画像の幾何学的補正や色補正にも利用されている。しかしながら、本発明の実施の形態はこれに限らない。撮影画像において調理対象Ｔの像Ｔ’を特定できるのであれば、上述の補正の少なくとも一部を省略してもよい。例えば、加熱調理器周りの光環境が略一定であれば、色補正を省略することができる。また例えば、カメラの光軸がトッププレートの天面の略中心に略直交した状態で且つカメラとトッププレートとの間の距離を略適切な距離にした状態でカメラが設置されているのであれば、幾何学的補正も省略することができる。

加えてまた、上述の実施の形態の場合、マーカー４４Ａ～４４Ｃはトッププレート１４の天面１４ａに描かれたマークまたは貼り付けられたシールであるが、本発明の実施の形態はこれに限らない。マーカーは、加熱調理器の本体上に存在し、且つ、カメラの撮影範囲に存在するものであればよい。したがって、マーカーは、加熱調理器の本体における構成要素全体または一部分であってもよい。例えば、図２に示すタッチキー１８Ａ～１８Ｃおよび表示部２０Ａ～２０Ｃの少なくとも一方が、マーカーとして使用されてもよい。また例えば、トッププレート１４の天面１４ａ全体が、マーカーとして使用されてもよい。すなわち、マーカーは、加熱調理器の本体上に存在し、容器載置エリア（加熱部）に対して一定の位置に存在し、且つ、その像が撮影画像において特定できるものであればよい。この場合、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。

マーカーに関して言えば、そのマーカーの像の位置に基づいて撮影画像における容器載置エリアに対応する調理対象存在領域を特定することを考えれば、マーカーは複数個あるのが好ましい。これは、二次元の撮影画像における調理対象存在領域を、複数のマーカーの像それぞれの撮影画像における位置に基づいて一義的に特定できるからである。ただし、１つのマーカーの像の位置でも、調理対象存在領域をある程度は特定することは可能であり、マーカーが全くない場合に比べて短時間で高精度に特定することが可能である。例えば、１つのマーカーを容器載置エリアの中央に配置すると、撮影画像においてマーカーの像の周辺領域が調理対象存在領域であると短時間で高精度に特定することができる（マーカーが全くない場合に比べて）。

なお、加熱調理器の本体に対してカメラが限度を越えた位置に設置される場合がある。例えば、撮影画像にマーカーの像が写らないような位置にカメラが設置される場合がある。また例えば、撮影画像にマーカーの像は写るが、容器載置エリアに対応する調理対象存在領域が少なくとも部分的に撮影画像において存在しないような位置（容器載置エリアがカメラの撮影範囲から外れる位置）に、カメラが設置される場合がある。すなわち、撮影画像において調理対象存在領域を特定することができない位置に、カメラが設置される場合がある。この場合、図１に示す報知部２４または図３に示す携帯端末４２を介して、領域が特定できない旨を報知し、ユーザにカメラの設置位置を変更するように促してもよい。あるいは、領域が特定できた場合に報知してもよい。

さらに加えて、上述の実施の形態の場合、マーカー４４Ａ～４４Ｃの像の位置に基づいて撮影画像における調理対象Ｔの像Ｔ’を特定して抽出し、その抽出した像Ｔ’に基づいて調理対象Ｔの状態を推定する調理対象状態推定部５６（これらとして機能する、例えばＣＰＵなどの処理装置）は、加熱調理器１０の本体１２に設けられている。しかしながら、本発明の実施の形態は、これに限らない。調理対象状態推定部は、加熱調理器の本体の外部、例えばカメラに搭載されてもよい。この場合、マーカーと容器載置エリアとの間の位置関係を示す加熱調理器のレイアウトデータをカメラは保持する必要がある。このレイアウトデータとマーカーの像の位置とに基づいて、撮影画像における容器載置エリアに対応する調理対象存在領域を短時間に高精度に特定することができる。

代わりとして、調理対象状態推定部は、ユーザの携帯端末に搭載されてもよい。例えば、携帯端末を調理対象状態推定部として機能させるプログラムが、携帯端末にインストールされる。この場合、携帯端末は、カメラから撮影画像を取得する。また、携帯端末は、マーカーと容器載置エリアとの位置関係を示すレイアウトデータを、例えば加熱調理器を製造したメーカーのサーバーから取得する。次に、携帯端末の調理対象状態推定部が、取得した撮影画像とレイアウトデータとに基づいて、撮影画像において調理対象の像を特定し、その特定した像に基づいて調理対象の状態を推定する。そして、携帯端末が調理対象の状態をデータとして加熱調理器の制御部に送信する。

なお、調理対象状態推定部が複数の機種の加熱調理器に対して共通に使用される場合、マーカーの像の形状に基づいて機種を判別してもよい。具体的には、機種毎に異なる形状のマーカーが本体に設けられる。そして、機種それぞれについて、マーカーと容器載置エリアとの間の位置関係を示すレイアウトデータを用意する。調理対象状態推定部は、マーカーの形状に基づいて使用するレイアウトデータを選択し、その選択したレイアウトデータとマーカーの像の位置とに基づいて、撮影画像において調理対象の像を特定し、その特定した像に基づいて調理対象の状態を推定する。これにより、共通の調理対象状態推定部を異なる機種の加熱調理器に採用することができる。

さらに加えて、上述の実施の形態の場合、撮影画像における容器載置エリアに対応する調理対象存在領域は、撮影画像に写るマーカーの像の位置に基づいて特定されている。しかしながら、本発明の実施の形態は、これに限らない。例えば、撮影画像における容器載置エリアに対応する調理対象存在領域を、ユーザが加熱調理器に教示してもよい。

そのために、例えば、加熱調理器は、カメラの撮影画像を表示する撮影画像表示部と、ユーザが、撮影画像表示部に写る撮影画像に基づいて、撮影画像におけるトッププレートの天面の容器載置エリアに対応する調理対象存在領域を教示するための教示部とを有する。撮影画像表示部と教示部は、撮影画像上で調理対象存在領域を範囲指定するのに適した、例えばタッチスクリーンであってもよい。なお、ユーザの携帯端末のタッチスクリーンを撮影画像表示部および教示部として使用してもよい。この場合、携帯端末のタッチスクリーンを撮影画像表示部および教示部として機能させるためのプログラムが携帯端末にインストールされる。

補足すると、当然ながら、カメラの撮影画像に写るマーカーの像の位置に基づいてトッププレートの容器載置エリアに対応する撮影画像における調理対象存在領域を特定する動作は、カメラが設置された直後であって容器がその容器載置エリアに載置される前に一度行うだけでよい。すなわち、その後は、次にカメラの位置が変更されるまで、このマーカーの像に基づく撮影画像における調理対象存在領域を特定する動作を行う必要はなくなる。カメラの位置が変わらない限り、撮影画像における調理対象存在領域の位置は変わらないからである。したがって、マーカーはカメラの位置が変更されたときにのみ使用される。

さらに加えて、上述の実施の形態の場合、加熱調理器は、加熱コイルを用いて容器を誘導加熱する誘導加熱調理器であるが、本発明の実施の形態は、これに限らない。例えば、本発明の実施の形態に係る加熱調理器は、ガス調理器であってもよい。ガス調理器の場合、容器は、本体の天面に備えられた容器載置部としての五徳に載置され、その下方から加熱部としてのガスバーナーによって加熱される。

以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、前述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。

２０１７年９月２５日に出願された日本特許出願第２０１７－１８３９９５号の明細書、図面、及び特許請求の範囲の開示内容は、全体として参照されて本明細書の中に取り入れられるものである。

本発明は、誘導加熱調理器に限らず、調理対象を収容した容器を加熱する加熱調理器であれば適用可能である。

Claims (9)

1. 調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
   前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
   前記調理対象を撮影するカメラと、
   前記本体に設けられ、前記カメラに撮影されるマーカーと、
   前記カメラの撮影画像に写る前記マーカーの像に基づいて前記カメラの撮影画像の幾何学的補正もしくは色補正の少なくとも１つを行い、
   前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
   前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。
2. 前記マーカーが、前記本体の天面に描かれているマークまたは貼り付けられているシールである、請求項１に記載の加熱調理器。
3. 前記マーカーが、前記容器載置部以外の前記天面の部分に設けられている、請求項２に記載の加熱調理器。
4. 前記マーカーが、複数設けられている、請求項１から３のいずれか一項に記載の加熱調理器。
5. 前記加熱部を操作するための操作部と、
   前記加熱部の出力状態を表示する表示部と、を有し、
   前記操作部および前記表示部の少なくとも一方が、前記マーカーとして使用される、請求項１に記載の加熱調理器。
6. 前記天面全体が、前記マーカーとして使用される、請求項１に記載の加熱調理器。
7. 前記調理対象状態推定部が、前記マーカーの像の形状に基づいて前記加熱調理器の機種を判別し、判別した機種における前記マーカーと前記容器載置部との間の位置関係に基づいて前記調理対象存在領域を特定する、請求項１から６のいずれか一項に記載の加熱調理器。
8. 前記調理対象存在領域を特定できない場合に報知する、または、前記調理対象存在領域を特定できた場合に報知する報知部を有する、請求項１から７のいずれか一項に記載の加熱調理器。
9. 調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
   前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
   前記調理対象を撮影するカメラと、
   前記カメラの撮影画像を表示する撮影画像表示部と、
   ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための携帯端末のタッチスクリーンの教示部と、
   前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
   前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。

Images