以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
一例として図1に示すように、本実施形態に係る加熱調理システム10は、本発明に係る加熱調理器の一例であるコンロ12と、本発明に係る加熱制御装置の一例である撮影・制御装置14と、を含む。
コンロ12は、システムキッチンのカウンタ16に埋設された所謂ビルトイン式のコンロである。カウンタ16は、上面開口16A及び前面開口16Bを有する。上面開口16Aは、カウンタ16の上面に形成された長方形状の開口であり、前面開口16Bは、カウンタ16の前面(調理者が立つ側の面)に形成された長方形状の開口である。
コンロ12は、箱状の筐体20及び平面視長方形状の天板22を備えている。筐体20は、上面開口16Aを介してカウンタ16に埋設され、上面開口16Aは天板22によって覆われている。
筐体20は、長方形状の上部開口20Aを有しており、第1バーナ24A、第2バーナ24B及び第3バーナ24Cを収容している。また、筐体20は、本発明に係る制御手段の一例である制御部26を収容している。なお、以下では、説明の便宜上、第1バーナ24A、第2バーナ24B、及び第3バーナ24Cを区別して説明する必要がない場合、「バーナ24」と称する。
天板22の上面には、円形状のバーナ用開口22Aがバーナ24(本発明に係る生成源の一例)毎に形成されており、バーナ用開口22Aの各々の周縁部には五徳28が設置されている。バーナ24は、周縁部に複数のガス噴出口30Aを有するバーナヘッド30を備えており、バーナヘッド30は、バーナ用開口22Aから上方に突出している。
バーナ24の平面視中央部には温度センサ32が設けられている。温度センサ32は、圧縮ばね(図示省略)により上方に付勢されており、五徳28よりも高い位置にバーナ24から突出している。五徳28上に置かれた鍋やフライパン等の調理器具の底面に接して、調理器具の底面の温度を測定する。
一例として図2に示すように、バーナ24は、バーナ基部34を有しており、バーナ基部34の一端にバーナヘッド30が接続され、バーナ基部34の他端にガス管36が接続されている。
バーナ基部34は、ガス供給源(図示省略)からガス管36を介して送り込まれたガスを取り込み、取り込んだガスをバーナヘッド30に送り出す。バーナ基部34からバーナヘッド30に送り出されたガスは、ガス噴出口30Aから噴出する。
ガス管36には電磁弁38が設けられており、電磁弁38が駆動することでガス管36が開閉され、これに応じて、ガス噴出口30Aから噴出されるガス量が調節される。
コンロ12は、点火プラグ40を有する。点火プラグ40は、バーナ24毎に設けられている。点火プラグ40は、バーナヘッド30に隣接した位置に設置されており、ガス噴出口30Aから噴出されたガスに対して点火を行うことで空気を燃焼させ、火炎を形成する。
一例として図1に示すように、筐体20には、第1バーナ用操作部42、第2バーナ用操作部44、第3バーナ用操作部46、タッチパネル・ディスプレイ48、及び外部コネクタ50が設けられている。第1バーナ用操作部42、第2バーナ用操作部44、第3バーナ用操作部46、タッチパネル・ディスプレイ48、及び外部コネクタ50は、前面開口16Bから露出している。
第1バーナ用操作部42、第2バーナ用操作部44、及び第3バーナ用操作部46(以下、これらを区別して説明する必要がない場合、符号を付さずに「バーナ用操作部」と称する)の各々は、押圧スイッチ及びロータリスイッチを組み合わせた複合スイッチである。第1バーナ用操作部42は、押圧操作が行われることにより第1バーナ24Aを対象とした点火及び消化の各指示を受け付け、かつ、回転操作が行われることにより第1バーナ24Aの火力(W:ワット)を調節する指示を受け付ける。第2バーナ用操作部44は、押圧操作が行われることにより第2バーナ24Bを対象とした点火及び消化の各指示を受け付け、かつ、回転操作が行われることにより第2バーナ24Bの火力を調節する指示を受け付ける。第3バーナ用操作部46は、押圧操作が行われることにより第3バーナ24Cを対象とした点火及び消化の各指示を受け付け、かつ、回転操作が行われることにより第3バーナ24Cの火力を調節する指示を受け付ける。
タッチパネル・ディスプレイ48は、ディスプレイ48A及びタッチパネル48Bを備えている。ディスプレイ48Aは、各種情報を表示する。タッチパネル48Bは、透過型のタッチパネルであり、ディスプレイ48Aに重ねられている。タッチパネル48Bは、特定の指示体(例えば、指)による接触操作を検知する。タッチパネル48Bによる検知結果に応じた情報は、ディスプレイ48Aに表示される。
外部コネクタ50は、外部デバイスの接続端子である。外部コネクタ50の一例としては、例えば、USB(Universal Serial Bus)メモリが差し込まれるUSBコネクタが挙げられる。
一例として図1及び図2に示すように、撮影・制御装置14は、天板22の上方の所定位置に配置されており、レンジフード(図示省略)のフレームに取り付けられている。ここで、所定位置とは、例えば、天板22の上面の全領域が撮影範囲に含まれる位置を指す。
撮影・制御装置14は、撮影機能及び制御機能を有する。すなわち、撮影機能とは、天板22の上方からコンロ上領域52(本発明に係る加熱調理器上領域の一例)を動画像として撮影する機能を指し、制御機能とは、撮影して得た撮影画像に基づいてコンロ12を制御する機能を指す。ここで、コンロ上領域52とは、天板22の上面を含むと共に天板22上でバーナ24の火力の影響が及ぶ領域(例えば、着火の可能性がある領域)として実験やシミュレーション等によって予め特定された領域を指す。
一例として図3に示すように、撮影・制御装置14は、CPU(Central Processing Unit)60、一次記憶部62、二次記憶部64、撮影レンズ66、撮像素子68(本発明に係る撮影手段の一例)、アナログ信号処理部70、アナログ/デジタル変換部(以下、「ADC」と称する)72、デジタル信号処理部74、タイミングジェネレータ76、画像格納部78、及びWi−Fi通信部80を含む。
CPU60、一次記憶部62、二次記憶部64、デジタル信号処理部74、タイミングジェネレータ76、画像格納部78、及びWi−Fi通信部80は、バス82を介して相互に接続されている。
CPU60は、撮影・制御装置14の全体の動作を制御する。一次記憶部62は、揮発性のメモリであり、例えば、RAM(Random Access Memory)である。二次記憶部64は、不揮発性のメモリであり、例えば、フラッシュメモリやHDD(Hard Disk Drive)である。
撮像素子68は、撮影レンズ66の光軸後方に配置されており、アナログ信号処理部70に接続されている。本実施形態では、撮像素子68の一例として、電荷結合素子(所謂CCD)を有するCCDイメージセンサを採用しているが、これに限らず、CMOS型のイメージセンサでもあってもよい。
撮像素子68は、R(赤),G(緑),B(青)の各フィルタを含むカラーフィルタ(図示省略)を備えている。すなわち、撮像素子68の各画素には、カラーフィルタに含まれるR,G,Bの何れかのフィルタが割り当てられている。
タイミングジェネレータ76は、撮像素子68に接続されており、所定時間(例えば、0.03秒)毎にタイミング信号を撮像素子68に出力する。撮像素子68は、入力されたタイミング信号に応じて、被写体を示すR,G,B毎のアナログ信号をアナログ信号処理部70に出力する。
アナログ信号処理部70は、ADC72に接続されており、撮像素子68から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施し、アナログ信号処理を施して得たR,G,B毎のアナログ信号をADC72に出力する。
ADC72は、入力されたR、G、B毎のアナログ信号をR、G、B毎の撮影画像を示すデジタル画像情報(以下、「画像情報」と称する)に変換し、変換して得た画像情報をフレーム単位でデジタル信号処理部74に出力する。
デジタル信号処理部74は、ラインバッファ(図示省略)を内蔵しており、ADC72から入力される画像情報をラインバッファに蓄積し、所定のタイミングで画像格納部78にフレーム単位で格納する。画像格納部78に格納された画像情報はCPU60によって読み出される。
WiFi通信部80は、無線通信プロセッサ(図示省略)、送受信回路(図示省略)、及びアンテナ(図示省略)により実現される。WiFi通信部80は、コンロ12とアソシエーションを行ってコンロ12との間で通信路を確立することで、コンロ12を無線通信先として設定する。
一例として図4に示すように、二次記憶部64は、第1制御プログラム84、第2制御プログラム85、第1基準画像情報86、第2基準画像情報88、第3基準画像情報90、及び発火誘引画像データベース(DB)92を記憶している。なお、以下では、説明の便宜上、第1制御プログラム84及び第2制御プログラム85を区別して説明する必要がない場合、「画像処理系プログラム」と称する。
CPU60は、二次記憶部64から画像処理系プログラムを読み出して一次記憶部62に展開し、画像処理系プログラムを実行することで、本発明に係る制御手段として動作する。
なお、ここでは画像処理系プログラムを二次記憶部64から読み出す場合を例示しているが、必ずしも最初から二次記憶部64に記憶させておく必要はない。例えば、撮影・制御装置14に接続されて使用されるSSD(Solid State Drive)、ICカード、光磁気ディスク、CD−ROMなどの任意の「可搬型の記憶媒体」に先ずは画像処理系プログラムを記憶させておいてもよい。そして、CPU60がこれらの可搬型の記憶媒体から画像処理系プログラムを取得して実行するようにしてもよい。また、通信手段を介して撮影・制御装置14に接続されるコンピュータ又はサーバ装置等の外部電子計算機の記憶部に画像処理系プログラムを記憶させておいてもよい。この場合、CPU60は外部電子計算機から画像処理系プログラムを取得して実行する。
第1基準画像情報86は、第1基準画像を示す画像情報である。第1基準画像とは、例えば、未使用時のコンロ12の第1バーナ24Aを中央に含むと共に、使用が想定される最大の調理領域よりも大きな平面視矩形領域100(図5参照)を示す画像を指す。ここで、調理領域とは、フライパンや鍋等の調理器具の本体領域(調理のために被加熱対象物(調理油、野菜、食肉等)が入れられる凹部領域)を指す。また、使用が想定される最大の調理領域とは、例えば、一般家庭で使用される調理器具の最大の調理領域として平均的な大きさの調理領域を指す。第1基準画像の一例としては、所定の明るさの環境下で平面視矩形領域100が撮影・制御装置14によって予め撮影されて得られた撮影画像が挙げられる。
第2基準画像情報88は、第2基準画像を示す画像情報である。第2基準画像とは、例えば、未使用時のコンロ12の第2バーナ24Bを中央に含むと共に、使用が想定される調理器具のうちの調理領域が最大の調理器具の調理領域よりも大きな平面視矩形領域102(図5参照)を示す画像を指す。第2基準画像の一例としては、所定の明るさの環境下で平面視矩形領域102が撮影・制御装置14によって予め撮影されて得られた撮影画像が挙げられる。
第3基準画像情報90は、第3基準画像を示す画像情報である。第3基準画像とは、例えば、未使用時のコンロ12の第3バーナ24Cを中央に含むと共に、使用が想定される調理器具のうちの調理領域が最大の調理器具の調理領域よりも大きな平面視矩形領域104(図5参照)を示す画像を指す。第3基準画像の一例としては、所定の明るさの環境下で平面視矩形領域104が撮影・制御装置14によって予め撮影されて得られた撮影画像が挙げられる。
ここで、上記の未使用時のコンロ12とは、バーナ24に火が点けられていない状態で、かつ、出荷時の天板22及び五徳28の各々に有体物が置かれていない状態のコンロ12を指す。また、上記の所定の明るさとは、例えば、コンロ12が使用されるときの一般的な明るさとして統計的な調査によって知得された明るさを指す。
なお、以下では、説明の便宜上、第1基準画像情報86、第2基準画像情報88、及び第3基準画像情報90を区別して説明する必要がない場合、符号を付さずに「基準画像情報」と称する。また、以下では、説明の便宜上、第1基準画像、第2基準画像、及び第3基準画像を区別して説明する必要がない場合、「基準画像」と称する。また、以下では、説明の便宜上、平面視矩形領域100,102,104を区別して説明する必要がない場合、符号を付さずに「平面視矩形領域」と称する。また、本実施形態では、平面視矩形領域を例示しているが、本発明はこれに限定されるものではなく、各バーナ24の位置につき平面視でバーナ24を中央に含む円形領域や五角形領域等の矩形以外の他形状の領域であってもよい。
発火誘引画像DB92は、各々異なる発火誘引画像を示す複数の発火誘引画像情報を記憶している。発火誘引画像は、加熱を受けることで発火する可能性が高い調理領域を示す画像として予め定められた見本画像である。発火誘引画像の一例としては、高温(例えば、360℃)の調理油が引かれた状態の調理領域を示す画像、及び高温の調理油に特定の調理対象物(食材)が絡められた状態の調理領域を示す画像等が挙げられる。
一例として図6に示すように、制御部26は、CPU100、一次記憶部102、二次記憶部105、外部インタフェース(I/F)106、WiFi通信部108、表示制御部110、受付I/F112、点火プラグ駆動部114、電磁弁駆動部116、及びアナログ/デジタル(A/D)変換部118を含む。
CPU100、一次記憶部102、二次記憶部105、外部I/F106、WiFi通信部108、表示制御部110、受付I/F112、点火プラグ駆動部114、電磁弁駆動部116、及びA/D変換部118は、バス120を介して相互に接続されている。
CPU100は、コンロ12の全体の動作を制御する。一次記憶部102は、RAM等の揮発性のメモリである。二次記憶部105は、フラッシュメモリやHDD等の不揮発性のメモリである。
外部I/F106は、外部コネクタ50(図1参照)に接続されており、外部コネクタ50に接続された外部デバイス(図示省略)とCPU100との各種情報の授受を司る。
WiFi通信部108は、WiFi通信部80と同様に構成されており、撮影・制御装置14とアソシエーションを行って撮影・制御装置14との間で通信路を確立することで、撮影・制御装置14を無線通信先として設定する。
表示制御部110には、ディスプレイ48Aが接続されており、表示制御部110は、CPU100の指示に応じた情報がディスプレイ48Aに表示されるようにディスプレイ48Aを制御する。
受付I/F112には、受付部124が接続されている。受付部124は、タッチパネル48B及びバーナ用操作部を含み、調理者からの指示を受け付ける。受付I/F112は、受け付けた指示を示す信号をCPU100に出力する。
点火プラグ駆動部114には、バーナ24毎に設けられた点火プラグ40が接続されており、点火プラグ駆動部114は、CPU100の指示に応じて、各点火プラグ40を選択的に駆動させる。
電磁弁駆動部116には、バーナ24毎に設けられた電磁弁38が接続されており、電磁弁駆動部116は、CPU100の指示に応じて、各電磁弁38を選択的に駆動させる。
A/D変換部118には、バーナ24毎に設けられた温度センサ32が接続されており、A/D変換部118は、各温度センサ32により測定された温度を示すアナログ信号をデジタル信号に変換し、変換して得たデジタル信号をCPU100に出力する。
一例として図7に示すように、二次記憶部105は、第3制御プログラム126及び第4制御プログラム128(以下では、説明の便宜上、区別して説明する必要がない場合、符号を付さずに「コンロ側プログラム」と称する)を記憶している。CPU100は、二次記憶部105からコンロ側プログラムを読み出して一次記憶部102に展開し、コンロ側プログラムを実行することで、本発明に係る制御手段として動作する。
なお、ここではコンロ側プログラムを二次記憶部105から読み出す場合を例示しているが、必ずしも最初から二次記憶部105に記憶させておく必要はない。例えば、コンロ12に接続されて使用される可搬型の記憶媒体に先ずはコンロ側プログラムを記憶させておいてもよい。そして、CPU100がこれらの可搬型の記憶媒体からコンロ側プログラムを取得して実行するようにしてもよい。また、通信手段を介してコンロ12に接続されるコンピュータ又はサーバ装置等の外部電子計算機の記憶部にコンロ側プログラムを記憶させておいてもよい。この場合、CPU100は外部電子計算機からコンロ側プログラムを取得して実行する。
次に、撮影・制御装置14の主電源(図示省略)が投入された場合にCPU60が第1制御プログラム84を実行することで撮影・制御装置14によって行われる第1制御処理について、図8及び図9を参照して説明する。
図8に示す第1制御処理では、先ず、ステップ150で、CPU60は、画像格納部78から1フレーム分の画像情報を取得し、その後、ステップ152へ移行する。
ステップ152で、CPU60は、ステップ150で取得した画像情報により示される1フレーム分の撮影画像から比較対象画像領域を抽出し、その後、ステップ154へ移行する。比較対象画像領域とは、撮影画像の全画像領域のうちの平面視矩形領域を示す画像領域を指す。なお、以下では、平面視矩形領域100,102,104を区別して説明する必要がない場合、符号を付さずに「平面視矩形領域」と称する。
ステップ154で、CPU60は、処理対象領域(処理対象として着目すべき比較対象領域)を設定し、その後、ステップ156へ移行する。処理対象領域とは、ステップ152で抽出した比較対象画像領域のうち、未だにステップ156以降の処理対象とされていない比較対象画像領域を指す。
ステップ156で、CPU60は、ステップ154で設定した処理対象領域(以下、単に「処理対象領域」と称する)に調理器具画像領域が存在するか否かを判定する。調理器具画像領域とは、フライパンや鍋などの調理器具を示す画像を指す。
処理対象領域に調理器具画像領域が存在するか否かは、基準画像情報により示される基準画像と処理対象領域との比較に基づいて判定される。すなわち、CPU60は、基準画像と処理対象領域との差分に基づいて処理対象領域にバーナ24を示すバーナ画像領域が存在しているか否かを判定することで処理対象領域に調理器具画像領域が存在しているか否かを判定する。処理対象領域にバーナ画像領域が存在しているということは、処理対象領域に対応する平面視矩形領域内の五徳28に調理器具が載せられていないことを意味する。処理対象領域にバーナ画像領域が存在していないということは、処理対象領域に対応する平面視矩形領域内の五徳28に調理器具が載せられていることを意味する。
ステップ156において、処理対象領域に調理器具画像領域が存在する場合は判定が肯定されて、ステップ158へ移行する。ステップ156において、処理対象領域に調理器具画像領域が存在しない場合は判定が否定されて、ステップ170へ移行する。
ステップ158で、CPU60は、処理対象領域が火力過多状態画像領域であるか否かを判定する。火力過多状態画像領域とは、コンロ上領域52に対する火力の過多状態を示す画像領域を指す。
火力過多状態画像領域は、例えば、はみ出し火炎画像領域、過加熱画像領域、及び調理物引火画像領域に大別され、本ステップ158では、処理対象領域が、はみ出し火炎画像領域、過加熱画像領域、及び調理物引火画像領域の少なくとも1つであるか否かが判定される。
CPU60は、処理対象領域が火力過多状態画像領域であるか否かを判定する場合、先ず、処理対象領域を、調理領域を示す調理画像領域と非調理領域を示す非調理画像領域とに分類する。調理画像領域及び非調理画像領域は、処理対象領域と、この処理対象領域に対応する基準画像との差分に基づいて分類される。すなわち、処理対象領域と基準画像との差分に基づいて、処理対象領域内における所定面積以上の面積の円形領域又は矩形領域が調理画像領域として検出され、比較対象画像領域のうちの調理画像領域以外の画像領域が非調理画像領域として検出される。
図10に示す例では、調理領域130A及び非調理領域130Bが示されている。調理領域130Aは、平面視矩形領域102のうちのフライパン130の本体領域である。非調理領域130Bは、平面視矩形領域102のうちの調理領域130A以外の領域である。この場合、平面視矩形領域102を示す処理対象領域と第2基準画像との差分に基づいて、所定面積以上の面積の円形領域を示す画像領域が調理領域130Aを示す調理画像領域として検出される。そして、平面視矩形領域102を示す処理対象領域のうちの調理領域130A以外の画像領域が非調理領域130Bを示す非調理画像領域として検出される。
はみ出し火炎画像領域は、調理器具の外周縁から火炎が、予め定められた大きさ以上の大きさで、はみ出した状態(換言すると、調理器具の周囲に予め定められた大きさ以上の大きさで溢れた状態)を示す画像領域である。処理対象領域がはみ出し火炎画像領域であるか否かは、処理対象領域と、この処理対象領域に対応する基準画像とを比較した比較結果に基づいて判定される。
CPU60は、処理対象領域がはみ出し火炎画像領域であるか否かを判定する場合、先ず、調理器具の外周縁からはみ出した火炎を示す第1火炎画像領域を非調理画像領域から検出する。すなわち、非調理画像領域のうちの第1基準輝度(例えば、天板22の代表的な輝度として予め定められた輝度)との差分絶対値が第1所定値以上の輝度の高輝度画像領域が第1火炎画像領域として検出される。第1所定値とは、例えば、バーナ24の火炎のうち最も薄色の火炎の代表的な輝度として予め定められた輝度と第1基準輝度との差分絶対値に相当する値を指す。
そして、CPU60は、第1火炎画像領域の面積(画素数)が第1所定面積(第1所定画素数)以上か否かを判定することで処理対象領域がはみ出し火炎画像領域であるか否かを判定する。すなわち、第1火炎画像領域の面積が第1所定面積以上の場合、処理対象領域がはみ出し火炎画像領域であると判定され、第1火炎画像領域の面積が第1所定面積未満の場合、処理対象領域がはみ出し火炎画像領域でないと判定される。
過加熱画像領域は、調理物に対する加熱の過多状態を示す画像領域である。過加熱画像領域の一例としては、図11に示すように平面視矩形領域102内に置かれたフライパン130から所定量以上の白煙が立ち上がっている場合の平面視矩形領域102を示す画像領域が挙げられる。
CPU60は、処理対象領域内の白色領域の面積(例えば、白色を示す画素の画素数)が第2所定面積(第2所定画素数)以上であるか否かが判定することで処理対象領域が過加熱画像領域であるか否かを判定する。すなわち、処理対象領域内の白色領域の面積が第2所定面積以上の場合、処理対象領域が過加熱画像領域であると判定される。これは、例えば、図11に示すフライパン130から所定量以上の白煙が立ち上がっていることを意味する。処理対象領域内の白色領域の面積が第2所定面積未満の場合、処理対象領域が過加熱画像領域でないと判定される。
なお、ここでは、白煙を例示したが、本発明はこれに限定されるものではなく、白煙以外の煙(例えば、黒煙)であってもよい。この場合、煙色領域の面積が第2所定面積以上であるか否かが判定されることで処理対象領域が過加熱画像領域であるか否かが判定される。
調理物引火画像領域は、調理器具内の調理物が引火された状態を示す画像領域である。調理物引火画像領域の一例としては、図12に示すように平面視矩形領域102内に置かれたフライパン130の調理領域130Aが引火された場合の平面視矩形領域102を示す画像領域が挙げられる。
CPU60は、調理物に引火された火炎を示す第2火炎画像領域が調理画像領域に存在するか否かを判定することで処理対象領域が調理物引火画像領域であるか否かを判定する。第2火炎画像領域は、調理画像領域のうちの第2基準輝度との差分絶対値が第2所定値以上の輝度の高輝度画像領域である。第2基準輝度とは、例えば、引火されていない調理物の一般的な輝度として予め定められた輝度を指す。第2所定値とは、例えば、調理物に点けられた火炎のうち最も薄色の火炎の代表的な輝度として予め定められた輝度と第2基準輝度との差分絶対値に相当する値を指す。
ステップ158において、処理対象領域が火力過多状態画像領域の場合は判定が肯定されて、ステップ160へ移行する。ステップ158において、処理対象領域が火力過多状態画像領域でない場合は判定が否定されて、ステップ176へ移行する。
ステップ160で、CPU60は、比較対象画像領域毎に設けられたカウンタ(図示省略)のうちの、処理対象領域に対応するカウンタのカウント値に1を加算し、その後、ステップ162へ移行する。
ステップ162で、CPU60は、処理対象領域に対応するカウンタのカウント値が第1閾値(例えば、10)を超えているか否かを判定する。ステップ162において、処理対象領域に対応するカウンタのカウント値が第1閾値を超えている場合は判定が肯定されて、ステップ164へ移行する。ステップ162において、処理対象領域に対応するカウンタのカウント値が第1閾値以下の場合は判定が否定されて、ステップ170へ移行する。
なお、本ステップ162において判定が肯定されることは、複数回撮影されて得られた撮影画像の各々に火力過多状態画像領域が重複して存在していることを意味する。火力過多状態画像領域が重複して存在するとは、各々の撮影画像内の同じ位置に火力過多状態画像領域が存在することを指す。撮影画像内の同じ位置に火力過多状態画像領域が存在するとは、例えば、複数回撮影されて得られた各々の撮影画像内の平面視矩形領域102を示す比較対象画像領域が何れも火力過多状態画像領域であることを指す。
このように、本ステップ162において判定が肯定されることは、撮影画像が、コンロ上領域52に対する火力の過多状態を示す火力過多状態画像であることを意味する。
ステップ164で、CPU60は、処理対象領域に対応する平面視矩形領域内のバーナ24(以下、「制御対象バーナ」と称する)の火力を減少させることを指示する火力減少指示情報として、制御対象バーナを特定可能なバーナ特定情報を含む火力減少指示情報を生成する。そして、生成した火力減少指示情報を、WiFi通信部80を介してコンロ12に送信し、その後、ステップ166へ移行する。
ステップ166で、CPU60は、処理対象領域に対応するカウンタのカウント値を初期設定値(例えば、0)にリセットし、その後、ステップ168へ移行する。
ステップ168で、CPU60は、調理領域の温度の低下待ちであることを示す温度低下待ちフラグをオンし、その後、ステップ170へ移行する。
ステップ170で、CPU60は、本第1制御処理を終了する条件(第1制御終了条件)を満たした否かを判定する。第1制御終了条件の一例としては、撮影・制御装置14に対して第1制御処理の終了を指示する指示信号が入力された、との条件、又は、本第1制御処理が開始されてから所定時間(例えば、1時間)経過した、との条件が挙げられる。
ステップ170において、第1制御終了条件を満たしていない場合は判定が否定されて、ステップ172へ移行する。ステップ170において、第1制御終了条件を満たした場合は判定が肯定されて、本第1制御処理を終了する。
ステップ172で、CPU60は、未処理の比較対象画像領域がないか否かを判定する。ここで、未処理の比較対象画像領域とは、ステップ154で処理対象領域として設定されていない比較対象画像領域を指す。ステップ172において、未処理の比較対象画像領域がない場合は判定が肯定されて、ステップ174へ移行する。ステップ172において、未処理の比較対象画像領域がある場合は判定が否定されて、ステップ154へ移行する。
ステップ174で、CPU60は、画像格納部78に新たに画像情報が格納されたか否かを判定する。ステップ174において、画像格納部78に新たに画像情報が格納された場合は判定が肯定されて、ステップ150へ移行する。ステップ174において、画像格納部78に新たに画像情報が格納されていない場合は判定が否定されて、ステップ170へ移行する。
ステップ176で、CPU60は、処理対象領域に対応するカウンタのカウント値が1以上か否かを判定する。ステップ176において、カウンタのカウント値が1以上の場合は判定が肯定されて、ステップ178へ移行する。ステップ176において、カウンタのカウント値が1未満の場合(“0”の場合)は判定が否定されて、ステップ180へ移行する。
ステップ178で、CPU60は、カウンタのカウント値をリセットし、その後、ステップ180へ移行する。
ステップ180で、CPU60は、温度低下待ちフラグがオンされているか否かを判定する。ステップ180において、温度低下待ちフラグがオンされている場合は判定が肯定されて、ステップ182へ移行する。ステップ180において、温度低下待ちフラグがオンされていない場合(オフされている場合)は判定が否定されて、図9に示すステップ188へ移行する。
ステップ182で、CPU60は、処理対象領域が温度低下状態画像領域であるか否かを判定する。温度低下状態画像領域とは、調理領域の温度低下状態を示す画像領域を指す。
ステップ164,190,204の処理によりコンロ12に火力減少指示情報が送信されると、後述の第3制御処理(図15参照)のステップ252で、CPU100は、制御対象バーナの火力が減少するように電磁弁駆動部116を制御する。これにより、調理領域の温度が低下すると、調理領域の態様は、火力が過多状態のときの調理領域の態様と大きく異なる。例えば、気泡量や白煙量が大きく減少する。
そこで、本ステップ182では、CPU60は、処理対象領域が温度低下状態画像領域であるか否かを、処理対象領域と先に取得された最新の火力過多状態画像領域との差分に基づいて判定する。
すなわち、最新の火力過多状態画像領域の第1特定領域と処理対象領域の第2特定領域との画素毎の差分絶対値が算出され、算出された差分絶対値の総和が第3所定値以上の場合は処理対象領域が温度低下状態画像領域であると判定される。差分絶対値の総和が第3所定値未満の場合は処理対象領域が温度低下状態画像領域ないと判定される。第1特定領域とは、例えば、最新の火力過多状態画像領域のうちの調理画像領域を指し、第2特定領域とは、例えば、処理対象領域のうちの第1特定領域の位置に相当する位置の画像領域(ここでは一例として調理画像領域)を指す。
ステップ182において、処理対象領域が温度低下状態画像領域の場合は判定が肯定されて、ステップ184へ移行する。ステップ182において、処理対象領域が温度低下状態画像領域でない場合は判定が否定されて、図9に示すステップ188へ移行する。
ステップ184で、CPU60は、制御対象バーナの火力の増加を指示する火力増加指示情報として、ステップ164で生成した火力減少指示情報に含まれるバーナ特定情報と同一のバーナ特定情報を含む火力増加指示情報を生成する。そして、生成した火力増加指示情報を、WiFi通信部80を介してコンロ12に送信し、その後、ステップ186へ移行する。
ステップ186で、CPU60は、温度低下待ちフラグをオフし、その後、ステップ170へ移行する。
図9に示すステップ188で、CPU60は、処理対象領域内の調理画像領域が発火誘引画像領域であるか否かを判定する。発火誘引画像領域とは、加熱を受けることで発火する可能性が高い調理領域を示す画像領域を指す。
調理画像領域が発火誘引画像領域であるか否かは、発火誘引画像DB92に格納されている発火誘引画像情報の各々により示される複数の発火誘引画像と処理対象領域内の調理画像領域との比較に基づいて判定される。すなわち、複数の発火誘引画像の中に、処理対象領域内の調理画像領域との一致度が第2閾値(例えば、70%)以上の発火誘引画像が存在する場合は処理対象領域内の調理画像領域が発火誘引画像領域であると判定される。複数の発火誘引画像の中に、処理対象領域内の調理画像領域との一致度が第2閾値以上の発火誘引画像が存在しない場合は処理対象領域内の調理画像領域が発火誘引画像領域でないと判定される。
ステップ188において、処理対象領域内の調理画像領域が発火誘引画像領域の場合は判定が肯定されて、ステップ170へ移行する。ステップ188において、処理対象領域内の調理画像領域が発火誘引画像領域でない場合は判定が否定されて、ステップ192へ移行する。
ステップ192で、CPU60は、制御対象バーナの火力を減少させないことを指示する非減少指示情報としてバーナ特定情報を含む非減少指示情報を生成する。そして、生成した非減少指示情報を、WiFi通信部80を介してコンロ12に送信し、その後、図8に示すステップ170へ移行する。
次に、撮影・制御装置14の主電源が投入された場合にCPU60が第2制御プログラム85を実行することで撮影・制御装置14によって行われる第2制御処理について、図13を参照して説明する。
図13に示す第2制御処理では、先ず、ステップ200で、CPU60は、画像格納部78から1フレーム分の画像情報を取得し、その後、ステップ202へ移行する。
ステップ202で、CPU60は、ステップ200で取得した画像情報により示される1フレーム分の撮影画像が着火誘引画像か否かを判定する。着火誘引画像とは、一例として図14に示すように、着火誘引領域132に、着衣134から出された手136(本発明に係る人体の一例)が存在している状態のコンロ上領域52を示す画像を指す。着火誘引領域132とは、着衣134及び手136の少なくとも一方に対する着火が誘引される領域として予め定められた領域を指す。図14に示す例では、着火誘引領域132は、コンロ上領域52を平面視した場合の上半分の領域(図5に示す平面視矩形領域100,102,104のうちの平面視矩形領域100のみを含む横長矩形枠内の領域)である。
CPU60は、撮影画像における着火誘引領域132の位置に対応する位置の画像領域(以下、「着目画像領域」と称する)内に手136を示す手画像領域が存在するか否かを判定することで撮影画像が着火誘引画像か否かを判定する。手画像領域であるか否かは、着目画像領域内に、手見本画像との一致度が第3閾値以上の画像領域が存在するか否かを判定することで撮影画像が着火誘引画像か否かを判定する。手見本画像は、手を示す見本画像であり、内容の異なる複数の手見本画像が二次記憶部64においてデータベース化されている。従って、例えば、着目画像領域に手見本画像の何れかとの一致度が70%以上の画像領域が存在している場合に撮影画像は着火誘引画像であると判定される。
なお、ここでは、CPU60が着目画像領域内に手画像領域が存在するか否かを判定することで撮影画像が着火誘引画像か否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU60は、着目画像領域内に袖・手画像領域が存在するか否かを判定することで撮影画像が着火誘引画像か否かを判定してもよい。袖・手画像領域とは、着衣の袖の先端部を示す袖画像領域と手画像領域との一連の画像領域を指す。袖・手画像領域であるか否かは、着目画像領域内に、手見本画像との一致度が第3閾値以上の画像領域に隣接して、袖見本画像との一致度が第4閾値以上の画像領域が存在するか否かを判定することで撮影画像が着火誘引画像か否かを判定する。袖見本画像は、着衣の袖の先端部を示す見本画像であり、内容の異なる複数の袖見本画像が二次記憶部64においてデータベース化されている。この場合、例えば、手見本画像の何れかとの一致度が70%以上の画像領域が存在し、この画像領域に隣接する画像領域が、袖見本画像の何れかとの一致度が60%以上の画像領域である場合に、撮影画像は着火誘引画像であると判定される。
ステップ202において、ステップ200で取得した画像情報により示される撮影画像が着火誘引画像の場合は判定が肯定されて、ステップ204へ移行する。ステップ202において、ステップ200で取得した画像情報により示される撮影画像が着火誘引画像でない場合は判定が否定されて、ステップ206へ移行する。
ステップ204で、CPU60は、ステップ164と同様の処理を実行し、その後、図8に示すステップ206へ移行する。
ステップ206で、CPU60は、本第2制御処理を終了する条件(第2制御終了条件)を満たした否かを判定する。第2制御終了条件の一例としては、撮影・制御装置14に対して第2制御処理の終了を指示する指示信号が入力された、との条件、又は、本第2制御処理が開始されてから所定時間(例えば、1時間)経過した、との条件が挙げられる。
ステップ206において、第2制御終了条件を満たしていない場合は判定が否定されて、ステップ208へ移行する。ステップ206において、第2制御終了条件を満たした場合は判定が肯定されて、本第2制御処理を終了する。
ステップ208で、CPU60は、画像格納部78に新たに画像情報が格納されたか否かを判定する。ステップ208において、画像格納部78に新たに画像情報が格納された場合は判定が肯定されて、ステップ200へ移行する。ステップ208において、画像格納部78に新たに画像情報が格納されていない場合は判定が否定されて、ステップ206へ移行する。
次に、コンロ12のバーナ24が着火された場合にCPU100が第3制御プログラム126を実行することでコンロ12によって行われる第3制御処理について、図15を参照して説明する。
図15に示す第3制御処理では、先ず、ステップ250で、CPU100は、撮影・制御装置14により送信された火力減少指示情報をWiFi通信部108が受信したか否かを判定する。ステップ250において、撮影・制御装置14により送信された火力減少指示情報をWiFi通信部108が受信した場合は判定が肯定されて、ステップ252へ移行する。ステップ250において、撮影・制御装置14により送信された火力減少指示情報をWiFi通信部108が受信していない場合は判定が否定されて、ステップ260へ移行する。
ステップ252で、CPU100は、ステップ250で受信した火力減少指示情報に含まれるバーナ特定情報により特定された制御対象バーナの火力が減少するように電磁弁駆動部116を制御し、その後、ステップ254へ移行する。すなわち、本ステップ252において、CPU100は、制御対象バーナに対応する電磁弁38を駆動させてガス管36を閉めることで制御対象バーナの火を消す。ここでは、火力の減少の一例として消火を例示しているが、本発明はこれに限定されるものではなく、消火せずに火力を小さくしてもよい。なお、本ステップ252でバーナ特定情報により特定された制御対象バーナは、本発明に係る「特定加熱力状態画像領域の位置に対応する位置の生成源」の一例である。
ステップ254で、CPU100は、後述の非減少指示フラグがオンされているか否かを判定する。非減少指示フラグは、第4制御処理において制御対象バーナの火力を減少させないことを指示するフラグであり、後述のステップ266でオンされる。ステップ254において、非減少指示フラグがオンされている場合は判定が肯定されて、ステップ256へ移行する。ステップ254において、非減少指示フラグがオンされていない場合(オフされている場合)は判定が否定されて、ステップ258へ移行する。
ステップ256で、CPU100は、非減少指示フラグをオフし、その後、ステップ258へ移行する。
ステップ258で、CPU100は、本第3制御処理を終了する条件(第3制御終了条件)を満たした否かを判定する。第3制御終了条件の一例としては、制御対象バーナに対応するバーナ用操作部が消火の指示を受け付けた、との条件、又は、タッチパネル48Bが第3制御処理の終了指示を受け付けた、との条件が挙げられる。
ステップ258において、第3制御終了条件を満たしていない場合は判定が否定されて、ステップ250へ移行する。ステップ258において、第3制御終了条件を満たした場合は判定が肯定されて、本第3制御処理を終了する。
ステップ260で、CPU100は、撮影・制御装置14により送信された火力増加指示情報をWiFi通信部108が受信したか否かを判定する。ステップ260において、撮影・制御装置14により送信された火力増加指示情報をWiFi通信部108が受信した場合は判定が肯定されて、ステップ262へ移行する。ステップ260において、撮影・制御装置14により送信された火力増加指示情報をWiFi通信部108が受信していない場合は判定が否定されて、ステップ264へ移行する。
ステップ262で、CPU100は、ステップ252で火力を減少させた制御対象バーナ(本発明に係る「特定加熱力状態画像領域の位置に対応する位置の生成源」の一例である。)の火力が増加するように電磁弁駆動部116を制御し、その後、ステップ254へ移行する。なお、ステップ252で火力を減少させた制御対象バーナは、ステップ260で受信した火力増加指示情報に含まれるバーナ特定情報により特定される。また、ここで、火力の増加とは、火力過多状態にすることを意味しているわけではなく、減少後の火力よりも大きな火力として予め設定された火力(例えば、中火)にすることを意味する。予め設定された火力は、デフォルトで設定された火力であってもよいし、タッチパネル48Bで受け付けられたユーザの指示に従ってカスタマイズされた火力であってもよい。
ステップ264で、CPU100は、撮影・制御装置14により送信された非減少指示情報をWiFi通信部108が受信したか否かを判定する。ステップ264において、撮影・制御装置14により送信された非減少指示情報をWiFi通信部108が受信した場合は判定が肯定されて、ステップ266へ移行する。ステップ264において、撮影・制御装置14により送信された非減少指示情報をWiFi通信部108が受信していない場合は判定が否定されて、ステップ250へ移行する。
ステップ266で、CPU100は、非減少指示フラグをオンし、その後、ステップ258へ移行する。本ステップ266でオンされる非減少指示フラグとは、ステップ264で受信した非減少指示情報に含まれるバーナ特定情報により特定される制御対象バーナの火力を減少させないことを指示する非減少指示フラグを指す。
次に、第1バーナ24Aが着火された場合にCPU100が第4制御プログラム128を実行することでコンロ12によって行われる第4制御処理について、図16を参照して説明する。
図16に示す第4制御処理では、先ず、ステップ300で、CPU100は、第1バーナ24Aに対応する温度センサ32により測定された温度が第5閾値(例えば、250度)を超えているか否かを判定する。第5閾値とは、温度センサ32により測定された温度に依拠して第1バーナ24Aの火力を減少させる温度(発火が予測される温度(発火予測温度))として予め定められた(事前に固定化された)温度を指す。
ステップ300において、第1バーナ24Aに対応する温度センサ32により測定された温度が第5閾値を超えている場合は判定が肯定されて、ステップ302へ移行する。ステップ300において、第1バーナ24Aに対応する温度センサ32により測定された温度が第5閾値以下の場合は判定が否定されて、ステップ306へ移行する。
ステップ302で、CPU100は、非減少指示フラグがオフされているか否かを判定する。ステップ302において、非減少指示フラグがオフされている場合は判定が肯定されて、ステップ304へ移行する。ステップ302において、非減少指示フラグがオフされていない場合(オンされている場合)は判定が否定されて、ステップ306へ移行する。
ステップ304で、CPU100は、第1バーナ24Aの火力が減少するように電磁弁駆動部116を制御し、その後、ステップ306へ移行する。
ステップ306で、CPU100は、本第4制御処理を終了する条件(第4制御終了条件)を満たした否かを判定する。第4制御終了条件の一例としては、第1バーナ用操作部42が消火の指示を受け付けた、との条件、又は、タッチパネル48Bが第4制御処理の終了指示を受け付けた、との条件が挙げられる。
ステップ306において、第4制御終了条件を満たしていない場合は判定が否定されて、ステップ300へ移行する。ステップ306において、第4制御終了条件を満たした場合は判定が肯定されて、本第4制御処理を終了する。
なお、上記では、第1バーナ24Aが着火された場合の第4制御処理を例示したが、第2バーナ24B及び第3バーナ24Cの各々についても第4制御処理が個別に実行される。すなわち、第2バーナ24Bが着火された場合、ステップ300で、CPU100は、第2バーナ24Bに対応する温度センサ32により測定された温度と第5閾値とを比較する。そして、ステップ304で、CPU100は、第2バーナ24Bの火力が減少するように電磁弁駆動部116を制御する。また、第3バーナ24Cが着火された場合、ステップ300で、CPU100は、第3バーナ24Cに対応する温度センサ32により測定された温度と第5閾値とを比較する。そして、ステップ304で、CPU100は、第3バーナ24Cの火力が減少するように電磁弁駆動部116を制御する。
以上説明したように、加熱調理システム10では、撮影・制御装置14によりコンロ上領域52が撮影される。そして、撮影されて得られた撮影画像内に火力過多状態画像領域が存在する場合に(ステップ158:Y)、火力過多状態画像領域の位置に対応する位置のバーナ24による火力が減少するようにコンロ12が制御される(ステップ164,252)。従って、加熱調理システム10は、コンロ上領域52を撮影して得た撮影画像を用いずに火力を減少させる場合に比べ、不要な火力を減少させることができる。この結果、常に必要十分な火力で調理を行うことが可能となり、省エネルギー化に寄与する。また、袖火の発生の抑制にも繋がる。
また、加熱調理システム10において、火力過多状態画像領域は、撮影画像内の予め定められた大きさ以上の火炎を含む画像領域である。従って、加熱調理システム10は、撮影画像内の予め定められた大きさ以上の火炎を含む画像領域を火力過多状態画像領域としない場合に比べ、コンロ上領域52に対する火力が過多状態であることを撮影画像から容易に特定することができる。
また、加熱調理システム10では、火力過多状態画像領域として、はみ出し火炎画像領域(図10参照)が採用されている。従って、加熱調理システム10は、はみ出し火炎画像領域を火力過多状態画像としない場合に比べ、調理器具が受ける火力が過多状態であることを撮影画像から高精度に特定することができる。
また、加熱調理システム10において、火力過多状態画像領域は、撮影画像内の画像領域のうちの火力を受けている調理器具の調理領域として火力の過多状態の調理領域を示す画像領域である。従って、加熱調理システム10は、撮影画像内の画像領域のうちの火力を受けている調理器具の調理領域として火力の過多状態の調理領域を含む領域を示す画像領域を火力過多状態画像領域としない場合に比べ、コンロ上領域52に対する火力が過多状態であることを撮影画像から容易に特定することができる。
また、加熱調理システム10において、火力過多状態画像領域は、過加熱画像領域(図11参照)及び調理物引火画像領域(図12参照)である。従って、加熱調理システム10は、過加熱画像領域及び調理物引火画像領域を火力過多状態画像領域としない場合に比べ、調理領域が受ける火力が過多状態であることを撮影画像から高精度に特定することができる。
また、加熱調理システム10では、複数回撮影されて得られた撮影画像の各々に火力過多状態画像領域が重複して存在している場合に(ステップ162:Y)、重複する火力過多状態画像領域の位置に対応する位置のバーナ24による火力が減少するようにコンロ12が制御される(ステップ164,252)。従って、加熱調理システム10は、複数回撮影されて得られた撮影画像の各々に重複する火力過多状態画像領域の位置に対応する位置のバーナ24による火力を減少させる構成を有しない場合に比べ、火力が過多状態でないにも拘わらずバーナ24による火力が減少してしまうという事態の発生を抑制することができる。
また、加熱調理システム10では、ステップ158で火力過多状態画像領域が得られてからステップ182で温度低下状態画像領域が得られた場合に、温度低下状態画像領域の位置に対応する位置のバーナ24による火力を増加させるようにコンロ12が制御される(ステップ184,262)。従って、加熱調理システム10は、火力過多状態画像領域が得られてから温度低下状態画像領域が得られた場合に温度低下状態画像領域の位置に対応する位置のバーナ24による火力を増加させる制御を行わない場合に比べ、温度低下状態に至った場合に火力を増加させる手間を軽減することができる。
また、加熱調理システム10では、処理対象領域が発火誘引画像領域であると判定されなかった場合に(ステップ188:N)、温度センサ32により測定された温度に拘わらず、火力が減少しないようにコンロ12が制御される(ステップ266,ステップ302:N)。従って、加熱調理システム10は、調理領域内が発火を誘引する状態でないにも拘わらず、温度センサ32により測定された温度に応じて火力を減少させる場合に比べ、火力が不要に減少してしまうという事態の発生を抑制することができる。
この結果、例えば、発火源となる調理油を使わない調理(焼き網など)の際に火力を弱めることなく調理を続行することが可能となる。また、調理器具の種類によっては実際の調理器具の温度が温度センサ32により測定された温度よりも低いことがあるが、そのような場合であっても火力を弱めることがなく調理を続行することが可能となる。
また、加熱調理システム10では、処理対象領域が発火誘引画像領域であると判定された場合に(ステップ188:Y)、温度センサ32により測定された温度に応じて、火力が減少するようにコンロ12が制御される(ステップ304)。従って、加熱調理システム10は、温度センサ32により測定された温度のみに依存して火力を減少させる場合に比べ、調理領域内が発火を誘引する状態の場合に火力を減少させることができる。
また、加熱調理システム10では、撮影画像が着火誘引画像であると判定された場合に(ステップ202:Y)、火力が減少するようにコンロ12が制御される(ステップ252)。従って、加熱調理システム10は、撮影画像が着火誘引画像であるか否かを判定する構成を有しない場合に比べ、コンロ上領域52上での着火の発生(例えば、袖火の発生)を抑制することができる。
また、加熱調理システム10では、コンロ上領域52のうちの特定の加熱力状態の領域を示す特定加熱力状態画像領域(例えば、火力過多状態画像領域、温度低下状態画像領域、又は発火誘引画像領域)が撮影画像内に存在する場合に、特定加熱力状態画像領域の位置に対応する位置のバーナ24による火力が調節される(ステップ252,262,304)。従って、加熱調理システム10は、コンロ上領域52のうちの特定の加熱力状態の領域を撮影画像を用いずに検出する場合に比べ、コンロ上領域52のうちの特定の加熱力状態の領域(図10に示す例では、平面視矩形領域102)の火力を調節することができる。
なお、上記実施形態では、画像処理系プログラム及びコンロ側プログラムを例示したがこれはあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第1実施形態で説明した第1制御処理、第2制御処理、第3制御処理、及び第4制御処理の各々に含まれる各処理は、ASIC(Application Specific Integrated Circuit)やプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
また、上記実施形態では、第1制御処理のステップ152で抽出された3つの比較対象画像領域の各々に対して順次に処理が行われる場合を例示したが、これに限らず、3つの比較対象画像領域に対して並列処理が行われるようにしてもよい。
また、上記実施形態では、コンロ12と撮影・制御装置14との間でWiFi通信が行われる場合を例示したが、本発明はこれに限定されるものではなく、他の無線通信方式でコンロ12と撮影・制御装置14との間で無線通信が行われるようにしてもよい。また、コンロ12と撮影・制御装置14との間で有線通信が行われるようにしてもよい。
また、上記実施形態では、画像処理系プログラムが撮影・制御装置14のCPU60によって実行される場合を例示したが、本発明はこれに限定されるものではなく、画像処理系プログラムに相当するプログラムがコンロ12のCPU100によって実行されるようにしてもよい。
また、上記実施形態では、説明の便宜上、二次記憶部64に記憶されている基準画像情報及び発火誘引画像DB92が固定化されている場合を例示したが、本発明はこれに限定されるものではない。すなわち、二次記憶部64に記憶されている基準画像情報及び発火誘引画像DB92は更新されてもよい。この場合、CPU60は、外部装置(例えば、コンロ12)からWiFi通信部80を介して取得した情報を二次記憶部64に記憶することにより二次記憶部64の記憶内容を更新すればよい。更新は、上書き登録による更新であってもよいし、追加登録による更新であってもよい。
また、上記実施形態では、撮影・制御装置14によりコンロ上領域52が動画像として撮影される場合を例示したが、本発明はこれに限定されるものではなく、撮影・制御装置14によりコンロ上領域52が静止画像として撮影されるようにしてもよい。
また、上記実施形態では、CPU60が処理対象領域にバーナ画像領域が存在しているか否かを判定することで処理対象領域に調理器具画像領域が存在しているか否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、各種調理器具の見本画像を事前にデータベース化しておき、CPU60が、処理対象領域と見本画像とを比較することにより処理対象領域に調理器具画像領域が存在しているか否かを判定するようにしてもよい。
また、上記実施形態では、撮影・制御装置14を例に挙げて説明したが、本発明はこれに限定されるものではなく、撮影・制御装置14に代えて、カメラ付きのスマートデバイスを適用し、スマートデバイスのカメラによりコンロ上領域52が撮影されるようにしてもよい。この場合、スマートデバイスは、画像処理系プログラム、基準画像情報、及び発火誘引画像DB92等の第1制御処理及び第2制御処理を実行する上で必要な各種情報を外部装置から通信手段を介して取得すればよい。なお、外部装置の一例としては、コンロ12又はインターネット上のサーバ装置等が挙げられる。
また、上記実施形態では、天板22の真上から撮影・制御装置14によりコンロ上領域52が撮影される場合を例示したが、本発明はこれに限定されるものではない。例えば、図17に示すように、天板22の斜め上方から撮影・制御装置14によりコンロ上領域52が撮影されるようにしてもよい。また、撮影・制御装置14をレンジフード(図示省略)の所定位置(例えば、天板22の真上の位置)にヒンジ機構(図示省略)を介して取り付け、ヒンジ機構により撮影角度が変更されるようにしてもよい。また、一例として図18に示すように、レンジフード(図示省略)に固定されたスライド機構300に撮影・制御装置14を取り付け、スライド機構300により撮影・制御装置14が水平方向にスライドされるようにしてもよい。
また、上記実施形態では、撮影・制御装置14のみによってコンロ上領域52が撮影される場合を例示したが、本発明はこれに限定されるものではない。例えば、図19に示すように、撮影・制御装置14と同様の機能を有する撮影・制御装置302,304の各々により、撮影・制御装置14とは異なる2方向の各々からコンロ上領域52が撮影されるようにしてもよい。この場合、コンロ12のCPU100は、撮影・制御装置14,302,304の各々により送信された火力減少指示情報、火力増加指示情報、及び非減少指示情報に基づいてバーナ24の火力を制御する。
例えば、CPU100は、撮影・制御装置14,302,304のうちの何れかにより送信された火力減少指示情報を受信した場合に、火力減少指示情報に含まれるバーナ識別情報により特定される制御対象バーナの火力が減少するように電磁弁駆動部116を制御する。また、CPU100は、撮影・制御装置14,302,304のうちの何れかにより送信された火力増加指示情報を受信した場合に、火力増加指示情報に含まれるバーナ識別情報により特定される制御対象バーナの火力が増加するように電磁弁駆動部116を制御する。更に、CPU100は、撮影・制御装置14,302,304のうちの何れかにより送信された非減少指示情報を受信した場合に、非減少指示情報に含まれるバーナ識別情報により特定される制御対象バーナについての非減少指示フラグをオンする。
また、上記実施形態では、火力が過多状態であるか否かの判定の信頼性を高めるために、図8に示す第1制御処理において、CPU60が、ステップ160で火力過多状態画像領域を連続して得た回数をカウントし、ステップ162でカウント値が第1閾値を超えたか否かを判定するようにしたが、本発明はこれに限定されるものではない。例えば、信頼性よりも即時性を重視するのであれば、第1閾値を小さくすればよい。また、更なる即時性を求めるのであれば、ステップ158で火力過多状態画像領域が得られたことを条件にステップ160,162の処理が実行されることなくステップ164の処理が実行されるようにしてもよい。
また、上記実施形態では、処理対象領域と先に得られた火力過多状態画像領域との差分に基づいて処理対象領域が温度低下状態画像領域であるか否かが判定される場合を例示したが、本発明はこれに限定されるものではない。例えば、温度低下状態を示す見本画像を予めデータベース化しておき、CPU60は、処理対象領域と見本画像とを比較し、処理対象画像との一致度が80%以上の見本画像が存在する場合に処理対象領域が温度低下状態画像領域であると判定するようにしてもよい。また、処理対象領域が火力過多状態画像領域であるか否かを判定する場合も同様の手法で判定するようにしてもよい。
このように、処理対象領域と見本画像との比較を行う場合、データベース化されている見本画像の数が多い程、処理対象領域が温度低下状態画像領域(又は火力過多状態画像領域)であるか否かの判定の高精度化を図ることが可能となる。なお、見本画像は、調理環境毎に分類されていることが好ましい。ここで、調理環境は、例えば、使用する調理器具、及び調理内容(例えば、料理名)により特定される。この場合、例えば、調理前にタッチパネル48Bで、使用する調理器具を特定する情報、及び調理内容を特定する情報を受け付け、受け付けた各情報に対応する見本画像のみを撮影画像との比較に供すればよい。このように比較対象となる見本画像の数を絞り込むことにより、全ての見本画像と処理対象領域とを比較する場合に比べ、CPU60に対する処理負荷が軽減される。
また、上記実施形態では、図8に示す第1制御処理のステップ182において、CPU60が、1枚の撮影画像内の処理対象領域が温度低下状態画像領域であるか否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU60は、連続して得られた複数枚(例えば、10枚)の撮影画像の各々の処理対象領域が温度低下状態画像領域であるか否かを判定するようにしてもよい。この場合、CPU60は、連続して得られた複数枚の撮影画像の各々の処理対象領域が温度低下状態画像領域の場合に、火力増加指示情報をコンロ12に送信すればよい。これにより、温度低下状態でないにも拘わらず火力が増加してしまうという事態の発生が抑制される。
また、上記実施形態では、図9に示す第1制御処理のステップ188において、CPU60が、1枚の撮影画像内の処理対象領域が発火誘引画像領域であるか否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU60は、連続して得られた複数枚(例えば、10枚)の撮影画像の各々の処理対象領域が発火誘引画像領域であるか否かを判定するようにしてもよい。この場合、CPU60は、連続して得られた複数枚の撮影画像の各々の処理対象領域が発火誘引画像領域であると判定した場合に、火力減少指示情報をコンロ12に送信し、それ以外の場合に、非減少指示情報をコンロ12に送信すればよい。これにより、発火が誘引される場面でないにも拘わらず火力が減少してしまうという事態の発生が抑制される。
また、上記実施形態では、図13に示す第2制御処理のステップ202において、CPU60が、1枚の撮影画像が着火誘引画像であるか否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU60は、連続して得られた複数枚(例えば、10枚)の撮影画像の各々が着火誘引画像であるか否かを判定するようにしてもよい。この場合、CPU60は、連続して得られた複数枚の撮影画像の各々が着火誘引画像であると判定した場合に、火力減少指示情報をコンロ12に送信すればよい。これにより、着火が誘引される場合でないにも拘わらず火力が減少してしまうという事態の発生が抑制される。
また、上記実施形態では、調理領域の態様や火炎の大きさに基づいて火力状態を推定し、推定した火力状態に応じた制御を行う場合を例示したが、本発明はこれに限定されるものではない。例えば、温度に応じて変色するように設計された調理器具で調理している場合に、撮影画像から調理器具の色を検出し、検出した色に基づいて火力状態を推定するようにしてもよい。また、調理領域内の焦げ領域の面積(例えば、焦げ色を示す焦げ色領域の画素数)を検出し、検出した焦げ領域の面積に基づいて火力状態を推定するようにしてもよい。
なお、温度に応じて変色するように設計された調理器具の一例としては、お湯が沸騰した場合にLEDランプの発光色が変わる機能を有する調理器具、又は温度に応じて変色する塗料が塗布された調理器具等が挙げられる。
また、上記実施形態では、カラーの撮影画像に基づいて火力の大きさを推定する場合を例示したが、本発明はこれに限定されるものではない。例えば、サーモグラフィにより撮影されて得られる熱画像に基づいて火力の大きさを推定するようにしてもよい。
また、上記実施形態では、CPU100が、撮影画像から比較対象画像領域を抽出し、抽出した比較対象画像領域が火力過多状態画像領域であるか否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU100は、撮影画像から比較対象画像領域を抽出せずに、撮影画像が火力の過多状態を示す火力過多状態画像であるか否かを判定するようにしてもよい。
この場合、例えば、火力の過多状態を示す見本画像を予めデータベース化しておき、撮影画像と見本画像とを比較し、撮影画像との一致度が80%以上の見本画像が存在する場合に撮影画像が火力過多状態画像であると判定すればよい。
このように、撮影画像と見本画像との比較を行う場合、データベース化されている見本画像の数が多い程、撮影画像が火力過多状態画像であるか否かの判定の高精度化を図ることが可能となる。なお、見本画像は、調理環境毎に分類されていることが好ましい。ここで、調理環境は、例えば、使用するバーナ24、使用する調理器具、及び調理内容(例えば、料理名)により特定される。この場合、例えば、調理前にタッチパネル48Bで、使用するバーナ24を特定する情報、使用する調理器具を特定する情報、及び調理内容を特定する情報を受け付け、受け付けた各情報に対応する見本画像のみを撮影画像との比較に供すればよい。このように比較対象となる見本画像の数を絞り込むことにより、全ての見本画像と撮影画像とを比較する場合に比べ、CPU60に対する処理負荷が軽減される。
なお、バーナ24を特定する情報、使用する調理器具を特定する情報、及び調理内容を特定する情報等は、必ずしもタッチパネル48Bを介してコンロ12に入力される必要はない。例えば、コンロ12と無線通信を行うことでコンロ12を制御するスマートデバイスやリモートコントローラ等により、バーナ24を特定する情報、使用する調理器具を特定する情報、及び調理内容を特定する情報がコンロ12に送信されるようにしてもよい。
また、上記実施形態では、CPU100が、撮影画像から比較対象画像領域を抽出し、抽出した比較対象画像領域が温度低下状態画像領域であるか否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU100は、撮影画像から比較対象画像領域を抽出せずに、撮影画像がコンロ上領域52の温度低下状態を示す温度低下状態画像であるか否かを判定するようにしてもよい。この場合も、撮影画像が火力過多状態画像であるか否かを判定する場合と同様の手法を用いることにより、撮影画像が温度低下状態画像であるか否かを高精度に判定することが可能となる。
また、上記実施形態では、CPU100が、撮影画像から比較対象画像領域を抽出し、抽出した比較対象画像領域が発火誘引画像領域であるか否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU100は、撮影画像から比較対象画像領域を抽出せずに、撮影画像が調理器具の調理領域内の発火を誘引する状態を示す発火誘引画像であるか否かを判定するようにしてもよい。この場合も、撮影画像が火力過多状態画像であるか否かを判定する場合と同様の手法を用いることにより、撮影画像が発火誘引画像であるか否かを高精度に判定することが可能となる。
また、上記実施形態では、コンロ12に3台のバーナ24が搭載されている場合を例示したが、本発明はこれに限定されるものではなく、バーナが1台のみのコンロに対しても本発明は適用可能である。この場合、例えば、CPU100が、バーナが1台のみのコンロ上を撮影して得た撮影画像に基づいてバーナの火力状態、及び調理領域に対する加熱状態等を判定するようにしてもよい。この場合、図8に示す第1制御処理において比較対象画像領域毎に行っていた処理を撮影画像毎に行えばよい。このようにコンロに搭載されているバーナが1台のみの場合、複数の比較対象画像領域を抽出する必要がないので、上記実施形態で説明した例に比べ、CPU100による演算処理の負荷が軽減される。
また、上記実施形態では、CPU60が、バーナ24の火力状態を判定し、判定した火力状態に応じた制御を行う場合を例示したが、本発明はこれに限定されるものではない。例えば、CPU60は、いわゆるIH調理器の電磁コイル(本発明に係る生成源の一例)による加熱状態を判定し、判定した加熱状態に応じた制御を行うようにしてもよい。
この場合、図8に示す第1制御処理において、ステップ158では、処理対象領域が加熱力過多状態画像領域か否かが判定される。加熱力過多状態画像領域は、上述した過加熱画像領域及び調理物引火画像領域に大別される。また、ステップ164,190では、制御対象とされる電磁コイルを特定するコイル特定情報を含む加熱力減少指示情報がIH調理器に送信される。また、ステップ184では、コイル特定情報を含む加熱力増加指示情報がIH調理器に送信される。更に、ステップ192では、コイル特定情報を含む非減少指示情報がIH調理器に送信される。
IH調理器は、加熱力減少指示情報を受信すると、加熱力減少指示情報に含まれるコイル特定情報により特定される電磁コイルの電磁力を減少させることで加熱力(W:ワット)が減少する。また、IH調理器は、加熱力増加指示情報を受信すると、加熱力増加指示情報に含まれるコイル特定情報により特定される電磁コイルの電磁力を増加させることで加熱力を増加させる。更に、IH調理器は、非減少指示情報を受信すると、非減少情報に含まれるコイル特定情報により特定される電磁コイルの電磁力を減少させないことを指示する非減少指示フラグをオンする。非減少指示フラグがオフされると、図16に示すステップ304で、電磁コイルの電磁力が減少し、非減少指示フラグがオンされると(図16に示すステップ302において判定が否定されると)、電磁コイルの電磁力が減少しない。
また、上記実施形態では、はみ出し火炎画像領域が得られた場合に火力を減少させる例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、所定の大きさ未満の調理器具が五徳28に置かれた状態を示す小調理器具画像領域が得られた場合に、小調理器具画像領域の位置に対応するバーナ24により調理器具の周囲に火炎が溢れないようにコンロ12が制御されるようにしてもよい。これにより、所定の大きさ未満の調理器具が五徳に置かれた場合の火炎の溢れが抑制される。
なお、この制御は、バーナ24が点火されてから火力過多状態画像領域が得られるまでの間に行われることが好ましい。また、小調理器具画像領域とは、所定の大きさ未満の調理器具が五徳28に置かれた状態の平面視矩形領域を示す画像領域を指す。
所定の大きさとは、調理器具の本体部及び本体部に連結された把持部を含めた調理器具全体の大きさ、又は調理器具の本体部の大きさを指す。また、所定の大きさの一例としては、絶対的な大きさ又は相対的な大きさが挙げられる。絶対的な大きさとは、調理器具の本体部の大きさ自体を指す。絶対的な大きさの一例としては、調理器具の本体部が五徳28の中央部に置かれた状態でバーナ24が中火とされた場合に五徳28上の調理器具の本体部の外周縁から火炎が溢れない調理器具の本体部の下限の大きさとして予め定められた大きさが挙げられる。
相対的な大きさとは、基準となる物体の大きさと調理器具の本体部の大きさとの相対比に応じて定まる大きさを指す。相対的な大きさの一例としては、五徳28の平面視外接円の面積に対する調理器具の本体部の平面視面積の割合が予め定められた割合以下の調理器具の本体部の大きさとして予め定められた大きさが挙げられる。予め定められた割合の一例としては、60%が挙げられるが、これはあくまでも一例であり、本発明はこれに限定されるものではない。
また、上記実施形態では、五徳28に置かれている調理器具の位置に拘わらず、はみ出し火炎画像領域が得られた場合に火力を減少させる例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、調理器具により五徳28が覆われた領域が調理者の存在方向の逆方向に偏重している状態を示す調理器具ずれ画像領域が得られた場合に、調理器具の周囲に火炎が溢れないようにコンロ12が制御されるようにしてもよい。ここで、調理器具の周囲に火炎が溢れないようにコンロ12が制御されるとは、例えば、調理器具ずれ画像領域の位置に対応するバーナ24により調理器具の周囲に火炎が溢れないようにコンロ12が制御されることを意味する。
なお、この制御は、バーナ24が点火されてから火力過多状態画像領域が得られるまでの間に行われることが好ましい。また、調理器具ずれ画像領域とは、調理器具により五徳28が覆われた領域が調理者の存在方向の逆方向に偏重している状態の平面視矩形領域を示す画像領域を指す。調理者の存在方向の逆方向とは、例えば、カウンタ16の前面側の方向の逆方向、すなわち、コンロ12の奥側の方向を指す。偏重している状態とは、例えば、五徳28におけるコンロ12の奥側の領域の大半(例えば、70%以上)が調理器具で覆われているのに対し、五徳28におけるコンロ12の手前側の領域の大半が調理器具で覆われていない状態を指す。よって、このような状態でも調理器具の周囲に火炎が溢れないようにコンロ12が制御されることで、調理者に対する着火が抑制される。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
加熱力を各々生成する複数の生成源を有する加熱調理器の前記生成源の各々により生成された前記加熱力を受ける加熱調理器上領域を撮影する撮影手段と、前記撮影手段により撮影されて得られた撮影画像内に前記加熱力の過多状態を示す加熱力過多状態画像領域が存在する場合に、前記加熱力過多状態画像領域の位置に対応する位置の前記生成源による前記加熱力が減少するように前記加熱調理器を制御する制御手段と、を含む加熱制御装置。
(付記2)
加熱力を各々生成する複数の生成源を有する加熱調理器の前記生成源の各々により生成された前記加熱力を受ける加熱調理器上領域を撮影する撮影手段により撮影されて得られた撮影画像内に前記加熱力の過多状態を示す加熱力過多状態画像領域が存在する場合に、前記加熱力過多状態画像領域の位置に対応する位置の前記生成源による前記加熱力が減少するように前記加熱調理器を制御する制御手段を含む加熱制御装置。
(付記3)
前記加熱力は火力であり、前記加熱力過多状態画像領域は、前記撮影画像内の画像領域のうちの前記加熱調理器上領域内の予め定められた大きさ以上の火炎を含む領域を示す画像領域である付記1又は付記2に記載の加熱制御装置。
(付記4)
前記火炎は、前記火力を受けている調理器具の周囲に前記予め定められた大きさ以上の大きさで溢れた火炎である付記3に記載の加熱制御装置。
(付記5)
前記加熱力過多状態画像領域は、前記撮影画像内の画像領域のうちの前記加熱調理器上領域内の前記加熱力を受けている調理器具の調理領域であって前記加熱力の過多状態の調理領域を含む領域を示す画像領域である付記1から付記4の何れか1つに記載の加熱制御装置。
(付記6)
前記加熱力過多状態画像画領域により示される前記調理領域は、火炎を有する調理領域である付記5に記載の加熱制御装置。
(付記7)
前記加熱力過多状態画像領域は、前記撮影画像内の画像領域のうちの前記加熱調理器上領域内の所定量以上の煙を含む領域を示す画像領域である付記1から付記6の何れか1つに記載の加熱制御装置。
(付記8)
前記制御手段は、前記撮影手段により前記撮影画像として複数回撮影されて得られた撮影画像の各々に前記加熱力過多状態画像領域が重複して存在する場合に、重複する前記加熱力過多状態画像領域の位置に対応する位置の前記生成源による加熱力が減少するように前記加熱調理器を制御する付記1から付記7の何れか1つに記載の加熱制御装置。
(付記9)
前記制御手段は、前記撮影手段により前記撮影画像として前記加熱力過多状態画像領域を含む撮影画像が得られてから、前記撮影手段により前記撮影画像として前記加熱調理器上領域のうちの前記加熱力過多状態画像領域の位置に対応する位置の領域における温度低下状態を示す温度低下状態画像領域を含む撮影画像が得られた場合に、前記温度低下状態画像領域の位置に対応する位置の前記生成源による前記加熱力が増加するように前記加熱調理器を制御する付記1から付記8の何れか1つに記載の加熱制御装置。
(付記10)
前記加熱調理器は、前記加熱力を受ける調理器具の温度を測定する測定手段を有し、前記制御手段は、前記撮影画像内に前記加熱力過多状態画像領域が存在せず、かつ、前記調理器具の調理領域内の発火を誘引する状態を示す発火誘引画像領域が存在しない場合に、前記測定手段により測定された温度に拘わらず、前記加熱力が減少しないように前記加熱調理器を制御する付記1から付記9の何れか1つに記載の加熱制御装置。
(付記11)
前記制御手段は、前記撮影画像内に前記発火誘引画像領域が存在する場合に、前記測定手段により測定された温度に応じて、前記発火誘引画像領域の位置に対応する位置の前記生成源による前記加熱力が減少するように前記加熱調理器を制御する付記10に記載の加熱制御装置。
(付記12)
前記制御手段は、前記撮影画像が、着火が誘引される領域として予め定められた領域に人体及び着衣の少なくとも1つが存在する前記加熱調理器上領域を示す着火誘引画像である場合に、前記加熱力が減少するように前記加熱調理器を制御する付記1から付記11の何れか1つに記載の加熱制御装置。
(付記13)
付記1から付記12の何れか1つに記載の加熱制御装置と、前記加熱制御装置における制御手段により制御される加熱調理器と、を含む加熱調理システム。
(付記14)
コンピュータを、付記1から付記12の何れか1つに記載の加熱制御装置における制御手段として機能させるためのプログラム。