JP6934607B2 - 加熱調理器、加熱調理器の制御方法、および加熱調理システム - Google Patents

Description

本開示は、加熱庫内にカメラを搭載し、経年変化および利用状況のうち少なくともいずれか等により庫内状態が変化しても、庫内の状態を検知可能な、加熱調理器、加熱調理器の制御方法、および加熱調理システムに関する。

加熱調理器の一例として電子レンジがある。電子レンジは、使用者が、加熱を行う時間等を入力した後に、加熱を開始するためのボタンを押下することにより、加熱調理を行う。特に、コンビニエンスストアおよびスーパーマーケット等の販売店では、弁当または総菜等を容器に入れて販売し、購入された食品を、電子レンジを使って加熱調理して提供するサービスが行われる。

しかしながら、このような電子レンジでは、使用者が、都度、加熱時間等を入力するのが面倒であるという問題がある。そのため、店が混雑してくると、加熱庫内の中に対象となる加熱対象物が入っていなくても、使用者が操作開始ボタンを押下してしまうケースが発生する。この場合、庫内が空焚きの状態で加熱制御がなされてしまう。

このため、空焚きを防止するための技術が数多く提案されている。例えば、特許文献１には、加熱調理器にカメラを搭載し、調理前にカメラで庫内を撮影し、撮影された画像と事前に登録してある庫内空画像との類似度を算出して、所定の類似度であれば、庫内が空状態であると判別を行う技術が記載されている。

しかしながら、特許文献１に記載の技術では、煮汁またはソース等による庫内底面の汚れ、庫内扉の開閉操作によるカメラ位置の微妙なずれ、ならびに、外光および照明等の庫内外環境等の利用状況が変化するので、差分画像の類似度だけでは正確に庫内状態を判定することが難しく、庫内が空状態であるという判定を誤る可能性がある。

特開２０１５−１３７８１２号公報

本開示は、加熱庫内が空状態であることを精度良く検知できる、加熱調理器、加熱調理器の制御方法、および加熱調理システムを提供するものである。

本開示の加熱調理器は、加熱庫と、加熱庫内の加熱対象物を加熱する加熱部と、加熱庫内の撮影を行う撮影部と、加熱庫内の基準画像を記憶する画像記憶部とを備えている。また、加熱庫内の庫内状態に基づき、画像記憶部に記憶されている基準画像と撮影部で撮影された画像とを比較し、加熱庫内における加熱対象物の載置状態を判定する画像比較判定部と、載置状態に基づき、加熱部による加熱を制御する制御部と、を備えている。

本開示の加熱調理器の制御方法は、加熱庫と、加熱庫内の加熱対象物を加熱する加熱部と、加熱庫内の撮影を行う撮影部と、加熱部による加熱を制御する制御部と、を備える加熱調理器の制御方法である。そして、加熱庫内の基準画像を記憶するステップと、加熱庫内の庫内状態を解析するステップと、庫内状態に基づき、基準画像と撮影部で撮影された画像とを比較し、加熱庫内における加熱対象物の載置状態を判定するステップと、載置状態に基づき、加熱部による加熱を制御するステップと、を備えている。

本開示の加熱調理システムは、加熱調理器と情報処理装置とを備えた加熱調理システムである。そして、加熱調理器は、加熱庫と、加熱庫内の加熱対象物を加熱する加熱部と、加熱庫内の撮影を行う撮影部と、加熱庫内の庫内状態を解析する庫内状態解析部と、加熱庫内の載置状態に基づき、加熱部による加熱を制御する第１の制御部と、撮影部で撮影された画像と庫内状態解析部で解析された庫内状態とを送信し、載置状態を受信する第１の通信部と、を有している。情報処理装置は、加熱庫内の画像と庫内状態とを受信する第２の通信部と、加熱庫内の基準画像を記憶する画像記憶部と、第２の通信部で受信した庫内状態に基づき、画像記憶部に記憶されている基準画像と第２の通信部で受信した画像とを比較し、加熱庫内の載置状態を判定する画像比較判定部と、画像比較判定部で判定された載置状態を第２の通信部を用いて送信するよう制御する第２の制御部と、を有している。

上述した構成および方法によれば、加熱庫内が空状態であることを精度良く検知することができる。

図１は、本開示の第１の実施の形態における加熱調理器の外観を示す正面図である。 図２は、本開示の第１の実施の形態における加熱調理器の機能ブロック図である。 図３は、本開示の第１の実施の形態における、庫内を撮影した画像の一例（庫内空画像）を示す図である。 図４Ａは、本開示の第１の実施の形態における、庫内を撮影した画像の他の一例を示す図である。 図４Ｂは、本開示の第１の実施の形態における、庫内を撮影した画像の他の一例を示す図である。 図５は、本開示の第１の実施の形態における、庫内状態解析部で解析される、庫内状態に関するテーブルの一例を示す図である。 図６は、本開示の第１の実施の形態における、画像比較判定部の比較判定に利用されるテーブルの一例を示す図である。 図７は、本開示の第１の実施の形態における、庫内状態の判定処理に関するフローチャートである。 図８は、本開示の第２の実施の形態における、加熱調理器の機能ブロック図である。 図９は、本開示の第２の実施の形態における、庫内状態解析部で解析される、庫内状態に関するテーブルの一例を示す図である。 図１０は、本開示の第２の実施の形態における、庫内画像登録処理を示すフローチャートである。 図１１は、本開示の第３の実施の形態における加熱調理器の機能ブロック図である。 図１２は、本開示の第３の実施の形態における、加熱調理器の庫内の底面にマークおよび文字等が記載されている一例を示す図である。 図１３Ａは、本開示の第３の実施の形態における、庫内を撮影した画像の一例を示す図である。 図１３Ｂは、本開示の第３の実施の形態における、庫内を撮影した画像の一例を示す図である。 図１４は、本開示の第４の実施の形態における、加熱調理システムの構成を示す機能ブロック図である。 図１５は、本開示の第３の実施の形態における、加熱調理システムの処理を示すシーケンス図である。

（本開示の取り得る形態の一例）
本開示の第１の態様の加熱調理器は、加熱庫と、加熱庫内の加熱対象物を加熱する加熱部と、加熱庫内の撮影を行う撮影部と、加熱庫内の基準画像を記憶する画像記憶部とを備えている。また、加熱庫内の庫内状態に基づき、画像記憶部に記憶されている基準画像と撮影部で撮影された画像とを比較し、加熱庫内における加熱対象物の載置状態を判定する画像比較判定部と、載置状態に基づき、加熱部による加熱を制御する制御部と、を備えている。

これにより、経年変化および利用状況のうち少なくともいずれか等で庫内状態が変化していても、カメラで撮影した画像から、ユーザの意図する庫内の状態を精度良く把握することができる。

本開示の第２の態様は、第１の態様の加熱調理器であって、画像比較判定部は、画像記憶部に記憶されている基準画像である庫内空画像と、撮影部で撮影された画像との差分比較を行い、所定の閾値範囲以下であれば、載置状態が空の状態であると判別する。

これにより、経年変化および利用状況の少なくともいずれか等で庫内状態が変化していても、カメラで撮影された画像から、庫内が空の状態であることを精度良く把握することができる。

本開示の第３の態様は、第２の態様において、画像比較判定部は、庫内状態の違いにより、異なる所定の閾値範囲を用いて載置状態の判定を行う。

このような構成により、さらに、庫内状態の違いにより、異なる閾値を用いて適切に載置状態を判定することができる。

本開示の第４の態様は、第１の態様から第３の態様までのいずれかの加熱調理器であって、画像比較判定部は、載置状態が空の状態であると判定した場合に、撮影部で撮影された画像が画像記憶部に記憶される。

これにより、空の状態であると判別された撮影画像を、次に比較する際の基準画像として登録することができ、経年変化および利用状況のうち少なくともいずれか等で庫内状態が変化していても、カメラで撮影された画像から、庫内が空の状態であることを精度良く把握することができる。

本開示の第５の態様は、第１の態様から第４の態様のいずれかに開示の加熱調理器であって、庫内状態解析部は、庫内状態に応じて、撮影部において撮影された画像を、基準画像として画像記憶部に記憶する。

これにより、状態判別された画像を、次に比較する際の基準画像として登録することで、経年変化および利用状況のうち、少なくともいずれか等で庫内状態が変化していても、カメラで撮影した画像から、庫内が空の状態であることを精度良く把握することができる。

本開示の第６の態様は、第１の態様から第５の態様までのいずれかに開示の加熱調理器であって、操作設定部をさらに備える。操作設定部で指示を受けた際に、撮影部において撮影された画像が画像記憶部に記憶される。

これにより、ユーザ等が、次に比較する際の基準画像を登録することができ、経年変化および利用状況のうち少なくともいずれか等で庫内状態が変化していても、カメラで撮影した画像から、ユーザの意図する庫内の状態を、精度良く把握することができる。

本開示の第７の態様は、第６の態様に開示の加熱調理器であって、表示部をさらに備える。操作設定部で指示を受けた際に、撮影部において撮影された画像が表示部に表示される。

これにより、比較を行うための基準画像を登録する際に、その画像を確認することができ、よりユーザの意図する画像を用いて庫内の状態を把握することができる。

本開示の第８の態様は、第１の態様から第７の態様までのいずれかの態様の加熱調理器であって、画像記憶部に記憶された基準画像内の、所定の文字およびマークのうち少なくともいずれかを読取り解析する画像読取解析部をさらに備える。画像比較判定部は、庫内状態に基づき、画像読取解析部で読取られた、所定の文字およびマークのうち少なくともいずれかが存在する位置の画像と、撮影部により撮影された画像内における、基準画像内の位置と同じ位置の画像との差分比較を行い、所定の文字およびマークのうち少なくともいずれかを少なくとも所定数認識した場合に、載置状態が空の状態であると判別する。

これにより、経年変化および利用状況のうち、少なくともいずれか等で庫内状態が変化していても、特定の文字およびマークのうち少なくともいずれかを用いて、庫内の空の状態の検知を行うことができ、カメラで撮影した画像から、庫内が空の状態であることを精度良く把握することができる。

本開示の第９の態様は、加熱庫と、加熱庫内の加熱対象物を加熱する加熱部と、加熱庫内の撮影を行う撮影部と、加熱部による加熱を制御する制御部と、を有する加熱調理器の制御方法である。そして、加熱庫内の基準画像を記憶するステップと、加熱庫内の庫内状態を解析するステップと、庫内状態に基づき、基準画像と撮影部で撮影された画像とを比較し、加熱庫内における加熱対象物の載置状態を判定するステップと、載置状態に基づき、加熱部による加熱を制御するステップと、備えている。

これにより、経年変化および利用状況のうち少なくともいずれか等で庫内状態が変化していても、カメラで撮影した画像から、ユーザの意図する庫内の状態を精度良く把握することができる。

本開示の第１０の態様は、第９の態様の加熱調理器の制御方法において、基準画像内の、所定の文字およびマークのうち少なくともいずれかを読取り解析するステップをさらに備えている。そして、加熱庫内の載置状態を判定するステップにおいて、庫内状態に基づき、読取り解析するステップで読取られた所定の文字およびマークのうち少なくともいずれかが存在する位置の画像と、撮影部により撮影された画像内における、基準画像内の位置と同じ位置の画像との差分比較を行い、所定の文字およびマークのうち少なくともいずれかを少なくとも所定数認識した場合に、庫内が空の状態であると判別する。

これにより、経年変化および利用状況のうち、少なくともいずれか等で庫内状態が変化していても、特定の文字およびマークのうち、少なくともいずれかを用いて庫内の空の状態を検知することができ、カメラで撮影された画像から、庫内が空の状態であることを精度良く把握することができる。

本開示の第１１の態様は、加熱調理器と情報処理装置とを備えた加熱調理システムである。加熱調理器は、加熱庫と、加熱庫内の加熱対象物を加熱する加熱部と、加熱庫内の撮影を行う撮影部と、加熱庫内の庫内状態を解析する庫内状態解析部と、加熱庫内の載置状態に基づき、加熱部による加熱を制御する第１の制御部と、撮影部で撮影された画像と庫内状態解析部で解析された庫内状態とを送信し、載置状態を受信する第１の通信部と、を有する。そして、情報処理装置は、加熱庫内の画像と庫内状態とを受信する第２の通信部と、加熱庫内の基準画像を記憶する画像記憶部と、第２の通信部で受信した庫内状態に基づき、画像記憶部に記憶されている画像と第２の通信部で受信した画像とを比較し、加熱庫内の載置状態を判定する画像比較判定部と、画像比較判定部で判定された載置状態を第２の通信部を用いて送信するよう制御する第２の制御部と、を有する。

これにより、経年変化および利用状況のうち少なくともいずれか等で庫内状態が変化していても、カメラで撮影した画像から、ユーザの意図する庫内の状態を精度良く把握することができる。

本開示の第１２の態様は、第１１の態様の加熱調理システムにおいて、情報処理装置は、画像記憶部に記憶された基準画像内の所定の文字およびマークのうち、少なくともいずれかを読取り解析する画像読取解析部をさらに備えている。画像比較判定部は、庫内状態に基づき、画像読取解析部で読取られた、所定の文字およびマークのうち少なくともいずれかが存在する位置の画像と、撮影部により撮影された画像内における、基準画像の位置と同じ位置の画像との差分比較を行い、所定の文字およびマークのうち、少なくともいずれかを少なくとも所定数認識した場合に、載置状態が空の状態であると判別する。

これにより、経年変化および利用状況のうち少なくともいずれか等で庫内状態が変化していても、特定の文字およびマークのうち少なくともいずれかを用いて、庫内の空の状態の検知を行うことができ、カメラで撮影した画像から、庫内が空の状態であることを精度良く把握することができる。

以下、適宜、図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、および、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（第１の実施の形態）
以下、図面を参照して、第１の実施の形態における加熱調理器１００について説明する。

図１は、本開示の第１の実施の形態における加熱調理器１００の外観を示す正面図である。

図１に示されるように、加熱調理器１００は、ドアパネル１０１、加熱情報表示部１０２およびメニュー選択部１０３を有している。

さらに、加熱調理器庫内１０４には、庫内側面に照明１０５、庫内上面にカメラ１０６がそれぞれ具備されている。

制御回路（後述する制御部２０２と兼用してもよい）が、照明１０５の明るさを制御しながらカメラ１０６により撮影を行うことで、加熱調理器庫内１０４にある食品１０７の調理状態、および、食品１０７に関連する加熱制御情報を、画像情報として検知することができる。

照明１０５は、図１の例では、加熱調理器１００の加熱調理器庫内１０４の向かって左側の側面に配置されており、庫内側面から庫内全体の照明を行う。

なお、本実施の形態では、照明１０５を庫内側面に配置しているが、本開示はこれに限定されず、庫内上部端側、庫内上面中央、または、庫内底面等、庫内全体を照明できる場所であれば他の場所に配置してもよい。また、庫内に照明１０５を一つのみ配置するのではなく、同じ位置または異なる位置に、複数個配置してもよい。

カメラ１０６は、加熱調理器１００の庫内上部に据付されており、庫内上部から庫内全体の撮影を行う。なお、図１において、カメラ１０６は、庫内上部の、向かって左側に配置されているが、正確に食品１０７を撮影するために、庫内上部の略中央（中央を含む）に配置してもよい。

図２は、本開示の第１の実施の形態における、加熱調理器１００の機能ブロック図である。

図２に示されるように、加熱調理器１００は、加熱部２０１、制御部２０２、撮影部２０３、庫内状態解析部２０４、画像記憶部２０５、および画像比較判定部２０６を有している。

加熱部２０１は、例えばマグネトロン等からなり、加熱調理器１００の庫内に置かれている食品１０７の加熱を行う。

制御部２０２は、加熱調理器１００の状態に基づいて、加熱部２０１の制御を行う。

撮影部２０３は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、または、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等と、レンズ等の光学部材とを有し、加熱調理器１００の庫内撮影を行う。撮影部２０３は、図１におけるカメラ１０６を含む。

庫内状態解析部２０４は、扉の開閉状態および加熱の有無のうち、少なくともいずれか等を含む、庫内状態を解析する。庫内状態に関する情報は、例えばフラッシュメモリのような不揮発性メモリ上で保持され、庫内状態の変化に応じて、庫内状態解析部２０４は、画像比較判定部２０６へ庫内状態の情報を伝える。

画像比較判定部２０６は、庫内状態解析部２０４で解析された庫内状態に基づき、撮影部２０３にて撮影された画像と画像記憶部２０５に保存された画像（以下、基準画像と記す）とを比較し、その画像差分値によって、どのように処理するかを判定する。判定された結果は、画像比較判定部２０６から制御部２０２へ伝えられる。

加熱調理器１００は、図示しないマイクロコンピュータおよびメモリ等の周辺回路を備える。制御部２０２、庫内状態解析部２０４、画像記憶部２０５および画像比較判定部２０６それぞれの機能は、マイクロコンピュータ、その上で動作するソフトウェア、およびメモリ等により実現される。

なお、このマイクロコンピュータおよび周辺回路は、本開示で示される制御を行うものであれば、どのような形態であってもよい。制御部２０２は、演算処理部と、制御プログラムを記憶する記憶部とで構成されていてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が例示される。記憶部としては、メモリが例示される。記憶部に記録されている制御プログラムが、演算処理部によって実行される。

また、制御部２０２、庫内状態解析部２０４、画像記憶部２０５および画像比較判定部２０６の機能は、ハードロジックで構成されてもよい。ハードロジックで構成すれば、処理速度の向上に有効である。また、制御部２０２、庫内状態解析部２０４、画像記憶部２０５および画像比較判定部２０６は、一つの半導体チップで構成されてもよいし、物理的に複数の半導体チップで構成されてもよい。複数の半導体チップで構成した場合には、後述する各制御を、それぞれ別の半導体チップで実現することもできる。

図３は、本開示の第１の実施の形態における、庫内を撮影した画像の一例を示す図である。

この例では、庫内が「空状態」である画像（庫内空画像）の一例が示されている。なお、工場出荷時においては、庫内画像３０１の例で示されるような「空状態」の基準画像が、画像記憶部２０５のメモリ内に保存されている。

図４Ａおよび図４Ｂは、それぞれ、本開示の第１の実施の形態における、庫内を撮影した画像の他の一例を示す図である。

この例では、図４Ａは、庫内は空状態であるものの、汚れまたは異物等が存在する場合、図４Ｂは、庫内に加熱対象物（弁当等の食品１０７）が存在する場合における、それぞれの庫内を撮影した画像（庫内画像４０１，４０２）の一例を示している。

図５は、本開示の第１の実施の形態における、庫内状態解析部２０４で解析される庫内状態に関するテーブルの一例を示す図である。

庫内状態／操作テーブル５０１には、加熱調理器１００の庫内における、様々な制御および操作のうち少なくともいずれかに関する状態遷移が記載されている。例えば、電源投入の場合は、ＩＤ「ＳＴ００１」として、「電源ＯＦＦ→ＯＮ」が定義されている。電源を落とす場合は、ＩＤ「ＳＴ００２」として、「電源ＯＮ→ＯＦＦ」が定義されている。

また、庫内扉の開閉時には、ＩＤ「ＳＴ００３」として「庫内扉 閉→開」が、「ＳＴ００４」として、「庫内扉 開→閉」が、それぞれ定義されている。

また、ＩＤ「ＳＴ００５」として「加熱スタート開始」が、「ＳＴ００６」として、「加熱中」が、それぞれ定義されている。

このように、庫内状態／操作テーブル５０１に基づいて、撮影のタイミング、および、加熱の状態等を把握することが可能となる。

なお、テーブルの項目には「庫内状態/操作」と記載されているが、本開示はこれに限定されず、外光等の外部環境影響による状態変化、他製品とのノイズ干渉、および、ユーザによる操作等、庫内状態が変化する要因に関連する、全ての項目が定義され得る。

図６は、本開示の第１の実施の形態における、画像比較判定部２０６の比較判定に利用されるテーブルの一例を示す図である。

図６に示されるように、図５で示されたそれぞれの庫内状態毎に、比較判定を行うための画像差分閾値範囲が定義されている。

例えば、庫内状態が「ＳＴ００４」の「庫内扉 開→閉」の場合に、庫内が空状態であると検知をするための画像差分閾値範囲としては、画像差分値が０より大きく、２０以下となっている必要がある（ＳＴ００４−１）。

また、庫内に加熱非対象物が載置された状態であると検知するには、画像差分値が２０より大きい値で、かつ、１００以下となっている必要がある（ＳＴ００４−２）。ここで、加熱非対象物が載置された状態とは、加熱調理器１００による加熱に適さない小さな対象物、例えばマヨネーズ等が庫内に置かれた状態をいう。

さらに、画像差分値が１００よりも大きい値となっている場合には、庫内に加熱対象物が載置された状態であるとして検知する（ＳＴ００４−３）。ここで、加熱対象物が載置された状態とは、加熱調理器１００で加熱すべき対象物、例えば、お弁当等の食品１０７が庫内に置かれた状態をいう。

一方、庫内状態が「ＳＴ００５」の「加熱スタート開始」の場合の、庫内が空状態であるとして検知をするための画像差分閾値範囲としては、画像差分値が０より大きく２５以下となっている必要がある（ＳＴ００５−１）。

なお、本実施の形態では、画像比較した際の画像差分値として、各画素における輝度差分が、所定の数値を超えた場合にカウントする方式を用いている。しかしながら、本開示はこの例に限定されず、画像差分が分かる方式であれば、どのような方式を利用してもよい。例えば、画像類似度、または各画素の色の差分を用いてもよい。また、図６には、画像差分閾値範囲として、下限値および上限値の両方を記載しているが、どちらか一方だけの数値で定義されてもよい。

このように、本実施の形態の加熱調理器１００は、庫内状態に応じて、異なる画像差分閾値範囲を設定することが可能である。例えば、朝日等の外光が差し込んだ場合とそうでない場合とでは、撮影部２０３で撮影される画像の明るさが異なるが、それぞれの場合で、異なる画像差分閾値範囲を設定することができるため、庫内の状態を、より精度良く把握することができる。

図７は、本開示の第１の実施の形態における、庫内状態の判定処理に関するフローチャートである。

ここでは、図３、図４Ａおよび図４Ｂで示されたような、撮影部２０３で撮影された画像に対して、画像判定処理を行う例を説明する。

図７において、制御部２０２は、ドアパネル１０１の開閉状態、ならびに、ユーザによるメニュー選択部１０３を用いた電源ＯＮ／ＯＦＦ操作および加熱開始操作等を把握しており、その情報が庫内状態解析部２０４に入力される。庫内状態解析部２０４は、制御部２０２からの情報に基づき、庫内状態を解析する（Ｓ７０１）。

制御部２０２は、庫内状態解析結果に基づいて、庫内画像撮影が可能な状態であるかどうかを確認する（Ｓ７０２）。制御部２０２は、撮影が可能な状態でなければ、処理を終了する（Ｓ７０２，ＮＯ）。例えば、ドアパネル１０１が開けられた状態、および、庫内照明がＯＦＦの状態では、制御部２０２は、画像撮影が可能な状態でない、と判断する。

一方、庫内撮影が可能な状態であるとき（Ｓ７０２，Ｙｅｓ）には、撮影部２０３は庫内画像を撮影する（Ｓ７０３）。

次に、画像比較判定部２０６は、庫内状態解析部２０４にて解析された庫内状態情報テーブル６０１を用いて、撮影部２０３にて撮影された画像と、画像記憶部２０５に記憶されている庫内画像（基準画像）との比較を行う（Ｓ７０４）。

画像比較判定部２０６は、庫内状態情報テーブル６０１の中から、該当する庫内状態における画像差分閾値範囲を確認し、比較画像の差分値が、どの閾値範囲にあるかを判定する（Ｓ７０５）。

比較画像の差分値が「庫内空状態」の閾値範囲にある場合、画像比較判定部２０６は「庫内空状態」であると検知する（Ｓ７０６）。

比較画像の差分値が「加熱非対象物載置状態」の閾値範囲にある場合、画像比較判定部２０６は「加熱非対象物載置状態」であると検知する（Ｓ７０７）。

比較画像の差分値が「加熱対象物載置状態」の閾値範囲にある場合、画像比較判定部２０６は「加熱対象物載置状態」であると検知する（Ｓ７０８）。

制御部２０２は、庫内の載置状態が、「庫内空状態」および「加熱非対象物載置状態」である場合には、加熱情報表示部１０２に「加熱できない」旨のメッセージを表示し、ユーザがメニュー選択部１０３を用いて加熱開始の操作を行っても、加熱を開始しないように制御する。

また、庫内の載置状態が「加熱対象物載置状態」である場合、制御部２０２は、ユーザが、メニュー選択部１０３を用いた加熱開始の操作を行うことにより、加熱を開始する。

なお、本実施の形態では、載置状態の判別検知を「庫内空状態」、「加熱非対象物載置状態」および「加熱対象物載置状態」の三つのパターンで記載しているが、本開示はこの例に限定されない。例えば、「庫内空状態」の一パターンだけでの検知でもよい。また、載置状態の判別検知は、上記三つの載置状態に限定されるものではなく、判別結果を、複数検知および他の検知に利用できるのであれば、庫内状態に応じて、判別を行う種類を増減させてもよい。

（第２の実施の形態）
次に、図面を参照して、本開示の第２の実施の形態における加熱調理器８００について説明する。

図８は、本開示の第２の実施の形態における、加熱調理器８００の機能ブロック図である。

図８に示されるように、加熱調理器８００は、加熱部８０１、制御部８０２、撮影部８０３、庫内状態解析部８０４、画像記憶部８０５、画像比較判定部８０６および操作設定部８０７を有している。

なお、第２の実施の形態の加熱調理器８００の回路構成は、第１の実施の形態の加熱調理器１００の回路構成と、基本的な構造は共通している。異なる箇所は、庫内画像撮影を行うための操作設定部８０７が構成に追加された点と、庫内状態解析部８０４の解析結果に応じて、撮影部８０３で撮影された画像を基準画像として登録する点である。このため、第１の実施の形態と共通する部分については説明を省略する。なお、操作設定部８０７は、図１におけるメニュー選択部１０３を含む。

図９は、本開示の第２の実施の形態における、庫内状態解析部８０４で解析される庫内状態に関するテーブルの一例を示す図である。

庫内状態／操作テーブル９０１には、加熱調理器８００の庫内における様々な制御および操作のうち少なくともいずれかに関する、それぞれの状態遷移が記載されている。

例えば「電源投入」の場合は、ＩＤ「ＳＴ１０１」として、「電源投入後１分後」が定義されている。なお、本実施の形態では、ＩＤ「ＳＴ１０３」として「庫内扉『閉→開』直後」が、ＩＤ「ＳＴ１１２」として「庫内照明「ＯＮ→ＯＦＦ」直前」が、ＩＤ「ＳＴ１１６」として「庫内空画像登録ボタン押下後」が、それぞれ一例として記載されている。しかしながら、本開示はこれらの例に限定されるものではなく、撮影タイミングとして適したものであれば、どの状態を利用してもよい。

図１０は、本開示の第２の実施の形態における、庫内画像登録処理を示すフローチャートである。

図１０において、制御部８０２からの情報に基づき、庫内状態解析部８０４は庫内状態の解析を行う（Ｓ１００１）。

制御部８０２は、庫内状態解析部８０４による庫内状態の解析結果に基づいて、庫内画像撮影が可能な状態であるかどうかを確認し、画像撮影が可能な状態でなければ（Ｓ１００２，ＮＯ）、処理を終了する。例えば、制御部８０２は、ドアパネル１０１が開けられた状態、および、庫内照明がＯＦＦの状態では、画像撮影が可能な状態ではない、と判断する。

一方、庫内撮影が可能な状態である場合（Ｓ１００２，ＹＥＳ）に、撮影部８０３は、庫内画像を撮影する（Ｓ１００３）。

次に、制御部８０２は、撮影画像が基準画像としての基準を満たすかどうかを確認し、基準画像としての基準を満たしていなければ（Ｓ１００４，ＮＯ）、終了する。

一方、撮影画像が基準画像としての基準を満たしている場合（Ｓ１００４，ＹＥＳ）、画像比較判定部８０６は、撮影画像を基準画像として、画像記憶部８０５に記憶する（Ｓ１００５）。

なお、ステップＳ１００３において、操作設定部８０７からの指示で撮影をする場合等には、ステップＳ１００４を省略して、撮影された画像が基準画像として画像記憶部８０５に記憶されてもよい。

また、庫内画像が基準画像となる条件は、予め登録されている基準画像との比較において、画像差分値が所定の閾値以下の場合であってもよく、また、工場出荷時における基準画像との比較において、画像差分値が所定の閾値以下の場合であってもよい。

このように、基準画像を更新することによって、加熱調理器を長期間使用することによる不具合、具体的には、カメラの劣化、照明の劣化、内部の汚れ、湿度の変化、および輝度等の変化にも対応して、正確な載置状態を判定することができる。一方、同じ基準画像を用いて判定を行った場合には、上述した劣化等の理由で、正しい判定が行えなくなる可能性がある。

また、上述した劣化等は、特に、一般的な加熱調理器よりも使用頻度の高い、業務用の加熱調理器において顕著である。

（第３の実施の形態）
次に、図面を参照して、第３の実施の形態における加熱調理器１１００を説明する。

図１１は、本開示の第３の実施の形態における加熱調理器１１００の機能ブロック図である。

図１１に示されるように、加熱調理器１１００は、加熱部１１０１、制御部１１０２、撮影部１１０３、画像読取解析部１１０４、庫内状態解析部１１０５、画像記憶部１１０６、画像比較判定部１１０７および操作設定部１１０８を有している。

なお、第３の実施の形態の加熱調理器１１００の回路構成は、第２の実施の形態の加熱調理器８００の回路構成と、基本的な構造は共通している。異なる箇所は、撮影部１１０３が庫内を撮影した画像を、画像読取解析部１１０４で画像解析し、その結果、読み取られた情報を画像比較判定部１１０７へ伝える点である。このため、第２の実施の形態と共通する部分については説明を省略する。

図１２は、本開示の第３の実施の形態における、加熱調理器１１００の庫内の底面に、マークおよび文字等が記載されている一例を示す図である。

図１２の例においては、庫内空画像であることを明示的にわかりやくするために、「＋」のマークが庫内底面の所定の位置に記載されている。

図１３Ａおよび図１３Ｂは、それぞれ、本開示の第３の実施の形態における、庫内を撮影した画像の一例を示す図である。

庫内底面にマークが記載された加熱庫内において、図１３Ａは、庫内に汚れおよび異物のうち少なくともいずれか等が存在する空状態の場合、図１３Ｂは、庫内に加熱対象物（弁当等の食品１０７）が存在する場合、それぞれにおいて、庫内を撮影した画像（庫内画像１３０１，１３０２）の一例を示している。

処理フローは、図７に記載されたフローと、ほぼ同じである。ただし、ステップＳ７０３において、画像記憶部１１０６に記憶されている基準画像から、マーク部分を画像読取解析部１１０４で解析し、マークの箇所について、撮影部１１０３にて撮影した画像と、画像記憶部１１０６に記憶されている基準画像との比較を行う。これにより、より素早く、かつ精度良く「空画像状態」、および、それ以外の状態を判別することが可能である。なお、画像読取解析部１１０４が解析する部分として、マークおよび文字のうち、少なくともいずれかを例示しているが、本開示はこれらに限られるものではなく、数字およびバーコード、ならびに、形状および特殊な記号のうち、少なくともいずれかであってもよい。

（第４の実施の形態）
次に、本開示の第４の実施の形態における、加熱調理システム２０００について説明する。

加熱調理器１４００をネットワークと接続可能に構成し、ネットワーク上の携帯端末またはサーバ（それぞれ情報処理装置１４５０の一例）によって、加熱調理器１４００を制御する加熱調理システム２０００として本開示を実施することが可能である。

図１４は、本開示の第４の実施の形態における、加熱調理システム２０００の構成を示す機能ブロック図である。

加熱調理システム２０００は、加熱調理器１４００と情報処理装置１４５０とを含む。

加熱調理器１４００は、加熱部１４０１、撮影部１４０２、庫内状態解析部１４０３、制御部１４０４（第１の制御部）および通信部１４０５（第１の通信部）を有している。

情報処理装置１４５０は、画像比較判定部１４５１、画像記憶部１４５２、制御部１４５３（第２の制御部）および通信部１４５４（第２の通信部）を有している。

本実施の形態の加熱調理器１４００の回路構成が、第１の実施の形態の加熱調理器１００の回路構成と異なる箇所は、ネットワークを介して、情報処理装置１４５０と通信を行う通信部１４０５が追加された点と、画像比較判定部８０６および画像記憶部８０５を有しない点である。本実施の形態において、第１の実施の形態と共通する部分については、説明を省略する。

情報処理装置１４５０は、携帯端末、パソコン、およびサーバ等から選択される装置である。情報処理装置１４５０は、図示しないマイクロコンピュータおよびメモリ等の周辺回路を備える。画像比較判定部１４５１、画像記憶部１４５２および制御部１４５３の機能は、マイクロコンピュータ、その上で動作するソフトウェア、およびメモリ等により実現される。

通信部１４０５および通信部１４５４は、有線ＬＡＮ、無線ＬＡＮ（Ｗｉ−Ｆｉ）、および、キャリア回線（３Ｇ、４Ｇ、ＬＴＥ等）等から選択される方式に対応したハードウェアで構成される。

図１５は、本開示の第３の実施の形態における、加熱調理システム２０００の処理を示すシーケンス図である。

加熱調理器１４００の制御部１４０４は、ドアパネル１０１の開閉状態、ならびに、ユーザによるメニュー選択部１０３を用いた電源ＯＮ／ＯＦＦ操作および加熱開始操作等を把握しており、その情報が、庫内状態解析部１４０３に入力される。

庫内状態解析部１４０３は、制御部１４０４からの情報に基づき、庫内状態を解析する（Ｓ２００１）。

制御部１４０４は、庫内状態解析部１４０３で解析された庫内状態を、通信部１４０５を用いて情報処理装置１４５０に送信する（Ｓ２００２）。

撮影部１４０２は庫内画像を撮影する（Ｓ２００３）。

制御部１４０４は、撮影した画像を、通信部１４０５を用いて、情報処理装置１４５０に送信する（Ｓ２００４）。

情報処理装置１４５０は、通信部１４５４で、画像および庫内状態を受信する。

画像比較判定部１４５１は、通信部１４５４で受信した画像と、画像記憶部１４５２に記憶されている庫内画像（基準画像）との比較を行う（Ｓ２００５）。

画像比較判定部１４５１は、通信部１４５４で受信された庫内状態における画像差分閾値範囲を確認し、比較画像の差分値が、どの閾値範囲にあるかを確認し、載置状態を判別する（Ｓ２００６）。この処理は、図７のステップＳ７０５〜ステップＳ７０８と共通する。

制御部１４５３は、画像比較判定部１４５１で判別された載置状態を、通信部１４５４を用いて加熱調理器１４００に送信する（Ｓ２００７）。

加熱調理器１４００は、通信部１４０５で載置状態を受信する。

制御部１４０４は、受信した載置状態に基づいて、加熱部１４０１による加熱を制御する（Ｓ２００８）。例えば、庫内の載置状態が、「庫内空状態」および「加熱非対象物載置状態」である場合、制御部１４０４は、加熱情報表示部１０２に「加熱できない」旨のメッセージを表示し、ユーザがメニュー選択部１０３を用いて加熱開始の操作を行っても、加熱を開始しないように制御する。また、庫内の載置状態が、「加熱対象物載置状態」である場合、制御部１４０４は、ユーザがメニュー選択部１０３を用いて加熱開始の操作を行うことにより、加熱を開始する。

第４の実施の形態における加熱調理システム２０００によれば、処理負荷の高い画像比較判定部１４５１を、加熱調理器１４００ではなく、情報処理装置１４５０に設けることにより、加熱調理器１４００は、画像比較判定処理に伴う処理負荷を低減できる。

なお、本実施の形態では、加熱調理器１４００が庫内状態解析部１４０３を有する形態について説明したが、庫内状態解析部１４０３が加熱調理器１４００に存在せず、情報処理装置１４５０に設けられる形態であってもよい。この場合、制御部１４０４は、庫内状態の解析に必要な情報を、通信部１４０５を用いて情報処理装置１４５０に送信し、情報処理装置１４５０の庫内状態解析部１４０３が、受信した情報を用いて庫内状態を解析する。

このような構成によれば、さらに加熱調理器１４００の構成を簡略化できる。

また、第２の実施の形態に示したように、画像比較判定部１４５１において、画像の比較がなされた結果、加熱調理器１４００から送られた画像により、画像記憶部１４５２に記憶された基準画像が更新される構成としてもよい。

また、情報処理装置１４５０は、上記の構成に加えて、画像読取解析部を備える構成であってもよい。この場合、情報処理装置１４５０の画像比較判定部１４５１は、画像記憶部１４５２に記憶されている画像から、例えばマーク部分を画像読取解析部で解析し、マークの箇所について、撮影部１４０２にて撮影された画像と画像記憶部１４５２に記憶されている画像との比較を行うことで、「空画像状態」、および、それ以外の状態を判別する。

（その他の実施の形態）
なお、本開示は、上述した各実施の形態に限られるものではなく、例えば以下に示すように変更することもできる。以下の変形例は、上述した各実施の形態についてのみ適用されるものではなく、異なる変形例同士を互いに組み合わせて実施することもできる。

加熱調理器は、コンビニエンスストア、および、お弁当業者等の業務用機器として実施されるだけでなく、家庭用の加熱調理器として実施されることも可能である。

また、加熱調理器の撮影部で加熱庫内を撮影する際に、加熱調理器の表示部に加熱庫内の画像が表示される構成としてもよい。また、加熱調理器をネットワークに接続した構成が実施される場合には、ネットワークに接続された情報処理装置の表示部に、加熱庫内の画像が表示される構成としてもよい。

また、加熱調理器で読取解析された、文字、バーコード、および形状等のうち、少なくともいずれかを、加熱調理器の表示部に表示させる構成としてもよい。また、加熱調理器をネットワークに接続した構成が実施される場合には、ネットワークに接続された情報処理装置の表示部に、読取解析された、文字、バーコード、および形状等のうち、少なくともいずれかが表示される構成としてもよい。

また、上述した実施の形態の加熱調理器は、制御部、庫内状態解析部、画像記憶部、画像比較判定部、および画像読取解析部を有しているが、これら複数のブロックを一つの半導体素子（例えば、マイクロプロセッサ）で実現することも可能である。この場合、一つの制御部で様々な処理を行えることが可能となるだけでなく、回路基板上に実装する半導体素子の数を低減させることが可能であるため、回路基板の大きさを小さくすることが可能である。

また、これら複数のブロックの内、全てのブロックではなく、一部のブロックを一つの半導体素子で実現することも可能である。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、および省略等を行うことができる。

以上述べたように、本開示の加熱調理器、加熱調理器の制御方法および加熱調理システムは、加熱庫内にカメラを搭載し、経年変化および利用状況のうち少なくともいずれか等により庫内状態が変化しても、庫内の状態を検知可能な、加熱調理器、加熱調理器の制御方法、および加熱調理システム等として、有用である。

１００，８００，１１００，１４００ 加熱調理器
１０１ ドアパネル
１０２ 加熱情報表示部
１０３ メニュー選択部
１０４ 加熱調理器庫内
１０５ 照明
１０６ カメラ
１０７ 食品
２０１，８０１，１１０１，１４０１ 加熱部
２０２，８０２，１１０２，１４０４，１４５３ 制御部
２０３，８０３，１１０３，１４０２ 撮影部
２０４，８０４，１１０５，１４０３ 庫内状態解析部
２０５，８０５，１１０６，１４５２ 画像記憶部
２０６，８０６，１１０７，１４５１ 画像比較判定部
３０１，４０１，４０２，１３０１，１３０２ 庫内画像
５０１，９０１ 庫内状態／操作テーブル
６０１ 庫内状態情報テーブル
８０７，１１０８ 操作設定部
１１０４ 画像読取解析部
１４０５，１４５４ 通信部
１４５０ 情報処理装置
２０００ 加熱調理システム

Claims (12)

1. 加熱庫と、
   前記加熱庫内の加熱対象物を加熱する加熱部と、
   前記加熱庫内の撮影を行う撮影部と、
   前記加熱庫内の基準画像を記憶する画像記憶部と、
   前記加熱庫内の庫内状態に基づき、前記画像記憶部に記憶されている前記基準画像と、前記撮影部で撮影された画像とを比較し、前記加熱庫内における前記加熱対象物の載置状態を判定する画像比較判定部と、
   前記載置状態に基づき、前記加熱部による加熱を制御する制御部と、
   を備えた加熱調理器。
2. 前記画像比較判定部は、前記画像記憶部に記憶されている前記基準画像である庫内空画像と、前記撮影部で撮影された前記画像との差分比較を行い、所定の閾値範囲以下であれば、前記載置状態が空の状態であると判定する
   請求項１に記載の加熱調理器。
3. 前記画像比較判定部は、前記庫内状態の違いにより、異なる前記所定の閾値範囲を用いて前記載置状態の判定を行う
   請求項２に記載の加熱調理器。
4. 前記画像比較判定部は、前記載置状態が空の状態であると判定した場合に、前記撮影部で撮影された前記画像が前記画像記憶部に記憶される
   請求項１から請求項３までのいずれか１項に記載の加熱調理器。
5. 前記加熱庫内の庫内状態を解析する庫内状態解析部をさらに有し、前記庫内状態解析部は、前記庫内状態に応じて、前記撮影部において撮影された前記画像を、前記基準画像として前記画像記憶部に記憶する
   請求項１から請求項４までのいずれか１項に記載の加熱調理器。
6. 操作設定部をさらに備え、
   前記操作設定部で指示を受けた際に、前記撮影部において撮影された前記画像が前記画像記憶部に記憶される
   請求項１から請求項５までのいずれか１項に記載の加熱調理器。
7. 表示部をさらに備え、
   前記操作設定部で指示を受けた際に、前記撮影部において撮影された前記画像が前記表示部に表示される請求項６に記載の加熱調理器。
8. 前記画像記憶部に記憶された前記基準画像内の、所定の文字およびマークのうち少なくともいずれかを読取り解析する画像読取解析部をさらに備え、
   前記画像比較判定部は、前記庫内状態に基づき、前記画像読取解析部で読取られた、前記所定の文字およびマークのうち少なくともいずれかが存在する位置の画像と、前記撮影部により撮影された前記画像内における、前記基準画像内の前記位置と同じ位置の画像との差分比較を行い、前記所定の文字およびマークのうち少なくともいずれかを少なくとも所定数認識した場合に、前記載置状態が空の状態であると判別する
   請求項１から請求項７に記載の加熱調理器。
9. 加熱庫と、前記加熱庫内の加熱対象物を加熱する加熱部と、前記加熱庫内の撮影を行う撮影部と、前記加熱部による加熱を制御する制御部と、を有する加熱調理器の制御方法であって、
   前記加熱庫内の基準画像を記憶するステップと、
   前記加熱庫内の庫内状態を解析するステップと、
   前記庫内状態に基づき、前記基準画像と前記撮影部で撮影された画像とを比較し、前記加熱庫内における前記加熱対象物の載置状態を判定するステップと、
   前記載置状態に基づき、前記加熱部による加熱を制御するステップと、
   を備えた、加熱調理器の制御方法。
10. 前記基準画像内の、所定の文字およびマークのうち少なくともいずれかを読取り解析するステップをさらに備え、
    前記加熱対象物の載置状態を判定するステップにおいて、前記庫内状態に基づき、前記読取り解析するステップで読取られた前記所定の文字およびマークのうち少なくともいずれかが存在する位置の画像と、前記撮影部により撮影された前記画像内における、前記基準画像内の前記位置と同じ位置の画像との差分比較を行い、前記所定の文字および前記マークのうち少なくともいずれかを少なくとも所定数認識した場合に、前記庫内が空の状態であると判別する
    請求項９に記載の加熱調理器の制御方法。
11. 加熱調理器と情報処理装置とを備えた加熱調理システムであって、
    前記加熱調理器は、加熱庫と、前記加熱庫内の加熱対象物を加熱する加熱部と、前記加熱庫内の撮影を行う撮影部と、前記加熱庫内の庫内状態を解析する庫内状態解析部と、前記加熱庫内の載置状態に基づき、前記加熱部による加熱を制御する第１の制御部と、前記撮影部で撮影された画像と、前記庫内状態解析部で解析された前記庫内状態とを送信し、前記載置状態を受信する第１の通信部と、を有し、
    前記情報処理装置は、前記加熱庫内の前記画像と前記庫内状態とを受信する第２の通信部と、前記加熱庫内の基準画像を記憶する画像記憶部と、前記第２の通信部で受信した前記庫内状態に基づき、前記画像記憶部に記憶されている前記基準画像と前記第２の通信部で受信した前記画像とを比較し、前記加熱庫内の載置状態を判定する画像比較判定部と、前記画像比較判定部で判定された前記載置状態を前記第２の通信部を用いて送信するよう制御する第２の制御部と、を有する
    加熱調理システム。
12. 前記情報処理装置は、前記画像記憶部に記憶された前記基準画像内の所定の文字およびマークのうち少なくともいずれかを読取り解析する画像読取解析部をさらに備え、
    前記画像比較判定部は、前記庫内状態に基づき、前記画像読取解析部で読取られた、前記所定の文字および前記マークのうち少なくともいずれかが存在する位置の画像と、前記撮影部により撮影された前記画像内における、前記基準画像の前記位置と同じ位置の画像との差分比較を行い、前記所定の文字および前記マークのうち少なくともいずれかを少なくとも所定数認識した場合に、前記載置状態が空の状態であると判別する、
    請求項１１に記載の加熱調理システム。

Images