JPWO2017090244A1 - 加熱調理器、加熱調理器の制御方法、および、加熱調理システム - Google Patents

Abstract

被加熱物を収容する加熱室内の画像を撮影する撮像部（２０１）と、加熱室内の画像の撮影のための撮影条件を設定し、加熱室内の画像に対して画像認識を行う制御部（２００）と、を備える。制御部（２００）は、加熱室内の画像を解析することにより加熱室内の状態を確認し、加熱室内の状態に応じて画像の撮影のための撮影条件を変更する。これにより、加熱室内の画像に対して画像認識を行う加熱調理器（１００ａ）において、画像認識の精度を高めることができる。

Description

本開示は、画像認識の結果に基づいて加熱制御を行う加熱調理器、加熱調理器の制御方法、および、加熱調理システムに関するものである。

通常、加熱調理器の一例である電子レンジは、調理開始のために、使用者による加熱時間などの入力を必要とする。

これまで、加熱時間などを自動的に設定するための多くの技術が開発されてきた。例えば、特許文献１は、調理前に撮影された被加熱物の画像を解析することにより、調理方法を選択する技術を開示する。

実用新案登録第３０３６６７１号公報

従来の技術では、照明が暗いなどの加熱室内の状況によって、撮影された画像に対して文字認識などを行うことができない可能性がある。

上記従来の問題を解決するために、本開示の一態様の加熱調理器は、被加熱物を収容する加熱室と、加熱室内の画像を撮影する撮像部と、加熱室内の画像の撮影のための撮影条件を設定し、画像に対して画像認識を行う制御部とを備える。制御部は、加熱室内の画像を解析することにより加熱室内の状態を確認し、加熱室内の状態に応じて画像の撮影のための撮影条件を変更する。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

図１は、実施の形態１に係る加熱調理器の斜視図である。 図２は、実施の形態１に係る加熱調理器のブロック構成図である。 図３は、被加熱物である弁当の一例を示す図である。 図４は、弁当に貼り付けられた食品ラベルの一例を示す図である。 図５は、撮影部のための設定項目表を示す図である。 図６は、項目「鮮明さ」に関する設定値表を示す図である。 図７は、項目「コントラスト」に関する設定値表を示す図である。 図８は、照明装置のための設定項目表を示す図である。 図９は、項目「明るさ」に関する設定値表を示す図である。 図１０は、実施の形態１に係る加熱調理器の動作を示すフローチャートである。 図１１は、実施の形態２に係る加熱調理器の斜視図である。 図１２は、実施の形態２に係る加熱調理器の斜視図である。 図１３は、照明の数が４の場合における各照明のオン／オフのパターンを示す設定値表を示す図である。 図１４は、全ての照明がオンの場合における各照明の明るさのパターンを示す設定値表を示す図である。 図１５は、実施の形態３に係る加熱調理器の動作を示すフローチャートである。 図１６Ａは、項目「鮮明さ」がオン状態における微分画像を示す図である。 図１６Ｂは、項目「鮮明さ」がオフ状態における微分画像を示す図である。 図１７は、実施の形態４による画像認識を示すフローチャートである。 図１８Ａは、画像認識が困難な画像を示す図である。 図１８Ｂは、画像認識が可能な画像を示す図である。 図１９は、撮影された画像における設定変更用の区画を示す図である。 図２０は、照明の配置および明るさを区画ごとに設定した表を示す図である。 図２１は、実施の形態５に係る加熱調理器の斜視図である。 図２２は、実施の形態５に係る加熱調理器の動作を示すフローチャートである。

本開示の第１の態様の加熱調理器は、被加熱物を収容する加熱室と、加熱室内の画像を撮影する撮像部と、加熱室内の画像の撮影のための撮影条件を設定し、画像に対して画像認識を行う制御部とを備える。制御部は、加熱室内の画像を解析することにより加熱室内の状態を確認し、加熱室内の状態に応じて画像の撮影のための撮影条件を変更する。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第２の態様の加熱調理器によれば、第１の態様において、加熱室内の照明を行う照明装置をさらに備える。撮影条件が、撮像部による撮影時の設定と照明装置による照明用の設定とを含む。本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第３の態様の加熱調理器によれば、第１の態様において、制御部は、加熱室内の画像において画像認識の対象領域を特定し、撮影条件を変更した後に再度撮影された画像における前記対象領域に対して前記画像認識を行う。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第４の態様の加熱調理器によれば、第３の態様において、変更された撮影条件が画像の鮮明さであり、制御部が、画像認識のための画像の撮影時における画像の鮮明さを、対象領域の特定のための画像の撮影時における画像の鮮明さより高く設定する。本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第５の態様の加熱調理器によれば、第１の態様において、画像認識が所定回数失敗するまで、制御部は、前記画像を再度撮影するための撮影条件を変更する。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第６の態様の加熱調理器によれば、第１の態様において、画像認識は、文字認識と物体認識とを含む。制御部は、物体認識のための画像を撮影するために、文字認識のための画像を撮影するときの撮影条件と異なる撮影条件を設定する。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第７の態様の加熱調理器の制御方法は、被加熱物を収容する加熱室内の画像を解析することにより加熱室内の状態を確認するステップと、加熱室内の状態に応じて画像の撮影のための撮影条件を変更するステップと、変更された撮影条件で撮影された画像に対して画像認識を行うステップと、を有する。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第８の態様の加熱調理器の制御方法は、第７の態様において、被加熱物を収容する加熱室内の画像において画像認識の対象領域を特定するステップをさらに有する。画像認識を行うステップにおいて、変更された撮影条件で撮影された画像における対象領域に対して画像認識を行う。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第９の態様の加熱調理器の制御方法は、第７の態様における撮影条件を変更するステップにおいて、画像認識が所定回数失敗するまで、撮影条件を変更する。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第１０の態様の加熱調理器の制御方法は、第７の態様において、画像認識は、文字認識と物体認識とを含む。撮影条件を変更するステップにおいて、物体認識のための画像を撮影するために、文字認識のための画像を撮影するときの撮影条件と異なる撮影条件を設定する。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理器において、画像認識の精度を高めることができる。

本開示の第１１の態様は、加熱調理器と情報処理装置を含む加熱調理システムである。加熱調理器は、被加熱物を収容する加熱室と、加熱室内の画像を撮影する撮像部と、画像の撮影のための撮影条件を設定する制御部と、撮像部で撮影した画像および制御部で設定する撮影条件を通信する通信部と、を備える。情報処理装置は、画像および撮影条件を通信する通信部と、通信部で受信した画像を解析することにより、加熱室内の状態を確認し、加熱室内の状態に応じて撮影条件を設定し、設定した撮影条件を通信部により送信する制御部と、を備える。

本態様によれば、加熱室内の画像に対して画像認識を行う加熱調理システムにおいて、画像認識の精度を高めることができる。

以下、本開示の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本開示の実施の形態１に係る加熱調理器１００ａの斜視図である。

図１に示すように、加熱調理器１００ａは、食品などの被加熱物１０７ａを収容する加熱室１０１を有する。加熱室１０１には、その前面開口を覆うためのドア１０４が設けられる。加熱室１０１は、その前面開口の上方に設けられた表示部１０２とメニュー選択部１０３とを有する。

表示部１０２は、加熱時間など、加熱調理器１００ａの動作に関連する情報を表示する。メニュー選択部１０３は、スタートボタンを含む複数のボタンを有し、使用者が加熱時間などの設定内容を入力するために使用される。メニュー選択部１０３はタッチパネルで構成されてもよい。

加熱室１０１の側壁に設けられた開口の奥に、照明１０５が設けられ、加熱室１０１内の照明を行う。加熱室１０１の天井に設けられた開口の奥に、カメラ１０６が設けられ、加熱室１０１内を撮影する。

制御回路（図示せず）が照明１０５とカメラ１０６とを制御することで、加熱調理器１００ａは、被加熱物１０７ａに対する加熱度合いなどの情報を画像として取り込むことができる。

図１に示すように、照明１０５が加熱室１０１の側壁に設置される。しかし、加熱室１０１の全体を照明することができれば、照明１０５は他の場所（例えば、加熱室１０１の天井）に設置されてもよい。照明１０５が複数の照明装置を含んでもよい。

カメラ１０６は、加熱室１０１の天井の左端に近接して設置される。しかし、加熱室１０１の全体を撮影することができれば、カメラ１０６は他の場所（例えば、加熱室１０１の側壁）に設置されてもよい。カメラ１０６が天井の中央に設置されると、被加熱物１０７ａを真上から撮影することが可能となる。カメラ１０６が複数の撮像部を含んでもよい。

図２は、実施の形態１に係る加熱調理器１００ａのブロック構成図である。

図２に示すように、加熱調理器１００ａは、制御部２００と撮像部２０１と撮影設定部２０２と撮影情報管理部２０３と照明装置２０５と照明設定部２０６と照明情報管理部２０７と加熱部２０９と加熱設定部２１０と加熱情報管理部２１１と庫内状態管理部２１４とを有する。

制御部２００は、撮影制御部２０４と照明制御部２０８と加熱制御部２１２と庫内状態制御部２１３と状態解析部２１５と画像処理部２１６と認識部２１７とを含む。

本実施の形態では、マイクロコンピュータが制御部２００を構成する。本開示はこれに限定されるものではないが、プログラム可能なマイクロコンピュータを用いれば、処理内容を容易に変更可能であり、設計の自由度を高めることができる。

処理速度の向上のため、制御部２００に含まれた構成要素を論理回路で構成することも可能である。これらの構成要素を物理的に一つまたは複数の素子で構成してもよい。これらの構成要素を複数の素子で構成する場合、各構成要素をそれぞれ一つの素子に対応させてもよい。この場合、これらの素子が一つの構成要素に対応すると考えることができる。

撮像部２０１は、図１に示すカメラ１０６に対応し、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどの撮像素子と、レンズなどの光学素子とを含み、加熱室１０１内を撮影するためのデバイスである。

撮影設定部２０２は、メニュー選択部１０３に含まれ、撮影の設定のために使用される。撮影情報管理部２０３は、撮影設定部２０２による設定内容を保存するための不揮発性メモリを含む。

撮影制御部２０４は、撮影情報管理部２０３に保存された設定内容に応じて、撮像部２０１を制御する。撮影情報管理部２０３は、撮像部２０１により撮影された画像を保存する。

照明装置２０５は、図１に示す照明１０５に対応し、ＬＥＤなどの、加熱室１０１内の照明を行うための発光素子である。

照明設定部２０６は、メニュー選択部１０３に含まれ、照明の設定のために使用される。照明情報管理部２０７は、照明設定部２０６による設定内容を保存するための不揮発性メモリを含む。照明制御部２０８は、照明情報管理部２０７に保存された設定内容に応じて、照明装置２０５を制御する。

加熱部２０９は、マグネトロンなどで構成され、被加熱物１０７ａを加熱する。加熱設定部２１０は、メニュー選択部１０３に含まれ、加熱の設定を行うために使用される。

加熱情報管理部２１１は、加熱設定部２１０による設定内容を保存するための不揮発性メモリを含む。加熱制御部２１２は、加熱情報管理部２１１に保存された設定内容に応じて、加熱部２０９を制御する。

庫内状態制御部２１３は、ドア１０４が開いているかどうか、加熱部２０９が作動しているかどうかなどの庫内状態に応じて、撮影制御部２０４と照明制御部２０８とを制御し、必要な情報を加熱制御部２１２に伝える。

庫内状態管理部２１４は、加熱室１０１内の状態（以下、庫内状態という）に関する情報を保存するための不揮発性メモリを含み、庫内状態の変化に応じて庫内状態に関する情報を庫内状態制御部２１３に伝える。庫内状態は、加熱室１０１内に被加熱物１０７ａが存在するかどうか、ドア１０４が閉まっているかどうかなどの情報を含む。

状態解析部２１５は、庫内状態管理部２１４の情報に基づいて、庫内状態を解析し、画像認識の実施可能な状態にあるかどうかなどを判定する。画像認識の実施可能な状態とは、加熱室１０１内に被加熱物１０７ａが存在し、ドア１０４が閉まっている状態である。なお、画像認識は文字認識、バーコード認識および物体認識を含むものとする。

庫内状態が画像認識の実施可能な状態である場合、画像処理部２１６は、撮像部２０１により撮影された画像を解析して、加熱情報に関連する文字が含まれる可能性のある領域を特定する。以下、この特定された領域を文字認識などの画像認識のための対象領域という。

認識部２１７は、対象領域に対して画像認識を行う。認識部２１７が正常に画像認識を実施した場合、加熱制御部２１２は、画像認識により得られた情報に応じて加熱部２０９を制御する。

このように構成された加熱調理器１００ａにおいて、被加熱物１０７ａが弁当である場合（図３参照）、弁当内の食材が対象領域３０１に選定される。画像認識の方法に応じて、弁当全体が対象領域３０２に選定されてもよい。

図４は、図３に示す弁当に貼り付けられた食品ラベル４００を示す。図４に示すように、食品ラベル４００は、画像認識の対象である文字およびバーコードを含む。食品ラベル４００において対象領域４０１が特定され、対象領域４０１に対して文字認識またはバーコード認識が行われて、加熱時間が特定される。

図５は、撮影情報管理部２０３（図２参照）に管理された、撮像部２０１のための設定項目表５０１を示す。図５に示すように、設定項目表５０１は、ハードウェア（Hardware）制御のための項目とソフトウェア（Software）制御のための項目とを含む。

ハードウェア制御のための項目には、撮像部２０１（図２参照）の位置、方向、フォーカス（Focus）などが含まれる。ソフトウェア制御のための項目には、鮮明さ（Sharpness）、ノイズ除去（Noise Reduction）、コントラスト（Contrast）、ゲイン（Gain）などの画像処理に関する項目が含まれる。

図６は、設定項目表５０１における項目「鮮明さ」に関する設定値表６０１である。

図６に示すように、項目「鮮明さ」に関しては、オフ状態に対応する「０ｘ００」と、オン状態に対応する「０ｘ０１」とを設定することが可能である。

図７は、設定項目表５０１における項目「コントラスト」に関する設定値表７０１である。

図７に示すように、項目「コントラスト」は、「上げる（大幅に）」、「上げる（少し）」、「通常」、「下げる（少し）」、「下げる（大幅に）」の五つの状態のそれぞれに対応する「０ｘ２０」、「０ｘ１０」、「０ｘ００」、「０ｘ０１」、「０ｘ０２」のいずれかに設定されることが可能である。

上記の例では、項目「鮮明さ」に関して、設定値表６０１は二つの候補を有する。しかし、設定値表６０１が、例えば四つの状態（最大、中間、最小、オフ）を有してもよい。コントラストに関しても、上記の例に限定されない。

設定項目表５０１と同様に、設定値表６０１、７０１は、撮影情報管理部２０３（図２参照）で管理される。具体的には、図２に示すように、撮像部２０１による撮影の際、または、画像処理部２１６および認識部２１７による画像処理の際の必要な情報として、撮影情報管理部２０３がこれらの表を管理する。

図５に示すように、設定項目表５０１において、ハードウェア制御のための項目は固定値に設定される。ソフトウェア制御のための項目「鮮明さ」、「ノイズ除去」、「コントラスト」、「ゲイン」は、オン（０ｘ０１）、オン（０ｘ０１）、通常（０ｘ００）、通常（０ｘ００）にそれぞれ設定される。

図８は、照明情報管理部２０７（図２参照）で管理された、照明装置２０５のための設定項目表８０１を示す。

図８に示すように、設定項目表８０１は、ハードウェア制御のための項目とソフトウェア制御のための項目とを含む。ハードウェア制御のための項目には、照明装置２０５（図２参照）の物理的な位置、向きなどが含まれる。ソフトウェア制御のための項目には、明るさ、色などが含まれる。

図９は、設定項目表８０１における項目「明るさ」に関する設定値表９０１である。

項目「明るさ（ルクス（Lux））」は、「０」、「５０」、「１００」、「２００」、「５００」、「１０００」の六つの状態のいずれかに設定される。これら六つの状態は、「０ｘ００００」、「０ｘ００３２」、「０ｘ００６４」、「０ｘ００Ｃ８」、「０ｘ０１Ｆ４」、「０ｘ０３Ｅ８」にそれぞれ対応する。

上記の例では、項目「明るさ」に関して、設定値表９０１は六つの状態を有する。しかし、設定値表９０１に含まれる状態の数は六つ以外でもよい。設定値表９０１があらかじめ設定された状態を含まず、設定値表９０１に、使用者により任意の状態または数値が設定されてもよい。

設定項目表８０１と同様に、設定値表９０１は、照明情報管理部２０７（図２参照）で管理される。具体的には、図２に示すように、照明装置２０５による照明の際、または、画像処理部２１６および認識部２１７による画像認識の際の必要な情報として、照明情報管理部２０７がこられの表を管理する。

図８に示すように、設定項目表８０１において、ハードウェア制御のための項目は固定値に設定される。ソフトウェア制御のための項目「明るさ（ルクス）」、「色」は、２００ルクス（０ｘ００Ｃ８）、白（０ｘ００）にそれぞれ設定される。

図１０は、加熱調理器１００ａの動作を示すフローチャートである。図１０に示す処理では、撮影された画像において、食品ラベル４００（図３、図４参照）が、文字認識のための対象領域として特定される。

図１０に示すように、ステップＳ１００１において、状態解析部２１５は、庫内状態を確認する。被加熱物１０７ａが加熱室１０１内に存在するかどうかを確認するために、加熱室１０１内の画像が撮影され、状態解析部２１５がその画像を解析する。

ステップＳ１００２において、状態解析部２１５が、庫内状態が画像認識の実施可能な状態でないと判定すると、処理はステップＳ１００１に戻る。状態解析部２１５が、庫内状態が画像認識の実施可能な状態であると判定すると、ステップＳ１００３において、撮影制御部２０４が、必要に応じて撮影条件を変更した後、撮像部２０１により加熱室１０１内の画像を撮影する。

ステップＳ１００４において、画像処理部２１６が、その画像において対象領域を特定する。ステップＳ１００５において、特定された対象領域に対して、認識部２１７が文字認識を行う。

ステップＳ１００６において、認識部２１７が、対象領域の特定、文字認識のいずれかが正常に実施されていないと判断すると、ステップＳ１００７において、庫内状態制御部２１３が、手動による調理設定の入力を使用者に催促する。状態解析部２１５がメニュー選択部１０３を介した入力を認識すると、その入力に応じて調理設定が変更される。

ステップＳ１００６において、認識部２１７が、文字認識が正常に実施されたと判断すると、その結果に応じた調理設定の入力が自動的に行われる。

ステップＳ１００６またはＳ１００７において調理設定の入力が終了すると、ステップＳ１００８において、庫内状態制御部２１３が、スタートボタンを点灯させるなどにより使用者に調理開始を催促する。状態解析部２１５がスタートボタンの押下を認識すると、加熱制御部２１２が、設定に応じた調理を開始するように加熱部２０９を制御する。

ステップＳ１００９において、庫内状態制御部２１３が、被加熱物１０７ａが所定の状態となるまで庫内状態を確認し続ける。被加熱物１０７ａが所望の状態となると、加熱制御部２１２が調理を終了させる。

上記の例では、食品ラベル４００に対する文字認識が行われる。文字認識を、被加熱物１０７ａの物体認識、被加熱物１０７ａの部分的な食材認識、または、食品ラベル４００におけるバーコード認識に置き換えてもよい。

代表的には、文字認識の対象となる情報は、加熱時間、加熱ワット数である。文字認識の対象となる情報が、賞味期限、弁当の種類、商品名、カロリー、値段など、食品ラベル４００に記載された文字であってもよい。

本実施の形態では、ドア１０４が閉じられると文字認識が行われる。ドア１０４が開けられたとき、または、スタートボタンが押下されたときに、文字認識が行われてもよい。

本実施の形態において、対象領域の特定および画像認識のために、照明用の設定項目表を変更してもよい。加熱調理器１００ａは、加熱室１０１内の撮影時に、表示部１０２が加熱室１０１内の画像を表示するように構成されてもよい。

以下、撮像部２０１のための設定（設定項目表５０１）と照明装置２０５のための設定（設定項目表８０１）とを、集合的に撮影条件という。

（実施の形態２）
本開示の実施の形態２に係る加熱調理器１００ｂについて説明する。図１１、図１２は、加熱調理器１００ｂの斜視図である。図１１は、加熱室１０１内の中央に被加熱物１０７ａが載置された状態を示す。図１２は、加熱室１０１内の奥壁の近くに被加熱物１０７ａが載置された状態を示す。

加熱調理器１００ｂは、実施の形態１に係る加熱調理器１００ａとほぼ同じ構成（図２〜図１０参照）を有する。加熱調理器１００ｂが加熱調理器１００ａと異なるのは、照明の数と位置、および、照明の制御方法である。本実施の形態において、実施の形態１と共通する部分については説明を省略する。

図１１、図１２に示すように、加熱調理器１００ｂは四つの照明を有する。具体的には、加熱室１０１内の左側壁に照明１０５ａ、照明１０５ｃが、加熱室１０１内の右側壁に照明１０５ｂ、照明１０５ｄがそれぞれ配置される。照明１０５ａ、１０５ｂは加熱室１０１の奥壁に近く、照明１０５ｃ、１０５ｄは加熱室１０１の奥壁から遠い。

本実施の形態に係る照明の制御方法は、基本的には図１０に示す処理と同じである。具体的には、ステップＳ１００１において、全照明が点灯された後、加熱室１０１内の画像が撮影される。被加熱物１０７ａは、図１１に示す場合は画像のほぼ中央に写り、図１２に示す場合は画像の左端に写る。状態解析部２１５が、画像を解析して被加熱物１０７ａの位置を把握する。

ステップＳ１００３において、図１１の場合には、全照明の点灯が継続される。図１２の場合には、照明１０５ａ、１０５ｂの点灯が継続され、照明１０５ｃ、１０５ｄが消灯される。照明が調整された後、画像が撮影される。

図１３は、照明の数が４の場合における各照明のオン／オフのパターンを示す設定値表１３０１である。図１３に示すように、四つの照明がオンまたはオフであるため、設定値表１３０１は１６通りのパターンを有する。

図１４は、四つの照明が全てオンの場合における、各照明の明るさ（ルクス）のパターンを示す設定値表１４０１である。四つの照明はそれぞれ五つの段階の明るさを有するため（図９参照）、図１４に示すように、設定値表１４０１は６２５通りのパターンを有する。

本実施の形態によれば、被加熱物１０７ａの位置に応じて照明を制御することにより、ハレーションの発生を防止することができる。その結果、画像認識の精度を高めることができる。

（実施の形態３）
本開示の実施の形態３に係る加熱調理器１００ｃについて説明する。

加熱調理器１００ｃは、実施の形態１に係る加熱調理器１００ａと同様の構成（図１〜図１０参照）を有する。ここでは構成に関する説明を省略する。

本実施の形態では、実施の形態１と同様、食品ラベル４００（図３、図４参照）が、文字認識のための対象領域として、撮影された画像から特定される。

本実施の形態における加熱調理器１００ｃの動作を、図１５を用いて説明する。図１５は、加熱調理器１００ｃの動作を示すフローチャートである。

このフローチャートは、図１０におけるステップＳ１００３〜Ｓ１００５の代わりにステップＳ１５０１〜Ｓ１５０４を有する以外、図１０と同じステップを有する。ここでは、ステップＳ１５０１〜Ｓ１５０４について説明する。

ステップＳ１００２において、状態解析部２１５が、庫内状態が画像認識の実施可能な状態であると判定すると、ステップＳ１５０１において、撮影制御部２０４が、図５に示す設定項目表５０１における項目「鮮明さ」をオフ状態にして、加熱室１０１内の画像を撮影する。

ステップＳ１５０２において、画像処理部２１６が、撮影された画像から加熱情報に関連する文字が含まれる可能性のある対象領域を特定する。

図１６Ａは、項目「鮮明さ」がオン状態で撮影された画像に対する微分画像１６０１である。図１６Ｂは、項目「鮮明さ」がオフ状態で撮影された画像に対する微分画像１６０２である。

図１６Ａ、図１６Ｂに示すように、微分画像１６０２は、微分画像１６０１より輪郭が明確な文字および線を有する。すなわち、項目「鮮明さ」をオフ状態に設定すると、より容易にエッジを判別することができる。その結果、より精度よく対象領域を特定することができる。

ステップＳ１５０３において、撮影制御部２０４が項目「鮮明さ」をオン状態にして、加熱室１０１内の画像を再度撮影する。

ステップＳ１５０３において撮影された画像の、ステップＳ１５０２において特定された対象領域に対して、ステップＳ１００５において文字認識が行われる。項目「鮮明さ」をオン状態に設定して撮影された画像を用いることで、より精度の高い文字認識を行うことができる。

本実施の形態では、対象領域の特定のために、項目「鮮明さ」がオフ状態に設定され、文字認識のために、項目「鮮明さ」がオン状態に設定される。しかしながら、本実施の形態はこれに限定されない。

対象領域の特定および文字認識のために、ノイズ除去、コントラスト、ホワイトバランス（White balance）など他のソフトウェア処理を用いてもよい。複数のソフトウァア処理を組み合わせてもよい。ソフトウェア処理に加えて、少なくとも一つのハードウェア処理を用いてもよい。

処理時間の短縮のために、ステップＳ１５０１、Ｓ１５０３のいずれかにおいて、設定の変更を省略してもよい。

（実施の形態４）
本開示の実施の形態４に係る加熱調理器１００ｄについて説明する。

加熱調理器１００ｄは、実施の形態１に係る加熱調理器１００ａと同様の構成（図１〜図１０参照）を有する。ここでは構成に関する説明を省略する。

本実施の形態では、食品ラベル４００（図３、図４参照）から、文字認識のための対象領域が抽出される。

図１７は、加熱調理器１００ｄの動作を示すフローチャートである。このフローチャートは、図１０に示すステップに加えて、さらにステップＳ１７０１、Ｓ１７０２を有する。ここでは、ステップＳ１７０１、Ｓ１７０２について説明する。

ステップＳ１００６において、認識部２１７が、対象領域の特定、文字認識のいずれかが正常に実施されていないと判断すると、ステップＳ１７０１において、認識部２１７が、文字認識が所定回数失敗したかどうかを判断する。

文字認識が所定回数失敗するまでは、ステップＳ１７０２において、庫内状態制御部２１３が、文字認識の失敗原因に応じて、撮影条件を変更する。

ステップＳ１００３において、変更された設定に応じて加熱室１０１内の撮影が行われる。ステップＳ１００６において、認識部２１７が、文字認識が所定回数失敗したと判断すると、処理は上述のステップＳ１００７に進む。

本実施の形態では、ステップＳ１００６において、認識部２１７が、対象領域の特定、文字認識のいずれかが正常に実施されていないと判断すると、撮影条件を変更する。しかしながら、画像処理部２１６が対象領域の特定に失敗した場合、および、認識部２１７が文字認識に失敗した場合、その都度、撮影条件を変更して再度撮影が行われるようにしてもよい。

具体的な事例を用いて説明する。図１８Ａ、図１８Ｂは、加熱室１０１内の被加熱物１０７ａの画像である。

被加熱物１０７ａの位置および撮影時の状況によって、被加熱物１０７ａが撮影画角に収まらなかったり、食品ラベル４００が照明の反射で見えにくかったりする場合がある。撮像部２０１の位置、照明装置２０５の位置によっては、加熱室１０１内の全ての空間に対して、フォーカスや絞りが適切に制御できるとは限らない。

図１８Ａは、光の反射により、食品ラベル４００に記載された文字が読み取りにくい画像である。この場合、対象領域が特定できても、文字認識は困難である可能性が高い。

この問題を解決するために、本実施の形態によれば、状態解析部２１５は、対象領域が画像のどの辺りであるかを把握し、その場所に応じて撮影条件を変更する。

図１９は、撮影された画像における設定変更用の区画を示す。例えば、対象領域が中央の区画以外に含まれる場合、照度不足、ピンボケなどの理由で、対象領域における文字認識が困難である可能性が高い。本実施の形態によれば、図１９に示す区画ごとに撮影条件を変更する。

図２０は、ハレーションの発生を防止するために、照明の配置および明るさを区画ごとに設定した表を示す。

図１８Ａに示す画像の場合、状態解析部２１５は、図２０に示す表に応じて、照明の配置を「ＳＬ０５−０７」に、明るさを４００ルクスに変更する。図１８Ｂは、新たに撮影された画像である。本実施の形態によれば、図１８Ｂに示すように、対象領域の文字がはっきりと撮影される。その結果、文字認識がより確実に行える。

（実施の形態５）
本開示の実施の形態５に係る加熱調理器について説明する。図２１は、加熱調理器１００ｅの斜視図である。図２１は、加熱室１０１内の中央に被加熱物１０７ｂが載置された状態を示す。図２１に示すように、被加熱物１０７ｂには、被加熱物１０７ａと異なって、食品ラベル４００が貼り付けられていない。

加熱調理器１００ｅは、実施の形態１に係る加熱調理器１００ａと同様の構成（図１〜図１０参照）を有する。ここでは構成に関する説明を省略する。

図２２は、加熱調理器１００ｅの動作を示すフローチャートである。図２２に示す処理では、被加熱物１０７ｂに対して物体認識が行われる。

図２２に示すように、ステップＳ２１０１において、庫内状態制御部２１３が、認識モードとして文字認識を選択する。庫内状態管理部２１４は、認識モードを管理する。

ステップＳ２１０２において、状態解析部２１５（図２参照）が、加熱調理器１００ｅの庫内状態を確認する。ステップＳ２１０３において、状態解析部２１５が、ドア１０４は閉まっていないと判定すると、処理はステップＳ２１０２に戻る。

ステップＳ２１０３において、状態解析部２１５が、ドア１０４は閉まっていると判定すると、ステップＳ２１０４において、状態解析部２１５は、認識モードに応じて文字認識、物体認識のどちらを用いるかを判定する。

初回は、認識モードが文字認識に設定されるため、ステップＳ２１０５において、庫内状態制御部２１３が、設定を文字認識用に変更し、撮影制御部２０４が、撮像部２０１により加熱室１０１内の画像を撮影する。

ステップＳ２１０６において、画像処理部２１６が、物体認識のための対象領域を特定する。ステップＳ２１０７において、認識部２１７が対象領域に対して文字認識を行う。

ステップＳ２１０８において、認識部２１７が、文字認識が正常に実施されたと判定すると、その結果に応じた調理設定の入力が自動的に行われる。ステップＳ２１０８において、認識部２１７が、対象領域の特定、文字認識のいずれかが正常に実施されていないと判断すると、ステップＳ２１０９において、認識モードとして物体認識が選択される。処理はステップＳ２１０２に戻る。

ステップＳ２１０２において、状態解析部２１５が、加熱調理器１００ｅの庫内状態を確認する。ステップＳ２１０３において、状態解析部２１５が、ドア１０４は閉まっていると判定すると、ステップＳ２１０４において、状態解析部２１５は、認識モードを確認する。処理はステップＳ２１１０に進む。

今回は、認識モードが物体認識に設定されるため、ステップＳ２１１０において、庫内状態制御部２１３が、設定を物体認識用に変更し、撮影制御部２０４が、撮像部２０１により加熱室１０１内の画像を撮影する。

ステップＳ２１１１において、画像処理部２１６が、物体認識のための対象領域を特定する。ステップＳ２１１２において、認識部２１７が対象領域に対して物体認識を行う。

ステップＳ２１１３において、認識部２１７が、対象領域の特定、物体認識のいずれかが正常に実施されていないと判断すると、ステップＳ２１１４において、庫内状態制御部２１３が、手動による設定入力を使用者に催促する。状態解析部２１５がメニュー選択部１０３を介した入力を認識すると、その入力に応じた設定が行われる。

ステップＳ２１１３において、認識部２１７が、物体認識が正常に実施されたと判断すると、その結果に応じた調理設定の入力が自動的に行われる。

ステップＳ２１１３またはＳ２１１４において設定入力が終了すると、ステップＳ２１１５において、庫内状態制御部２１３が、スタートボタンを点灯させるなどにより使用者に調理開始を催促する。状態解析部２１５がスタートボタンの押下を認識すると、加熱制御部２１２が、設定に応じた調理を開始するように加熱部２０９を制御する。

ステップＳ２１１６において、庫内状態制御部２１３が、被加熱物１０７ｂが所定の状態となるまで庫内状態を確認し続ける。被加熱物１０７ｂが所望の状態となると、加熱制御部２１２が調理を終了させる。

以上のように、本実施の形態では、文字認識の場合と物体認識の場合とで異なる設定で撮影するため、高精度の画像認識を行うことができる。

（実施の形態６）
本開示の実施の形態６に係る加熱調理システムについて説明する。

本実施の形態は、実施の形態１に係る加熱調理器１００ａと同様の構成（図１〜図１０参照）を有する加熱調理器１００ｆを含む。

加熱調理器１００ｆにおいて加熱調理器１００ａと異なるのは、ネットワークを介して、携帯端末や外部サーバなどの情報処理装置に接続するために通信部が設けられ、制御部２００が、状態解析部２１５、画像処理部２１６、認識部２１７の機能を持たないことである。

本実施の形態では、情報処理装置が、状態解析部２１５、画像処理部２１６、認識部２１７の機能を実施する。

そのために、情報処理装置は、通信部と制御部とを備える。情報処理装置の通信部は、加熱調理器１００ｆの通信部から加熱室１０１内の画像を受信する。情報処理装置の制御部は、受信した画像を解析することにより、加熱室１０１内の状態を確認する。情報処理装置の制御部は、加熱室１０１内の状態に応じて撮影条件を設定する。情報処理装置の通信部は、設定した撮影条件を加熱調理器１００ｆの通信部に送信する。

本実施の形態によれば、画像認識は外部の情報処理装置によって行われる。すなわち、加熱調理器１００ｆと情報処理装置とにより、加熱調理システムが構成される。

本加熱調理システムにおいて、状態解析部２１５、画像処理部２１６、認識部２１７だけでなく、情報処理装置が、制御部２００に含まれる他の構成要素の機能を実施するように構成されてもよい。

携帯端末に設けられた表示部が加熱室内の画像を表示するように構成されてもよい。携帯端末に設けられた表示部が、携帯端末または外部サーバにより認識された物体の形状、文字、および、バーコードを表示するように構成されてもよい。加熱調理器に設けられた表示部が、認識された物体の形状、文字およびバーコードを表示するように構成されてもよい。

本開示は、コンビニエンスストア、ケータリング業者などのための業務用の加熱調理器、家庭用の加熱調理器において利用可能である。

１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅ，１００ｆ 加熱調理器
１０１ 加熱室
１０２ 表示部
１０３ メニュー選択部
１０４ ドア
１０５，１０５ａ，１０５ｂ，１０５ｃ，１０５ｄ 照明
１０６ カメラ
１０７ａ，１０７ｂ 被加熱物
２００ 制御部
２０１ 撮像部
２０２ 撮影設定部
２０３ 撮影情報管理部
２０４ 撮影制御部
２０５ 照明装置
２０６ 照明設定部
２０７ 照明情報管理部
２０８ 照明制御部
２０９ 加熱部
２１０ 加熱設定部
２１１ 加熱情報管理部
２１２ 加熱制御部
２１３ 庫内状態制御部
２１４ 庫内状態管理部
２１５ 状態解析部
２１６ 画像処理部
２１７ 認識部
３０１，３０２，４０１ 対象領域
４００ 食品ラベル

本開示の第５の態様の加熱調理器によれば、第１の態様において、画像認識が所定回数失敗するまで、制御部は、前記画像を再度撮影するための撮影条件の変更を反復する。

本開示の第９の態様の加熱調理器の制御方法は、第７の態様における撮影条件を変更するステップにおいて、画像認識が所定回数失敗するまで、撮影条件の変更を反復する。

初回は、認識モードが文字認識に設定されるため、ステップＳ２１０５において、庫内状態制御部２１３が、撮影条件を文字認識用に変更し、撮影制御部２０４が、撮像部２０１により加熱室１０１内の画像を撮影する。

今回は、認識モードが物体認識に設定されるため、ステップＳ２１１０において、庫内状態制御部２１３が、撮影条件を物体認識用に変更し、撮影制御部２０４が、撮像部２０１により加熱室１０１内の画像を撮影する。

ステップＳ２１１３またはＳ２１１４において調理設定の入力が終了すると、ステップＳ２１１５において、庫内状態制御部２１３が、スタートボタンを点灯させるなどにより使用者に調理開始を催促する。状態解析部２１５がスタートボタンの押下を認識すると、加熱制御部２１２が、設定に応じた調理を開始するように加熱部２０９を制御する。

Claims (11)

1. 被加熱物を収容する加熱室と、
   前記加熱室内の画像を撮影する撮像部と、
   前記画像の撮影のための撮影条件を設定し、前記画像に対して画像認識を行う制御部と、
   を備え、
   前記制御部は、前記画像を解析することにより前記加熱室内の状態を確認し、前記加熱室内の状態に応じて前記撮影条件を変更する加熱調理器。
2. 前記加熱室内の照明を行う照明装置をさらに備え、
   前記撮影条件が、前記撮像部のための設定と前記照明装置のための設定とを含む請求項１に記載の加熱調理器。
3. 前記制御部は、前記画像において前記画像認識の対象領域を特定し、変更された撮影条件で再度撮影された前記画像における前記対象領域に対して前記画像認識を行う請求項１に記載の加熱調理器。
4. 前記変更された撮影条件が前記画像の鮮明さであり、前記制御部が、前記画像認識のための前記画像の撮影時における前記画像の鮮明さを、前記対象領域の特定のための前記画像の撮影時における前記画像の鮮明さより高く設定する請求項３に記載の加熱調理器。
5. 前記画像認識が所定回数失敗するまで、前記制御部は、前記撮影条件を変更し、前記画像を再度撮影する請求項１に記載の加熱調理器。
6. 前記画像認識は、文字認識と物体認識とを含み、
   前記制御部は、前記物体認識のための前記画像を撮影するために、前記文字認識のための前記画像を撮影するときの前記撮影条件と異なる前記撮影条件を設定する請求項１に記載の加熱調理器。
7. 被加熱物を収容する加熱室内の画像を解析することにより前記加熱室内の状態を確認するステップと、前記加熱室内の状態に応じて前記画像の撮影のための撮影条件を変更するステップと、変更された撮影条件で撮影された前記画像に対して画像認識を行うステップと、を有する加熱調理器の制御方法。
8. 被加熱物を収容する加熱室内の画像において画像認識の対象領域を特定するステップをさらに有し、
   前記画像認識を行うステップにおいて、変更された前記撮影条件で撮影された前記画像における前記対象領域に対して前記画像認識を行う請求項７に記載の加熱調理器の制御方法。
9. 前記撮影条件を変更するステップにおいて、前記画像認識が所定回数失敗するまで、前記撮影条件を変更する請求項７に記載の加熱調理器の制御方法。
10. 前記画像認識は、文字認識と物体認識とを含み、
    前記撮影条件を変更するステップにおいて、前記物体認識のための前記画像を撮影するために、前記文字認識のための前記画像を撮影するときの前記撮影条件と異なる前記撮影条件を設定する請求項７に記載の加熱調理器の制御方法。
11. 加熱調理器と情報処理装置を含む加熱調理システムであって、
    前記加熱調理器は、
    被加熱物を収容する加熱室と、
    前記加熱室内の画像を撮影する撮像部と、
    前記画像の撮影のための撮影条件を設定する制御部と、
    前記撮像部で撮影した画像および前記制御部で設定する撮影条件を通信する通信部と、を備え、
    前記情報処理装置は、
    前記画像および前記撮影条件を通信する通信部と、
    前記通信部で受信した前記画像を解析することにより、前記加熱室内の状態を確認し、前記加熱室内の状態に応じて前記撮影条件を設定し、設定した前記撮影条件を前記通信部により送信する制御部と、を備える加熱調理システム。