JP6909954B2 - 加熱調理器 - Google Patents

Description

本開示は、食品等を加熱調理するための加熱調理器に関する。

従来の加熱室を有する加熱調理器には、被加熱物である食品の大きさ等を確認できるようにするために、加熱室内を撮像する撮像部が設けられているものがある（例えば、特許文献１参照）。

また、従来の加熱室を有する加熱調理器においては、被加熱物である食品の状態等を確認できるようにするために、撮像部で撮影した画像を基に、被加熱物の色の変化が抽出され、調理中の食品状態である食品の焦げ具合等が認識され、判断される（例えば、特許文献２参照）。

実開昭５９−４０７１４号公報 特開２００１−２７２０４５号公報

本開示は、上記のような課題に鑑みてなされたものであり、使用者の操作負担を軽減し、利便性を損なわずに、使用者が意図する被加熱物の輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図している輪郭を得ることが可能な加熱調理器を提供する。

すなわち、本開示の実施の形態の一例による加熱調理器は、被加熱物を加熱する加熱部と、被加熱物を収納する加熱室と、加熱室内に光を照射する照明部と、加熱室内の画像を撮影する撮像部と、使用者に被加熱物の輪郭を表示する表示部と、撮像部から被加熱物の画像を取得する画像取得部とを備える。本開示の実施の形態の一例による加熱調理器は、さらに、画像取得部で得られた画像を用いて被加熱物の複数の輪郭候補を生成する輪郭候補生成部と、輪郭候補生成部で生成された複数の輪郭候補から表示部に表示する輪郭を決定する提示輪郭決定部と、提示輪郭決定部により決定された輪郭を表示部に表示させる制御部とを備える。

このような構成によれば、工学的には、撮影された画像から、多数のバリエーションの輪郭が作成され得る被加熱物の輪郭の中から、使用者に対して提示されるのに相応しい輪郭が提示輪郭決定部により決定される。そして、提示輪郭決定部により決定された輪郭が、表示される優先順位がつけられて、表示部を通して使用者に提示される。さらに、本開示の実施の形態の一例による加熱調理器は、優先順位がつけられて使用者に提示された輪郭について、使用者の承認を求めるよう構成されている。よって、このような構成により、使用者の意図にあった正しい輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図している正しい輪郭が取得され、正しい輪郭に基づき、被加熱物に適した加熱処理が行われることが可能となる。

なお、カメラ等の撮像部で撮影された画像（撮像データ）を基に、コンピュータ等により撮像データ解析を行い、撮影対象の輪郭を作成すると、膨大なバリエーションの輪郭が作成される。しかしながら、本開示によれば、膨大なバリエーションの輪郭の中から、優先順位に則って輪郭候補を使用者に提示し、使用者の判断を仰ぐことにより、使用者が意図する被加熱物の輪郭が得られる加熱調理器を提供することができる。

図１は、本開示の実施の形態１における加熱調理器の主要部の概略構成を示す図である。 図２は、本開示の実施の形態１の加熱調理器における輪郭作成の手順を説明する図である。 図３は、本開示の実施の形態１の加熱調理器における輪郭提示の流れを説明する図である。 図４は、本開示の実施の形態１の加熱調理器における輪郭活用方法を説明するフローチャートである。 図５は、本開示の実施の形態２における加熱調理器の主要部の概略構成を示す図である。 図６は、本開示の実施の形態２の加熱調理器における輪郭提示の流れを説明する図である。 図７は、本開示の実施の形態３における加熱調理器の主要部の概略構成を示す図である。 図８は、本開示の実施の形態４における加熱調理器の主要部の概略構成を示す図である。

発明者らは、検討の結果、上述したような従来の加熱調理器には、以下のような問題点があることを見出した。すなわち、上述したような従来の加熱調理器においては、画像認識の際に、被加熱物が載置される状況が非常に多様であることが考慮されていない。すなわち、撮像部で撮影された画像において、背景色を構成する被加熱物の載置部が、被加熱物と同じ色だったり、被加熱物と似た色または形をしていたり、被加熱物の立体形状により複雑な影が発生したりするなど、被加熱物が載置される状況は多様であるが、これが画像認識の際に考慮されていない。

例えば、従来の加熱調理器は、被加熱物を示す輪郭を認識する際、「背景色と被加熱物の色との一致による、背景と被加熱物とが一体化した輪郭」、「被加熱物以外の輪郭」、および、「被加熱物への光の当たり方の影響で作成される影の輪郭」など、使用者が意図しない輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図していない輪郭を、被加熱物の輪郭と誤認識する可能性がある。

また、従来の加熱調理器は、被加熱物の色の変化により食品の状態を判断する場合には、被加熱物から出た汁などを焦げ色と誤認したり、加熱による形状変化により新たに発生した影を焦げ色と誤認識したりする。

これに対して、本開示の実施の形態の一例による加熱調理器は、被加熱物を加熱する加熱部と、被加熱物を収納する加熱室と、加熱室内に光を照射する照明部と、加熱室内の画像を撮影する撮像部と、使用者に被加熱物の輪郭を表示する表示部と、撮像部から被加熱物の画像を取得する画像取得部とを備える。本開示の実施の形態の一例による加熱調理器は、さらに、画像取得部で得られた画像を用いて被加熱物の複数の輪郭候補を生成するための輪郭候補生成部と、輪郭候補生成部で得られた複数の輪郭候補から表示部に表示する輪郭を決定する提示輪郭決定部と、提示輪郭決定部により決定された輪郭を表示部に表示させる制御部とを備える。

このような構成によれば、工学的には、撮影された画像から、多数のバリエーションの輪郭が作成され得る被加熱物の輪郭の中から、使用者に対して提示されるのに相応しい輪郭が提示輪郭決定部により決定される。そして、提示輪郭決定部により決定された輪郭が、表示される優先順位がつけられて、表示部を通して使用者に提示される。さらに、本開示の実施の形態の一例による加熱調理器は、優先順位がつけられて使用者に提示された輪郭について、使用者の承認を求めるよう構成されているため、使用者の意図にあった正しい輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図している正しい輪郭が取得され、正しい輪郭に基づき、被加熱物に適した加熱処理が行われることが可能となる。

また、本開示の実施の形態の一例による加熱処理装置は、表示部に表示された輪郭が使用者により承認されない場合、表示輪郭決定部により、別の輪郭候補が表示部に表示されるよう構成されていてもよい。

このような構成によれば、使用者の操作負担を軽減した上で正しい輪郭が取得され、正しい輪郭に基づき、被加熱物に適した加熱処理が行われることができる。

また、本開示の実施の形態の一例による加熱処理装置は、表示部に表示された輪郭が使用者により承認されない場合、提示輪郭決定部により、表示された被加熱物の輪郭のうちの一部について、承認または非承認の部分選択を促す入力画面が表示部に表示されるよう構成されていてもよい。

このような構成によれば、使用者の操作負担を軽減した上で、より正確な輪郭を取得することができ、正確な輪郭に基づき、被加熱物に適した加熱処理が行われることができる。

また、本開示の実施の形態の一例による加熱処理装置は、輪郭候補生成部が、画像取得部で得られた被加熱物の画像の画像情報のパラメータを変更し、変更された画像情報のパラメータに基づき、被加熱物の複数の輪郭候補を生成するよう構成されていてもよい。

このような構成によれば、照明部の照射光で発生する被加熱物の影による影響が低減された輪郭が生成されるため、影の影響が低減された輪郭が使用者に提示されることが可能となる。

また、本開示の実施の形態の一例による加熱処理装置は、照明部により加熱室内に光を照射する複数の照明パターンが記憶された照明パターン記憶部をさらに備えていてもよい。この場合、提示輪郭決定部は、複数の照明パターンで照射された光の下で撮影された被加熱物の撮影画像を用いて、輪郭候補生成部により生成された輪郭候補から、使用者に対して提示する輪郭を決定するよう構成されていてもよい。

このような構成によれば、照明部の照射光で発生する被加熱物の影による影響が物理的に低減された輪郭が生成され、影の影響が低減された輪郭が使用者に提示されることが可能となる。

また、本開示の実施の形態の一例による加熱処理装置は、複数の調理メニュー、および、複数の調理メニューごとに想定される被加熱物の情報が記憶される、調理メニュー記憶部をさらに備えていてもよい。この場合、輪郭候補生成部は、調理メニューごとに想定される被加熱物の情報を基に、表示部に表示する輪郭候補を決定するよう構成されていてもよい。

このような構成によれば、調理メニューにより予測される輪郭が表示部に表示されて使用者に提示されるので、正確な輪郭が生成される。これにより、より正確な輪郭が使用者に提示されることが可能となる。

本開示によれば、輪郭候補生成部により生成される複数の輪郭の中から、使用者に提示する輪郭候補が提示輪郭決定部により判定され、提示される優先順位も付けられた輪郭が、表示部を通して使用者に提示され、使用者に承認を求めることができる。これにより、使用者の操作負担を軽減し、利便性を損なわずに、使用者が意図する被加熱物の輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図する輪郭の取得が可能となる。

以下、本開示の実施の形態の例について、図面を参照しながら説明する。なお、この実施の形態によって本開示が限定されるものではない。

（実施の形態１）
図１は、本開示の実施の形態１における加熱調理器の主要部の概略構成を示す図である。

図１に示すように、加熱調理器１１１は、被加熱物１１０を内部に収納する加熱室１０２を備える。また、加熱調理器１１１は、ヒータ、マグネトロン、または、蒸気発生器などで構成される加熱部１０１を有し、加熱部１０１により被加熱物１１０を加熱調理できるように構成されている。

本実施の形態の加熱調理器１１１においては、加熱室１０２は、壁面（上壁面、左壁面、奥壁面、右壁面および底壁面）とドア（図示せず）とから構成された略直方体形状を有する。加熱室１０２は、例えば、幅が４００ｍｍ、および、奥行きが３００ｍｍの寸法を有する。加熱室１０２の壁面は、例えば、ホウロウ鋼板、ステンレス鋼板または塗装鋼板などの材料が用いられて形成されている。加熱室１０２の正面から向かって左壁面には、カメラを有する撮像部１０４が設けられている。撮像部１０４は、加熱室１０２の左壁面に設けられた、部分的に絞り加工で形成された斜面に配設されている。また、撮像部１０４は、カメラで加熱室１０２内部の被加熱物１１０を撮影できるよう、被加熱物１１０を見下ろすような位置および姿勢で、加熱室１０２の左壁面に設けられた斜面に配設されている。

また、加熱室１０２の壁面には、例えばＬＥＤによって構成された照明部１０３ａ〜１０３ｄが配設されている。本実施の形態の加熱調理器１１１は、照明部１０３ａ〜１０３ｄにより、加熱室１０２の内部にある被加熱物１１０を撮像部１０４で撮影するための光量を確保している。

制御部１０９は、例えば、ＣＰＵ、メモリ、および、入出力インターフェース等を有するマイクロコンピュータ（図示せず）を用いて構成される。制御部１０９は、その内部に、画像取得部１０６、輪郭候補生成部１０７、および、提示輪郭決定部１０８を有している。

画像取得部１０６は、撮像部１０４と電気的に接続され、撮像部１０４により撮影され取得された加熱室１０２内の画像データを取得する。

輪郭候補生成部１０７は、画像取得部１０６により取得された画像を基に、複数の輪郭候補を生成する。

表示部１０５は、制御部１０９と電気的に接続された液晶ディスプレイ等で構成され、画像取得部１０６を通して得られた加熱室１０２内の画像、および、提示輪郭決定部１０８で決定された輪郭等を使用者に提示する。

以上のように構成された加熱調理器１１１について、以下その動作および作用を説明する。なお、以下の説明においては、基本的な動作から応用までの内容を下記の順番で説明する。

［１］被加熱物１１０の輪郭生成プロセスおよび輪郭提示の課題
［２］輪郭決定プロセス
［３］加熱調理器１１１の全体動作
［４］輪郭の活用方法
また、以下の説明においては、基本的に画像取得部１０６が取得する画像を、光の３原色であるＲｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）をそれぞれ８ビット（０〜２５５）で表現する、２４ビットカラーの画像として説明する。

画像データの色については、（Ｒ，Ｇ，Ｂ）＝（Ｒ数値、Ｇ数値、Ｂ数値）（以下、ＲＧＢの数値またはＲＧＢ値と称する）として表現する。ＲＧＢの数値が０のときは黒色となり、ＲＧＢの数値が２５５に近づくほど各色が純粋な色となり、ＲＧＢを混合することで約１６７７万通りの色を表現できる。例えば、ＲＧＢ＝（２５５，０，０）は赤色、ＲＧＢ＝（２５５，２５５，０）は赤と緑が混合されてできる黄色、ＲＧＢ＝（０，０，０）は黒色、および、ＲＧＢ＝（２５５，２５５，２５５）は白色になる。

［１］被加熱物１１０の輪郭生成プロセスおよび輪郭提示の課題
図２は、本開示の実施の形態１の加熱調理器における輪郭作成の手順を説明する図である。

図２を用いて、被加熱物１１０の撮影画像２０１から輪郭画像２０４ａ，２０４ｂを得るプロセスを説明する。まず、撮影画像２０１をグレースケール化画像２０２（例えば、８ビットグレースケール）に変換した後、グレースケールの階調から、グレースケール化画像２０２を２値化するための閾値（２値化閾値）を定める（例えば、８ビットグレースケールの場合は、２５６階調のうち中央値である１２８など）。そして、閾値以上を白色、閾値より下を黒色と設定することで、２値化画像２０３ａ，２０３ｂを取得する。得られた２値化画像２０３ａ，２０３ｂにおいて、白と黒との境界を繋ぐ境界線が描かれる。このようにして、被加熱物１１０の輪郭画像２０４ａ，２０４ｂを取得することができる。

ここで課題となるのは、２値化画像２０３ａ，２０３ｂを取得する際の閾値（２値化閾値）の選択によって、輪郭は多様に変化することである。閾値ａによる２値化画像２０３ａから得られた輪郭画像２０４ａと、閾値ｂによる２値化画像２０３ｂから得られた輪郭画像２０４ｂとは、どちらが正しい輪郭であるかを、画像処理結果として出力される輪郭画像２０４ａ，２０４ｂの正当性から判断するのは困難である。一方で、被加熱物１１０を普通に撮影した撮影画像２０１は、当然多くの階調を含んでいるため、工学的にはグレースケールの階調数の輪郭バリエーションが存在することになる。

輪郭が画一的な条件で得られるように、閾値を１つに固定してしまうと、被加熱物１１０が戴置される戴置部を構成する白いクッキングシートの上に、パン生地のような白い被加熱物１１０が置かれているような場合には、被加熱物１１０が背景となる白いクッキングシートと一体化してしまい、正しい輪郭が得られなくなる。

よって、正しい輪郭候補を得るためには、表示部１０５により輪郭候補を使用者に提示して、提示された輪郭が、被加熱物１１０の正しい輪郭であるかが、使用者により確認されるステップを踏む必要がある。

一般に、加熱調理器において、使用者の確認なく輪郭が取得されて、自動で画像認識等の処理がなされた場合は、少なくない頻度で、使用者の意図から外れた輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図している輪郭とは異なる輪郭として誤って認識され、加熱調理器が誤動作を起こす可能性がある。そこで、加熱調理器は、使用者により正しい輪郭候補が提示されているかが確認されるステップにおいて、使用者の操作負担を減らす仕組みを持つことが重要となる。

本実施の形態の加熱調理器１１１においては、輪郭候補生成部１０７により輪郭バリエーション（複数の輪郭候補）が生成される。また、本実施の形態の加熱調理器１１１は、提示輪郭決定部１０８により、撮影画像２０１が取得されたときの状況（撮影状況）に合わせた輪郭が、使用者に提示される優先順位が考慮されて、表示部１０５を通じて使用者に提示され、使用者の承認を求めるよう構成されている。すなわち、本実施の形態の加熱調理器１１１は、使用者により正しい輪郭候補が提示されているかが確認される際、使用者の操作負担を低減するよう構成されている。

［２］輪郭決定プロセス
制御部１０９が、提示輪郭決定部１０８に閾値決定の指示を出すと、提示輪郭決定部１０８は、撮影画像２０１のＲＧＢ値の分布を確認し、撮影画像２０１がＲＧＢ値の数値が高めの明るい画像（ＲＧＢ＝（２５５，２５５，２５５）が最も明るい白色を示す）であるか、ＲＧＢ値の数値が低めの暗い画像（ＲＧＢ＝（０，０，０）が最も暗い色である黒色を示す）であるかを判定する。

例えば、提示輪郭決定部１０８は、ＲＧＢ値２５６の中央値である１２８が、画像の明るさを判別するためのＲＧＢ値の基準値（基本閾値）として設定されている場合、撮影画像２０１の全画素数に対する、基本閾値（ＲＧＢ値１２８）を超えている画素数の割合を判定する。そして、提示輪郭決定部１０８は、その割合と、撮影された画像の明るさを判別するために予め設定された、画像の全画素数に対する、基本閾値を超えている画素数の割合の所定値とを比較することにより、撮影画像２０１が明るい画像であるか暗い画像であるかを判定する。このように提示輪郭決定部１０８により判定された情報が用いられることで、２値化閾値が適切に設定され、背景と被加熱物１１０とが一体化してしまうことを防ぐことができる。

提示輪郭決定部１０８は、基本閾値として、撮影画像２０１の白黒のバランスが同等の場合は中央値の閾値（例えば、ＲＧＢ値１２８）を選択し、撮影画像２０１の白色の割合が大きい場合は閾値を中央値より高く（例えば、ＲＧＢ値１６０）、黒色の割合が大きい場合は閾値を中央値より低く（例えば、ＲＧＢ値９６）設定する。

提示輪郭決定部１０８は、得られた基本閾値および基本閾値から所定値の間隔を有する閾値（例えば、ＲＧＢ値の基本閾値±２０または±４０）の２値化閾値を用いて、輪郭候補生成部１０７に、輪郭候補作成を行うように要求する。

輪郭候補生成部１０７は、提示輪郭決定部１０８において設定された閾値を用いて、上述したように、要求された閾値における複数の輪郭候補（本実施の形態においては、輪郭画像２０４ａ，２０４ｂ）を作成する。

なお、ここで得られる輪郭画像には、加熱室１０２の内部の絞り加工形状の輪郭が混ざっている。よって、被加熱物１１０が加熱室１０２の内部に入れられていないときに得られる、加熱室１０２内の輪郭（予め初期情報として記憶される）を、得られる輪郭画像から引き算することで、加熱室１０２の内部の絞り加工形状の輪郭の影響を除去する。

提示輪郭決定部１０８は、ここで得られた輪郭画像それぞれの輪郭個数と輪郭面積とを判定し、使用者に提示する輪郭画像の優先順位を決定する。例えば、提示輪郭決定部１０８は、得られた複数の輪郭画像において、１つの輪郭画像に含まれる輪郭の個数に違いがなければ、基本閾値における輪郭画像を第１候補とし、以下の候補は、基本閾値に近い閾値における輪郭画像を順に提示する（例えば、ＲＧＢ値＋２０、−２０、＋４０および―４０の順序）。得られた複数の輪郭画像候補において、基本閾値の輪郭画像における輪郭の個数が少ない場合は、提示輪郭決定部１０８は、被加熱物１１０と背景とが一体化して認識されている可能性があると判断し、輪郭の個数が多い輪郭画像の優先順位を高く設定する。

提示される輪郭画像の優先順位が確定したら、提示輪郭決定部１０８は、制御部１０９に輪郭画像を引き渡す。これにより、提示輪郭決定部１０８における輪郭決定プロセスが終了する。

なお、輪郭候補生成部１０７が輪郭候補を作成する際は、閾値の変更ではなく、撮影された画像情報のパラメータを変更することでも、上述した作用と同様の作用（例えば輪郭候補生成部１０７が輪郭候補を作成する作用）を得ることができる。例えば、閾値を一定にしたまま、撮影された画像情報のパラメータの一つである、ＲＧＢの各要素の数値を、Ｒ数値＋加算値、Ｇ数値＋加算値、および、Ｂ数値＋加算値というように、一律加算したり、Ｒ数値−減算値、Ｇ数値−減算値、およびＢ数値−減算値のように、一律減算したりすることで実現できる。

また、特に撮影画像において黒色の割合が大きい場合は、加熱調理器１１１における画像認識の際、黒い影による影響を受けやすくなる。このような場合は、ＲＧＢ値の小さい部分に一定掛け率を適用することで影の影響を緩和できる。例えば、ＲＧＢ値１００以下の値は、ＲＧＢ値を１．２倍にする。なお、ＲＧＢ値の最大値は１００とする。具体的には、例えば、ＲＧＢ＝（６０，９０，１００）に適用すると、ＲＧＢ値を１．２倍した演算結果は（７２，１０８，１２０）となるので、１００以上のＲＧＢ値を１００にすると（７２，１００，１００）となる。

以上のように、画像情報のパラメータを操作することにより、閾値を変更しなくても、暗い部分を薄めて影による影響を緩和することができる。

［３］加熱調理器１１１の全体動作
被加熱物１１０が加熱室１０２内に載置されると、制御部１０９は、画像取得部１０６に、撮像部１０４が撮影している被加熱物１１０の画像を取得させる。制御部１０９は、取得された被加熱物１１０の撮影画像を、提示輪郭決定部１０８に引き渡し、提示輪郭決定部１０８に対し、使用者に提示される輪郭（提示輪郭）およびその提示順序の決定を要求する。

提示輪郭決定部１０８は、上述した動作により、輪郭候補生成部１０７で生成された輪郭画像を用いて、使用者に提示される提示輪郭を、優先順位と共に決定し、制御部１０９に引き渡す。

制御部１０９は、図３に示すように、提示輪郭を有する提示画像３０１〜３０３を、優先順位に従って、表示部１０５を通して使用者に提示し、使用者から承認を受けることで、使用者の意図する輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図する輪郭を得る。

なお、ここでは使用者に分かり易いように、提示輪郭が撮影画像に重ねられて表示されている（図３参照）。また、図３においては、候補１の提示画像３０１、候補２の提示画像３０２、候補３の提示画像３０３を示している。

使用者目線でみれば明らかなように、図３に示す例では、候補２の提示画像３０２が正しい輪郭を示している（提示画像３０１および提示画像３０３は、被加熱物１１０の影が、被加熱物１１０の輪郭の一部として誤認識されている）。よって、提示画像３０２が使用者により承認される。

制御部１０９は、このようにして得られた輪郭（提示画像３０２の輪郭）を初期輪郭として、初期輪郭を基に、加熱部１０１により被加熱物１１０の加熱を行う。また、制御部１０９は、初期輪郭からの輪郭変化および輪郭内部の色の変化等をモニタすることで、輪郭を活用した加熱制御（加熱停止の判断等）を行う。

なお、使用者より非承認の回答を複数回受けた場合、何度も使用者に承認を求める方が使用者の利便性を阻害することに繋がる場合もある。この点を考慮し、加熱調理器１１１は、使用者が表示部１０５の画像をなぞる等の方法により、輪郭が直接決定されるよう構成されていてもよい。

［４］輪郭の活用方法
例えば、被加熱物１１０が加熱により膨張するパン生地である場合、輪郭の面積変化をモニタすることで、発酵完了の自動検出に活用することができる。図４を用いて、本実施の形態の加熱調理器１１１における輪郭の活用方法について説明する。

制御部１０９は、上述した動作により取得された被加熱物１１０の初期輪郭における輪郭個数から、被加熱物１１０であるパンの個体数を把握する。また、制御部１０９は、パンの個体を識別するための位置情報となる個体ごとの輪郭の重心と、パンの大きさを示す輪郭の面積（個体ごとに決定される輪郭の面積）とを取得する（ステップＳ４０１）。

加熱部１０１による加熱が開始されると、加熱によりパン生地の膨張がはじまる。制御部１０９は、ステップＳ４０５の判定条件が満たされるまで、所定時間（例えば５秒）が経過する毎に、Ｓ４０３、Ｓ４０４およびＳ４０５の各ステップを実行する動作を繰り返す（ステップＳ４０２）。そして、制御部１０９は、所定時間経過後の輪郭を取得し、得られた輪郭の個体ごとの重心と面積とを演算する（ステップＳ４０３）。ここで、制御部１０９は、輪郭の重心を基に個体の対応付けを行うことで、個体ごとの面積比（（面積比）＝（現面積）／（初期輪郭））を演算し（Ｓ４０４）、面積比と所定値（例えば、面積比が２倍）との比較を行う（Ｓ４０５）。これにより、所定値を超える場合に、制御部１０９は、パンの発酵完了の自動検出を行う。

このように、被加熱物１１０の輪郭の変化を追跡する場合、初期輪郭が正確に得られていることが、個体位置および大きさを把握する上で重要である。初期輪郭を正確に得るためには、上述の通り、使用者による操作負担を減らした上で、使用者に輪郭候補を提示し承認を得ることが、間違いのない自動処理を行う上でも、使用者の安心感を得る上でも、必要である。

以上説明したように、本実施の形態の加熱調理器１１１においては、工学的には多数のバリエーションが作成可能な輪郭の中から、使用者に提示するのに相応しい輪郭が、提示輪郭決定部１０８により決定される。そして、本実施の形態の加熱調理器１１１は、提示輪郭決定部１０８により決定された提示輪郭が、表示部１０５を通して、優先順位が考慮されて使用者に提示され、使用者の承認を求めるよう構成されている。このような構成により、使用者の意図にあった正しい輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図している輪郭に基づき、被加熱物１１０に適した加熱調理が行われることができる。

また、本実施の形態の加熱調理器１１１において、表示部１０５を通して提示された輪郭が使用者から承認されない場合は、制御部１０９は、提示輪郭決定部１０８が決定した、使用者に提示する優先順位に従って、別の輪郭候補を、表示部１０５に表示させる。このような構成により、使用者の操作負担を軽減した上で正しい輪郭が取得され、被加熱物１１０に適した加熱調理が行われることが可能となる。

また、本実施の形態の加熱調理器１１１は、輪郭候補生成部１０７が、撮影された画像情報のパラメータ（ＲＧＢ値など）を変更することで、被加熱物１１０の複数の輪郭候補が生成されるよう構成されている。このような構成により、照明部１０３ａ〜１０３ｄの照射光で発生する被加熱物１１０の影による影響が低減された輪郭生成が行われる。

なお、本実施の形態では、加熱調理器１１１が、照明部として、４つの照明部１０３ａ〜１０３ｄを有する例を用いて説明したが、加熱調理器１１１に、１つの照明部（例えば、照明部１０３ａ）だけ配設されていてもよいし、２つまたは３つの照明部が配設されていてもよいし、５つ以上の照明部が配設されていても構わない。

（実施の形態２）
以下、本開示の実施の形態２の加熱調理器１１２について、図５および図６を用いて説明する。

図５は、本開示の実施の形態２における加熱調理器の主要部の概略構成を示す図である。図６は、本開示の実施の形態２の加熱調理器における輪郭提示の流れを説明する図である。

本開示の実施の形態２の加熱調理器１１２において、実施の形態１の加熱調理器１１１と大きく異なる点は、表示部１０５を通して使用者に提示された輪郭が使用者から承認されない場合、提示輪郭決定部５０８が、表示部１０５に表示された被加熱物１１０の輪郭の少なくとも一部について、使用者に承認または非承認の部分選択を促すように構成されている点である。より具体的には、提示輪郭決定部５０８が、表示部１０５に表示された被加熱物１１０の輪郭の少なくとも一部について、使用者により非承認されたときに、複数ある輪郭の中で非承認である部分の選択（部分選択）を促す入力画面を表示部に表示させるよう構成されている。

以下の本開示の実施の形態２の加熱調理器１１２の説明においては、実施の形態１の加熱調理器１１１における構成要素と同じ機能または構成を有するものには、同じ符号を付し、その詳細な説明はここでは省略し、実施の形態１における説明を適用する。また、提示輪郭決定部５０８は、以下に特に述べる部分以外は、実施の形態１の加熱調理器１１１における提示輪郭決定部１０８と同様の構成および機能を有している。

本開示の実施の形態２の加熱調理器１１２においては、提示輪郭決定部５０８が、表示部１０５に提示輪郭を提示し、使用者の意図にあった正しい輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図している輪郭を取得する。

具体的には、図６に示すように、表示部１０５を通して使用者に提示された輪郭が、使用者から非承認された場合（提示画像６０１参照）、制御部１０９は、提示輪郭決定部５０８に、次の優先順位の提示輪郭を提示するよう要求する。提示輪郭決定部５０８は、次の優先順位の提示輪郭における輪郭数および輪郭内面積を、非承認輪郭の輪郭数および輪郭内面積と比較する。

非承認輪郭の輪郭数および輪郭面積が、次の優先順位の提示輪郭と殆ど差がない場合（例えば、次の優先順位の提示輪郭および非承認輪郭の、輪郭数が同数で、輪郭面積の相違が１０％以下）、制御部１０９は、適用する閾値が部分的に不適切になっていると判断する。この場合、提示輪郭決定部５０８は、制御部１０９を通して、使用者に提示された輪郭から、非承認輪郭を使用者に選択してもらう入力画面を、表示部１０５に表示させて、非承認輪郭を取得する（提示画像６０２参照）。

提示輪郭決定部５０８は、非承認輪郭付近（例えば、輪郭内の面積を３０％拡大した領域）の閾値を変更し、閾値が変更されたことにより輪郭内面積が変化した輪郭と、非承認となった輪郭とを取得する。そして、提示輪郭決定部５０８は、制御部１０９を通して、使用者に提示された画像における輪郭のうち、使用者に非承認とされた輪郭についてのみ、輪郭内面積が変更された輪郭を、次の候補として使用者に提示する（提示画像６０３参照）。

このように、本実施の形態の加熱調理器１１２は、表示部１０５を通して使用者に提示された被加熱物１１０の輪郭が使用者から承認されない場合、提示輪郭決定部５０８が、制御部１０９を通して、使用者に提示された被加熱物１１０の輪郭のうちの少なくとも一部について、使用者に承認または非承認の部分選択を促すよう構成されている。より具体的には、本実施の形態の加熱調理器１１２は、提示輪郭決定部５０８が、表示部１０５に表示された被加熱物１１０の輪郭の少なくとも一部について、使用者により非承認されたときに、複数ある輪郭の中で非承認である部分の選択（部分選択）を促す入力画面を表示部に表示させるよう、構成されている。

このような構成により、使用者の操作負担を軽減し、利便性を損なわずに、より正確な輪郭、すなわち、使用者が意図する被加熱物１１０の輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図する輪郭を取得することができる。これにより、正しい輪郭に基づき、被加熱物１１０に適した加熱調理が行われることが可能となる。

なお、非承認の回答を複数回受けた場合、何度も承認を求める方が使用者の利便性を阻害することに繋がる場合もある。このような点を考慮し、加熱調理器１１２は、使用者に表示部１０５の画像をなぞる等の方法で輪郭を直接選択させることにより、正しい輪郭を取得するよう構成されていてもよい。

（実施の形態３）
以下、本開示の実施の形態３の加熱調理器１１３について、図７を用いて説明する。本開示の実施の形態３の加熱調理器１１３において、実施の形態１の加熱調理器１１１と大きく異なる点は、加熱調理器１１３が、照明パターン記憶部７０１を備えていることと、提示輪郭決定部７０８が、照明パターンが変更された輪郭候補（異なる照明パターンで照射された光の下で撮影された画像に基づき生成された輪郭候補）から提示輪郭を決定するよう構成されていることである。

以下の本開示の実施の形態３の加熱調理器の説明においては、実施の形態１の加熱調理器１１１における構成要素と同じ機能または構成を有するものには、同じ符号を付し、その詳細な説明は個々では省略し、実施の形態１における説明を適用する。また、提示輪郭決定部７０８は、以下に特に述べる部分以外は、提示輪郭決定部１０８と同様の構成および機能を有している。

本開示の実施の形態３の加熱調理器１１３は、照明パターン記憶部７０１をさらに備えている。照明パターン記憶部７０１には、互いに異なる複数の照明パターンが記憶されている。

本実施の形態の加熱調理器１１３では、提示輪郭決定部７０８が、輪郭候補生成部１０７を用いて輪郭候補を生成する際、照明パターン記憶部７０１に記憶されている複数の照明パターンに基づき、制御部１０９に対し、異なる照明パターンによる複数の撮影画像を要求する。

例えば、照明パターン記憶部７０１が、照明パターンとして、［Ｐ１］全点灯（照明部１０３ａ〜１０３ｄ）、［Ｐ２］左側のみ点灯（照明部１０３ａ，１０３ｂ）、および、［Ｐ３］右側のみ点灯（照明部１０３ｃ，１０３ｄ）の３つの照明パターンを記憶している場合、加熱調理器１１３において、３つの照明パターンそれぞれで照射された被加熱物１１０の画像が、撮像部１０４により撮影され、画像取得部１０６により取得される。３つの照明パターンそれぞれで照射された被加熱物１１０の画像は、物理的に異なる方向から照射された光により発生する被加熱物１１０の影の方向（例えば、撮像部１０４から見たときの、被加熱物１１０の影の方向）が、互いに異なる。提示輪郭決定部７０８は、照明パターンの違いにより、異なる方向に発生する影を含む撮影画像に基づいて生成される輪郭を、判断材料とすることができる。このため、撮影された画像の暗い部分のどこが影なのかの推定が容易となる。これにより、提示輪郭決定部７０８が提示する輪郭から、影の影響を低減することができる。

以上説明したように、本実施の形態の加熱調理器１１３は、照明パターン記憶部７０１をさらに備えており、照明パターン記憶部７０１には、互いに異なる複数の照明パターンが記憶されている。また、本実施の形態の加熱調理器１１３においては、照明パターン記憶部７０１に記憶された複数の照明パターンに基づき、照明部１０３ａ〜１０３ｄにより照射された光の下で撮像部１０４により撮影された加熱室１０２内の画像に基づいて、提示輪郭決定部７０８が、輪郭候補を生成して提示輪郭を決定する。提示輪郭決定部７０８は、異なる照明パターンで照射された被加熱物１１０の撮影画像に基づき、異なる照明パターンそれぞれに対応する輪郭候補を生成して提示輪郭を決定する。このような構成により、照明部１０３ａ〜１０３ｄの照射光で発生する被加熱物１１０の影による影響が物理的に低減された輪郭が生成され、影による影響が低減された輪郭が使用者に提示されることができる。

（実施の形態４）
以下、本開示の実施の形態４の加熱調理器１１４について、図８を用いて説明する。実施の形態４の加熱調理器１１４において、実施の形態１の加熱調理器１１１と大きく異なる点は、複数の調理メニューおよび調理メニューごとに想定される被加熱物１１０の情報を記憶する、調理メニュー記憶部８０１を備えていることと、提示輪郭決定部８０８が、調理メニューごとに想定される被加熱物１１０の情報を基に提示する輪郭候補を決定するよう構成されていることである。

以下の本開示の実施の形態４の加熱調理器１１４の説明においては、実施の形態１の加熱調理器における構成要素と同じ機能または構成を有するものには同じ符号を付し、その詳細な説明はここでは省略し、実施の形態１における説明を適用する。また、提示輪郭決定部８０８は、以下に特に述べる部分以外は、実施の形態１の加熱調理器１１１における提示輪郭決定部１０８と同様の構成および機能を有している。

本開示の実施の形態４の加熱調理器１１４においては、提示輪郭決定部８０８が、輪郭候補生成部１０７を用いて輪郭候補を生成する際、調理メニュー記憶部８０１から、使用者が選択している調理メニューの情報から輪郭判断情報を取得する。輪郭判断情報としては、例えば、調理メニューが、クッキーであった場合は、撮影画像中に、相似形状の小型の輪郭が多数あるという情報、および、調理メニューが、ロールパンであった場合は、楕円状になった相似形状の中型の輪郭が複数あるという情報などが挙げられる。

本実施の形態の加熱調理器１１４においては、提示輪郭決定部８０８が、提示輪郭の優先順位を決定する際に、使用者により選択された調理メニューの調理条件にあう輪郭を選ぶよう構成されている。このような構成により、加熱調理器１１４において、使用者の意図にあった輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図する輪郭候補を提示する確率を向上させることができる。

以上説明したように、本実施の形態の加熱調理器１１４は、複数の調理メニューおよび調理メニューごとに想定される被加熱物の情報を記憶する調理メニュー記憶部８０１をさらに備えている。また、本実施の形態の加熱調理器１１４は、輪郭候補生成部１０７が、調理メニューごとに想定される被加熱物の情報を基に、使用者に提示する輪郭候補を決定するよう構成されている。このような構成により、調理メニューにより予測される輪郭を提示することができ、より正確な輪郭が生成および取得され、使用者に提示することができる。

以上述べたように、本開示は、使用者の操作負担を軽減し、利便性を損なわずに、使用者が意図する被加熱物の輪郭、すなわち、被加熱物の色または形等の変化を判断するための領域として使用者が意図する輪郭の取得が可能な加熱調理器を提供する。よって、加熱調理を行う、オーブン、グリル、および加熱スチーム等の加熱調理器の他、被加熱物の色変化および形状変化を認識することが有益に作用する乾燥装置および化学反応装置などの各種工業用途における加熱装置等にも適用できる。

１０１ 加熱部
１０２ 加熱室
１０３ａ〜１０３ｄ 照明部
１０４ 撮像部
１０５ 表示部
１０６ 画像取得部
１０７ 輪郭候補生成部
１０８，５０８，７０８，８０８ 提示輪郭決定部
１０９ 制御部
１１０ 被加熱物
１１１〜１１４ 加熱調理器
２０１ 撮影画像
２０２ グレースケール化画像
２０３ａ ２値化画像（閾値ａ）
２０３ｂ ２値化画像（閾値ｂ）
２０４ａ 輪郭画像（閾値ａ）
２０４ｂ 輪郭画像（閾値ｂ）
３０１ 提示画像（第１候補）
３０２ 提示画像（第２候補）
３０３ 提示画像（第３候補）
６０１ 提示画像
６０２ 提示画像
６０３ 提示画像
７０１ 照明パターン記憶部
８０１ 調理メニュー記憶部

Claims (4)

1. 被加熱物を加熱する加熱部と、
   被加熱物を収納する加熱室と、
   前記加熱室内に光を照射する照明部と、
   前記加熱室内の画像を撮影する撮像部と、
   前記被加熱物の輪郭を表示する表示部と、
   前記撮像部から前記被加熱物の画像を取得する画像取得部と、
   前記画像取得部で得られた前記被加熱物の前記画像を用いて、前記被加熱物の複数の輪郭候補を生成する輪郭候補生成部と、
   前記輪郭候補生成部で得られた前記複数の輪郭候補から、前記表示部に表示して使用者に提示される輪郭を有する提示画像を決定する提示輪郭決定部と、
   前記提示輪郭決定部により決定された前記輪郭を有する提示画像を前記表示部を通して使用者に提示し、使用者の承認を受ける 制御部とを備えた加熱調理器であって、
   前記提示輪郭決定部は、前記表示部に表示された前記輪郭を有する提示画像が使用者に承認されない場合、前記表示部に表示された前記被加熱物の前記輪郭のうちの一部について、非承認の部分選択を使用者に促す入力画面を前記制御部によって前記表示部に表示するよう構成され、使用者が選択した前記非承認の部分の輪郭が変更された輪郭を有する提示画像を、前記制御部により前記表示部を通して使用者に提示する加熱調理器 。
2. 前記輪郭候補生成部は、前記画像取得部で得られた前記被加熱物の前記画像の画像情報のパラメータを変更し、変更された前記画像情報のパラメータに基づき、前記被加熱物の複数の輪郭候補を生成するよう構成された
   請求項１記載の加熱調理器。
3. 前記照明部により前記加熱室内に光を照射する照明パターンが複数記憶された照明パターン記憶部をさらに備え、
   前記提示輪郭決定部は、前記複数の照明パターンで照射された光の下で撮影された前記被加熱物の撮影画像を用いて前記輪郭候補生成部により生成された輪郭候補から、提示輪郭を決定するよう構成された
   請求項１または２に記載の加熱調理器。
4. 複数の調理メニューおよび前記複数の調理メニューごとに想定される前記被加熱物の情報を記憶する調理メニュー記憶部をさらに備え、
   前記輪郭候補生成部は、前記複数の調理メニューごとに想定される前記被加熱物の前記情報を基に、前記表示部に表示する前記輪郭候補を決定するよう構成された
   請求項１から３のいずれか１項に記載の加熱調理器。

Images