JPWO2019159518A1 - 加熱調理器および加熱調理システム - Google Patents

Abstract

加熱調理器は、加熱庫と、加熱部と、制御部と、撮影部と、認識処理部と、認識書式記憶部と、認識書式判定部とを備える。加熱庫は、被加熱物を収容する。加熱部は、加熱庫内の被加熱物を加熱する。制御部は、被加熱物の加熱のための加熱制御情報に従って加熱部を制御する。撮影部は、加熱庫内の画像を撮影する。認識処理部は、画像から制御情報領域を検出するとともに、制御情報領域に含まれた認識対象を抽出する。認識書式記憶部は、制御情報領域に関連する閾値情報と、認識対象を解析するための認識書式とを関連付けて記憶する。認識書式判定部は、制御情報領域から抽出された特徴情報と閾値情報とに基づいて、認識書式を判定する。認識処理部は、認識書式判定部により判定された認識書式に基づいて、認識対象を解析し加熱制御情報を取得する。

Description

本開示は、加熱調理器内に設けられたカメラにより撮影された画像に基づいて食品を加熱する加熱調理器および加熱調理システムに関する。

加熱調理器の一例である電子レンジでは、使用者が、加熱時間などを入力し、加熱を開始させるためのボタンを押下すると、加熱が行われる。コンビニエンスストア、スーパーマーケットなどの店舗において、店員が、顧客が購入した弁当を電子レンジで加熱して提供することがある。

一般的に、店舗で販売される弁当の容器には、電子レンジによる最適な加熱時間が記載される。使用者である店員は、その記載を参照して、電子レンジの操作部に設けられた数字キーなどを操作して加熱時間を設定する。

電子レンジの操作部に設けられ、異なる加熱時間が割り当てられた複数の操作ボタンを操作することで、使用者が食品に適した加熱時間を設定する場合もある。

しかしながら、このような加熱時間の入力操作は、使用者にとって面倒である。このため、電子レンジに加熱時間などが自動的に設定される技術が提案されている（例えば、特許文献１参照）。

特許文献１に記載された技術では、加熱調理器に搭載されたカメラにより、調理前の被調理物が撮影される。撮影された画像から必要な情報が抽出されることで、最適な調理方法が選択される。

特開２０１６−１６６７２４号公報

しかしながら、上記従来の技術では、様々な大きさの容器や異なる加熱条件の食品について、被加熱物の量や加熱時間などの加熱制御情報を自動で設定することが難しい。

上記従来の問題を解決するために、本開示の一態様の加熱調理器は、加熱庫と、加熱部と、制御部と、撮影部と、認識処理部と、認識書式記憶部と、認識書式判定部とを備える。

加熱庫は、被加熱物を収容する。加熱部は、加熱庫内の被加熱物を加熱する。制御部は、被加熱物の加熱のための加熱制御情報に従って加熱部を制御する。

撮影部は、加熱庫内の画像を撮影する。認識処理部は、画像から制御情報領域を検出するとともに、制御情報領域に含まれた認識対象を抽出する。認識書式記憶部は、制御情報領域に関連する閾値情報と、認識対象を解析するための認識書式とを関連付けて記憶する。

認識書式判定部は、制御情報領域から抽出された特徴情報と閾値情報とに基づいて、認識書式を判定する。認識処理部は、認識書式判定部により判定された認識書式に基づいて、認識対象を解析し加熱制御情報を取得する。

本態様によれば、様々な認識書式に対応した加熱制御情報を読み取り、加熱時間などの加熱条件を自動で設定することができる。文字を記載する領域が小さい容器に入った食品にも対応することが可能であるため、食品の種類や大きさに関係なく、食品を自動的に加熱することができる加熱調理器を得ることができる。

図１は、本開示の実施の形態１に係る加熱調理器の外観を示す図である。 図２は、実施の形態１に係る加熱調理器の機能的構成を示すブロック図である。 図３Ａは、加熱される食品、および、その食品に貼付されたラベルの例を示す図である。 図３Ｂは、加熱される食品、および、その食品に貼付されたラベルの別の例を示す図である。 図３Ｃは、加熱される食品、および、その食品に貼付されたラベルの別の例を示す図である。 図３Ｄは、加熱される食品、および、その食品に貼付されたラベルの別の例を示す図である。 図４Ａは、実施の形態１における制御情報領域の一例を示す図である。 図４Ｂは、実施の形態１における制御情報領域の別の一例を示す図である。 図４Ｃは、実施の形態１における制御情報領域の別の一例を示す図である。 図４Ｄは、実施の形態１における制御情報領域の別の一例を示す図である。 図４Ｅは、実施の形態１における制御情報領域の別の一例を示す図である。 図４Ｆは、実施の形態１に係る加熱調理器での画像認識処理における制御情報領域の一例を示す図である。 図４Ｇは、実施の形態１に係る加熱調理器での画像認識処理における制御情報領域の別の一例を示す図である。 図４Ｈは、実施の形態１に係る加熱調理器での画像認識処理における制御情報領域の別の一例を示す図である。 図５は、実施の形態１における認識書式テーブルを示す図である。 図６は、実施の形態１に係る加熱調理器における画像認識処理のフローチャートである。 図７は、本開示の実施の形態２に係る加熱調理器の機能的構成を示すブロック図である。 図８は、撮影された画像における変形した制御情報領域を示す図である。 図９は、実施の形態２における認識書式テーブルを示す図である。 図１０は、実施の形態２に係る加熱調理器における画像認識処理のフローチャートである。

本開示の第１の態様の加熱調理器は、加熱庫と、加熱部と、制御部と、撮影部と、認識処理部と、認識書式記憶部と、認識書式判定部とを備える。

加熱庫は、被加熱物を収容する。加熱部は、加熱庫内の被加熱物を加熱する。制御部は、被加熱物の加熱のための加熱制御情報に従って加熱部を制御する。

撮影部は、加熱庫内の画像を撮影する。認識処理部は、画像から制御情報領域を検出するとともに、制御情報領域に含まれた認識対象を抽出する。認識書式記憶部は、制御情報領域に関連する閾値情報と、認識対象を解析するための認識書式とを関連付けて記憶する。

認識書式判定部は、制御情報領域から抽出された特徴情報と閾値情報とに基づいて、認識書式を判定する。認識処理部は、認識書式判定部により判定された認識書式に基づいて、認識対象を解析し加熱制御情報を取得する。

本開示の第２の態様の加熱調理器では、第１の態様に加えて、認識書式記憶部は、制御情報領域の形状に基づく情報を閾値情報として記憶する。認識書式判定部は、画像から抽出された、制御情報領域の形状に基づく情報を特徴情報として用いて認識書式を判定する。

本開示の第３の態様の加熱調理器では、第２の態様に加えて、認識書式判定部は、画像から抽出された、長方形形状を有する制御情報領域の縦横比率を特徴情報として用いて認識書式を判定する。

本開示の第４の態様の加熱調理器では、第３の態様に加えて、認識処理部は、画像における制御情報領域の位置に応じて、制御情報領域の形状を補正する。

本開示の第５の態様の加熱調理器では、第３の態様に加えて、認識書式記憶部は、閾値情報として、制御情報領域の寸法をさらに記憶する。認識書式判定部は、縦横比率と前記寸法とを特徴情報として用いて認識書式を判定する。

本開示の第６の態様の加熱調理システムは、加熱庫と、加熱部と、制御部と、撮影部と、認識処理部と、認識書式記憶部と、認識書式判定部とを備える。

加熱庫は、被加熱物を収容する。加熱部は、加熱庫内の被加熱物を加熱する。制御部は、被加熱物の加熱のための加熱制御情報に従って加熱部を制御する。

撮影部は、加熱庫内の画像を撮影する。認識処理部は、画像から制御情報領域を検出するとともに、制御情報領域に含まれた認識対象を抽出する。認識書式記憶部は、制御情報領域に関連する閾値情報と、認識対象を解析するための認識書式とを関連付けて記憶する。

認識書式判定部は、制御情報領域から抽出された特徴情報と閾値情報とに基づいて、認識書式を判定する。認識処理部は、認識書式判定部により判定された認識書式に基づいて、認識対象を解析し加熱制御情報を取得する。

加熱庫と加熱部と制御部と撮影部とは、加熱調理器の筐体内に配置される。認識処理部と認識書式記憶部と認識書式判定部との少なくともいずれか一つは、加熱調理器の筐体外に配置される。

以下、本開示の実施の形態の例を、図面を参照しながら説明する。

（実施の形態１）
図１は、本開示の実施の形態１に係る加熱調理器１００の外観を示す図である。図１に示すように、加熱調理器１００は、筐体１１１内に設けられ、被加熱物である食品を収容する加熱庫１０４と、加熱庫１０４の前面開口を覆うドア１０１とを有する。筐体１１１の上部には、表示部１０２と選択部１０３とが配置される。

後述するように、加熱調理器１００は、食品に貼付されたラベルの記載から食品に適した加熱時間を読み取り、その加熱時間の間、食品を加熱する。表示部１０２は、読み取られた加熱時間を表示する。

加熱時間が読み取られなかった場合などのために、選択部１０３は、食品に適したメニューを選択するためのメニューボタン、および、加熱時間を手動で設定するための数字ボタンを有する。選択部１０３はさらに、加熱を開始するための加熱開始ボタン、および、加熱を停止させるための加熱停止ボタンを有する。

加熱庫１０４の側面には、庫内を照らすための照明部１０５が配置される。加熱庫１０４の天井には、庫内を撮影するためのカメラ１０６が配置される。カメラ１０６は、図示しない制御回路に制御される。

加熱調理器１００は、カメラ１０６を用いて、加熱庫１０４に収容された食品１０７を撮影し、撮影された画像から、食品１０７に関連する加熱制御情報を読み取るように構成される。加熱制御情報とは、食品１０７を加熱するために必要な加熱量、加熱時間などの情報である。

図２は、加熱調理器１００の機能的構成を示すブロック図である。図２に示すように、加熱調理器１００は、筐体１１１内に配置された機能的構成として、加熱部２０１と、操作部２０２と、撮像部２０３と、制御部２０４と、認識処理部２０５と、記憶部２０６と、認識書式記憶部２０７と、認識書式判定部２０８と、表示部２０９とを有する。

加熱部２０１は、例えばマグネトロンで構成され、加熱庫１０４に置かれた食品に高周波を供給して食品を加熱する。

操作部２０２は、例えばタッチパネルおよび複数のキーを有し、加熱時間の設定、加熱の開始などを行うために使用される。

撮像部２０３は、カメラ１０６と制御回路とを含み、加熱庫１０４の内部を撮影する。カメラ１０６は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、または、ＣＣＤ（Charge Coupled Device）イメージセンサなどで構成される。

認識処理部２０５は、撮像部２０３により撮影された画像から制御情報領域を検出し、その制御情報領域に含まれた文字情報を抽出する。認識処理部２０５は、その文字情報が加熱制御情報かどうかを判定する。制御情報領域とは、食品に貼付されたラベル内に設けられ、加熱制御情報が記載された例えば長方形領域である。

ラベルの文字認識方法として、例えば、ラベル内の枠で囲まれた文字情報を抽出する方法や、ラベルの輪郭を検出する方法が用いられる。文字情報には、加熱制御情報だけでなく、食品全体の画像情報、食品の種類、食品の形状、賞味期限が含まれてもよい。

記憶部２０６は、フラッシュメモリなどの不揮発性メモリで構成され、制御情報領域に関する認識書式、加熱制御情報などを記憶する。認識書式記憶部２０７は、閾値情報と認識書式とを関連付けて記憶する。本実施の形態では、閾値情報は、制御情報領域の縦横比率である。認識書式については後述する。

加熱制御情報には、加熱量（ワット数）とその加熱量に対する加熱時間が含まれる。記憶部２０６に記憶された情報には、加熱制御情報のほか、食品の形状、加熱調理器１００の設定情報、カメラ１０６の設定情報、加熱制御および操作に関連する情報が含まれてもよい。

認識書式判定部２０８は、認識書式記憶部２０７に記憶された情報に基づき、抽出された文字情報に対する認識書式を判定する。制御部２０４は、認識処理部２０５により得られた加熱制御情報に従って、加熱部２０１を制御する。

図３Ａは、加熱調理器１００により加熱される食品３０１、および、食品３０１に貼付されたラベルの例を示す。図３Ａに示すように、食品３０１は弁当である。食品３０１には、食品の名称、価格、加熱制御情報などが記載されたラベル３０２が貼付される。

加熱制御情報は、食品３０１の加熱に必要な情報であり、具体的には、加熱量（ワット数）および加熱時間（分、秒）である。加熱制御情報は、使用者が認識できる形態で記載されてもよく、バーコードまたは二次元コードで記載されてもよい。

制御情報領域３０３は、ラベル３０２において加熱制御情報が記載される領域である。制御情報領域３０３は、ラベル３０２と同じ大きさの領域でもよく、ラベル３０２内の一部分の領域でもよい。ラベル３０２は、食品３０１に貼付されたシールであってもよく、食品３０１の包装と一体的に形成されてもよい。

図３Ａに示す例では、制御情報領域３０３に、家庭用の電子レンジのための加熱制御情報（加熱量、加熱時間）と、業務用の電子レンジのための加熱制御情報（加熱量、加熱時間）とが記載される。

具体的には、家庭用の電子レンジのための加熱制御情報は、「５００Ｗで２分３０秒の加熱」であり、業務用の電子レンジのための加熱制御情報は、「１５００Ｗで０分４５秒の加熱」である。この場合、制御情報領域３０３には、「５００Ｗ ２分３０秒 １５００Ｗ ０分４５秒」と記載される。

すなわち、加熱制御情報は、加熱量を表す第１文字列「５００」と、その加熱量の単位を表す第２文字列「Ｗ」と、その加熱量での加熱時間を表す第３文字列「２」および第５文字列「３０」と、その加熱時間の単位を表す第４文字列「分」および第６文字列「秒」とを含む。

さらに、加熱制御情報は、加熱量を表す第７文字列「１５００」と、その加熱量の単位を表す第８文字列「Ｗ」と、その加熱量での加熱時間を表す第９文字列「０」および第１１文字列「４５」と、その加熱時間の単位を表す第１０文字列「分」および第１２文字列「秒」とを含む。

本実施の形態では、第２および第８文字列に、熱量を表すＳＩ単位である「Ｗ（ワット）」が記載される。しかし、加熱量を表すものであれば、他の単位を用いてもよい。第４および第１０文字列に「分」が、第６および第１２文字列に「秒」が記載される。しかし、時間を表すものであれば、他の単位でもよい。

図３Ａでは、制御情報領域３０３に、２組の加熱制御情報が記載される。しかし、制御情報領域３０３には、１組の加熱制御情報だけが記載されてもよく、３組以上の加熱制御情報が記載されてもよい。

図３Ａと同様、図３Ｂ、図３Ｃも、加熱調理器１００により加熱される食品３０１、および、食品３０１に貼付されたラベルの例を示す。図３Ｄは、加熱調理器１００により加熱される食品３０７、および、食品３０７に貼付されたラベルの例を示す。

図３Ｂに示す例では、食品３０１に貼付されたラベル３０４の一部が、加熱制御情報が記載された制御情報領域４０１である。図３Ｃに示す例は、食品３０１に貼付されたラベル３０５の全域が、加熱制御情報が記載された制御情報領域４０１である。図３Ｄに示す例では、食品３０７に貼付されたラベル３０６の全域が、符号化された加熱制御情報が記載された制御情報領域４０２である。

これらの図において、認識処理部２０５による検出を容易にするために、制御情報領域４０１および４０２の境界が明示的な枠で囲まれている。制御情報領域の検出については後述する。

図３Ａ〜図３Ｄに示すように、加熱制御情報は、複数の書式により表現することができる。これにより、異なる大きさの食品または容器に、加熱制御情報を記載することが容易となる。また、複数の書式を用いて、異なる加熱条件を容易に区別することができる。

図４Ａは、縦幅Ｄ１、横幅Ｗ１を有する長方形の枠で囲まれた制御情報領域４０１を示す。制御情報領域４０１には、複数組の加熱量および加熱時間を並べて記載する書式で、加熱制御情報が記載される。

具体的には、制御情報領域４０１には、２組の加熱制御情報が記載される。第１の加熱制御情報では、加熱量が「５００Ｗ」、加熱時間が「２分３０秒」である。第２の加熱制御情報では、加熱量が「１５００Ｗ」、加熱時間が「０分４５秒」である。この記載に基づいて、加熱調理器１００は、自己の最大加熱能力に応じて複数の加熱制御情報のいずれかを選択し、選択された加熱制御情報に従って加熱を行う。

図４Ｂは、縦幅Ｄ２、横幅Ｗ２を有する長方形の枠で囲まれた制御情報領域４０２を示す。制御情報領域４０２には、加熱制御情報が、符号化された番号情報の書式で記載される。この番号情報は、加熱量および加熱時間の組み合わせを、英数字、記号の組み合わせで表現したものである。

具体的には、図４Ｂに示すように、制御情報領域４０２内に、英数字４文字「３２４Ｐ」が記載される。この例では、最初の「３」は加熱量に対応する。続く「２４」は加熱時間に対応する。最後の「Ｐ」は、これら三つの数字が正しいかどうかを示すチェック文字である。

この例では四つの英数字を用いて、加熱制御情報が表現される。しかし、操作パネル上に記載された番号に対応した一つの数字を用いて、加熱制御情報が表現されてもよい。加熱量の上位２桁の数字と、秒換算した加熱時間の数値とを含む、使用者に理解し易い形式で、加熱制御情報が表現されてもよい。このように、加熱制御情報を符号化された番号情報で表現することにより、小さい表示領域に多くの情報を記載することができる。

図４Ｃは、縦幅Ｄ３、横幅Ｗ３を有する長方形の枠で囲まれた制御情報領域４０３を示す。制御情報領域４０３には、加熱制御情報が、複数組の加熱量および加熱時間が縦に並ぶ書式で記載される。

具体的には、制御情報領域４０３には、３組の加熱制御情報が記載される。第１の加熱制御情報では、加熱量が「５００Ｗ」、加熱時間が「２分３０秒」である。第２の加熱制御情報では、加熱量が「１５００Ｗ」、加熱時間が「０分４５秒」である。第３の加熱制御情報では、加熱量が「３００Ｗ」、加熱時間が「２５秒」である。

加熱調理器１００は、第１〜第３の加熱制御情報を順に参照することにより、ステップ状の加熱を実施する。

図４Ｄは、縦幅Ｄ４、横幅Ｗ４を有する長方形の枠で囲まれた制御情報領域４０４を示す。制御情報領域４０４には、加熱制御情報が、複数の符号化された番号情報の書式で記載される。

具体的には、制御情報領域４０４には、「３２４Ｐ」、「１５６Ｓ」、「６７６Ｖ」の三つの番号情報が記載される。このように、複数の加熱制御情報を複数の符号化された番号情報で表現することにより、複雑なシーケンスを実施するための加熱制御情報を小さい表示領域に記載することができる。

図４Ｅは、縦幅Ｄ５、横幅Ｗ５を有する長方形の枠で囲まれた制御情報領域４０５を示す。図４Ｃに示す制御情報領域４０３では、領域の境界が太枠で囲まれるのに対して、図４Ｅに示す制御情報領域４０５では、領域の境界が二重線で囲まれる。このように、制御情報領域は、認識処理部２０５により容易に検出可能な形状を有してもよい。

図４Ｆは、縦幅Ｄ６、横幅Ｗ６を有する楕円形状の枠で囲まれた制御情報領域４０６を示す。すなわち、制御情報領域４０６の長径が横幅Ｗ６であり、制御情報領域４０６の短径が縦幅Ｄ６である。

図４Ｇは、縦幅Ｄ７、横幅Ｗ７を有する仮想的な長方形の枠で囲まれた制御情報領域４０７を示す。図４Ｇに示すように、制御情報領域４０７は、左上の角と右下の角とを意味する二つのマーカーにより仮想的に示された長方形の領域である。

図４Ｈは、縦幅Ｄ８、横幅Ｗ８を有する長方形形状を有する制御情報領域４０８を示す。制御情報領域４０８には、加熱制御情報が、符号化された番号情報の書式で記載される。制御情報領域４０８では、文字が淡い色（例えば白）を有し、文字の背景が濃い色（例えば黒）を有する。このように、制御情報領域は、認識処理部２０５により容易に検出可能な色情報を含んでもよい。

図５は、本実施の形態における認識書式テーブル５０１を示す。認識書式テーブル５０１は、認識書式記憶部２０７により記憶される。

図５に示すように、認識書式テーブル５０１は、制御情報領域の形状に基づく閾値情報として、長方形の制御情報領域の縦幅と横幅との比である縦横比率を記載する。

図４Ａに示す例では、制御情報領域４０１の縦横比率は、横幅Ｗ１を縦幅Ｄ１で割った値である。図４Ｂに示す例では、制御情報領域４０２の縦横比率は、横幅Ｗ２を縦幅Ｄ２で割った値である。縦幅と横幅とは、撮像部２０３により撮影された画像における画素数により測定される。

認識書式とは、制御情報領域において加熱制御情報が表現される書式を示す情報である。例えば図４Ａに示す例では、認識書式は「１行の文字書式」である。制御情報領域４０１には、加熱制御情報がこの認識書式に従って記載される。

図５に示すように、認識書式テーブル５０１は、識別ＩＤと、制御情報領域の縦横比率に対する閾値情報（以下、縦横比率閾値という）と、認識書式とを含む。

制御情報領域の縦横比率が１．０〜１．２の範囲にある、識別ＩＤ「Ｌ０００１」の場合、対応する認識書式は「番号書式」である。この場合、例えば図４Ｂで示すように、制御情報領域４０２には、「３２４Ｐ」のような番号情報として加熱制御情報が記載される。

制御情報領域の縦横比率が４．０〜６．０の範囲にある、識別ＩＤ「Ｌ０００２」の場合、対応する認識書式は「１行の文字書式」である。この場合、図４Ａに示すように、制御情報領域４０１には、「５００Ｗ ２分３０秒 １５００Ｗ ０分４５秒」のような加熱制御情報が記載される。

認識書式テーブル５０１を用いて対応する認識書式を判定する際に、該当の認識書式がなければ、エラー処理を行ってもよい。該当の認識書式がない場合、例えば、使用者に食品を加熱しないことを通知してもよい。このように、制御情報領域の形状の特徴を閾値と比較することにより、対応する書式を判定するだけでなく、エラーを検出することもできる。

次に、本実施の形態における画像認識処理について説明する。図６は、加熱調理器１００における画像認識処理のフローチャートである。図６に示すように、ステップＳ６０１において、撮像部２０３は、食品３０１が載置された加熱庫１０４内の画像を撮影する。

ステップＳ６０２において、認識処理部２０５は、撮像部２０３により撮影された画像における食品３０１のラベルから制御情報領域を検出する。具体的には、認識処理部２０５は、図４Ａに示すような所定形状の枠で囲まれた領域を制御情報領域として検出する。この際、認識処理部２０５は、塗りつぶされた領域（図４Ｈ参照）を検出対象外と判断してもよい。

認識処理部２０５は、検出された制御情報領域から一つ以上の認識対象を抽出する。認識対象とは、制御情報領域に含まれた文字列のことである。

ステップＳ６０３において、認識処理部２０５は、抽出された認識対象が規格に準拠した正規の認識対象であるかどうかを判断する。

具体的には、認識処理部２０５は、例えば制御情報領域の面積が所定の大きさ以上であるかに基づいて、抽出された認識対象が正規の認識対象であるかどうかを判断する。認識処理部２０５は、検出された制御情報領域が所定の色を有するか、または、所定の模様を有するかなどに基づいて、抽出された認識対象が、正規の認識対象であるかどうかを判断してもよい。

抽出された認識対象が正規の認識対象（本実施の形態では、例えば制御情報領域４０１、４０２）である場合、処理はステップＳ６０４に進む。ステップＳ６０４において、認識処理部２０５は、検出された制御情報領域の縦幅および横幅を用いて、検出された制御情報領域の縦横比率を算出する。本実施の形態では、検出された制御情報領域の縦横比率が、検出された制御情報領域の特徴情報である。

ステップＳ６０５において、認識書式判定部２０８は、ステップＳ６０４で算出された縦横比率と、認識書式テーブル５０１に記載された縦横比率閾値とを比較する。これにより、認識書式判定部２０８は、抽出された認識対象に対する認識書式を判定する。

ステップＳ６０６において、認識処理部２０５は、認識書式判定部２０８により判定された認識書式に基づいて認識対象を解析し、加熱制御情報を取得する。

制御部２０４は、この加熱制御情報に含まれた加熱量および加熱時間に基づいて、加熱部２０１を制御する。これにより、加熱調理器１００は食品３０１を加熱する。

ステップＳ６０３において、抽出された認識対象が正規の認識対象でないと判断された場合、または、制御情報領域に含まれたすべての認識対象の解析が完了した場合、画像認識処理は終了する。

このように、本実施の形態によれば、様々な認識書式に対応した加熱制御情報を読み取り、加熱時間などの加熱条件を自動で設定することができる。文字を記載する領域が小さい容器に入った食品にも対応することが可能であるため、食品の種類や大きさに関係なく、食品を自動的に加熱することができる加熱調理器を得ることができる。

本実施の形態によれば、複数の加熱条件を識別できるため、様々な加熱方法による食品を提供することができる。複雑な加熱シーケンスを小さい領域に記載できるため、食品ごとに適した加熱を行うことができる。

加熱制御情報の文字を認識する前に認識書式を判定するので、加熱制御情報を素早く、精度よく認識することができる。制御情報領域の形状に関する特徴情報を複数の閾値情報と比較することで、精度よく認識書式を判定できるとともに、規格外の制御情報領域を精度よく除外することができる。

（実施の形態２）
以下、本開示の実施の形態２に係る加熱調理器７００について説明する。本実施の形態では、実施の形態１と同様の構造、機能的構成、制御方法についての説明を省略する。

図７は、加熱調理器７００の機能的構成を示すブロック図である。図７に示すように、加熱調理器７００は、筐体１１１内に配置された機能的構成として、加熱部７０１と、操作部７０２と、撮像部７０３と、制御部７０４と、認識処理部７０５と、記憶部７０６と、認識書式記憶部７０７と、認識書式判定部７０８と、表示部７０９と、画像補正部７１０とを有する。

認識処理部７０５は、撮像部７０３により撮影された画像から制御情報領域を検出し、その制御情報領域に含まれた文字情報を抽出する。認識処理部７０５は、その文字情報が加熱制御情報かどうかを判定する。

ラベルの文字認識方法として、例えば、ラベル内の枠で囲まれた文字情報を抽出する方法や、ラベルの輪郭を検出する方法が用いられる。文字情報には、加熱制御情報だけでなく、食品全体の画像情報、食品の種類、食品の形状、賞味期限が含まれてもよい。

画像補正部７１０は、検出された制御情報領域の画像内の位置に応じた画像処理を行う。具体的には、カメラ１０６の位置および向き、加熱庫１０４内の照度などにより、画像内の制御情報領域が変形していたり、画像が不鮮明になっていたりする場合、画像補正部７１０がこれらの不具合を補正する。

記憶部７０６は、フラッシュメモリなどの不揮発性メモリで構成され、制御情報領域に関する認識書式、加熱制御情報などを記憶する。認識書式記憶部７０７は、閾値情報と認識書式とを関連付けて記憶する。本実施の形態では、閾値情報は、制御情報領域の縦横比率および寸法である。

認識書式判定部７０８は、認識書式記憶部７０７に記憶された情報に基づき、抽出された文字情報に対する認識書式を判定する。制御部７０４は、認識処理部７０５により得られた加熱制御情報に従って、加熱部７０１を制御する。

図８は、撮影された画像における変形した制御情報領域を示す。図８に示す画像８０１は、撮像部７０３により撮影された画像である。画像８０１内には、弁当である食品８０２が撮影されている。食品８０２にはラベル８０３が貼付される。ラベル８０３は、長方形の制御情報領域８０４を含む。

この例では、食品８０２が画像８０１の左上に位置する。このため、カメラ１０６の位置および向きにより、撮影された制御情報領域８０４は台形の形状となる。この場合、画像補正部７１０が、画像処理における台形補正を用いて台形の形状を長方形形状に補正する。

図９は、本実施の形態における認識書式テーブル９０１を示す。認識書式テーブル９０１は、認識書式記憶部７０７により記憶される。

図９に示すように、認識書式テーブル９０１は、制御情報領域の形状に基づく閾値情報として、縦横比率と、画像内の制御情報領域の寸法（この例では横幅）とを記載する。

制御情報領域の縦横比率が１．０〜１．２の範囲にあり、かつ、画像内の制御情報領域の横幅が２０〜４０ピクセルの範囲にある、識別ＩＤ「Ｌ１００１」の場合、対応する認識書式は「番号書式」である。この場合、例えば図４Ｂに示すように、制御情報領域４０２には、「３２４Ｐ」のような番号情報として加熱制御情報が記載される。

制御情報領域の縦横比率が４．０〜６．０の範囲にあり、かつ、画像内の制御情報領域の横幅が５０〜９０ピクセルの範囲にある、識別ＩＤ「Ｌ１００２」の場合、対応する認識書式は「１行の文字書式」である。この場合、例えば図４Ａに示すように、制御情報領域４０１には、「５００Ｗ ２分３０秒 １５００Ｗ ０分４５秒」のような書式で加熱制御情報が記載される。

本実施の形態によれば、認識書式の判別条件に、画像内の制御情報領域の寸法を追加することで、縦横比率だけでは判別しにくい領域の判別処理を省くことができる。その結果、判別処理を高速に行うことが可能となる。

図１０は、加熱調理器７００における画像認識処理のフローチャートである。図１０に示すように、ステップＳ１００１において、撮像部７０３は、食品８０２が載置された加熱庫１０４内の画像を撮影する。

ステップＳ１００２において、認識処理部７０５は、撮像部７０３により撮影された画像における食品８０２のラベル８０３から制御情報領域を検出する。認識処理部７０５は、検出された制御情報領域から一つ以上の認識対象を抽出する。

制御情報領域が変形して撮影されている場合、ステップＳ１００３において、画像補正部７１０が、変形した制御情報領域を補正する。

ステップＳ１００４において、認識処理部７０５は、抽出された認識対象が規格に準拠した正規の認識対象であるかどうかを判断する。

具体的には、認識処理部７０５は、例えば制御情報領域の面積が所定の大きさ以上であるかに基づいて、抽出された認識対象が正規の認識対象であるかどうかを判断する。認識処理部７０５は、検出された制御情報領域が所定の色を有するか、または、所定の模様を有するかなどに基づいて、抽出された認識対象が、正規の認識対象であるかどうかを判断してもよい。

抽出された認識対象が正規の認識対象（本実施の形態では、例えば制御情報領域４０１、４０２）である場合、処理はステップＳ１００５に進む。ステップＳ１００５において、認識処理部７０５は、制御情報領域の縦幅および横幅を用いて制御情報領域の縦横比率の算出と、画像内の制御情報領域の寸法の取得とを行う。

本実施の形態では、検出された制御情報領域の縦横比率と画像における制御情報領域の寸法とが、検出された制御情報領域の特徴情報である。

ステップＳ１００６において、認識書式記憶部７０７は、ステップＳ１００５で算出された縦横比率と、認識書式テーブル９０１に記載された縦横比率閾値とを比較する。また、認識書式記憶部７０７は、画像における制御情報領域の寸法が所定の範囲内にあるかどうかを判定する。これにより、認識書式判定部７０８は、抽出された認識対象に対する認識書式を判定する。

ステップＳ１００７において、認識処理部７０５は、認識書式判定部７０８により判定された認識書式に基づいて認識対象を解析し、加熱制御情報を取得する。

制御部７０４は、この加熱制御情報に含まれた加熱量および加熱時間に基づいて、加熱部７０１を制御する。これにより、加熱調理器７００は食品８０２を加熱する。

ステップＳ１００４において、抽出された認識対象が正規の認識対象でないと判断された場合、または、制御情報領域に含まれたすべての認識対象の解析が完了した場合、画像認識処理は終了する。

このように、本実施の形態によれば、様々な書式に対応した加熱制御情報を読み取り、加熱時間などの加熱条件を自動で設定することができる。制御情報領域の縦横比率および寸法に基づいて認識書式を判定するので、加熱制御情報を素早く、精度よく認識することができる。

（その他の実施の形態）
実施の形態１では、認識書式を判別するための制御情報領域の形状に基づく情報として、制御情報領域の縦横比率を用いた。しかしながら、認識書式を判別するための制御情報領域の形状に基づく情報は、制御情報領域の面積、制御情報領域の二辺の太さの比率、または、制御情報領域の角部における曲率半径でもよい。

すなわち、制御情報領域の形状に基づく情報は、認識処理部２０５が抽出容易な情報であればよい。

実施の形態１では、加熱調理器１００は、筐体１１１内に、認識処理部２０５と記憶部２０６と認識書式判定部２０８とを備える。しかしながら、認識処理部２０５、記憶部２０６、認識書式判定部２０８の少なくともいずれか一つが、加熱調理器１００の筐体１１１外に配置されてもよい。

この構成により、加熱調理器を含む加熱調理システムが構成される。例えば、認識処理部２０５、記憶部２０６、認識書式判定部２０８が、加熱調理器１００の筐体１１１外に配置された加熱調理システムでは、制御部２０４と筐体１１１外に配置された要素（認識処理部２０５、記憶部２０６、認識書式判定部２０８）との間で、通信により情報が送受信される。

本開示によれば、カメラにより撮影された画像から加熱制御情報を入手することができる。これにより、煩わしい入力作業を必要とせず、様々な食品を簡単に加熱することができる加熱調理器および加熱調理システムを提供することができる。よって、本開示は、電子レンジや誘導加熱調理器などの加熱調理器に適用可能である。

１００、７００ 加熱調理器
１０１ ドア
１０２ 表示部
１０３ 選択部
１０４ 加熱庫
１０５ 照明部
１０６ カメラ
１０７ 食品
１１１ 筐体
２０１、７０１ 加熱部
２０２、７０２ 操作部
２０３、７０３ 撮像部
２０４、７０４ 制御部
２０５、７０５ 認識処理部
２０６、７０６ 記憶部
２０７、７０７ 認識書式記憶部
２０８、７０８ 認識書式判定部
２０９、７０９ 表示部
３０１、３０７、８０２ 食品
３０２、３０４、３０５、３０６、８０３ ラベル
３０３、４０１、４０２、４０３、４０４、４０５、４０６、４０７、４０８、８０４ 制御情報領域
５０１、９０１ 認識書式テーブル
７１０ 画像補正部
８０１ 画像

Claims (6)

1. 被加熱物を収容するように構成された加熱庫と、
   前記加熱庫内の前記被加熱物を加熱するように構成された加熱部と、
   前記被加熱物の加熱のための加熱制御情報に従って前記加熱部を制御するように構成された制御部と、
   前記加熱庫内の画像を撮影するように構成された撮影部と、
   前記画像から制御情報領域を検出するとともに、前記制御情報領域に含まれた認識対象を抽出するように構成された認識処理部と、
   前記制御情報領域に関連する閾値情報と、前記認識対象を解析するための認識書式とを関連付けて記憶する認識書式記憶部と、
   前記制御情報領域から抽出された特徴情報と前記閾値情報とに基づいて、前記認識書式を判定する認識書式判定部と、を備え、
   前記認識処理部は、前記認識書式判定部により判定された前記認識書式に基づいて、前記認識対象を解析し前記加熱制御情報を取得するように構成された、加熱調理器。
2. 前記認識書式記憶部が、前記制御情報領域の形状に基づく情報を前記閾値情報として記憶し、
   前記認識書式判定部が、前記画像から抽出された、前記制御情報領域の形状に基づく情報を前記特徴情報として用いて前記認識書式を判定するように構成された、請求項１に記載の加熱調理器。
3. 前記認識書式判定部が、前記画像から抽出された、長方形形状を有する前記制御情報領域の縦横比率を前記特徴情報として用いて前記認識書式を判定するように構成された、請求項２に記載の加熱調理器。
4. 前記認識処理部が、前記画像における前記制御情報領域の位置に応じて、前記制御情報領域の形状を補正するように構成された、請求項３に記載の加熱調理器。
5. 前記認識書式記憶部が、前記閾値情報として、前記制御情報領域の寸法をさらに記憶し、
   前記認識書式判定部が、前記縦横比率と前記寸法とを前記特徴情報として用いて前記認識書式を判定するように構成された、請求項３に記載の加熱調理器。
6. 被加熱物を収容するように構成された加熱庫と、
   前記加熱庫内の前記被加熱物を加熱するように構成された加熱部と、
   前記被加熱物の加熱のための加熱制御情報に従って前記加熱部を制御するように構成された制御部と、
   前記加熱庫内の画像を撮影するように構成された撮影部と、
   前記画像から制御情報領域を検出するとともに、前記制御情報領域に含まれた認識対象を抽出するように構成された認識処理部と、
   前記制御情報領域に関連する閾値情報と、前記認識対象を解析するための認識書式とを関連付けて記憶する認識書式記憶部と、
   前記制御情報領域から抽出された特徴情報と前記閾値情報とに基づいて、前記認識書式を判定する認識書式判定部と、を備え、
   前記認識処理部は、前記認識書式判定部により判定された前記認識書式に基づいて、前記認識対象を解析し前記加熱制御情報を取得するように構成され
   前記加熱庫と前記加熱部と前記制御部と前記撮影部とは、加熱調理器の筐体内に配置され、
   前記認識処理部と前記認識書式記憶部と前記認識書式判定部との少なくともいずれか一つは、前記加熱調理器の前記筐体外に配置された、加熱調理システム。