JP7470903B2

JP7470903B2 - 加熱調理器

Info

Publication number: JP7470903B2
Application number: JP2021501603A
Authority: JP
Inventors: 直哉谷口; 博久今井; 巌徹松井; 真哉岩垂
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-02-22
Filing date: 2019-12-11
Publication date: 2024-04-19
Anticipated expiration: 2039-12-11
Also published as: CN113454392A; US20220151037A1; JPWO2020170568A1; WO2020170568A1; EP3929489A4; EP3929489A1

Description

本開示は、食品を加熱する加熱調理器及び加熱調理器の制御方法に関するものである。

加熱調理器の一例である電子レンジは、鍋やフライパンを使うことなく、食品を容器に入れたまま加熱することができる。このため、コンビニエンスストア等の販売店では、電子レンジを用いて弁当や惣菜といった食品を加熱して提供する場合もある。

通常、弁当や総菜には電子レンジで加熱するのに最適な加熱時間が表示されている。販売店の店員はその表示を見て、電子レンジで加熱時間を設定するのが一般的である。

具体的には、店員は、電子レンジの操作部に配置された数字キーを操作することにより、加熱時間の設定を行うことができる。或いは、加熱時間やワット数に対応する調理ボタンを複数備えた電子レンジを使用する場合、店員は、加熱する食品に対応するボタンを操作することで、その食品に適した加熱を行うことができる。

しかしながら、加熱時間を数字キーで設定するのは操作が煩わしいという問題がある。また複数の操作ボタン夫々に異なる食品の加熱時間が割り当てられた電子レンジでは、店員が複数のボタンと食品との対応関係を憶える必要がある。これにより、商品の種類が増えれば増えるだけ、店員がこの対応関係を憶える負担が増えるといった問題がある。

このような問題を解決するために、店員が商品に添付されているバーコードの情報を読み取ると、バーコードに対応する加熱制御内容で商品を加熱する電子レンジを提供することが提案されている。

或いは、電子レンジの加熱庫内を撮影するカメラを庫内天井面に備えた電子レンジが提案されている。当該従来の電子レンジでは、庫内に投入された商品の画像からバーコード部分が抽出され、そのバーコードが読み取られることで、コード情報から商品に対応した加熱制御内容が呼び出され、適切な加熱が行われる（例えば特許文献１）。

また、加熱庫内を撮影できるよう設置されたカメラにより食品画像が取得され、画像認識処理が行われ、認識結果に応じた調理を実施する電子レンジが開示された例もすでに存在する。

特開２００１－３４９５４６号公報

従来の電子レンジでは、ＬＥＤ等の照明により加熱庫内が適切な照度で照らされ、カメラで画像認識処理に適した画像が取得される。このとき、電子レンジが設置される環境によっては、日光等の外光がドアの開口部から加熱庫内に入射し、加熱庫内の照度が画像処理に適した程度に保てないことがある。外光が入射した状態で撮影された画像では、認識処理が行われる対象部が白飛びし、著しく認識率を低下させてしまう可能性がある。

本開示は、日光等の外光がドアの開口部から入射する場合でも、カメラで撮影された画像から加熱庫内の照度を的確に検知し、露光制御を行った上で認識用の画像を取得する加熱調理器を提供することを目的とする。これにより、認識したい画像の認識精度を高めることができる。

上記従来の問題を解決するために、本開示の加熱調理器は、加熱対象物を収納する加熱庫と、前記加熱庫内を撮影する撮影部と、露光制御を実行する露光制御部と、を備えている。前記露光制御部は、前記撮影部で撮影した画像から得られる階調情報を元に露光制御を行う。

本開示の加熱調理器は、日光等の外光がドアの開口部から入射する場合にも、カメラで撮影された画像から加熱庫内の照度を的確に検知し、露光制御を行った上で認識用の画像を取得することができる。このため、認識したい画像の認識精度を高めることができる。

本開示の実施の形態１における加熱調理器の外観を示す斜視図本開示の実施の形態１における加熱調理器の概略構成図本開示の実施の形態１における加熱調理器で加熱する商品に表示された加熱制御情報を含む商品情報のラベルを示す図本開示の実施の形態１における加熱調理器の空状態の庫内画像を示す図本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の一例を示す図本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の一例を示す図本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の階調値のヒストグラムを示す図本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の階調値のヒストグラムを示す図本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した後の庫内画像の階調値のヒストグラムの一例を示す図本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した後の庫内画像の階調値のヒストグラムの一例を示す図本開示の実施の形態１における測光対象検出部がコントラストフィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図本開示の実施の形態１における測光対象検出部がコントラストフィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図本開示の実施の形態１における測光対象検出部が色度フィルタ処理を庫内画像に施す際の、対象となる庫内撮影画像を示す図本開示の実施の形態１における測光対象検出部が色度フィルタ処理を庫内画像に施す際に、フィルタを通過する領域の一例を示す図本開示の実施の形態１における測光対象検出部が色度フィルタ処理を庫内画像に施す際のｘｙ色度図上のフィルタ範囲の一例を示す図本開示の実施の形態１における加熱調理器の動作の流れを示すフローチャート

第１の態様に係る加熱調理器は、加熱対象物を収納する加熱庫と、前記加熱庫内を撮影する撮影部と、露光制御を実行する露光制御部と、を備え、前記露光制御部は、前記撮影部で撮影した画像から得られる階調情報をもとに前記露光制御を行う。

これにより、日光等の外光がドアの開口部から入射する場合にも、カメラで撮影された画像から加熱庫内の照度を的確に検知し、露光制御を行った上で認識用の画像を取得することができる。このため、認識したい画像の認識精度を高めることができる。

第２の態様に係る加熱調理器は、第１の態様において、前記撮影部で撮影された画像から測光対象を抽出する測光対象検出部をさらに有し、前記測光対象検出部は、前記画像から測光対象部分の前記階調情報を通過させ、前記露光制御部は前記測光対象部分の前記階調情報をもとに前記露光制御を行う。

これにより、測光対象の特徴のみを通過するフィルタ処理を撮影画像に予めかけた画像の階調情報を元に、露光制御を行うことができる。このため、露光制御の精度を高めることができる。

第３の態様に係る加熱調理器は、第２の態様において、前記測光対象検出部は、前記画像における所定割合の上位階調値のみを通過させる。

これにより、白色のラベル等、明度が高く、撮影した際の階調値が比較的高いと予め決まっている測光対象に対し、高精度、かつ高速にフィルタ処理を行うことができる。

第４の態様に係る加熱調理器は、第２の態様において、前記測光対象検出部は、前記測光対象の所定の画素領域の画素値と所定の階調差がある画素階調値のみを通過させる。

これにより、白い背景に黒い文字や黒のバーコードが印刷されたラベル等、白黒のコントラストが高い部分が測光対象と予め決まっている場合に、高精度にフィルタ処理を行うことができる。

第５の態様に係る加熱調理器は、第２の態様において、前記測光対象検出部は、所定の色度範囲内に収まる画素の階調値のみを通過させる。

これにより、測光対象となるラベルの色が予め限定されている場合に、高精度、かつ高速にフィルタ処理を行うことができる。

第６の態様に係る加熱調理器は、第２～第５のいずれかの態様において、前記測光対象検出部は、前記測光対象として検出した画素が所定の数に満たなかった場合、認識対象が未検出であること使用者に通知する。

これにより、認識対象が撮影範囲に入っていない、または視野外にはみ出している等の場合に、認識処理を行う以前の早い段階で使用者に認識対象が未検出であることが通知される。これにより、食品の入れ直しや、認識対象のラベル状態の確認等を使用者に促すことができる。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図面を参照して、本開示の実施の形態１による加熱調理器を説明する。

図１は、本開示の第１の実施形態における加熱調理器の外観を示す図である。

図１に示す電子レンジ１００は、筐体１０１と、筐体１０１に開閉可能に軸支されたドア１０２と、を有している。筐体１０１の内部には、加熱対象の弁当や惣菜などの食品（加熱対象物２０３）を収納する加熱庫２０１が配設されている。

ドア１０２は、使用者が筐体１０１の内部を見ることができるように、透明のガラス窓１０３を有している。更に、使用者がドア１０２を掴みやすいように、ドア１０２は取っ手１０４も有している。

なお、本実施の形態においては、筐体１０１のドア１０２を有する側を前方とし、この前方より後方に向かって右側を右方とし、前方より後方に向かって左側を左方として、以下の説明を行う。

ドア１０２の隣には、操作表示部１０５が配置されている。操作表示部１０５は、液晶表示器１０６、時間設定ボタン群１０７、加熱開始ボタン１０８、取消ボタン１０９及び一時停止ボタン１１０を備えている。使用者は数字ボタンと、分、秒のボタンを使用することにより、加熱時間を設定することができる。また、液晶表示器１０６は設定された加熱時間等を表示する。

加熱開始ボタン１０８は、使用者が液晶表示器１０６で加熱時間やワット数等を確認した後、加熱を開始するためのボタンである。取消ボタン１０９は加熱開始ボタン１０８を押下して加熱を開始した後に加熱を停止するため、或いは、液晶表示器１０６に表示されている加熱時間の設定を取り消すためのボタンである。

一時停止ボタン１１０は、加熱途中で加熱を一時的に停止するためのボタンである。加熱を一時停止した後に、使用者が加熱開始ボタン１０８を再度押下することで途中から残りの加熱を行うことが可能である。

図２は、実施の形態１における電子レンジ１００の概略構成図である。

電子レンジ１００は、加熱庫２０１内にマイクロ波を出力する２つのマグネトロン２０２ａと２０２ｂを、加熱部として備えている。

マグネトロン２０２ａは加熱庫２０１の天井側に配置されており、上部から加熱庫２０１内にマイクロ波を出力する。一方、マグネトロン２０２ｂは加熱庫２０１の底面側に配置されており、下部から加熱庫２０１内にマイクロ波を出力する。加熱庫２０１内に収納された、弁当や惣菜などの食品、すなわち、加熱対象物２０３は、放射されたマイクロ波により加熱される。

なお、本開示では、加熱部としてマグネトロンによるマイクロ波を例示したが、半導体発振によるマイクロ波やヒータ、温風、蒸気等により加熱してもよい。またマグネトロン等の加熱源は２つではなく１つであってもよい。

加熱庫２０１の天井側にはカメラ２０４（撮影部の一例）が配置されている。カメラ２０４は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）のような撮像素子とレンズ等の光学素子から構成される。カメラ２０４は、加熱庫２０１内部を撮影し画像を生成する。生成された画像は、例えば、画素ごとに輝度を０（暗）から２５５（明）の範囲の値で表している。なお、各々の画素を、赤、青、緑の各々の色ごとに０から２５５の値で表す画像として生成してもよい。また、０から２５５以外の範囲や表現方法により各々の画素に対応する値を表しても良い。

なお、本実施の形態では、カメラ２０４は加熱庫２０１の天井側面に設けられている。しかしながら、カメラ２０４は加熱庫２０１の左右側面などの他の面に設けてもよい。なお、本開示では、後述するように露光条件を工夫することにより、撮影部２０４を１個のカメラ部材により構成しても、画像の認識精度を高めることができる。そのため、製造時のコスト削減や筐体１０１の小型化を実現できる。これに限られず、撮影部２０４は、複数のカメラ部材で構成してもよい。

加熱庫２０１の側面には、ＬＥＤを光源とする照明２０５が配置されており、加熱庫２０１内部を照らす。

本実施の形態においては、加熱庫２０１の左側面から加熱庫２０１内を臨む様に照明２０５が配置されている。しかしながら、照明２０５は、四方の側面や天井や底面等のいずれに配置されてもよいし、複数配置されてもよい。

本実施の形態においては、照明２０５の光源としてＬＥＤによる構成を開示しているが、光源として電球や蛍光灯や自然光などの他の光源を用いてもよい。

制御部３００は、操作表示部１０５の下方に配置されている。制御部３００は、電子レンジ１００の各構成要素を制御する。

図２において、制御部３００は、加熱制御部３０１、認識部３０２、測光対象検出部３０３及び露光制御部３０４を有している。

尚、本実施の形態では、制御部３００は、加熱制御部３０１、認識部３０２、測光対象検出部３０３及び露光制御部３０４を一体の構成とした。しかしながら、これらの構成を別々の半導体素子等で実現してもよい。また、制御部３００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）のようなプロセッサを有するマイクロコンピュータにより構成してもよい。

加熱制御部３０１は、マグネトロン２０２ａとマグネトロン２０２ｂの制御を行う。マグネトロン２０２ａおよびマグネトロン２０２ｂにより放射されたマイクロ波により、加熱庫２０１内に収納された加熱対象物２０３が加熱される。

認識部３０２は、カメラ２０４が撮影した画像から、食品等の物体の認識や、食品等に付されたバーコード等の図形コードや文字等の認識を行う。

測光対象検出部３０３は、カメラ２０４で撮影された画像に対し、認識および測光の対象となる食品ラベル部の画素階調値を通過させるフィルタ処理を行った上で、画像全体の平均階調値を算出する。算出された平均階調値を測光対象部分の推定階調値として測光対象を抽出する。すなわち、測光対象検出部３０３は、カメラ２０４で撮影された画像から測光および認識対象部分の階調情報を通過させる。

露光制御部３０４は、測光対象検出部３０３が出力した推定階調値を元に、露光調整の要否を判断する。そして、露光制御部３０４は、必要に応じてカメラ２０４、または照明２０５を制御し、露光設定を変更する。

図３は、食品に貼られるラベルの一例である。

加熱庫２０１には弁当、おにぎり、惣菜などの商品が入れられて加熱される。それら商品には、先ほど説明した、商品を調理するために必要な加熱パワーと加熱時間等が表示されたラベルが貼付されている。

尚、この加熱パワーや加熱時間といった調理を行うための情報を、本実施の形態においては、加熱制御情報と称している。

ラベル４０１には商品名４０２、加熱制御情報４０３、金額情報４０４、消費期限情報４０５、商品を特定するバーコード４０６（その他の図形コードでもよい）、栄養情報４０７、お知らせ情報４０８、といった、情報が表示されている。本実施の形態においては、これらの情報から加熱制御情報を抽出しやすいように加熱制御情報が四角枠４０９で囲まれている。

また、このラベル４０１には、一般的な家庭用の電子レンジで加熱する時の目安として例えば５００Ｗで加熱する場合の加熱時間と、業務用として大パワーで短時間加熱する時の目安として例えば１５００Ｗで加熱する場合の加熱時間が併記されている。例えば、ラベル４０１には、加熱制御情報として、「５００Ｗ２分００秒１５００Ｗ０分４０秒」と表示されている。

使用者が、ドア１０２を開けて食品を入れると、カメラ２０４が加熱庫２０１内の撮影を行う。そして、認識部３０２が、カメラ２０４が撮影した画像からこの加熱制御情報が表示されている個所を認識し、この加熱制御情報の文字や数字を認識する。

具体的には、認識部３０２は、カメラ２０４が撮影した画像から、四角枠４０９を認識する。

次に認識部３０２は、この四角枠４０９で囲まれた中の英数字「５００Ｗ２００１５００Ｗ０４０」という文字列を認識する。

そして予め定められた解析ルールに従い、認識部３０２は、「Ｗ」までの数字列、「Ｗ」の後の３桁の数字列、それに続く「Ｗ」までの数字列、「Ｗ」の後の３桁の数字列に分解して「５００」「２００」「１５００」「０４０」とする。認識部３０２は、更に２番目の数字列と４番目の数字列は最初の１桁が「分」、後の２桁が秒として、また１番目の数字列のパワーと２番目の数字列の時間が対応していて、３番目の数字列のパワーと４番目の数字列の時間が対応しているとして認識する。そして、認識部３０２は、５００Ｗで２分、１５００Ｗで４０秒という加熱制御情報を認識する。

本実施の形態においては、庫内画像全体ではなく、このような食品ラベル部（ラベル４０１）が認識、および、測光の対象である。また、詳細については後述するが、露光調整のための階調推定の対象となるのも、この食品ラベル部（ラベル４０１）の階調値である。

図４は、加熱庫２０１が空の状態であるときの庫内撮影画像の一例を表す。レンジ庫内には、食品の置き位置の目安を示す四角枠や、使用上の注意事項が底面に印刷されている。本実施の形態においては、白地に黒色で四角枠や、注意事項等の文字が印刷されているものとして以下の説明を行うが、庫内底面の色を含めたデザインについては、別のものでもよい。

図５Ａおよび図５Ｂは、加熱庫２０１内を撮影した別の画像の一例である。この例では、図５Ａは、加熱庫２０１内に比較的明度の高い食品例として「白飯」が存在する場合、図５Ｂは、加熱庫２０１内に比較的明度の低い食品例として「のり弁当」が存在する場合のそれぞれにおける庫内を撮影した画像の一例を示している。

図６Ａおよび図６Ｂは、図５Ａおよび図５Ｂで一例として挙げた食品が庫内に存在する場合の、それぞれの撮影画像に対応する画像階調値のヒストグラムと画像全体の平均階調値を示す。図５Ａ、図５Ｂの画像のヒストグラムが、それぞれ図６Ａ、および図６Ｂのヒストグラムに対応する。すなわち、図６Ａは明るい階調の面積量が多く、図６Ｂは暗い階調の面積量が多い。

図７Ａおよび図７Ｂは、測光対象検出部３０３が行う処理として、上位階調通過フィルタ処理が行われたときに、図５Ａおよび図５Ｂそれぞれの撮影画像に対するフィルタの通過対象画素領域を白黒の２値画像で表現した例である。図７Ａおよび図７Ｂでは、白色部分がフィルタを通過した画素領域、黒色部分はフィルタでカットされた画素領域を表す。

図８Ａおよび図８Ｂは、図５Ａおよび図５Ｂのそれぞれの庫内画像に対し、測光対象検出部３０３が行う処理として、上位階調通過フィルタ処理が行われた場合、すなわち図７Ａおよび図７Ｂのヒストグラム、および平均階調値を示す例である。ヒストグラムの破線部は、図６Ａおよび図６Ｂのヒストグラムとそれぞれ比較した際の上位階調通過フィルタ処理の効果把握を容易にするために、フィルタでカットされた階調部分を示す。

図９Ａおよび図９Ｂは、測光対象検出部３０３が行う処理として、コントラストフィルタ処理が行われる場合、図５Ａおよび図５Ｂそれぞれの撮影画像に対するフィルタの通過対象画素領域を白黒の２値画像で表現した例である。図７Ａおよび図７Ｂと同様に、白色部分がフィルタを通過した画素領域、黒色部分はフィルタ処理でカットされた画素領域を表す。

図１０Ａは、測光対象のラベル４０１の背景部分に特徴的な色（一例として原色に近い黄色）が使われている場合の庫内画像を示す。図１０Ｂは、図１０Ａの撮影画像に対して、測光対象検出部３０３が色度フィルタ処理を行った場合の、フィルタの通過対象画素領域を白黒の２値画像で表現した例である。図７同様、白色部分がフィルタを通過した画素領域、黒色部分はフィルタでカットされた画素領域を表す。本実施の形態においては、背景色が原色に近い黄色であるラベルを例に説明するが、色について特に限定するものではない。

図１１は、測光対象検出部３０３が色度フィルタ処理を行う際の、フィルタ通過の色度範囲をｘｙ色度図上に表現したものである。図中の破線１１０１で示す円の内部がフィルタ通過の色度範囲を示す。なお、フィルタ通過の色度範囲に関しては、円形以外にも、矩形や任意の関数を使った範囲の指定でも構わない。また、色度図としてｘｙ色度図以外に、ｕｖ色度図やｕ’ｖ’色度図を用いてもよいし、表色系としてＸＹＺ表色系以外の、例えば、Ｌ＊ｕ＊ｖ＊表色系、Ｌ＊ａ＊ｂ＊表色系、ＨＳＶ表色系、等を用いてもよい。

図１２は、実施の形態１における電子レンジ１００の露光制御の動作を示すフローチャートである。以下、図１２のフローチャートを用いて詳細に説明する。

Ｓ１ステップでは、初期の露光設定でカメラ２０４が庫内画像の撮影を行い、制御部３００は、Ｓ２ステップへ処理を進める。撮影の結果として図５Ａおよび図５Ｂのような庫内画像が得られる。

Ｓ２ステップでは、測光対象検出部３０３が、庫内撮影画像に対して測光対象検出フィルタ処理を施す。本実施の形態では、測光対象検出部３０３は、上位階調通過フィルタ処理、コントラストフィルタ処理、および、色度フィルタ処理の少なくとも一つの処理を行う。以下、各フィルタ処理について詳細に説明する。

まず、上位階調通過フィルタ処理について説明する。測光対象検出部３０３が本フィルタ処理を使用する場合は、認識および測光対象の食品ラベル４０１の背景が白色等、比較的明度の高いものであることを前提とする。また一連の処理については、カラーではなくグレー画像で行う前提で説明するため、階調とはグレー階調（黒：０階調、白：２５５階調）のことを指す。

具体的な上位階調通過フィルタ処理の流れとしては、まず図５Ａおよび図５Ｂに示すような庫内画像に対し、それぞれ図６Ａおよび図６Ｂのような階調値のヒストグラムが作成される。図５Ａは比較的明度の高い食品例として「白飯」、図５Ｂは比較的明度の低い食品例として「のり弁当」を想定した庫内撮影画像である。このため、対応するヒストグラムとして、図６Ａは高階調域に偏ったヒストグラム形状となる。図６Ｂは、「のり弁当」の中でも特に明度の低い「のり」部分に対応して低階調域にピークがあり、また食品ラベル４０１や庫内底面は白色で明度が高いため、高階調域にもピークを持つようなヒストグラム形状となる。

それぞれの平均階調値に関しても図６Ａおよび図６Ｂに示す通り、「白飯」、「のり弁当」のような明度の異なる食品では画像全体の平均階調値に顕著な差が表れる。後述のＳ３ステップで行われる処理だが、本実施の形態で説明する露光制御では、認識および露光調整を行う際の測光対象である食品ラベル（ラベル４０１）部分の推定階調値として、画像全体の平均階調値が計算される。

フィルタ処理が行われない段階では、同一の照度環境下でも、食品ラベル（ラベル４０１）領域以外の食品の明度の差が図６Ａおよび図６Ｂのような平均階調値の差として表れる。すなわち、階調推定誤差が大きく、階調平均値を、直接、露光制御に使用するのは難しい。上位階調通過フィルタ処理では、画像の全画素数に対する所定割合の上位階調画素の階調値のみを通過させ、下位階調の画素階調値はカットする。

図５Ａおよび図５Ｂの庫内画像に対し、上位階調通過フィルタ処理が行われた場合の通過対象画素領域を白黒の２値画像で表現した画像が、図７Ａおよび図７Ｂである。測光対象の食品ラベル（ラベル４０１）を含む、画像の明度の高い部分が通過画素領域となる。

例えば、上位５０％の通過フィルタを考えた場合、図６Ａおよび図６Ｂのヒストグラムの面積のうち下位５０％がカットされ、図８Ａおよび図８Ｂのような形状となる。破線部はフィルタによりカットされた下位５０％の画素を示す。平均階調値を算出する際、カットされた画素に関しては計算の対象としないため、図８Ａおよび図８Ｂに示す通り、双方の平均階調値の差が図６Ａおよび図６Ｂと比較すると縮まり、階調推定誤差が小さくなる。認識および測光対象の明度が高いという前提がある場合、このようなフィルタ処理によって、ラベル部（ラベル４０１）の検出を行うことなく、前処理段階の単純なフィルタ処理のみで、高速、かつ精度よく測光対象（ラベル部）の階調値を推定できる。したがってラベル部の文字を容易に認識することができる。

次に、コントラストフィルタ処理について説明する。基本的な考え方は上位階調通過フィルタ処理と同様である。フィルタ処理により、認識および測光対象である食品ラベル以外の影響を排除して、露光制御に用いる階調値の推定誤差を小さくすることを目的とする。測光対象検出部３０３がコントラストフィルタ処理を使用する場合は、認識および測光対象の食品ラベルにおける認識対象部分が、文字、またはバーコード等、白黒のコントラストが大きいことを前提とする。具体的なフィルタ処理としては、自身近傍に自身の画素値と所定の階調差がある画素のみを通過させる処理を行う。すなわち、測光対象検出部３０３は所定の画素領域の画素値と所定の階調差がある画素階調値のみを測定対象として通過させる。

例えば、画像中のある画素がフィルタを通過するか否かを判断する際、対象の画素を中心とした５×５ピクセル領域を確認する処理が行われる。例えば、対象画素の階調値が２００階調で、５×５ピクセル領域中に－１００階調となる１００階調以下となる画素が存在すれば、対象の画素は通過画素となり、存在しなかった場合はカット画素となる。このような処理を画像中の全ての画素に対して行う。ここで挙げた５×５ピクセルの領域サイズは一例であり、サイズを含め、領域の形状を矩形に限定するものではない。また－１００の階調差についても同様に一例であり、数値については限定しない。

図５Ａおよび図５Ｂの庫内画像に対し、コントラストフィルタ処理を行った場合の通過対象画素領域を白黒の２値画像で表現した画像が、図９Ａおよび図９Ｂである。認識対象となる文字部分を含む、白黒のコントラストの高い部分が通過対象領域となる。認識および測光対象のコントラストが高いという前提がある場合、このようなコントラストフィルタ処理によって、ラベル部の検出を行うことなく、前処理段階の単純なフィルタ処理のみで、高速、かつ精度よく測光対象の階調値を推定できる。したがってラベル部の文字を容易に認識することができる。

次に、色度フィルタ処理について説明する。基本的な考え方は上位階調通過フィルタ処理と同様で、色度フィルタ処理により、認識および測光対象である食品ラベル以外の影響を排除して、露光制御に用いる階調値の推定誤差を小さくすることができる。測光対象検出部３０３が色度フィルタ処理を使用する場合は、測光対象となるラベルの色が特徴的であるような場合を前提とする。

図１０Ａは食品ラベルが、例えば黄色の場合の庫内画像の一例である。ラベル部に色がついているため、グレー階調としては、白色である庫内底面よりも階調が低く撮影される。具体的なフィルタ処理としては、色度図上で予め定められた範囲内に収まる画素の階調値のみ通過させる処理を行う。例えば、画像中のある画素が、Ｒ：１００階調、Ｇ：１００階調、Ｂ：１０階調であるとする。

例えば、ＩＴＵ－ＲＢＴ．７０９準拠として考えると、Ｘ＝０．４１２４Ｒ＋０．３５７６Ｇ＋０．１８０５Ｂ、Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ、Ｚ＝０．０１９３Ｒ＋０．１１９２Ｇ＋０．９５０５Ｂ、でＸ，Ｙ，Ｚが計算できる。さらに、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）であるため、色度ｘ、ｙが計算でき、それぞれｘ＝０．４０２８、ｙ＝０．４７７９となる。このｘ、ｙの値が予め決められた図１１のｘｙ色度図上の範囲１１０１に含まれる場合、測光対象検出部３０３は対象の画素を通過画素とする。図１１のｘｙ色度図上の範囲１１０１の範囲外となる場合、測光対象検出部３０３は対象の画像をカット画素とする。すなわち、測光対象検出部３０３は所定の色度範囲内に収まる画素の階調値のみを通過させる。測光対象検出部３０３は、このような処理を画像中の全ての画素に対して行う。

本フィルタにおいては、フィルタ条件確認については、色情報を使うため、ＲＧＢ階調を用いて行うが、平均階調を計算する際は、グレー階調で行う。ＲＧＢ階調からグレー階調への変換は、０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂで計算できる。

図１０Ａの庫内画像に対し、コントラストフィルタ処理を行った場合の通過対象画素領域を白黒の２値画像で表現した画像が、図１０Ｂである。認識対象となるラベル部が通過対象領域となる。認識および測光対象の色が特徴的であるという前提がある場合、このようなフィルタ処理によって、ラベル部の検出を行うことなく、前処理段階の単純なフィルタ処理のみで、高速、かつ精度よく測光対象の階調値を推定できる。したがって、ラベル部の文字が容易に認識される。

測光対象検出部３０３が、上位階調通過フィルタ処理、コントラストフィルタ処理、色度フィルタ処理のいずれかの測光対象検出フィルタ処理を行って、カメラ２０４で撮影された画像から測光および認識対象部分の階調情報のみを通過させる。その後、制御部３００はＳ３ステップに処理を進める。

Ｓ３ステップでは、測光対象検出部３０３が、Ｓ２ステップのフィルタ処理で通過した画素階調値を使って、画像全体の平均階調値を算出する。その後、制御部３００はＳ４ステップに処理を進める。

Ｓ４ステップでは、露光制御部３０４が、Ｓ３ステップで算出した平均階調値を用いて露光調整の要否を判断する。例えば、平均階調値が１００以上、１５０以下となる場合は、既に認識に適した明るさで撮影ができているものと判断し、露光制御部３０４による露光調整が行われず、制御部３００はＳ６ステップに処理を進める。平均階調値が１００未満、または１５０より大きい場合は、露光制御部３０４は露光調整が必要と判断し、制御部３００はＳ５ステップに処理を進める。なお、１００階調、１５０階調の閾値については一例であり、具体的に数値範囲を限定するものではない。

Ｓ５ステップでは、露光制御部３０４が、平均階調値に応じて、露光調整を行う。例えば、平均階調値が１００未満である場合は、露光制御部３０４は庫内画像が暗すぎると判断し、露光時間を長くするような設定をカメラ２０４に対して行う。すなわち、露光制御部３０４は、カメラ２０４で撮影した画像から得られる階調情報を元に露光制御を行う。

また、平均階調値が１５０より大きい場合は、露光制御部３０４は庫内画像が明るすぎると判断し、露光時間を短くするような設定をカメラ２０４に対して行う。露光調整の具体的な方法として、露光時間を調整する方法を挙げたが、別の方法でもよい。カメラ２０４のゲイン設定を調整する方法を用いてもよいし、露光時間調整とゲイン調整を組み合わせる方法でもよい。または照明２０５によって庫内の明るさを制御する方法を用いてもよい。露光調整を行った後、Ｓ１ステップに戻り再度、庫内画像撮影から処理が行われる。

Ｓ６ステップでは、制御部３００が、Ｓ２のフィルタ処理で通過した画素数が、所定の数を超えるか否かを判断する。例えば、通過した画素数が１００００以上となる場合は、制御部３００は画像認識処理であるＳ７ステップに処理を進める。通過した画素数が１００００未満となる場合は、制御部３００はＳ９ステップに処理を進める。

Ｓ９ステップでは、Ｓ６ステップの結果、認識対象となる食品ラベルが撮影画像に写っていない、または一部写っているものの、画像外にはみ出ているため、認識画像として不適当であると制御部３００が判断し、使用者に認識対象未検出の通知を行い、認識処理、および加熱は行わず、処理を終了する。すなわち、測光対象として検出した画素が所定の数に満たなかった場合、制御部３００は認識対象未検出を使用者に通知する。認識処理を実行することなく、認識対象が未検出であることを使用者に通知するため、使用者にいち早く、食品の置き直しや、食品ラベルの状態の確認を促すことができる。

Ｓ７ステップでは、認識部３０２が、カメラ２０４が撮影した庫内画像を用いて画像認識処理を行い、加熱制御情報を取得してＳ８ステップに処理を進める。

Ｓ８ステップでは、Ｓ７ステップで取得した加熱制御情報を元に、加熱制御部３０１が加熱調理を行い、処理を終了する。

以上のように、本実施の形態によれば、レンジのドア１０２の開口部から入射する外光の影響がある場合にも、カメラ２０４が撮影された画像の階調情報から、認識および測光対象の食品ラベル部の階調を精度よく推定する。そして、露光制御部３０４が、推定した階調に応じて適切な露光調整を行うため、認識に適した明度で撮影された画像で高精度な画像認識処理を行うことができる。

（その他の実施形態）
電子レンジ等の加熱調理器をネットワークと接続可能にし、ネットワーク上のサーバーで加熱調理器を制御する加熱調理システムとして、上述した実施形態を実施することも可能である。このような加熱調理システムでは、実施の形態１の電子レンジ１００における測光対象検出部３０３が行う処理をサーバー側で実行する。これにより、加熱調理器における画像フィルタ処理による処理負荷を軽減することができる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示の加熱調理器は、カメラにより撮影を行い形状などの特徴や文字などの庫内状況を認識し、認識した結果を調理制御に反映できる。これにより、販売店で使われる電子レンジの他、家庭用の電子レンジ、炊飯器やＩＨクッキングヒータなど、加熱調理器に広く適用可能である。

１００電子レンジ（加熱調理器）
１０１筐体
１０２ドア
１０３ガラス窓
１０４取っ手
１０５操作表示部
１０６液晶表示器
１０７時間設定ボタン群
１０８加熱開始ボタン
１０９取消ボタン
１１０一時停止ボタン
２０１加熱庫
２０２ａ、２０２ｂマグネトロン
２０３加熱対象物
２０４カメラ（撮影部）
２０５照明
３００制御部
３０１加熱制御部
３０２認識部
３０３測光対象検出部
３０４露光制御部

Claims

加熱対象物を収納する加熱庫と、
前記加熱庫内を撮影する撮影部と、
露光制御を実行する露光制御部と、
前記撮影部で撮影された画像から測光対象の階調情報を抽出する測光対象検出部と、
を備え、
前記露光制御部は、前記階調情報をもとに前記露光制御を行う加熱調理器。
前記測光対象検出部は、前記画像における所定割合の上位階調値のみを通過させる、請求項１記載の加熱調理器。
前記測光対象検出部は、前記測光対象の所定の画素領域の画素値と所定の階調差がある画素階調値のみを通過させる、請求項１記載の加熱調理器。
前記測光対象検出部は、所定の色度範囲内に収まる画素の階調値のみを通過させる、請求項１記載の加熱調理器。
前記測光対象検出部は、前記測光対象として検出した画素が所定の数に満たなかった場合、認識対象が未検出であることを使用者に通知する請求項１～４のいずれか１項に記載の加熱調理器。