JP6861345B2 - 文字図形認識装置、文字図形認識方法、及び文字図形認識プログラム - Google Patents

Description

本開示は、被写体に付された文字又は図形の画像から情報を取得する技術に関する。

特許文献１では、加熱対象の食品に付されたコードを読み取って加熱調理をする加熱調理装置が開示される。この加熱調理装置は、加熱室内に収納されている食品に付されたバーコード等を読み取るカメラを備え、このカメラを用いて読み取った内容に基づいて食品の加熱調理を実行する。

特開２００１−３４９５４６号公報

本開示は、被写体の大きさや形状によらず情報の取得に適した画像を取得して、当該画像から文字や図形を認識する文字図形認識装置等を提供する。

本開示における文字図形認識装置は、所定の空間にある被写体に付された文字又は図形を対象とする認識を実行して情報を取得する装置であって、制御部と、被写体を含む所定の撮影範囲の画像を撮影する撮像部と、異なる位置から光を出射して所定の空間を照明する複数の照明灯を含む照明部と、撮像部で撮影した画像中の文字又は図形を認識して情報を取得し、取得した情報を含む認識結果情報を出力する認識部とを備える。そして、制御部は、複数の照明灯個々の点灯又は消灯の組み合わせである照明パターンの照明部への適用、及び撮像部の撮影のタイミングの制御をする。

本開示における文字図形認識装置は、被写体の大きさや形状によらず情報の取得に適した画像を取得して、当該画像から文字や図形を認識する。

図１は、実施の形態１における文字図形認識装置の概要を説明するための図である。 図２は、実施の形態１における文字図形認識装置の構成を示すブロック図である。 図３は、実施の形態１における文字図形認識装置による情報取得のための動作の概要を説明するためのフロー図である。 図４は、実施の形態１における文字図形認識装置の撮像部によって撮影される画像の例を示す模式図である。 図５は、実施の形態１における文字図形認識装置に認識部によって出力される認識結果情報の例を示す図である。 図６Ａは、実施の形態１における文字図形認識装置による情報取得のための動作の一変形例を示すフロー図である。 図６Ｂは、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図７は、実施の形態１における文字図形認識装置で参照される、被写体の高さの範囲と照明灯との対応を示すデータの図である。 図８は、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図９は、実施の形態１における文字図形認識装置による、差分画像を用いる文字図形認識の概要を示す図である。 図１０は、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図１１Ａは、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図１１Ｂは、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図１２は、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図１３Ａは、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図１３Ｂは、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図１３Ｃは、実施の形態１における文字図形認識装置による情報取得のための動作の他の変形例を示すフロー図である。 図１４は、実施の形態２における文字図形認識装置の概要を説明するための図である。 図１５は、実施の形態２における文字図形認識装置の構成を示すブロック図である。 図１６は、実施の形態２における文字図形認識装置による情報取得のための動作の概要を説明するためのフロー図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜１０Ｃを用いて、実施の形態１を説明する。

［１．概要］
図１は、実施の形態１における文字図形認識装置の概要を説明するための図である。

実施の形態１に係る文字図形認識装置は、所定の空間に置かれる被写体に付された文字又は図形を対象とする認識（以下、略して文字図形認識ともいう）を実行して情報を取得する装置である。図１では、この所定の空間の例として電子レンジの加熱室内部の空間が示され、被写体の例として弁当９００が模式的に示されている。弁当９００は市販の弁当であり、文字や記号、バーコードにより商品名、消費期限、加熱方法等の商品情報が記載されたラベル９１０が貼付されている。以下では、電子レンジが文字図形認識装置を備える例を用いて本実施の形態が説明されるが、本実施の形態における文字図形認識装置は、このように、被写体となる物が置かれる空間を持つ電子レンジ以外の物、例えばコインロッカー、宅配ボックス、又は冷蔵庫等と組み合わせて利用されてもよい。

実施の形態１に係る文字図形認識装置は、このラベルの画像に対して文字図形認識を実行することで商品名、消費期限、加熱方法等の商品情報を取得して電子レンジに出力する。電子レンジは、例えばこの情報を表示部に表示したり、この情報に基づいて当該弁当の加熱を自動で実行したりする。これにより、ユーザが出力や加熱時間の設定を電子レンジに入力する手間が省かれる。

図１には、上記の画像を取得するための撮影をする撮像部１００と、この空間内の撮影を行うために必要な光を出射する照明灯１１２、１１４、及び１１６が示されている。

撮像部１００は、この加熱室の上部に、加熱室内の空間を撮影領域に含むよう設置されて被写体を上方から撮影する。また、撮像部１００の撮影範囲は、この加熱室の内部に置かれる被写体、この図の例で言えば上記の弁当のような電子レンジ調理対応の食品のラベルや蓋を撮影するために適切な所定の撮影範囲に固定される。例えば、被写体の形状やラベルの位置、ユーザによる被写体の置き方（姿勢）等のバリエーションに幅広く対応するために、この加熱室の略全体がカバーされるような撮影範囲で固定されてもよい。

照明灯１１２、１１４、及び１１６は、この加熱室の内部に置かれる被写体の形状や高さのバリエーションに幅広く対応するために、加熱室の側方の異なる高さの位置からこの加熱室内に光を出射するように設けられている。なお、これらの照明灯１１２、１１４、及び１１６は、電子レンジが従来備える庫内灯としても機能してもよい。

電子レンジに備えられたこのような文字図形認識装置では、例えばユーザが弁当９００を加熱室に入れて蓋を閉めると、照明灯１１２、１１４、及び１１６のうち１つ以上が点灯して加熱室の内部に光を出射する。そしてこの光で加熱室の内部が照明されているときに、撮像部１００が被写体である弁当９００を上方から見た画像を撮影する。そしてこの画像に含まれる文字や図形に対して文字図形認識が実行されて商品名、消費期限、加熱方法等の商品情報が取得される。次に、このような文字図形認識装置の動作を実現するための構成を、図２を用いて説明する。

［２．構成］
図２は、実施の形態１における文字図形認識装置１０の構成を示すブロック図である。

文字図形認識装置１０は、撮像部１００と、照明部１１０と、記憶部１２０と、制御部２００と、読取領域決定部２１０と、認識部２２０と、認識結果統合部２３０と、入出力部３００とを備える。

撮像部１００は、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ-ｏｘｉｄｅ-ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を含む構成要素であり、上述のような所定の空間（加熱室）の上部に、当該空間の内部が撮影領域に含まれるよう設置される。後述の制御部２００の制御に従って、この空間内に置かれた弁当９００を上方から撮影をする。撮像部１００には、撮像素子以外にレンズ等を含む光学系が含まれる。

照明部１１０は、上述のとおり所定の空間の側方の異なる高さに配置される複数の照明灯１１２、１１４、及び１１６を含む構成要素である。後述の制御部２００の制御に従って光を出射してこの空間を照明する。撮像部１００は、照明部１１０がこの空間を照明しているときに上記の撮影を実行する。つまり、照明部１１０は、この所定の空間での撮像部１００による撮影に用いられる光源として機能する。なお、この撮影のために常に照明灯１１２、１１４、及び１１６のすべてが点灯するのではなく、照明灯１１２、１１４、及び１１６個々の点灯又は消灯の組合せである照明パターンが制御部２００によって適用され、この照明パターンで点灯する。詳細は文字図形認識装置１０の動作例の説明で述べる。

記憶部１２０は、例えば撮像部１００が撮影した画像のデータ、並びに後述の読取領域決定部２１０、認識部２２０、及び認識結果統合部２３０が生成するデータを保存する記憶装置である。また、文字図形認識装置１０の外部での利用（例えば電子レンジが備える表示部での表示）のために、記憶部１２０からこれらのデータが入出力部３００を介して出力されてもよい。また、記憶部１２０には、制御部２００に読み出されて実行されるプログラム（図示なし）や参照されるデータ（図示なし）がさらに保存される。このような記憶部１２０は、半導体メモリ等を用いて実現される。なお、記憶部１２０は文字図形認識装置１０の専用の記憶装置ではなく、例えば文字図形認識装置１０を備える電子レンジ等が有する記憶装置の一部であってもよい。

制御部２００は、記憶部１２０に保存される上記のプログラムを読み出し、実行して動作する。上述の撮像部１００の制御及び照明部１１０の動作は、上記のプログラムを実行する制御部２００によって制御される。

また、読取領域決定部２１０、認識部２２０、及び認識結果統合部２３０は機能的構成要素であって、上記のプログラムを実行する制御部２００によって提供され、また、制御されて後述の動作を実行する。このような制御部２００は例えばマイクロプロセッサを用いて実現される。なお、制御部２００は文字図形認識装置１０の専用のマイクロプロセッサではなく、例えば文字図形認識装置１０を備える電子レンジ等の動作全般を制御するマイクロプロセッサであってもよい。

読取領域決定部２１０は、撮像部１００が撮影した画像が含む画素の画素値に基づいて、この画像における、文字図形認識の対象を含む読取領域を決定する。例えば、この読取領域は、撮像部１００が撮影した画像内においてラベル９１０の像が写る領域であり、文字図形認識の対象とは、ラベル９１０に記載される文字、記号、バーコード、又は二次元コード等の図形である。

認識部２２０は、読取領域決定部２１０が決定した読取領域に文字図形認識を実行して、この読取領域に含まれる文字や記号、バーコード等により示される商品名、消費期限、加熱方法等の商品情報を取得する。これらの商品情報は認識部２２０から認識結果情報として出力されて記憶部１２０に保存される。また、認識部２２０は、上記の商品情報の取得とあわせて、各商品情報の確度を算出してもよい。そしてこの確度も上記の認識結果情報に含めて記憶部１２０に保存されてもよい。このような商品情報は、本開示において認識部２２０がする認識によって取得される情報の例である。

認識結果統合部２３０は、認識部２２０が取得した商品情報を上記の確度に基づいて統合する。詳細は後述する。

入出力部３００は、文字図形認識装置１０とその外部の機器、例えば電子レンジ等とのデータの受け渡しのためのインターフェースである。例えば文字図形認識装置１０には、入出力部３００を介して電子レンジから文字図形認識の結果の要求が入力されてもよい。また、文字図形認識装置１０ではこの要求に応えて文字図形認識が実行され、その認識結果情報が出力されてもよい。

［３．動作例］
以上のように構成された文字図形認識装置１０の動作を以下に説明する。図３は、文字図形認識装置１０の動作の流れの一例を示すフロー図である。この動作は、例えばユーザから自動加熱を開始する指示の入力を受けたり、加熱対象の物が加熱室に入れられて扉が閉められたことを検知したりした電子レンジから文字図形認識の結果の要求を制御部２００が受信したことを契機に実行される。

図３に示されるように、文字図形認識装置１０の動作は、被写体の撮影（ステップＳ１０）、この画像内の読取領域の決定（ステップＳ２０）、読取領域内の文字又は図形の認識（ステップＳ３０）、及び認識結果の統合（ステップＳ４０）の４つのステップに大きく分けることができる。以下、各ステップの詳細を、引き続き電子レンジが文字図形認識装置を備える例を用いて説明する。

［３−１．撮影］
ステップＳ１０においては、制御部２００が、いずれかの照明パターンを適用することで、照明部１１０に、照明灯１１２、１１４、及び１１６のいずれか１つを点灯して、被写体が置かれている加熱室を照明させる。仮に制御部２００は、照明部１１０に加熱室内で最も高い位置にある照明灯１１２を点灯させたと想定する。そして制御部２００は、照明部１１０が照明灯１１２で加熱室を照明しているときに、撮像部１００に撮像させて所定の撮影範囲の画像を撮影させる。

次に制御部２００は、別の照明パターンを適用することで、照明部１１０に、点灯する照明灯を照明灯１１２とは別の照明灯に替えて、被写体が置かれている加熱室の中を照明させる。ここでは制御部２００は、照明部１１０に照明灯１１４を点灯させたと想定する。そして制御部２００は照明部１１０が照明灯１１４で加熱室の中を照明しているときに、撮像部１００に先ほどと同一の撮影範囲の画像を撮影させる。

次に制御部２００は、さらに別の照明パターンを適用することで、照明部１１０に、点灯する照明灯を照明灯１１２とも照明灯１１４とも異なる照明灯、つまり照明灯１１６に替えて、被写体が置かれている加熱室の中を照明させる。そして制御部２００は照明部１１０が照明灯１１６で加熱室の中を照明しているときに、撮像部１００に先ほどと同一の撮影範囲の画像を撮影させる。

このように、加熱室内での高さ位置が異なる照明灯を順次点灯させて、同一の撮影範囲を捉えた複数の画像が撮影される。撮影された画像のデータは記憶部１２０に保存される。

図４には、撮像部１００によって撮影される画像の例である画像Ｐ９００が示されている。画像Ｐ９００は、ラベル９１０が付された弁当９００及びその背景の加熱室の内側の底面の像が含まれる。なお、図４に示される画像Ｐ９００は、文字図形認識の対象である文字や記号、バーコード等の図形がすべて明確に写る、後述のステップでの処理に適した画像である。しかし、被写体の大きさ、形状、位置、及び姿勢と撮影時に点灯している照明灯（適用されている照明パターン）によっては、撮影された画像はその全部又は一部が明るすぎたり暗すぎたりして文字図形認識に適さない場合がある。以下の説明では、上記で撮影された複数の画像にそのような文字図形認識に適さない画像が含まれ得ることが想定されている。

［３−２．読取領域の決定］
ステップＳ２０においては、撮像部１００が撮影した複数の画像のデータを、読取領域決定部２１０が記憶部１２０から取得し、読取領域決定部２１０はこれらの画像における読取領域を決定する。

読取領域は、この例では画像内においてラベル９１０の像が写る領域である。このようなラベル９１０では、文字図形認識の対象である文字や図形は黒の単色で描かれ、文字や図形以外の部分（背景）は白などの単色が広がる平坦な領域であることが多い。また、ラベル９１０以外の領域では、弁当の具材や容器等のさまざまな色が写っていたり、凹凸があって陰影が見られたりすることが多い。読取領域決定部２１０は、このようなラベル９１０及びそれ以外の外観上の違いを利用し、既知の手法を用いる画素値に基づく読取領域の決定を実行することができる。

例えば画像中の各画素の色情報に基づいてラベル９１０の像がある領域が検出され、検出された領域が読取領域と決定されてもよい。別の例としては、画像中の各画素の色情報に基づいて文字や図形の像をなす画素が検出され、この検出された文字又は図形の像が集まる領域が読取領域と決定されてもよい。また別の例としては、画像中の隣接する画素同士の画素値の差（エッジ）に基づいてラベルの像があるエッジで囲まれる領域が読取領域と決定されてもよい。さらに別の例としては、エッジに基づいて文字や図形の像をなす画素が検出され、この検出された文字又は図形の像が集まる領域が読取領域と決定されてもよい。

読取領域を決定した読取領域決定部２１０は、決定した読取領域を示す情報を、元の画像データ又はこれを変換して得られる別の画像データに含めるか、又は元の画像データに関連付けられる別のデータの形で出力して記憶部１２０に保存する。なお、読取領域決定部２１０は、決定された読取領域を示す情報に加えて、この読取領域の決定の確度を示す情報を出力して保存してもよい。

［３−３．文字又は図形の認識］
ステップＳ３０においては、読取領域決定部２１０によって保存されたデータを、認識部２２０が記憶部１２０から取得し、このデータに示される読取領域に、文字又は図形を対象とする文字図形認識を実行することで情報を取得する。認識部２２０は、既知の手法を用いて文字図形認識を実行することができる。

文字図形認識を実行して情報を取得した認識部２２０は、この情報を認識結果情報として出力して記憶部１２０に保存する。なお、認識部２２０は、取得した情報の確度をこの認識結果情報に含めてもよい。図５は、認識部２２０が出力する、文字認識によって取得された情報とその確度を含む認識結果情報の例を示す図である。この例では、取得された情報としての認識された文字（数字や記号を含んでもよい、以下同じ）の候補、及び認識された各文字の候補、及びこれらの文字の候補の所定のグループ（行単位及び領域全体）ごとの確度が、認識結果情報としてテーブルＴ９１０の形のデータで出力されている。

また、バーコード等の図形に対してステップＳ３０が実行される場合は、読取領域内の図形を構成する線等の要素が認識される。そしてこの認識によって把握された図形の特徴（例えば線の太さ及び間隔）を所定の規則に照らして解読され、この解読によって得られた文字又はその候補が、取得された情報として認識結果情報に含まれる。この場合も、取得された情報の確度が認識結果情報に含まれてもよい。

［３−４．認識結果の統合］
ステップＳ４０においては、認識部２２０によって保存された認識結果情報のデータを、認識結果統合部２３０が記憶部１２０から取得し、そのデータに示される認識結果情報の統合処理をすることで最終的な情報を取得する。

ここでの統合処理の例として、認識結果統合部２３０は、各画像の読取領域、上記の例では３点の画像から決定された３個の読取領域それぞれの認識結果情報の確度（図５のテーブルＴ９１０では最右列の数値）を取得して比較し、最も確度が高い認識結果情報を選択してもよい。選択された認識結果情報は、入出力部３００を介して電子レンジへ出力される。

別の例としては、個々の文字の確度（図５のテーブルＴ９１０では右から３番目の列の数値）が認識結果情報間で比較されて、文字ごとに最も確度が高い結果が選択されてもよいし、行単位の確度（図５のテーブルＴ９１０では右から２番目の列の数値）を用いて行単位で最も確度が高い結果が選択されてもよい。この場合は、選択された文字又は行を集めて新たな認識結果情報が生成され、この新たな認識結果情報が入出力部３００を介して電子レンジへ出力される。

［４．動作の変形例］
上述の文字図形認識装置１０の動作は一例であり、これに限定されない。上記の動作の変形例を以下に示す。なお、共通のステップは同じ参照符号で示して、説明は省略し、上記の動作との差異点を中心に説明する。

［４−１．最適画像が選択される変形例]
図６Ａは、文字図形認識装置１０による情報取得のための動作の一変形例である変形例１を示すフロー図である。図６Ｂは、文字図形認識装置１０による情報取得のための動作の一変形例である変形例２を示すフロー図である。

変形例１では、撮像部１００が撮影した複数の画像から、文字図形認識に適した画像（変形例１及び２において最適画像という）を１つ選択するステップＳ１５Ａが上記で例示した動作に加えられている。

ステップＳ１５Ａにおいては、読取領域決定部２１０が、撮像部１００が撮影した複数の画像のそれぞれが含む画素の画素値に基づいて１つの画像を選択する。

画素値に基づく画像の選択の具体的な例としては、複数の画像内で同一の位置にある画素の明るさを比較して、照明灯１１２、１１４、及び１１６それぞれとの距離、つまり被写体である弁当９００の高さを推定し、この推定された高さに応じた照明灯で加熱室の中が照明されているときに撮影された画像が選択されてもよい。この場合、高さに応じた照明灯は、高さの推定値の範囲ごとにあらかじめ定められてデータとして記憶部１２０に保存され、このステップで読取領域決定部２１０によって参照される。

図７はこの参照されるデータの例を示す。このデータによれば、推定された被写体の高さｈが照明灯１１６の高さよりも低い場合、照明灯１１６で加熱室の中が照明されているときに撮影された画像が選択される。また、推定された被写体の高さｈが照明灯１１６の高さと同じか又はより高く、且つ照明灯１１４の高さよりも低い場合、照明灯１１４で加熱室の中が照明されているときに撮影された画像が選択される。図７に示されるような高さ範囲と点灯される照明灯との対応は、例えば電子レンジの設計で用意されて記憶部１２０に保存される。

また、別の例としては、画素値に基づいて、各画像の全体又は所定の領域（例えば画像の中央周辺）の画質（ここではコントラストやノイズの多寡等の意味）を評価し、この評価の結果を比較して画像が選択されてもよい。

変形例１では、例えば上記の動作例のように撮影されたすべての画像の読取領域が決定され、文字認識が実行される場合よりも文字図形認識装置１０の処理負荷が小さい。したがって、文字図形認識装置１０に仕様として要求されるリソースがより少なくてもよい。または、認識結果として得られる最終的な情報を、上記の動作例よりも短時間で出力することができる。

また、図６Ｂに示される変形例２のように、撮影されたすべての画像の読取領域の決定（ステップＳ２０）までが実行され、各画像の読取領域内の画素値に基づいて最適画像が選択されてもよい（ステップＳ２５）。処理負荷の削減の程度は変形例１のほうが大きいが、読取領域で画質が判定される変形例２のほうがより確度の高い文字認識結果が得られる可能性が高い。

［４−２．最適画像が生成される変形例]
図８は、文字図形認識装置１０による情報取得のための動作の一変形例である変形例３を示すフロー図である。

変形例３では、「３．動作例」で説明された動作に、撮像部１００が撮影した複数の画像から、読取領域決定部２１０が文字図形認識に適した画像（本変形例でも便宜的に最適画像という）を生成するステップＳ１５Ｂが加えられている。

撮像部１００が撮影した複数の画像は撮影範囲が共通であり、また、被写体は静物であるため、各画像の同一位置にある画素の画素値は、基本的に複数の画像間で同一物の同一位置の情報を示す。このことを利用して、例えば複数の画像の同一位置にある画素の画素値の平均値を算出することで平均画像が生成されて、この平均画像が最適画像として用いられてもよい。または、複数の画像から差分画像が生成されて、この差分画像が最適画像として用いられてもよい。

図９に示されるのは、この差分画像が用いられる文字図形認識の概要である。図９に示される例では、撮像部１００が撮影した複数の画像の中から、例えば画像全体の輝度の平均値に基づいて、全体が比較的暗い画像（同図中のローキー画像）及び全体が比較的明るい画像（同図中のハイキー画像）の２つの画像がまず選択される。そして、これらの画像の同一位置にある画素の画素値の差分に基づく差分画像（同図左下）が生成される。以下、判別分析法等の既知の手法を用いてこの差分画像から２値化画像が生成される。この後、読取領域決定部２１０がこの２値化画像を取得して読取領域を決定する。なお、差分画像の生成方法はこの例に限定されず、例えば３つ以上の複数の画像から、同一位置にある画素の画素値の最大値及び最小値を見つけ、この最大値と最小値との差分を算出して生成されてもよい。また例えば、差分画像全体のコントラストが不十分（例えば輝度分布が輝度値ヒストグラムの中央に集まっている状態）な場合は、２値化の処理の前に正規化を行って差分画像内の輝度分布が調整されてもよい。

このように、最適画像は、撮影されたすべての画像から生成されてもよいし、その一部（少なくとも２つ）の画像から生成されてもよい。また、画素単位で、極端に明るい又は暗いことを示す画素値は平均や差分の算出から除外されてもよい。

また、読取領域決定部２１０は、３つ以上ある画像のうち、まず２つの画像を合成して最適画像候補を生成する。そして、この最適画像候補に、極端に暗い又は極端に明るい領域がない（又は画像全体に占める割合が所定の値より小さい）場合に、この最適画像候補を最適画像として用い、そのような領域がある（又は画像全体に占める割合が所定の値以上である）場合には、この最適画像候補と別の画像とをさらに合成してもよい。

本変形例によれば、撮影された画像のいずれもが文字図形認識に適さない領域を含む場合にも、文字認識に適した画像を取得できる。

［４−３．最適画像の選択及びその補正を含む変形例]
図１０は、文字図形認識装置１０による情報取得のための動作の一変形例である変形例４を示すフロー図である。

変形例４では、「３．動作例」で説明された動作に、撮像部１００が撮影した複数の画像から、文字図形認識に最も適した画像（本変形例でも便宜的に最適画像という）を１つ選択するステップＳ１５Ａと、文字図形認識の精度を上げるためにこの最適画像に補正を加えるステップＳ１５Ｃが加えられている。

変形例１で選択された画像は、撮像部１００が撮影した複数の画像の中では最も高い精度の文字図形認識が見込める画像であっても、その一部が文字図形認識に適さない場合、例えば極端に明るい領域や暗い領域を含む場合がある。本変形例では、このような場合に、最適画像として選択されなかった画像の、その最適画像の文字図形認識に適さない領域に対応する領域の画素値を用いて、読取領域決定部２１０がこの文字図形認識に適さない領域を補正する。

この補正の具体的な例としては、例えば最適画像において明るさが不十分な領域の各画素の画素値に、他の画像の対応する領域の各画素の画素値を加算してもよい。または、明るさが不十分な領域の各画素の画素値と、他の画像の対応する領域の各画素の画素値とを平均化してもよい。また、最適画像において明るすぎる領域の各画素の画素値と他の画像の対応する領域の各画素の画素値を平均化してもよい。

本変形例によれば、最適画像が文字図形認識に適さない領域を含む場合であっても、より高い精度の文字図形認識が見込める画像を取得できる。

［４−４．撮影の都度、画像を評価する変形例]
図１１Ａ及び図１１Ｂは、文字図形認識装置１０による情報取得のための動作の一変形例である変形例５及び変形例６をそれぞれ示すフロー図である。

「３．動作例」で説明された動作では、まず、複数の照明パターンが順次変更されて、各照明パターンで撮影が実行される（ステップＳ１０）。

変形例５では、ある照明パターンで加熱室が照明されているときに撮像部１００が画像を撮影する度に（ステップＳ１００）、読取領域決定部２１０は、撮影された画像が認識部２２０による文字図形認識に適しているか否かを判定する（ステップＳ１１０）。撮影された画像が認識部２２０による文字図形認識に適していると判定した場合（ステップＳ１１０でＹＥＳ）、読取領域決定部２１０は上記の手法を用いてこの画像における読取領域を決定する（ステップＳ２０）。撮影された画像が認識部２２０による文字図形認識に適していないと判定した場合（ステップＳ１１０でＮＯ）、制御部２００は、まだ適用されていない照明パターンがあれば（ステップＳ１３０でＮＯ）、照明部１１０にその照明パターンで加熱室内を照明させる（ステップＳ８００）。撮像部１００は、先ほどとは別の照明パターンで加熱室内が照明されているときに画像を撮影する（ステップＳ１００）。すべての照明パターンでの照明で撮影が既に実行されている場合（ステップＳ１３０でＹＥＳ）、既に撮影された複数の画像から、上述のいずれかの動作例又は変形例に含まれる手順によって読取領域が決定される（ステップＳ２０）。

ステップＳ１１０における判定は、例えば画素値に基づいて、画像の全体又は所定の領域（例えば画像の中央周辺）の画質（ここではコントラストやノイズの多寡等の意味）を評価して実行される。

また、図１１Ｂに示される変形例６の手順のように、読取領域決定部２１０は、変形例５でのステップＳ１１０での画像の判定に先立って、撮影された画像の読取領域を決定し（ステップＳ２０）、この決定した読取領域の画素値に基づいて画質の評価をすることでステップＳ１１０の判定を実行してもよい。

上記の動作例及びその変形例１〜４では、少なくとも画像の撮影の手順（ステップＳ１０）が、採用されている照明パターンの数だけ繰り返される。これに対して変形例５及び６では、撮影（ステップＳ１００）の実行回数がより少なく、結果的に認識結果情報がより速やかに出力される可能性がある。また、変形例５と変形例６とを比較すると、認識結果情報の出力までの時間は、変形例５のほうがより大きく短縮できるが、読取領域で画質が判定される変形例６のほうがより確度の高い文字認識結果が得られる可能性が高い。

なお、より高い位置にある照明灯による照明のほうが、より低い位置にある照明灯による照明よりも被写体自体による影が被写体の上面に生じにくいため、文字図形認識に適した画像が得られる可能性が高い。したがって、変形例５及び６では、より高い位置にある照明灯による照明、図１の例で言えば照明灯１１２による照明での撮影から開始するのが望ましい。また、対象となる被写体の高さの分布に偏りがあることが事前にわかっている場合には、出現頻度の高い被写体の高さに対応した照明灯による照明から撮影を開始することが望ましい。この場合、照明灯の点灯順は記憶部１２０に保存される。

［４−５．撮影の都度、文字認識を実行する変形例]
図１２は、文字図形認識装置１０による情報取得のための動作の一変形例である変形例７を示すフロー図である。

変形例７では、ある照明パターンで加熱室が照明されているときに撮像部１００が画像を撮影する度に（ステップＳ１００）、読取領域決定部２１０による読取領域の決定（ステップＳ２００）、及び認識部２２０による読取領域の文字図形認識（ステップＳ３００）が実行される。

次に、認識結果統合部２３０が、ステップＳ３００で認識部２２０が出力した認識結果情報に含まれる確度を取得し、取得した確度が十分であるか否かを判定する（ステップＳ４００）。取得した確度が十分であると判定した場合（ステップＳ４００でＹＥＳ）、認識結果統合部２３０は、この認識結果情報に含まれる文字などの情報を最終的な情報として確定させて出力する（ステップＳ５００）。取得した確度が十分でないと判定した場合（ステップＳ４００でＮＯ）、制御部２００は、まだ適用されていない照明パターンがあれば（ステップＳ６００でＮＯ）、照明部１１０にその照明パターンで加熱室内を照明させる（ステップＳ８００）。そして撮像部１００は、先ほどとは別の照明パターンで加熱室内が照明されているときに画像を撮影する（ステップＳ１００）。すべての照明パターンでの照明で撮影が既に実行されている場合（ステップＳ６００でＹＥＳ）、認識結果統合部２３０は、例えば情報の取得に失敗した旨の通知を電子レンジが備える表示部や音声出力部（いずれも図示なし）を介して出力する（ステップＳ７００）。

本変形例においても、上記の動作例及びその変形例よりも認識結果情報がより速やかに出力される可能性がある。また、本変形例においても、変形例５及び６と同じ理由で、より高い位置にある照明灯による照明、図１の例で言えば照明灯１１２による照明での撮影から開始するのが望ましい。また、対象となる被写体の高さの分布に偏りがあることが事前にわかっている場合には、出現頻度の高い被写体の高さに対応した照明灯による照明から撮影を開始することが望ましい。この場合、照明灯の点灯順は記憶部１２０に保存される。

［４−６．撮影の都度、画像合成を実行する変形例]
図１３Ａ〜図１３Ｃは、文字図形認識装置１０による情報取得のための動作の一変形例である変形例８〜１０をそれぞれ示すフロー図である。

変形例５及び６では、画像が文字認識に適しているか否かが判定され（ステップＳ１１０）、画像が文字認識に適していない場合には別の照明パターンで照明をして撮影をすることによって新たな画像が撮影され（ステップＳ８００、ステップＳ１００）、この新たな画像が文字認識に適しているか否かが判定される（ステップＳ１１０）。変形例７では、文字図形認識の確度が不十分な場合に（ステップＳ４００）、別の照明パターンで照明をして撮影をすることによって新たな画像が撮影され（ステップＳ８００、ステップＳ１００）、この新たな画像に文字図形認識を実行して（ステップＳ３００）その確度の判定がなされる（ステップＳ４００）。

変形例８〜１０では、変形例５〜７でのステップＳ１１０又はステップＳ４００で判定結果が否定的な場合に、次の新たな画像が撮影及び合成によって取得される。この合成の詳細については、上記の変形例３の手順における最適画像の生成（ステップＳ１５Ｂ）のための合成と同じである。そして合成によって得られたこの画像に対して変形例５〜７と同様にその後の手順が実行される。

図１３Ａに示される変形例８では、読取領域決定部２１０は、合成によって画像を得ると（ステップＳ１０５）、この得られた画像が認識部２２０による文字図形認識に適しているか否かを判定する（ステップＳ１１０）。この判定は、変形例５及び６の手順に含まれるステップ１１０での判定と同じである。合成によって得られた画像が認識部２２０による文字図形認識に適していると判定した場合（ステップＳ１１０でＹＥＳ）、読取領域決定部２１０は上記の手法を用いてこの画像における読取領域を決定する（ステップＳ２０）。合成によって得られた画像が認識部２２０による文字図形認識に適していないと判定した場合（ステップＳ１１０でＮＯ）、制御部２００は、まだ適用されていない照明パターンがあれば（ステップＳ１３０でＮＯ）、照明部１１０にその照明パターンで加熱室内を照明させる（ステップＳ８００）。撮像部１００は、先ほどとは別の照明パターンで加熱室内が照明されているときに画像を撮影する（ステップＳ１００）。読取領域決定部２１０は、この新たに撮影によって得られた画像をさらに用いて新たな画像を合成し、この合成によって得られた画像が認識部２２０による文字図形認識に適しているか否かを判定する（ステップＳ１１０）。

また、図１３Ｂに示される変形例９の手順のように、読取領域決定部２１０は、変形例８でのステップＳ１１０での画像の判定に先立って、撮影された画像の読取領域を決定し（ステップＳ２０）、この決定した読取領域の画素値に基づいて画質の評価をすることでステップＳ１１０の判定を実行してもよい。

また、図１３Ｃに示される変形例１０の手順のように、読取領域決定部２１０によって画像が合成される度に（ステップＳ１０５）、読取領域決定部２１０による読取領域の決定（ステップＳ２００）、及び認識部２２０による読取領域の文字図形認識（ステップＳ３００）が実行されてもよい。そして認識結果統合部２３０が、ステップＳ３００で認識部２２０が出力した認識結果情報に含まれる確度を取得し、取得した確度が十分であるか否かを判定する（ステップＳ４００）。取得した確度が十分であると判定した場合（ステップＳ４００でＹＥＳ）、認識結果統合部２３０は、この認識結果情報に含まれる文字などの情報を最終的な情報として確定させて出力する（ステップＳ５００）。取得した確度が十分でないと判定した場合（ステップＳ４００でＮＯ）、制御部２００は、まだ適用されていない照明パターンがあれば（ステップＳ６００でＮＯ）、照明部１１０にその照明パターンで加熱室内を照明させる（ステップＳ８００）。そして撮像部１００は、先ほどとは別の照明パターンで加熱室内が照明されているときに画像を撮影する（ステップＳ１００）。すべての照明パターンでの照明で撮影が既に実行されている場合（ステップＳ６００でＹＥＳ）、認識結果統合部２３０は、例えば情報の取得に失敗した旨の通知を電子レンジが備える表示部や音声出力部（いずれも図示なし）を介して出力する（ステップＳ７００）。

なお、上記の説明では、変形例８〜１０の各手順においても、最初に撮影された画像のみで文字認識に適した画像であったり、確度が十分な文字認識結果が得られたりした場合には、照明パターンを変えてする撮影以降の手順は実行されなくてもよい。

変形例８〜１０の手順によれば、上記の動作例及びその変形例１〜４での手順よりも撮影（ステップＳ１００）の実行回数がより少なく、結果的に認識結果情報がより速やかに出力される可能性がある。また、変形例５〜７と比較すると、画像の合成の手順が追加されるために認識結果情報の出力までの時間はより長いが、１つの画像では得られない文字図形認識に適した画像が用いられるため、より精度の高い文字認識結果が得られる。

［５．その他の変形例等］
上記では、１回の撮影に点灯される照明灯が１個のみの場合を例に文字図形認識装置１０の動作例が説明されているが、本実施の形態において制御部２００が照明部１１０に適用する照明パターンは、１個のみの照明灯が点灯するものに限定されない。照明部１１０に適用する照明パターンには、複数の照明灯が点灯する点灯と消灯との組み合わせが含まれてもよい。さらに、加熱室に開口部が開いていて被写体に外光が当たる場合には、全照明灯を消灯して撮影してもかまわない。このようにすべての照明灯が消灯される組み合わせも、上記の照明パターンのひとつに含まれてもよい。なお、複数の照明灯個々の点灯又は消灯のすべての組み合わせが採用される必要はない。

また、上記の構成では、撮像部１００は上方から被写体の撮影を行っているが、水平方向等別の角度から撮影してもかまわない。

また、被写体や読取対象情報によっては、文字や記号、バーコードが特定の読取領域に記載されていない場合もある。その場合には、読取領域決定部２１０は画像全体を読取領域とする。

また、上記の構成では、空間内に置かれる被写体の高さの変動に依らず文字図形認識に適した画像を撮影するため、複数の照明灯を異なる高さに設置したが、複数の照明灯を水平方向に並べて設置することで、空間内に置かれる被写体の奥行きの変動に依らず文字図形認識に適した画像を撮影することができる。さらに、水平、垂直両方向に並べて設置してもかまわない。この場合、空間内に置かれる被写体の高さに加えて、被写体の位置や大きさ、あるいは読取領域の向きの変動に依らず文字図形認識に適した画像を撮影することができる。

［６．効果等］
以上のように、本実施の形態において、所定の空間にある被写体に付された文字又は図形を対象とする認識を実行して情報を取得する文字図形認識装置１０は、制御部２００と、撮像部１００と、照明部１１０と、読取領域決定部２１０と、認識部２２０とを備える。

撮像部１００は、上記の所定の空間にある被写体を含む所定の撮影範囲の画像を撮影する。

照明部１１０は、異なる位置から上記の所定の空間に光を出射する複数の照明灯１１２、１１４、及び１１６を含む。照明部１１０には、複数の照明灯１１２、１１４、及び１１６個々の点灯又は消灯の組合せである照明パターンが制御部２００によって適用され、照明部１１０はその適用されている照明パターンで上記の空間を照明する。なお、本開示での「照明する」には、複数の照明灯１１２、１１４、及び１１６のいずれもが消灯である場合も含む。そして撮像部１００は、照明部１１０が適用されている照明パターンで上記の空間を照明しているときに上記の所定の撮影範囲の画像を撮影する。

より具体的には、制御部２００は、適用する照明パターンを順次変更することで、照明部１１０に、異なる複数の照明パターンで上記の所定の空間を照明させる。

また、制御部２００は、撮像部１００による上記の撮影のタイミングを制御する。より具体的には、照明部１１０が照明パターンのそれぞれで上記の空間を照明しているときに撮像させることで、被写体を含む所定の撮影範囲の画像を複数撮影させる。また、制御部２００は、読取領域決定部２１０に、複数の画像における少なくとも１つの読取領域を決定させる。例えば読取領域決定部２１０は、複数の画像のそれぞれが含む画素の画素値に基づいて１つの画像を選択し、この選択した画像における読取領域を決定する。または、複数の画像のそれぞれにおいて読取領域の候補を決定することで複数の仮読取領域を取得し、これらの複数の仮の仮読取領域のそれぞれが含む画素の画素値に基づいて１つの読取領域を選択してもよい。

これにより、複数の画像の中から文字図形認識が実行される読取領域が限定され、複数の画像すべて、又は１枚の画像全体を対象とするよりも、効率よく文字図形認識が実行される。また、点灯する照明灯を変えて撮影された複数の画像から読取領域が選ばれるため、より文字図形認識に適した画像から情報を取得することができる。

また、本実施の形態において、制御部２００は、読取領域決定部２１０に、複数の画像の少なくとも２つから平均画像を生成し、この平均画像における読取領域を決定させてもよい。または制御部２００は、読取領域決定部２１０に、複数の画像の少なくとも２つから、各画像の同一位置にある画素の画素値の最大値と最小値との差分を示す差分画像を生成し、この差分画像における読取領域を決定させてもよい。または制御部２００は、読取領域決定部２１０に、複数の画像のそれぞれが含む画素の画素値に基づいて１つの画像を選択し、この選択した画像の一部の領域を、複数の画像の他の画像の一部の領域を用いて補正してから、選択した画像における読取領域を決定させてもよい。

これにより、点灯する照明灯を替えて撮影された各画像の中では、文字図形認識に十分な画質の読取領域が得られない場合にも、文字図形認識に適した読取領域を取得することができる。

また、文字図形認識装置１０は、さらに認識結果統合部２３０を備えてもよい。この場合、制御部２００は、読取領域決定部２１０に、複数の画像のそれぞれから読取領域を決定することで複数の読取領域を取得させ、認識部２２０に、これらの複数の読取領域のそれぞれに文字図形認識を実行して、文字図形認識によって取得された情報及び当該情報の確度を含む認識結果情報を読取領域ごとに出力させる。そして認識結果統合部２３０に、読取領域ごとの確度に基づいて情報を統合させる。

これにより、点灯する照明灯を替えて撮影された各画像に実施して得られた文字認識の結果から最も精度がよい可能性が高いものが選択され、有用性の高い情報が取得される。

また、制御部２００は、読取領域決定部２１０に、画像が含む少なくとも一部の画素の画素値に基づいて、当該画像が認識部２２０による認識に適しているか否かについて判定させてもよい。そして、当該画像は認識部２２０による認識に適していないと読取領域決定部２１０が判定した場合に、照明部１１０に先の撮影時とは別の照明パターンで空間を照明させ、撮像部１００に、照明部１１０がこの別の照明パターンで空間を照明しているときに画像をさらに撮影させてもよい。または、画像は認識部２２０による文字図形認識に適していないと読取領域決定部２１０が判定した場合、制御部２００は、読取領域決定部２１０に、この判定がなされた画像と、その後に点灯させる照明灯を替えてさらに撮影された画像とを合成して新たな画像を取得し、この新たな画像が含む少なくとも一部の画素の画素値に基づいて、認識部２２０による認識に適しているか否かについて判定させてもよい。

これにより、画像を撮影する都度、その画像が文字図形認識に適しているかが判定される。１つ目の画像が文字図形認識に適している場合は、複数の画像同士を比較して文字図形認識に適しているか否かが判定される手順よりも速やかに情報が取得される。

または、制御部２００は、認識部２２０に、読取領域に文字図形認識を実行して、文字図形認識によって取得された情報及び当該情報の確度を含む認識結果情報を出力させ、認識結果統合部２３０に、この確度が所定の閾値以上であるか未満であるかを判定させてもよい。そして、当該確度は所定の閾値未満であると認識結果統合部２３０が判定した場合に、照明部１１０に先の撮影時とは別の照明パターンで空間を照明させ、撮像部１００に、照明部１１０がこの別の照明パターンで空間を照明しているときに画像をさらに撮影させてもよい。または、確度は所定の閾値未満であると認識結果統合部２３０が判定した場合、制御部２００は、読取領域決定部２１０に、さきの判定がなされた画像と、その後に点灯させる照明灯を替えてさらに撮影された画像とを合成して新たな画像を取得し、この新たな画像における読取領域を決定させる。そして、認識部２２０に、新たな画像における読取領域に文字図形認識を実行して、この文字図形認識によって取得された情報及び当該情報の確度を含む認識結果情報を出力させ、認識結果統合部２３０に、この確度が所定の閾値以上であるか未満であるかを判定させてもよい。

これにより、画像を撮影する都度、その画像から得られた情報の確度が十分か否かについて判定される。１つ目の画像から得られた情報の確度が十分な場合は、複数の画像同士から得られた情報同士を比較してから得られた情報の確度が十分か否かについて判定される手順よりも速やかに情報が取得される。

このようにして得られる情報の一例としては、例えば食品の加熱時間、賞味若しくは消費期限、管理温度帯を示す情報が挙げられる。このような情報は、電子レンジや冷蔵庫等で制御に活用されてもよいし、これらの機器が表示部を備える場合には、表示部に表示されてもよい。また別の活用例としては、宅配物の送付票に記載の情報や荷物の外部に貼られた注意書きラベルの情報が宅配ボックスでの荷物管理に活用されてもよい。

（実施の形態２）
以下、図１４〜１６を用いて、実施の形態２を説明する。

［１．概要]
実施の形態２においても、加熱室の側方の異なる高さの位置から加熱室の内部に光を出射する複数の照明灯を含む照明部を用いて、この加熱室内に置かれる、大きさや形状の異なる被写体の、文字図形認識に適した画像を撮影する点は実施の形態１と共通である。

実施の形態２では、撮像部による撮影の前に被写体の高さが検知され、その高さに応じた照明灯による照明を照明部にさせる点が実施の形態１と異なる。

図１４は、実施の形態２における文字図形認識装置の概要を説明するための図である。実施の形態２における文字図形認識装置は、複数の光センサ４０２、４０４、及び４０６をさらに備える点が実施の形態１における文字図形認識装置と異なる。光センサ４０２、４０４、及び４０６は、加熱室の側方の異なる高さの位置に設置されて、各位置でのこの加熱室内の明るさを検知する。なお、この例では光センサ４０２、４０４、及び４０６は、それぞれ照明灯１１２、１１４、及び１１６のほぼ正面に設置されている。

図示のように異なる高さの位置で明るさを検知するのは、各位置で検知して得られた明るさの情報（以下、明るさ情報ともいう）を、被写体の高さの推定に用いられる情報として提供するためである。例えば図１４には、高さの異なる３つの被写体９００Ａ、９００Ｂ、及び９００Ｃが示されている。被写体９００Ａの高さはいずれも照明灯及び光センサの位置よりも低い。被写体９００Ｂの高さは、照明灯１１６及び光センサ４０６の位置より高く、照明灯１１４及び光センサ４０４の位置より低い。被写体９００Ｃの高さは、照明灯１１４及び光センサ４０４の位置より高く、照明灯１１２及び光センサ４０２の位置より低い。これらの被写体の高さと各光センサが検知する明るさの関係について例を用いて説明する。

この例では、照明灯１１２、１１４、及び１１６はすべてが点灯され、実質的に同じ強さの光を出射していると想定する。このとき加熱室内にあるのが被写体９００Ａであれば、いずれの照明灯が出射する光も遮られることなく光センサ４０２、４０４、及び４０６に到達するため、各光センサの検知する明るさに大きな差はない。加熱室内にあるのが被写体９００Ｂであれば、照明灯１１６が出射する光の多くは被写体９００Ｂに遮られて各光センサに到達しない。特に、光センサ４０６は正面で出射されている光が遮られて受光できないため、光センサ４０６が検知する明るさは、光センサ４０２及び４０４が検知する明るさに比べて大きく下回る。加熱室内にあるのが被写体９００Ｃであれば、照明灯１１４及び１１６が出射する光の多くが被写体９００Ｃに遮られて各光センサに到達しない。特に、光センサ４０４及び４０６は正面で出射されている光が遮られて受光できないため、光センサ４０４及び４０６が検知する明るさは、光センサ４０２が検知する明るさに比べて大きく下回る。

このように、各光センサが検知する明るさの差は、空間内に置かれる被写体の高さによって異なる。したがって、各光センサ検知した明るさの情報である明るさ情報に基づいて被写体の高さを推定することができる。そしてあらかじめ被写体の高さに応じた撮影に適した照明灯を定めておくことで、推定された被写体の高さに基づいて点灯させる照明灯を選択し、文字図形認識に適した画像を撮影することができる。次に、このような文字図形認識装置の動作を実現するための構成を、図１５を用いて説明する。

［２．構成］
図１５は、実施の形態２における文字図形認識装置１０１０の構成を示すブロック図である。

文字図形認識装置１０１０は、実施の形態１における文字図形認識装置１０の構成に加えて、光センサ４０２、４０４、及び４０６を含む光検知部４００と、照明選択部２４０とを備える。また、記憶部１２０は、明るさ情報をさらに保存する。なお、実施の形態１における文字図形認識装置１０と共通の構成要素については共通の参照符号で示し、詳細な説明は省略する。

照明部１１０は制御部２００の制御に従って、照明灯１１２、１１４、及び１１６の少なくとも１つから光を出射してこの空間を照明する。図１５に示されるように照明灯１１２、１１４、及び１１６は、一列に並ぶ。

光検知部４００は、上述のような所定の空間（本実施の形態では加熱室）光センサ４０２、４０４、及び４０６を含む構成要素であり、照明部１１０の対面に設置される。光検知部４００は制御部２００の制御に従って、照明部１１０のすべての照明灯が光を出射してこの加熱室を照明しているときに、光センサ４０２、４０４、及び４０６がそれぞれ検知する明るさを明るさ情報として出力する。この明るさ情報は記憶部１２０に保存される。光センサ４０２、４０４、及び４０６は、各種の既知の光センサを用いて実現される。

照明選択部２４０は、機能的構成要素であって、記憶部１２０に保存されるプログラムを実行する制御部２００によって提供され、また、制御されて次の動作を実行する。照明選択部２４０は、光検知部４００が出力した明るさ情報から、加熱室内にある被写体９００の高さを推定する。推定は例えば上記の概要に記載したような、各光センサが検知した明るさの強弱の関係に基づいて行われる。別の例として、各センサが検知した明るさが所定の閾値が示す強さより強いか否かに基づいて推定されてもよい。また、この推定した高さに応じて、撮影のために適用される照明パターンを選択する。この選択は、例えば実施の形態１の変形例１で参照された、図７に示されるデータを参照して行われる。このデータの例によれば、被写体９００によって出射光が遮られない照明灯のうち、最も低い位置にある照明灯が照明させる照明灯１１６として選択される。また、すべての照明灯の出射光が被写体９００によって遮られる場合は、すべての照明灯が照明させる照明灯１１２、１１４、１１６として選択される。これは各照明灯から被写体９００の上面に届く直接光がないため、加熱室内の反射光で少しでも被写体９００の上面を明るくするためである。

［３．動作例］
以上のように構成された文字図形認識装置１０１０の動作を以下に説明する。図１６は、文字図形認識装置１０１０の動作の流れの一例を示すフロー図である。この動作は、例えばユーザから自動加熱を開始する指示の入力を受けたり、加熱対象の物が加熱室に入れられて扉が閉められたことを検知したりした電子レンジから文字図形認識の結果の要求を制御部２００が受信したことを契機に実行される。

図１６に示される動作は、図３に示される実施の形態１の動作の最初の手順である照明灯を変えてする複数の画像を撮影（ステップＳ１０）に代えて３つの手順を含み、その後の手順は共通である。以下では、この実施の形態１との差異を中心に説明する。

［３−１．明るさの検知]
まず、ステップＳ１０００において、制御部２００が、照明部１１０に、照明灯１１２、１１４、及び１１６のすべてを点灯して、被写体９００が置かれている加熱室を照明させる。そして制御部２００は、照明部１１０が加熱室を照明しているときに光検知部４００の光センサ４０２、４０４、及び４０６のそれぞれが検知する加熱室内の明るさを、光検知部４００に明るさ情報として出力させる。出力されたこの明るさ情報のデータは記憶部１２０に保存される。

［３−２．高さの推定及び照明灯の選択］
次に、ステップＳ１００５において、照明選択部２４０が明るさ情報のデータを記憶部１２０から取得し、照明選択部２４０はこのデータに示される光センサ４０２、４０４、及び４０６のそれぞれが検知した明るさに基づいて被写体９００の高さを推定する。この推定は例えば上記のように各光センサが検知した明るさの強弱の関係に基づいて行われる。また、例えば、いずれの光センサが検知した明るさも所定の閾値が示す強さより弱い場合、照明選択部２４０は被写体９００の高さは最も高い位置にある照明灯１１２よりも高いと推定してもよい。

そして照明選択部２４０は、この推定した高さに応じた照明灯を選択する。この選択は、例えば図７に示される被写体の高さの範囲と、撮影のために点灯される照明灯との対応関係を示すデータを参照して行われる。選択された照明灯の組み合わせは、制御部２００に通知される。

［３−３．撮影］
ステップＳ１０１０において、制御部２００は、照明部１１０に、通知された照明灯の組み合わせをなす照明灯を点灯させて加熱室の中を照明させる。また、制御部２００は照明部１１０が加熱室の中を照明しているときに、撮像部１００に所定の撮影範囲の画像を撮影させる。

［３−４．読取領域の決定及び文字又は図形の認識]
ステップＳ２０以降の手順における文字図形認識装置１０１０の動作は、実施の形態１における文字図形認識装置１０の動作と基本的に同じである。但し、上記の決定のあと撮影が１度のみの場合は、認識結果の統合は不要である。

［４．変形例]
上記で説明した構成及び動作は一例であり、各種の変形が可能である。

例えば上記では撮影時における各照明灯は点灯又は消灯のいずれかの状態におかれるが、各照明灯の明るさが、被写体の高さに応じて多段階の調整がされてもよい。なお、本開示における照明パターンには、各照明灯の明るさも含まれ得る。

また、各光センサが検知する明るさの区分、又は異なる高さに設置される光センサの数を増やして、より多くの段階で高さの範囲が推定されてもよい。そして、この多段階で推定される高さの範囲に応じて、上記の多段階の明るさから適切なものが選択されてもよい。

また、上記の動作では、高さの推定のために複数の照明灯はすべて点灯されているが、高さの推定のためには、一部の照明灯が点灯されなくてもよい。例えば１つのみの照明灯が点灯されて、被写体が空間内にないときとあるときとの各光センサが検知する明るさの違いに基づいて被写体の高さが推定されてもよい。但し、複数の照明灯を点灯する方法のほうが、より高い精度で高さの推定がしやすい。

また、上記の構成では、空間内に置かれる被写体９００の高さを推定するため、複数の照明灯を異なる高さに設置していたが、複数の照明灯を水平方向に並べて設置することで、空間内に置かれる被写体９００の位置を推定することができる。さらに、複数の照明灯を、水平、垂直両方向に並べて設置してもかまわない。この場合、空間内に置かれる被写体９００の位置と大きさが推定でき、この推定の結果に基づいて、撮影のために点灯させる照明灯又はさらに各照明灯の明るさ（照明パターン）を選択することができる。

また、文字図形認識装置１０１０は、被写体９００の高さ（又はさらに位置や姿勢）の推定に基づいて、文字図形認識に適した画像の取得に、異なる照明灯を点灯させて複数の画像を撮影し、これらの画像を合成する、又は各画像での文字図形認識の結果を統合するような動作を行ってもよい。この場合、文字図形認識装置１０１０では、複数の画像が撮影されてから、実施の形態１の動作例又はその変形例１〜６の手順が実行される。

［５．効果等］
以上のように、本実施の形態において、文字図形認識装置１０１０は、文字図形認識装置１０の構成に加えて、空間の側方の異なる高さに設置されてこの空間内の明るさを検知する複数の光センサを含む光検知部４００と、照明選択部２４０とを備える。

制御部２００は、照明部１１０に、複数の照明灯１１２、１１４、及び１１６のうち１つ以上の照明灯から光を出射して空間を照明させる。また制御部２００は、光検知部４００に、照明部１１０が空間を照明しているときに複数の光センサのそれぞれが検知する空間内の明るさを明るさ情報として出力させる。また制御部２００は、照明選択部２４０に、明るさ情報から被写体９００の高さを推定して、この推定された高さに応じて照明灯の組み合わせを選択させる。

これにより、推定された被写体９００の高さに応じて、文字図形認識による情報の取得に適した当該被写体９００の画像を速やかに取得することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１及び２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１及び２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

また、上記各実施の形態において、各構成要素が実行する手順をステップとして含む方法として実現されてもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態又はその変形例における文字図形認識装置を実現するソフトウェアは、例えば次のようなプログラムである。

すなわち、このプログラムは所定の空間にある被写体に付された文字又は図形を対象とする認識を実行して情報を取得するプログラムである。そして、そのプログラムは、異なる位置から光を出射して所定の空間を照明する複数の照明灯を含む照明部、及びこの空間において被写体を含む所定の撮影範囲の画像を撮影するための撮像部に接続される制御部に対し、照明部を制御して、複数の照明灯個々の点灯又は消灯の組み合わせである照明パターンを適用することで空間を照明させる。さらに、そのプログラムは、撮像部を制御して、照明部が所定の空間を照明しているときに、上記の撮影範囲の画像を撮影させる。また、さらにこの制御部に、撮像部で撮影した画像中の文字又は図形を認識して情報を取得させるための文字図形認識プログラムである。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、遮蔽可能な空間にある被写体に付された文字又は図形を対象とする認識を実行して情報を取得する装置に適用可能である。具体的には、電子レンジ、コインロッカー、宅配ボックス、冷蔵庫等の庫内にあるものを被写体とし、その画像を取得して文字図形認識を実行する装置に本開示は適用可能である。

１０，１０１０ 文字図形認識装置
１００ 撮像部
１１０ 照明部
１１２，１１４，１１６ 照明灯
１２０ 記憶部
２００ 制御部
２１０ 読取領域決定部
２２０ 認識部
２３０ 認識結果統合部
２４０ 照明選択部
３００ 入出力部
４００ 光検知部
４０２，４０４，４０６ 光センサ
９００ 弁当（被写体）
９００Ａ，９００Ｂ，９００Ｃ 被写体
９１０ ラベル

Claims (3)

1. 所定の空間にある被写体に付された文字又は図形を対象とする認識を実行して情報を取得する装置であって、
   制御部と、
   前記被写体を含む所定の撮影範囲の画像を撮影する撮像部と、
   異なる位置から光を出射して前記所定の空間を照明する複数の照明灯を含む照明部と、
   前記撮像部で撮影した画像中の文字又は図形を認識して前記情報を取得し、取得した前記情報を含む認識結果情報を出力する認識部と、
   前記撮像部が撮影した画像の画素値に基づいて、前記画像における、前記認識の対象を含む読取領域を決定する読取領域決定部と、を備え、
   前記制御部は、
   前記複数の照明灯個々の点灯又は消灯の組み合わせである照明パターンの前記照明部への適用、及び前記撮像部の撮影のタイミングの制御をし、
   前記照明部に、適用する前記照明パターンを順次変更することで、異なる複数の照明パターンで前記所定の空間を照明させ、
   前記撮像部に、前記照明部が前記複数の照明パターンのそれぞれで前記空間を照明しているときに撮像することで複数の前記画像を撮影させ、
   前記読取領域決定部に、前記複数の画像のそれぞれにおける前記読取領域の候補を決定することで複数の仮読取領域を取得し、前記複数の仮読取領域のそれぞれが含む画素の画素値に基づいて前記複数の仮読取領域から選択することで前記複数の画像における少なくとも１つの前記読取領域を決定させる
   文字図形認識装置。
2. 所定の空間にある被写体に付された文字又は図形を対象とする認識を実行して情報を取得する装置であって、
   制御部と、
   前記被写体を含む所定の撮影範囲の画像を撮影する撮像部と、
   異なる位置から光を出射して前記所定の空間を照明する複数の照明灯を含む照明部と、
   前記撮像部で撮影した画像中の文字又は図形を認識して前記情報を取得し、取得した前記情報を含む認識結果情報を出力する認識部と、
   認識結果統合部と、
   前記撮像部が撮影した画像の画素値に基づいて、前記画像における、前記認識の対象を含む読取領域を決定する読取領域決定部と、を備え、
   前記制御部は、
   前記複数の照明灯個々の点灯又は消灯の組み合わせである照明パターンの前記照明部への適用、及び前記撮像部の撮影のタイミングの制御をし、
   前記照明部に、適用する前記照明パターンを順次変更することで、異なる複数の照明パターンで前記所定の空間を照明させ、
   前記撮像部に、前記照明部が前記複数の照明パターンのそれぞれで前記空間を照明しているときに撮像することで複数の前記画像を撮影させ、
   前記読取領域決定部に、前記複数の画像における少なくとも１つの前記読取領域を決定させ、
   前記認識部に、前記読取領域に前記認識を実行して、前記認識によって取得された前記情報及び当該情報の確度を含む前記認識結果情報を出力させ、
   前記認識結果統合部に、前記確度が所定の閾値以上であるか未満かを判定させ、
   前記確度は所定の閾値未満であると前記認識結果統合部が判定した場合、
   前記制御部は、
   前記照明部に適用する前記照明パターンを順次変更することで、異なる複数の照明パターンで前記所定の空間を照明させ、前記撮像部に、前記照明部が前記複数の照明パターンのそれぞれで前記空間を照明しているときに前記画像をさらに撮影させ、
   前記読取領域決定部に、前記判定がなされた画像と前記さらに撮影された画像とを合成して新たな画像を取得し、前記新たな画像における読取領域を決定させ、
   前記認識部に、前記新たな画像における読取領域に前記認識を実行して、前記認識によって取得された前記情報及び当該情報の確度を含む前記認識結果情報を出力させ、
   前記認識結果統合部に、前記確度が所定の閾値以上であるか未満かを判定させる
   文字図形認識装置。
3. 所定の空間にある被写体に付された文字又は図形を対象とする認識を実行して情報を取得する装置であって、
   制御部と、
   前記被写体を含む所定の撮影範囲の画像を撮影する撮像部と、
   異なる位置から光を出射して前記所定の空間を照明する複数の照明灯を含む照明部と、
   前記照明部の対面に設置されて前記所定の空間内の明るさを検知する複数の光センサを含む光検知部と、
   前記撮像部で撮影した画像中の文字又は図形を認識して前記情報を取得し、取得した前記情報を含む認識結果情報を出力する認識部と、
   前記撮像部が撮影した画像の画素値に基づいて、前記画像における、前記認識の対象を含む読取領域を決定する読取領域決定部と、を備え、
   前記制御部は、
   前記複数の照明灯個々の点灯又は消灯の組み合わせである照明パターンの前記照明部への適用、及び前記撮像部の撮影のタイミングの制御をし、
   前記照明部に、前記複数の照明灯のうち１つ以上の照明灯から前記光を出射して前記所定の空間を照明させ、
   前記光検知部は、前記照明部が前記所定の空間を照明しているときに前記複数の光センサのそれぞれが検知する前記所定の空間内の明るさを明るさ情報として出力し、
   前記明るさ情報から前記被写体の位置を推定して、前記推定された位置に応じた前記照明パターンを選択し、前記照明部に前記選択した照明パターンで前記所定の空間を照明させ、
   前記撮像部に、前記照明部が前記選択した照明パターンで前記空間を照明しているときに撮像することで前記画像を撮影させ、
   前記読取領域決定部に、前記画像における少なくとも１つの前記読取領域を決定させる
   文字図形認識装置。

Images