JP6693059B2 - 商品棚認識装置、商品棚認識方法、プログラム及び画像処理装置 - Google Patents

Description

本発明は、商品棚認識装置、商品棚認識方法、プログラム及び画像処理装置に関する。

市場動向調査として、店舗や自動販売機などにおける商品の販売状況を把握するために、それらで販売されている商品の情報を収集する活動が行われている。しかしながら、店舗や自動販売機は多数存在するため、人手で商品情報を収集する場合、膨大な作業時間や人件費などのコストを要するという問題がある。そのため、このような商品情報をカメラで撮影した画像から自動的に収集する方法が求められている。

従来、例えば、画像中の文字を認識するＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）が広く知られている。

また、特許文献１には、画像内の被写体（例えば、店頭の商品など）を、撮影サイズ、角度の変化、および遮蔽に対して頑健に識別するＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いた画像認識装置が記載されている。

ＯＣＲと特許文献１に記載の技術とを併用することにより、店頭の商品棚や自動販売機を撮影した画像から、商品とそれに付随する価格を自動的に認識できる。

米国特許第６７１１２９３号明細書 特開２０１３−１６７９７３号公報 特開２０１４−０４４４８０号公報

しかしながら、価格を構成する文字の一部が商品や商品の影などで遮蔽されると、撮影画像から１文字に対応する領域が誤って切り出されたり、または、切り出された各領域内の文字が正しく認識されなかったりする。そのため、ＯＣＲの文字認識結果は必ずしも信頼できるものとは限らない。

上記課題を解決するために、本発明の一態様に係る商品棚認識装置は、画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第１の認識手段と、前記第１の認識手段により価格が認識された第１の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第２の商品の価格を認識する第２の認識手段と、を備える。

また、本発明の一態様に係る商品棚認識方法は、画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識し、前記価格が認識された第１の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第２の商品の価格を認識する。

また、本発明の一態様に係る画像処理装置は、画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品に関連する商品情報を認識する第１の認識手段と、前記第１の認識手段により商品情報が認識された第１の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第２の商品に関連する商品情報を認識する第２の認識手段と、を備える。

なお、前述した各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。

本発明は、価格を構成する文字の一部等、商品情報の一部が商品や商品の影などで遮蔽されても精度良く認識できる。

本発明の第１の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第１の実施形態に係る商品棚認識装置が受信する撮影画像の一例を説明するための図である。 本発明の第１の実施形態に係る部歌地認識装置の第１の認識部１０１の機能構成の一例を示す機能ブロック図である。 商品認識結果、価格探索画像領域、および文字認識結果の一例を示す図である。 本発明の第１の実施形態に係る商品棚認識装置の有効性判定部１０３の機能構成の一例を示す機能ブロック図である。 本発明の第１の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。 本発明の第２の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。 本発明の第３の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第３の実施形態に係る商品棚認識装置のパターン生成部３０１の動作の一例を示す図である。 本発明の第３の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。 本発明の第４の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第４の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。 本発明の第５の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第５の実施形態に係る商品棚認識装置のパターン生成部５０１の動作の一例を示す図である。 本発明の第５の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。 本発明の第６の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第６の実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。 本発明の第７の実施形態に係る商品棚認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第８の実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の各実施形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。 本発明の第１の実施形態に係る商品棚認識装置の動作の一例を模式的に示した図である。

まず、本発明の実施形態の理解を容易にするために、本発明の背景を説明する。

店頭の商品棚や自動販売機を撮影した画像から、商品とそれに付随する価格を自動的に認識し、商品情報を収集する際、価格を構成する文字の一部が商品や商品の影などで遮蔽されたような状況では、ＯＣＲの文字認識は必ずしも正確に価格を認識できない。

一方、特許文献１に記載のＳＩＦＴ特徴量を用いることで、価格を構成する文字の一部が商品や商品の影で遮蔽されても認識精度の低下を低減できる。しかしながら、店頭や自動販売機で販売されている商品の価格を構成する文字のフォントや、それらの文字間隔のバリエーションは多数存在するため、全てのバリエーションを事前に準備することは非現実的である。以下の説明において、「文字」は、一文字を意味することもあるし、文字列を意味することもある。

以下に説明される本発明の実施形態によれば、上述の課題が解決され、精度よく価格を認識することができる。

なお、異なる２つの観点の照合（検索）を行うことで複数認識された商品の候補を精度良く絞り込む技術が特許文献２及び特許文献３に記載されているが、これら文献に記載の技術では上述した遮蔽の問題は解決されない。

＜第１の実施形態＞
本発明の第１の実施形態について図面を参照して詳細に説明する。本実施の形態では、販売されている商品（物品）を説明するための情報であって、当該商品に関連付けられた情報を商品情報と呼ぶ。商品情報は、例えば、商品名などの商品を識別する識別情報と、当該商品に関連付けられた付随情報とを含む。商品の付随情報は、例えば、商品の価格を示す情報などを含む。商品の付随情報は、例えば、商品が販売されている状況（販売状況）を示す情報等を含んでも良い。商品の販売状況を示す情報とは、例えば、該商品が冷たい商品なのか暖かい商品なのかを示す情報である。なお、商品の付随情報はこれに限定されるものではなく、商品が販売中か売り切れかを示す情報を含んでもよい。この商品の販売状況を示す情報とは、文字列であってもよいし、色であってもよいし、形であってもよい。

また、本実施形態における商品棚とは、商品が陳列された店舗の什器であってもよいし、自動販売機であってもよい。これについては、第２の実施形態以降も同様である。

（機能構成）
図１を参照して本実施形態に係る商品棚認識装置１０について説明する。図１は、本実施形態に係る商品棚認識装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、商品棚認識装置１０は、第１の認識部１０１と、第１の記憶部１０２と、有効性判定部１０３と、第２の記憶部１０４と、第２の認識部１０５とを備えている。なお、図１に示す商品棚認識装置１０は、本発明に特有な構成について示したものであり、図１に示す商品棚認識装置１０が図１に示されていない部材を有してもよいことは言うまでもない。

第１の認識部１０１は、商品の認識を実施する対象となる、店頭の商品棚や自動販売機を撮影した画像を受け取り、第１の記憶部１０２に記憶された特徴情報を用いて、撮影画像に写っている商品とそれに付随する価格を構成する文字を認識し、それらを有効性判定部１０３に供給する。

撮影画像は、例えば、カメラなどの撮像装置によって撮影された画像である。撮像装置は、例えば、携帯電話端末、スマートフォン、デジタルカメラ、タブレット等の撮像機能を備えた端末であってもよいし、店舗に設置されている監視カメラであってもよい。

第１の認識部１０１は、この撮影画像を、例えば、撮像装置から受信する。なお、第１の認識部１０１が撮影画像を受信する方法は特に限定されない。例えば、第１の認識部１０１は、商品棚認識装置１０にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどを用いて接続された撮像装置から撮影画像を受信するものであってもよい。また、例えば、第１の認識部１０１は、商品棚認識装置１０とネットワークを介して接続された撮像装置から、撮像画像を受信するものであってもよい。

また、第１の認識部１０１は、例えば、撮像画像が蓄積された記憶装置などから、撮影画像を受け取ってもよい。なお、第１の認識部１０１は、撮影画像とともに当該撮影画像が撮影された位置を示す位置情報を受信してもよい。

また、本実施形態では、説明の便宜上、撮影画像は１枚の静止画像として説明するが、例えば、動画のように時間方向に連続して撮影された画像であってもよい。

本実施形態において、撮影の対象となる店頭の商品棚あるいは自動販売機は、１つまたは複数の商品、あるいは１つまたは複数の商品を示す物体（例えば、商品の見本）が陳列されたものであってもよい。また、撮影の対象となる棚を含む筐体あるいは什器は、その前面に透明なパネルを有したものであってもよい。また、本実施形態において、撮影の対象となる自動販売機は、１つまたは複数の商品を示す画像がディスプレイに表示されたものであってもよい。店頭の商品棚あるいは自動販売機が、販売する商品を示す方法は、特に限定されるものではない。

図２に，本実施形態で使用する撮影画像の一例を示す。図２は、本実施形態に係る商品棚認識装置１０が受信する撮影画像の一例を説明するための図である。なお、図２では、自動販売機を撮影したときの撮影画像をその一例として示している。図２に示す通り、撮影画像には、複数の商品見本２１０１が含まれる。また、撮影画像には各商品見本２１０１に紐付けられた、例えば、当該商品見本２１０１によって特定される商品の価格を示す領域２１０２と、当該商品を購入するためのボタン２１０３とが含まれる。ここで、商品見本２１０１は、この商品見本２１０１が含まれる自動販売機で販売している商品を示すものである。以下では、商品見本２１０１の画像を商品画像と呼ぶ。また、図２において、各商品見本２１０１内のアルファベットは商品名を表しているとする。

なお、本実施形態では、撮影画像は図２に示すような１つの自動販売機を撮影した画像であるとするが、複数の自動販売機を撮影したものであってもよい。また、撮影画像は１つの自動販売機の一部を撮影したものであってもよい。また、店頭の商品棚を撮影する場合も同様であってよいことは言うまでもない。

第１の記憶部１０２には、撮影画像内に含まれる商品見本２１０１によって示される商品、および、商品価格を示す部分２１０２から価格を認識するための特徴情報が格納されている。具体的には、第１の記憶部１０２には、商品または商品見本の画像と、商品または商品見本の画像に含まれる特徴量の少なくとも１つが、商品を識別する情報に紐付けられて格納されている。商品を識別する情報とは、例えば、商品を識別するための識別子や商品名などである。なお、第１の記憶部１０２に格納される特徴情報は、商品を識別するために必要な情報であればよい。具体的には、例えば、商品画像および文字画像の輝度値、エッジ成分、またはＨＯＧ（Ｈｉｓｔｏｇｒａｍ Ｏｆ Ｇｒａｄｉｅｎｔ）であってもよい。また、商品を識別するための情報は、例えば、前述の情報と、撮像装置から各ピクセルまでの距離値を含んだ距離画像とであってもよい。距離画像を用いることで、画像から商品の形状を推定できるため、デザインが同じで形状が違う商品、例えば、缶飲料とペットボトル飲料などを一意に認識できる。

また、第１の記憶部１０２には、商品の価格を構成する文字を認識するために必要な文字データがフォントごとに格納されている。なお、第１の認識部１０１に格納される文字データは文字認識の際に使用するデータであればよく、その種類は特に限定されない。

また、第１の記憶部１０２には、商品の認識を行う対象となる自動販売機（撮影対象である自動販売機）の条件に関する情報が格納されてもよい。以降、商品の認識を行う対象となる自動販売機を対象自動販売機と呼ぶ。また、自動販売機の条件に関する情報を自動販売機条件情報とも呼ぶ。自動販売機条件情報は、例えば、前述の自動販売機で取り扱う商品の価格に関する条件を示す情報や、商品見本２１０１の下に当該商品見本２１０１で示される商品の価格を示す文字列があるという条件に関する情報などを含むものであってもよい。なお、自動販売機条件情報はこれに限定されるものではなく、第１の記憶部１０２は、自動販売機が設置された位置を示す情報などが含まれるものであってもよい。なお、この位置を示す情報は、第１の認識部１０１が受信したものであってもよい。

なお、商品を認識するための情報、文字データ、および、自動販売機条件情報は、同じ記憶装置（例えば、第１の記憶部１０２）に格納されるものであってもよいし、夫々、異なる記憶装置に格納されるものであってもよい。

また、第１の記憶部１０２は、対象自動販売機内に内蔵されるものであってもよいし、対象自動販売機とは別個の記憶装置によって実現されるものであってもよい。

次に、図３を参照して本実施形態に係る商品棚認識装置１０の第１の認識部１０１の詳細を説明する。図３は、本発明の第１の実施形態に係る商品棚認識装置１０の第１の認識部１０１の機能構成の一例を示す機能ブロック図である。図３に示す通り、第１の認識部１０１は、商品認識部１０１１と、文字認識部１０１２と、を備えている。

商品認識部１０１１は、第１の記憶部１０２に格納された、商品を認識するための特徴情報を参照し、受信した撮影画像に含まれる被写体（本実施形態では商品見本２１０１）を認識し、認識結果に基づいて価格探索画像領域を決定し、価格探索画像領域を文字認識部１０１２に供給する。なお、認識結果については後述する。

このとき、商品認識部１０１１は、例えば、撮影画像から商品見本２１０１が含まれる局所領域を切り出し、当該局所領域と、第１の記憶部１０２に格納された特徴情報とを比較し、当該局所領域に含まれる商品を認識してもよい。

また、商品認識部１０１１は、例えば、撮影画像から商品が含まれる局所領域を切り出すことなく認識してもよい。その場合、商品認識部１０１１は、撮影画像から特徴的な点（特徴点）を多数検出し、各特徴点の座標値、スケール（大きさ）および角度（方向）に基づいて、個々の特徴点を含む局所領域ごとに局所特徴量を算出してもよい。商品認識部１０１１は、算出した局所特徴量の集合と、商品画像から同様にして算出し第１の記憶部１０２に格納している局所特徴量の集合とを比較することにより、撮影画像に含まれる商品を認識してもよい。なお、商品認識部１０１１が商品を認識する方法は特に限定されない。

図４を参照して商品認識部１０１１が出力する認識結果について具体的に説明する。商品認識部１０１１は、例えば、認識した商品見本２１０１を示す情報（例えば、商品名）と、当該商品に対応付けられた商品画像領域２３０１を示す画像領域情報とを認識結果として出力してもよい。ここで、画像領域情報とは、例えば、商品画像領域２３０１の位置情報である。この位置情報は、例えば、図４に示すように、商品画像領域２３０１が矩形であれば、その四隅の座標値であってもよいし、四隅の内のどれか1点の座標値と、商品画像領域２３０１の幅および高さで表されてもよい。

また、商品認識部１０１１は、前述の認識結果に基づいて価格探索画像領域２３０２を決定する。価格探索画像領域２３０２は、例えば、図４に示すように、商品画像領域２３０１の周辺の画像データとしてもよい。また、例えば、図２に示すように、商品見本２１０１の下に商品価格があることが既知の場合は、商品画像領域２３０１の下の画像領域のみを価格探索画像領域２３０２としてもよい。

次に、図３に戻って、文字認識部１０１２について説明する。文字認識部１０１２は、受信した価格探索画像領域２３０２から、第１の記憶部１０２に格納された、価格を構成する文字を認識するための特徴情報を参照し、当該価格探索画像領域２３０２に含まれる文字を認識する。ここで、文字とは、例えば、０から９までの数字や、「￥」「円」などの記号や漢字である。文字認識部１０１２は、認識した文字の撮影画像内での位置情報と種類とで構成される認識結果を出力する。文字の種類とは、例えば、数字や「￥」「円」などの記号や漢字を一意に識別できる識別子であってもよい。文字認識部１０１２は、周知の文字認識技術を用いて、価格探索画像領域から価格を構成する文字を認識してもよい。なお、文字認識部１０１２が文字を認識する方法は特に限定されない。

図４を参照して文字認識部１０１２が出力する認識結果について具体的に説明する。文字認識部１０１２は、例えば、認識した文字２３０４を示す情報（「０」や「９」などの数字、「￥」などの記号、または「円」などの漢字）と、認識した文字２３０４と第１の記憶部１０２に格納された、価格を構成する文字との類似度を示す情報と、当該文字に対応付けられた文字画像領域２３０３を示す文字画像領域情報とを認識結果として出力してもよい。

文字２３０４の類似度を示す情報とは、例えば、第１の記憶部１０２に格納された、価格を構成する文字を認識するための特徴情報を構成する特徴量と、価格探索画像領域２３０２から抽出した特徴情報を構成する特徴量との間の特徴量間距離から算出してもよい。なお、本実施形態では説明の便宜上、特徴量間距離が０に近づくほど両者が類似しており、類似度が高いものとして説明する。

ここで、文字画像領域情報とは、例えば、価格探索画像領域２３０２内の文字２３０４の文字画像領域２３０３の位置情報である。この位置情報は、例えば、図４に示すように、文字画像領域２３０３が矩形であれば、その四隅の座標値であってもよいし、四隅の内のどれか１点の座標値と、文字画像領域２３０３の幅および高さで表されてもよい。

次に、図１に戻って、有効性判定部１０３について説明する。有効性判定部１０３は、第１の認識部１０１から認識結果を受け取り、それらを用いて価格を検出し、検出した価格が撮影画像に含まれる商品の価格として妥当であるかという有効性を判定する。有効性判定部１０３は、有効性の高い価格の画像領域から、それらを認識するための特徴情報を抽出し、第２の記憶部に供給する。

図５を参照して本実施形態に係る商品棚認識装置１０の有効性判定部１０３の詳細を説明する。図５は、本発明の第１の実施形態に係る商品棚認識装置１０の有効性判定部１０３の機能構成の一例を示す機能ブロック図である。図５に示す通り、有効性判定部１０３は、キー文字検出部１０３１と、価格検出部１０３２と、特徴抽出部１０３３と、を備えている。

キー文字検出部１０３１は、受信した認識結果から、キー文字を検出し、価格検出部１０３２に供給する。ここで、キー文字とは、例えば、「￥」「円」など、価格の先頭または末尾に付くシンボルであってもよい。

価格検出部１０３２は、キー文字検出部１０３１から受け取ったキー文字の周辺にキー文字以外の文字認識結果が存在するか探索する。価格検出部１０３２は、キー文字以外の文字認識結果を見つけた場合は、それらで構成される価格が撮影画像に含まれる商品の価格として妥当であるかという有効性を判定する。価格検出部１０３２は、判定の結果、有効性の高い価格の画像領域情報を特徴抽出部１０３３に供給する。

ここで、図４を参照して価格検出部１０３２の動作の一例を詳細に説明する。図４では、「￥」マークがキー文字であり、その右側に並んでいる文字画像領域２３０３がキー文字以外の文字認識結果を示している。価格検出部１０３２は、例えば、キー文字の右側に一列に並んだ「１」「３」「０」という文字の集まりを、当該文字で構成される価格として検出してもよい。

また、価格検出部１０３２は、例えば、キー文字検出部１０３１がキー文字を検出できなかった場合は、複数の文字画像領域２３０３の位置に基づいて価格を検出してもよい。具体的には、例えば、一定の間隔で「１」「３」「０」という文字が並んでいるならば、価格検出部１０３２は、「１３０」を商品の価格として検出してもよい。

例えば、価格検出部１０３２は、価格を構成する文字の類似度からその価格が撮影画像に含まれる商品の価格として妥当であるかという有効性を判定する。その場合、価格検出部１０３２は、例えば、類似度が特徴量間距離である場合、特徴量間距離が小さくなるほど有効性が高く、特徴量間距離が大きくなるほど有効性が低いと判定してもよい。具体的には、価格検出部１０３２は、例えば、類似度の総和、すなわち特徴量間距離の総和が閾値未満なら有効性を１、閾値以上なら有効性を０としてもよい。なお、本実施形態では説明の便宜上、有効性を０から１の範囲で表し、有効性が１に近づくほどよいとする。

また、価格検出部１０３２は、例えば、類似度の総和が閾値未満の場合は、類似度の総和に応じた補間処理を行い０から１の数値を有効性として設定してもよい。具体的には、価格検出部１０３２は、例えば、類似度が特徴量間距離である場合、類似度の総和、すなわち特徴量間距離の総和が０のときの有効性を１、特徴量間距離の総和が閾値のときの有効性を０とし、その間を線形に補間してもよい。

また、価格検出部１０３２は、例えば、自動販売機条件情報を参照して、対象自動販売機の商品の価格帯に基づいて検出した価格の有効性を判定してもよい。具体的には、例えば、対象自動販売機で取り扱われている商品の価格の最大値が１７０円、最小値が１２０円である場合、検出した価格が１２０円未満または１７０円より大きければ有効性を０、そうでなければ有効性を１としてもよい。

また、価格検出部１０３２は、例えば、価格を構成する文字の配置に基づいて、個々の文字の類似度に重み係数を乗算してから総和を計算し、有効性を判定してもよい。具体的には、例えば、自動販売機であれば、販売されている商品の価格帯として、百の位の数字が「１」であることが多い。そのため、価格検出部１０３２は、価格を構成する文字の百の位が「１」であれば、重み係数を１．０にし、そうでなければ、重み係数を０．５にし、この重みを類似度に乗算してもよい。

また、価格検出部１０３２は、例えば、価格を構成する個々の文字を示す文字画像領域２３０３の幅または高さに基づいて、有効性を判定してもよい。具体的には、例えば、図４に示す、複数の文字画像領域２３０３の高さが等しいとき、有効性を１、それ以外なら有効性を０としてもよい。また、価格検出部１０３２は、例えば、複数の文字画像領域２３０３の高さの差が所定の閾値以内なら、有効性を１、そうでなければ有効性を０としてもよい。

また、価格検出部１０３２は、例えば、キー文字が検出できた場合に有効性を大きくし、キー文字が検出できなかった場合に有効性を小さくしてもよい。

有効性が高いと判定された価格の画像領域の位置情報（価格画像領域情報）は、例えば、価格を構成する全ての文字２３０４を外接する矩形の四隅の座標値で表現されてもよい。または、価格画像領域情報は、前述の矩形の四隅の内のどれか１点の座標値と、前述の矩形の幅および高さで表されてもよい。

価格検出部１０３２は、上述した特徴量間距離、自動販売機条件情報、文字の配置、文字画像領域の幅または高さ及びキー文字検出の有無、のうち２つ以上の基準に基づき総合的に価格としての有効性を判定してもよい。

次に、図５に戻って、特徴抽出部１０３３について説明する。特徴抽出部１０３３は、価格画像領域を受信し、当該価格画像領域に含まれる価格を認識するための特徴情報を抽出し、第２の記憶部１０４に供給する。なお、第２の記憶部１０４に供給される特徴情報は、価格を識別するために必要な情報であればよい。具体的には、例えば、価格画像領域の輝度値、エッジ成分、またはＨＯＧであってもよいし、価格画像領域のＲＧＢ値でもよい。

次に、図１に戻って、第２の記憶部１０４について説明する。第２の記憶部１０４には、価格画像領域に含まれる価格を認識するための前述の情報が格納されている。

また、第２の記憶部１０４には、第１の記憶部１０２と同様の自動販売機条件情報が格納されていてもよい。

なお、価格を認識するための特徴情報や自動販売機条件情報は、同じ記憶装置（例えば、第２の記憶部１０４）に格納されるものであってもよいし、夫々、異なる記憶装置に格納されるものであってもよい。

また、第２の記憶部１０４は、対象自動販売機内に内蔵されるものであってもよいし、対象自動販売機とは別個の記憶装置によって実現されるものであってもよい。

第２の認識部１０５は、第２の記憶部１０４に記憶された、価格を認識するための特徴情報を参照し、受信した撮影画像に含まれる価格を認識する。

このとき、第２の認識部１０５は、例えば、第１の認識部１０１と同様の方法を用いてもよい。なお、第２の認識部１０５が価格を認識する方法は特に限定されない。

ここで、図２２を参照して、第２の記憶部１０４に価格画像領域の輝度値を特徴情報として格納する場合の動作の一例を説明する。図２２は、本実施形態に係る商品棚認識装置１０の動作の一例を模式的に示した図である。図２２に示す例では、上段の商品見本２１０１によって特定される商品の価格を示す領域２２０２内の価格は全ての文字が見えている。一方、下段の商品見本２１０１によって特定される商品の価格を示す領域２２０２内の価格は、その一部が商品見本２１０１によって遮蔽されている。

図２２に示す例では、第１の認識部１０１は前述の方法で商品と価格を構成する文字を認識し、認識結果を有効性判定部１０３に供給する。有効性判定部１０３は、前述の方法で、供給された認識結果から価格画像領域２６０１を検出する。有効性判定部１０３は、検出した価格画像領域２６０１の輝度値（本例では「￥１５０」を含む画像）を、価格を認識するための特徴情報として第２の記憶部１０４に供給している。そして、第２の認識部１０５は、第２の記憶部１０４に格納された、価格画像領域２６０１の輝度値を参照し、撮影画像２１００に含まれる当該価格画像領域と一致する画像領域を探索する。すなわち、本例では「￥１５０」という価格画像と撮影画像２１００とを照合し、撮影画像２１００に含まれる「￥１５０」を探索する。

ここで、図２２に示す例では、第２の認識部１０５が、撮影画像２１００と価格画像領域２６０１との間で類似と判定した類似領域２６０２を点線の丸で表示している。また、撮影画像２１００と価格画像領域２６０１との間の類似領域のペア２６０３を実線で示している。さらに、第２の認識部１０５が認識した価格画像領域２６０４を実線の矩形で表示している。

本実施形態に係る商品棚認識装置１０の認識結果は、表示装置に表示してもよいし、記憶装置に蓄積してもよい。商品棚認識装置１０と、表示装置や記憶装置とは、ＵＳＢケーブルで接続されていてもよいし、ネットワークを介して接続されていてもよい。また、商品棚認識装置１０は、例えば、認識結果を撮影画像２１００に重畳し、表示装置に表示してもよいし、記憶装置に蓄積してもよい。

（動作のフローチャート）
次に、図６を参照して本実施形態に係る商品棚認識装置１０の動作の流れについて説明する。図６は、本実施形態に係る商品棚認識装置１０の動作の流れの一例を示すフローチャートである。

まず、第１の認識部１０１は、第１の記憶部１０２に格納された、商品を認識するための特徴情報を参照し、受信した撮影画像に含まれる商品を認識する（ステップＳ１００１）。次に、第１の認識部１０１は、当該商品の周辺領域を価格探索画像領域として設定する（ステップＳ１００２）。次に、第１の認識部１０１は、第１の記憶部１０２に格納された、文字を認識するための特徴情報を参照し、価格探索画像領域内の文字を認識する（ステップＳ１００３）。次に、有効性判定部１０３は、認識した文字からキー文字と価格を検出し（ステップＳ１００４）、価格が検出できたか判定する（ステップＳ１００５）。

価格が検出できなかった場合（ステップＳ１００５Ｎｏ）は、他に認識できた商品があるか判定する（ステップＳ１００６）。他に認識できた商品がない場合（ステップＳ１００６Ｎｏ）は処理を終了する。他に認識できた商品がある場合（ステップＳ１００６Ｙｅｓ）は、ステップＳ１００３に移行する。

価格が検出できた場合（ステップＳ１００５Ｙｅｓ）は、有効性判定部１０３は、検出した価格について、撮影画像に含まれる商品の価格としての有効性を算出する（ステップＳ１００７）。次に、有効性判定部１０３は、価格としての有効性が高いか判定する（ステップＳ１００８）。

有効性が低い場合（ステップＳ１００８Ｎｏ）は、ステップＳ１００６に移行する。

有効性が高い場合（ステップＳ１００８Ｙｅｓ）は、価格画像領域から価格を認識するための特徴を抽出し（ステップＳ１００９）、第２の記憶部１０４に格納する（ステップＳ１０１０）。次に、第２の認識部１０５は、第２の記憶部１０４に記憶された、価格を認識するための特徴情報を参照し、受信した撮影画像に含まれる価格を認識し（ステップＳ１０１１）、ステップＳ１００６に移行する。

（発明の効果）
以上のように、本実施形態に係る商品棚認識装置１０は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識する。これにより、商品棚認識装置１０は、価格を構成する文字の一部が商品や商品の影などで遮蔽されても精度良く認識できるため、販売されている商品の商品情報を好適に収集することができる。

＜第２の実施形態＞
図７を参照して、本発明の第２の実施形態に係る商品棚認識装置２０ついて説明する。図７は、本実施形態に係る商品棚認識装置２０の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置２０は、第２の認識部の認識結果を第２の記憶部１０４に供給する。以下の説明では、既に説明した要素と同様の要素については、同一の符号を付し、適宜、説明を省略する。この点は、第３の実施形態以降についても同様である。

（機能構成）
図７に示す通り、本実施形態に係る商品棚認識装置２０は、第１の認識部１０１と、第１の記憶部１０２と、有効性判定部１０３と、第２の記憶部１０４と、第２の認識部２０１とを備えている。第２の認識部２０１の動作は、第１の実施形態と一部異なる。

第２の認識部２０１は、第２の記憶部１０４に記憶された、価格を認識するための特徴情報を参照し、受信した撮影画像に含まれる価格を認識する。このとき、第２の認識部１０５は、例えば、第１の認識部１０１と同様の方法を用いてもよい。

そして、第２の認識部２０１は、撮影画像に含まれる価格を含む画像領域を第２の記憶部に供給する。

（動作のフローチャート）
次に、図８を参照して本実施形態に係る商品棚認識装置２０の動作の流れについて説明する。図８は、本実施形態に係る商品棚認識装置２０の動作の流れの一例を示すフローチャートである。図８に示すステップＳ２００１〜Ｓ２０１１は、図６に示すステップＳ１００１〜Ｓ１０１１と同様であり、説明を省略する。

図８に示すステップＳ２００１〜Ｓ２０１１の実行後、第２の認識部２０１は撮影画像に含まれる価格が認識できたか判定する（ステップＳ２０１２）。

価格が認識できた場合（ステップＳ２０１２Ｙｅｓ）はステップＳ２０１０に移行する。価格が認識できなかった場合（ステップＳ２０１２Ｎｏ）はステップＳ２００６に移行する。

（発明の効果）
以上のように、本実施形態に係る商品棚認識装置２０は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識し、当該認識結果を記憶部に格納する。これにより、商品棚認識装置２０は、同一の価格であっても照明変動やカメラセンサノイズなどが異なる様々なバリエーションの価格領域画像情報を収集することができる。そのため、本実施形態によれば、第１の実施形態よりも照明変動やカメラセンサノイズに対する頑健性を向上させることができる。

＜第３の実施形態＞
図９を参照して、本発明の第３の実施形態に係る商品棚認識装置３０ついて説明する。図９は、本実施形態に係る商品棚認識装置３０の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置３０は、任意の価格画像領域内の文字領域から抽出した特徴情報と、別の価格画像領域内の文字領域から抽出した特徴情報とを組み合わせて価格パターンを生成する。

（機能構成）
図９に示す通り、本実施形態に係る商品棚認識装置３０は、第１の認識部１０１と、第１の記憶部１０２と、有効性判定部１０３と、パターン生成部３０１と、第２の記憶部１０４と、第２の認識部１０５とを備えている。

有効性判定部１０３は、第１の実施形態における要素と同様である。なお、本実施形態では、有効性判定部１０３は、パターン生成部３０１に価格画像領域の特徴情報を供給する。

パターン生成部３０１は、価格画像領域の特徴情報を受け取り、受け取った特徴情報の内、異なる価格画像領域内の文字領域から抽出した特徴情報を組み合わせて、新たな価格パターンを生成する。パターン生成部３０１は、生成した新たな価格パターンから抽出した特徴情報を第２の記憶部１０４に供給する。

図１０を参照して、パターン生成部３０１の動作の一例を詳細に説明する。図１０は、本実施形態に係る商品棚認識装置３０のパターン生成部３０１の動作の一例を示す図である。

パターン生成部３０１は、価格画像領域２４０１内の任意の文字画像領域２４０２の特徴情報を選択し、価格パターン２４０３を生成する。図１０に示す例では、パターン生成部３０１は、商品見本２４０４によって特定される価格画像領域２４０１内の「￥」を示す文字画像領域２４０２から抽出した特徴情報と、商品見本２４０５によって特定される価格画像領域２４０１内の「３」を示す文字画像領域２４０２から抽出した特徴情報と、商品見本２４０６によって特定される価格画像領域２４０１内の「２」および「０」を示す文字画像領域２４０２から抽出した特徴情報とを組み合わせて、「￥３２０」という価格パターン２４０３を生成している。

これにより、撮影画像中に１つしかない「￥３２０」を第１の認識部１０１が認識できなくても、第１の認識部１０１が認識できた「￥１２０」「￥１３０」を用いて「￥３２０」を生成することができるため、第２の認識部１０５が「￥３２０」を認識できる。

（動作のフローチャート）
次に、図１１を参照して本実施形態に係る商品棚認識装置３０の動作の流れについて説明する。図１１は、本実施形態に係る商品棚認識装置３０の動作の流れの一例を示すフローチャートである。図１１に示すステップＳ３００１〜Ｓ３００９およびステップＳ３０１１〜Ｓ３０１２は、図６に示すステップＳ１００１〜Ｓ１００９およびステップＳ１０１０〜Ｓ１０１１と同様であり、説明を省略する。

図１１に示すステップＳ３００１〜Ｓ３００９の実行後、パターン生成部３０１は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報とを組み合わせて価格パターンを生成する（ステップＳ３０１０）。その後、ステップＳ３０１１に移行する。

（発明の効果）
以上のように、本実施形態に係る商品棚認識装置３０は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報とを組み合わせて価格パターンを生成する。これにより、第１の認識部が、例えば、１つしかない商品の価格を認識できなくても、第２の認識部で当該商品の価格を認識することができるため、第１の実施形態よりも好適に商品情報を収集できる。

＜第４の実施形態＞
図１２を参照して、本発明の第４の実施形態に係る商品棚認識装置４０ついて説明する。図１２は、本実施形態に係る商品棚認識装置４０の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置４０は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報とを組み合わせて価格パターンを生成し、さらに、第２の認識部の認識結果を第２の記憶部に供給する。

（機能構成）
図１２に示す通り、本実施形態に係る商品棚認識装置４０は、第１の認識部１０１と、第１の記憶部１０２と、有効性判定部１０３と、パターン生成部３０１と、第２の記憶部１０４と、第２の認識部２０１とを備えている。

（動作のフローチャート）
次に、図１３を参照して本実施形態に係る商品棚認識装置４０の動作の流れについて説明する。図１３は、本実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。図１３に示すステップＳ４００１〜Ｓ４０１２は、図１１に示すステップＳ３００１〜Ｓ３０１２と同様であり、説明を省略する。

図１３に示すステップＳ４００１〜Ｓ４０１２の実行後、第２の認識部２０１は撮影画像に含まれる価格が認識できたか判定する（ステップＳ４０１３）。

価格が認識できた場合（ステップＳ４０１３Ｙｅｓ）はステップＳ４０１１に移行する。価格が認識できなかった場合（ステップＳ４０１３Ｎｏ）はステップＳ４００６に移行する。

（発明の効果）
以上のように，本実施形態に係る商品棚認識装置４０は，第３の実施形態と同様の効果が得られる。また、本実施形態に係る商品棚認識装置４０は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識し、当該認識結果を記憶部に格納する。これにより、同一の価格であっても照明変動やカメラセンサノイズなどが異なる様々なバリエーションの価格領域画像情報を収集することができるため、第３の実施形態よりも照明変動やカメラセンサノイズに対する頑健性を向上させることができる。

＜第５の実施形態＞
図１４を参照して、本発明の第５の実施形態に係る商品棚認識装置５０ついて説明する。図１４は、本実施形態に係る商品棚認識装置５０の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置５０は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、記憶部に格納された、価格を認識するための特徴情報とを組み合わせて価格パターンを生成する。

（機能構成）
図１４に示す通り、本実施形態に係る商品棚認識装置５０は、第１の認識部１０１と、第１の記憶部１０２と、有効性判定部１０３と、パターン生成部５０１と、第２の記憶部１０４と、第２の記憶部１０５とを備えている。

パターン生成部５０１は、価格画像領域の特徴情報を受け取り、受け取った特徴情報の内、異なる価格画像領域内の文字領域から抽出した特徴情報と、第１の記憶部１０２に格納された、価格を認識するための特徴情報とを組み合わせて、新たな価格パターンを生成する。パターン生成部５０１は、生成した新たな価格パターンから抽出した特徴情報を第２の記憶部１０４に供給する。

図１５を参照して、パターン生成部５０１の動作の一例を詳細に説明する。図１５は、本実施形態に係る商品棚認識装置５０のパターン生成部５０１の動作の一例を示す図である。

パターン生成部５０１は、価格画像領域２５０１内の任意の文字画像領域２５０２の特徴情報を選択し、価格パターン２５０３を生成する。図１５に示す例では、パターン生成部５０１は、商品見本２５０４によって特定される価格画像領域２５０１内の「￥」を示す文字画像領域２５０２から抽出した特徴情報と、商品見本２５０５によって特定される価格画像領域２５０１内の「１」を示す文字画像領域２４０２から抽出した特徴情報と、商品見本２５０６によって特定される価格画像領域２５０１内の「０」を示す文字画像領域２５０２から抽出した特徴情報と、第１の記憶部１０２に格納された、「４」を示す文字画像情報２５０７から抽出した特徴情報とを組み合わせて、「￥１４０」という価格パターン２５０３を生成している。

これにより、撮影画像中に１つしかない「￥１４０」を第１の認識部１０１が認識できなくても、第１の認識部１０１が認識できた「￥１３０」と、第1の記憶部１０２に格納されている「４」を認識するための特徴情報とを用いて「￥１４０」を生成することができるため、第２の認識部１０５が「￥１４０」を認識できる。

（動作のフローチャート）
次に、図１６を参照して本実施形態に係る商品棚認識装置５０の動作の流れについて説明する。図１６は、本実施形態に係る商品棚認識装置５０の動作の流れの一例を示すフローチャートである。図１６に示すステップＳ５００１〜Ｓ５００９およびステップＳ５０１１〜Ｓ３０１２は、図１１に示すステップＳ３００１〜Ｓ３００９およびステップＳ３０１１〜Ｓ３０１２と同様であり、説明を省略する。

図１６に示すステップＳ５００１〜Ｓ５００９の実行後、パターン生成部５０１は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、第１の記憶部１０１に格納された、価格を認識するための特徴情報とを組み合わせて価格パターンを生成する（ステップＳ５０１０）。その後、ステップＳ５０１１に移行する。

（発明の効果）
以上のように、本実施形態に係る商品棚認識装置５０は、撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、記憶部に格納された、価格を認識するための特徴情報とを組み合わせて価格パターンを生成する。これにより、第１の認識部が認識できなかった商品の価格を構成する文字がある場合でも、第２の認識部で当該文字を含む商品の価格を認識することができるため、第１の実施形態よりも好適に商品情報を収集できる。

＜第６の実施形態＞
図１７を参照して、本発明の第６の実施形態に係る商品棚認識装置６０ついて説明する。図１７は、本実施形態に係る商品棚認識装置６０の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置６０は、任意の価格画像領域内の文字から抽出した特徴情報と、別の価格画像領域内の文字から抽出した特徴情報と、記憶部に格納された、価格を認識するための特徴情報を組み合わせて価格パターンを生成し、さらに、第２の認識部の認識結果を第２の記憶部に供給する。

（機能構成）
図１７に示す通り、本実施形態に係る商品棚認識装置６０は、第１の認識部１０１と、第１の記憶部１０２と、有効性判定部１０３と、パターン生成部５０１と、第２の記憶部１０４と、第２の認識部２０１とを備えている。

（動作のフローチャート）
次に、図１８を参照して本実施形態に係る商品棚認識装置６０の動作の流れについて説明する。図１８は、本実施形態に係る商品棚認識装置の動作の流れの一例を示すフローチャートである。図１８に示すステップＳ６００１〜Ｓ６０１２は、図１６に示すステップＳ５００１〜Ｓ５０１２と同様であり、説明を省略する。

図１８に示すステップＳ６００１〜Ｓ６０１２の実行後、第２の認識部２０１は撮影画像に含まれる価格が認識できたか判定する（ステップＳ６０１３）。

価格が認識できた場合（ステップＳ６０１３Ｙｅｓ）はステップＳ６０１１に移行する。価格が認識できなかった場合（ステップＳ６０１３Ｎｏ）はステップＳ６００６に移行する。

（発明の効果）
以上のように，本実施形態に係る商品棚認識装置６０は，第５の実施形態と同様の効果が得られる。また、本実施形態に係る商品棚認識装置６０は，撮影画像に含まれる価格としての有効性が高い領域から得た情報を用いて、撮影画像に含まれる価格を認識し、当該認識結果を記憶部に格納する。これにより、同一の価格であっても照明変動やカメラセンサノイズなどが異なる様々なバリエーションの価格領域画像情報を収集することができるため、第５の実施形態よりも照明変動やカメラセンサノイズに対する頑健性を向上させることができる。

＜第７の実施形態＞
図１９を参照して、本発明の第７の実施形態に係る商品棚認識装置７０ついて説明する。図１９は、本実施形態に係る商品棚認識装置７０の機能構成の一例を示す機能ブロック図である。本実施形態に係る商品棚認識装置７０は、第１の認識部が認識する文字の価格としての有効性は考慮しない。すなわち、商品棚認識装置７０の第１の認識部は、文字を価格として認識する。

（機能構成）
図１９に示す通り、本実施形態に係る商品棚認識装置７０は、第１の認識部１０１と、第２の認識部１０５とを備えている。

第１の認識部１０１は、画像から商品を認識し、当該商品の画像領域の周辺領域から当該商品の価格を認識する。第１の認識部１０５が文字を認識する方法は特に限定されず、周知の文字認識の方法で良い。

第２の認識部１０５は、第１の認識部１０１により価格が認識された第１の商品の画像領域の周辺領域の特徴情報と、画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、当該第２の商品の価格を認識する。

（発明の効果）
以上のように，本実施形態に係る商品棚認識装置７０は、撮影画像に含まれる商品の価格として認識された情報を用いて、再度、撮影画像に含まれる価格を認識する。これにより、商品棚認識装置７０によれば、価格を構成する文字の一部が商品や商品の影などで遮蔽されても精度良く認識できるため、販売されている商品の商品情報を好適に収集できる。

＜第８の実施形態＞
図２０を参照して、本発明の第８の実施形態に係る画像処理装置８０ついて説明する。図２０は、本実施形態に係る画像処理装置８０の機能構成の一例を示す機能ブロック図である。

（機能構成）
図２０に示す通り、本実施形態に係る画像処理装置８０は、第１の認識部８０１と、第２の認識部８０５とを備えている。

第１の認識部８０１は、画像から商品を認識し、当該商品の画像領域の周辺領域から当該商品に関連する商品情報を認識する。

第２の認識部８０５は、第１の認識部８０１により商品情報が認識された第１の商品の画像領域の周辺領域の特徴情報と、画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、当該第２の商品に関連する商品情報を認識する。

なお、上述したように、商品情報は、例えば、商品名などの商品を識別する識別情報や、商品の価格を示す情報、販売されている商品が冷たい商品なのか暖かい商品なのかを示す情報、商品が販売中か売り切れかを示す情報等の当該商品に関連付けられた付随情報とを含む。

（発明の効果）
以上のように，本実施形態に係る画像処理装置８０は、撮影画像に含まれる、認識された商品の関連する商品情報を用いて、再度、撮影画像に含まれる他の商品に関連する商品情報を認識する。これにより、商品棚認識装置７０によれば、商品情報の一部が商品や商品の影などで遮蔽されても精度良く認識できるため、販売されている商品の商品情報を好適に収集できる。

＜ハードウェアの構成例＞
ここで、前述した各実施形態に係る商品棚認識装置（１０、２０、３０、４０、５０、および６０）を実現可能なハードウェアの構成例について説明する。前述の商品棚認識装置（１０、２０、３０、４０、５０、および６０）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。

図２１は、本発明の各実施形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

図２１に示した情報処理装置（コンピュータ）２０００のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２００１、通信インタフェース（Ｉ／Ｆ）２００８、入出力ユーザインタフェース２０１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２００２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２００３、記憶装置２００５、およびコンピュータ読み取り可能な記憶媒体２００６のドライブ装置２００７を備え、これらがバス２００４を介して接続された構成を有する。入出力ユーザインタフェース２０１０は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース２００８は、上述した各実施の形態に係る装置（図１、図７、図９、図１２、図１４、図１７、図１９および図２０）が、外部装置と、通信ネットワーク２００９を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ２００１は、各実施の形態に係る商品棚認識装置（１０、２０、３０、４０、５０、６０および７０）及び画像処理装置８０について、全体の動作を司る。

前述の各実施形態を例に説明した本発明は、例えば、前述の各実施形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図２１に示す情報処理装置２０００に対して供給した後、そのプログラムを、ＣＰＵ２００１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、前述の各実施形態の説明において参照したフローチャート（図６、図８、図１１、図１３、図１６、および図１８）に記載した各種処理や、あるいは、図１、図７、図９、図１２、図１４、図１７、図１９および図２０に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。

また、情報処理装置２０００内に供給されたプログラムは、読み書き可能な一時記憶メモリ（２００３）またはハードディスクドライブ等の不揮発性の記憶装置（２００５）に格納されてもよい。即ち、記憶装置２００５において、プログラム群２００５Ａは、例えば、前述の各実施形態における商品棚認識装置（１０、２０、３０、４０、５０、６０、７０および８０）および画像処理装置８０内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報２００５Ｂは、例えば、前述の各実施形態における撮影画像、自動販売機の位置情報、商品を認識するための情報、文字データ、自動販売機条件情報、商品情報などである。ただし、情報処理装置２０００へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図（図１、図７、図９、図１２、図１４、図１７、図１９および図２０）に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

また、前記の場合において、当該装置内へのプログラムの供給方法は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（２００６）を介して当該装置内にインストールする方法や、インターネット等の通信回線（２００９）を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード（プログラム群２００５Ａ）或いは係るコードが格納された記憶媒体（２００６）によって構成されると捉えることができる。

以上、本発明を、上述した模範的な実施の形態およびその実施例に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態及び実施例に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。

＜実施形態の他の表現＞
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第１の認識手段と、
前記第１の認識手段により価格が認識された第１の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第２の商品の価格を認識する第２の認識手段と、
を備える商品棚認識装置。

（付記２）
前記画像は、店頭の商品棚又は自動販売機を含む画像である、
付記１に記載の商品棚認識装置。

（付記３）
前記第１の認識手段により認識される商品の価格の有効性を判定する有効性判定手段をさらに有し、
前記第１の認識手段は、前記商品の画像領域の周辺領域から当該商品に関連する文字を価格として認識し、
前記第２の認識手段は、前記認識された価格が、前記有効性判定手段により有効と判定された商品の画像領域の周辺領域の特徴情報を用いる
付記１又は２に記載の商品棚認識装置。

（付記４）
前記有効性判定手段による有効とされた商品の画像領域の周辺領域の特徴情報を記憶する記憶手段をさらに有し、
前記第２の認識手段は、前記記憶手段に記憶されている特徴情報を用いる
付記３に記載の商品棚認識装置。

（付記５）
前記有効性判定手段は、価格を構成する文字毎の認識結果の類似度の総和から、前記有効性を判定する、
付記３又は４に記載の商品棚認識装置。

（付記６）
前記有効性判定手段は、前記認識結果の位置情報に基づく重み係数が乗算された前記類似度の総和から、前記有効性を判定する、
付記５に記載の商品棚認識装置。

（付記７）
前記有効性判定手段は、前記第１の認識手段が認識した前記文字の前記画像中の領域の幅または高さに基づいて前記有効性を判定する、
付記３〜６のいずれか１項に記載の商品棚認識装置。

（付記８）
前記商品棚認識装置は、
前記有効性が高いと判定された前記価格が含まれる前記画像中の領域から抽出した、複数の前記文字の特徴情報を組み合わせたパターンを生成するパターン生成手段を備える付記３〜７のいずれか１項に記載の商品棚認識装置。

（付記９）
前記パターン生成手段は、
前記第１の認識手段が、前記画像から前記文字を認識するために用いた、複数の特徴情報を組み合わせたパターンを生成する、
付記８に記載の商品棚認識装置。

（付記１０）
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識し、
前記価格が認識された第１の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第２の商品の価格を認識する、
商品棚認識方法。

（付記１１）
コンピュータに、
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第１の認識処理と、
前記第１の認識処理により価格が認識された第１の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第２の商品の価格を認識する第２の認識処理と、
を実行させるプログラム。

（付記１２）
画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品に関連する商品情報を認識する第１の認識手段と、
前記第１の認識手段により商品情報が認識された第１の商品の画像領域の周辺領域の特徴情報と前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報とに基づいて、前記第２の商品に関連する商品情報を認識する第２の認識手段と、
を備える画像処理装置。

１０、２０、３０、４０、５０、６０、７０ 商品棚認識装置
８０ 画像処理装置
１０１ 第１の認識部
１０２ 第１の記憶部
１０３ 有効性判定部
１０４ 第２の記憶部
１０５、２０１ 第２の認識部
３０１、５０１ パターン生成部
１０１１ 商品認識部
１０１２ 文字認識部
１０３１ キー文字検出部
１０３２ 価格検出部
１０３３ 特徴抽出部
２００１ ＣＰＵ
２００２ ＲＯＭ
２００３ ＲＡＭ
２００４ バス
２００５ 記憶装置
２００５Ａ プログラム群
２００５Ｂ 各種の記憶情報
２００６ 記録媒体
２００７ ドライブ装置
２００８ 通信インタフェース
２００９ ネットワーク
２０１０ 入出力インタフェース
２０００ コンピュータ
２１００ 撮像画像
２１０１、２４０４、２４０５、２４０６、２５０４、２５０５、２５０６ 商品見本
２１０２、２２０２ 商品価格を示す領域
２１０３、２２０３ 商品購入ボタン
２３０１ 商品画像領域
２３０２ 価格探索画像領域
２３０３、２４０２、２５０２ 文字画像領域
２３０４ 文字
２４０１、２５０１、２６０１、２６０４ 価格画像領域
２４０３、２５０３ 価格パターン
２５０７ 文字画像情報
２６０２ 類似領域
２６０３ 類似領域のペア

Claims (10)

1. 画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第１の認識手段と、
   前記第１の認識手段により認識される前記商品の価格の有効性を、取り扱う商品の価格に関する条件に基づき判定する有効性判定手段と、
   前記第１の認識手段により価格が認識された第１の商品であって、当該認識された価格が前記有効性判定手段により有効と判定された前記第１の商品の画像領域の周辺領域の特徴情報と、前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報と、に基づいて、前記第２の商品の価格を認識する第２の認識手段と、
   を備える商品棚認識装置。
2. 前記画像は、店頭の商品棚又は自動販売機を含む画像である、
   請求項１に記載の商品棚認識装置。
3. 前記第１の認識手段は、前記商品の画像領域の周辺領域から当該商品に関連する文字を価格として認識する、
   請求項１又は２に記載の商品棚認識装置。
4. 前記有効性判定手段による有効とされた商品の画像領域の周辺領域の特徴情報を記憶する記憶手段をさらに有し、
   前記第２の認識手段は、前記記憶手段に記憶されている特徴情報を用いる
   請求項３に記載の商品棚認識装置。
5. 前記有効性判定手段は、価格を構成する文字毎の認識結果の類似度の総和から、前記有効性を判定する、
   請求項３又は４に記載の商品棚認識装置。
6. 前記有効性判定手段は、前記第１の認識手段が認識した前記文字の前記画像中の領域の幅または高さに基づいて前記有効性を判定する、
   請求項３〜５のいずれか１項に記載の商品棚認識装置。
7. 前記商品棚認識装置は、
   前記有効性が高いと判定された前記価格が含まれる前記画像中の領域から抽出した、複数の前記文字の特徴情報を組み合わせたパターンを生成するパターン生成手段を備える請求項３〜６のいずれか１項に記載の商品棚認識装置。
8. 画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識し、
   認識される前記商品の価格の有効性を、取り扱う商品の価格に関する条件に基づき判定し、
   前記価格が認識された第１の商品であって、当該認識された価格が有効と判定された前記第１の商品の画像領域の周辺領域の特徴情報と、前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報と、に基づいて、前記第２の商品の価格を認識する、
   商品棚認識方法。
9. コンピュータに、
   画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品の価格を認識する第１の認識処理と、
   前記第１の認識処理により認識される前記商品の価格の有効性を、取り扱う商品の価格に関する条件に基づき判定する有効性判定処理と、
   前記第１の認識処理により価格が認識された第１の商品であって、当該認識された価格が前記有効性判定処理により有効と判定された前記第１の商品の画像領域の周辺領域の特徴情報と、前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報と、に基づいて、前記第２の商品の価格を認識する第２の認識処理と、
   を実行させるプログラム。
10. 画像から商品を認識し、当該商品の画像領域の周辺領域から前記商品に関連する商品情報を認識する第１の認識手段と、
    前記第１の認識手段により認識される前記商品に関連する商品情報の有効性を、取り扱う商品の商品情報に関する条件に基づき判定する有効性判定手段と、
    前記第１の認識手段により商品情報が認識された第１の商品であって、当該認識された商品情報が前記有効性判定手段により有効と判定された前記第１の商品の画像領域の周辺領域の特徴情報と、前記画像に含まれる第２の商品の画像領域の周辺領域の特徴情報と、
    に基づいて、前記第２の商品に関連する商品情報を認識する第２の認識手段と、
    を備える画像処理装置。

Images