JP6623565B2 - 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム - Google Patents

Description

本発明は、商品陳列状態を表す棚割情報を生成する棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラムに関する。

コンビニエンスストアやスーパーマーケットなどの小売店では、商品の陳列位置が売上に大きく影響することから、店頭の商品陳列状態を正確に把握することが望まれている。

例えば、特許文献１には、売場写真から売場に陳列されている各商品を識別し、識別結果に基づいて、予め作成された什器モデルの対応する位置に該当する商品の商品マスタを配置する技術が開示されている。

特開２００９−１８７４８２号公報

上述した特許文献１に記載の技術では、写真画像の棚のサイズが、予め作成した什器モデルの棚のサイズと同じになるように写真画像を調整した後、個々の商品を識別し、什器モデルの対応する位置に商品マスタを表示している。

しかしながら、同じ型番の什器でも、店舗や陳列商品によって棚の段数や棚板の位置が異なる。そのため、特許文献１の技術では、什器モデルの棚板の位置が、実際の店舗に配置されている棚板の位置と異なる場合、商品陳列状態を正確に再現できない場合がある。したがって、特許文献１の技術では、高精度な、商品陳列状態を表す情報（棚割情報）を作成することができないという問題があった。

本発明は、上記問題に鑑みてなされたものであり、その目的は、商品陳列状態を表す棚割情報を、より高精度に生成することにある。

本発明の一態様に係る棚割情報生成装置は、商品棚を含む画像に対して、指定された位置を示す位置情報を取得する取得手段と、前記画像から認識された商品が前記指定された位置に配置された状態を示す棚割情報を、前記商品の認識結果と前記位置情報とに基づいて生成する生成手段と、を備える。

また、本発明の一態様に係る棚割情報生成システムは、商品が陳列された商品棚を撮影する撮影手段と、前記撮影手段によって撮影された画像に対して、指定された位置を示す位置情報を取得する取得手段と、前記画像から認識された商品が前記指定された位置に配置された状態を示す棚割情報を、前記商品の認識結果と前記位置情報とに基づいて生成する生成手段と、を備える。

また、本発明の一態様に係る棚割情報生成方法は、商品棚を含む画像に対して、指定された位置を示す位置情報を取得し、前記画像から認識された商品が前記指定された位置に配置された状態を示す棚割情報を、前記商品の認識結果と前記位置情報とに基づいて生成する。

また、本発明の一態様に係る撮像装置は、商品が陳列された商品棚を撮影する撮影手段と、前記画像から認識された商品が配置された状態を示す棚割情報の生成に用いられる、該商品を配置する位置であって、指定された位置を示す位置情報を取得する取得手段と、を備える。

また、本発明の一態様に係る撮像装置は、商品が陳列された商品棚を撮影する撮影手段と、前記画像から認識された商品が配置された状態を示す棚割情報の生成に用いられる、該商品を配置する位置の入力を受け付ける入力手段と、を備える。

なお、上記各装置、システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。

本発明によれば、より高精度な棚割情報を生成することができる。

本発明の第１の実施の形態に係る棚割情報生成装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施の形態に係る棚割情報生成システムの全体構成の一例を示す図である。 本発明の第２の実施の形態に係る棚割情報生成システムの利用シーンを説明するための図である。 本発明の第２の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 撮像装置に表示される画像の例を示す図である。 ユーザによる入力操作が行われた後の、画面の例を示す図である。 入力部が棚割情報生成装置に送信する位置情報の一例を示す図である。 認識部が出力する認識結果の一例を示す図である。 生成部が生成した棚割情報であって、画面に表示可能な画像の形式で生成された棚割情報の一例を示す図である。 本発明の第２の実施の形態に係る棚割情報生成システムにおける処理の流れの一例を示すフローチャートである。 本発明の第３の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 本発明の第４の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 本発明の第４の実施の形態に係る棚割情報生成システムにおける棚割情報生成装置の処理の流れの一例を示すフローチャートである。 本発明の第５の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 本発明の第５の実施の形態において、表示部に表示される画面の一例を示す図である。 ユーザによる入力操作が行われた後の、画面の例を示す図である。 本発明の第５の実施の形態に係る棚割情報生成システムにおける棚割情報生成装置の処理の流れの一例を示すフローチャートである。 本発明の第６の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 本発明の第６の実施の形態において、表示部に表示される画面の一例を示す図である。 本発明の第７の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 本発明の第７の実施の形態に係る棚割情報生成システムにおける棚割情報生成装置の処理の流れの一例を示すフローチャートである。 本発明の第８の実施の形態に係る棚割情報生成システムの基本構成の一例を示すブロック図である。 本発明の第８の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。

＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図１は、本実施の形態に係る棚割情報生成装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る棚割情報生成装置１０は、取得部１１と、生成部１２とを備えている。

取得部１１は、商品棚を含む画像に対して、指定された位置を示す位置情報を取得する。そして、取得部１１は、取得した位置情報を生成部１２に出力する。指定された位置とは、生成部１２が棚割情報を生成する際に、商品の配置に用いる位置であり、例えば、ユーザによって指定された、画像中の什器（商品棚とも呼ぶ）の各棚板の位置、棚割情報生成装置１０が画像から指定した商品棚の各棚板の位置、商品棚の領域の位置等である。

生成部１２は、画像から認識された商品が指定された位置に配置された状態を示す棚割情報を、商品の認識結果および位置情報に基づいて生成する。具体的には、生成部１２は、画像から認識された商品の画像上の位置を含む認識結果、および、取得部１１から受信した位置情報に基づいて、該位置情報によって示される位置に、認識された商品を配置した状態である商品陳列状態を示す棚割情報を生成する。

このように、本実施の形態に係る棚割情報生成装置１０は、商品棚を含む画像に対して指定された位置を示す位置情報を取得し、画像から認識された商品が該位置に配置された状態を示す棚割情報を、認識結果および位置情報に基づいて生成する。これにより、棚割情報生成装置１０が位置情報に基づいた棚割情報を生成するため、生成された棚割情報によって示される商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。したがって、本実施の形態に係る棚割情報生成装置１０は、より高精度な棚割情報を生成することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本発明の第２の実施の形態について、図面を参照して説明する。図２は、本実施の形態に係る棚割情報生成システム１の全体構成の一例を示す図である。図２に示す棚割情報生成システム１は、棚割情報生成装置１００と、撮像装置２００とを含む。棚割情報生成装置１００は、上述した棚割情報生成装置１０の構成を含む。また、図３は、本実施の形態に係る棚割情報生成システム１の利用シーンを説明するための図である。図４は、本実施の形態に係る棚割情報生成システム１の機能構成の一例を示す機能ブロック図である。

図３に示す通り、撮影者は、店舗内に設置されている商品棚２０に陳列されている商品を、撮像装置２００を用いて撮影する。このとき、図２に示す通り、本実施の形態に係る棚割情報生成システム１では、撮影された画像を示すデータ（画像データ）が撮像装置２００からネットワーク３００を介して棚割情報生成装置１００に送信される。棚割情報生成装置１００は、店舗内に設けられるものであってもよいし、例えば、データセンタのような店舗とは別の場所に設けられるものであってもよい。棚割情報生成装置１００は、撮像装置２００からネットワーク３００を介して送信された画像データを受信し、受信した画像データを用いて、認識処理を行う。なお、棚割情報生成装置１００の具体的な動作については、後述する。

撮像装置２００と棚割情報生成装置１００との間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。撮像装置２００と、棚割情報生成装置１００との間の通信は、撮像装置２００の構成等に応じで適宜採用することが好ましい。このように、棚割情報生成装置１００と撮像装置２００との間の通信方法は、さまざまな方法が考えられるが、本実施の形態の本質にかかわらないため、詳細な説明は省略する。

なお、商品棚２０を撮影する撮像装置２００は、本実施の形態では、携帯電話端末、スマートフォン、デジタルカメラ、タブレット等、撮像機能と表示機能とを備えた端末であるとする。

（撮像装置２００）
撮像装置２００は、図４に示す通り、撮影部２１０と、表示部２２０と、入力部２３０とを備えている。撮影部２１０は、静止画像または動画像を撮影する。そして、撮影部２１０は、撮影した画像が静止画像の場合、該静止画像を示す画像データを棚割情報生成装置１００および表示部２２０に出力する。また、撮影した画像が動画像の場合、撮影部２１０は、該動画像から逐次得られる画像データを、棚割情報生成装置１００および表示部２２０に出力する。以降、撮影部２１０が撮影し、棚割情報生成装置１００および表示部２２０に出力した静止画像の画像データまたは動画像の画像データを、単に画像データとも呼ぶ。

表示部２２０は、撮影部２１０から画像データを受信すると、画面（表示画面とも呼ぶ）に該画像データが示す画像を表示する。表示部２２０は、例えば、液晶ディスプレイおよび駆動回路によって実現される。

入力部２３０は、撮影した画像に対する、ユーザ（例えば、撮影者）からの入力操作を検出する。本実施の形態では、入力部２３０と、表示部２２０とは、タッチパネルとして一体に形成されているとする。入力部２３０は、ユーザによって、表示画面上で入力操作が行われると、ユーザの入力操作が行われた表示画面上の位置を検出する。そして、入力部２３０は、検出した表示画面上の入力位置を、入力が行われた際に画面に表示されている撮影画像上の位置に変換し、該撮影画像上の位置を示す位置情報を、該撮影画像を示す情報（画像情報）と共に、棚割情報生成装置１００に送信する。このとき、画面に表示されている撮影画像を示す情報とは、上述した、画像を示す画像データであってもよいし、該画像を特定する情報（例えば、画像の画像データを示す識別子）であってもよい。

なお、以下では、特に限定しない限り、表示画面上の入力位置に対応する撮影画像上の位置を入力位置と呼ぶ。

ここで、図５および図６を用いて、入力位置について説明する。図５は、撮像装置２００に表示される画像の例を示す図である。また、図６は、ユーザによる入力操作が行われた後の、画面の例を示す図である。

撮影者が撮影した画像（撮影画像）は、図５に示すような画像であるとする。図５に示す通り、撮影画像には、商品棚２０が含まれる。撮影画像には、１つの商品棚２０の全体が含まれていてもよいし、商品棚２０の一部が含まれていてもよい。また、撮影画像には、複数の商品棚２０が含まれていてもよい。本実施の形態では、撮影者は、商品の陳列状態を示す情報（棚割情報）を生成する対象となる商品棚２０（図５では商品棚２０Ａ）の全部が撮影画像に含まれるように、商品棚２０を撮影する。なお、商品の陳列状態を、商品の棚割状態とも呼ぶ。図５に示す通り、撮影画像には、棚割情報の生成の対象の商品棚２０（商品棚２０Ａ）の全体と、他の商品棚２０（商品棚２０Ｂ）の一部とが含まれる。ここで、商品棚２０は、図５に示す通り、多段式の棚であり、上から順に１段目、２段目、・・・、とする。また、以降では、単に棚と呼ぶ場合、商品棚２０の全体をさし、商品が陳列される部分（商品棚２０の内部空間）を棚段、または、単に段と呼ぶ。また、本実施の形態では、棚板とは商品が乗せられる板であり、商品棚２０内に設けられた板および商品棚２０の最下段の底板を含む。

次に、ユーザが指などの入力媒体を用いて、撮像装置２００に対して入力操作を行う。このとき、ユーザは、撮像装置２００の画面に表示された画像に対して、該画像に含まれる商品棚２０Ａの段の位置を指定する操作を行う。ユーザによる位置の指定の方法は特に限定されない。ユーザは、例えば、段の位置（棚板の位置）において、画面上で線を引くように段の位置をなぞることにより、段の位置を指定してもよい。また、ユーザは、少なくとも、各棚板の一方の端部と他方の端部とを指定することにより、段の位置を指定してもよい。

なお、入力媒体は、指に限定されず、例えば、スタイラスのようなポインティングデバイスであってもよいし、マウスやキーボード等であってもよい。

図６には、ユーザによって指定された段の位置が太線で示されている。図６に示す通り、ユーザが指定する段の位置は、複数であってもよい。また、ユーザが指定する段の位置には、商品棚２０の天板の位置を含んでいてもよい。本実施の形態では、図６に示す通り、商品棚２０Ａの５つの棚板の夫々の位置をユーザが指定したとする。なお、図６に示す撮影画像の座標系は、縦軸をｘ軸、横軸をｙ軸、左上隅を原点であるとする。

入力部２３０は、ユーザが画面上で指定した段の位置を特定し、この特定した位置に対応する撮影画像上の位置を示す位置情報を、表示部２２０に表示されている画像を示す情報と共に、棚割情報生成装置１００に送信する。このとき、棚割情報生成装置１００に送信される位置情報は、商品棚の段の位置がわかる情報であればよい。例えば、撮像装置２００に表示された撮影画像上の座標であって、段の位置を示す線分の一方の端部の座標と他方の端部の座標との組を、１つの段の位置を示す情報とし、これを複数含む情報を、位置情報としてもよい。また、段の位置を示す線分を示す座標の集合を、１つの段の位置を示す情報とし、これを複数含む情報を位置情報としてもよい。

入力部２３０が棚割情報生成装置１００に送信する位置情報の例を図７に示す。図７は、入力部２３０が棚割情報生成装置１００に送信する位置情報の一例を示す図である。図６に示す通り、ユーザが１段目から５段目までの段の位置を指定した場合、図７に示す通り、入力部２３０は、入力された１段目から５段目までの段の位置を示す位置情報を、棚割情報生成装置１００に送信する。例えば、図７の１行目に示す通り、入力部２３０は、ユーザが指定した段の位置を示す２点の座標、または、段の位置を示す線分の両端の座標｛（５０、２００）、（２０、５００）｝を１段目の位置を示す情報として、棚割情報生成装置１００に送信する。なお、図７に示す左側の列は、図６との対応関係を示すために記載したものであり、入力部２３０は、左側の列に示すような、座標によって位置が示される段が何段目であるかを示す情報を送信しなくてもよい。また、図７に示す座標値は、一例であり、これに限定されるものではないことは言うまでもない。

（棚割情報生成装置１００）
次に、棚割情報生成装置１００について説明する。棚割情報生成装置１００は、図４に示す通り、取得部１１０と、生成部１２０と、記憶部１３０と、認識部１４０とを備えている。

記憶部１３０には、撮影された画像であって、撮像装置２００から送信された画像データが示す画像に含まれる商品を認識するための情報が格納されている。具体的には、記憶部１３０には、商品の画像（マスタ画像とも呼ぶ）、および／または、商品の画像に含まれる特徴量が、商品を識別する情報（例えば、商品を識別するための識別子、商品名等）に紐付けられて、格納されている。ここで、マスタ画像とは、商品に関するデータの一部であり、該商品の外観を示す画像である。本実施の形態では、商品に関するデータを、商品マスタとも呼ぶ。商品マスタには、マスタ画像の他に、例えば、該商品の売上データ、棚卸データ、商品分類、メーカ名、商品名等が含まれる。なお、商品マスタに含まれる情報は、商品に関するデータであればよく、上述した情報以外の情報が含まれていてもよい。なお、記憶部１３０に格納される情報は、商品を認識するために必要な情報であればよい。また、商品を識別するための情報は、上記に限定されるものではなく、商品が特定可能なものであればよい。

記憶部１３０は、棚割情報生成装置１００内に内蔵されるものであってもよいし、棚割情報生成装置１００とは別個の記憶装置によって実現してもよい。

認識部１４０は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。そして、記憶部１３０に格納された、商品を認識するための情報を参照し、受信した画像データに基づいて、該画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４０が商品を認識する方法は、例えば、局所特徴量、テンプレート、輝度、エッジ、外形、形状、色情報、デプス等を用いるものであってもよいし、その他の情報を用いるものであってもよい。認識部１４０が商品を認識する方法は特に限定されず、一般的な認識手法であってもよいため、本明細書では詳細な説明を省略する。

認識部１４０は、撮影画像を示す情報と、該撮影画像から認識した商品を示す情報と、その位置を示す情報とを認識結果として、生成部１２０に出力する。撮影画像を示す情報は、撮影画像を示す画像データそのものであってもよいし、該撮影画像を特定する情報であってもよい。図５に示す通り、撮影画像には、複数の商品の画像が含まれているため、認識部１４０は、認識した、複数の商品の夫々を示す情報と、各商品が陳列されている位置を示す情報（陳列位置情報）とを出力する。各商品の陳列位置情報は、例えば、各商品の撮影画像内における位置を示す座標である。陳列位置情報は、各商品の中心座標であってもよいし、各商品の中央下部（ボトムセンター）の座標であってもよい。なお、本実施の形態では、各商品の陳列位置情報は、ボトムセンターの座標であるとする。また、各商品を示す情報とは、認識された商品を特定可能な情報であればよく、例えば、商品名であってもよいし、商品を識別する識別子であってもよい。また、各商品を示す情報には、各商品のマスタ画像および／または撮影画像内から切り出した、対応する商品の画像が含まれていてもよい。

認識部１４０が出力する認識結果の例を図８に示す。図８は、認識部１４０が出力する認識結果の一例を示す図である。図８に示す認識結果には、撮影画像を示す情報として、「画像１」で示す画像名が含まれる。また、図８に示す認識結果には、認識した商品を示す情報として、商品名が含まれる。また、図８に示す認識結果には、認識した商品の撮影画像上の位置を示す情報として、商品のボトムセンターの座標が含まれる。認識部１４０は、図８に示す通り、商品名が「商品Ａ」の商品は、ボトムセンターの座標が（４８、２２０）である位置に、配置されているという認識結果を出力する。

取得部１１０は、撮像装置２００から、ユーザによって指定された位置を示す位置情報と画像情報とを取得する。取得部１１０は、取得した位置情報と画像情報とを生成部１２０に出力する。なお、本実施の形態では、入力部２３０が画面上の入力位置を撮影画像上の位置に変換し、該変換した位置を示す位置情報として送信しているが、入力部２３０は、画面上の入力位置を示す情報を送信してもよい。この場合、取得部１１０は、受信した情報によって示される画面上の入力位置を、撮影画像上の位置に変換し、該変換した位置を示す情報を位置情報として生成部１２０に出力する。

生成部１２０は、取得部１１０から位置情報と画像情報とを受信する。また、生成部１２０は、認識部１４０から、撮影画像を示す情報を含む認識結果を受信する。生成部１２０は、受信した画像情報と、受信した認識結果に含まれる撮影画像を示す情報とが、同じ撮影画像を示す場合、該画像情報と共に受信した位置情報と該認識結果とを用いて、認識部１４０において認識された商品が位置情報によって示される位置に配置された状態を示す棚割情報を生成する。

例えば、取得部１１０から取得した位置情報に、図７に示す｛（５０、２００）、（５０、５００）｝が含まれているとする。生成部１２０は、また、商品棚２０のある段が、撮影画像上の上記２点をつなぐことによって得られる線分で表現される位置に存在すると推定する。そして、認識結果に含まれる商品を示す位置がボトムセンターの座標の場合、生成部１２０は、例えば、ｘ座標が５０より小さい、または、５０を含む所定の範囲内であり、ｙ座標が２００から５００の範囲内のボトムセンターの座標を、１段目に配置されている商品であると特定する。生成部１２０は、他の段の配置されている商品も同様に特定する。そして、生成部１２０は、特定した商品を、ボトムセンターの座標に基づいて配置した棚割情報を生成する。なお、上述した生成部１２０による棚割情報の生成方法は一例である。例えば、２つの段の位置と、ボトムセンターの座標との関係を考慮して決定するなどの方法が採用されてもよい。

生成部１２０が生成する棚割情報は、商品棚２０の段の位置と商品を示す情報とその商品の配置位置とが順に並べられた文字列であってもよいし、表の形式であってもよいし、その他の形式であってもよい。生成部１２０は、例えば、棚割情報生成装置１００内の図示しない表示部に、表示させる画像を棚割情報として生成してもよい。図９は、生成部１２０が生成した棚割情報であって、画面に表示可能な画像の形式で生成された棚割情報の一例を示す図である。

図９の各商品内のアルファベットは、商品名の最後の文字を示している。図９において、例えば、商品名が「商品Ａ」の商品は「Ａ」と示されている。生成部１２０は、図７に示す位置情報と、図８に示す認識結果とを用いて、図９に示す棚割情報を生成する。ここで、図８に示す認識結果に含まれる「商品Ｆ」は、ｙ座標が、２００から５００の範囲内ではない。そのため生成部１２０は、商品Ｆは、他の商品棚２０の商品であるとし、棚割情報に含めない。このように、生成部１２０は、位置情報と認識結果とに基づいて、棚割情報を生成する。なお、図９に表示された各商品は、商品名を示す文字列であってもよいし、商品のマスタ画像であってもよいし、撮影画像内から切り出した商品の画像であってもよい。

（棚割情報生成システム１の処理の流れ）
次に、棚割情報生成システム１における処理の流れについて説明する。図１０は、本実施の形態に係る棚割情報生成システム１における処理の流れの一例を示すフローチャートである。図１０においては、撮像装置２００の処理を左側に、棚割情報生成装置１００の処理を右側に示している。また、撮像装置２００に対するフローチャートと、棚割情報生成装置１００に対するフローチャートとの間の破線の矢印は、情報の伝達を示している。

まず、撮像装置２００の撮影部２１０が商品棚２０を撮影し（ステップＳ１０１）、撮影した撮影画像を示す画像データを棚割情報生成装置１００に送信する（ステップＳ１０２）。その後、棚割情報生成装置１００の認識部１４０は、撮像装置２００から送信された撮影画像を示す画像データを受信する（ステップＳ１１１）。

また、撮像装置２００の入力部２３０がユーザによる入力操作が行われた表示画面上の位置を検出する（ステップＳ１０３）。そして、入力部２３０は、検出した、表示画面上の入力位置に対応する撮影画像上の位置を示す位置情報を、棚割情報生成装置１００に送信する（ステップＳ１０４）。なお、ステップＳ１０２は、ステップＳ１０３またはステップＳ１０４の後に行われてもよいし、ステップＳ１０３またはステップＳ１０４と同時に行われてもよい。以上により、撮像装置２００の処理を終了する。

ステップＳ１０４にて、位置情報が送信されると、棚割情報生成装置１００の取得部１１０は、該位置情報を受信する（ステップＳ１１２）。

棚割情報生成装置１００の認識部１４０は、ステップＳ１１１で受信した画像データを用いて、該画像データによって示される画像内に含まれる商品を認識する（ステップＳ１１３）。なお、ステップＳ１１３は、ステップＳ１１２の前に行われてもよいし、ステップＳ１１２と同時に行われてもよい。

その後、棚割情報生成装置１００の生成部１２０は、ステップＳ１１２で、取得部１１０が受信した位置情報と、ステップＳ１１３で認識部１４０が商品の認識を行った結果である認識結果とに基づいて、棚割情報を生成する（ステップＳ１１４）。以上により、棚割情報生成装置１００の処理を終了する。

（効果）
以上のように、棚割情報生成装置１００は、画像に対して、指定された位置を示す位置情報を取得し、画像から認識された商品が、指定された位置に配置された状態を示す棚割情報を、認識結果および位置情報に基づいて生成する。これにより、位置情報に基づいて生成された棚割情報によって示される、商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。したがって、本実施の形態に係る棚割情報生成システム１は、より高精度な棚割情報を生成することができる。

また、本実施の形態において、棚割情報を生成する際に基づく、指定された位置とは、棚割情報を生成する対象となる商品棚を含む撮影画像上において、入力媒体を用いて、棚板の位置をなぞる、または、少なくとも棚板の両端を含む位置を指定することによって特定される位置である。このような方法で指定された位置を示す位置情報に基づいて生成された棚割情報によって示される、商品の陳列位置は、実際の陳列位置をより正確に再現したものとなりうる。したがって、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１００は、このように指定された位置を示す位置情報に基づいて棚割情報を生成するため、より高精度な棚割情報を生成することができる。

（変形例）
上述した第２の実施の形態における棚割情報生成装置１００は、撮像装置２００と同様に、表示部と、入力部とを更に備えていてもよい。このとき、棚割情報生成装置１００は、撮像装置２００が撮影した撮影画像を自身の表示部に表示し、ユーザからの入力を受け付けてもよい。

これにより、撮像装置２００から棚割情報生成装置１００に対して送信するデータの量を減らすことができる。また、棚割情報生成システム１の撮像装置２００が入力部を備えていない構成であっても、第２の実施の形態と同様に、棚割情報生成システム１は、より高精度な棚割情報を生成することができる。

また、上述した第２の実施の形態では、各商品の認識を棚割情報生成装置１００内の認識部１４０で行ったが、商品の認識は、棚割情報生成装置１００とは別個の装置で行われてもよい。つまり、記憶部１３０および認識部１４０は、棚割情報生成装置１００とは別個の装置で実現されてもよい。この場合、棚割情報生成装置１００は、認識結果を上記別個の装置から受信する。これにより、棚割情報生成装置１００は、棚割情報生成装置１００に掛かる処理負荷を低減することができる。また、認識部１４０が棚割情報生成装置１００とは別個の装置で実現される場合であっても、本実施の形態に係る棚割情報生成システム１は、より高精度な棚割情報を生成することができる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、図面を参照して説明する。図１１は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

図１１に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０１と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。

棚割情報生成装置１０１は、取得部１１１と、生成部１２０と、記憶部１３０と、認識部１４１とを備えている。

取得部１１１は、撮像装置２００から、ユーザによって指定された位置を示す位置情報と画像情報とを取得する。取得部１１１は、取得した位置情報と画像情報とを、認識部１４１と、生成部１２０とに出力する。

認識部１４１は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。また、認識部１４１は、取得部１１１から位置情報と画像情報とを受信する。認識部１４１は、画像データと、受信した画像情報とが、同じ撮影画像を示す場合、該画像情報と共に受信した位置情報を用いて、記憶部１３０を参照し、受信した画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４１は、商品の認識を行う際、位置情報によって示される範囲内の商品を認識する。例えば、位置情報が、図７に示すような座標である場合、商品の認識を行う対象となる商品棚２０の左端および右端の、画像内における座標（ｙ座標）がわかる。例えば、図６に示す画像の場合、ユーザによって段の位置が指定された商品棚は、商品棚２０Ａであり、商品棚２０Ｂの方には、段の位置の指定がされていないことがわかる。そこで、認識部１４１は、取得部１１１から受信した位置情報に基づいて、受信した画像データによって示される撮影画像に含まれる商品のうち、商品棚２０Ｂに含まれる商品に対する認識処理をスキップする。これにより、認識部１４１は、認識処理を行う対象となる商品の量を減らすことができるため、認識処理の処理量および処理時間を減らすことができる。また、認識部１４１は、棚割情報を生成する対象の商品棚２０Ａ以外の商品棚に陳列された商品の認識を行わないため、商品棚２０Ａに陳列されていない商品を、商品棚２０Ａに陳列された商品であると認識することを防ぐことができる。

その後、認識部１４１は、認識部１４０と同様に認識結果を生成部１２０に出力する。そして、生成部１２０は、認識結果と位置情報とに基づいて、棚割情報を生成する。

このように、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１０１は、上述した第２の実施の形態における棚割情報生成装置１００と同様に、図１０に示すステップＳ１１１、ステップＳ１１２の処理を行う。そして、本実施の形態における棚割情報生成装置１０１は、図１０におけるステップＳ１１３において、商品の認識を位置情報に基づいて行う。そして、棚割情報生成装置１０１は、棚割情報生成装置１００と同様に、ステップＳ１１４の処理を行う。

なお、図７に示す位置情報において、各段の位置を示すｙ座標は、２００または５００となっているため、各段は、ｙ＝２００の位置からｙ＝５００の位置までであることがわかる。しかしながら、この各段の位置はユーザが入力する値のため、段毎に異なる場合が多い。この場合、棚割情報生成装置１０１は、例えば、各段の位置において値が小さい方のｙ座標値の平均を、商品棚２０の一方の端とし、各段の位置において値が大きい方のｙ座標値の平均を、商品棚２０の他方の端として、商品棚２０の位置を推定してもよい。そして、認識部１４１は、推定した位置に基づいて、商品の認識を行ってもよい。なお、推定される座標値は、平均に限定されず、最小値や最大値などを用いてもよい。

（効果）
以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１０１では、認識部１４１が、商品棚を含む画像に対して指定された位置に基づいて、商品を認識する。したがって、本実施の形態に係る棚割情報生成システム１の生成部１２０は、指定された位置に基づいて認識された商品が、該指定された位置に配置された状態を示す棚割情報を生成する。これにより、棚割情報生成装置１０１は、商品棚２０Ａに陳列されていない商品を、商品棚２０Ａに陳列された商品であると認識することを防ぐことができる。よって、棚割情報生成装置１０１は、商品棚２０Ａに含まれる商品以外の商品が棚割情報に含まれることを防ぐことができ、より精度が高い棚割情報を生成することができる。

（変形例）
本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の変形例における棚割情報生成システム１と同様に、棚割情報生成装置１０１が表示部（不図示）と入力部（不図示）とを備える構成であってもよい。

また、本実施の形態に係る棚割情報生成装置１０１の記憶部１３０および認識部１４１は、上述した第２の実施の形態の変形例における棚割情報生成システム１と同様に、棚割情報生成装置１０１とは別個の装置で実現されてもよい。

これにより、本実施の形態の変形例に係る棚割情報生成システム１は、上述した第２の実施の形態の変形例に係る棚割情報生成システム１と同様の効果を得ることができる。

＜第４の実施の形態＞
次に、本発明の第４の実施の形態について、図面を参照して説明する。第２および第３の実施の形態では、商品棚２０の各段の位置をユーザによる入力操作により取得する構成について説明した。本実施の形態では、商品棚２０の各段の位置を、撮影画像から取得する方法について説明する。

図１２は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２および第３の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

図１２に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０２と、撮像装置２０２とを備えている。撮像装置２０２は、撮影部２１０を備えている。本実施の形態では、撮像装置２０２は、撮影部２１０のみを備えているとするが、上述した第２および第３の実施の形態に係る撮像装置２００と同様に、表示部２２０および入力部２３０を更に備えていてもよい。撮影部２１０は撮影した画像の画像データを棚割情報生成装置１０２に送信する。

棚割情報生成装置１０２は、取得部１１２と、生成部１２０と、第１の記憶部１３２と、認識部１４０と、第２の記憶部１５２とを備えている。棚割情報生成装置１０２は、撮像装置２０２から送信された画像データを受信する。受信した画像データは、取得部１１２および認識部１４０に入力される。

第１の記憶部１３２は、上述した第２および第３の実施の形態に係る記憶部１３０に相当する。第１の記憶部１３２には、記憶部１３０と同様に、撮影された画像であって、撮像装置２０２から送信された画像データが示す画像に含まれる商品を認識するための情報が格納されている。

第２の記憶部１５２には、什器（商品棚）の棚板を示す画像が、テンプレートとして格納されている。第２の記憶部１５２に格納されているテンプレートは、後述する取得部１１２が行う画像処理で利用可能なデータであればよい。

なお、本実施の形態では、第１の記憶部１３２と、第２の記憶部１５２とが別個の構成であるとして説明を行うが、第１の記憶部１３２と、第２の記憶部１５２とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３２および第２の記憶部１５２は、夫々、棚割情報生成装置１０２とは別個の記憶装置にて実現されるものであってもよい。

取得部１１２は、撮像装置２０２から送信された画像データを受け取る。そして、取得部１１２は、第２の記憶部１５２に格納された商品棚に関する情報を用いて、受信した画像データによって示される撮影画像から、商品棚の段の位置を示す位置情報を取得する。具体的には、取得部１１２は、第２の記憶部１５２に格納されたテンプレートを用いて、撮影画像上の、各位置に置ける類似度を算出し、類似度が高い位置を、取得部１１２によって指定された段の位置として検出する。取得部１１２は、検出した段の位置を示す情報を、位置情報として、取得する。

なお、取得部１１２が段の位置を検出する方法は、テンプレートマッチングに限定されるものではなく、画像から段の位置を検出可能な方法であればよい。

取得部１１２は、取得した位置情報と、該位置情報を取得した撮影画像を示す画像情報とを生成部１２０に出力する。そして、生成部１２０は、上述した第２の実施の形態における生成部１２０と同様に、認識部１４０において認識された商品が位置情報によって示される位置に配置された状態を示す棚割情報を生成する。

（棚割情報生成装置１０２の処理の流れ）
次に、棚割情報生成装置１０２における処理の流れについて説明する。図１３は、本実施の形態に係る棚割情報生成システム１における棚割情報生成装置１０２の処理の流れの一例を示すフローチャートである。

撮像装置２０２の撮影部２１０が商品棚２０を撮影し、撮影した撮影画像を示す画像データを棚割情報生成装置１０２に送信すると、棚割情報生成装置１０２は、該画像データを受信する（ステップＳ１３１）。受信した画像データは、認識部１４０および取得部１１２に入力される。

そして、取得部１１２は、第２の記憶部１５２に格納された商品棚に関する情報を用いて、ステップＳ１３１で受信した画像データによって示される撮影画像から、商品棚の段の位置を示す位置情報を取得する（ステップＳ１３２）。

認識部１４０は、ステップＳ１３１で受信した画像データを用いて、該画像データによって示される画像内に含まれる商品を認識する（ステップＳ１３３）。なお、ステップＳ１３３は、ステップＳ１３２の前に行われてもよいし、ステップＳ１３２と同時に行われてもよい。

その後、生成部１２０は、ステップＳ１３２で、取得部１１２が取得した位置情報と、ステップＳ１３３で認識部１４０が商品の認識を行った結果である認識結果とに基づいて、棚割情報を生成する（ステップＳ１３４）。以上により、棚割情報生成装置１０２の処理を終了する。

（効果）
以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態では、取得部１１２が、撮影画像から、棚割情報を生成する対象となる商品棚の棚板の位置を、指定された棚板の位置として検出することにより、該棚板の位置を示す位置情報を取得する。このように、本実施の形態の棚割情報生成装置１０２は、ユーザが商品棚の棚板の位置を指定しなくても、撮影画像から商品棚の棚板の位置を取得することができる。そのため、本実施の形態に係る棚割情報生成システム１は、例えば、棚割情報生成装置１０２に撮影画像を供給するだけで、容易に、精度が高い棚割情報を生成することができる。

（変形例１）
本実施の形態に係る棚割情報生成システム１の変形例１について説明する。本変形例における棚割情報生成装置１０２の認識部１４０は、上述した第２の実施の形態の変形例における棚割情報生成システム１と同様に、棚割情報生成装置１０２とは別個の装置で実現されてもよい。

これにより、本実施の形態の変形例に係る棚割情報生成システム１は、上述した第２の実施の形態の変形例に係る棚割情報生成システム１と同様に棚割情報生成装置１０２に掛かる処理負荷を低減することができる。

（変形例２）
本実施の形態に係る棚割情報生成システム１の変形例２について説明する。本変形例における棚割情報生成装置１０２の取得部１１２は、取得した位置情報と画像情報とを、生成部１２０だけでなく、認識部１４０にも出力してもよい。そして、認識部１４０は、上述した第３の実施の形態における認識部１４１と同様に、取得部１１２から受信した位置情報を用いて、撮影画像に含まれる商品を認識する。

これにより、本変形例に係る棚割情報生成システム１は、上述した第３の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。

＜第５の実施の形態＞
次に、本発明の第５の実施の形態について、図面を参照して説明する。図１４は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

図１４に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０３と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。

棚割情報生成装置１０３は、取得部１１３と、生成部１２０と、第１の記憶部１３２と、認識部１４０と、第２の記憶部１６３を備えている。なお、第１の記憶部１３２と、第２の記憶部１６３とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３２および第２の記憶部１６３は、夫々、棚割情報生成装置１０３とは別個の記憶装置にて実現されるものであってもよい。

第２の記憶部１６３には、店舗に配置されている商品棚２０のサイズ、棚の数、棚の位置等、商品棚に関する情報の標準パターン（商品棚パターン）が格納されている。第２の記憶部１６３に格納されている商品棚パターンは、店舗を示す識別子（例えば、店舗番号等）に関連付けて格納されていてもよい。

取得部１１３は、撮像装置２００から送信された画像データを受け取る。そして、取得部１１３は、第２の記憶部１６３に格納された商品棚パターンを用いて、受信した画像データによって示される撮影画像に対する商品棚２０の段の位置を示す位置情報を取得する。なお、取得部１１３による、位置情報の取得の方法については、図面を代えて説明する。

取得部１１３は、取得した位置情報と、該位置情報を取得した撮影画像を示す画像情報とを生成部１２０に出力する。そして、生成部１２０は、上述した第２の実施の形態における生成部１２０と同様に、認識部１４０において認識された商品が位置情報によって示される位置に配置された状態を示す棚割情報を生成する。

（位置情報の取得の方法について）
（ａ）商品棚パターンから取得する方法
まず、取得部１１３が、撮影画像に含まれる商品棚２０の段の位置を、商品棚パターンから取得する方法について説明する。例えば、第２の記憶部１６３に、サイズや棚板が異なる複数の商品棚の夫々に関連する商品棚パターンが格納されているとする。そして、取得部１１３が撮影画像内の商品棚２０と、複数の商品棚パターンの夫々とのマッチングを行い、類似度が高い商品棚パターンを、撮影画像に含まれる商品棚に関する情報であると判定する。そして、取得部１１３は、判定された商品棚パターンから、段の位置を示す情報を位置情報として取得する。

（ｂ）商品棚パターンとユーザの入力操作とに基づいて取得する方法
次に、取得部１１３が、撮影画像に含まれる商品棚２０の段の位置を、商品棚パターンとユーザの入力操作とに基づいて取得する方法について説明する。

撮像装置２００の表示部２２０は、第２の実施の形態と同様に、撮影部２１０から画像データを受信し、画面に該画像データが示す画像を表示する。このとき、取得部１１３は、第２の記憶部１６３に格納された商品棚パターンによって示される商品棚の画像を示す画像データ（パターン画像データ）を、撮像装置２００に送信する。そして、表示部２２０は、パターン画像データを受信し、撮影画像上に、受信したパターン画像を重ねた画像を画面に表示させる。

このとき、取得部１１３が撮像装置２００に送信するパターン画像データに対応する商品棚パターンは、上述したマッチングの結果に基づいて判定されたものであってもよいし、ユーザからの指示に基づいたものであってもよい。例えば、ユーザが商品棚２０を撮影した際に、撮影場所（例えば、住所や店舗名）を入力部２３０に入力すると、入力内容（撮影場所を示す情報）が、棚割情報生成装置１０３に送信される構成であるとする。この場合、取得部１１３は、入力内容に基づいて、商品棚パターンを選択し、選択した商品棚パターンに関連するパターン画像データを、撮像装置２００に送信してもよい。このとき、取得部１１３が商品棚パターンを選択する方法は、特に限定されない。例えば、取得部１１３は、該店舗に配置された商品棚２０のうち、代表的な商品棚２０の商品棚パターンを選択してもよい。

また、取得部１１３は、商品棚パターンに関連するパターン画像を順次画面に表示させる指示を表示部２２０に送信してもよい。このとき、表示部２２０は、上記指示に基づいて、各商品棚パターンに対応するパターン画像を順次表示させる。そして、入力部２３０は、ユーザの選択指示を受け付け、ユーザによって選択されたパターン画像に対応する商品棚パターンを示す情報を棚割情報生成装置１０３に送信する。これにより、取得部１１３は、ユーザによって選択された商品棚パターンが撮影画像内に含まれる商品棚２０であると特定することができる。

図１５に、表示部２２０に表示される画面の一例を示す。図１５では、図５に示した撮影画像上に、網掛け部で示すパターン画像１５が重畳して表示されている例が示されている。なお、パターン画像１５の形状は一例であり、図１５に示すものに限定されるものではない。

また、表示部２２０の画面に表示されたパターン画像１５が示す段の位置が、商品棚２０Ａの段の位置を示していない場合、撮像装置２００は、ユーザからの変更指示を受け付けてもよい。

図１５に示すパターン画像１５の上から３段目の位置は、商品棚２０Ａの上から３段目の位置とは異なる位置に存在している。そのため、ユーザは、指などの入力媒体を用いて、段の位置を変更する入力操作を行うことができる。図１６は、ユーザによる入力操作が行われた後の、画面の例を示す図である。ユーザによる入力操作が行われると、図１６に示す通り、パターン画像１５の上から３段目の位置が、商品棚２０Ａの上から３段目の位置と一致する。このような入力操作が行われると、入力部２３０は、入力操作によって変更された段の位置を示す情報を、棚割情報生成装置１０３に送信する。このとき、入力部２３０は、変更された段の位置を示す情報だけでなく、表示部２２０に表示されたパターン画像１５の位置を示す情報を棚割情報生成装置１０３に送信してもよい。

また、入力部２３０が棚割情報生成装置１０３に上記情報を送信するタイミングは、入力操作が完了した直後であってもよいし、最後の入力操作を検知した後に所定期間後であってもよい。また、ユーザによって入力操作が完了した旨の指示が入力された場合、入力部２３０は、該指示の入力の後に上記情報を送信してもよい。

（棚割情報生成装置１０３の処理の流れ）
次に、棚割情報生成装置１０３における処理の流れについて説明する。図１７は、本実施の形態に係る棚割情報生成システム１における棚割情報生成装置１０３の処理の流れの一例を示すフローチャートである。

撮像装置２００の撮影部２１０が商品棚２０を撮影し、撮影した撮影画像を示す画像データを棚割情報生成装置１０３に送信すると、棚割情報生成装置１０３は、該画像データを受信する（ステップＳ１７１）。受信した画像データは、認識部１４０および取得部１１３に入力される。

そして、取得部１１３は、第２の記憶部１６３に格納された商品棚パターンを用いて、受信した画像データによって示される撮影画像に対する商品棚２０の段の位置を示す位置情報を取得する（ステップＳ１７２）。このとき取得部１１３は、商品棚パターンによって示される商品棚の段の位置、および、該段の位置に対して、変更を加えられた位置の少なくとも何れかを含む位置情報を取得する。

認識部１４０は、ステップＳ１７１で受信した画像データを用いて、該画像データによって示される画像内に含まれる商品を認識する（ステップＳ１７３）。なお、ステップＳ１７３は、ステップＳ１７２の前に行われてもよいし、ステップＳ１７２と同時に行われてもよい。

その後、生成部１２０は、ステップＳ１７２で、取得部１１３が取得した位置情報と、ステップＳ１７３で認識部１４０が商品の認識を行った結果である認識結果とに基づいて、棚割情報を生成する（ステップＳ１７４）。以上により、棚割情報生成装置１０３の処理を終了する。

（効果）
以上のように、本実施の形態では、取得部１１３が、予め第２の記憶部１６３に格納された商品棚パターンによって示される商品棚の段の位置、および、該段の位置に対して、変更を加えられた位置の少なくとも何れかを含む位置情報を取得する。このような構成であっても、本実施の形態に係る棚割情報生成システム１は、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。

（変形例１）
本実施の形態に係る棚割情報生成システム１の変形例１について説明する。本変形例における棚割情報生成装置１０３の認識部１４０は、上述した第２の実施の形態の変形例における棚割情報生成システム１と同様に、棚割情報生成装置１０３とは別個の装置で実現されてもよい。

これにより、本実施の形態の変形例に係る棚割情報生成システム１は、上述した第２の実施の形態の変形例に係る棚割情報生成システム１と同様に棚割情報生成装置１０３に掛かる処理負荷を低減することができる。

（変形例２）
本実施の形態に係る棚割情報生成システム１の変形例２について説明する。本変形例における棚割情報生成装置１０３の取得部１１３は、取得した位置情報と画像情報とを、生成部１２０だけでなく、認識部１４０にも出力してもよい。そして、認識部１４０は、上述した第３の実施の形態における認識部１４１と同様に、取得部１１３から受信した位置情報を用いて、撮影画像に含まれる商品を認識する。

これにより、本変形例に係る棚割情報生成システム１は、上述した第３の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。

＜第６の実施の形態＞
次に、本発明の第６の実施の形態について、図面を参照して説明する。図１８は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

図１８に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０４と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。

棚割情報生成装置１０４は、取得部１１４と、生成部１２０と、第１の記憶部１３２と、認識部１４０と、第２の記憶部１７４を備えている。なお、第１の記憶部１３２と、第２の記憶部１７４とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３２および第２の記憶部１７４は、夫々、棚割情報生成装置１０４とは別個の記憶装置にて実現されるものであってもよい。

第２の記憶部１７４には、商品棚２０の段数が格納されている。この段数は、商品棚ごとに、商品棚を特定する情報（例えば、識別子）に関連付けて格納されていてもよい。

取得部１１４は、撮像装置２００から送信された画像データを受け取る。また、撮像装置２００から、位置情報を取得する。ここで、取得部１１４の動作について図面を参照して説明する。図１９は、本実施の形態において、表示部２２０に表示される画面の一例を示す図である。

図１９の左側に示すように、ユーザが指などの入力媒体を用いて、所定の数分（図１９においては２つ）の、商品棚２０の段の位置を指定すると、入力部２３０は、この入力された位置を示す情報（入力位置情報と呼ぶ）を、棚割情報生成装置１０４に送信する。取得部１１４は、商品棚２０の段の数が、第２の記憶部１７４に格納された段数となるように、入力されていない段の位置を、入力位置情報が示す位置に基づいて算出する。例えば、入力された２つの段の位置から、全ての段の位置が等間隔となるように、残りの段の位置を算出する。そして、取得部１１４は、受信した入力位置情報と、算出した位置を示す算出位置情報とからなる情報を、指定された位置を示す位置情報として取得する。また、取得部１１４は、算出位置情報を画面に表示する表示指示を撮像装置２００に送信してもよい。これにより、図１９の右側に示すように、算出された位置に対応する画面上の位置に、段の位置を示す情報（段の位置を示す線分）が表示される。

そして、取得部１１４は、取得した位置情報と、該位置情報を取得した撮影画像を示す画像情報とを生成部１２０に出力する。そして、生成部１２０は、上述した第２の実施の形態における生成部１２０と同様に、認識部１４０において認識された商品が位置情報によって示される位置に配置された状態を示す棚割情報を生成する。

また、本実施の形態における撮像装置２００は、画面に表示された、算出された位置に対して、ユーザによる修正を受け付ける構成であってもよい。そして、ユーザが、指などの入力媒体を用いて、段の位置を変更する入力操作を行うと、入力部２３０は、入力操作によって変更された段の位置を示す情報を、棚割情報生成装置１０４に送信する。そして、取得部１１４は、変更前の位置を示す情報に代えて、変更を加えられた位置を示す情報を位置情報に含め、生成部１２０に送信する。

以上のように本実施の形態に係る棚割情報生成システム１は、入力操作に基づいて、取得部１１４が段の位置を算出する。これにより、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、ユーザが全ての段の位置を指定しなくても、本実施の形態に係る棚割情報生成システム１は、算出した段の位置を用いて、棚割情報を生成するため、ユーザに係る負荷を軽減することができる。

＜第７の実施の形態＞
次に、本発明の第７の実施の形態について、図面を参照して説明する。図２０は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

図２０に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０５と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。

棚割情報生成装置１０５は、取得部１１５と、生成部１２０と、記憶部１３０と、認識部１４５とを備えている。また、取得部１１５は、領域取得部１１６と、推定部１１７とを備えている。

なお、本実施の形態では、ユーザによる入力操作は、画面上に表示された商品棚２０の領域を示す操作であるとする。したがって、ユーザの入力操作が行われた位置に対応する撮影画像上の位置（入力位置）は、撮影画像上における商品棚２０の領域の位置となる。この領域の位置は、例えば、商品棚２０が図５に示すような矩形の場合、商品棚２０の外形を示す４辺で囲まれることによって示される位置であってもよいし、上記矩形の４隅を示す座標であってもよい。

取得部１１５の領域取得部１１６は、ユーザによって指定された位置を示す領域情報と画像情報とを取得する。そして、取得部１１５は、取得した領域情報と画像情報とを、認識部１４５および推定部１１７に出力する。

なお、取得部１１５の領域取得部１１６は、撮像装置２００から撮影画像を示す画像データを受信してもよい。そして、領域取得部１１６は、商品棚２０の領域の位置を、上述した第４の実施の形態における棚割情報生成装置１０２と同様に、受信した画像データによって示される撮影画像から取得してもよい。また、領域取得部１１６は、商品棚２０の領域の位置を、上述した第５の実施の形態における棚割情報生成装置１０３と同様に、商品棚パターンから取得してもよい。

認識部１４５は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。また、認識部１４５は、領域取得部１１６から領域情報と画像情報とを受信する。認識部１４５は、画像データと、受信した画像情報とが、同じ撮影画像を示す場合、該画像情報と共に受信した領域情報を用いて、記憶部１３０を参照し、受信した画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４５は、商品の認識を行う際、領域情報によって示される範囲内の商品を認識する。これにより、認識部１４５は、上述した認識部１４１と同様に、認識処理を行う対象となる商品の量を減らすことができるため、認識処理の処理量および処理時間を減らすことができる。また、認識部１４５は、棚割情報を生成する対象の商品棚２０以外の商品棚に陳列された商品の認識を行わないため、商品棚２０に陳列されていない商品を、商品棚２０に陳列された商品であると認識することを防ぐことができる。

その後、認識部１４５は、認識結果を生成部１２０および推定部１１７に出力する。

取得部１１５の推定部１１７は、領域取得部１１６から領域情報と画像情報とを受け取る。また、推定部１１７は、認識部１４５から認識結果を受け取る。推定部１１７は、受け取った画像情報が、認識部１４５が認識を行った対象の画像に対応する画像を示す画像情報である場合、上記領域情報と、認識結果とに基づいて、商品棚２０の段の位置を推定する。

認識部１４５が出力する認識結果は、例えば、図８に示す認識結果である。図８に示すように、認識結果には、撮影画像を示す情報と、認識した商品を示す情報と、認識した商品の撮影画像上の位置を示す情報とが含まれる。推定部１１７は、この認識した商品の撮影画像上の位置を示す情報を用いて、上記領域情報によって示される範囲内において、商品棚２０の棚の位置を推定する。例えば、認識した商品の撮影画像上の位置を示す情報が、図８に示す通り、商品のボトムセンターの座標である場合、推定部１１７は、例えば、ハフ変換によって、直線を算出する。商品は、棚板の上に陳列されている。よって、算出された直線は、撮影画像上における棚板の部分を含む直線であると推定される。したがって、推定部１１７は、算出した直線と、上記領域情報とに基づいて、棚板の位置を推定する。

そして、推定部１１７は、推定した棚板の位置（段の位置）を示す情報を、位置情報として、受信した画像情報と共に、生成部１２０に出力する。

生成部１２０は、推定部１１７から段の位置を示す位置情報と画像情報とを受信する。また、生成部１２０は、認識部１４５から認識結果を受信する。生成部１２０は、上述した各実施の形態に係る生成部１２０と同様に、位置情報と認識結果とを用いて、認識部１４５において認識された商品が位置情報によって示される位置に配置された状態を示す棚割情報を生成する。

（棚割情報生成装置１０５の処理の流れ）
次に、棚割情報生成装置１０５における処理の流れについて説明する。図２１は、本実施の形態に係る棚割情報生成システム１における棚割情報生成装置１０５の処理の流れの一例を示すフローチャートである。

撮像装置２００の撮影部２１０が商品棚２０を撮影し、撮影した撮影画像を示す画像データを棚割情報生成装置１０５に送信すると、棚割情報生成装置１０５は、該画像データを受信する（ステップＳ２１１）。受信した画像データは、認識部１４５および取得部１１５に入力される。

取得部１１５の領域取得部１１６は、受信した画像データによって示される撮影画像に対する商品棚２０の領域の位置を示す情報を取得する（ステップＳ２１２）。取得部１１５の領域取得部１１６は取得した、領域の位置を示す情報を、認識部１４５に出力する。

認識部１４５は、ステップＳ２１１で受信した画像データと、ステップＳ２１２にて領域取得部１１６が取得した、領域の位置を示す情報とに基づいて、該画像データによって示される画像内に含まれる商品を認識する（ステップＳ２１３）。認識部１４５は、認識結果を生成部１２０および取得部１１５の推定部１１７に出力する。

取得部１１５の推定部１１７は、認識結果に基づいて、商品棚２０の段の位置を推定する。取得部１１５は推定した段の位置を示す情報を、生成部１２０に出力する（ステップＳ２１４）。

その後、生成部１２０は、ステップＳ２１４で、取得部１１５の推定部１１７が推定した、段の位置を示す情報と、ステップＳ２１３で認識部１４５が商品の認識を行った結果である認識結果とに基づいて、棚割情報を生成する（ステップＳ２１５）。以上により、棚割情報生成装置１０５の処理を終了する。

（効果）
以上のように、本実施の形態に係る棚割情報生成システム１によれば、領域取得部１１６が棚割情報を生成する対象となる商品棚の領域を取得し、認識部１４５が上記領域に基づいて、商品の認識を行う。そして、推定部１１７が、認識結果に基づいて、商品棚２０の棚板の位置を推定する。その後、生成部１２０は、認識された商品が推定された棚板の位置に配置された状態を示す棚割情報を生成する。

このように、指定された位置が、商品棚２０の領域を示す場合であっても、推定部１１７が商品棚２０の棚板の位置を、認識結果を用いて推定するため、上述した各実施の形態に係る棚割情報生成システム１と同様に、高精度な棚割情報を生成することができる。

＜第８の実施の形態＞
本発明の第８の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する棚割情報生成システムについて説明する。まず、本実施の形態に係る棚割情報生成システム２の基本構成について説明する。図２２は、本実施の形態に係る棚割情報生成システム２の基本構成の一例を示すブロック図である。この図に示す棚割情報生成システム２は、上述した棚割情報生成システム１の基本の構成であるとも言える。図２２に示す通り、本実施の形態に係る棚割情報生成システム２は、取得部２１と、生成部２２と、撮影部２３とを備えている。取得部２１と、生成部２２と、撮影部２３とは、互いに通信可能に接続している。取得部２１と、生成部２２と、撮影部２３との接続方法は、有線接続であってもよいし、無線接続であってもよい。

撮影部２３は、商品が陳列された商品棚を撮影する。撮影部２３は、上述した第２の実施の形態に係る撮像装置２００の撮影部２１０に相当する。撮影部２３は、撮影した撮影画像を示す画像データを、取得部２１に出力する。

取得部２１は、上述した第１の実施の形態に係る棚割情報生成装置１０の取得部１１に相当する。取得部２１は、画像に対して、指定された位置を示す位置情報を取得する。

生成部２２は、上述した第１の実施の形態に係る棚割情報生成装置１０の生成部１２に相当する。生成部２２は、画像から認識された商品が指定された位置に配置された状態を示す棚割情報を、商品の認識結果と、指定された位置を示す位置情報とに基づいて生成する。

次に、図２２の棚割情報生成システム２を基本とする棚割情報生成システム３について、図２３を参照して説明する。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。図２３に示す通り、本実施の形態に係る棚割情報生成システム３は、棚割情報生成装置１０６と、撮像装置２０６と、を備えている。棚割情報生成装置１０６は、生成部１２０と、記憶部１３０と、認識部１４０とを備えている。また、撮像装置２０６は、撮影部２１０と、表示部２２０と、取得部２４０とを備えている。なお、認識部１４０は、上述した第２の実施の形態の変形例と同様に、棚割情報生成装置１０６とは別個の装置で実現されてもよい。

取得部２４０は、上述した第２の実施の形態に係る入力部２３０の機能を含む。また、取得部２４０は、上述した、取得部１１０、取得部１１３、取得部１１４または取得部１１５の少なくとも何れかの機能を含む。取得部２４０は、ユーザの入力操作に基づく入力位置を示す情報を位置情報として取得する。取得部２４０は、そして、取得した位置情報を棚割情報生成装置１０６に送信する。

棚割情報生成装置１０６は、撮像装置２０６から送信された位置情報に基づいて、上述した各実施の形態に係る棚割情報生成装置と同様に、棚割情報を生成する。

このように、棚割情報生成システム３において、位置情報を取得する機能は、棚割情報生成装置１０６ではなく撮像装置２０６に備えられてもよい。この機能は、例えば、撮像装置２０６で動作可能なアプリケーションを実行することによって実現されてもよい。このような構成であっても、本実施の形態に係る棚割情報生成システム３は、上述した各実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。

また、上述した各実施の形態において、棚割情報生成システムに含まれる撮像装置と、棚割情報生成装置とは、別々の装置で実現することを例に説明を行ったが、撮像装置と棚割情報生成装置とは一体形成されていてもよい。また、上述した棚割情報生成システムは、撮影機能（撮影部に相当）と、位置情報を取得する機能（取得部に相当）と、棚割情報を生成する機能（生成部に相当）とを含む装置と、認識する機能（認識部に相当）を含む他の装置とを備える構成であってもよい。

＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）を実現可能なハードウェアの構成例について説明する。上述した棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。

図２４は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。

図２４に示した情報処理装置（コンピュータ）９０のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１、通信インタフェース（Ｉ／Ｆ）９２、入出力ユーザインタフェース９３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９５、記憶装置９７、及びコンピュータ読み取り可能な記憶媒体９９のドライブ装置９８を備え、これらがバス９６を介して接続された構成を有する。入出力ユーザインタフェース９３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース９２は、上述した各実施の形態に係る装置（図１、４、１１、１２、１４、１８、２０および２３）が、外部装置と、通信ネットワーク８０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ９１は、各実施の形態に係る棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）を実現する情報処理装置９０について、全体の動作を司る。

上述した各実施の形態を例に説明した本発明は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図２４に示す情報処理装置９０に対して供給した後、そのプログラムを、ＣＰＵ９１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図１０、１３、１７および２１）に記載した各種処理や、或いは、図１、４、１１、１２、１４、１８、２０および２３に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。

また、情報処理装置９０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（９５）またはハードディスクドライブ等の不揮発性の記憶装置（９７）に格納されてもよい。即ち、記憶装置９７において、プログラム群９７Ａは、例えば、上述した各実施の形態における棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報９７Ｂは、例えば、上述した各実施の形態における撮影画像、商品を認識するための情報、認識結果、テンプレート、商品棚パターン等である。ただし、情報処理装置９０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

また、前記の場合において、当該装置内へのプログラムの供給方法は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（９９）を介して当該装置内にインストールする方法や、インターネット等の通信回線（８０）を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード（プログラム群９７Ａ）或いは係るコードが格納された記憶媒体（９９）によって構成されると捉えることができる。

上述した各実施形態では、ブロック図に示した各ブロックに示す機能を、図２４に示すＣＰＵ９５が実行する一例として、ソフトウェアプログラムによって実現する場合について説明した。しかしながら、ブロック図に示した各ブロックに示す機能は、一部または全部を、ハードウェアの回路として実現してもよい。

なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

１、２、３ 棚割情報生成システム
１０ 棚割情報生成装置
１１ 取得部
１２ 生成部
２１ 取得部
２２ 生成部
２３ 撮影部
１００〜１０６ 棚割情報生成装置
１１０〜１１５ 取得部
１１６ 領域取得部
１１７ 推定部
１２０ 生成部
１３０ 記憶部
１３２ 第１の記憶部
１４０、１４１、１４５ 認識部
１５２、１６３、１７４ 第２の記憶部
２００、２０２、２０６ 撮像装置
２１０ 撮影部
２２０ 表示部
２３０ 入力部
２４０ 取得部

Claims (16)

1. 商品棚を含む画像に、前記商品棚の棚板の位置を示す画像が重畳された画像に対して、指定された位置を示す位置情報を取得する取得手段と、
   前記商品棚を含む画像から認識された商品が前記指定された位置に配置された状態を示す棚割情報を、前記商品の認識結果と前記位置情報とに基づいて生成する生成手段と、
   を備え、
   前記指定された位置には、前記棚割情報を生成する対象となる商品棚の棚板の位置であって、前記重畳された画像に示された棚板の位置に変更を加えられた位置が含まれる、
   棚割情報生成装置。
2. 前記指定された位置は、前記棚割情報を生成する対象となる商品棚を含む前記重畳された画像上において、入力媒体を用いて、前記商品棚の棚板の位置をなぞる、または、少なくとも前記棚板の両端を含む位置を指定することによって特定される位置である、請求項１に記載の棚割情報生成装置。
3. 前記商品棚の棚板の位置を示す画像に含まれる当該棚板の位置は、予め記憶された商品棚を示す情報に含まれる該商品棚の棚板の位置である、
   請求項１または２に記載の棚割情報生成装置。
4. 前記取得手段は、所定の数分の前記商品棚の棚板の位置が入力されたことを示す情報を取得した場合、予め指定された、前記棚割情報を生成する対象となる商品棚の段数分の前記棚板の位置を、前記入力された棚板の位置に基づいて算出し、
   前記商品棚の棚板の位置を示す画像に含まれる当該棚板の位置は、前記入力された棚板の位置および前記算出した位置である、請求項１または２に記載の棚割情報生成装置。
5. 前記認識された商品は、前記指定された位置に基づいて認識された商品である、請求項１から４の何れか１項に記載の棚割情報生成装置。
6. 前記商品棚を含む画像から商品を認識する認識手段を更に備える、請求項１から５の何れか１項に記載の棚割情報生成装置。
7. 商品が陳列された商品棚を撮影する撮影手段と、
   前記撮影手段によって撮影された画像に、前記商品棚の棚板の位置を示す画像が重畳された画像に対して、指定された位置を示す位置情報を取得する取得手段と、
   前記撮影された画像から認識された商品が前記指定された位置に配置された状態を示す棚割情報を、前記商品の認識結果と前記位置情報とに基づいて生成する生成手段と、
   を備え、
   前記指定された位置には、前記棚割情報を生成する対象となる商品棚の棚板の位置であって、前記重畳された画像に示された棚板の位置に変更を加えられた位置が含まれる、
   棚割情報生成システム。
8. 前記指定された位置は、前記棚割情報を生成する対象となる商品棚を含む前記重畳された画像上において、入力媒体を用いて、前記商品棚の棚板の位置をなぞる、または、少なくとも前記棚板の両端を含む位置を指定することによって特定される位置である、請求項７に記載の棚割情報生成システム。
9. 前記商品棚の棚板の位置を示す画像に含まれる当該棚板の位置は、予め記憶された商品棚を示す情報に含まれる該商品棚の棚板の位置である、
   請求項７または８に記載の棚割情報生成システム。
10. 前記取得手段は、所定の数分の前記商品棚の棚板の位置が入力されたことを示す情報を取得した場合、予め指定された、前記棚割情報を生成する対象となる商品棚の段数分の前記棚板の位置を、前記入力された棚板の位置に基づいて算出し、
    前記商品棚の棚板の位置を示す画像に含まれる当該棚板の位置は、前記入力された棚板の位置および前記算出した位置である、請求項７または８に記載の棚割情報生成システム。
11. 前記認識された商品は、前記指定された位置に基づいて認識された商品である、請求項７から１０の何れか１項に記載の棚割情報生成システム。
12. 撮影装置と、棚割情報生成装置とを備え、
    前記撮影装置は、前記撮影手段と、前記取得手段とを含み、
    前記棚割情報生成装置は、前記生成手段を含む、請求項７から１１の何れか１項に記載の棚割情報生成システム。
13. 撮影装置と、棚割情報生成装置とを備え、
    前記撮影装置は、前記撮影手段を含み、
    前記棚割情報生成装置は、前記取得手段と、前記生成手段とを含む、請求項７から１１の何れか１項に記載の棚割情報生成システム。
14. 前記商品棚を含む画像から商品を認識する認識手段を更に備える、請求項７から１３の何れか１項に記載の棚割情報生成システム。
15. 商品棚を含む画像に対し、前記商品棚の棚板の位置を示す画像が重畳され、当該重畳された画像に対して、指定された位置を示す位置情報を取得し、
    前記商品棚を含む画像から認識された商品が前記指定された位置に配置された状態を示す棚割情報を、前記商品の認識結果と前記位置情報とに基づいて生成し、
    前記指定された位置には、前記棚割情報を生成する対象となる商品棚の棚板の位置であって、前記重畳された画像に示された棚板の位置に変更を加えられた位置が含まれる、
    棚割情報生成方法。
16. 商品棚を含む画像に、前記商品棚の棚板の位置を示す画像が重畳された画像に対して、指定された位置を示す位置情報を取得する処理と、
    前記商品棚を含む画像から認識された商品が前記指定された位置に配置された状態を示す棚割情報を、前記商品の認識結果と前記位置情報とに基づいて生成する処理と、をコンピュータに実行させ、
    前記指定された位置には、前記棚割情報を生成する対象となる商品棚の棚板の位置であって、前記重畳された画像に示された棚板の位置に変更を加えられた位置が含まれる、
    プログラム。