JP6679847B2 - 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム - Google Patents

Description

本発明は、商品陳列状態を表す棚割情報を生成する棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラムに関する。

コンビニエンスストアやスーパーマーケットなどの小売店では、商品の陳列位置が売上に大きく影響することから、店頭の商品陳列状態を正確に把握することが望まれている。

例えば、特許文献１には、売場写真から売場に陳列されている各商品を識別し、識別結果に基づいて、予め作成された什器モデルの対応する位置に該当する商品の商品マスタを配置する技術が開示されている。

また、構図テンプレートをモニタ表示装置に表示するカメラが特許文献２に記載されている。

特開２００９−１８７４８２号公報 特開２００７−１６６２５０号公報

上述した特許文献１に記載の技術では、写真画像の棚のサイズが、予め作成した什器モデルの棚のサイズと同じになるように写真画像を調整した後、個々の商品を識別し、什器モデルの対応する位置に商品マスタを表示している。

しかしながら、撮影者ごとに撮影品質が異なると、商品の識別精度が低くなる。そのため、特許文献１の技術では、商品陳列状態を正確に再現できない場合がある。

また、特許文献２に記載の技術は、撮影を行う際のテンプレートであり、商品陳列状態の再現の際に用いられるものではない。

本発明は、上記問題に鑑みてなされたものであり、その目的は、精度がより安定化した、商品陳列状態を表す棚割情報を生成することにある。

本発明の一態様に係る棚割情報生成装置は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する制御手段と、前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、を備える。

また、本発明の一態様に係る棚割情報生成システムは表示画面を有する表示手段と、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、商品が陳列された商品棚を撮影する撮影手段と、前記表示手段に表示された前記ガイドマークを参照して前記撮影手段によって撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、を備える。

また、本発明の一態様に係る棚割情報生成方法は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御し、前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する。

また、本発明の一態様に係る撮像装置は、表示画面を有する表示手段と、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、前記表示手段に表示された前記ガイドマークを参照して、商品が陳列された商品棚を撮影する撮影手段と、を備え、前記ガイドマークは、前記撮影手段によって撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成される。

また、本発明の一態様に係る撮像装置は、表示画面を有する表示手段と、商品が陳列された商品棚を撮影する撮影手段と、を備え、前記表示手段は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを表示し、前記ガイドマークは、前記撮影手段によって前記ガイドマークを参照して撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成される。

なお、上記各装置、システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。

本発明によれば、精度がより安定化した棚割情報を生成することができる。

本発明の第１の実施の形態に係る棚割情報生成装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施の形態に係る棚割情報生成システムの全体構成の一例を示す図である。 本発明の第２の実施の形態に係る棚割情報生成システムの利用シーンを説明するための図である。 本発明の第２の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 認識部が出力する認識結果の一例を示す図である。 本発明の第２の実施の形態に係る棚割情報生成システムにおける処理の流れの一例を示すフローチャートである。 撮像装置の表示部に表示される画像の一例を示す図である。 生成部が生成した棚割情報であって、画面に表示可能な画像の形式で生成された棚割情報の一例を示す図である。 撮像装置の表示部に表示される画像の他の例を示す図である。 本発明の第３の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。 本発明の第４の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。 本発明の第５の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。 本発明の第５の実施の形態に係る棚割情報生成システムにおける処理の流れの一例を示すフローチャートである。 本発明の第６の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。 生成部が生成した棚割情報の一例を示す図である。 本発明の第７の実施の形態に係る棚割情報生成システムの機能構成を示す機能ブロック図である。 撮像装置の表示部に表示される画像の一例を示す図である。 撮像装置の表示部に表示される画像の他の例を示す図である。 本発明の第９の実施の形態に係る棚割情報生成システムの基本構成の一例を示すブロック図である。 本発明の第９の実施の形態に係る棚割情報生成システムの機能構成の一例を示す機能ブロック図である。 本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。

＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図１は、本実施の形態に係る棚割情報生成装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る棚割情報生成装置１０は、制御部１１と、生成部１２とを備えている。

制御部１１は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、商品棚を撮影する撮像装置の画面に表示させるように制御する。例えば、制御部１１は、上記ガイドマークの位置および大きさを、表示される画面のサイズに応じた位置および大きさに変換し、上記画面の上記変換した位置に、変換した大きさのガイドマークを表示させる。

生成部１２は、ガイドマークを参照して撮影された撮影画像から認識された商品が商品棚に配置された状態（商品陳列状態とも呼ぶ）を示す棚割情報を生成する。このとき、生成部１２は、撮像装置の画面上のガイドマークの位置に対応する、撮影画像上の位置を示す位置情報と、商品の認識結果とに基づいて、上記棚割情報を生成する。撮影画像上の位置を示す位置情報は、例えば、該撮影画像に含まれる商品棚の棚板の位置を示す情報や該商品棚の領域を示す情報である。商品の認識結果とは、撮影画像から認識された商品を示す情報である。

このように、本実施の形態に係る棚割情報生成装置１０は、撮影位置の決定に参照されるガイドマークを、商品棚を撮影する撮像装置の画面に表示させる。これにより、撮影者は、画面に表示されたガイドマークを参照し、該ガイドマークを基準として、商品棚を撮影することができる。これにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質を均一化することができる。

また、生成部１２は、このように撮影された撮影画像から認識された商品が、商品棚に配置された状態を示す棚割情報を、画面上のガイドマークの位置に対応する撮影画像上の位置を示す位置情報に基づいて生成する。この認識された商品は、属人性が低減され、品質が均一化された撮影画像から認識された商品である。また、ガイドマークは商品棚の位置を表すため、画面上のガイドマークの位置に対応する撮影画像上の位置に、商品棚が含まれる。したがって、生成部１２が生成する棚割情報によって示される商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。また、撮影画像の品質が均一化されることにより、撮影画像から認識された商品の精度も均一化される。したがって、棚割情報生成装置１０は、精度がより安定化した棚割情報を生成することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本発明の第２の実施の形態について、図面を参照して説明する。図２は、本実施の形態に係る棚割情報生成システム１の全体構成の一例を示す図である。図２に示す棚割情報生成システム１は、棚割情報生成装置１００と、撮像装置２００とを含む。棚割情報生成装置１００は、上述した棚割情報生成装置１０の構成を含む。また、図３は、本実施の形態に係る棚割情報生成システム１の利用シーンを説明するための図である。図４は、本実施の形態に係る棚割情報生成システム１の機能構成の一例を示す機能ブロック図である。なお、図４は、本発明に特有な構成について示したものであり、図４に示す棚割情報生成システム１の各装置が図４に示されていない部材を有していてもよいことは言うまでもない。

図３に示す通り、本実施の形態に係る棚割情報生成システム１は、撮影者が、店舗内に設置されている商品棚２０に陳列されている商品を、撮像装置２００を用いて撮影し、撮影した撮影画像から棚割情報を生成する場合に用いられる。本実施の形態に係る棚割情報生成システム１では、棚割情報生成装置１００が、撮像装置２００に、撮像装置２００によって商品棚２０を撮影する際の撮影位置を決定するために用いられる目印（以下、ガイドマークと呼ぶ）を、ネットワーク３００を介して送信する。撮影者がガイドマークを基準として、商品棚２０を撮影すると、撮影された撮影画像を示すデータ（画像データ）が撮像装置２００からネットワーク３００を介して棚割情報生成装置１００に送信される。棚割情報生成装置１００は、店舗内に設けられるものであってもよいし、例えば、データセンタのような店舗とは別の場所に設けられるものであってもよい。棚割情報生成装置１００は、撮像装置２００からネットワーク３００を介して送信された画像データを受信し、受信した画像データを用いて、認識処理を行い、棚割情報を生成する。

撮像装置２００と棚割情報生成装置１００との間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。撮像装置２００と、棚割情報生成装置１００との間の通信は、撮像装置２００の構成等に応じで適宜採用することが好ましい。このように、棚割情報生成装置１００と撮像装置２００との間の通信方法は、さまざまな方法が考えられるが、本実施の形態の本質にかかわらないため、詳細な説明は省略する。

なお、商品棚２０を撮影する撮像装置２００は、本実施の形態では、携帯電話端末、スマートフォン、デジタルカメラ、タブレット等、撮像機能と表示機能とを備えた端末であるとする。

本実施の形態において、商品棚２０は、多段式の棚であり、上から順に１段目、２段目、・・・、とする。また、以降では、単に棚と呼ぶ場合、商品棚２０の全体をさし、商品が陳列される部分（商品棚２０の内部空間）を棚段、または、単に段と呼ぶ。また、本実施の形態では、棚板とは商品が乗せられる板であり、商品棚２０内に設けられた板および商品棚２０の最下段の底板を含む。

（撮像装置２００）
撮像装置２００は、図４に示す通り、撮影部２１０と、表示部２２０と、入力部２３０と、制御部２４０とを備えている。撮影部２１０は、静止画像または動画像を撮影する。撮影部２１０は、例えば、レンズ（不図示）と撮像素子（不図示）とによって実現される。撮影部２１０は、撮影した画像が静止画像の場合、該静止画像を示す画像データを制御部２４０に出力する。また、撮影した画像が動画像の場合、撮影部２１０は、該動画像から逐次得られる画像データを、制御部２４０に出力する。以降、撮影部２１０が撮影し、制御部２４０に出力した静止画像の画像データまたは動画像の画像データを、単に画像データとも呼ぶ。

表示部２２０は、表示画面を有し、制御部２４０からの指示に基づき、撮影部２１０が撮影した撮影画像を表示画面に表示する。表示部２２０は、例えば、液晶ディスプレイによって実現される。また、表示部２２０は、いわゆるファインダ画像を表示する。これにより、表示部２２０は、ファインダとして機能する。なお、表示部２２０にファインダ画像を表示する機能は一般的であるため、詳細な説明を省略する。

入力部２３０は、ユーザ（例えば、撮影者）からの入力操作を検出する。本実施の形態では、入力部２３０と、表示部２２０とは、タッチパネルとして一体に形成されているとする。また、入力部２３０は、撮像装置２００に備えられた入力装置（例えば、電源ボタン等）を含んでもよい。入力部２３０は、ユーザによって、タッチパネルの画面（表示部２２０）上で入力操作が行われると、ユーザの入力操作が行われた位置（入力位置）を検出する。そして、入力部２３０は、検出した入力位置を示す入力位置情報を、制御部２４０に出力する。また、入力部２３０は、ユーザによって上記入力装置に対する入力操作が行われると、その入力操作の内容（入力内容）を検出する。入力部２３０は、検出した入力内容を制御部２４０に出力する。

制御部２４０は、撮像装置２００内の各部を制御する。制御部２４０は、撮影部２１０から画像データを受け取り、該画像データを、表示部２２０に撮影画像として表示させる表示制御を行う。これにより表示部２２０は、撮影画像を表示する。また、制御部２４０は、この画像データを、棚割情報生成装置１００に送信する。また、制御部２４０は、表示部２２０に、ファインダ画像を表示するよう制御する。

また、制御部２４０は、棚割情報生成装置１００から受信した表示指示に基づいた画像を、表示部２２０に表示させる。なお、この処理については、フローチャートを用いて後述する。

また、制御部２４０は、入力部２３０から送信された、入力位置情報を受信する。そして、制御部２４０は、表示部２２０に表示された画像に応じて、入力位置情報によって示される入力位置における入力操作に関連する処理を実行する。例えば、表示部２２０に商品棚２０を示す情報（例えば、商品棚の種別や型番等）や、店舗を選択する画面が表示されている場合、制御部２４０は、入力位置に表示されている選択項目が選択されたことを検出する。そして、制御部２４０は、選択項目によって示される情報（選択情報）を、棚割情報生成装置１００に送信する。選択情報には、例えば、棚割情報を生成する対象となる商品棚２０を示す情報や、該商品棚２０が配置された店舗を示す情報等が含まれる。

また、例えば、表示部２２０に撮影を指示するオブジェクト（例えば、シャッターを示すボタン）が表示されており、入力位置がこのオブジェクトの位置であった場合、制御部２４０は、オブジェクトが示す機能である撮影を実行するよう、撮影部２１０に指示する。また、制御部２４０は、入力部２３０が検出した入力内容に従った処理を実行する。

（棚割情報生成装置１００）
次に、棚割情報生成装置１００について説明する。棚割情報生成装置１００は、図４に示す通り、制御部１１０と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１５０と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１５０とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１５０は、夫々、棚割情報生成装置１００とは別個の記憶装置にて実現されるものであってもよい。

第２の記憶部１５０には、ガイドマークに関する情報が格納されている。具体的には、第２の記憶部１５０には、例えば、ガイドマークの形状やガイドマークの位置などの情報が、ガイドマークによって位置が示される商品棚を示す情報に関連付けられて格納されている。上記商品棚を示す情報とは、例えば、商品棚を示す識別子等である。また、ガイドマークに関する情報は、店舗を示す店舗を示す識別子（例えば、店舗番号等）に関連付けて格納されていてもよい。

ガイドマークに関する情報は、ガイドマークを示す画像であってもよい。また、ガイドマークに関する情報のうち、ガイドマークの位置は、例えば、該ガイドマークを表示する画面の大きさや撮影画像の大きさに応じた相対的な座標値で格納されていてもよい。また、ガイドマークに関する情報には、所定のメッセージが含まれていてもよい。

本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。以下、ガイドマークに関する情報をガイドマーク情報とも呼ぶ。

制御部１１０は、商品棚を撮影する撮像装置２００に、第２の記憶部１５０に格納されたガイドマーク情報を送信する。このとき、制御部１１０は、撮像装置２００から、棚割情報を生成する対象となる商品棚２０に関する情報（例えば、上述した選択情報）を受信した場合、該選択情報に従って、撮像装置２００に送信するガイドマーク情報を、第２の記憶部１５０から選択し、選択したガイドマーク情報を送信する。具体的には、制御部１１０は、選択情報によって指定された商品棚２０および／または店舗と一致する商品棚２０および／または店舗を示す情報に関連付けられたガイドマーク情報を、第２の記憶部１５０から取得する。そして、制御部１１０は、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２００に送信する。また、制御部１１０は、生成部１２０にも上記ガイドマーク情報を出力する。

なお、制御部１１０が上記ガイドマーク情報および表示指示を撮像装置２００に送信するタイミングは、例えば、撮像装置２００と通信可能になった時点であってもよい。また、上記タイミングは、撮像装置２００が表示部２２０にファインダ画像を表示している旨の通知を、撮像装置２００から受け取った時点であってもよい。また、撮像装置２００から選択情報を受信する構成の場合、制御部１１０が上記ガイドマーク情報および表示指示を撮像装置２００に送信するタイミングは、選択情報を受信した時点であってもよい。本実施の形態では、制御部１１０が撮像装置２００から選択情報を受信する構成であるとして説明を行う。

また、制御部１１０がガイドマーク情報を撮像装置２００に送信するタイミングと生成部１２０に出力するタイミングは、同時であってもよいし、異なるタイミングであってもよい。なお、異なるタイミングの場合、制御部１１０は、生成部１２０が棚割情報を生成する前までに送信すればよい。

なお、制御部１１０が撮像装置２００から受信する選択情報が、店舗の場所を示す場所情報の場合、受信した場所情報と一致する、または、受信した場所情報の所定の範囲内に存在する店舗または商品棚を特定してもよい。この場合、第２の記憶部１５０には、店舗または商品棚を特定する情報が、店舗の場所を示す情報に関連付けて格納されていればよい。そして、制御部１１０は、特定した店舗または商品棚を示す情報に関連付けられたガイドマーク情報を棚割情報生成装置１００に送信してもよい。

第１の記憶部１３０には、撮像装置２００によって撮影された撮影画像であって、撮像装置２００から送信された画像データが示す撮影画像に含まれる商品を認識するための情報が格納されている。具体的には、第１の記憶部１３０には、商品の画像（マスタ画像とも呼ぶ）、および／または、商品の画像に含まれる特徴量が、商品を識別する情報（例えば、商品を識別するための識別子、商品名等）に紐付けられて、格納されている。ここで、マスタ画像とは、商品に関するデータの一部であり、該商品の外観を示す画像である。本実施の形態では、商品に関するデータを、商品マスタとも呼ぶ。商品マスタには、マスタ画像の他に、例えば、該商品の売上データ、棚卸データ、商品分類、メーカ名、商品名等が含まれる。なお、商品マスタに含まれる情報は、商品に関するデータであればよく、上述した情報以外の情報が含まれていてもよい。なお、第１の記憶部１３０に格納される情報は、商品を認識するために必要な情報であればよい。また、商品を識別するための情報は、上記に限定されるものではなく、商品が特定可能なものであればよい。

認識部１４０は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。そして、第１の記憶部１３０に格納された、商品を認識するための情報を参照し、受信した画像データに基づいて、該画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４０が商品を認識する方法は、例えば、局所特徴量、テンプレート、輝度、エッジ、外形、形状、色情報、デプス等を用いるものであってもよいし、その他の情報を用いるものであってもよい。認識部１４０が商品を認識する方法は特に限定されず、一般的な認識手法であってもよいため、本明細書では詳細な説明を省略する。

認識部１４０は、撮影画像を示す情報と、該撮影画像から認識した商品を示す情報と、その位置を示す情報とを認識結果として、生成部１２０に出力する。撮影画像を示す情報は、撮影画像を示す画像データそのものであってもよいし、該撮影画像を特定する情報であってもよい。一般的に商品棚２０には、複数の商品が陳列されている。そのため、商品棚２０を撮影した撮影画像には、複数の商品の画像が含まれている。よって、認識部１４０は、認識した、複数の商品の夫々を示す情報と、各商品が陳列されている位置を示す情報（陳列位置情報）とを出力する。各商品の陳列位置情報は、例えば、各商品の撮影画像内における位置を示す座標である。陳列位置情報は、各商品の中心座標であってもよいし、各商品の中央下部（ボトムセンター）の座標であってもよい。なお、本実施の形態では、各商品の陳列位置情報は、ボトムセンターの座標であるとする。また、各商品を示す情報とは、認識された商品を特定可能な情報であればよく、例えば、商品名であってもよいし、商品を識別する識別子であってもよい。また、各商品を示す情報には、各商品のマスタ画像および／または撮影画像内から切り出した、対応する商品の画像が含まれていてもよい。

認識部１４０が出力する認識結果の例を図５に示す。図５は、認識部１４０が出力する認識結果の一例を示す図である。図５に示す認識結果には、撮影画像を示す情報として、「画像１」で示す画像名が含まれる。また、図５に示す認識結果には、認識した商品を示す情報として、商品名が含まれる。また、図５に示す認識結果には、認識した商品の撮影画像上の位置を示す情報として、商品のボトムセンターの座標が含まれる。認識部１４０は、図５に示す通り、商品名が「商品Ａ」の商品は、ボトムセンターの座標が（４８、２２０）である位置に、配置されているという認識結果を出力する。なお、撮影画像の座標系は、縦軸をｘ軸、横軸をｙ軸、左上隅を原点であるとする。

生成部１２０は、制御部１１０からガイドマーク情報を受信する。また、生成部１２０は、認識部１４０から、撮影画像を示す情報を含む認識結果を受信する。生成部１２０は、認識部１４０から受信した撮影画像を示す情報によって特定される撮影画像のサイズに応じて、受信したガイドマーク情報によって示されるガイドマークの表示位置を変換する。この変換後のガイドマークの、撮影画像上の表示位置は、表示部２２０に表示されたガイドマークの位置に対応する位置となる。なお、生成部１２０は、認識部１４０から認識結果を受信する前に、ガイドマークの表示位置を変換してもよい。例えば、認識部１４０が商品の認識を行っている場合は、生成部１２０は、該商品の認識を行う対象である撮影画像を示す情報を認識部１４０から取得してもよい。また、生成部１２０は、撮像装置２００が撮影する撮影画像のサイズを、撮像装置２００から予め受信してもよい。

生成部１２０は、変換後のガイドマークの、撮影画像上の表示位置を示す情報と、認識部１４０による商品の認識結果とに基づいて、認識部１４０において認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。

ここで、上述したとおり、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分である。そのため、生成部１２０は、撮影画像上において、該撮影画像から認識された商品が、該撮影画像上のガイドマークの表示位置に配置された状態を示す棚割情報を生成する。

（棚割情報生成システム１の処理の流れ）
次に、棚割情報生成システム１における処理の流れについて説明する。図６は、本実施の形態に係る棚割情報生成システム１における処理の流れの一例を示すフローチャートである。図６においては、撮像装置２００の処理を左側に、棚割情報生成装置１００の処理を右側に示している。また、撮像装置２００に対するフローチャートと、棚割情報生成装置１００に対するフローチャートとの間の破線の矢印は、情報の伝達を示している。

まず、撮像装置２００の画面上において、棚割情報を生成する対象となる商品棚２０が選択されると、制御部２４０は、選択情報を棚割情報生成装置１００に送信する（ステップＳ５１）。

棚割情報生成装置１００の制御部１１０は、撮像装置２００から送信された選択情報を受信し（ステップＳ６１）、該選択情報によって示される商品棚２０に関する情報および／または店舗に関する情報に関連付けられたガイドマーク情報を第２の記憶部１５０から取得する。そして、制御部１１０は、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２００に送信する（ステップＳ６２）。このとき、制御部１１０は、取得したガイドマーク情報を、生成部１２０にも出力する。

撮像装置２００の制御部２４０は、棚割情報生成装置１００から送信されたガイドマーク情報および表示指示を受信する（ステップＳ５２）。制御部２４０は、表示指示に基づき、画面サイズに応じて、ガイドマーク情報によって示されるガイドマークの大きさや表示位置を変換し、変換したガイドマークを含むガイドマーク画像を生成する（ステップＳ５３）。

そして、制御部２４０は、ファインダ画像上に、ステップＳ５３にて生成したガイドマーク画像を重畳させて、表示部２２０に表示させる（ステップＳ５４）。

図７に、表示部２２０に表示される画像の一例を示す。図７に示す通り、表示部２２０には、商品棚２０を含むファインダ画像上に、太線で示すガイドマーク９を含むガイドマーク画像が、重畳して表示されている。これにより、撮像装置２００は、このガイドマーク９と商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。

そして、撮影者が、この表示されたガイドマーク９を基準として撮影位置を決定し、決定した撮影位置において、商品棚２０を撮影する指示を撮像装置２００に入力すると、該撮影指示に応じて、撮影部２１０が、商品棚２０を撮影する（ステップＳ５５）。制御部２４０は、撮影した撮影画像を示す画像データを棚割情報生成装置１００に送信する（ステップＳ５６）。以上により、撮像装置２００の処理を終了する。

その後、棚割情報生成装置１００の認識部１４０は、撮像装置２００から送信された撮影画像を示す画像データを受信する（ステップＳ６３）。そして、認識部１４０は、ステップＳ６３で受信した画像データを用いて、該画像データによって示される撮影画像内に含まれる商品を認識する（ステップＳ６４）。

生成部１２０は、商品の認識を行った撮影画像のサイズに応じて、制御部１１０から出力されたガイドマーク情報によって示されるガイドマークの表示位置を変換する（ステップＳ６５）。なお、ステップＳ６５は、ステップＳ６４の前に行われてもよいし、ステップＳ６４と同時に行われてもよい。

そして、生成部１２０は、変換後のガイドマークの、撮影画像上の表示位置を示す情報と、ステップＳ６４で認識部１４０が商品の認識を行った結果である認識結果とに基づいて、棚割情報を生成する（ステップＳ６６）。以上により、棚割情報生成装置１００の処理を終了する。

生成部１２０が生成する棚割情報は、商品棚２０の段の位置と商品を示す情報とその商品の配置位置とが順に並べられた文字列であってもよいし、表の形式であってもよいし、その他の形式であってもよい。生成部１２０は、例えば、棚割情報生成装置１００内の図示しない表示部に、表示させる画像を棚割情報として生成してもよい。図８は、生成部１２０が生成した棚割情報であって、表示部に表示させる画像の形式で生成された棚割情報の一例を示す図である。

図８の各商品内のアルファベットは、商品名の最後の文字を示している。図８において、例えば、商品名が「商品Ａ」の商品は「Ａ」と示されている。生成部１２０は、図７に示す、撮像装置２００の表示部２２０に表示されたガイドマーク９の位置に対応する撮影画像上の位置を示す情報と、図５に示す認識結果とを用いて、図８に示す棚割情報を生成する。なお、図８に表示された各商品は、商品名を示す文字列であってもよいし、商品のマスタ画像であってもよいし、撮影画像内から切り出した商品の画像であってもよい。

本実施の形態では、生成部１２０が、撮影画像のサイズに応じて、ガイドマーク情報によって示されるガイドマークの表示位置を変換することについて説明したが、この変換処理は、制御部１１０が行ってもよい。この場合、制御部１１０は、変換した、ガイドマークの表示位置を生成部１２０に出力し、生成部１２０は受信した表示位置に基づいて、棚割情報を生成すればよい。

（効果）
以上のように、棚割情報生成装置１００は、上述した第１の実施の形態に係る棚割情報生成装置１０と同様に、精度がより安定化した棚割情報を生成することができる。

また、本実施の形態では、ガイドマークは、棚割情報を生成する対象となる商品棚２０の棚板の位置を表している。そのため、このガイドマークを参照して撮影された撮影画像上に対応するガイドマークの位置は、商品棚２０の棚板の位置となる。そして、生成部１２０は、撮影画像上におけるガイドマークの位置を示す位置情報と認識結果とに基づいて、位置情報によって示される、撮影画像上のガイドマークの位置に、商品が配置された状態を示す棚割情報を生成する。したがって、生成部１２０が生成する棚割情報によって示される商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。したがって、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１００は、より高精度な棚割情報を生成することができる。

（変形例１）
本実施の形態の変形例１について図９を参照して説明する。図９は、撮像装置２００の表示部２２０に表示される画像の他の例を示す図である。

商品棚２０の大きさが大きすぎる場合、撮像装置２００の表示部２２０に、商品棚２０の全体が写らない場合がある。また、撮影対象の商品棚２０が設置された店舗の通路の幅が狭いなどの理由により、撮像装置２００の表示部２２０に、商品棚２０の全体が写らない場合がある。また、サイズの小さい商品を陳列するための商品棚２０の場合、商品の認識率を高めるために、商品棚２０に近接して撮影する場合もある。このような場合、例えば、図９に示すように、棚割情報生成装置１００の制御部１１０は、撮像装置２００の表示部２２０に撮影方法を促すメッセージ８を表示させるよう制御してもよい。

このとき、第２の記憶部１５０には、ガイドマーク情報として、商品棚２０の上部または下部の情報が含まれていてもよい。この商品棚２０の上部または下部の情報は、商品棚２０のサイズ、商品棚２０が設置された店舗、商品棚２０の種別等に応じて、予め格納されている。そして、上述したステップＳ６１において、制御部１１０は、選択情報を受信し、ガイドマーク情報を第２の記憶部１５０から取得する。そして、制御部１１０は、取得した選択情報に関連付けられた該ガイドマーク情報に含まれる、商品棚２０の上部または下部の情報から、撮影対象の商品棚２０が上下に分けて撮影する対象の商品棚２０であると特定する。その後、制御部１１０は、表示部２２０に、例えば、図９に示す通り、上下に分けて撮影することを促すメッセージとして、「この商品棚は、上下に分けて撮影してください」を表示させるよう制御する。

また、制御部１１０は、ガイドマーク情報に含まれる、商品棚２０の上部または下部の情報に応じて、更なるメッセージを表示部２２０に表示させてもよい。例えば、ガイドマーク情報に、商品棚２０の上部の情報が含まれる場合、制御部１１０は、図９に示す通り、「まず、上部を撮影してください」というメッセージを表示させるように制御してもよい。

以上のように、棚割情報生成装置１００の制御部１１０が画面に撮影方法を促すメッセージを表示させるよう制御することにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質をより均一化することができる。

（変形例２）
上述した第２の実施の形態では、各商品の認識を棚割情報生成装置１００内の認識部１４０で行ったが、商品の認識は、棚割情報生成装置１００とは別個の装置で行われてもよい。つまり、第１の記憶部１３０および認識部１４０は、棚割情報生成装置１００とは別個の装置で実現されてもよい。この場合、棚割情報生成装置１００は、認識結果を上記別個の装置から受信する。これにより、棚割情報生成装置１００は、棚割情報生成装置１００に掛かる処理負荷を低減することができる。また、認識部１４０が棚割情報生成装置１００とは別個の装置で実現される場合であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、図面を参照して説明する。図１０は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す２以上の線分であるとする。また、本実施の形態では、商品棚２０の棚板は、商品が乗せられる板（商品棚２０内に設けられた板および商品棚２０の最下段の底板）と、商品棚２０の天板とを含む。
また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。

図１０に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０１と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。

棚割情報生成装置１０１は、制御部１１１と、生成部１２１と、第１の記憶部１３０と、認識部１４１と、第２の記憶部１５０と、を備えている。

制御部１１１は、上述した制御部１１０の機能を有する。制御部１１１は、更に、認識部１４１が受信した画像データによって示される撮影画像のサイズを、認識部１４１から受け取る。そして、制御部１１１は、撮影画像のサイズに応じて、ガイドマーク情報によって示されるガイドマークの表示位置を変換する。この変換処理は、上述した生成部１２０で説明した変換処理と同様であるため、詳細な説明を省略する。

そして、制御部１１１は、変換後のガイドマークの撮影画像上の表示位置を示す情報（位置情報とも呼ぶ）を、認識部１４１および生成部１２１に出力する。

認識部１４１は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。また、認識部１４１は、制御部１１１から変換後のガイドマークの撮影画像上の表示位置を示す情報を受信する。認識部１４１は、画像データと、ガイドマークの表示位置とを用いて、第１の記憶部１３０を参照し、受信した画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４１は、商品の認識を行う際、ガイドマークが全て含まれる範囲内の商品を認識する。言い換えれば、認識部１４１は、ガイドマークが含まれない範囲の商品の認識を行わない。これにより、認識部１４１は、認識処理を行う対象となる商品の量を減らすことができるため、認識処理の処理量および処理時間を減らすことができる。また、認識部１４１は、棚割情報を生成する対象の商品棚２０（対象商品棚と呼ぶ）以外の商品棚に陳列された商品の認識を行わないため、対象商品棚に陳列されていない商品を、対象商品棚に陳列された商品であると認識することを防ぐことができる。

その後、認識部１４１は、認識部１４０と同様に認識結果を生成部１２１に出力する。

生成部１２１は、制御部１１１から受信した、変換後のガイドマークの撮影画像上の表示位置を示す情報と、認識部１４１による商品の認識結果とに基づいて、認識部１４１において認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。

ここで、上述したとおり、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す２以上の線分である。そのため、生成部１２１は、撮影画像上において、該撮影画像から認識された商品が、該撮影画像上のガイドマークの内、天板の位置を示すガイドマーク以外のガイドマークの表示位置に配置された状態を示す棚割情報を生成する。

（効果）
以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１０１では、認識部１４１が、ガイドマークの撮影画像上の表示位置を示す位置情報に基づいて、商品を認識する。したがって、本実施の形態に係る棚割情報生成システム１の生成部１２１は、上記位置情報に基づいて認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。これにより、棚割情報生成装置１０１は、棚割情報の生成の対象である対象商品棚に陳列されていない商品を、対象商品棚に陳列された商品であると認識することを防ぐことができる。よって、棚割情報生成装置１０１は、対象商品棚に含まれる商品以外の商品が棚割情報に含まれることを防ぐことができ、より精度が高い棚割情報を生成することができる。

また、本実施の形態に係る棚割情報生成装置１０１の第１の記憶部１３０および認識部１４１は、上述した第２の実施の形態の変形例における棚割情報生成システム１と同様に、棚割情報生成装置１０１とは別個の装置で実現されてもよい。

＜第４の実施の形態＞
次に、本発明の第４の実施の形態について、図面を参照して説明する。図１１は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２または第３の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

上述した第２および第３の実施の形態では、商品棚２０を示す情報および／または商品棚２０が設置された店舗を示す情報を、撮影者が選択することについて説明したが、本実施の形態はこれに限定されない。本実施の形態では、撮像装置が、商品棚２０が設置された店舗を示す情報を、撮影者が入力することなく送信する方法について説明する。

図１１に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０２と、撮像装置２０２とを備えている。撮像装置２０２は、撮影部２１０、表示部２２０、制御部２４０および取得部２５０を備えている。なお、撮像装置２０２は、上述した第２および第３の実施の形態に係る撮像装置２００と同様に、入力部２３０を更に備えていてもよい。

取得部２５０は、自装置の場所を測定することによって、自装置の場所を取得する。取得部２５０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどによって実現される。取得部２５０は取得した場所を示す場所情報を、制御部２４０に出力する。制御部２４０は、取得部２５０から取得した場所情報を棚割情報生成装置１０２に送信する。

棚割情報生成装置１０２は、図１１に示す通り、制御部１１２と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１６２とを備えている。なお、第１の記憶部１３０と、第２の記憶部１６２とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１６２は、夫々、棚割情報生成装置１０２とは別個の記憶装置にて実現されるものであってもよい。

第２の記憶部１６２には、上述した第２の記憶部１５０と同様に、ガイドマークに関する情報が格納されている。また、第２の記憶部１６２には、店舗を特定する情報（例えば、店舗番号）が、店舗の場所を示す情報に関連付けて格納されている。なお、第２の記憶部１６２には、店舗内の商品棚２０を特定する情報（例えば、商品棚２０の種別等）が更に含まれていてもよい。

制御部１１２は、撮像装置２０２から送信された場所情報を受信する。そして、制御部１１２は、第２の記憶部１６２を参照し、受信した場所情報と一致する、または、受信した場所情報の所定の範囲内に存在する店舗または商品棚を特定する。そして、制御部１１２は、特定した店舗または商品棚を示す情報に関連付けられたガイドマーク情報を、第２の記憶部１６２から取得する。そして、制御部１１２は、上述した制御部１１０と同様に、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２０２に送信する。

本実施の形態における棚割情報生成装置１０２の認識部１４０および生成部１２０の動作は、上述した第２の実施の形態における認識部１４０および生成部１２０の動作と同様であるため、説明を省略する。

以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態によれば、制御部１１２が撮像装置２０２の場所を受信することにより、撮影対象の商品棚２０の情報または、該商品棚２０が設置された店舗を特定する。これにより、撮影者が、商品棚２０が設置された店舗を示す情報を入力しなくても、棚割情報生成装置１０２は、棚割情報を生成することができる。

また、本実施の形態に係る棚割情報生成装置１０２は、上述した第３の実施の形態に係る棚割情報生成装置１０１と同様に、制御部１１２が認識部１４０にガイドマーク情報を出力する構成であってもよい。そして、認識部１４０は、ガイドマークの撮影画像上の表示位置を示す位置情報に基づいて、商品を認識し、生成部１２０は、上記位置情報に基づいて認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。これにより、本実施の形態に係る棚割情報生成システム１は、上述した第３の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。

また、本実施の形態に係る棚割情報生成装置１０２は、上述した第２の実施の形態の変形例１と同様に、制御部１１２が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。

また、本実施の形態に係る棚割情報生成装置１０２の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０２とは別個の装置で実現されてもよい。

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。

＜第５の実施の形態＞
次に、本発明の第５の実施の形態について、図面を参照して説明する。図１２は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。

図１２に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０３と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。

棚割情報生成装置１０３は、制御部１１３と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１７３と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１７３とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１７３は、夫々、棚割情報生成装置１０３とは別個の記憶装置にて実現されるものであってもよい。

認識部１４０は、商品の認識を行うと、第２の記憶部１７３に商品の認識結果を格納する。認識部１４０は、例えば、図５に示す認識結果に、商品認識の対象となる商品棚２０を示す情報を関連付けて、第２の記憶部１７３に格納する。このとき、認識部１４０は、認識を行った日付または撮影画像の日付を、認識結果に含めてもよい。また、認識部１４０は、店舗に関する情報を、認識結果に関連付けてもよい。以降、第２の記憶部１７３に格納された認識結果を含む情報を、認識履歴とも呼ぶ。

制御部１１３は、棚割情報を生成する対象となる商品棚２０に関する情報を、撮像装置２００から受信する、または、場所情報から特定する。そして、制御部１１３は、受信または特定した情報に関連付けられた認識結果に含まれる、商品の陳列位置を示す陳列位置情報を、第２の記憶部１７３から取得する。制御部１１３は、この陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する。例えば、認識した商品の撮影画像上の位置を示す情報が、図５に示す通り、商品のボトムセンターの座標である場合、制御部１１３は、例えば、ハフ変換によって、直線を算出する。商品は、棚板の上に陳列されている。よって、算出された直線は、撮影画像上における棚板の部分を含む直線であると推定される。したがって、制御部１１３は、この算出した直線を、棚板の位置と推定する。

そして、制御部１１３は、推定した撮影画像上の棚板の位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させる指示を、撮像装置２００に送信する。ここで、ガイドマークの形状（本実施の形態では、線分）を示す情報は、予め第２の記憶部１７３に格納されていてもよいし、撮像装置から指定されてもよい。また、ガイドマークの形状は、制御部１１３が推定した位置から導出されてもよい。これにより、撮像装置２００の制御部２４０は、ガイドマークを、表示部２２０に表示させる。よって、撮像装置２００は、過去の認識結果に基づいたガイドマークと商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。

（棚割情報生成システム１の処理の流れ）
次に、棚割情報生成システム１における処理の流れについて説明する。図１３は、本実施の形態に係る棚割情報生成システム１における処理の流れの一例を示すフローチャートである。図１３においては、撮像装置２００の処理を左側に、棚割情報生成装置１０３の処理を右側に示している。また、撮像装置２００に対するフローチャートと、棚割情報生成装置１０３に対するフローチャートとの間の破線の矢印は、情報の伝達を示している。なお、上述した図６に示すフローチャートと同じ処理については、同じ符号を付している。

まず、撮像装置２００の画面上において、棚割情報を生成する対象となる商品棚２０が選択されると、制御部２４０は、選択情報を棚割情報生成装置１０３に送信する（ステップＳ５１）。

棚割情報生成装置１０３の制御部１１３は、撮像装置２００から送信された選択情報を受信する（ステップＳ６１）。そして、制御部１１３は、選択情報によって示される商品棚２０に関する情報および／または店舗に関する情報に関連付けられた認識履歴の陳列位置情報を第２の記憶部１７３から取得する（ステップＳ１３１）。

そして、制御部１１３は、取得した陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する（ステップＳ１３２）。その後、制御部１１３は、推定した棚板の位置を、ガイドマークの表示位置とし、該ガイドマークの表示位置を含むガイドマーク情報を、表示指示と共に撮像装置２００に送信する（ステップＳ１３３）。その後、棚割情報生成装置１０３および撮像装置２００は、第２の実施の形態に係る棚割情報生成装置１００および撮像装置２００と同様の処理を行う。

以上のように、本実施の形態に係る棚割情報生成システム１によれば、制御部１１３が、過去の認識結果に含まれる商品の陳列位置を示す陳列位置情報から、ガイドマークの撮影画像上における位置を推定する。そして、制御部１１３は、推定した位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させるように制御する。

同じ商品棚の場合、過去の認識結果から推定される棚板の位置は、現時点の商品棚２０の棚板の位置と同じである場合が多い。そのため、本実施の形態に係る棚割情報生成システム１によれば、上述した各実施の形態に係る棚割情報生成システム１の効果に加え、より高精度な棚割情報を生成することができる。

また、本実施の形態に係る棚割情報生成装置１０３は、上述した第２の実施の形態の変形例１と同様に、制御部１１３が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。

また、本実施の形態に係る棚割情報生成装置１０３の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０３とは別個の装置で実現されてもよい。

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。

＜第６の実施の形態＞
次に、本発明の第６の実施の形態について、図面を参照して説明する。図１４は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。

上述した第５の実施の形態では、ガイドマークを、認識履歴から推定することについて説明したが、本実施の形態では、ガイドマークを棚割情報の生成履歴から推定することについて説明する。

図１４に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０４と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。

棚割情報生成装置１０４は、制御部１１４と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１８４と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１８４とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１８４は、夫々、棚割情報生成装置１０４とは別個の記憶装置にて実現されるものであってもよい。

まず、生成部１２０が生成する棚割情報について説明する。生成部１２０が生成する棚割情報は、上述した図８に示すような、図示しない表示部に表示させる画像の形式で生成された棚割情報であってもよい。また、生成部１２０が生成する棚割情報は、図１５に示すような、どの位置にどの商品が配置されるのかが分かる情報であってもよい。図１５は、棚割情報の一例を示す図である。図１５において、段番号とは、商品棚２０の棚段の位置を示す番号であり、商品棚２０の上から順に１段目、２段目、・・・、とした場合の、番号を示している。また、図１５において、スロット番号とは、ある棚段における商品の配置位置を示し、左から順に１、２、３・・・、とした場合の番号を示している。ここで、１スロットには１つの商品が配置されるとする。図１５に示す棚割情報は、図８に示す棚割情報の１段目と２段目とにそれぞれ対応するものである。

生成部１２０は、生成した棚割情報を、該棚割情報を生成した対象となる商品棚２０を示す情報（例えば、商品棚２０を示す識別子）に関連付けて、第２の記憶部１８４に格納する。以降、第２の記憶部１８４に格納された、過去の棚割情報を、棚割履歴とも呼ぶ。

制御部１１４は、棚割情報を生成する対象となる商品棚２０に関する情報を、撮像装置２００から受信する、または、場所情報から特定する。そして、制御部１１４は、受信または特定した情報に関連付けられた、過去の棚割情報（棚割履歴）を特定する。過去の棚割情報からは、図１５に示す通り、少なくとも、対象の商品棚２０における棚段数と棚段毎のスロット数とがわかる。これにより、制御部１１４は、商品棚２０の棚板の位置を推定する。なお、棚割履歴に、商品の情報として、商品の大きさに関する情報が含まれている場合、制御部１１４は、この大きさに関する情報を用いて棚板の位置を推定してもよい。また、棚割履歴に、商品の位置を示す座標（例えば、図５に示すようなボトムセンターの位置）が含まれている場合、制御部１１４はこの座標を用いて、棚板の位置を推定してもよい。そして、制御部１１４は、推定した撮影画像上の棚板の位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させる指示を、撮像装置２００に送信する。また、ガイドマークの形状は、制御部１１４が推定した位置から導出されてもよい。これにより、撮像装置２００の制御部２４０は、ガイドマークを、表示部２２０に表示させる。よって、撮像装置２００は、過去の棚割情報に基づいたガイドマークと商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。

このように、本実施の形態に係る棚割情報生成システム１は、過去の棚割情報を用いても、棚割情報を生成することができる。

また、本実施の形態に係る棚割情報生成装置１０４は、上述した第２の実施の形態の変形例１と同様に、制御部１１４が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。

また、本実施の形態に係る棚割情報生成装置１０４の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０４とは別個の装置で実現されてもよい。

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。

（変形例）
第６の実施の形態に係る変形例について説明する。第６の実施の形態では、過去の棚割情報を用いて、ガイドマークの位置を推定した。しかしながら、制御部１１４は、過去の棚割情報に代えて、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、ガイドマークの位置を推定してもよい。

推奨棚割情報とは、例えば、店舗を管理する管理会社等から推奨された棚割の状態を示す情報である。推奨棚割情報は、生成部１２０が生成する棚割情報と同様に、図８に示すような情報であってもよいし、図１５に示すような情報であってもよいし、その他の形態であってもよい。推奨棚割情報には、商品の陳列位置が記されている。そのため、本変形例に係る棚割情報生成システム１の制御部１１４は、推奨棚割情報を用いて、第６の実施の形態に係る制御部１１４と同様の方法で、ガイドマークの位置を推定することができる。

これにより、本変形例に係る棚割情報生成システム１は、上述した第６の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。

＜第７の実施の形態＞
次に、本発明の第７の実施の形態について、図面を参照して説明する。図１６は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。

上述した第２から第６の実施の形態では、ガイドマークが、商品棚２０の棚板の位置を示す線分であるとして説明を行ったが、本実施の形態はこれに限定されるものではない。本実施の形態では、ガイドマークが、商品棚２０の領域の位置を示すものであるとして、説明を行う。

図１６に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０５と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。

棚割情報生成装置１０５は、制御部１１５と、生成部１２５と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１５５と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１５５とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１５５は、夫々、棚割情報生成装置１０５とは別個の記憶装置にて実現されるものであってもよい。

第２の記憶部１５５には、上述した第２の記憶部１５０と同様に、ガイドマークに関する情報が格納されている。本実施の形態では、ガイドマークは、商品棚２０の領域の位置を示すものであるとする。また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。

制御部１１５は、上述した第２の実施の形態における制御部１１０と同様に、商品棚を撮影する撮像装置２００に、第２の記憶部１５５に格納されたガイドマーク情報を表示指示と共に撮像装置２００に送信する。このとき、制御部１１５は、撮像装置２００から、棚割情報を生成する対象となる商品棚２０に関する情報（例えば、上述した選択情報）を受信した場合、該選択情報に従って、撮像装置２００に送信するガイドマーク情報を、第２の記憶部１５５から選択し、選択したガイドマーク情報を送信する。また、制御部１１５は、生成部１２５にも上記ガイドマーク情報を出力する。

撮像装置２００の制御部２４０は、棚割情報生成装置１０５から送信されたガイドマーク情報および表示指示を受信する。そして、制御部２４０は、表示指示に基づき、画面サイズに応じて、ガイドマーク情報によって示されるガイドマークの大きさや表示位置を変換し、変換したガイドマークを含むガイドマーク画像を生成する。そして、制御部２４０は、ファインダ画像上に、生成したガイドマーク画像を重畳させて、表示部２２０に表示させる。

図１７および図１８に、表示部２２０に表示される画像の一例を示す。図１７および図１８に示す通り、表示部２２０には、商品棚２０を含むファインダ画像上に、網掛けで示すガイドマーク９を含むガイドマーク画像が、重畳して表示されている。

図１７に示すガイドマーク９は、商品棚２０の外枠を示すガイドマークであり、図１８に示すガイドマーク９は、商品棚２０の４隅の位置を示すガイドマークである。図１７および図１８の何れに示すガイドマーク９であっても、撮像装置２００は、このガイドマーク９と商品棚２０の領域とが一致する位置で撮影することを、撮影者に促すことができる。

撮影者が、この表示されたガイドマーク９を基準として撮影位置を決定し、決定した撮影位置において、商品棚２０を撮影する指示を撮像装置２００に入力する。その後、撮像装置２００の撮影部２１０が商品棚２０を撮影する。

その後、棚割情報生成装置１０５の認識部１４０は、撮影された撮影画像を示す画像データを受信する。認識部１４０は、受信した画像データが示す撮影画像から、商品の認識を行う。そして、認識部１４０は、撮影画像を示す情報と、該撮影画像から認識した商品を示す情報と、その位置を示す情報とを認識結果として、生成部１２５に出力する。このとき、認識部１４０は、上述した第３の実施の形態における認識部１４１と同様に、制御部１１５から、ガイドマーク情報によって示されるガイドマークの撮影画像上の表示位置を示す情報を受信してもよい。そして、認識部１４０は、商品の認識を行う際に、撮影画像のうち、このガイドマークの撮影画像上の表示位置によって示される領域内の商品を認識してもよい。

生成部１２５は、制御部１１５からガイドマーク情報を受信する。また、生成部１２５は、認識部１４０から、撮影画像を示す情報を含む認識結果を受信する。生成部１２５は、認識部１４０から受信した撮影画像を示す情報によって特定される撮影画像のサイズに応じて、受信したガイドマーク情報によって示されるガイドマークの表示位置を変換する。また、生成部１２５は、受信した認識結果に含まれる、商品の陳列位置を示す陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する。このとき、生成部１２５は、商品棚２０の棚板の位置を、ガイドマークの表示位置によって示される領域内において、推定する。

そして、生成部１２５は、推定した棚板の位置と、認識部１４０が商品の認識を行った結果である認識結果とに基づいて、推定した棚板の位置に、認識された商品が配置された状態を示す棚割情報を生成する。

以上のように、棚割情報生成装置１０５の制御部１１５は、撮像装置２００の画面上における、商品棚２０の領域の位置を表すガイドマークを、撮像装置２００の画面に表示させるよう制御する。そして、生成部１２５は、認識された商品の撮影画像上の位置およびガイドマークの撮影画像上の位置に基づいて、撮影画像上における商品棚２０の棚板の位置を推定する。そして、生成部１２５は、推定された位置に、認識された商品が配置された状態を示す棚割情報を生成する。

これにより、本実施の形態に係る棚割情報生成システム１は、ガイドマークの形状が商品棚２０の棚板の位置を表す線分ではなく、商品棚２０の領域の位置を表すものであっても、精度がより安定化した棚割情報を生成することができる。

なお、本実施の形態において、ガイドマークは、予め第２の記憶部１５５に格納されているとして、説明を行ったが、本実施の形態はこれに限定されるものではない。上述した第５の実施の形態と同様に、ガイドマークは認識履歴から推定されるものであってもよい。また、上述した第６の実施の形態と同様に、ガイドマークは、棚割履歴または推奨棚割情報から推定されるものであってもよい。

また、本実施の形態に係る棚割情報生成装置１０５は、上述した第２の実施の形態の変形例１と同様に、制御部１１５が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。

また、本実施の形態に係る棚割情報生成装置１０５の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０５とは別個の装置で実現されてもよい。

このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した各実施の形態における棚割情報生成システム１と同様の効果を奏することができる。

＜第８の実施の形態＞
上述した第２、第３、第５から第７の実施の形態における撮像装置２００の入力部２３０は、表示されたガイドマークの位置の変更を受け付ける機能を有していてもよい。また、第４の実施の形態における撮像装置２０２が、上述したとおり、更に入力部２３０を備える構成の場合においても、該入力部２３０は、表示されたガイドマークの位置の変更を受け付ける機能を有していてもよい。本実施の形態では、この入力部２３０が表示部２２０に表示されたガイドマークの位置の変更を受け付ける機能を有する構成について説明する。なお、本実施の形態では、上述した第２から第７の実施の形態における棚割情報生成システム１と同様の構成を有するため、図面の説明を省略する。

ユーザが、指などの入力媒体を用いて、ガイドマークの位置を変更する入力操作を行うと、入力部２３０は、入力操作によって変更されたガイドマークの位置を示す情報を、制御部２４０を介して、棚割情報生成装置（１００〜１０５）に送信する。そして、制御部（１１０〜１１５）は、変更されたガイドマークの位置を示す情報を受け付け、受け付けたガイドマークの位置を生成部（１２０、１２５）に出力する。これにより、生成部（１２０、１２５）は、変更されたガイドマークの、撮影画像上の位置に基づいて、棚割情報を生成する。

このように、撮像装置２００が表示部２２０に表示されたガイドマークに対する変更を受け付けることにより、表示部２２０に表示されたガイドマークの位置と、商品棚２０の位置とに差異があっても、撮影者がその差異を修正することができる。したがって、棚割情報生成システム１は、汎用性を向上させることができる。さらに、ガイドマークの位置を、商品棚２０の位置に修正することができるため、棚割情報生成システム１の棚割情報生成装置が生成する棚割情報の精度をより高めることができる。

＜第９の実施の形態＞
本発明の第９の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する棚割情報生成システムについて説明する。まず、本実施の形態に係る棚割情報生成システム２の基本構成について説明する。図１９は、本実施の形態に係る棚割情報生成システム２の基本構成の一例を示すブロック図である。この図に示す棚割情報生成システム２は、上述した棚割情報生成システム１の基本の構成であるとも言える。図１９に示す通り、本実施の形態に係る棚割情報生成システム２は、制御部２１と、生成部２２と、撮影部２３と、表示部２４とを備えている。制御部２１と、生成部２２と、撮影部２３と、表示部２４とは、互いに通信可能に接続している。制御部２１と、生成部２２と、撮影部２３と、表示部２４との接続方法は、有線接続であってもよいし、無線接続であってもよい。

表示部２４は、表示画面を有している。表示部２４は、制御部２１の制御に基づき、表示画面に画像を表示する。

制御部２１は、上述した第１の実施の形態に係る棚割情報生成装置１０の制御部１１の機能を有する。また、制御部２１は、上述した第２の実施の形態における撮像装置２００の制御部２４０の機能を有する。制御部２１は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示部２４に表示させるように制御する。

撮影部２３は、商品が陳列された商品棚を撮影する。撮影部２３は、上述した第２の実施の形態に係る撮像装置２００の撮影部２１０に相当する。撮影部２３が撮影する撮影画像は、表示部２４に表示されたガイドマークを参照して撮影されたものである。

生成部２２は、上述した第１の実施の形態に係る棚割情報生成装置１０の生成部１２に相当する。生成部２２は、撮影画像から認識された商品が商品棚に配置された状態を示す棚割情報を、商品の認識結果と、表示画面上のガイドマークの位置に対応する撮影画像上の位置を示す位置情報とに基づいて生成する。

次に、図１９の棚割情報生成システム２を基本とする棚割情報生成システム３について、図２０を参照して説明する。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。図２０に示す通り、本実施の形態に係る棚割情報生成システム３は、棚割情報生成装置１０６と、撮像装置２０６と、を備えている。棚割情報生成装置１０６は、生成部１２０と、第１の記憶部１３０と、認識部１４０とを備えている。また、撮像装置２０６は、撮影部２１０と、表示部２２０と、制御部２４６とを備えている。なお、認識部１４０は、上述した第２の実施の形態の変形例と同様に、棚割情報生成装置１０６とは別個の装置で実現されてもよい。

制御部２４６は、上述した第２の実施の形態における撮像装置２００の制御部２４０の機能を含む。また、制御部２４６は、上述した、制御部１１０、制御部１１１、制御部１１２、制御部１１３、制御部１１４、または制御部１１５の少なくとも何れかの機能を含む。制御部２４６は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示部２２０に表示させるように制御する。また、制御部２４６は、表示部２２０に表示させたガイドマークに関する情報を、棚割情報生成装置１０６に送信する。

棚割情報生成装置１０６は、撮像装置２０６から送信された画像データおよびガイドマークに関する情報に基づいて、上述した各実施の形態に係る棚割情報生成装置と同様に、棚割情報を生成する。このとき、生成部１２０は、表示部２２０の表示画面上に表示されたガイドマークの位置に対応する撮影画像上の位置を示す位置情報と認識結果とに基づいて、商品が商品棚に配置された状態を示す棚割情報を生成する。

このように、棚割情報生成システム３において、表示部２２０に対する表示制御を行う機能は、棚割情報生成装置１０６ではなく撮像装置２０６に備えられてもよい。この機能は、例えば、撮像装置２０６で動作可能なアプリケーションを実行することによって実現されてもよい。このような構成であっても、本実施の形態に係る棚割情報生成システム３は、上述した各実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。

また、上述した各実施の形態において、棚割情報生成システムに含まれる撮像装置と、棚割情報生成装置とは、別々の装置で実現することを例に説明を行ったが、撮像装置と棚割情報生成装置とは一体形成されていてもよい。また、上述した棚割情報生成システムは、撮影機能（撮影部に相当）と、ガイドマークを表示する機能（表示部に相当）と、棚割情報を生成する機能（生成部に相当）と、表示部を制御する機能（制御部に相当）を含む装置と、認識する機能（認識部に相当）を含む他の装置とを備える構成であってもよい。

＜第１０の実施の形態＞
本発明の第１０の実施の形態について、以下に説明する。本実施の形態では、上述した第９の実施の形態に係る棚割情報生成システム３と同様の構成を有するため、図２０を参照して説明を行う。本実施の形態に係る棚割情報生成システム３の基本構成は、図１９を用いて説明した構成である。図２０に示す通り、本実施の形態に係る棚割情報生成システム３は、棚割情報生成装置１０６と、撮像装置２０６と、を備えている。棚割情報生成装置１０６は、生成部１２０と、第１の記憶部１３０と、認識部１４０とを備えている。また、撮像装置２０６は、撮影部２１０と、表示部２２０と、制御部２４６とを備えている。

なお、本実施の形態では、表示制御を行う制御部が撮像装置２０６に備えられる構成について説明を行うが、上述した第２から第８の各実施の形態と同様に、表示制御を行う制御部は、棚割情報生成装置に備えられてもよい。

本実施の形態における撮像装置２０６では、撮影部２１０が棚割情報生成装置１０６に撮影画像を示す画像データを出力する。しかしながら撮影部２１０は、上述した撮像装置２００の撮影部２１０と同様に、制御部２４６に撮影画像を示す画像データを出力してもよい。この場合、制御部２４６は、受け取った画像データを棚割情報生成装置１０６に送信する。

本実施の形態における撮像装置２０６の制御部２４６は、上述した第２の実施の形態における制御部２４０と同様に、ファインダ画像上に、ガイドマーク画像を重畳させて、表示部２２０に表示させる。そして、制御部２４６は、この表示部２２０に表示させたファインダ画像に含まれる商品棚の位置と、ガイドマーク画像に含まれるガイドマークの位置との一致率を算出する。なお、一致率の算出方法は特に限定されない。また、一致率の算出は、所定の間隔で行われてもよいし、一致率の大きさに応じるタイミングで行われてもよい。例えば、一致率が所定の値より小さいときは、算出の間隔を大きくし、一致率が所定の値以上のときは、算出の間隔を小さくしてもよい。

制御部２４６は、算出した一致率に応じて、ガイドマークの表示態様を変化させて、表示部２２０に表示させるよう制御する。例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを青色で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを赤色で表示させる。また、例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを点滅させた状態で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを点灯させた状態で表示させる。また、例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを点線で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを実線で表示させる。

このように、制御部２４６が算出した一致率に応じてガイドマークの表示様態を変化させることにより、撮像装置２０６は、ガイドマークと商品棚の棚板とが一致する位置で撮影することを、撮影者により促すことができる。これにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質を均一化することができる。したがって、このような撮影画像を用いて棚割情報を生成する棚割情報生成装置１０６は、上述した各実施の形態に係る棚割情報生成装置と同様に、精度がより安定化した棚割情報を生成することができる。

また、制御部２４６は、更に、一致率が所定の閾値以上のときに、商品棚を撮影するよう、撮影部２１０に指示し、撮影部２１０は指示に従って、商品棚を撮影してもよい。これにより、撮影部２１０は、一致率が所定の閾値以上のときに、商品棚を自動的に撮影することができる。これにより、撮像装置２０６は、更に、撮影画像の属人性をより低減させることができる。したがって、このような撮影画像を用いて棚割情報を生成する棚割情報生成装置１０６は、上述した各実施の形態に係る棚割情報生成装置と同様に、精度がより安定化した棚割情報を生成することができる。

＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）を実現可能なハードウェアの構成例について説明する。上述した棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。

図２１は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。

図２１に示した情報処理装置（コンピュータ）９０のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１、通信インタフェース（Ｉ／Ｆ）９２、入出力ユーザインタフェース９３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９５、記憶装置９７、及びコンピュータ読み取り可能な記憶媒体９９のドライブ装置９８を備え、これらがバス９６を介して接続された構成を有する。入出力ユーザインタフェース９３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース９２は、上述した各実施の形態に係る装置（図１、４、１０、１１、１２、１４、１６および１９）が、外部装置と、通信ネットワーク８０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ９１は、各実施の形態に係る棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）を実現する情報処理装置９０について、全体の動作を司る。

上述した各実施の形態を例に説明した本発明は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図２１に示す情報処理装置９０に対して供給した後、そのプログラムを、ＣＰＵ９１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図６および１３）に記載した各種処理や、或いは、図１、４、１０、１１、１２、１４、１６および１９に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。

また、情報処理装置９０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（９５）またはハードディスクドライブ等の不揮発性の記憶装置（９７）に格納されてもよい。即ち、記憶装置９７において、プログラム群９７Ａは、例えば、上述した各実施の形態における棚割情報生成装置（１０、１００〜１０６）および撮像装置（２００、２０２、２０６）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報９７Ｂは、例えば、上述した各実施の形態における撮影画像、商品を認識するための情報、認識結果、認識履歴、棚割履歴、推奨棚割情報等である。ただし、情報処理装置９０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

また、前記の場合において、当該装置内へのプログラムの供給方法は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（９９）を介して当該装置内にインストールする方法や、インターネット等の通信回線（８０）を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード（プログラム群９７Ａ）或いは係るコードが格納された記憶媒体（９９）によって構成されると捉えることができる。

上述した各実施形態では、ブロック図に示した各ブロックに示す機能を、図２１に示すＣＰＵ９５が実行する一例として、ソフトウェアプログラムによって実現する場合について説明した。しかしながら、ブロック図に示した各ブロックに示す機能は、一部または全部を、ハードウェアの回路として実現してもよい。

なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

１、２、３ 棚割情報生成システム
８ メッセージ
９ ガイドマーク
１０ 棚割情報生成装置
１１ 制御部
１２ 生成部
２０ 商品棚
２１ 制御部
２２ 生成部
２３ 撮影部
２４ 表示部
１００〜１０６ 棚割情報生成装置
１１０〜１１５ 制御部
１２０ 生成部
１２１ 生成部
１２５ 生成部
１３０ 第１の記憶部
１４０ 認識部
１４１ 認識部
１５０、１５５ 第２の記憶部
１６２、１７３、１８４ 第２の記憶部
２００、２０２、２０６ 撮像装置
２１０ 撮影部
２２０ 表示部
２３０ 入力部
２４０、２４６ 制御部
２５０ 取得部

Claims (28)

1. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する制御手段と、
   前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
   を備え、
   前記制御手段は、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
   棚割情報生成装置。
2. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する制御手段と、
   前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
   を備え、
   前記制御手段は、過去に前記生成手段が生成した棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
   棚割情報生成装置。
3. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する制御手段と、
   前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
   を備え、
   前記制御手段は、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
   棚割情報生成装置。
4. 表示画面を有する表示手段と、
   撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
   商品が陳列された商品棚を撮影する撮影手段と、
   前記表示手段に表示された前記ガイドマークを参照して前記撮影手段によって撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
   を備え、
   前記制御手段は、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、
   棚割情報生成システム。
5. 表示画面を有する表示手段と、
   撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
   商品が陳列された商品棚を撮影する撮影手段と、
   前記表示手段に表示された前記ガイドマークを参照して前記撮影手段によって撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
   を備え、
   前記制御手段は、過去に前記生成手段が生成した棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、
   棚割情報生成システム。
6. 表示画面を有する表示手段と、
   撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
   商品が陳列された商品棚を撮影する撮影手段と、
   前記表示手段に表示された前記ガイドマークを参照して前記撮影手段によって撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成手段と、
   を備え、
   前記制御手段は、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、
   棚割情報生成システム。
7. 前記ガイドマークは、前記棚割情報を生成する対象となる商品棚の棚板の位置を表すものであり、
   前記生成手段は、前記位置情報と前記認識結果とに基づいて、前記位置情報によって示される前記撮影画像上の位置に、前記商品が配置された状態を示す前記棚割情報を生成する、請求項４から６の何れか１項に記載の棚割情報生成システム。
8. 前記ガイドマークは、前記棚割情報を生成する対象となる商品棚の前記表示画面上における領域の位置を表すものであり、
   前記生成手段は、前記位置情報と前記認識された商品の前記撮影画像上の位置とに基づいて、前記撮影画像上における前記商品棚の棚板の位置を推定し、前記推定された位置に、前記認識された商品が配置された状態を示す前記棚割情報を生成する、請求項４から６の何れか１項に記載の棚割情報生成システム。
9. 前記制御手段は、前記商品棚を撮影する場所を示す情報を取得し、前記取得した場所を示す情報に関連付けられた、店舗および商品棚の少なくとも何れかに関する情報に関連付けられたガイドマークを、前記表示手段に表示させるように制御する、請求項４から８の何れか１項に記載の棚割情報生成システム。
10. 前記制御手段は、前記ガイドマークの前記表示画面上の位置に対して変更を加えられた位置を受け付け、
    前記生成手段は、変更を加えられた前記表示画面上のガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて、前記棚割情報を生成する請求項４から９の何れか１項に記載の棚割情報生成システム。
11. 前記制御手段は、前記商品棚のサイズ、前記商品棚が設置された店舗、前記商品棚の種別、および、前記ガイドマークの少なくとも何れかに応じて、前記表示画面に撮影方法を促すメッセージを表示させる、請求項４から１０の何れか１項に記載の棚割情報生成システム。
12. 前記認識された商品は、前記位置情報に基づいて認識された商品である、請求項４から１１の何れか１項に記載の棚割情報生成システム。
13. 前記制御手段は、前記ガイドマークを、撮影を開始する前のファインダ画像に重畳させて、前記表示手段に表示させ、
    前記ファインダ画像に含まれる前記商品棚の位置と、前記ガイドマークの位置との一致率に応じて、前記ガイドマークの表示態様を変化させて、前記表示手段に表示させる、請求項４から１２の何れか１項に記載の棚割情報生成システム。
14. 前記制御手段は、前記一致率が所定の閾値以上か否かを判定し、
    前記撮影手段は、前記一致率が所定の閾値以上のとき、前記商品棚を撮影する、請求項１３に記載の棚割情報生成システム。
15. 撮影装置と、棚割情報生成装置とを備え、
    前記撮影装置は、前記表示手段と、前記撮影手段を含み、
    前記棚割情報生成装置は、前記制御手段と、前記生成手段とを含む、請求項４から１４の何れか１項に記載の棚割情報生成システム。
16. 撮影装置と、棚割情報生成装置とを備え、
    前記撮影装置は、前記表示手段と、前記撮影手段と、前記制御手段とを含み、
    前記棚割情報生成装置は、前記生成手段を含む、請求項４から１４の何れか１項に記載の棚割情報生成システム。
17. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御し、
    前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成し、
    前記制御する処理において、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
    棚割情報生成方法。
18. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御し、
    前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成し、
    前記制御する処理において、過去に生成した前記棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
    棚割情報生成方法。
19. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御し、
    前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成し、
    前記制御する処理において、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
    棚割情報生成方法。
20. 表示画面を有する表示手段と、
    撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
    前記表示手段に表示された前記ガイドマークを参照して、商品が陳列された商品棚を撮影する撮影手段と、を備え、
    前記ガイドマークは、前記撮影手段によって撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成され、
    前記ガイドマークの前記撮影画像上における位置は、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から推定され、
    前記制御手段は、前記推定された位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、
    撮像装置。
21. 表示画面を有する表示手段と、
    撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
    前記表示手段に表示された前記ガイドマークを参照して、商品が陳列された商品棚を撮影する撮影手段と、を備え、
    前記ガイドマークは、前記撮影手段によって撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成され、
    前記ガイドマークの前記撮影画像上における位置は、過去に生成された前記棚割情報に基づいて推定され、
    前記制御手段は、前記推定された位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、
    撮像装置。
22. 表示画面を有する表示手段と、
    撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
    前記表示手段に表示された前記ガイドマークを参照して、商品が陳列された商品棚を撮影する撮影手段と、を備え、
    前記ガイドマークは、前記撮影手段によって撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成され、
    前記ガイドマークの前記撮影画像上における位置は、前記棚割情報を生成する対象となる前記商品棚において推奨される、前記商品の配置状態を示す推奨棚割情報に基づいて推定され、
    前記制御手段は、前記推定された位置に対応する前記表示画面上の位置に、前記ガイドマークを表示させるように制御する、
    撮像装置。
23. 表示画面を有する表示手段と、
    商品が陳列された商品棚を撮影する撮影手段と、を備え、
    前記表示手段は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを表示し、
    前記ガイドマークは、前記撮影手段によって前記ガイドマークを参照して撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成され、
    前記ガイドマークの前記撮影画像上における位置は、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から推定され、
    前記表示手段は、前記推定された位置に対応する前記表示画面上の位置に、前記ガイドマークを表示する、
    撮像装置。
24. 表示画面を有する表示手段と、
    商品が陳列された商品棚を撮影する撮影手段と、を備え、
    前記表示手段は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを表示し、
    前記ガイドマークは、前記撮影手段によって前記ガイドマークを参照して撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成され、
    前記ガイドマークの前記撮影画像上における位置は、過去に生成された前記棚割情報に基づいて推定され、
    前記表示手段は、前記推定された位置に対応する前記表示画面上の位置に、前記ガイドマークを表示する、
    撮像装置。
25. 表示画面を有する表示手段と、
    商品が陳列された商品棚を撮影する撮影手段と、を備え、
    前記表示手段は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを表示し、
    前記ガイドマークは、前記撮影手段によって前記ガイドマークを参照して撮影された撮影画像から認識された商品が前記商品棚に配置された状態を示す棚割情報の生成の際に用いられるものであり、前記棚割情報は、前記表示画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成され、
    前記ガイドマークの前記撮影画像上における位置は、前記棚割情報を生成する対象となる前記商品棚において推奨される、前記商品の配置状態を示す推奨棚割情報に基づいて推定され、
    前記表示手段は、前記推定された位置に対応する前記表示画面上の位置に、前記ガイドマークを表示する、
    撮像装置。
26. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する処理と、
    前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成処理と、をコンピュータに実行させ、
    前記制御する処理において、過去の前記認識結果に含まれる商品の陳列位置を示す陳列位置情報から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
    プログラム。
27. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する処理と、
    前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成処理と、をコンピュータに実行させ、
    前記制御する処理において、過去に生成した前記棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
    プログラム。
    
28. 撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、前記商品棚を撮影する撮像装置の画面に表示させるように制御する処理と、
    前記ガイドマークを参照して撮影された撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を、前記画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて生成する生成処理と、をコンピュータに実行させ、
    前記制御する処理において、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に対応する前記撮像装置の画面の位置に、前記ガイドマークを表示させるように制御する、
    プログラム。

Images