JP7255644B2 - Planogram information generation system, planogram information generation method, and program - Google Patents
Planogram information generation system, planogram information generation method, and program Download PDFInfo
- Publication number
- JP7255644B2 JP7255644B2 JP2021131537A JP2021131537A JP7255644B2 JP 7255644 B2 JP7255644 B2 JP 7255644B2 JP 2021131537 A JP2021131537 A JP 2021131537A JP 2021131537 A JP2021131537 A JP 2021131537A JP 7255644 B2 JP7255644 B2 JP 7255644B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- information
- guide mark
- display
- planogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、商品陳列状態を表す棚割情報を生成する棚割情報生成システム、棚割情報生成方法、およびプログラムに関する。 The present invention relates to a planogram information generation system, a planogram information generation method, and a program for generating planogram information representing product display states.
コンビニエンスストアやスーパーマーケットなどの小売店では、商品の陳列位置が売上に大きく影響することから、店頭の商品陳列状態を正確に把握することが望まれている。 In retail stores such as convenience stores and supermarkets, it is desired to accurately grasp the state of product display in the store, since the display position of products greatly affects sales.
例えば、特許文献１には、売場写真から売場に陳列されている各商品を識別し、識別結果に基づいて、予め作成された什器モデルの対応する位置に該当する商品の商品マスタを配置する技術が開示されている。
For example,
また、構図テンプレートをモニタ表示装置に表示するカメラが特許文献２に記載されている。
Further,
上述した特許文献１に記載の技術では、写真画像の棚のサイズが、予め作成した什器モデルの棚のサイズと同じになるように写真画像を調整した後、個々の商品を識別し、什器モデルの対応する位置に商品マスタを表示している。
In the technique described in
しかしながら、撮影者ごとに撮影品質が異なると、商品の識別精度が低くなる。そのため、特許文献１の技術では、商品陳列状態を正確に再現できない場合がある。
However, if the photographing quality differs for each photographer, the product identification accuracy will be low. Therefore, the technique disclosed in
また、特許文献２に記載の技術は、撮影を行う際のテンプレートであり、商品陳列状態の再現の際に用いられるものではない。
Further, the technique described in
本発明は、上記問題に鑑みてなされたものであり、その目的は、精度がより安定化した、商品陳列状態を表す棚割情報を生成することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object thereof is to generate planogram information representing a product display state with more stable accuracy.
本発明の一態様に係る棚割情報生成システムは、商品棚が撮影された撮影画像を表示する表示手段と、撮影者が撮影位置を決定するために参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示手段に表示させるように制御する制御手段と、撮影画像から認識された商品が、商品棚に配置された状態を示す棚割情報を生成する生成手段と、を備え、制御手段は、過去の商品の認識結果に含まれる商品の陳列位置から、ガイドマークの撮影画像上における位置を推定し、推定した位置にガイドマークを表示させるように制御する。 A planogram information generating system according to an aspect of the present invention includes display means for displaying a captured image of a product shelf, and a guide mark that is referred to by a photographer to determine a shooting position. a control means for controlling display means to display a guide mark representing the position of a product; The control means estimates the position of the guide mark on the photographed image from the product display position included in the past product recognition results, and controls to display the guide mark at the estimated position.
また、本発明の一態様に係る棚割情報生成方法は、商品棚が撮影された撮影画像を表示し、撮影者が撮影位置を決定するために参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示手段に表示させるように制御し、撮影画像から認識された商品が、商品棚に配置された状態を示す棚割情報を生成し、過去の商品の認識結果に含まれる商品の陳列位置から、ガイドマークの撮影画像上における位置を推定し、推定した位置にガイドマークを表示させるように制御する。 Further, a method for generating planogram information according to an aspect of the present invention displays a photographed image of a product shelf, and is a guide mark that is referred to by a photographer to determine the photographing position. A guide mark indicating a position is controlled to be displayed on a display means, and planogram information indicating a state in which a product recognized from a photographed image is arranged on a product shelf is generated and included in past product recognition results. The position of the guide mark on the photographed image is estimated from the display position of the product displayed, and control is performed so that the guide mark is displayed at the estimated position.
なお、上記各システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。 A computer program for realizing each of the above systems or methods by a computer, and a computer-readable non-transitory recording medium storing the computer program are also included in the scope of the present invention.
本発明によれば、精度がより安定化した棚割情報を生成することができる。 According to the present invention, it is possible to generate planogram information with more stable accuracy.
＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図１は、本実施の形態に係る棚割情報生成装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る棚割情報生成装置１０は、制御部１１と、生成部１２とを備えている。
<First embodiment>
A first embodiment of the present invention will be described with reference to the drawings. In this embodiment, a basic configuration for solving the problems of the present invention will be described. FIG. 1 is a functional block diagram showing an example of the functional configuration of a shelf allocation
制御部１１は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、商品棚を撮影する撮像装置の画面に表示させるように制御する。例えば、制御部１１は、上記ガイドマークの位置および大きさを、表示される画面のサイズに応じた位置および大きさに変換し、上記画面の上記変換した位置に、変換した大きさのガイドマークを表示させる。
The
生成部１２は、ガイドマークを参照して撮影された撮影画像から認識された商品が商品棚に配置された状態（商品陳列状態とも呼ぶ）を示す棚割情報を生成する。このとき、生成部１２は、撮像装置の画面上のガイドマークの位置に対応する、撮影画像上の位置を示す位置情報と、商品の認識結果とに基づいて、上記棚割情報を生成する。撮影画像上の位置を示す位置情報は、例えば、該撮影画像に含まれる商品棚の棚板の位置を示す情報や該商品棚の領域を示す情報である。商品の認識結果とは、撮影画像から認識された商品を示す情報である。
The generating
このように、本実施の形態に係る棚割情報生成装置１０は、撮影位置の決定に参照されるガイドマークを、商品棚を撮影する撮像装置の画面に表示させる。これにより、撮影者は、画面に表示されたガイドマークを参照し、該ガイドマークを基準として、商品棚を撮影することができる。これにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質を均一化することができる。
In this manner, the shelf allocation
また、生成部１２は、このように撮影された撮影画像から認識された商品が、商品棚に配置された状態を示す棚割情報を、画面上のガイドマークの位置に対応する撮影画像上の位置を示す位置情報に基づいて生成する。この認識された商品は、属人性が低減され、品質が均一化された撮影画像から認識された商品である。また、ガイドマークは商品棚の位置を表すため、画面上のガイドマークの位置に対応する撮影画像上の位置に、商品棚が含まれる。したがって、生成部１２が生成する棚割情報によって示される商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。また、撮影画像の品質が均一化されることにより、撮影画像から認識された商品の精度も均一化される。したがって、棚割情報生成装置１０は、精度がより安定化した棚割情報を生成することができる。
In addition, the generating
＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本発明の第２の実施の形態について、図面を参照して説明する。図２は、本実施の形態に係る棚割情報生成システム１の全体構成の一例を示す図である。図２に示す棚割情報生成システム１は、棚割情報生成装置１００と、撮像装置２００とを含む。棚割情報生成装置１００は、上述した棚割情報生成装置１０の構成を含む。また、図３は、本実施の形態に係る棚割情報生成システム１の利用シーンを説明するための図である。図４は、本実施の形態に係る棚割情報生成システム１の機能構成の一例を示す機能ブロック図である。なお、図４は、本発明に特有な構成について示したものであり、図４に示す棚割情報生成システム１の各装置が図４に示されていない部材を有していてもよいことは言うまでもない。
<Second Embodiment>
Next, a second embodiment of the present invention based on the first embodiment described above will be described with reference to the drawings. FIG. 2 is a diagram showing an example of the overall configuration of the shelving allocation
図３に示す通り、本実施の形態に係る棚割情報生成システム１は、撮影者が、店舗内に設置されている商品棚２０に陳列されている商品を、撮像装置２００を用いて撮影し、撮影した撮影画像から棚割情報を生成する場合に用いられる。本実施の形態に係る棚割情報生成システム１では、棚割情報生成装置１００が、撮像装置２００に、撮像装置２００によって商品棚２０を撮影する際の撮影位置を決定するために用いられる目印（以下、ガイドマークと呼ぶ）を、ネットワーク３００を介して送信する。撮影者がガイドマークを基準として、商品棚２０を撮影すると、撮影された撮影画像を示すデータ（画像データ）が撮像装置２００からネットワーク３００を介して棚割情報生成装置１００に送信される。棚割情報生成装置１００は、店舗内に設けられるものであってもよいし、例えば、データセンタのような店舗とは別の場所に設けられるものであってもよい。棚割情報生成装置１００は、撮像装置２００からネットワーク３００を介して送信された画像データを受信し、受信した画像データを用いて、認識処理を行い、棚割情報を生成する。
As shown in FIG. 3, in the planogram
撮像装置２００と棚割情報生成装置１００との間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）の何れを介した通信であってもよい。撮像装置２００と、棚割情報生成装置１００との間の通信は、撮像装置２００の構成等に応じで適宜採用することが好ましい。このように、棚割情報生成装置１００と撮像装置２００との間の通信方法は、さまざまな方法が考えられるが、本実施の形態の本質にかかわらないため、詳細な説明は省略する。
Communication means between the
なお、商品棚２０を撮影する撮像装置２００は、本実施の形態では、携帯電話端末、スマートフォン、デジタルカメラ、タブレット等、撮像機能と表示機能とを備えた端末であるとする。
In this embodiment, the
本実施の形態において、商品棚２０は、多段式の棚であり、上から順に１段目、２段目、・・・、とする。また、以降では、単に棚と呼ぶ場合、商品棚２０の全体をさし、商品が陳列される部分（商品棚２０の内部空間）を棚段、または、単に段と呼ぶ。また、本実施の形態では、棚板とは商品が乗せられる板であり、商品棚２０内に設けられた板および商品棚２０の最下段の底板を含む。
In this embodiment, the
（撮像装置２００）
撮像装置２００は、図４に示す通り、撮影部２１０と、表示部２２０と、入力部２３０と、制御部２４０とを備えている。撮影部２１０は、静止画像または動画像を撮影する。撮影部２１０は、例えば、レンズ（不図示）と撮像素子（不図示）とによって実現される。撮影部２１０は、撮影した画像が静止画像の場合、該静止画像を示す画像データを制御部２４０に出力する。また、撮影した画像が動画像の場合、撮影部２１０は、該動画像から逐次得られる画像データを、制御部２４０に出力する。以降、撮影部２１０が撮影し、制御部２４０に出力した静止画像の画像データまたは動画像の画像データを、単に画像データとも呼ぶ。
(Imaging device 200)
The
表示部２２０は、表示画面を有し、制御部２４０からの指示に基づき、撮影部２１０が撮影した撮影画像を表示画面に表示する。表示部２２０は、例えば、液晶ディスプレイによって実現される。また、表示部２２０は、いわゆるファインダ画像を表示する。これにより、表示部２２０は、ファインダとして機能する。なお、表示部２２０にファインダ画像を表示する機能は一般的であるため、詳細な説明を省略する。
The
入力部２３０は、ユーザ（例えば、撮影者）からの入力操作を検出する。本実施の形態では、入力部２３０と、表示部２２０とは、タッチパネルとして一体に形成されているとする。また、入力部２３０は、撮像装置２００に備えられた入力装置（例えば、電源ボタン等）を含んでもよい。入力部２３０は、ユーザによって、タッチパネルの画面（表示部２２０）上で入力操作が行われると、ユーザの入力操作が行われた位置（入力位置）を検出する。そして、入力部２３０は、検出した入力位置を示す入力位置情報を、制御部２４０に出力する。また、入力部２３０は、ユーザによって上記入力装置に対する入力操作が行われると、その入力操作の内容（入力内容）を検出する。入力部２３０は、検出した入力内容を制御部２４０に出力する。
The
制御部２４０は、撮像装置２００内の各部を制御する。制御部２４０は、撮影部２１０から画像データを受け取り、該画像データを、表示部２２０に撮影画像として表示させる表示制御を行う。これにより表示部２２０は、撮影画像を表示する。また、制御部２４０は、この画像データを、棚割情報生成装置１００に送信する。また、制御部２４０は、表示部２２０に、ファインダ画像を表示するよう制御する。
The
また、制御部２４０は、棚割情報生成装置１００から受信した表示指示に基づいた画像を、表示部２２０に表示させる。なお、この処理については、フローチャートを用いて後述する。
Further, the
また、制御部２４０は、入力部２３０から送信された、入力位置情報を受信する。そして、制御部２４０は、表示部２２０に表示された画像に応じて、入力位置情報によって示される入力位置における入力操作に関連する処理を実行する。例えば、表示部２２０に商品棚２０を示す情報（例えば、商品棚の種別や型番等）や、店舗を選択する画面が表示されている場合、制御部２４０は、入力位置に表示されている選択項目が選択されたことを検出する。そして、制御部２４０は、選択項目によって示される情報（選択情報）を、棚割情報生成装置１００に送信する。選択情報には、例えば、棚割情報を生成する対象となる商品棚２０を示す情報や、該商品棚２０が配置された店舗を示す情報等が含まれる。
Also, the
また、例えば、表示部２２０に撮影を指示するオブジェクト（例えば、シャッターを示すボタン）が表示されており、入力位置がこのオブジェクトの位置であった場合、制御部２４０は、オブジェクトが示す機能である撮影を実行するよう、撮影部２１０に指示する。また、制御部２４０は、入力部２３０が検出した入力内容に従った処理を実行する。
Further, for example, when an object (for example, a button indicating a shutter) is displayed on the
（棚割情報生成装置１００）
次に、棚割情報生成装置１００について説明する。棚割情報生成装置１００は、図４に示す通り、制御部１１０と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１５０と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１５０とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１５０は、夫々、棚割情報生成装置１００とは別個の記憶装置にて実現されるものであってもよい。
(Planogram information generation device 100)
Next, the planogram
第２の記憶部１５０には、ガイドマークに関する情報が格納されている。具体的には、第２の記憶部１５０には、例えば、ガイドマークの形状やガイドマークの位置などの情報が、ガイドマークによって位置が示される商品棚を示す情報に関連付けられて格納されている。上記商品棚を示す情報とは、例えば、商品棚を示す識別子等である。また、ガイドマークに関する情報は、店舗を示す店舗を示す識別子（例えば、店舗番号等）に関連付けて格納されていてもよい。
The
ガイドマークに関する情報は、ガイドマークを示す画像であってもよい。また、ガイドマークに関する情報のうち、ガイドマークの位置は、例えば、該ガイドマークを表示する画面の大きさや撮影画像の大きさに応じた相対的な座標値で格納されていてもよい。また、ガイドマークに関する情報には、所定のメッセージが含まれていてもよい。 The information about the guide mark may be an image showing the guide mark. Further, among the information about the guide marks, the positions of the guide marks may be stored as relative coordinate values according to the size of the screen on which the guide marks are displayed or the size of the captured image. Also, the information about the guide mark may include a predetermined message.
本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。以下、ガイドマークに関する情報をガイドマーク情報とも呼ぶ。
In this embodiment, the guide marks are assumed to be one or more line segments indicating the positions of the shelf boards of the
制御部１１０は、商品棚を撮影する撮像装置２００に、第２の記憶部１５０に格納されたガイドマーク情報を送信する。このとき、制御部１１０は、撮像装置２００から、棚割情報を生成する対象となる商品棚２０に関する情報（例えば、上述した選択情報）を受信した場合、該選択情報に従って、撮像装置２００に送信するガイドマーク情報を、第２の記憶部１５０から選択し、選択したガイドマーク情報を送信する。具体的には、制御部１１０は、選択情報によって指定された商品棚２０および／または店舗と一致する商品棚２０および／または店舗を示す情報に関連付けられたガイドマーク情報を、第２の記憶部１５０から取得する。そして、制御部１１０は、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２００に送信する。また、制御部１１０は、生成部１２０にも上記ガイドマーク情報を出力する。
The
なお、制御部１１０が上記ガイドマーク情報および表示指示を撮像装置２００に送信するタイミングは、例えば、撮像装置２００と通信可能になった時点であってもよい。また、上記タイミングは、撮像装置２００が表示部２２０にファインダ画像を表示している旨の通知を、撮像装置２００から受け取った時点であってもよい。また、撮像装置２００から選択情報を受信する構成の場合、制御部１１０が上記ガイドマーク情報および表示指示を撮像装置２００に送信するタイミングは、選択情報を受信した時点であってもよい。本実施の形態では、制御部１１０が撮像装置２００から選択情報を受信する構成であるとして説明を行う。
The timing at which the
また、制御部１１０がガイドマーク情報を撮像装置２００に送信するタイミングと生成部１２０に出力するタイミングは、同時であってもよいし、異なるタイミングであってもよい。なお、異なるタイミングの場合、制御部１１０は、生成部１２０が棚割情報を生成する前までに送信すればよい。
Further, the timing at which the
なお、制御部１１０が撮像装置２００から受信する選択情報が、店舗の場所を示す場所情報の場合、受信した場所情報と一致する、または、受信した場所情報の所定の範囲内に存在する店舗または商品棚を特定してもよい。この場合、第２の記憶部１５０には、店舗または商品棚を特定する情報が、店舗の場所を示す情報に関連付けて格納されていればよい。そして、制御部１１０は、特定した店舗または商品棚を示す情報に関連付けられたガイドマーク情報を棚割情報生成装置１００に送信してもよい。
When the selection information received by the
第１の記憶部１３０には、撮像装置２００によって撮影された撮影画像であって、撮像装置２００から送信された画像データが示す撮影画像に含まれる商品を認識するための情報が格納されている。具体的には、第１の記憶部１３０には、商品の画像（マスタ画像とも呼ぶ）、および／または、商品の画像に含まれる特徴量が、商品を識別する情報（例えば、商品を識別するための識別子、商品名等）に紐付けられて、格納されている。ここで、マスタ画像とは、商品に関するデータの一部であり、該商品の外観を示す画像である。本実施の形態では、商品に関するデータを、商品マスタとも呼ぶ。商品マスタには、マスタ画像の他に、例えば、該商品の売上データ、棚卸データ、商品分類、メーカ名、商品名等が含まれる。なお、商品マスタに含まれる情報は、商品に関するデータであればよく、上述した情報以外の情報が含まれていてもよい。なお、第１の記憶部１３０に格納される情報は、商品を認識するために必要な情報であればよい。また、商品を識別するための情報は、上記に限定されるものではなく、商品が特定可能なものであればよい。
The
認識部１４０は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。そして、第１の記憶部１３０に格納された、商品を認識するための情報を参照し、受信した画像データに基づいて、該画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４０が商品を認識する方法は、例えば、局所特徴量、テンプレート、輝度、エッジ、外形、形状、色情報、デプス等を用いるものであってもよいし、その他の情報を用いるものであってもよい。認識部１４０が商品を認識する方法は特に限定されず、一般的な認識手法であってもよいため、本明細書では詳細な説明を省略する。
The
認識部１４０は、撮影画像を示す情報と、該撮影画像から認識した商品を示す情報と、その位置を示す情報とを認識結果として、生成部１２０に出力する。撮影画像を示す情報は、撮影画像を示す画像データそのものであってもよいし、該撮影画像を特定する情報であってもよい。一般的に商品棚２０には、複数の商品が陳列されている。そのため、商品棚２０を撮影した撮影画像には、複数の商品の画像が含まれている。よって、認識部１４０は、認識した、複数の商品の夫々を示す情報と、各商品が陳列されている位置を示す情報（陳列位置情報）とを出力する。各商品の陳列位置情報は、例えば、各商品の撮影画像内における位置を示す座標である。陳列位置情報は、各商品の中心座標であってもよいし、各商品の中央下部（ボトムセンター）の座標であってもよい。なお、本実施の形態では、各商品の陳列位置情報は、ボトムセンターの座標であるとする。また、各商品を示す情報とは、認識された商品を特定可能な情報であればよく、例えば、商品名であってもよいし、商品を識別する識別子であってもよい。また、各商品を示す情報には、各商品のマスタ画像および／または撮影画像内から切り出した、対応する商品の画像が含まれていてもよい。
The
認識部１４０が出力する認識結果の例を図５に示す。図５は、認識部１４０が出力する認識結果の一例を示す図である。図５に示す認識結果には、撮影画像を示す情報として、「画像１」で示す画像名が含まれる。また、図５に示す認識結果には、認識した商品を示す情報として、商品名が含まれる。また、図５に示す認識結果には、認識した商品の撮影画像上の位置を示す情報として、商品のボトムセンターの座標が含まれる。認識部１４０は、図５に示す通り、商品名が「商品Ａ」の商品は、ボトムセンターの座標が（４８、２２０）である位置に、配置されているという認識結果を出力する。なお、撮影画像の座標系は、縦軸をｘ軸、横軸をｙ軸、左上隅を原点であるとする。
FIG. 5 shows an example of recognition results output by the
生成部１２０は、制御部１１０からガイドマーク情報を受信する。また、生成部１２０は、認識部１４０から、撮影画像を示す情報を含む認識結果を受信する。生成部１２０は、認識部１４０から受信した撮影画像を示す情報によって特定される撮影画像のサイズに応じて、受信したガイドマーク情報によって示されるガイドマークの表示位置を変換する。この変換後のガイドマークの、撮影画像上の表示位置は、表示部２２０に表示されたガイドマークの位置に対応する位置となる。なお、生成部１２０は、認識部１４０から認識結果を受信する前に、ガイドマークの表示位置を変換してもよい。例えば、認識部１４０が商品の認識を行っている場合は、生成部１２０は、該商品の認識を行う対象である撮影画像を示す情報を認識部１４０から取得してもよい。また、生成部１２０は、撮像装置２００が撮影する撮影画像のサイズを、撮像装置２００から予め受信してもよい。
The
生成部１２０は、変換後のガイドマークの、撮影画像上の表示位置を示す情報と、認識部１４０による商品の認識結果とに基づいて、認識部１４０において認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。
The generating
ここで、上述したとおり、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分である。そのため、生成部１２０は、撮影画像上において、該撮影画像から認識された商品が、該撮影画像上のガイドマークの表示位置に配置された状態を示す棚割情報を生成する。
Here, as described above, in this embodiment, the guide mark is one or more line segments indicating the position of the shelf board of the
（棚割情報生成システム１の処理の流れ）
次に、棚割情報生成システム１における処理の流れについて説明する。図６は、本実施の形態に係る棚割情報生成システム１における処理の流れの一例を示すフローチャートである。図６においては、撮像装置２００の処理を左側に、棚割情報生成装置１００の処理を右側に示している。また、撮像装置２００に対するフローチャートと、棚割情報生成装置１００に対するフローチャートとの間の破線の矢印は、情報の伝達を示している。
(Processing flow of planogram information generation system 1)
Next, the flow of processing in the planogram
まず、撮像装置２００の画面上において、棚割情報を生成する対象となる商品棚２０が選択されると、制御部２４０は、選択情報を棚割情報生成装置１００に送信する（ステップＳ５１）。
First, when a
棚割情報生成装置１００の制御部１１０は、撮像装置２００から送信された選択情報を受信し（ステップＳ６１）、該選択情報によって示される商品棚２０に関する情報および／または店舗に関する情報に関連付けられたガイドマーク情報を第２の記憶部１５０から取得する。そして、制御部１１０は、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２００に送信する（ステップＳ６２）。このとき、制御部１１０は、取得したガイドマーク情報を、生成部１２０にも出力する。
The
撮像装置２００の制御部２４０は、棚割情報生成装置１００から送信されたガイドマーク情報および表示指示を受信する（ステップＳ５２）。制御部２４０は、表示指示に基づき、画面サイズに応じて、ガイドマーク情報によって示されるガイドマークの大きさや表示位置を変換し、変換したガイドマークを含むガイドマーク画像を生成する（ステップＳ５３）。
The
そして、制御部２４０は、ファインダ画像上に、ステップＳ５３にて生成したガイドマーク画像を重畳させて、表示部２２０に表示させる（ステップＳ５４）。
Then, the
図７に、表示部２２０に表示される画像の一例を示す。図７に示す通り、表示部２２０には、商品棚２０を含むファインダ画像上に、太線で示すガイドマーク９を含むガイドマーク画像が、重畳して表示されている。これにより、撮像装置２００は、このガイドマーク９と商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。
FIG. 7 shows an example of an image displayed on the
そして、撮影者が、この表示されたガイドマーク９を基準として撮影位置を決定し、決定した撮影位置において、商品棚２０を撮影する指示を撮像装置２００に入力すると、該撮影指示に応じて、撮影部２１０が、商品棚２０を撮影する（ステップＳ５５）。制御部２４０は、撮影した撮影画像を示す画像データを棚割情報生成装置１００に送信する（ステップＳ５６）。以上により、撮像装置２００の処理を終了する。
When the photographer determines the photographing position based on the displayed
その後、棚割情報生成装置１００の認識部１４０は、撮像装置２００から送信された撮影画像を示す画像データを受信する（ステップＳ６３）。そして、認識部１４０は、ステップＳ６３で受信した画像データを用いて、該画像データによって示される撮影画像内に含まれる商品を認識する（ステップＳ６４）。
After that, the
生成部１２０は、商品の認識を行った撮影画像のサイズに応じて、制御部１１０から出力されたガイドマーク情報によって示されるガイドマークの表示位置を変換する（ステップＳ６５）。なお、ステップＳ６５は、ステップＳ６４の前に行われてもよいし、ステップＳ６４と同時に行われてもよい。
The
そして、生成部１２０は、変換後のガイドマークの、撮影画像上の表示位置を示す情報と、ステップＳ６４で認識部１４０が商品の認識を行った結果である認識結果とに基づいて、棚割情報を生成する（ステップＳ６６）。以上により、棚割情報生成装置１００の処理を終了する。
Then, the generating
生成部１２０が生成する棚割情報は、商品棚２０の段の位置と商品を示す情報とその商品の配置位置とが順に並べられた文字列であってもよいし、表の形式であってもよいし、その他の形式であってもよい。生成部１２０は、例えば、棚割情報生成装置１００内の図示しない表示部に、表示させる画像を棚割情報として生成してもよい。図８は、生成部１２０が生成した棚割情報であって、表示部に表示させる画像の形式で生成された棚割情報の一例を示す図である。
The shelving allocation information generated by the
図８の各商品内のアルファベットは、商品名の最後の文字を示している。図８において、例えば、商品名が「商品Ａ」の商品は「Ａ」と示されている。生成部１２０は、図７に示す、撮像装置２００の表示部２２０に表示されたガイドマーク９の位置に対応する撮影画像上の位置を示す情報と、図５に示す認識結果とを用いて、図８に示す棚割情報を生成する。なお、図８に表示された各商品は、商品名を示す文字列であってもよいし、商品のマスタ画像であってもよいし、撮影画像内から切り出した商品の画像であってもよい。
The alphabet in each product in FIG. 8 indicates the last character of the product name. In FIG. 8, for example, a product whose product name is “product A” is indicated as “A”. The
本実施の形態では、生成部１２０が、撮影画像のサイズに応じて、ガイドマーク情報によって示されるガイドマークの表示位置を変換することについて説明したが、この変換処理は、制御部１１０が行ってもよい。この場合、制御部１１０は、変換した、ガイドマークの表示位置を生成部１２０に出力し、生成部１２０は受信した表示位置に基づいて、棚割情報を生成すればよい。
In the present embodiment,
（効果）
以上のように、棚割情報生成装置１００は、上述した第１の実施の形態に係る棚割情報生成装置１０と同様に、精度がより安定化した棚割情報を生成することができる。
(effect)
As described above, the planogram
また、本実施の形態では、ガイドマークは、棚割情報を生成する対象となる商品棚２０の棚板の位置を表している。そのため、このガイドマークを参照して撮影された撮影画像上に対応するガイドマークの位置は、商品棚２０の棚板の位置となる。そして、生成部１２０は、撮影画像上におけるガイドマークの位置を示す位置情報と認識結果とに基づいて、位置情報によって示される、撮影画像上のガイドマークの位置に、商品が配置された状態を示す棚割情報を生成する。したがって、生成部１２０が生成する棚割情報によって示される商品の陳列位置は、実際の陳列位置をより正確に再現したものとなる。したがって、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１００は、より高精度な棚割情報を生成することができる。
Further, in the present embodiment, the guide mark indicates the position of the shelf board of the
（変形例１）
本実施の形態の変形例１について図９を参照して説明する。図９は、撮像装置２００の表示部２２０に表示される画像の他の例を示す図である。
(Modification 1)
商品棚２０の大きさが大きすぎる場合、撮像装置２００の表示部２２０に、商品棚２０の全体が写らない場合がある。また、撮影対象の商品棚２０が設置された店舗の通路の幅が狭いなどの理由により、撮像装置２００の表示部２２０に、商品棚２０の全体が写らない場合がある。また、サイズの小さい商品を陳列するための商品棚２０の場合、商品の認識率を高めるために、商品棚２０に近接して撮影する場合もある。このような場合、例えば、図９に示すように、棚割情報生成装置１００の制御部１１０は、撮像装置２００の表示部２２０に撮影方法を促すメッセージ８を表示させるよう制御してもよい。
If the size of the
このとき、第２の記憶部１５０には、ガイドマーク情報として、商品棚２０の上部または下部の情報が含まれていてもよい。この商品棚２０の上部または下部の情報は、商品棚２０のサイズ、商品棚２０が設置された店舗、商品棚２０の種別等に応じて、予め格納されている。そして、上述したステップＳ６１において、制御部１１０は、選択情報を受信し、ガイドマーク情報を第２の記憶部１５０から取得する。そして、制御部１１０は、取得した選択情報に関連付けられた該ガイドマーク情報に含まれる、商品棚２０の上部または下部の情報から、撮影対象の商品棚２０が上下に分けて撮影する対象の商品棚２０であると特定する。その後、制御部１１０は、表示部２２０に、例えば、図９に示す通り、上下に分けて撮影することを促すメッセージとして、「この商品棚は、上下に分けて撮影してください」を表示させるよう制御する。
At this time, the
また、制御部１１０は、ガイドマーク情報に含まれる、商品棚２０の上部または下部の情報に応じて、更なるメッセージを表示部２２０に表示させてもよい。例えば、ガイドマーク情報に、商品棚２０の上部の情報が含まれる場合、制御部１１０は、図９に示す通り、「まず、上部を撮影してください」というメッセージを表示させるように制御してもよい。
Further, the
以上のように、棚割情報生成装置１００の制御部１１０が画面に撮影方法を促すメッセージを表示させるよう制御することにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質をより均一化することができる。
As described above, the
（変形例２）
上述した第２の実施の形態では、各商品の認識を棚割情報生成装置１００内の認識部１４０で行ったが、商品の認識は、棚割情報生成装置１００とは別個の装置で行われてもよい。つまり、第１の記憶部１３０および認識部１４０は、棚割情報生成装置１００とは別個の装置で実現されてもよい。この場合、棚割情報生成装置１００は、認識結果を上記別個の装置から受信する。これにより、棚割情報生成装置１００は、棚割情報生成装置１００に掛かる処理負荷を低減することができる。また、認識部１４０が棚割情報生成装置１００とは別個の装置で実現される場合であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。
(Modification 2)
In the above-described second embodiment, recognition of each product is performed by the
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、図面を参照して説明する。図１０は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。
<Third Embodiment>
Next, a third embodiment of the invention will be described with reference to the drawings. FIG. 10 is a functional block diagram showing the functional configuration of the planogram
なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す２以上の線分であるとする。また、本実施の形態では、商品棚２０の棚板は、商品が乗せられる板（商品棚２０内に設けられた板および商品棚２０の最下段の底板）と、商品棚２０の天板とを含む。
また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。
In this embodiment, the guide marks are assumed to be two or more line segments indicating the positions of the shelf boards of the
Also, assume that the information about the guide mark is an image showing the guide mark.
図１０に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０１と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。
As shown in FIG. 10 , the planogram
棚割情報生成装置１０１は、制御部１１１と、生成部１２１と、第１の記憶部１３０と、認識部１４１と、第２の記憶部１５０と、を備えている。
The planogram
制御部１１１は、上述した制御部１１０の機能を有する。制御部１１１は、更に、認識部１４１が受信した画像データによって示される撮影画像のサイズを、認識部１４１から受け取る。そして、制御部１１１は、撮影画像のサイズに応じて、ガイドマーク情報によって示されるガイドマークの表示位置を変換する。この変換処理は、上述した生成部１２０で説明した変換処理と同様であるため、詳細な説明を省略する。
The
そして、制御部１１１は、変換後のガイドマークの撮影画像上の表示位置を示す情報（位置情報とも呼ぶ）を、認識部１４１および生成部１２１に出力する。
Then, the
認識部１４１は、撮像装置２００から、商品棚２０を撮影した撮影画像の画像データを受信する。また、認識部１４１は、制御部１１１から変換後のガイドマークの撮影画像上の表示位置を示す情報を受信する。認識部１４１は、画像データと、ガイドマークの表示位置とを用いて、第１の記憶部１３０を参照し、受信した画像データによって示される撮影画像から、該撮影画像に含まれる商品を認識する。認識部１４１は、商品の認識を行う際、ガイドマークが全て含まれる範囲内の商品を認識する。言い換えれば、認識部１４１は、ガイドマークが含まれない範囲の商品の認識を行わない。これにより、認識部１４１は、認識処理を行う対象となる商品の量を減らすことができるため、認識処理の処理量および処理時間を減らすことができる。また、認識部１４１は、棚割情報を生成する対象の商品棚２０（対象商品棚と呼ぶ）以外の商品棚に陳列された商品の認識を行わないため、対象商品棚に陳列されていない商品を、対象商品棚に陳列された商品であると認識することを防ぐことができる。
The
その後、認識部１４１は、認識部１４０と同様に認識結果を生成部１２１に出力する。
After that, the recognizing
生成部１２１は、制御部１１１から受信した、変換後のガイドマークの撮影画像上の表示位置を示す情報と、認識部１４１による商品の認識結果とに基づいて、認識部１４１において認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。
The
ここで、上述したとおり、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す２以上の線分である。そのため、生成部１２１は、撮影画像上において、該撮影画像から認識された商品が、該撮影画像上のガイドマークの内、天板の位置を示すガイドマーク以外のガイドマークの表示位置に配置された状態を示す棚割情報を生成する。
Here, as described above, in this embodiment, the guide marks are two or more line segments indicating the positions of the shelf boards of the
（効果）
以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態に係る棚割情報生成システム１の棚割情報生成装置１０１では、認識部１４１が、ガイドマークの撮影画像上の表示位置を示す位置情報に基づいて、商品を認識する。したがって、本実施の形態に係る棚割情報生成システム１の生成部１２１は、上記位置情報に基づいて認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。これにより、棚割情報生成装置１０１は、棚割情報の生成の対象である対象商品棚に陳列されていない商品を、対象商品棚に陳列された商品であると認識することを防ぐことができる。よって、棚割情報生成装置１０１は、対象商品棚に含まれる商品以外の商品が棚割情報に含まれることを防ぐことができ、より精度が高い棚割情報を生成することができる。
(effect)
As described above, the planogram
また、本実施の形態に係る棚割情報生成装置１０１の第１の記憶部１３０および認識部１４１は、上述した第２の実施の形態の変形例における棚割情報生成システム１と同様に、棚割情報生成装置１０１とは別個の装置で実現されてもよい。
In addition, the
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について、図面を参照して説明する。図１１は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した第２または第３の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。
<Fourth Embodiment>
Next, a fourth embodiment of the present invention will be described with reference to the drawings. FIG. 11 is a functional block diagram showing the functional configuration of the planogram
上述した第２および第３の実施の形態では、商品棚２０を示す情報および／または商品棚２０が設置された店舗を示す情報を、撮影者が選択することについて説明したが、本実施の形態はこれに限定されない。本実施の形態では、撮像装置が、商品棚２０が設置された店舗を示す情報を、撮影者が入力することなく送信する方法について説明する。
In the above-described second and third embodiments, it has been described that the photographer selects the information indicating the
図１１に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０２と、撮像装置２０２とを備えている。撮像装置２０２は、撮影部２１０、表示部２２０、制御部２４０および取得部２５０を備えている。なお、撮像装置２０２は、上述した第２および第３の実施の形態に係る撮像装置２００と同様に、入力部２３０を更に備えていてもよい。
As shown in FIG. 11, the planogram
取得部２５０は、自装置の場所を測定することによって、自装置の場所を取得する。取得部２５０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどによって実現される。取得部２５０は取得した場所を示す場所情報を、制御部２４０に出力する。制御部２４０は、取得部２５０から取得した場所情報を棚割情報生成装置１０２に送信する。
The
棚割情報生成装置１０２は、図１１に示す通り、制御部１１２と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１６２とを備えている。なお、第１の記憶部１３０と、第２の記憶部１６２とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１６２は、夫々、棚割情報生成装置１０２とは別個の記憶装置にて実現されるものであってもよい。
The planogram
第２の記憶部１６２には、上述した第２の記憶部１５０と同様に、ガイドマークに関する情報が格納されている。また、第２の記憶部１６２には、店舗を特定する情報（例えば、店舗番号）が、店舗の場所を示す情報に関連付けて格納されている。なお、第２の記憶部１６２には、店舗内の商品棚２０を特定する情報（例えば、商品棚２０の種別等）が更に含まれていてもよい。
The
制御部１１２は、撮像装置２０２から送信された場所情報を受信する。そして、制御部１１２は、第２の記憶部１６２を参照し、受信した場所情報と一致する、または、受信した場所情報の所定の範囲内に存在する店舗または商品棚を特定する。そして、制御部１１２は、特定した店舗または商品棚を示す情報に関連付けられたガイドマーク情報を、第２の記憶部１６２から取得する。そして、制御部１１２は、上述した制御部１１０と同様に、取得したガイドマーク情報と共に、該ガイドマーク情報によって示されるガイドマークを、表示部２２０に表示させる表示指示を撮像装置２０２に送信する。
The
本実施の形態における棚割情報生成装置１０２の認識部１４０および生成部１２０の動作は、上述した第２の実施の形態における認識部１４０および生成部１２０の動作と同様であるため、説明を省略する。
The operations of the recognizing
以上のように、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態の棚割情報生成システム１と同様の効果を得ることができる。また、本実施の形態によれば、制御部１１２が撮像装置２０２の場所を受信することにより、撮影対象の商品棚２０の情報または、該商品棚２０が設置された店舗を特定する。これにより、撮影者が、商品棚２０が設置された店舗を示す情報を入力しなくても、棚割情報生成装置１０２は、棚割情報を生成することができる。
As described above, the planogram
また、本実施の形態に係る棚割情報生成装置１０２は、上述した第３の実施の形態に係る棚割情報生成装置１０１と同様に、制御部１１２が認識部１４０にガイドマーク情報を出力する構成であってもよい。そして、認識部１４０は、ガイドマークの撮影画像上の表示位置を示す位置情報に基づいて、商品を認識し、生成部１２０は、上記位置情報に基づいて認識された商品が、商品棚２０に配置された状態を示す棚割情報を生成する。これにより、本実施の形態に係る棚割情報生成システム１は、上述した第３の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。
In addition, in the planogram
また、本実施の形態に係る棚割情報生成装置１０２は、上述した第２の実施の形態の変形例１と同様に、制御部１１２が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。
Further, in the planogram
また、本実施の形態に係る棚割情報生成装置１０２の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０２とは別個の装置で実現されてもよい。
In addition, the
このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。
Even with such a configuration, the shelving allocation
＜第５の実施の形態＞
次に、本発明の第５の実施の形態について、図面を参照して説明する。図１２は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。
<Fifth Embodiment>
Next, a fifth embodiment of the present invention will be described with reference to the drawings. FIG. 12 is a functional block diagram showing the functional configuration of the planogram
図１２に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０３と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。
As shown in FIG. 12 , the planogram
棚割情報生成装置１０３は、制御部１１３と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１７３と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１７３とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１７３は、夫々、棚割情報生成装置１０３とは別個の記憶装置にて実現されるものであってもよい。
The planogram
認識部１４０は、商品の認識を行うと、第２の記憶部１７３に商品の認識結果を格納する。認識部１４０は、例えば、図５に示す認識結果に、商品認識の対象となる商品棚２０を示す情報を関連付けて、第２の記憶部１７３に格納する。このとき、認識部１４０は、認識を行った日付または撮影画像の日付を、認識結果に含めてもよい。また、認識部１４０は、店舗に関する情報を、認識結果に関連付けてもよい。以降、第２の記憶部１７３に格納された認識結果を含む情報を、認識履歴とも呼ぶ。
After recognizing the product, the
制御部１１３は、棚割情報を生成する対象となる商品棚２０に関する情報を、撮像装置２００から受信する、または、場所情報から特定する。そして、制御部１１３は、受信または特定した情報に関連付けられた認識結果に含まれる、商品の陳列位置を示す陳列位置情報を、第２の記憶部１７３から取得する。制御部１１３は、この陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する。例えば、認識した商品の撮影画像上の位置を示す情報が、図５に示す通り、商品のボトムセンターの座標である場合、制御部１１３は、例えば、ハフ変換によって、直線を算出する。商品は、棚板の上に陳列されている。よって、算出された直線は、撮影画像上における棚板の部分を含む直線であると推定される。したがって、制御部１１３は、この算出した直線を、棚板の位置と推定する。
The
そして、制御部１１３は、推定した撮影画像上の棚板の位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させる指示を、撮像装置２００に送信する。ここで、ガイドマークの形状（本実施の形態では、線分）を示す情報は、予め第２の記憶部１７３に格納されていてもよいし、撮像装置から指定されてもよい。また、ガイドマークの形状は、制御部１１３が推定した位置から導出されてもよい。これにより、撮像装置２００の制御部２４０は、ガイドマークを、表示部２２０に表示させる。よって、撮像装置２００は、過去の認識結果に基づいたガイドマークと商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。
Then, the
（棚割情報生成システム１の処理の流れ）
次に、棚割情報生成システム１における処理の流れについて説明する。図１３は、本実施の形態に係る棚割情報生成システム１における処理の流れの一例を示すフローチャートである。図１３においては、撮像装置２００の処理を左側に、棚割情報生成装置１０３の処理を右側に示している。また、撮像装置２００に対するフローチャートと、棚割情報生成装置１０３に対するフローチャートとの間の破線の矢印は、情報の伝達を示している。なお、上述した図６に示すフローチャートと同じ処理については、同じ符号を付している。
(Processing flow of planogram information generation system 1)
Next, the flow of processing in the planogram
まず、撮像装置２００の画面上において、棚割情報を生成する対象となる商品棚２０が選択されると、制御部２４０は、選択情報を棚割情報生成装置１０３に送信する（ステップＳ５１）。
First, when a
棚割情報生成装置１０３の制御部１１３は、撮像装置２００から送信された選択情報を受信する（ステップＳ６１）。そして、制御部１１３は、選択情報によって示される商品棚２０に関する情報および／または店舗に関する情報に関連付けられた認識履歴の陳列位置情報を第２の記憶部１７３から取得する（ステップＳ１３１）。
The
そして、制御部１１３は、取得した陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する（ステップＳ１３２）。その後、制御部１１３は、推定した棚板の位置を、ガイドマークの表示位置とし、該ガイドマークの表示位置を含むガイドマーク情報を、表示指示と共に撮像装置２００に送信する（ステップＳ１３３）。その後、棚割情報生成装置１０３および撮像装置２００は、第２の実施の形態に係る棚割情報生成装置１００および撮像装置２００と同様の処理を行う。
Then, the
以上のように、本実施の形態に係る棚割情報生成システム１によれば、制御部１１３が、過去の認識結果に含まれる商品の陳列位置を示す陳列位置情報から、ガイドマークの撮影画像上における位置を推定する。そして、制御部１１３は、推定した位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させるように制御する。
As described above, according to the planogram
同じ商品棚の場合、過去の認識結果から推定される棚板の位置は、現時点の商品棚２０の棚板の位置と同じである場合が多い。そのため、本実施の形態に係る棚割情報生成システム１によれば、上述した各実施の形態に係る棚割情報生成システム１の効果に加え、より高精度な棚割情報を生成することができる。
In the case of the same product shelf, the position of the shelf board estimated from the past recognition result is often the same as the current position of the shelf board of the
また、本実施の形態に係る棚割情報生成装置１０３は、上述した第２の実施の形態の変形例１と同様に、制御部１１３が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。
Further, in the planogram
また、本実施の形態に係る棚割情報生成装置１０３の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０３とは別個の装置で実現されてもよい。
In addition, the
このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。
Even with such a configuration, the shelving allocation
＜第６の実施の形態＞
次に、本発明の第６の実施の形態について、図面を参照して説明する。図１４は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。なお、本実施の形態では、ガイドマークは、商品棚２０の棚板の位置を示す１以上の線分であるとする。
<Sixth Embodiment>
Next, a sixth embodiment of the present invention will be described with reference to the drawings. FIG. 14 is a functional block diagram showing the functional configuration of the planogram
上述した第５の実施の形態では、ガイドマークを、認識履歴から推定することについて説明したが、本実施の形態では、ガイドマークを棚割情報の生成履歴から推定することについて説明する。 In the fifth embodiment described above, estimation of the guide mark from the recognition history has been described, but in this embodiment, estimation of the guide mark from the generation history of planogram information will be described.
図１４に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０４と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。
As shown in FIG. 14 , the planogram
棚割情報生成装置１０４は、制御部１１４と、生成部１２０と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１８４と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１８４とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１８４は、夫々、棚割情報生成装置１０４とは別個の記憶装置にて実現されるものであってもよい。
The planogram
まず、生成部１２０が生成する棚割情報について説明する。生成部１２０が生成する棚割情報は、上述した図８に示すような、図示しない表示部に表示させる画像の形式で生成された棚割情報であってもよい。また、生成部１２０が生成する棚割情報は、図１５に示すような、どの位置にどの商品が配置されるのかが分かる情報であってもよい。図１５は、棚割情報の一例を示す図である。図１５において、段番号とは、商品棚２０の棚段の位置を示す番号であり、商品棚２０の上から順に１段目、２段目、・・・、とした場合の、番号を示している。また、図１５において、スロット番号とは、ある棚段における商品の配置位置を示し、左から順に１、２、３・・・、とした場合の番号を示している。ここで、１スロットには１つの商品が配置されるとする。図１５に示す棚割情報は、図８に示す棚割情報の１段目と２段目とにそれぞれ対応するものである。
First, the planogram information generated by the
生成部１２０は、生成した棚割情報を、該棚割情報を生成した対象となる商品棚２０を示す情報（例えば、商品棚２０を示す識別子）に関連付けて、第２の記憶部１８４に格納する。以降、第２の記憶部１８４に格納された、過去の棚割情報を、棚割履歴とも呼ぶ。
The
制御部１１４は、棚割情報を生成する対象となる商品棚２０に関する情報を、撮像装置２００から受信する、または、場所情報から特定する。そして、制御部１１４は、受信または特定した情報に関連付けられた、過去の棚割情報（棚割履歴）を特定する。過去の棚割情報からは、図１５に示す通り、少なくとも、対象の商品棚２０における棚段数と棚段毎のスロット数とがわかる。これにより、制御部１１４は、商品棚２０の棚板の位置を推定する。なお、棚割履歴に、商品の情報として、商品の大きさに関する情報が含まれている場合、制御部１１４は、この大きさに関する情報を用いて棚板の位置を推定してもよい。また、棚割履歴に、商品の位置を示す座標（例えば、図５に示すようなボトムセンターの位置）が含まれている場合、制御部１１４はこの座標を用いて、棚板の位置を推定してもよい。そして、制御部１１４は、推定した撮影画像上の棚板の位置に対応する撮像装置２００の画面の位置に、ガイドマークを表示させる指示を、撮像装置２００に送信する。また、ガイドマークの形状は、制御部１１４が推定した位置から導出されてもよい。これにより、撮像装置２００の制御部２４０は、ガイドマークを、表示部２２０に表示させる。よって、撮像装置２００は、過去の棚割情報に基づいたガイドマークと商品棚２０の棚板とが一致する位置で撮影することを、撮影者に促すことができる。
The
このように、本実施の形態に係る棚割情報生成システム１は、過去の棚割情報を用いても、棚割情報を生成することができる。
Thus, the planogram
また、本実施の形態に係る棚割情報生成装置１０４は、上述した第２の実施の形態の変形例１と同様に、制御部１１４が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。
Further, in the planogram
また、本実施の形態に係る棚割情報生成装置１０４の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０４とは別個の装置で実現されてもよい。
In addition, the
このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した第２の実施の形態における棚割情報生成システム１と同様の効果を奏することができる。
Even with such a configuration, the shelving allocation
（変形例）
第６の実施の形態に係る変形例について説明する。第６の実施の形態では、過去の棚割情報を用いて、ガイドマークの位置を推定した。しかしながら、制御部１１４は、過去の棚割情報に代えて、棚割情報を生成する対象となる商品棚において推奨される、商品の配置状態を示す推奨棚割情報に基づいて、ガイドマークの位置を推定してもよい。
(Modification)
A modification according to the sixth embodiment will be described. In the sixth embodiment, past planogram information is used to estimate the positions of guide marks. However, instead of the past planogram information, the
推奨棚割情報とは、例えば、店舗を管理する管理会社等から推奨された棚割の状態を示す情報である。推奨棚割情報は、生成部１２０が生成する棚割情報と同様に、図８に示すような情報であってもよいし、図１５に示すような情報であってもよいし、その他の形態であってもよい。推奨棚割情報には、商品の陳列位置が記されている。そのため、本変形例に係る棚割情報生成システム１の制御部１１４は、推奨棚割情報を用いて、第６の実施の形態に係る制御部１１４と同様の方法で、ガイドマークの位置を推定することができる。
The recommended planogram information is, for example, information indicating the state of the planogram recommended by a management company or the like that manages the store. Similar to the planogram information generated by the
これにより、本変形例に係る棚割情報生成システム１は、上述した第６の実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。
Thus, the planogram
＜第７の実施の形態＞
次に、本発明の第７の実施の形態について、図面を参照して説明する。図１６は、本実施の形態に係る棚割情報生成システム１の機能構成を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、本実施の形態に係る棚割情報生成システム１の全体構成は、図２に示した、第２の実施の形態における棚割情報生成システム１の構成と同様であるため、説明を省略する。
<Seventh Embodiment>
Next, a seventh embodiment of the present invention will be described with reference to the drawings. FIG. 16 is a functional block diagram showing the functional configuration of the planogram
上述した第２から第６の実施の形態では、ガイドマークが、商品棚２０の棚板の位置を示す線分であるとして説明を行ったが、本実施の形態はこれに限定されるものではない。本実施の形態では、ガイドマークが、商品棚２０の領域の位置を示すものであるとして、説明を行う。
In the second to sixth embodiments described above, the guide mark is a line segment indicating the position of the shelf board of the
図１６に示す通り、本実施の形態に係る棚割情報生成システム１は、棚割情報生成装置１０５と、撮像装置２００とを備えている。撮像装置２００の構成は、第２の実施の形態に係る撮像装置２００と同様である。なお、撮像装置２００は、第４の実施の形態における撮像装置２０２と同様に、取得部２５０を備えていてもよい。
As shown in FIG. 16 , the planogram
棚割情報生成装置１０５は、制御部１１５と、生成部１２５と、第１の記憶部１３０と、認識部１４０と、第２の記憶部１５５と、を備えている。なお、第１の記憶部１３０と、第２の記憶部１５５とは、一つの記憶部で実現されるものであってもよい。また、第１の記憶部１３０および第２の記憶部１５５は、夫々、棚割情報生成装置１０５とは別個の記憶装置にて実現されるものであってもよい。
The planogram
第２の記憶部１５５には、上述した第２の記憶部１５０と同様に、ガイドマークに関する情報が格納されている。本実施の形態では、ガイドマークは、商品棚２０の領域の位置を示すものであるとする。また、ガイドマークに関する情報は、ガイドマークを示す画像であるとする。
The
制御部１１５は、上述した第２の実施の形態における制御部１１０と同様に、商品棚を撮影する撮像装置２００に、第２の記憶部１５５に格納されたガイドマーク情報を表示指示と共に撮像装置２００に送信する。このとき、制御部１１５は、撮像装置２００から、棚割情報を生成する対象となる商品棚２０に関する情報（例えば、上述した選択情報）を受信した場合、該選択情報に従って、撮像装置２００に送信するガイドマーク情報を、第２の記憶部１５５から選択し、選択したガイドマーク情報を送信する。また、制御部１１５は、生成部１２５にも上記ガイドマーク情報を出力する。
As with the
撮像装置２００の制御部２４０は、棚割情報生成装置１０５から送信されたガイドマーク情報および表示指示を受信する。そして、制御部２４０は、表示指示に基づき、画面サイズに応じて、ガイドマーク情報によって示されるガイドマークの大きさや表示位置を変換し、変換したガイドマークを含むガイドマーク画像を生成する。そして、制御部２４０は、ファインダ画像上に、生成したガイドマーク画像を重畳させて、表示部２２０に表示させる。
The
図１７および図１８に、表示部２２０に表示される画像の一例を示す。図１７および図１８に示す通り、表示部２２０には、商品棚２０を含むファインダ画像上に、網掛けで示すガイドマーク９を含むガイドマーク画像が、重畳して表示されている。
17 and 18 show examples of images displayed on the
図１７に示すガイドマーク９は、商品棚２０の外枠を示すガイドマークであり、図１８に示すガイドマーク９は、商品棚２０の４隅の位置を示すガイドマークである。図１７および図１８の何れに示すガイドマーク９であっても、撮像装置２００は、このガイドマーク９と商品棚２０の領域とが一致する位置で撮影することを、撮影者に促すことができる。
A
撮影者が、この表示されたガイドマーク９を基準として撮影位置を決定し、決定した撮影位置において、商品棚２０を撮影する指示を撮像装置２００に入力する。その後、撮像装置２００の撮影部２１０が商品棚２０を撮影する。
The photographer determines the photographing position using the displayed
その後、棚割情報生成装置１０５の認識部１４０は、撮影された撮影画像を示す画像データを受信する。認識部１４０は、受信した画像データが示す撮影画像から、商品の認識を行う。そして、認識部１４０は、撮影画像を示す情報と、該撮影画像から認識した商品を示す情報と、その位置を示す情報とを認識結果として、生成部１２５に出力する。このとき、認識部１４０は、上述した第３の実施の形態における認識部１４１と同様に、制御部１１５から、ガイドマーク情報によって示されるガイドマークの撮影画像上の表示位置を示す情報を受信してもよい。そして、認識部１４０は、商品の認識を行う際に、撮影画像のうち、このガイドマークの撮影画像上の表示位置によって示される領域内の商品を認識してもよい。
After that, the
生成部１２５は、制御部１１５からガイドマーク情報を受信する。また、生成部１２５は、認識部１４０から、撮影画像を示す情報を含む認識結果を受信する。生成部１２５は、認識部１４０から受信した撮影画像を示す情報によって特定される撮影画像のサイズに応じて、受信したガイドマーク情報によって示されるガイドマークの表示位置を変換する。また、生成部１２５は、受信した認識結果に含まれる、商品の陳列位置を示す陳列位置情報を用いて、撮影画像上における商品棚２０の棚板の位置を推定する。このとき、生成部１２５は、商品棚２０の棚板の位置を、ガイドマークの表示位置によって示される領域内において、推定する。
The
そして、生成部１２５は、推定した棚板の位置と、認識部１４０が商品の認識を行った結果である認識結果とに基づいて、推定した棚板の位置に、認識された商品が配置された状態を示す棚割情報を生成する。
Then, the
以上のように、棚割情報生成装置１０５の制御部１１５は、撮像装置２００の画面上における、商品棚２０の領域の位置を表すガイドマークを、撮像装置２００の画面に表示させるよう制御する。そして、生成部１２５は、認識された商品の撮影画像上の位置およびガイドマークの撮影画像上の位置に基づいて、撮影画像上における商品棚２０の棚板の位置を推定する。そして、生成部１２５は、推定された位置に、認識された商品が配置された状態を示す棚割情報を生成する。
As described above, the
これにより、本実施の形態に係る棚割情報生成システム１は、ガイドマークの形状が商品棚２０の棚板の位置を表す線分ではなく、商品棚２０の領域の位置を表すものであっても、精度がより安定化した棚割情報を生成することができる。
As a result, in the planogram
なお、本実施の形態において、ガイドマークは、予め第２の記憶部１５５に格納されているとして、説明を行ったが、本実施の形態はこれに限定されるものではない。上述した第５の実施の形態と同様に、ガイドマークは認識履歴から推定されるものであってもよい。また、上述した第６の実施の形態と同様に、ガイドマークは、棚割履歴または推奨棚割情報から推定されるものであってもよい。
In addition, in the present embodiment, the explanation has been given assuming that the guide marks are stored in advance in the
また、本実施の形態に係る棚割情報生成装置１０５は、上述した第２の実施の形態の変形例１と同様に、制御部１１５が、画面に撮影方法を促すメッセージを表示させるよう制御してもよい。
Further, in the planogram
また、本実施の形態に係る棚割情報生成装置１０５の第１の記憶部１３０および認識部１４０は、上述した第２の実施の形態の変形例２における棚割情報生成システム１と同様に、棚割情報生成装置１０５とは別個の装置で実現されてもよい。
In addition, the
このような構成であっても、本実施の形態に係る棚割情報生成システム１は、上述した各実施の形態における棚割情報生成システム１と同様の効果を奏することができる。
Even with such a configuration, the shelving allocation
＜第８の実施の形態＞
上述した第２、第３、第５から第７の実施の形態における撮像装置２００の入力部２３０は、表示されたガイドマークの位置の変更を受け付ける機能を有していてもよい。また、第４の実施の形態における撮像装置２０２が、上述したとおり、更に入力部２３０を備える構成の場合においても、該入力部２３０は、表示されたガイドマークの位置の変更を受け付ける機能を有していてもよい。本実施の形態では、この入力部２３０が表示部２２０に表示されたガイドマークの位置の変更を受け付ける機能を有する構成について説明する。なお、本実施の形態では、上述した第２から第７の実施の形態における棚割情報生成システム１と同様の構成を有するため、図面の説明を省略する。
<Eighth embodiment>
The
ユーザが、指などの入力媒体を用いて、ガイドマークの位置を変更する入力操作を行うと、入力部２３０は、入力操作によって変更されたガイドマークの位置を示す情報を、制御部２４０を介して、棚割情報生成装置（１００～１０５）に送信する。そして、制御部（１１０～１１５）は、変更されたガイドマークの位置を示す情報を受け付け、受け付けたガイドマークの位置を生成部（１２０、１２５）に出力する。これにより、生成部（１２０、１２５）は、変更されたガイドマークの、撮影画像上の位置に基づいて、棚割情報を生成する。
When the user performs an input operation to change the position of the guide mark using an input medium such as a finger, the
このように、撮像装置２００が表示部２２０に表示されたガイドマークに対する変更を受け付けることにより、表示部２２０に表示されたガイドマークの位置と、商品棚２０の位置とに差異があっても、撮影者がその差異を修正することができる。したがって、棚割情報生成システム１は、汎用性を向上させることができる。さらに、ガイドマークの位置を、商品棚２０の位置に修正することができるため、棚割情報生成システム１の棚割情報生成装置が生成する棚割情報の精度をより高めることができる。
In this way, even if there is a difference between the position of the guide mark displayed on the
＜第９の実施の形態＞
本発明の第９の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する棚割情報生成システムについて説明する。まず、本実施の形態に係る棚割情報生成システム２の基本構成について説明する。図１９は、本実施の形態に係る棚割情報生成システム２の基本構成の一例を示すブロック図である。この図に示す棚割情報生成システム２は、上述した棚割情報生成システム１の基本の構成であるとも言える。図１９に示す通り、本実施の形態に係る棚割情報生成システム２は、制御部２１と、生成部２２と、撮影部２３と、表示部２４とを備えている。制御部２１と、生成部２２と、撮影部２３と、表示部２４とは、互いに通信可能に接続している。制御部２１と、生成部２２と、撮影部２３と、表示部２４との接続方法は、有線接続であってもよいし、無線接続であってもよい。
<Ninth Embodiment>
A ninth embodiment of the present invention will be described with reference to the drawings. In this embodiment, a planogram information generation system that solves the problems of the present invention will be described. First, the basic configuration of the planogram
表示部２４は、表示画面を有している。表示部２４は、制御部２１の制御に基づき、表示画面に画像を表示する。
The
制御部２１は、上述した第１の実施の形態に係る棚割情報生成装置１０の制御部１１の機能を有する。また、制御部２１は、上述した第２の実施の形態における撮像装置２００の制御部２４０の機能を有する。制御部２１は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示部２４に表示させるように制御する。
The
撮影部２３は、商品が陳列された商品棚を撮影する。撮影部２３は、上述した第２の実施の形態に係る撮像装置２００の撮影部２１０に相当する。撮影部２３が撮影する撮影画像は、表示部２４に表示されたガイドマークを参照して撮影されたものである。
The photographing
生成部２２は、上述した第１の実施の形態に係る棚割情報生成装置１０の生成部１２に相当する。生成部２２は、撮影画像から認識された商品が商品棚に配置された状態を示す棚割情報を、商品の認識結果と、表示画面上のガイドマークの位置に対応する撮影画像上の位置を示す位置情報とに基づいて生成する。
The generator 22 corresponds to the
次に、図１９の棚割情報生成システム２を基本とする棚割情報生成システム３について、図２０を参照して説明する。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。図２０に示す通り、本実施の形態に係る棚割情報生成システム３は、棚割情報生成装置１０６と、撮像装置２０６と、を備えている。棚割情報生成装置１０６は、生成部１２０と、第１の記憶部１３０と、認識部１４０とを備えている。また、撮像装置２０６は、撮影部２１０と、表示部２２０と、制御部２４６とを備えている。なお、認識部１４０は、上述した第２の実施の形態の変形例と同様に、棚割情報生成装置１０６とは別個の装置で実現されてもよい。
Next, the planogram
制御部２４６は、上述した第２の実施の形態における撮像装置２００の制御部２４０の機能を含む。また、制御部２４６は、上述した、制御部１１０、制御部１１１、制御部１１２、制御部１１３、制御部１１４、または制御部１１５の少なくとも何れかの機能を含む。制御部２４６は、撮影位置の決定に参照されるガイドマークであって、商品棚の位置を表すガイドマークを、表示部２２０に表示させるように制御する。また、制御部２４６は、表示部２２０に表示させたガイドマークに関する情報を、棚割情報生成装置１０６に送信する。
The
棚割情報生成装置１０６は、撮像装置２０６から送信された画像データおよびガイドマークに関する情報に基づいて、上述した各実施の形態に係る棚割情報生成装置と同様に、棚割情報を生成する。このとき、生成部１２０は、表示部２２０の表示画面上に表示されたガイドマークの位置に対応する撮影画像上の位置を示す位置情報と認識結果とに基づいて、商品が商品棚に配置された状態を示す棚割情報を生成する。
The planogram
このように、棚割情報生成システム３において、表示部２２０に対する表示制御を行う機能は、棚割情報生成装置１０６ではなく撮像装置２０６に備えられてもよい。この機能は、例えば、撮像装置２０６で動作可能なアプリケーションを実行することによって実現されてもよい。このような構成であっても、本実施の形態に係る棚割情報生成システム３は、上述した各実施の形態に係る棚割情報生成システム１と同様の効果を得ることができる。
As described above, in the planogram
また、上述した各実施の形態において、棚割情報生成システムに含まれる撮像装置と、棚割情報生成装置とは、別々の装置で実現することを例に説明を行ったが、撮像装置と棚割情報生成装置とは一体形成されていてもよい。また、上述した棚割情報生成システムは、撮影機能（撮影部に相当）と、ガイドマークを表示する機能（表示部に相当）と、棚割情報を生成する機能（生成部に相当）と、表示部を制御する機能（制御部に相当）を含む装置と、認識する機能（認識部に相当）を含む他の装置とを備える構成であってもよい。 Further, in each of the above-described embodiments, the imaging device included in the planogram information generation system and the planogram information generation device have been described as an example of implementation by separate devices. It may be formed integrally with the split information generating device. In addition, the planogram information generation system described above has a photographing function (corresponding to the photographing unit), a function to display guide marks (corresponding to the display unit), a function to generate planogram information (corresponding to the generation unit), The configuration may include a device including a function (corresponding to the control unit) for controlling the display unit and another device including a function for recognizing (corresponding to the recognition unit).
＜第１０の実施の形態＞
本発明の第１０の実施の形態について、以下に説明する。本実施の形態では、上述した第９の実施の形態に係る棚割情報生成システム３と同様の構成を有するため、図２０を参照して説明を行う。本実施の形態に係る棚割情報生成システム３の基本構成は、図１９を用いて説明した構成である。図２０に示す通り、本実施の形態に係る棚割情報生成システム３は、棚割情報生成装置１０６と、撮像装置２０６と、を備えている。棚割情報生成装置１０６は、生成部１２０と、第１の記憶部１３０と、認識部１４０とを備えている。また、撮像装置２０６は、撮影部２１０と、表示部２２０と、制御部２４６とを備えている。
<Tenth Embodiment>
A tenth embodiment of the present invention will be described below. Since this embodiment has the same configuration as the planogram
なお、本実施の形態では、表示制御を行う制御部が撮像装置２０６に備えられる構成について説明を行うが、上述した第２から第８の各実施の形態と同様に、表示制御を行う制御部は、棚割情報生成装置に備えられてもよい。
In this embodiment, a configuration in which a control unit that performs display control is provided in the
本実施の形態における撮像装置２０６では、撮影部２１０が棚割情報生成装置１０６に撮影画像を示す画像データを出力する。しかしながら撮影部２１０は、上述した撮像装置２００の撮影部２１０と同様に、制御部２４６に撮影画像を示す画像データを出力してもよい。この場合、制御部２４６は、受け取った画像データを棚割情報生成装置１０６に送信する。
In the
本実施の形態における撮像装置２０６の制御部２４６は、上述した第２の実施の形態における制御部２４０と同様に、ファインダ画像上に、ガイドマーク画像を重畳させて、表示部２２０に表示させる。そして、制御部２４６は、この表示部２２０に表示させたファインダ画像に含まれる商品棚の位置と、ガイドマーク画像に含まれるガイドマークの位置との一致率を算出する。なお、一致率の算出方法は特に限定されない。また、一致率の算出は、所定の間隔で行われてもよいし、一致率の大きさに応じるタイミングで行われてもよい。例えば、一致率が所定の値より小さいときは、算出の間隔を大きくし、一致率が所定の値以上のときは、算出の間隔を小さくしてもよい。
The
制御部２４６は、算出した一致率に応じて、ガイドマークの表示態様を変化させて、表示部２２０に表示させるよう制御する。例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを青色で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを赤色で表示させる。また、例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを点滅させた状態で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを点灯させた状態で表示させる。また、例えば、制御部２４６は、一致率が所定の閾値より小さいときは、ガイドマークを点線で表示させ、一致率が所定の閾値以上になったときに、ガイドマークを実線で表示させる。
The
このように、制御部２４６が算出した一致率に応じてガイドマークの表示様態を変化させることにより、撮像装置２０６は、ガイドマークと商品棚の棚板とが一致する位置で撮影することを、撮影者により促すことができる。これにより、撮影画像の属人性をより低減させることができるため、撮影画像の品質を均一化することができる。したがって、このような撮影画像を用いて棚割情報を生成する棚割情報生成装置１０６は、上述した各実施の形態に係る棚割情報生成装置と同様に、精度がより安定化した棚割情報を生成することができる。
In this way, by changing the display mode of the guide mark according to the matching rate calculated by the
また、制御部２４６は、更に、一致率が所定の閾値以上のときに、商品棚を撮影するよう、撮影部２１０に指示し、撮影部２１０は指示に従って、商品棚を撮影してもよい。これにより、撮影部２１０は、一致率が所定の閾値以上のときに、商品棚を自動的に撮影することができる。これにより、撮像装置２０６は、更に、撮影画像の属人性をより低減させることができる。したがって、このような撮影画像を用いて棚割情報を生成する棚割情報生成装置１０６は、上述した各実施の形態に係る棚割情報生成装置と同様に、精度がより安定化した棚割情報を生成することができる。
Further, the
＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る棚割情報生成装置（１０、１００～１０６）および撮像装置（２００、２０２、２０６）を実現可能なハードウェアの構成例について説明する。上述した棚割情報生成装置（１０、１００～１０６）および撮像装置（２００、２０２、２０６）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。
<Hardware configuration example>
Here, a configuration example of hardware capable of realizing the planogram information generation device (10, 100 to 106) and the imaging device (200, 202, 206) according to each of the above-described embodiments will be described. The planogram information generating devices (10, 100 to 106) and imaging devices (200, 202, 206) described above may be implemented as dedicated devices, or may be implemented using a computer (information processing device). good.
図２１は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。 FIG. 21 is a diagram illustrating the hardware configuration of a computer (information processing device) that can implement each embodiment of the present invention.
図２１に示した情報処理装置（コンピュータ）９０のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１、通信インタフェース（Ｉ／Ｆ）９２、入出力ユーザインタフェース９３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９５、記憶装置９７、及びコンピュータ読み取り可能な記憶媒体９９のドライブ装置９８を備え、これらがバス９６を介して接続された構成を有する。入出力ユーザインタフェース９３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース９２は、上述した各実施の形態に係る装置（図１、４、１０、１１、１２、１４、１６および１９）が、外部装置と、通信ネットワーク８０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ９１は、各実施の形態に係る棚割情報生成装置（１０、１００～１０６）および撮像装置（２００、２０２、２０６）を実現する情報処理装置９０について、全体の動作を司る。
The hardware of the information processing apparatus (computer) 90 shown in FIG. Random Access Memory) 95 , a
上述した各実施の形態を例に説明した本発明は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図２１に示す情報処理装置９０に対して供給した後、そのプログラムを、ＣＰＵ９１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図６および１３）に記載した各種処理や、或いは、図１、４、１０、１１、１２、１４、１６および１９に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。
The present invention, which has been described with the above-described embodiments as examples, supplies a program (computer program) capable of implementing the processing described in each of the above-described embodiments to the
また、情報処理装置９０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（９５）またはハードディスクドライブ等の不揮発性の記憶装置（９７）に格納されてもよい。即ち、記憶装置９７において、プログラム群９７Ａは、例えば、上述した各実施の形態における棚割情報生成装置（１０、１００～１０６）および撮像装置（２００、２０２、２０６）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報９７Ｂは、例えば、上述した各実施の形態における撮影画像、商品を認識するための情報、認識結果、認識履歴、棚割履歴、推奨棚割情報等である。ただし、情報処理装置９０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。
Also, the program supplied to the
また、前記の場合において、当該装置内へのプログラムの供給方法は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）－ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（９９）を介して当該装置内にインストールする方法や、インターネット等の通信回線（８０）を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード（プログラム群９７Ａ）或いは係るコードが格納された記憶媒体（９９）によって構成されると捉えることができる。
In the above case, the method of supplying the program into the device is to install it in the device via various computer-readable recording media (99) such as CD (Compact Disk)-ROM, flash memory, etc. At present, general procedures can be adopted, such as a method, a method of downloading from the outside via a communication line (80) such as the Internet, and the like. In such a case, the present invention can be considered to be constituted by the code (
上述した各実施形態では、ブロック図に示した各ブロックに示す機能を、図２１に示すＣＰＵ９５が実行する一例として、ソフトウェアプログラムによって実現する場合について説明した。しかしながら、ブロック図に示した各ブロックに示す機能は、一部または全部を、ハードウェアの回路として実現してもよい。
In each of the embodiments described above, the case where the functions shown in the blocks shown in the block diagram are realized by a software program has been described as an example executed by the
なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。 The above-described embodiments are preferred embodiments of the present invention, and the scope of the present invention is not limited only to the above-described embodiments. can be modified or substituted for each of the above-described embodiments, and various modified forms can be constructed.
１、２、３ 棚割情報生成システム
８ メッセージ
９ ガイドマーク
１０ 棚割情報生成装置
１１ 制御部
１２ 生成部
２０ 商品棚
２１ 制御部
２２ 生成部
２３ 撮影部
２４ 表示部
１００～１０６ 棚割情報生成装置
１１０～１１５ 制御部
１２０ 生成部
１２１ 生成部
１２５ 生成部
１３０ 第１の記憶部
１４０ 認識部
１４１ 認識部
１５０、１５５ 第２の記憶部
１６２、１７３、１８４ 第２の記憶部
２００、２０２、２０６ 撮像装置
２１０ 撮影部
２２０ 表示部
２３０ 入力部
２４０、２４６ 制御部
２５０ 取得部
1, 2, 3 planogram
Claims (12)
撮影者が撮影位置を決定するために参照されるガイドマークであって、前記商品棚の位置を表すガイドマークを、前記表示手段に表示させるように制御する制御手段と、
前記撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を生成する生成手段と、
を備え、
前記制御手段は、過去の前記商品の認識結果に含まれる商品の陳列位置から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に前記ガイドマークを表示させるように制御する、
棚割情報生成システム。 a display means for displaying a photographed image of a product shelf;
a control means for causing the display means to display a guide mark, which is a guide mark referred to by a photographer to determine a photographing position and which indicates the position of the product shelf;
generating means for generating planogram information indicating a state in which the product recognized from the photographed image is arranged on the product shelf;
with
The control means estimates the position of the guide mark on the photographed image from the display position of the product included in the past recognition result of the product, and controls to display the guide mark at the estimated position.
Planogram information generation system.
前記生成手段は、前記領域の位置を表す位置情報と前記認識された商品の前記撮影画像上の位置とに基づいて、前記撮影画像上における前記商品棚の棚板の位置を推定し、前記推定された位置に、前記認識された商品が配置された状態を示す前記棚割情報を生成する、請求項１に記載の棚割情報生成システム。 The guide mark indicates the position of the area on the screen of the display means of the product shelf for which the planogram information is to be generated,
The generating means estimates the position of the shelf board of the product shelf on the photographed image based on the position information representing the position of the region and the position of the recognized product on the photographed image, and 2. The planogram information generation system according to claim 1, wherein the planogram information is generated to indicate a state in which the recognized product is arranged at the identified position.
前記生成手段は、変更を加えられた前記表示手段の画面上の前記ガイドマークの位置に対応する前記撮影画像上の位置を示す位置情報と、前記商品の認識結果とに基づいて、前記棚割情報を生成する請求項１から３の何れか１項に記載の棚割情報生成システム。 The control means accepts a position of the guide mark on the screen of the display means that has been changed,
The generation means generates the planogram based on position information indicating a position on the photographed image corresponding to the changed position of the guide mark on the screen of the display means and a recognition result of the product. 4. The planogram information generation system according to any one of claims 1 to 3 , which generates information.
前記ファインダ画像に含まれる前記商品棚の位置と、前記ガイドマークの位置との一致率に応じて、前記ガイドマークの表示態様を変化させて、前記表示手段に表示させる、請求項１から６の何れか１項に記載の棚割情報生成システム。 The control means causes the display means to display the guide mark by superimposing it on the finder image before the start of shooting;
The method according to any one of claims 1 to 6 , wherein a display mode of the guide mark is changed according to a match rate between the position of the product shelf included in the finder image and the position of the guide mark, and displayed on the display means. The planogram information generation system according to any one of the items.
前記制御手段は、前記一致率が所定の閾値以上か否かを判定し、
前記撮影手段は、前記一致率が所定の閾値以上のとき、前記商品棚を撮影する、請求項７に記載の棚割情報生成システム。 further comprising a photographing means for photographing the product shelf on which the products are displayed;
The control means determines whether the matching rate is equal to or greater than a predetermined threshold,
8. The planogram information generation system according to claim 7 , wherein said photographing means photographs said product shelf when said matching rate is equal to or greater than a predetermined threshold.
前記撮像装置は、前記表示手段と、商品が陳列された商品棚を撮影する撮影手段を含み、
前記棚割情報生成装置は、前記制御手段と、前記生成手段とを含む、請求項１から８の何れか１項に記載の棚割情報生成システム。 Equipped with an imaging device and a planogram information generation device,
The image pickup device includes the display means and an image pickup means for photographing a product shelf on which products are displayed,
9. The shelving allocation information generating system according to claim 1, wherein said shelving allocation information generating device includes said control means and said generating means.
前記撮像装置は、前記表示手段と、商品が陳列された商品棚を撮影する撮影手段と、前記制御手段とを含み、
前記棚割情報生成装置は、前記生成手段を含む、請求項１から８の何れか１項に記載の棚割情報生成システム。 Equipped with an imaging device and a planogram information generation device,
The imaging device includes the display means, an imaging means for imaging a product shelf on which products are displayed, and the control means,
9. The shelving allocation information generating system according to claim 1, wherein said shelving allocation information generating device includes said generating means.
撮影者が撮影位置を決定するために参照されるガイドマークであって、前記商品棚の位置を表すガイドマークを、表示手段に表示させるように制御し、
前記撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を生成し、
過去の前記商品の認識結果に含まれる商品の陳列位置から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に前記ガイドマークを表示させるように制御する、
棚割情報生成方法。 Display the photographed image of the product shelf,
controlling the display means to display a guide mark, which is a guide mark referred to by a photographer to determine the shooting position and represents the position of the product shelf;
generating planogram information indicating a state in which the product recognized from the photographed image is arranged on the product shelf;
estimating the position of the guide mark on the photographed image from the display position of the product included in the past recognition result of the product, and controlling to display the guide mark at the estimated position;
Planogram information generation method.
撮影者が撮影位置を決定するために参照されるガイドマークであって、前記商品棚の位置を表すガイドマークを、表示手段に表示させるように制御する処理と、
前記撮影画像から認識された商品が、前記商品棚に配置された状態を示す棚割情報を生成する処理と、
過去の前記商品の認識結果に含まれる商品の陳列位置から、前記ガイドマークの前記撮影画像上における位置を推定し、推定した位置に前記ガイドマークを表示させるように制御する処理と、をコンピュータに実行させるプログラム。 a process of displaying a captured image of a product shelf;
a process of controlling display means to display a guide mark, which is a guide mark referred to by a photographer to determine a shooting position and represents the position of the product shelf;
a process of generating planogram information indicating a state in which the product recognized from the photographed image is arranged on the product shelf;
a process of estimating the position of the guide mark on the photographed image from the display position of the product included in the past recognition result of the product, and performing control so that the guide mark is displayed at the estimated position; program to run.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021131537A JP7255644B2 (en) | 2020-03-16 | 2021-08-12 | Planogram information generation system, planogram information generation method, and program |
| JP2023047961A JP2023083300A (en) | 2020-03-16 | 2023-03-24 | Shelf allocation information generation system, method for generating shelf allocation information, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020045044A JP6933273B2 (en) | 2015-06-03 | 2020-03-16 | Shelf allocation information generation system |
| JP2021131537A JP7255644B2 (en) | 2020-03-16 | 2021-08-12 | Planogram information generation system, planogram information generation method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020045044A Division JP6933273B2 (en) | 2015-06-03 | 2020-03-16 | Shelf allocation information generation system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023047961A Division JP2023083300A (en) | 2020-03-16 | 2023-03-24 | Shelf allocation information generation system, method for generating shelf allocation information, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021192245A JP2021192245A (en) | 2021-12-16 |
| JP7255644B2 true JP7255644B2 (en) | 2023-04-11 |
Family
ID=78945788
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021131537A Active JP7255644B2 (en) | 2020-03-16 | 2021-08-12 | Planogram information generation system, planogram information generation method, and program |
| JP2023047961A Pending JP2023083300A (en) | 2020-03-16 | 2023-03-24 | Shelf allocation information generation system, method for generating shelf allocation information, and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023047961A Pending JP2023083300A (en) | 2020-03-16 | 2023-03-24 | Shelf allocation information generation system, method for generating shelf allocation information, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7255644B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006106857A (en) | 2004-09-30 | 2006-04-20 | Japan Tobacco Inc | Vending machine system |
| JP2007166250A (en) | 2005-12-14 | 2007-06-28 | Pentax Corp | Camera with monitor display device |
| JP2009212804A (en) | 2008-03-04 | 2009-09-17 | Fujifilm Corp | Imaging apparats with composition assisting function, and composition assisting method of the same imaging apparatus |
| JP2013026955A (en) | 2011-07-25 | 2013-02-04 | Canon Inc | Camera and server device |
| JP6679847B2 (en) | 2015-06-03 | 2020-04-15 | 日本電気株式会社 | Shelving allocation information generating device, shelving allocation information generating system, shelving allocation information generating method, imaging device, and program |
-
2021
- 2021-08-12 JP JP2021131537A patent/JP7255644B2/en active Active
-
2023
- 2023-03-24 JP JP2023047961A patent/JP2023083300A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006106857A (en) | 2004-09-30 | 2006-04-20 | Japan Tobacco Inc | Vending machine system |
| JP2007166250A (en) | 2005-12-14 | 2007-06-28 | Pentax Corp | Camera with monitor display device |
| JP2009212804A (en) | 2008-03-04 | 2009-09-17 | Fujifilm Corp | Imaging apparats with composition assisting function, and composition assisting method of the same imaging apparatus |
| JP2013026955A (en) | 2011-07-25 | 2013-02-04 | Canon Inc | Camera and server device |
| JP6679847B2 (en) | 2015-06-03 | 2020-04-15 | 日本電気株式会社 | Shelving allocation information generating device, shelving allocation information generating system, shelving allocation information generating method, imaging device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021192245A (en) | 2021-12-16 |
| JP2023083300A (en) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10559062B2 (en) | Method for automatic facial impression transformation, recording medium and device for performing the method | |
| US9959681B2 (en) | Augmented reality contents generation and play system and method using the same | |
| US20160210732A1 (en) | Image overlaying and comparison for inventory display auditing | |
| US20130236162A1 (en) | Video editing apparatus and method for guiding video feature information | |
| US10560632B2 (en) | Moving image reproducing apparatus, control method therefor, and storage medium storing control program therefor | |
| US10708505B2 (en) | Image processing apparatus, method, and storage medium | |
| US20170076428A1 (en) | Information processing apparatus | |
| JP6679847B2 (en) | Shelving allocation information generating device, shelving allocation information generating system, shelving allocation information generating method, imaging device, and program | |
| CN105376478A (en) | Imaging device, shooting system and shooting method | |
| JP6623565B2 (en) | Shelf allocation information generation device, shelf allocation information generation system, shelf allocation information generation method, imaging device, and program | |
| JP7255644B2 (en) | Planogram information generation system, planogram information generation method, and program | |
| JP2011155477A (en) | Video processing apparatus, video processing method, and program | |
| US10360943B2 (en) | Method, device and system for editing video | |
| JP6933273B2 (en) | Shelf allocation information generation system | |
| KR101518696B1 (en) | System for augmented reality contents and method of the same | |
| JP2017058657A (en) | Information processing device, control method, computer program and storage medium | |
| CN104660866B (en) | Movement detection systems and method | |
| US11176360B2 (en) | Work skill supporting device and work skill supporting system | |
| KR102045753B1 (en) | Image editing processing apparatus that supports transparency processing of the background area of an image and operating method thereof | |
| JPWO2019106987A1 (en) | Work support system, work support method and program | |
| US11762532B2 (en) | Image processing device, control method therefor, imaging device, and recording medium | |
| JP2015052904A (en) | Moving image selection device, moving image selection method, and program | |
| KR102438712B1 (en) | Server and control method for generating 3d spatial modeling data | |
| WO2023042604A1 (en) | Dimension measurement device, dimension measurement method, and program | |
| US20230105800A1 (en) | Display control apparatus, control method, computer-readable medium, and producing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210812 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7255644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |