JPWO2015140851A1

JPWO2015140851A1 - Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program

Info

Publication number: JPWO2015140851A1
Application number: JP2016508312A
Authority: JP
Inventors: 卓郎佐久間; 英路村松; 道生永井; 信一阿南; 準小林
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2014-03-20
Filing date: 2014-11-04
Publication date: 2017-04-06
Anticipated expiration: 2034-11-04
Also published as: WO2015140851A1; JP6226060B2

Abstract

本発明にかかる情報処理装置（１２０）は、商品棚（１１０）上の商品（１１１）の設置位置（１２６１）と当該設置位置に表示された表示情報（１２６２）とを対応付けて記憶し、商品に関する商品情報（１２６３）を記憶する記憶部（１２６）と、設置位置付近に存在する商品を含む撮影画像を取得する取得部（１２１）と、撮影画像に基づき、撮影画像に含まれる商品と、当該商品の商品棚上の配置位置とを特定する第１の特定部（１２２）と、記憶部を参照して、特定された配置位置が設置位置として対応付けられた表示情報と、特定された商品における商品情報とを特定する第２の特定部（１２３）と、特定された表示情報と、特定された商品情報とが異なるか否かを判定する判定部（１２４）と、特定された表示情報と特定された商品情報とが異なると判定された場合に、その旨を外部に出力する出力部（１２５）と、を備える。The information processing apparatus (120) according to the present invention stores the installation position (1261) of the product (111) on the product shelf (110) and the display information (1262) displayed at the installation position in association with each other, A storage unit (126) that stores product information (1263) related to the product, an acquisition unit (121) that acquires a captured image including the product existing near the installation position, and a product included in the captured image based on the captured image The first specifying unit (122) for specifying the arrangement position of the product on the product shelf and the display information in which the specified arrangement position is associated as the installation position with reference to the storage unit are specified. A second specifying unit (123) for specifying the product information of the selected product, a determination unit (124) for determining whether the specified display information is different from the specified product information, Identified as display information If the the product information is determined differently, comprising an output unit that outputs the fact to the outside and (125), the.

Description

本発明は、情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムに関し、特に、商品棚を管理する情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムに関する。 The present invention relates to an information processing device, a product shelf management system, a product shelf management method, and a product shelf management program, and more particularly, an information processing device that manages product shelf, a product shelf management system, a product shelf management method, and a product. It relates to a shelf management program.

近年、小売店等の商品の陳列棚（商品棚）において、各商品の傍らに商品の値段等を表示する電子棚札が普及しつつある。特許文献１には、陳列棚に陳列される商品の在庫情報を効率的に管理する技術が開示されている。特許文献１にかかる技術は、まず、電子棚札システムサーバが、棚に配置される商品に取り付けられた電子タグから商品識別情報を読み取り、併せて、棚における商品配置位置それぞれに取り付けられた電子タグから商品位置情報を読み取る。そして、当該サーバは、読み取った商品識別情報と商品位置情報を関連付ける。その後、当該サーバは、商品識別情報に基づく当該商品の在庫情報を、該当する商品配置位置の電子棚札に表示するものである。 2. Description of the Related Art In recent years, electronic shelf labels that display the price of a product or the like alongside each product are spreading in display shelves (product shelves) of products such as retail stores. Patent Document 1 discloses a technique for efficiently managing inventory information of commodities displayed on a display shelf. In the technology according to Patent Document 1, first, an electronic shelf label system server reads product identification information from an electronic tag attached to a product placed on a shelf, and electronic devices attached to each product placement position on the shelf. Read product location information from tags. Then, the server associates the read product identification information with product position information. Thereafter, the server displays the inventory information of the product based on the product identification information on the electronic shelf label at the corresponding product placement position.

特開２００７−２０６７４５号公報JP 2007-206745 A

ここで、特許文献１では、各商品と各商品配置位置のそれぞれに電子タグを取り付けておき、電子タグを読み取り可能な位置に電子タグのリーダ装置を設置しておく必要がある。しかしながら、商品の性質上、電子タグを取り付けることが困難である場合や、あらゆる小売店の商品棚に電子棚札ばかりでなく、商品配置位置に電子タグを取り付け、さらに、リーダ装置を設置することが困難である場合もある。そのため、特許文献１にかかる技術は、電子タグ及びそのリーダ装置を用いることができない場合には、適用が困難であるという問題点がある。 Here, in Patent Document 1, it is necessary to attach an electronic tag to each product and each product placement position, and to install an electronic tag reader device at a position where the electronic tag can be read. However, if it is difficult to attach an electronic tag due to the nature of the product, or attach an electronic tag not only to the electronic shelf label to the product shelf of any retail store, but also to the product placement position, and to install a reader device Can be difficult. Therefore, the technique according to Patent Document 1 has a problem that it is difficult to apply when the electronic tag and its reader device cannot be used.

本発明は、このような問題点を解決するためになされたものであり、商品棚における各設置位置に設置された各電子棚札等の商品の表示内容と、その位置に配置された実際の商品とが異なる場合に、電子タグ等を用いることなく再配置を支援するための情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムを提供することを目的とする。 The present invention has been made to solve such problems, and the display contents of each electronic shelf label and the like installed at each installation position in the product shelf, and the actual contents arranged at that position. An object of the present invention is to provide an information processing apparatus, a product shelf management system, a product shelf management method, and a product shelf management program for supporting rearrangement without using an electronic tag or the like when the product is different.

本発明の第１の態様にかかる情報処理装置は、
商品棚上の商品の設置位置と当該設置位置に表示された表示情報とを対応付けて記憶し、前記商品に関する商品情報を記憶する記憶部と、
前記設置位置付近に存在する前記商品を含む撮影画像を取得する取得部と、
前記撮影画像に基づき、前記撮影画像に含まれる商品と、当該商品の前記商品棚上の配置位置とを特定する第１の特定部と、
前記記憶部を参照して、前記特定された配置位置が前記設置位置として対応付けられた前記表示情報と、前記特定された商品における前記商品情報とを特定する第２の特定部と、
前記特定された前記表示情報と、前記特定された前記商品情報とが異なるか否かを判定する判定部と、
前記特定された表示情報と前記特定された商品情報とが異なると判定された場合に、その旨を外部に出力する出力部と、
を備える。An information processing apparatus according to a first aspect of the present invention includes:
A storage unit for storing the product installation position on the product shelf and the display information displayed at the installation position in association with each other;
An acquisition unit for acquiring a captured image including the product existing in the vicinity of the installation position;
Based on the captured image, a first identifying unit that identifies a product included in the captured image and an arrangement position of the product on the product shelf;
A second specifying unit that specifies the display information in which the specified arrangement position is associated as the installation position with reference to the storage unit, and the product information in the specified product;
A determination unit that determines whether the specified display information is different from the specified product information;
When it is determined that the specified display information and the specified product information are different, an output unit that outputs the fact to the outside,
Is provided.

本発明の第２の態様にかかる商品棚管理システムは、
商品の設置位置に所定の表示情報が表示された商品棚と、
前記設置位置付近に存在する前記商品を含めて撮影し、撮影画像として出力する撮影手段と、
前記商品棚を管理する管理装置と、を備え、
前記管理装置は、
前記設置位置と前記表示情報とを対応付けて記憶し、前記商品に関する商品情報を記憶する記憶部と、
前記撮影手段から前記撮影画像を取得する取得部と、
前記撮影画像に基づき、前記撮影画像に含まれる商品と、当該商品の前記商品棚上の配置位置とを特定する第１の特定部と、
前記記憶部を参照して、前記特定された配置位置が前記設置位置として対応付けられた前記表示情報と、前記特定された商品における前記商品情報とを特定する第２の特定部と、
前記特定された前記表示情報と、前記特定された前記商品情報とが異なるか否かを判定する判定部と、
前記特定された表示情報と前記特定された商品情報とが異なると判定された場合に、その旨を外部に出力する出力部と、
を備える。The merchandise shelf management system according to the second aspect of the present invention includes:
A product shelf on which predetermined display information is displayed at the product installation position;
Photographing means for photographing the product existing near the installation position and outputting the photographed image;
A management device for managing the product shelf,
The management device
A storage unit that stores the installation position and the display information in association with each other, and stores product information about the product;
An acquisition unit for acquiring the captured image from the imaging unit;
Based on the captured image, a first identifying unit that identifies a product included in the captured image and an arrangement position of the product on the product shelf;
A second specifying unit that specifies the display information in which the specified arrangement position is associated as the installation position with reference to the storage unit, and the product information in the specified product;
A determination unit that determines whether the specified display information is different from the specified product information;
When it is determined that the specified display information and the specified product information are different, an output unit that outputs the fact to the outside,
Is provided.

本発明の第３の態様にかかる商品棚管理方法は、
商品の設置位置に表示情報が表示された商品棚上の当該設置位置付近に存在する商品を含めて撮影し、
前記撮影された撮影画像に基づき、前記撮影画像に含まれる商品と、当該商品の前記商品棚上の配置位置とを特定し、
前記設置位置と前記表示情報とが対応付けて記憶され、前記商品に関する商品情報が記憶された記憶部を参照して、前記特定された配置位置が前記設置位置として対応付けられた前記表示情報と、前記特定された商品における前記商品情報とを特定し、
前記特定された前記表示情報と、前記特定された前記商品情報とが異なるか否かを判定し、
前記特定された表示情報と前記特定された商品情報とが異なると判定された場合に、その旨を外部に出力する。The merchandise shelf management method according to the third aspect of the present invention includes:
Take a picture of the product that is near the installation location on the product shelf where the display information is displayed at the product installation location,
Based on the photographed photographed image, the product included in the photographed image and the arrangement position of the commodity on the commodity shelf are identified,
The installation information and the display information are stored in association with each other, and the display information in which the specified arrangement position is associated as the installation position with reference to a storage unit in which product information about the product is stored. , Specifying the product information in the specified product,
Determining whether the specified display information is different from the specified product information;
When it is determined that the specified display information is different from the specified product information, the fact is output to the outside.

本発明の第４の態様にかかる商品棚管理プログラムは、
商品の設置位置に表示情報が表示された商品棚上の当該設置位置付近に存在する商品を含めて撮影した撮影画像を取得する取得処理と、
前記撮影画像に基づき、前記撮影画像に含まれる商品と、当該商品の前記商品棚上の配置位置とを特定する第１の特定処理と、
前記設置位置と前記表示情報とが対応付けて記憶され、前記商品に関する商品情報が記憶された記憶部を参照して、前記特定された配置位置が前記設置位置として対応付けられた前記表示情報と、前記特定された商品における前記商品情報とを特定する第２の特定処理と、
前記特定された前記表示情報と、前記特定された前記商品情報とが異なるか否かを判定する判定処理と、
前記特定された表示情報と前記特定された商品情報とが異なると判定された場合に、その旨を外部に出力する出力処理と、
をコンピュータに実行させる。The product shelf management program according to the fourth aspect of the present invention is:
An acquisition process for acquiring a photographed image including a product existing near the installation position on the product shelf on which display information is displayed at the installation position of the product;
A first specifying process for specifying a product included in the captured image and an arrangement position of the product on the product shelf based on the captured image;
The installation information and the display information are stored in association with each other, and the display information in which the specified arrangement position is associated as the installation position with reference to a storage unit in which product information about the product is stored. A second specifying process for specifying the product information in the specified product;
A determination process for determining whether the specified display information is different from the specified product information;
When it is determined that the specified display information and the specified product information are different, an output process for outputting the fact to the outside,
Is executed on the computer.

本発明により、商品棚における各設置位置に設置された各電子棚札等の商品の表示内容と、その位置に配置された実際の商品とが異なる場合に、電子タグ等を用いることなく再配置を支援するための情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムを提供することができる。 According to the present invention, when the display content of the product such as each electronic shelf label installed at each installation position in the product shelf is different from the actual product arranged at that position, the rearrangement is performed without using an electronic tag or the like. An information processing apparatus, a product shelf management system, a product shelf management method, and a product shelf management program can be provided.

本発明の実施の形態１にかかる商品棚管理システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the goods shelf management system concerning Embodiment 1 of this invention. 本発明の実施の形態１にかかる商品棚管理処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the goods shelf management process concerning Embodiment 1 of this invention. 本発明の実施の形態２にかかる商品棚管理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the goods shelf management system concerning Embodiment 2 of this invention. 本発明の実施の形態２にかかる商品棚管理処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the merchandise shelf management process concerning Embodiment 2 of this invention. 本発明の実施の形態２にかかる電子棚札の表示変更の流れを説明するためのシーケンス図である。It is a sequence diagram for demonstrating the flow of a display change of the electronic shelf label concerning Embodiment 2 of this invention. 本発明の実施の形態２にかかる電子棚札の表示変更の流れを説明するためのシーケンス図である。It is a sequence diagram for demonstrating the flow of a display change of the electronic shelf label concerning Embodiment 2 of this invention.

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In the drawings, the same elements are denoted by the same reference numerals, and redundant description will be omitted as necessary for the sake of clarity.

＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる商品棚管理システム１の全体構成を示すブロック図である。商品棚管理システム１は、商品棚１１０と情報処理装置１２０とを備える。商品棚１１０は、小売店等に設置され、商品１１１等を配置（陳列）する棚である。そして、商品棚１１０には、所定の位置に表示端末１１２が設置されている。表示端末１１２は、外部から受信した情報に基づいて所定の情報を表示可能な電子機器である。ここでは、表示端末１１２は、少なくとも情報処理装置１２０から送信される情報を受信できるものとする。例えば、表示端末１１２は、無線により情報を受信できる電子棚札である。そして、表示端末１１２は、情報処理装置１２０から表示対象の表示情報を受信した場合に、当該受信した表示情報を表示する。または、表示端末１１２は、複数の表示情報を予め保持しており、情報処理装置１２０から表示対象の表示情報を指定した情報（又は表示内容の切替信号）を受け付けた場合に、当該情報に基づいて、指定された表示情報を選択して（又は切り替えて）表示してもよい。尚、商品棚１１０に陳列される商品の数や、設置される電子棚札の数は、それぞれ２以上であってもよい。<Embodiment 1 of the Invention>
FIG. 1 is a block diagram showing an overall configuration of a product shelf management system 1 according to the first embodiment of the present invention. The product shelf management system 1 includes a product shelf 110 and an information processing device 120. The merchandise shelf 110 is a shelf that is installed in a retail store or the like and places (displays) the merchandise 111 or the like. The product shelf 110 is provided with a display terminal 112 at a predetermined position. The display terminal 112 is an electronic device that can display predetermined information based on information received from the outside. Here, it is assumed that the display terminal 112 can receive at least information transmitted from the information processing apparatus 120. For example, the display terminal 112 is an electronic shelf label that can receive information wirelessly. When the display terminal 112 receives display information to be displayed from the information processing apparatus 120, the display terminal 112 displays the received display information. Alternatively, when the display terminal 112 holds a plurality of display information in advance and receives information (or a display content switching signal) specifying display information to be displayed from the information processing apparatus 120, the display terminal 112 is based on the information. The designated display information may be selected (or switched) for display. Note that the number of products displayed on the product shelf 110 and the number of electronic shelf labels installed may be 2 or more, respectively.

情報処理装置１２０は、商品棚１１０を管理する管理装置である。情報処理装置１２０は、取得部１２１と、第１の特定部１２２と、第２の特定部１２３と、判定部１２４と、出力部１２５と、記憶部１２６とを備える。記憶部１２６は、設置位置１２６１と、表示情報１２６２と、商品情報１２６３とを記憶する記憶装置である。商品情報１２６３は、商品１１１に関する表示用の情報である。商品情報１２６３は、例えば、商品１１１の商品名、価格等を含むものである。また、記憶部１２６は、設置位置１２６１と表示情報１２６２とを対応付けて記憶する。設置位置１２６１は、表示端末１１２が設置された商品棚１１０上の位置を示す情報であり、少なくとも商品棚１１０内の位置を一意に特定できる情報である。設置位置１２６１は、例えば、商品棚１１０内の段（棚の位置）や棚の幅方向の位置等を示す。表示情報１２６２は、表示端末１１２に表示された情報として情報処理装置１２０において管理される情報である。例えば、つまり、表示情報１２６２は、設置位置１２６１に配置すべき商品の商品情報である。 The information processing device 120 is a management device that manages the product shelf 110. The information processing apparatus 120 includes an acquisition unit 121, a first specification unit 122, a second specification unit 123, a determination unit 124, an output unit 125, and a storage unit 126. The storage unit 126 is a storage device that stores an installation position 1261, display information 1262, and product information 1263. The product information 1263 is display information related to the product 111. The product information 1263 includes, for example, the product name and price of the product 111. In addition, the storage unit 126 stores the installation position 1261 and the display information 1262 in association with each other. The installation position 1261 is information indicating the position on the product shelf 110 where the display terminal 112 is installed, and is information that can uniquely identify at least the position in the product shelf 110. The installation position 1261 indicates, for example, a step (shelf position) in the product shelf 110, a position in the width direction of the shelf, or the like. The display information 1262 is information managed by the information processing apparatus 120 as information displayed on the display terminal 112. For example, the display information 1262 is product information of a product to be placed at the installation position 1261.

取得部１２１は、設置位置１２６１付近に存在する商品を含めて商品棚１１０を撮影した撮影画像を取得する。ここで、商品棚１１０には、商品１１１が所定の位置に配置されているものとする。つまり、商品棚１１０に設置された表示端末１１２と商品１１１とが近傍に存在しているものとする。また、撮影画像は、カメラ等の撮影手段により商品棚１１０が撮影されたものである。そのため、撮影手段は、客等が商品棚１１０から商品１１１を取り出す行為や、商品１１１を商品棚１１０に戻す行為を検出して、撮影してもよい。この場合でも撮影画像には、少なくとも商品１１１が設置位置１２６１付近に存在することとなる。つまり、撮影画像は、少なくとも商品の実際の配置位置が特定できる情報が含まれるものである。また、取得部１２１は、カメラ等により撮影された撮影画像を、通信回線を介して取得してもよい。または、情報処理装置１２０自身がカメラ等の撮影手段を備え、取得部１２１は撮影手段から出力された撮影画像を取得しても良い。 The acquisition unit 121 acquires a photographed image obtained by photographing the product shelf 110 including products existing in the vicinity of the installation position 1261. Here, it is assumed that the product 111 is arranged at a predetermined position on the product shelf 110. That is, it is assumed that the display terminal 112 installed on the product shelf 110 and the product 111 exist in the vicinity. The photographed image is obtained by photographing the product shelf 110 by photographing means such as a camera. Therefore, the photographing unit may detect and photograph the act of the customer or the like taking out the product 111 from the product shelf 110 or returning the product 111 to the product shelf 110. Even in this case, at least the product 111 exists in the vicinity of the installation position 1261 in the captured image. That is, the photographed image includes information that can specify at least the actual arrangement position of the product. Moreover, the acquisition part 121 may acquire the picked-up image image | photographed with the camera etc. via the communication line. Alternatively, the information processing apparatus 120 itself may include a photographing unit such as a camera, and the acquisition unit 121 may acquire a captured image output from the photographing unit.

第１の特定部１２２は、撮影画像に基づき、撮影画像に含まれる商品１１１と、商品１１１の商品棚１１０上の配置位置とを特定する。例えば、商品１１１に対応する商品の画像を予め記憶部１２６に記憶しておき、第１の特定部１２２は、撮影画像から画像認識等により商品１１１の画像を抽出し、抽出された商品１１１の画像に類似する商品の画像に対応する商品を、商品棚１１０に配置された商品として特定してもよい。また、第１の特定部１２２は、撮影画像内の商品棚１１０の領域と商品１１１の領域との関係から商品１１１の商品棚１１０における配置位置を特定してもよい。 The first specifying unit 122 specifies the product 111 included in the captured image and the arrangement position of the product 111 on the product shelf 110 based on the captured image. For example, an image of a product corresponding to the product 111 is stored in the storage unit 126 in advance, and the first specifying unit 122 extracts an image of the product 111 from the captured image by image recognition or the like. A product corresponding to an image of a product similar to the image may be specified as a product arranged on the product shelf 110. The first specifying unit 122 may specify the arrangement position of the product 111 in the product shelf 110 from the relationship between the region of the product shelf 110 and the region of the product 111 in the photographed image.

第２の特定部１２３は、記憶部１２６を参照して、特定された配置位置が設置位置１２６１として対応付けられた表示情報１２６２と、特定された商品１１１における商品情報１２６３とを特定する。尚、第２の特定部１２３は、記憶部１２６を参照して、特定された配置位置を設置位置１２６１とする電子棚札１１２と、電子棚札１１２に対応付けられた表示情報１２６２と、特定された商品１１１における商品情報１２６３とを特定してもよい。 The second specifying unit 123 refers to the storage unit 126 and specifies display information 1262 in which the specified arrangement position is associated as the installation position 1261 and product information 1263 in the specified product 111. The second specifying unit 123 refers to the storage unit 126, the electronic shelf label 112 having the specified arrangement position as the installation position 1261, display information 1262 associated with the electronic shelf label 112, and the specification The merchandise information 1263 in the merchandise 111 may be specified.

判定部１２４は、特定された表示情報１２６２と、特定された商品情報１２６３とが異なるか否かを判定する。出力部１２５は、特定された表示情報１２６２と特定された商品情報１２６３とが異なると判定された場合に、その旨を外部に出力する。例えば、出力部１２５は、情報処理装置１２０に接続されたディスプレイ等の表示装置に、商品棚１１０に実際に配置された商品１１１が、表示端末１１２に表示されている表示情報に対応する商品とは異なる旨のメッセージを表示させる。または、出力部１２５は、特定された表示端末１１２に対して、特定された表示情報１２６２と特定された商品情報１２６３とが異なる旨を示す情報を送信する。 The determination unit 124 determines whether or not the specified display information 1262 and the specified product information 1263 are different. When it is determined that the specified display information 1262 and the specified product information 1263 are different, the output unit 125 outputs the fact to the outside. For example, the output unit 125 may be configured such that the product 111 actually placed on the product shelf 110 is displayed on a display device such as a display connected to the information processing device 120 and the product corresponding to the display information displayed on the display terminal 112. Displays a different message. Alternatively, the output unit 125 transmits information indicating that the specified display information 1262 is different from the specified product information 1263 to the specified display terminal 112.

図２は、本発明の実施の形態１にかかる商品棚管理処理の流れを示すフローチャートである。まず、取得部１２１は、設置位置１２６１付近に存在する商品１１１を含む撮影画像を取得する（Ｓ１０１）。次に、第１の特定部１２２は、撮影画像に基づき、撮影画像に含まれる商品１１１と、商品１１１の商品棚１１０上の配置位置とを特定する（Ｓ１０２）。 FIG. 2 is a flowchart showing the flow of the merchandise shelf management process according to the first embodiment of the present invention. First, the acquisition unit 121 acquires a captured image including the product 111 existing in the vicinity of the installation position 1261 (S101). Next, the 1st specific | specification part 122 specifies the goods 111 contained in a picked-up image, and the arrangement position on the goods shelf 110 of the goods 111 based on a picked-up image (S102).

そして、第２の特定部１２３は、記憶部１２６を参照して、特定された配置位置が設置位置１２６１として対応付けられた表示情報１２６２と、特定された商品１１１における商品情報１２６３とを特定する（Ｓ１０３）。 Then, the second specifying unit 123 refers to the storage unit 126 and specifies display information 1262 in which the specified arrangement position is associated as the installation position 1261 and product information 1263 in the specified product 111. (S103).

続いて、判定部１２４は、特定された表示情報１２６２と、特定された商品情報１２６３とが異なるか否かを判定する（Ｓ１０４）。このとき、特定された表示情報１２６２と、特定された商品情報１２６３とが異なると判定された場合に、出力部１２５は、その旨を外部に出力する（Ｓ１０５）。 Subsequently, the determination unit 124 determines whether or not the specified display information 1262 and the specified product information 1263 are different (S104). At this time, when it is determined that the specified display information 1262 and the specified product information 1263 are different, the output unit 125 outputs the fact to the outside (S105).

例えば、各商品の提供元と店舗との間の契約等により、商品棚における各商品の配置位置が予め定義されていることがある。そして、電子棚札には定義に従った商品情報が表示される一方、商品棚には、実際の定義とは異なる位置に商品が陳列されていることがある。例えば、店員が商品の陳列時に誤って定義とは異なる配置位置に商品を陳列してしまう場合がある。または、来店した客が商品棚から手に取った商品を他の場所に戻してしまう場合もある。このような場合には、最終的には商品を本来の配置位置に配置し直す必要がある。 For example, the arrangement position of each product in a product shelf may be defined in advance by a contract between a provider of each product and a store. The product information according to the definition is displayed on the electronic shelf label, and the product may be displayed on the product shelf at a position different from the actual definition. For example, a store clerk may accidentally display a product at an arrangement position different from the definition when the product is displayed. Or the customer who came to the store may return the product picked up from the product shelf to another place. In such a case, it is ultimately necessary to rearrange the products at their original positions.

このような場合に、本発明の実施の形態１では、商品棚１１０に設置された電子棚札に表示された商品の表示内容と、その位置に配置された実際の商品とが異なることを、電子タグ等を用いることなく検出し、商品棚１１０に配置された商品が本来とは異なる位置に配置されたことを店員等に対して報知することができる。それ故、店員等が当該商品を適切な位置に再配置することを支援できる。 In such a case, in the first embodiment of the present invention, the display content of the product displayed on the electronic shelf label installed in the product shelf 110 is different from the actual product arranged at that position. It is possible to detect without using an electronic tag or the like, and to notify a store clerk or the like that a product placed on the product shelf 110 is placed at a position different from the original. Therefore, it is possible to support the store clerk and the like to rearrange the product at an appropriate position.

尚、本発明の実施の形態１は、少なくとも次の構成を備えていればよい。すなわち、商品棚上の商品の設置位置と当該設置位置に表示された表示情報とを対応付けて記憶し、前記商品に関する商品情報を記憶する記憶部と、前記設置位置付近に存在する前記商品を含む撮影画像を取得する取得部と、前記撮影画像に基づき、前記撮影画像に含まれる商品と、当該商品の前記商品棚上の配置位置とを特定する第１の特定部と、前記記憶部を参照して、前記特定された配置位置が前記設置位置として対応付けられた前記表示情報と、前記特定された商品における前記商品情報とを特定する第２の特定部と、前記特定された前記表示情報と、前記特定された前記商品情報とが異なるか否かを判定する判定部と、前記特定された表示情報と前記特定された商品情報とが異なると判定された場合に、その旨を外部に出力する出力部と、を備える情報処理装置である。 In addition, Embodiment 1 of this invention should just be provided with the following structure at least. That is, the installation position of the product on the product shelf and the display information displayed at the installation position are stored in association with each other, the storage unit that stores the product information related to the product, and the product that exists near the installation position. An acquisition unit that acquires a captured image, a first specifying unit that specifies a product included in the captured image, and an arrangement position of the product on the product shelf based on the captured image, and the storage unit. Referring to, a second specifying unit that specifies the display information in which the specified arrangement position is associated as the installation position, and the product information in the specified product, and the specified display If it is determined that the information is different from the specified product information, and the determination unit determines whether the specified display information is different from the specified product information Output to And parts, an information processing apparatus including a.

つまりこの場合、商品棚１１０には、必ずしも表示端末１１２が設置されていなくてもよく、商品棚１１０の設置位置１２６１には、何らかの形で表示情報１２６２が表示されていることになる。そして、設置位置１２６１は、少なくとも商品１１１が配置されるべき位置となる。 That is, in this case, the display terminal 112 does not necessarily have to be installed on the product shelf 110, and the display information 1262 is displayed in some form at the installation position 1261 of the product shelf 110. The installation position 1261 is at least a position where the product 111 is to be placed.

＜発明の実施の形態２＞
本発明の実施の形態２は、上述した実施の形態１の一実施例であり、電子棚札の表示内容と実際に配置された商品とが異なる場合に、一時的に表示内容を書き換えると共に、一時的な表示変更である旨を表示させるものである。これにより、店員だけでなく顧客に対しても電子棚札の表示内容が一時的に変更されていることが伝わり、顧客への誤解を軽減し、また、店員による再配置を容易にすることができる。<Embodiment 2 of the Invention>
Embodiment 2 of the present invention is an example of Embodiment 1 described above, and when the display content of the electronic shelf label is different from the actually placed product, the display content is temporarily rewritten, A message indicating that the display is temporarily changed is displayed. As a result, not only the store clerk but also the customer is informed that the display contents of the electronic shelf label have been temporarily changed, reducing misunderstandings to the customer, and facilitating relocation by the store clerk. it can.

図３は、本発明の実施の形態２にかかる商品棚管理システム２の構成を示すブロック図である。商品棚管理システム２は、商品棚２１と、カメラ２２と、管理装置２３とを備える。商品棚２１は、商品棚１１０の一例であり、電子棚札２１２ａ〜２１２ｄのそれぞれが所定の位置に設置されているものである。商品棚２１は、少なくとも１以上の棚があり、各棚に１以上の電子棚札が設置されているものとする。電子棚札２１２ａ〜２１２ｄは、上述した表示端末１１２の一例である。電子棚札２１２ａ〜２１２ｄのそれぞれは、少なくとも管理装置２３から送信される情報を受信する受信部（不図示）、受信した情報を記憶するメモリ（不図示）、及び、受信した情報を表示する表示部（不図示）等を備える。尚、電子棚札２１２ａ〜２１２ｄは、公知ものを用いても構わない。また、商品棚２１には、商品２１１ａ〜２１１ｄのそれぞれが、電子棚札２１２ａ〜２１２ｄの近傍に陳列されている。尚、商品棚２１に陳列される商品の数や、設置される電子棚札の数は、これに限定されない。 FIG. 3 is a block diagram showing a configuration of the commodity shelf management system 2 according to the second embodiment of the present invention. The product shelf management system 2 includes a product shelf 21, a camera 22, and a management device 23. The product shelf 21 is an example of the product shelf 110, and each of the electronic shelf labels 212a to 212d is installed at a predetermined position. The product shelf 21 includes at least one shelf, and one or more electronic shelf labels are installed in each shelf. The electronic shelf labels 212a to 212d are examples of the display terminal 112 described above. Each of the electronic shelf labels 212a to 212d receives at least a receiving unit (not shown) that receives information transmitted from the management device 23, a memory (not shown) that stores the received information, and a display that displays the received information. Part (not shown). The electronic shelf labels 212a to 212d may be known ones. In addition, in the product shelf 21, the products 211a to 211d are displayed in the vicinity of the electronic shelf labels 212a to 212d. The number of products displayed on the product shelf 21 and the number of electronic shelf labels installed are not limited to this.

カメラ２２は、商品棚２１の少なくとも一部を撮影する撮影装置である。そして、カメラ２２が撮影した撮影画像には、少なくとも商品２１１ａ〜２１１ｄの一つが認識可能な程度に含まれているものとする。また、カメラ２２は、通信回線を介して撮影画像を管理装置２３へ出力する。 The camera 22 is a photographing device that photographs at least a part of the product shelf 21. The captured image captured by the camera 22 includes at least one of the products 211a to 211d so that it can be recognized. In addition, the camera 22 outputs a captured image to the management device 23 via a communication line.

管理装置２３は、上述した情報処理装置１２０の一例である。管理装置２３は、制御部２３１と、通信部２３２と、記憶部２３３とを備える。管理装置２３は、有線又は無線の通信回線によりカメラ２２と接続されている。 The management device 23 is an example of the information processing device 120 described above. The management device 23 includes a control unit 231, a communication unit 232, and a storage unit 233. The management device 23 is connected to the camera 22 via a wired or wireless communication line.

記憶部２３３は、上述した記憶部１２６の一例であり、例えば、ハードディスク等の記憶装置である。記憶部２３３は、商品マスタ２３４と、棚札マスタ２３５とを記憶する。商品マスタ２３４は、商品棚２１に陳列される商品２１１ａ〜２１１ｄに関する情報を定義したものである。商品マスタ２３４は、商品ＩＤ２３４１と、商品情報２３４２と、商品画像２３４３とが商品ごとに対応付けられている。商品ＩＤ２３４１は、商品２１１ａ〜２１１ｄの識別情報である。商品情報２３４２は、上述した商品情報１２６３の一例であり、例えば、商品の名称、価格、産地等を示すテキスト情報や、画像等を含むものである。商品画像２３４３は、商品２１１ａ〜２１１ｄの画像データである。例えば、商品２１１ａにおける商品画像２３４３は、商品２１１ａの少なくとも一方向から撮影された画像データである。または、商品２１１ａにおける商品画像２３４３は、商品２１１ａの複数方向から撮影された複数の画像データ群であってもよい。商品２１１ｂ〜２１１ｄの商品画像２３４３についても同様である。 The storage unit 233 is an example of the storage unit 126 described above, and is, for example, a storage device such as a hard disk. The storage unit 233 stores a product master 234 and a shelf label master 235. The product master 234 defines information related to the products 211a to 211d displayed on the product shelf 21. In the product master 234, a product ID 2341, product information 2342, and a product image 2343 are associated with each product. The product ID 2341 is identification information of the products 211a to 211d. The merchandise information 2342 is an example of the merchandise information 1263 described above, and includes, for example, text information indicating the name, price, production area, etc. of the merchandise, and images. The product image 2343 is image data of the products 211a to 211d. For example, the product image 2343 in the product 211a is image data taken from at least one direction of the product 211a. Alternatively, the product image 2343 in the product 211a may be a plurality of image data groups taken from a plurality of directions of the product 211a. The same applies to the product images 2343 of the products 211b to 211d.

棚札マスタ２３５は、電子棚札２１２ａ〜２１２ｄを管理するための情報である。棚札マスタ２３５は、棚札ＩＤ２３５１と、設置位置２３５２と、表示情報２３５３と、一時変更フラグ２３５４とが電子棚札ごとに対応付けられている。棚札ＩＤ２３５１は、電子棚札２１２ａ〜２１２ｄの識別情報である。設置位置２３５２は、上述した設置位置１２６１の一例である。表示情報２３５３には、電子棚札２１２ａ〜２１２ｄの表示部に表示されるべき商品情報２３４２が設定される。尚、本実施の形態では、各電子棚札の設置位置２３５２及び表示情報２３５３が棚札マスタ２３５に予め登録されているものとする。一時変更フラグ２３５４は、電子棚札の表示内容が一時的な表示変更であるか否かを示すフラグ情報である。例えば、電子棚札の表示内容が一時的な表示変更である旨を示す場合、一時変更フラグ２３５４をＯＮとし、電子棚札の表示内容が一時的な表示変更でないことを示す場合（電子棚札の表示内容と配置された商品が対応する場合）、一時変更フラグ２３５４をＯＦＦとする。 The shelf label master 235 is information for managing the electronic shelf labels 212a to 212d. In the shelf label master 235, a shelf label ID 2351, an installation position 2352, display information 2353, and a temporary change flag 2354 are associated with each electronic shelf label. The shelf label ID 2351 is identification information of the electronic shelf labels 212a to 212d. The installation position 2352 is an example of the installation position 1261 described above. In the display information 2353, product information 2342 to be displayed on the display units of the electronic shelf labels 212a to 212d is set. In this embodiment, it is assumed that the installation position 2352 and display information 2353 of each electronic shelf label are registered in the shelf label master 235 in advance. The temporary change flag 2354 is flag information indicating whether or not the display content of the electronic shelf label is a temporary display change. For example, when the display content of the electronic shelf label indicates a temporary display change, the temporary change flag 2354 is set to ON, and the display content of the electronic shelf label indicates that it is not a temporary display change (electronic shelf label ) And the placed product correspond to each other), the temporary change flag 2354 is turned OFF.

制御部２３１は、上述した取得部１２１、第１の特定部１２２、第２の特定部１２３及び判定部１２４の一例であり、例えば、ＣＰＵ（Central Processing Unit）である。制御部２３１は、通信部２３２を用いてカメラ２２から通信回線を介して撮影画像を取得する。尚、制御部２３１は、カメラ２２に対して撮影指示や撮影画像の取得要求を送信してもよい。制御部２３１は、カメラ２２から受信した撮影画像を解析して、当該撮影画像に含まれる商品の画像を認識し、記憶部２３３を参照して、当該認識された画像に類似する商品画像２３４３に対応付けられた商品ＩＤ２３４１を特定する。このとき、制御部２３１は、公知の画像マッチング技術等を用いても構わない。また、制御部２３１は、撮影画像に含まれる商品の画像における撮影画像内の位置から商品棚２１上における商品の配置位置を特定する。例えば、制御部２３１は、カメラ２２の向きや角度により撮影画像内の商品棚２１における棚や幅方向の位置を特定し、上記で認識された商品画像の撮影画像内の位置関係から商品の配列位置を特定する。そして、制御部２３１は、記憶部２３３を参照して、特定された配置位置の近傍を設置位置２３５２とする棚札ＩＤ２３５１を特定し、棚札ＩＤ２３５１に対応付けられた表示情報２３５３を特定する。さらに、制御部２３１は、記憶部２３３を参照して、特定された商品ＩＤ２３４１に対応付けられた商品情報２３４２を特定する。そして、制御部２３１は、特定された表示情報２３５３と特定された商品情報２３４２とが異なるか否かを判定する。特定された表示情報２３５３と特定された商品情報２３４２とが異なると判定された場合に、制御部２３１は、通信部２３２を用いて、特定された電子棚札の棚札ＩＤ２３５１に対して、特定された商品情報２３４２に一時的な表示変更である旨を含めて送信する。これにより、受信した電子棚札は、商品情報２３４２に一時的な表示変更である旨を含めて表示内容を書き換える。 The control unit 231 is an example of the acquisition unit 121, the first specification unit 122, the second specification unit 123, and the determination unit 124 described above, and is, for example, a CPU (Central Processing Unit). The control unit 231 acquires a captured image from the camera 22 via the communication line using the communication unit 232. Note that the control unit 231 may transmit an imaging instruction or a captured image acquisition request to the camera 22. The control unit 231 analyzes the captured image received from the camera 22, recognizes the product image included in the captured image, and refers to the storage unit 233 to generate a product image 2343 similar to the recognized image. The associated product ID 2341 is specified. At this time, the control unit 231 may use a known image matching technique or the like. In addition, the control unit 231 specifies the arrangement position of the product on the product shelf 21 from the position in the captured image in the product image included in the captured image. For example, the control unit 231 specifies the position of the shelf or the width direction in the product shelf 21 in the captured image based on the orientation and angle of the camera 22, and arranges the product from the positional relationship in the captured image of the product image recognized above. Identify the location. Then, the control unit 231 refers to the storage unit 233, identifies the shelf label ID 2351 having the installation position 2352 in the vicinity of the identified arrangement position, and identifies the display information 2353 associated with the shelf label ID 2351. Furthermore, the control unit 231 refers to the storage unit 233 and identifies the product information 2342 associated with the identified product ID 2341. Then, the control unit 231 determines whether or not the specified display information 2353 and the specified product information 2342 are different. When it is determined that the specified display information 2353 is different from the specified product information 2342, the control unit 231 uses the communication unit 232 to specify the specified electronic shelf label ID 2351. The merchandise information 2342 that has been sent includes a temporary display change. Thereby, the received electronic shelf label rewrites the display content including the fact that the product information 2342 is a temporary display change.

また、このとき、制御部２３１は、一時的な表示変更である旨を、特定された電子棚札に対応付けて記憶部２３３を更新する。そのため、制御部２３１は、記憶部２３３の更新部と呼ぶこともできる。但し、制御部２３１は、特定された電子棚札における、記憶部２３３内の表示情報２３５３を更新しない。そのため、電子棚札の本来の表示内容を保持しつつ、一時的な表示変更であることを管理できる。 At this time, the control unit 231 updates the storage unit 233 in association with the identified electronic shelf label to indicate that the display is temporarily changed. Therefore, the control unit 231 can also be called an update unit of the storage unit 233. However, the control unit 231 does not update the display information 2353 in the storage unit 233 in the specified electronic shelf label. Therefore, it is possible to manage the temporary display change while maintaining the original display contents of the electronic shelf label.

さらに、制御部２３１は、特定された表示情報２３５３と特定された商品情報２３４２とが一致すると判定された場合に、記憶部２３３を参照し、特定された電子棚札に対応付けられた一時変更フラグ２３５４がＯＮである場合に、当該電子棚札に対応付けられた一時変更フラグ２３５４を記憶部２３３から削除し、つまり、一時変更フラグ２３５４をＯＦＦに更新する。これは、一時変更フラグ２３５４がＯＮであることから、既に、管理装置２３が電子棚札に対して一時的な表示変更である旨を表示させた状態であり、その後、店員等が電子棚札の表示内容を確認したことにより、当該電子棚札には本来、配置されるべき商品が配置されたことを意味する。そして、制御部２３１は、通信部２３２を用いて、特定された電子棚札に対応付けられた一時的な表示変更である旨が記憶部２３３から削除された場合、つまり、一時変更フラグ２３５４がＯＦＦに更新された場合に、当該特定された電子棚札に対して、当該電子棚札に対応付けられた表示情報２３５３を送信する。これにより、電子棚札は、受信した表示情報２３５３に表示内容を書き換える。これは、電子棚札の表示内容が元の商品情報２３４２に書き戻されたことを意味する。 Further, when it is determined that the specified display information 2353 and the specified product information 2342 match, the control unit 231 refers to the storage unit 233 and temporarily changes the information associated with the specified electronic shelf label. When the flag 2354 is ON, the temporary change flag 2354 associated with the electronic shelf label is deleted from the storage unit 233, that is, the temporary change flag 2354 is updated to OFF. This is because the temporary change flag 2354 is ON, and the management device 23 has already displayed that the display is temporarily changed for the electronic shelf label. By confirming the display content, it means that the product to be originally placed is placed on the electronic shelf label. Then, the control unit 231 uses the communication unit 232 to delete the temporary display change associated with the specified electronic shelf label from the storage unit 233, that is, the temporary change flag 2354 is set. When updated to OFF, display information 2353 associated with the electronic shelf label is transmitted to the specified electronic shelf label. As a result, the electronic shelf label rewrites the display content in the received display information 2353. This means that the display content of the electronic shelf label has been written back to the original product information 2342.

通信部２３２は、通信回線を介してカメラ２２から撮影画像を受信し、制御部２３１へ出力する。また、通信部２３２は、制御部２３１からの指示に応じて指定された電子棚札に対して、特定された商品情報２３４２を送信する。 The communication unit 232 receives the photographed image from the camera 22 via the communication line and outputs it to the control unit 231. In addition, the communication unit 232 transmits the specified product information 2342 to the electronic shelf label specified according to the instruction from the control unit 231.

続いて、本発明の実施の形態２にかかる電子棚札の表示変更の流れについて、図４、図５及び図６を適宜参照して説明する。図４は、本発明の実施の形態２にかかる商品棚管理処理の流れを示すフローチャートである。また、図５及び図６は、本発明の実施の形態２にかかる電子棚札の表示変更の流れを説明するためのシーケンス図である。 Subsequently, the flow of changing the display of the electronic shelf label according to the second exemplary embodiment of the present invention will be described with reference to FIGS. 4, 5, and 6 as appropriate. FIG. 4 is a flowchart showing the flow of the merchandise shelf management process according to the second embodiment of the present invention. 5 and 6 are sequence diagrams for explaining the flow of changing the display of the electronic shelf label according to the second embodiment of the present invention.

まず、前提として、電子棚札２１２ｂには、商品２１１ｂの商品情報が表示されているものとする（図５のＳ２０１）。そして、電子棚札２１２ｂの設置位置の近傍の配置位置ｂに商品２１１ａが配置されたものとする（図５のＳ２０２）。 First, as a premise, product information of the product 211b is displayed on the electronic shelf label 212b (S201 in FIG. 5). Then, it is assumed that the product 211a is arranged at the arrangement position b near the installation position of the electronic shelf label 212b (S202 in FIG. 5).

ここで、カメラ２２は、商品棚２１の少なくとも電子棚札２１２ｂ付近を撮影する（Ｓ２０３）。つまり、カメラ２２のレンズが予め電子棚札２１２ｂの設置位置付近が含まれるような位置に向けられているものとする。そして、ここでは、撮影画像に商品２１１ａが含まれているものとする。そして、カメラ２２は、通信回線を介して管理装置２３へ撮影画像を送信する（Ｓ２０４）。 Here, the camera 22 photographs at least the vicinity of the electronic shelf label 212b of the commodity shelf 21 (S203). That is, it is assumed that the lens of the camera 22 is directed in advance to a position including the vicinity of the installation position of the electronic shelf label 212b. Here, it is assumed that the product 211a is included in the photographed image. And the camera 22 transmits a picked-up image to the management apparatus 23 via a communication line (S204).

そして、管理装置２３は、撮影画像を受信し、図２のステップＳ１０１〜Ｓ１０３の処理を実行する。そして、管理装置２３の制御部２３１は、特定された表示情報２３５３と、特定された商品情報２３４２とが異なるか否かを判定する（図４のＳ１０４）。このとき、特定された表示情報２３５３は、本来配置されるべき商品２１１ｂの商品情報を示し、特定された商品情報２３４２は、実際に画像認識により特定された商品２１１ａの商品情報を示すことになる。そのため、制御部２３１は、特定された表示情報２３５３と、特定された商品情報２３４２とが異なると判定する（図４のＳ１０４でＹＥＳ、図５のＳ２０５）。そして、管理装置２３は、報知及び一時変更フラグをＯＮにする（図５のＳ２０６）。 And the management apparatus 23 receives a picked-up image, and performs the process of step S101-S103 of FIG. And the control part 231 of the management apparatus 23 determines whether the specified display information 2353 and the specified merchandise information 2342 differ (S104 of FIG. 4). At this time, the specified display information 2353 indicates the product information of the product 211b to be originally arranged, and the specified product information 2342 indicates the product information of the product 211a actually specified by image recognition. . Therefore, the control unit 231 determines that the specified display information 2353 is different from the specified product information 2342 (YES in S104 of FIG. 4, S205 of FIG. 5). Then, the management device 23 turns on the notification and temporary change flag (S206 in FIG. 5).

すなわち、制御部２３１は、通信部２３２を用いて、異なる旨を報知する（図４のＳ１０５ａ）。例えば、管理装置２３に接続された画面等に異なる旨を表示させる。併せて、制御部２３１は、電子棚札２１２ｂに対応付けられた一時変更フラグ２３５４をＯＮにして記憶部２３３を更新する（図４のＳ１０６）。そして、制御部２３１は、一時的な表示変更の旨を含めて、特定された商品２１１ａの商品情報２３４２を電子棚札２１２ｂに対して送信する（図４のＳ１０７、図５のＳ２０７）。その後、電子棚札２１２ｂは、管理装置２３から送信された商品情報２３４２等を受信し、商品２１１ａの商品情報２３４２及び一時的な表示変更の旨を表示する（図５のＳ２０８）。 That is, the control unit 231 uses the communication unit 232 to notify that it is different (S105a in FIG. 4). For example, a different message is displayed on a screen connected to the management device 23. At the same time, the control unit 231 turns on the temporary change flag 2354 associated with the electronic shelf label 212b and updates the storage unit 233 (S106 in FIG. 4). And the control part 231 transmits the merchandise information 2342 of the specified goods 211a including the effect of a temporary display change with respect to the electronic shelf label 212b (S107 of FIG. 4, S207 of FIG. 5). Thereafter, the electronic shelf label 212b receives the product information 2342 and the like transmitted from the management device 23, and displays the product information 2342 of the product 211a and a temporary display change (S208 in FIG. 5).

その後、ステップＳ１０５ａの報知、又は、電子棚札２１２ｂに表示された一時的な表示変更の旨を確認した店員等が、電子棚札２１２ｂ付近に本来配置すべき商品２１１ｂを配置し直す（図６のＳ２０９）。 After that, the store clerk or the like who has confirmed the notification in step S105a or the temporary display change displayed on the electronic shelf label 212b rearranges the product 211b to be originally arranged near the electronic shelf label 212b (FIG. 6). S209).

そして、カメラ２２は、再度、電子棚札２１２ｂ付近を撮影し（図６のＳ２１０）、通信回線を介して管理装置２３へ撮影画像を送信する（図６のＳ２１１）。その後、管理装置２３は、撮影画像を受信し、図２のステップＳ１０１〜Ｓ１０４の処理を実行する。ここでは、電子棚札２１２ｂの表示情報２３５３が本来配置されるべき商品２１１ｂの商品情報として保持されている。そのため、特定された表示情報２３５３は、商品２１１ｂの商品情報を示し、特定された商品情報２３４２は、実際に画像認識により特定された商品２１１ｂの商品情報を示すことになる。 Then, the camera 22 again captures the vicinity of the electronic shelf label 212b (S210 in FIG. 6), and transmits the captured image to the management apparatus 23 via the communication line (S211 in FIG. 6). Thereafter, the management device 23 receives the captured image and executes the processes of steps S101 to S104 in FIG. Here, the display information 2353 of the electronic shelf label 212b is held as the product information of the product 211b to be originally arranged. Therefore, the specified display information 2353 indicates the product information of the product 211b, and the specified product information 2342 indicates the product information of the product 211b that is actually specified by image recognition.

制御部２３１は、特定された電子棚札２１２ｂの表示情報２３５３と、特定された商品２１１ｂの商品情報２３４２とが一致すると判定する（図４のＳ１０４でＮＯ、図６のＳ２１２）。さらに、制御部２３１は、電子棚札２１２ｂの一時変更フラグがＯＮであるか否かを判定する（図４のＳ１０８）。ここでは、電子棚札２１２ｂの一時変更フラグがＯＮであると判定され（図４のＳ１０８でＹＥＳ）、制御部２３１は、一時変更フラグをＯＦＦにする（図４のＳ１０９、図６のＳ２１３）。そして、制御部２３１は、通信部２３２を用いて、表示情報（電子棚札２１２ｂの表示情報２３５３、すなわち、商品２１１ｂの商品情報２３４２）を、電子棚札２１２ｂに対して送信する（図４のＳ１１０、図６のＳ２１４）。その後、電子棚札２１２ｂは、管理装置２３から送信された商品情報２３４２等を受信し、商品２１１ｂの商品情報２３４２を表示する（図６のＳ２１５）。 The control unit 231 determines that the display information 2353 of the specified electronic shelf label 212b matches the product information 2342 of the specified product 211b (NO in S104 of FIG. 4, S212 of FIG. 6). Further, the control unit 231 determines whether or not the temporary change flag of the electronic shelf label 212b is ON (S108 in FIG. 4). Here, it is determined that the temporary change flag of the electronic shelf label 212b is ON (YES in S108 of FIG. 4), and the control unit 231 sets the temporary change flag to OFF (S109 of FIG. 4, S213 of FIG. 6). . Then, the control unit 231 uses the communication unit 232 to transmit display information (display information 2353 of the electronic shelf label 212b, that is, product information 2342 of the product 211b) to the electronic shelf label 212b (FIG. 4). S110, S214 of FIG. 6). Thereafter, the electronic shelf label 212b receives the product information 2342 and the like transmitted from the management device 23, and displays the product information 2342 of the product 211b (S215 in FIG. 6).

尚、図４のステップＳ１０８において、処理対象の電子棚札の一時変更フラグがＯＦＦであれば、電子棚札の表示内容と実際に配置された商品とが対応することになるため、当該処理を終了する。 In step S108 in FIG. 4, if the temporary change flag of the electronic shelf label to be processed is OFF, the display content of the electronic shelf label corresponds to the actually placed product. finish.

このように、本実施の形態においても電子タグ等を用いずに、電子棚札の表示内容と商品との対応が異なることを検出できる。そして、電子棚札の表示内容と商品との対応が異なる場合に、一時的に電子棚札の表示内容を変更する。そのとき、店員等や顧客に一時的な表示変更である点が伝わるように表示を付加する。これにより、顧客の誤解を軽減し、店員による再配置を容易にすることができる。さらに、管理装置２３側では電子棚札の表示内容について、一時的な表示変更であることを保持しておくことで、再配置に電子棚札の表示内容と商品との対応が正しいと検出された際に、元の表示内容に戻すことができる。このとき、元の表示内容を残しておくことで、確実に本来の表示に戻すことができる。このように、本実施の形態により、商品棚における各設置位置に設置された各電子棚札の商品の表示内容と、その位置に配置された実際の商品とが異なる場合に、電子タグ等を用いることなく再配置を支援することができる。 Thus, also in this embodiment, it is possible to detect that the correspondence between the display contents of the electronic shelf label and the product is different without using an electronic tag or the like. Then, when the display content of the electronic shelf label differs from the product, the display content of the electronic shelf label is temporarily changed. At that time, a display is added so that a point of temporary display change is transmitted to a clerk or the customer. Thereby, misunderstanding of a customer can be reduced and relocation by a store clerk can be facilitated. Furthermore, the management device 23 detects that the display content of the electronic shelf label is a temporary display change, and the correspondence between the display content of the electronic shelf label and the product is correct for rearrangement. The original display content can be restored. At this time, by leaving the original display contents, the original display can be surely restored. Thus, according to the present embodiment, when the display content of the product on each electronic shelf label installed at each installation position in the product shelf is different from the actual product arranged at that position, the electronic tag or the like is Relocation can be supported without using it.

＜その他の発明の実施の形態＞
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。<Other embodiments of the invention>
Furthermore, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention described above. For example, in the above-described embodiment, the present invention has been described as a hardware configuration, but the present invention is not limited to this. The present invention can also realize arbitrary processing by causing a CPU (Central Processing Unit) to execute a computer program.

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ(Blu-ray(登録商標) Disc)、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, DVD (Digital Versatile Disc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM ( Random Access Memory)). The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the exemplary embodiments, the present invention is not limited to the above. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the invention.

この出願は、２０１４年３月２０日に出願された日本出願特願２０１４−５８４０８を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2014-58408 for which it applied on March 20, 2014, and takes in those the indications of all here.

１商品棚管理システム
１１０商品棚
１１１商品
１１２表示端末
１２０情報処理装置
１２１取得部
１２２第１の特定部
１２３第２の特定部
１２４判定部
１２５出力部
１２６記憶部
１２６１設置位置
１２６２表示情報
１２６３商品情報
２商品棚管理システム
２１商品棚
２１１ａ商品
２１２ａ電子棚札
２１１ｂ商品
２１２ｂ電子棚札
２１１ｃ商品
２１２ｃ電子棚札
２１１ｄ商品
２１２ｄ電子棚札
２２カメラ
２３管理装置
２３１制御部
２３２通信部
２３３記憶部
２３４商品マスタ
２３４１商品ＩＤ
２３４２商品情報
２３４３商品画像
２３５棚札マスタ
２３５１棚札ＩＤ
２３５２設置位置
２３５３表示情報
２３５４一時変更フラグDESCRIPTION OF SYMBOLS 1 Commodity shelf management system 110 Commodity shelf 111 Commodity 112 Display terminal 120 Information processing apparatus 121 Acquisition part 122 1st specific part 123 2nd specific part 124 Judgment part 125 Output part 126 Storage part 1261 Installation position 1262 Display information 1263 Product information 2 Product shelf management system 21 Product shelf 211a Product 212a Electronic shelf label 211b Product 212b Electronic shelf label 211c Product 212c Electronic shelf label 211d Product 212d Electronic shelf label 22 Camera 23 Management device 231 Control unit 232 Communication unit 233 Storage unit 234 Product master 2341 Product ID
2342 Product information 2343 Product image 235 Shelf label master 2351 Shelf label ID
2352 Installation position 2353 Display information 2354 Temporary change flag

Claims

Storage means for storing the product installation position on the product shelf and the display information displayed at the installation position in association with each other, and storing product information about the product;
Obtaining means for obtaining a photographed image including the product existing in the vicinity of the installation position;
Based on the captured image, a first specifying unit that specifies a product included in the captured image and an arrangement position of the product on the product shelf;
With reference to the storage means, second specifying means for specifying the display information in which the specified arrangement position is associated as the installation position, and the product information in the specified product,
A determination means for determining whether or not the specified display information is different from the specified product information;
When it is determined that the specified display information and the specified product information are different, output means for outputting the fact to the outside,
An information processing apparatus comprising:

The installation position is a position where a display terminal capable of displaying predetermined information based on information received from outside is installed on the product shelf,
The information processing apparatus according to claim 1, wherein the display information is information displayed on the display terminal.

The information processing apparatus according to claim 2, wherein an electronic shelf label is used as the display terminal.

The output means includes
When it is determined that the specified display information is different from the specified product information, the specified display terminal indicates that the specified product information is a temporary display change. The information processing apparatus according to claim 2, wherein the information processing apparatus transmits the information.

When it is determined that the specified display information is different from the specified product information, the temporary display change is performed without updating the display information in the storage unit in the specified display terminal. The information processing apparatus according to claim 4, further comprising an updating unit that updates the storage unit in association with the identified display terminal.

The updating means includes
When it is determined that the specified display information and the specified product information match, the storage means is referred to and the fact that the display is temporarily changed is associated with the specified display terminal. And deleting from the storage means that it is the temporary display change associated with the display terminal,
The output means includes
When the temporary display change associated with the identified display terminal is deleted from the storage unit, the identified display terminal is associated with the display terminal. The information processing apparatus according to claim 5, wherein the display information is transmitted.

The output means includes
When it is determined that the specified display information is different from the previously specified product information, information indicating that the display information is different from the product information is transmitted to the specified display terminal. The information processing apparatus according to claim 2.

A product shelf on which predetermined display information is displayed at the product installation position;
Photographing means for photographing the product existing near the installation position and outputting the photographed image;
A management device for managing the product shelf,
The management device
Storage means for storing the installation position and the display information in association with each other, and storing product information about the product;
Obtaining means for obtaining the photographed image from the photographing means;
Based on the captured image, a first specifying unit that specifies a product included in the captured image and an arrangement position of the product on the product shelf;
With reference to the storage means, second specifying means for specifying the display information in which the specified arrangement position is associated as the installation position, and the product information in the specified product,
A determination means for determining whether or not the specified display information is different from the specified product information;
When it is determined that the specified display information and the specified product information are different, output means for outputting the fact to the outside,
A product shelf management system.

Take a picture of the product that is near the installation location on the product shelf where the display information is displayed at the product installation location,
Based on the photographed photographed image, the product included in the photographed image and the arrangement position of the commodity on the commodity shelf are identified,
The installation information and the display information are stored in association with each other, and the display information in which the specified arrangement position is associated as the installation position with reference to a storage unit in which product information about the product is stored. , Specifying the product information in the specified product,
Determining whether the specified display information is different from the specified product information;
A product shelf management method of outputting the fact to the outside when it is determined that the specified display information is different from the specified product information.

An acquisition process for acquiring a photographed image including a product existing in the vicinity of the installation position on the product shelf on which display information is displayed at the installation position of the product;
A first specifying process for specifying a product included in the captured image and an arrangement position of the product on the product shelf based on the captured image;
The installation information and the display information are stored in association with each other, and the display information in which the specified arrangement position is associated as the installation position with reference to a storage unit in which product information about the product is stored. A second specifying process for specifying the product information in the specified product;
A determination process for determining whether the specified display information is different from the specified product information;
When it is determined that the specified display information and the specified product information are different, an output process for outputting the fact to the outside,
A non-transitory computer readable medium storing a merchandise shelf management program for causing a computer to execute.