JP6743868B2 - Information processing device, product shelf management system, product shelf management method, and product shelf management program - Google Patents

Information processing device, product shelf management system, product shelf management method, and product shelf management program Download PDF

Info

Publication number
JP6743868B2
JP6743868B2 JP2018213470A JP2018213470A JP6743868B2 JP 6743868 B2 JP6743868 B2 JP 6743868B2 JP 2018213470 A JP2018213470 A JP 2018213470A JP 2018213470 A JP2018213470 A JP 2018213470A JP 6743868 B2 JP6743868 B2 JP 6743868B2
Authority
JP
Japan
Prior art keywords
product
display
image
information
shelf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018213470A
Other languages
Japanese (ja)
Other versions
JP2019057306A (en
Inventor
望 藤原
望 藤原
英路 村松
英路 村松
道生 永井
道生 永井
信一 阿南
信一 阿南
準 小林
準 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2019057306A publication Critical patent/JP2019057306A/en
Priority to JP2020076771A priority Critical patent/JP6897845B2/en
Application granted granted Critical
Publication of JP6743868B2 publication Critical patent/JP6743868B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions

Description

本発明は、情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムに関し、特に、商品棚を管理する情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムに関する。 The present invention relates to an information processing device, a product shelf management system, a product shelf management method, and a product shelf management program, and particularly to an information processing device, a product shelf management system, a product shelf management method, and a product for managing a product shelf. Regarding the shelf management program.

近年、小売店等の商品の陳列棚(商品棚)において、各商品の傍らに商品の値段等を表示する電子棚札が普及しつつある。特許文献1には、電子棚札を用いた電子棚札システムに関する技術が開示されている。特許文献1にかかる電子棚札システムは、陳列棚に設置された複数の電子棚札と、各電子棚札に対して無線通信により表示情報を送信する電子棚札コントローラと、を備える。ここで、電子棚札コントローラは、商品コードと電子棚札のIDとを対応付けたテーブルを予め記憶している。そして、電子棚札コントローラは、商品コードに基づく商品情報を、対応付けられた電子棚札に対して送信することで、電子棚札に商品情報を表示させるものである。 2. Description of the Related Art In recent years, electronic shelf labels, which display the price of a product or the like beside each product, are becoming widespread on display shelves (product shelves) of products such as retail stores. Patent Document 1 discloses a technique relating to an electronic shelf label system using an electronic shelf label. The electronic shelf label system according to Patent Literature 1 includes a plurality of electronic shelf labels installed on a display shelf, and an electronic shelf label controller that transmits display information to each electronic shelf label by wireless communication. Here, the electronic shelf label controller stores in advance a table in which the product code and the ID of the electronic shelf label are associated with each other. Then, the electronic shelf label controller displays the product information on the electronic shelf label by transmitting the product information based on the product code to the associated electronic shelf label.

また、特許文献2には、商品の陳列棚に陳列されている商品を複数のカメラで撮像し、撮像された画像から輪郭データ等を抽出することにより当該画像の特徴データを判定し、特徴データに基づいて商品を特定する技術が開示されている。 Further, in Patent Document 2, a product displayed on a display shelf of the product is imaged by a plurality of cameras, and the feature data of the image is determined by extracting contour data and the like from the imaged images, and the feature data A technique for identifying a product based on is disclosed.

特開2003−187330号公報JP, 2003-187330, A 特開2001−088912号公報JP, 2001-088912, A

ここで、特許文献1にかかる技術では、商品情報を電子棚札に表示させるために、商品情報と電子棚札とを対応付けたテーブルを予め登録しておく必要があった。そのため、電子棚札で扱う商品の種類が多い場合には、商品情報と電子棚札との対応付けを登録する作業が煩雑であるという問題点があった。尚、特許文献2は電子棚札を用いる技術ではない。 Here, in the technology according to Patent Document 1, in order to display the product information on the electronic shelf label, it is necessary to previously register a table in which the product information and the electronic shelf label are associated with each other. Therefore, when there are many kinds of products handled by the electronic shelf labels, there is a problem that the work of registering the correspondence between the product information and the electronic shelf labels is complicated. Note that Patent Document 2 is not a technique using an electronic shelf label.

本発明は、このような問題点を解決するためになされたものであり、商品棚に実際に陳列された商品に基づいて、適切な電子棚札等の表示端末に対して当該陳列された商品の表示情報を効率的に表示させるための情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムを提供することを目的とする。 The present invention has been made in order to solve such a problem, and based on the product actually displayed on the product shelf, the product displayed on an appropriate display terminal such as an electronic shelf label. It is an object of the present invention to provide an information processing device, a product shelf management system, a product shelf management method, and a product shelf management program for efficiently displaying the display information of 1.

本発明の第1の態様にかかる情報処理装置は、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部と、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末が所定の位置に設置され、かつ、前記商品が当該所定の位置に陳列された商品棚の少なくとも一部を含む撮影画像を取得する取得部と、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定する第1の特定部と、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定する第2の特定部と、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信する送信部と、
を備える。
An information processing apparatus according to the first aspect of the present invention is
A storage unit that stores the display information about the product and the image of the product in association with each other,
Based on information received from the outside, a display terminal capable of displaying predetermined information is installed at a predetermined position, and a captured image including at least a part of the product shelf in which the product is displayed at the predetermined position is displayed. An acquisition unit to acquire,
A first specifying unit that specifies the display information and a position on the product shelf where the product is displayed, based on an image of the product included in the captured image;
A second specifying unit that specifies the display terminal installed at the specified position on the product shelf;
With respect to the specified display terminal, a transmission unit that transmits information for displaying the specified display information,
Equipped with.

本発明の第2の態様にかかる商品棚管理システムは、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末と、
前記表示端末が所定の位置に設置された商品棚と、
前記商品棚を管理する管理装置と、を備え、
前記管理装置は、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部と、
前記商品棚に陳列された前記商品を含む撮影画像を取得する取得部と、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定する第1の特定部と、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定する第2の特定部と、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信する送信部と、
を備え、
前記表示端末は、前記送信部から受信した情報に基づいて、前記特定された表示情報を表示する。
The product shelf management system according to the second aspect of the present invention is
A display terminal capable of displaying predetermined information based on information received from the outside,
A product shelf in which the display terminal is installed at a predetermined position,
A management device that manages the product shelf,
The management device is
A storage unit that stores the display information about the product and the image of the product in association with each other,
An acquisition unit that acquires a captured image including the product displayed on the product shelf,
A first specifying unit that specifies the display information and a position on the product shelf where the product is displayed, based on an image of the product included in the captured image;
A second specifying unit that specifies the display terminal installed at the specified position on the product shelf;
With respect to the specified display terminal, a transmission unit that transmits information for displaying the specified display information,
Equipped with
The display terminal displays the specified display information based on the information received from the transmitting unit.

本発明の第3の態様にかかる商品棚管理方法は、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部を備える情報処理装置を用いた商品棚管理方法であって、
前記情報処理装置が、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末が所定の位置に設置された商品棚に陳列された前記商品を含む撮影画像を取得し、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定し、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定し、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信し、
前記表示端末が、
前記情報処理装置から受信した情報に基づいて、前記特定された表示情報を表示する。
A product shelf management method according to a third aspect of the present invention is
A product shelf management method using an information processing device including a storage unit that stores display information related to a product and an image of the product in association with each other,
The information processing device is
Based on the information received from the outside, a display terminal capable of displaying the predetermined information is obtained a captured image including the product displayed on the product shelf installed at a predetermined position,
Based on the image of the product included in the captured image, specify the display information and the position on the product shelf where the product is displayed,
Specifying the display terminal installed at the specified position on the product shelf,
To the specified display terminal, transmits information for displaying the specified display information,
The display terminal,
The specified display information is displayed based on the information received from the information processing device.

本発明の第4の態様にかかる商品棚管理プログラムは、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部を備えるコンピュータに、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末が所定の位置に設置された商品棚に陳列された前記商品を含む撮影画像を取得する処理と、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定する処理と、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定する処理と、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信する処理と、
を実行させる。
The product shelf management program according to the fourth aspect of the present invention is
In a computer including a storage unit that stores display information about a product and an image of the product in association with each other,
Based on the information received from the outside, a process of acquiring a photographed image including the product displayed on a product shelf in which a display terminal capable of displaying the predetermined information is installed,
A process of specifying the display information and the position on the product shelf where the product is displayed, based on the image of the product included in the captured image;
A process of specifying the display terminal installed at the specified position on the product shelf;
A process of transmitting information for displaying the specified display information to the specified display terminal,
To run.

本発明により、商品棚に実際に陳列された商品に基づいて、適切な電子棚札等の表示端末に対して当該陳列された商品の表示情報を効率的に表示させるための情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムを提供することができる。 According to the present invention, an information processing device and a product for efficiently displaying display information of the displayed product on a display terminal such as an appropriate electronic shelf label based on the product actually displayed on the product shelf A shelf management system, a product shelf management method, and a product shelf management program can be provided.

本発明の実施の形態1にかかる商品棚管理システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the goods shelf management system concerning Embodiment 1 of this invention. 本発明の実施の形態1にかかる商品棚管理処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the goods shelf management process concerning Embodiment 1 of this invention. 本発明の実施の形態2にかかる商品棚管理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the goods shelf management system concerning Embodiment 2 of this invention. 本発明の実施の形態2にかかる商品棚管理処理の流れを説明するためのシーケンス図である。It is a sequence diagram for explaining the flow of the product shelf management processing according to the second exemplary embodiment of the present invention. 本発明の実施の形態3にかかる電子棚札の位置検出処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the position detection process of the electronic shelf label concerning Embodiment 3 of this invention.

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In each drawing, the same reference numerals are given to the same elements, and for the sake of clarity of explanation, duplicated description will be omitted as necessary.

<発明の実施の形態1>
図1は、本発明の実施の形態1にかかる商品棚管理システム1の全体構成を示すブロック図である。商品棚管理システム1は、商品棚110と情報処理装置120とを備える。商品棚110は、小売店等に設置され、商品111等を陳列する棚である。そして、商品棚110には、所定の位置に表示端末112が設置されている。表示端末112は、外部から受信した情報に基づいて、所定の情報を表示可能な電子機器である。ここでは、表示端末112は、少なくとも情報処理装置120から送信される情報を受信できるものとする。例えば、表示端末112は、無線により情報を受信できる電子棚札である。そして、表示端末112は、情報処理装置120から表示対象の表示情報を受信した場合に、当該受信した表示情報を表示する。または、表示端末112は、複数の表示情報を予め保持しており、情報処理装置120から表示対象の表示情報を指定した情報(又は表示内容の切替信号)を受け付けた場合に、当該情報に基づいて、指定された表示情報を選択して(又は切り替えて)表示してもよい。尚、商品棚110に陳列される商品の数や、設置される表示端末の数は、それぞれ2以上であってもよい。
<First Embodiment of the Invention>
FIG. 1 is a block diagram showing an overall configuration of a product shelf management system 1 according to the first exemplary embodiment of the present invention. The product shelf management system 1 includes a product shelf 110 and an information processing device 120. The product shelf 110 is a shelf installed in a retail store or the like and displaying products 111 and the like. A display terminal 112 is installed at a predetermined position on the product shelf 110. The display terminal 112 is an electronic device that can display predetermined information based on information received from the outside. Here, it is assumed that the display terminal 112 can receive at least the information transmitted from the information processing device 120. For example, the display terminal 112 is an electronic shelf label capable of wirelessly receiving information. Then, when the display terminal 112 receives the display information to be displayed from the information processing apparatus 120, the display terminal 112 displays the received display information. Alternatively, when the display terminal 112 holds a plurality of pieces of display information in advance and receives information (or a display content switching signal) that specifies the display information to be displayed from the information processing apparatus 120, based on the information. Then, the designated display information may be selected (or switched) and displayed. The number of products displayed on the product shelf 110 and the number of display terminals installed may be two or more, respectively.

情報処理装置120は、商品棚110を管理する管理装置である。情報処理装置120は、取得部121と、第1の特定部122と、第2の特定部123と、送信部124と、記憶部125とを備える。記憶部125は、表示情報1251と商品の画像1252とを対応付けて記憶する記憶装置である。表示情報1251は、商品111に関する表示情報である。例えば、表示情報1251は、商品111の商品名、価格等を含むものである。商品の画像1252は、商品111の少なくとも一方向から撮影された画像データである。尚、商品の画像1252は、商品111の複数方向から撮影された複数の画像データ群であってもよい。 The information processing device 120 is a management device that manages the product shelf 110. The information processing device 120 includes an acquisition unit 121, a first identification unit 122, a second identification unit 123, a transmission unit 124, and a storage unit 125. The storage unit 125 is a storage device that stores the display information 1251 and the product image 1252 in association with each other. The display information 1251 is display information regarding the product 111. For example, the display information 1251 includes the product name and price of the product 111. The product image 1252 is image data taken from at least one direction of the product 111. Note that the product image 1252 may be a plurality of image data groups captured from a plurality of directions of the product 111.

取得部121は、商品棚110の少なくとも一部を含む撮影画像を取得する。ここで、商品棚110には、商品111が所定の位置に陳列されているものとする。つまり、商品棚110に設置された表示端末112と商品111とが近傍に存在しているものとする。また、撮影画像は、カメラ等により商品棚110が撮影されたものである。そこで、取得部121は、カメラ等により撮影された撮影画像を、通信回線を介して取得してもよい。または、情報処理装置120自身がカメラ等の撮影手段を備え、取得部121は撮影手段から出力された撮影画像を取得しても良い。 The acquisition unit 121 acquires a captured image including at least a part of the product shelf 110. Here, it is assumed that the product 111 is displayed on the product shelf 110 at a predetermined position. That is, it is assumed that the display terminal 112 and the product 111 installed on the product shelf 110 are present in the vicinity. In addition, the captured image is an image of the product shelf 110 captured by a camera or the like. Therefore, the acquisition unit 121 may acquire a captured image captured by a camera or the like via a communication line. Alternatively, the information processing device 120 itself may be provided with a photographing means such as a camera, and the acquisition unit 121 may acquire the photographed image output from the photographing means.

第1の特定部122は、撮影画像に含まれる商品111の画像に基づき、表示情報1251と商品111が陳列された商品棚110上の位置とを特定する。例えば、第1の特定部122は、撮影画像から画像認識等により商品111の画像を抽出し、抽出された商品111の画像に類似する商品の画像1252に対応付けられた表示情報1251を記憶部125から読み出しても良い。 The first specifying unit 122 specifies the display information 1251 and the position on the product shelf 110 where the product 111 is displayed, based on the image of the product 111 included in the captured image. For example, the first identifying unit 122 extracts the image of the product 111 from the captured image by image recognition or the like, and stores the display information 1251 associated with the image 1252 of the product similar to the extracted image of the product 111 in the storage unit. You may read from 125.

第2の特定部123は、商品棚110上の特定された位置に設置された表示端末112を特定する。ここで、記憶部125には、表示端末112の商品棚110上の設置位置が予め登録されていてもよい。その場合、第2の特定部123は、撮影画像に含まれる商品の画像の位置から、当該商品の陳列位置の近傍に設置された表示端末112を特定することができる。または、記憶部125に表示端末112の商品棚110上の設置位置が登録されていない場合には、後述する方法により第2の特定部123が表示端末112の商品棚110上の設置位置を検出してもよい。送信部124は、特定された表示端末112に対して、特定された表示情報1251を表示させるための情報を送信する。例えば、表示端末112が受信した情報をそのまま表示できる場合、送信部124は、特定された表示情報1251そのものを送信してもよい。または、表示端末112が予め複数の表示情報を保持しており、外部からの指示に応じて表示情報を切り替えて表示できる場合、送信部124は、特定された表示情報1251を指定した表示内容の切替信号のようなものを送信してもよい。 The second specifying unit 123 specifies the display terminal 112 installed at the specified position on the product shelf 110. Here, the installation position of the display terminal 112 on the product shelf 110 may be registered in the storage unit 125 in advance. In that case, the second specifying unit 123 can specify the display terminal 112 installed near the display position of the product from the position of the image of the product included in the captured image. Alternatively, when the installation position of the display terminal 112 on the product shelf 110 is not registered in the storage unit 125, the second specifying unit 123 detects the installation position of the display terminal 112 on the product shelf 110 by a method described below. You may. The transmission unit 124 transmits information for displaying the specified display information 1251 to the specified display terminal 112. For example, if the information received by the display terminal 112 can be displayed as it is, the transmission unit 124 may transmit the specified display information 1251 itself. Alternatively, when the display terminal 112 holds a plurality of display information in advance and can switch and display the display information according to an instruction from the outside, the transmission unit 124 displays the specified display information 1251 in the specified display content. Something like a switching signal may be transmitted.

図2は、本発明の実施の形態1にかかる商品棚管理処理の流れを示すフローチャートである。前提として、店員等が商品棚110上の表示端末112の近傍に商品111を陳列したものとする。その後、まず、取得部121は、商品111が陳列された商品棚110を含む撮影画像を取得する(S101)。 FIG. 2 is a flowchart showing the flow of the product shelf management process according to the first embodiment of the present invention. As a premise, it is assumed that a store clerk or the like displays the product 111 near the display terminal 112 on the product shelf 110. After that, the acquisition unit 121 first acquires a captured image including the product shelf 110 on which the products 111 are displayed (S101).

次に、第1の特定部122は、撮影画像に含まれる商品111の画像に基づき、表示情報1251と、商品111が陳列された商品棚110上の位置とを特定する(S102)。例えば、第1の特定部122は、撮影画像から画像認識等により商品111の画像を認識し、認識された画像と類似する画像(商品の画像1252)を記憶部125の中から特定する。そして、第1の特定部122は、特定された商品の画像1252に対応付けられた表示情報1251を記憶部125から読み出す。 Next, the first specifying unit 122 specifies the display information 1251 and the position on the product shelf 110 where the product 111 is displayed, based on the image of the product 111 included in the captured image (S102). For example, the first specifying unit 122 recognizes the image of the product 111 from the captured image by image recognition or the like, and specifies an image (image 1252 of the product) similar to the recognized image from the storage unit 125. Then, the first identifying unit 122 reads the display information 1251 associated with the identified product image 1252 from the storage unit 125.

続いて、第2の特定部123は、商品棚110上の特定された位置に設置された表示端末112を特定する(S103)。その後、送信部124は、特定された表示端末112に対して、特定された表示情報1251を送信する(S104)。尚、上述したように、送信部124は、少なくとも特定された表示情報1251を表示させるための情報を送信すればよい。 Subsequently, the second specifying unit 123 specifies the display terminal 112 installed at the specified position on the product shelf 110 (S103). Then, the transmission unit 124 transmits the specified display information 1251 to the specified display terminal 112 (S104). As described above, the transmission unit 124 may transmit at least the information for displaying the specified display information 1251.

このように、本発明の実施の形態1では、商品棚110を撮影した画像から実際に陳列された商品111の画像1252を認識して表示端末112に表示すべき表示情報1251及び商品111の陳列位置を特定する。そして、商品111の陳列位置と近傍に設置された表示端末112を特定し、当該表示端末112に対して表示情報1251を送信する。そのため、事前に商品と電子棚札の対応関係を登録することなく、商品棚に実際に陳列された商品に基づいて、適切な電子棚札等の表示端末に対して当該陳列された商品の表示情報を効率的に表示させることができる。 As described above, in the first embodiment of the present invention, the display information 1251 and the display of the product 111 which should be displayed on the display terminal 112 by recognizing the image 1252 of the product 111 actually displayed from the image of the product shelf 110 are displayed. Identify the location. Then, the display position of the product 111 and the display terminal 112 installed in the vicinity are specified, and the display information 1251 is transmitted to the display terminal 112. Therefore, without registering the correspondence relationship between the product and the electronic shelf label in advance, based on the product actually displayed on the product shelf, the display of the displayed product on an appropriate display terminal such as the electronic shelf label. Information can be displayed efficiently.

<発明の実施の形態2>
本発明の実施の形態2は、上述した実施の形態1の一実施例であり、商品棚における電子棚札の位置情報が予め登録されている場合を示す。図3は、本発明の実施の形態2にかかる商品棚管理システム2の構成を示すブロック図である。商品棚管理システム2は、商品棚21と、カメラ22と、管理装置23とを備える。商品棚21は、商品棚110の一例であり、電子棚札212a〜212dのそれぞれが所定の位置に設置されているものである。商品棚21は、少なくとも1以上の棚があり、各棚に1以上の電子棚札が設置されているものとする。電子棚札212a〜212dは、上述した表示端末112の一例である。電子棚札212a〜212dのそれぞれは、少なくとも管理装置23から送信される情報を受信する受信部(不図示)、受信した情報を記憶するメモリ(不図示)、及び、受信した情報を表示する表示部(不図示)等を備える。尚、電子棚札212a〜212dは、公知ものを用いても構わない。また、商品棚21には、商品211a〜211dのそれぞれが、電子棚札212a〜212dの近傍に陳列されている。尚、商品棚21に陳列される商品の数や、設置される表示端末の数は、これに限定されない。
Second Embodiment of the Invention
The second embodiment of the present invention is an example of the above-described first embodiment, and shows a case where the position information of the electronic shelf label on the product shelf is registered in advance. FIG. 3 is a block diagram showing the configuration of the product shelf management system 2 according to the second exemplary embodiment of the present invention. The product shelf management system 2 includes a product shelf 21, a camera 22, and a management device 23. The product shelf 21 is an example of the product shelf 110, and each of the electronic shelf labels 212a to 212d is installed at a predetermined position. It is assumed that the product shelves 21 include at least one shelf and one or more electronic shelf labels are installed on each shelf. The electronic shelf labels 212a to 212d are an example of the display terminal 112 described above. Each of the electronic shelf labels 212a to 212d has at least a receiving unit (not shown) that receives information transmitted from the management device 23, a memory (not shown) that stores the received information, and a display that displays the received information. A unit (not shown) and the like are provided. Known electronic shelf labels 212a to 212d may be used. Further, on the product shelf 21, products 211a to 211d are displayed near the electronic shelf labels 212a to 212d, respectively. The number of products displayed on the product shelf 21 and the number of display terminals installed are not limited to this.

カメラ22は、商品棚21の少なくとも一部を撮影する撮影装置である。そして、カメラ22が撮影した撮影画像には、少なくとも商品211a〜211dの一つが認識可能な程度に含まれているものとする。また、カメラ22は、通信回線を介して撮影画像を管理装置23へ出力する。 The camera 22 is a photographing device that photographs at least a part of the product shelf 21. Then, it is assumed that the captured image captured by the camera 22 includes at least one of the products 211a to 211d in a recognizable degree. Further, the camera 22 outputs the captured image to the management device 23 via the communication line.

管理装置23は、上述した情報処理装置120の一例である。管理装置23は、制御部231と、通信部232と、記憶部233とを備える。管理装置23は、有線又は無線の通信回線によりカメラ22と接続されている。 The management device 23 is an example of the information processing device 120 described above. The management device 23 includes a control unit 231, a communication unit 232, and a storage unit 233. The management device 23 is connected to the camera 22 by a wired or wireless communication line.

記憶部233は、上述した記憶部125の一例であり、例えば、ハードディスク等の記憶装置である。記憶部233は、商品マスタ234と、棚札マスタ235とを記憶する。商品マスタ234は、商品棚21に陳列される商品211a〜211dに関する情報を定義したものである。商品マスタ234は、商品ID2341と、商品情報2342と、商品画像2343とが商品ごとに対応付けられている。商品ID2341は、商品211a〜211dの識別情報である。商品情報2342は、上述した表示情報1251の一例であり、例えば、商品の名称、価格、産地等を示すテキスト情報や、画像等を含むものである。商品画像2343は、上述した商品の画像1252の一例であり、商品211a〜211dの画像データである。 The storage unit 233 is an example of the storage unit 125 described above, and is, for example, a storage device such as a hard disk. The storage unit 233 stores the product master 234 and the shelf label master 235. The product master 234 defines information about the products 211a to 211d displayed on the product shelf 21. In the product master 234, a product ID 2341, product information 2342, and a product image 2343 are associated with each product. The product ID 2341 is identification information of the products 211a to 211d. The product information 2342 is an example of the display information 1251 described above, and includes, for example, text information indicating the product name, price, place of origin, images, and the like. The product image 2343 is an example of the product image 1252 described above, and is image data of the products 211a to 211d.

棚札マスタ235は、電子棚札212a〜212dを管理するための情報である。棚札マスタ235は、棚札ID2351と、設置位置2352と、表示商品ID2353とが電子棚札ごとに対応付けられている。棚札ID2351は、電子棚札212a〜212dの識別情報である。設置位置2352は、各電子棚札が商品棚21上に設置された位置であり、少なくとも商品棚21内の位置を一意に特定できる情報である。設置位置2352は、例えば、商品棚21内の段(棚の位置)や棚の幅方向の位置等を示す情報である。尚、本実施の形態では、各電子棚札の設置位置2352が棚札マスタ235に予め登録されているものとする。表示商品ID2353には、電子棚札212a〜212dの表示部に表示される商品情報2342に対応する商品ID2341が設定される。尚、本実施の形態では、各電子棚札の表示商品ID2353が棚札マスタ235に予め登録されていないものとする。 The shelf label master 235 is information for managing the electronic shelf labels 212a to 212d. In the shelf label master 235, a shelf label ID 2351, an installation position 2352, and a display product ID 2353 are associated with each electronic shelf label. The shelf label ID 2351 is identification information of the electronic shelf labels 212a to 212d. The installation position 2352 is a position where each electronic shelf label is installed on the product shelf 21, and is information that can uniquely identify at least the position in the product shelf 21. The installation position 2352 is, for example, information indicating a step (shelf position) in the product shelf 21, a position in the width direction of the shelf, and the like. In the present embodiment, it is assumed that the installation position 2352 of each electronic shelf label is registered in the shelf label master 235 in advance. The display product ID 2353 is set with the product ID 2341 corresponding to the product information 2342 displayed on the display units of the electronic shelf labels 212a to 212d. In this embodiment, it is assumed that the display product ID 2353 of each electronic shelf label is not registered in the shelf label master 235 in advance.

制御部231は、上述した取得部121、第1の特定部122及び第2の特定部123の一例であり、例えば、CPU(Central Processing Unit)である。制御部231は、通信部232を用いてカメラ22から通信回線を介して撮影画像を取得する。尚、制御部231は、カメラ22に対して撮影指示や撮影画像の取得要求を送信してもよい。制御部231は、カメラ22から受信した撮影画像を解析して、当該撮影画像に含まれる商品の画像を認識し、記憶部233を参照して、当該認識された画像に類似する商品画像2343に対応付けられた商品情報2342を特定する。また、制御部231は、撮影画像に含まれる商品の画像における撮影画像内の位置から商品棚21上における商品の陳列位置を特定する。そして、制御部231は、特定された陳列位置の近傍の設置位置2352に対応付けられた棚札ID2351を特定する。そして、制御部231は、通信部232を用いて、特定された棚札ID2351を有する電子棚札に対して、特定された商品情報2342を送信する。 The control unit 231 is an example of the acquisition unit 121, the first identification unit 122, and the second identification unit 123 described above, and is, for example, a CPU (Central Processing Unit). The control unit 231 acquires a captured image from the camera 22 via the communication line using the communication unit 232. Note that the control unit 231 may transmit a shooting instruction or a captured image acquisition request to the camera 22. The control unit 231 analyzes the captured image received from the camera 22, recognizes the image of the product included in the captured image, and refers to the storage unit 233 to generate a product image 2343 similar to the recognized image. The associated product information 2342 is specified. The control unit 231 also identifies the display position of the product on the product shelf 21 from the position in the captured image in the image of the product included in the captured image. Then, the control unit 231 identifies the shelf label ID 2351 associated with the installation position 2352 near the identified display position. Then, the control unit 231 uses the communication unit 232 to transmit the specified product information 2342 to the electronic shelf label having the specified shelf label ID 2351.

さらに、制御部231は、撮影画像に含まれる商品と、特定された電子棚札とを対応付けて記憶部233に登録する登録部としての機能を有する。具体的には、制御部231は、撮影画像から認識された商品の商品ID2341を、当該商品の陳列位置に設置されたとして特定された電子棚札の表示商品ID2353として登録する。尚、商品と電子棚札との対応付けは、棚札マスタ235に商品情報2342自体を登録してもよい。または、別途、テーブルとして商品と電子棚札との対応付けを登録してもよい。 Further, the control unit 231 has a function as a registration unit that registers the product included in the captured image and the specified electronic shelf label in the storage unit 233 in association with each other. Specifically, the control unit 231 registers the product ID 2341 of the product recognized from the captured image as the display product ID 2353 of the electronic shelf label specified as being installed at the display position of the product. The product information 2342 itself may be registered in the shelf label master 235 to associate the product with the electronic shelf label. Alternatively, the correspondence between the product and the electronic shelf label may be separately registered as a table.

通信部232は、通信回線を介してカメラ22から撮影画像を受信し、制御部231へ出力する。また、通信部232は、制御部231からの指示に応じて指定された電子棚札に対して、特定された商品情報2342を送信する。 The communication unit 232 receives the captured image from the camera 22 via the communication line and outputs it to the control unit 231. In addition, the communication unit 232 transmits the specified product information 2342 to the electronic shelf label specified according to the instruction from the control unit 231.

図4は、本発明の実施の形態2にかかる商品棚管理処理の流れを説明するためのシーケンス図である。まず、カメラ22は、商品棚21の少なくとも一部を撮影する(S201)。ここでは、撮影画像に商品211bが含まれているものとする。そして、カメラ22は、通信回線を介して管理装置23へ撮影画像を送信する(S202)。 FIG. 4 is a sequence diagram for explaining the flow of product shelf management processing according to the second embodiment of the present invention. First, the camera 22 photographs at least a part of the product shelf 21 (S201). Here, it is assumed that the photographed image includes the product 211b. Then, the camera 22 transmits the captured image to the management device 23 via the communication line (S202).

次に、管理装置23は、撮影画像を受信する(S203)。そして、管理装置23は、撮影画像を解析して、当該撮影画像に含まれる商品画像を認識する(S204)。例えば、制御部231は、撮影画像から商品の特徴データを抽出してもよい。 Next, the management device 23 receives the captured image (S203). Then, the management device 23 analyzes the captured image and recognizes the product image included in the captured image (S204). For example, the control unit 231 may extract the feature data of the product from the captured image.

そして、管理装置23は、電子棚札に表示すべき商品情報を特定する(S205)。例えば、制御部231は、記憶部233を参照して、当該認識された画像に類似する商品画像2343を特定する。このとき、制御部231は、公知の画像マッチング技術等を用いても構わない。その後、管理装置23は、特定された商品画像2343に対応付けられた商品情報2342を特定し、記憶部233から読み出す。ここでは、商品211bにおける商品情報2342が特定されたものとする。 Then, the management device 23 identifies the product information to be displayed on the electronic shelf label (S205). For example, the control unit 231 refers to the storage unit 233 and identifies the product image 2343 similar to the recognized image. At this time, the control unit 231 may use a known image matching technique or the like. After that, the management device 23 identifies the product information 2342 associated with the identified product image 2343 and reads it from the storage unit 233. Here, it is assumed that the product information 2342 of the product 211b is specified.

また、管理装置23は、撮影画像に含まれる商品の画像における撮影画像内の位置から商品棚21上における商品の陳列位置を特定する(S206)。例えば、制御部231は、カメラ22の向きや角度により撮影画像内の商品棚21における棚や幅方向の位置を特定し、上記で認識された商品画像の撮影画像内の位置関係から陳列位置を特定する。 In addition, the management device 23 identifies the display position of the product on the product shelf 21 from the position in the captured image in the image of the product included in the captured image (S206). For example, the control unit 231 identifies the position of the shelf or the width direction of the product shelf 21 in the captured image based on the direction and angle of the camera 22, and determines the display position from the positional relationship in the captured image of the product image recognized above. Identify.

そして、管理装置23は、商品情報を表示すべき電子棚札を特定する(S207)。例えば、制御部231は、特定された陳列位置に最も近い設置位置2352を棚札マスタ235の中から特定する。そして、制御部231は、特定された設置位置2352に対応付けられた棚札ID2351を特定する。ここでは、電子棚札212bが特定されたものとする。 Then, the management device 23 identifies the electronic shelf label on which the product information should be displayed (S207). For example, the control unit 231 specifies the installation position 2352 closest to the specified display position from the shelf label master 235. Then, the control unit 231 identifies the shelf label ID 2351 associated with the identified installation position 2352. Here, it is assumed that the electronic shelf label 212b is specified.

そして、管理装置23は、特定した電子棚札212bに対して特定した商品211bの商品情報2342を送信する(S208)。その後、電子棚札212bは、管理装置23から送信された商品情報2342を受信し、商品情報2342を表示する(S209)。 Then, the management device 23 transmits the product information 2342 of the specified product 211b to the specified electronic shelf label 212b (S208). After that, the electronic shelf label 212b receives the product information 2342 transmitted from the management device 23 and displays the product information 2342 (S209).

また、管理装置23は、撮影画像に含まれる商品211bと、特定された電子棚札212bとを対応付けて記憶部233に登録する(S210)。例えば、制御部231は、商品211bの商品ID2341を、電子棚札212bの表示商品ID2353として登録する。 Further, the management device 23 registers the product 211b included in the captured image and the identified electronic shelf label 212b in the storage unit 233 in association with each other (S210). For example, the control unit 231 registers the product ID 2341 of the product 211b as the display product ID 2353 of the electronic shelf label 212b.

このように、本実施の形態では、商品棚21に対する撮影画像から商品211bが電子棚札212bの近傍に陳列されていることを適切に特定することができる。そのため、電子棚札212bに商品211bの商品画像2343を適切に表示させることができる。また、事前に商品211bと電子棚札212bとの対応付けを設定しておく必要がなく、効率的である。 As described above, in the present embodiment, it is possible to appropriately specify that the product 211b is displayed near the electronic shelf label 212b from the captured image of the product shelf 21. Therefore, the product image 2343 of the product 211b can be appropriately displayed on the electronic shelf label 212b. Further, it is not necessary to set the correspondence between the product 211b and the electronic shelf label 212b in advance, which is efficient.

特に、商品の陳列位置は、実際に商品棚に商品を陳列して初めて、見易さ等がわかることもある。そのため、事前に商品の陳列位置を確定させておくことは困難である。仮に、事前に商品の陳列位置を確定させたとしても実際にその通りに全商品を所定の陳列位置に陳列することも困難である。そのため、商品の陳列後に、商品と電子棚札の対応関係を手動で登録することも考えられるが、これについても大変煩雑な作業である。よって、本発明の実施の形態2のように、商品棚に商品を実際に陳列された状態の撮影画像から自動的に商品と電子棚札の対応関係を登録できることは大変有益である。 In particular, the display position of the product may become easy to see only after the product is actually displayed on the product shelf. Therefore, it is difficult to determine the display position of the product in advance. Even if the display positions of the products are fixed in advance, it is difficult to actually display all the products at the predetermined display positions as they are. Therefore, it is possible to manually register the correspondence between the product and the electronic shelf label after the product is displayed, but this is also a very complicated work. Therefore, as in the second embodiment of the present invention, it is very useful to be able to automatically register the correspondence relationship between the product and the electronic shelf label from the photographed image of the product actually displayed on the product shelf.

<発明の実施の形態3>
本発明の実施の形態3は、上述した実施の形態1の一実施例であり、商品棚における電子棚札の位置情報が予め登録されておらず、商品棚から各電子棚札の設置位置を検出できる場合を示す。例えば、商品棚における各電子棚札の位置についても各商品と同様に、予め設置位置を登録しておくことは煩雑な場合がある。また、商品の陳列時に当初の設置位置から電子棚札が移動や追加又は除去される場合もあり得る。このような場合に、本実施の形態では、電子棚札の設置位置を自動的に検出し、検出した設置位置に基づき表示すべき商品情報を表示させるものである。また、商品棚に実際に陳列された商品及び設置された電子棚札の位置から、商品と電子棚札との対応付けを自動的に生成し、登録するものである。例えば、本実施の形態では、各電子棚札の設置位置2352が棚札マスタ235に予め登録されていない場合となる。
<Third Embodiment of the Invention>
The third embodiment of the present invention is an example of the above-described first embodiment, in which the position information of the electronic shelf label on the product shelf is not registered in advance, and the installation position of each electronic shelf label is set from the product shelf. The case where it can be detected is shown. For example, with respect to the position of each electronic shelf label on the product shelf, similarly to each product, it may be complicated to register the installation position in advance. In addition, the electronic shelf label may be moved, added, or removed from the initial installation position when the product is displayed. In such a case, in this embodiment, the installation position of the electronic shelf label is automatically detected, and the product information to be displayed is displayed based on the detected installation position. Further, the correspondence between the product and the electronic shelf label is automatically generated and registered from the position of the product actually displayed on the product shelf and the position of the installed electronic shelf label. For example, in the present embodiment, the installation position 2352 of each electronic shelf label is not registered in the shelf label master 235 in advance.

そこで、本発明の実施の形態3にかかる第2の特定部は、商品棚における電子棚札が設置された設置位置を検出し、特定された商品の陳列位置が設置位置に対応する場合に、当該設置位置における電子棚札を商品棚上の特定された陳列位置に設置された電子棚札として特定するものである。 Therefore, the second specifying unit according to the third embodiment of the present invention detects the installation position where the electronic shelf label is installed on the product shelf, and when the display position of the specified product corresponds to the installation position, The electronic shelf label at the installation position is specified as the electronic shelf label installed at the specified display position on the product shelf.

ここで、商品棚から各電子棚札の設置位置を検出できる場合としては、近接無線通信技術を用いることが挙げられる。近接無線通信技術としては、例えば、iBeacon(登録商標)等が挙げられるがこれに限定されない。 Here, as a case where the installation position of each electronic shelf label can be detected from the product shelf, it is possible to use proximity wireless communication technology. Examples of the close proximity wireless transfer technology include, but are not limited to, iBeacon (registered trademark) and the like.

以下に、近接無線通信技術を用いる場合について例示する。近接無線通信の発信器が電子棚札と一体に設けられ、電子棚札の移動に伴い発信器も移動するものとする。そして、当該発信器は所定の識別情報を発信する。一方、商品棚付近に前記発信器に対する受信機能を有する近接無線受信装置を設置しておくものとする。そして、近接無線受信装置が通信回線を介して上述した管理装置23と接続されているものとする。 The case where the close proximity wireless transfer technology is used will be exemplified below. It is assumed that a transmitter for near field communication is provided integrally with the electronic shelf label, and the transmitter also moves as the electronic shelf label moves. Then, the transmitter transmits predetermined identification information. On the other hand, it is assumed that a proximity wireless reception device having a reception function for the transmitter is installed near the product shelf. Then, it is assumed that the close proximity wireless transfer device is connected to the management device 23 described above via a communication line.

近接無線受信装置は、各発信器から受信した電波の強度により各発信器との距離を判別できる。ここで、管理装置23側で棚札マスタ235に各発信器の識別情報を棚札ID2351と対応付けて記憶しておく。または、発信器の識別情報を電子棚札のIDと共通にしておくとよい。そのため、管理装置23は、近接無線受信装置からの情報により、商品棚における各電子棚札のある程度の位置を特定することができる。尚、商品棚から各電子棚札の設置位置を検出する技術は、近接無線通信技術に限定されない。 The close proximity wireless transfer device can determine the distance from each transmitter by the strength of the radio wave received from each transmitter. Here, on the management device 23 side, the identification information of each transmitter is stored in the shelf label master 235 in association with the shelf label ID 2351. Alternatively, the identification information of the transmitter may be shared with the ID of the electronic shelf label. Therefore, the management device 23 can specify a certain position of each electronic shelf label on the product shelf based on the information from the close proximity wireless transfer device. The technology for detecting the installation position of each electronic shelf label from the product shelf is not limited to the proximity wireless communication technology.

図5は、本発明の実施の形態3にかかる電子棚札の位置検出処理の流れを説明するためのフローチャートである。尚、図5は、図3のステップS207に置き換わる処理である。まず、管理装置23は、電子棚札と一体の発信器から近接無線受信装置を介して電子棚札IDを受信する(S301)。尚、上述の通り発信器の識別情報であってもよい。そして、管理装置23は、商品棚における電子棚札の設置位置を検出する(S302)。その後、管理装置23は、商品の陳列位置に設置された電子棚札を特定する(S303)。 FIG. 5 is a flowchart for explaining the flow of the position detecting process of the electronic shelf label according to the third embodiment of the present invention. Note that FIG. 5 is a process that replaces step S207 of FIG. First, the management device 23 receives the electronic shelf label ID from the transmitter integrated with the electronic shelf label via the proximity wireless reception device (S301). The identification information of the transmitter may be used as described above. Then, the management device 23 detects the installation position of the electronic shelf label on the product shelf (S302). After that, the management device 23 identifies the electronic shelf label installed at the display position of the product (S303).

以上のように、本発明の実施の形態3により、商品棚における電子棚札の位置を自動的に検出することができるため、より商品の陳列の自由度を高めることができる。また、予め電子棚札の設置位置を登録する必要がなく効率的である。 As described above, according to the third embodiment of the present invention, the position of the electronic shelf label on the product shelf can be automatically detected, so that the degree of freedom in displaying products can be further increased. Further, it is efficient because it is not necessary to register the installation position of the electronic shelf label in advance.

<その他の発明の実施の形態>
尚、上述した実施形態2及び3では、各電子棚札の表示商品ID2353が棚札マスタ235に予め登録されていないものであったが、既に各電子棚札に何らかの商品情報が表示されていても構わない。その場合、各実施形態により電子棚札に表示される商品情報を実際に陳列された商品と対応したものに容易に更新することができる。
<Other Embodiments of the Invention>
In the second and third embodiments described above, the display product ID 2353 of each electronic shelf label is not registered in the shelf label master 235 in advance, but some product information is already displayed on each electronic shelf label. I don't mind. In that case, according to each embodiment, the product information displayed on the electronic shelf label can be easily updated to the one corresponding to the actually displayed product.

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。 Furthermore, the present invention is not limited to the above-described embodiments, and it goes without saying that various modifications can be made without departing from the gist of the present invention. For example, although the present invention has been described as a hardware configuration in the above-mentioned embodiments, the present invention is not limited to this. The present invention can also be realized by causing a CPU (Central Processing Unit) to execute a computer program for arbitrary processing.

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored using various types of non-transitory computer readable media and supplied to the computer. Non-transitory computer readable media include various types of tangible storage media. Examples of the non-transitory computer readable medium include a magnetic recording medium (for example, flexible disk, magnetic tape, hard disk drive), magneto-optical recording medium (for example, magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R/W, DVD (Digital Versatile Disc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM ( Random Access Memory)) is included. Further, the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the exemplary embodiments, the present invention is not limited to the above. Various modifications that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the invention.

この出願は、2014年3月20日に出願された日本出願特願2014−58409を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2014-58409 for which it applied on March 20, 2014, and takes in those the indications of all here.

1 商品棚管理システム
110 商品棚
111 商品
112 表示端末
120 情報処理装置
121 取得部
122 第1の特定部
123 第2の特定部
124 送信部
125 記憶部
1251 表示情報
1252 商品の画像
2 商品棚管理システム
21 商品棚
211a〜211d 商品
212a〜212d 電子棚札
22 カメラ
23 管理装置
231 制御部
232 通信部
233 記憶部
234 商品マスタ
2341 商品ID
2342 商品情報
2343 商品画像
235 棚札マスタ
2351 棚札ID
2352 設置位置
2353 表示商品ID
1 Product Shelf Management System 110 Product Shelf 111 Product 112 Display Terminal 120 Information Processing Device 121 Acquisition Unit 122 First Identification Part 123 Second Identification Part 124 Transmission Unit 125 Storage Unit 1251 Display Information 1252 Product Image 2 Product Shelf Management System 21 product shelf 211a to 211d product 212a to 212d electronic shelf label 22 camera 23 management device 231 control unit 232 communication unit 233 storage unit 234 product master 2341 product ID
2342 Product information 2343 Product image 235 Shelf label master 2351 Shelf tag ID
2352 Installation position 2353 Display product ID

Claims (9)

撮影画像に含まれる商品の画像に基づき、前記商品に関する表示情報を特定する第1の特定手段と、
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定する第2の特定手段と、
前記特定された表示端末に、前記特定された表示情報を表示させる制御手段と、
を備える情報処理装置。
First specifying means for specifying display information about the product based on the image of the product included in the captured image;
Identify display position of the item from the position of the product within the captured image, a second specifying means for specifying the display position or we display terminal identified,
Control means for displaying the specified display information on the specified display terminal,
An information processing apparatus including.
前記撮影画像に含まれる商品と、前記特定された表示端末とを対応付けて記憶する記憶手段をさらに備える
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, further comprising a storage unit that stores the product included in the captured image and the specified display terminal in association with each other.
前記撮影画像を取得する画像取得部をさらに備え、
前記第1の特定手段は、前記撮影画像を前記商品の画像とする
請求項1又は2に記載の情報処理装置。
Further comprising an image acquisition unit for acquiring the captured image,
The information processing apparatus according to claim 1, wherein the first specifying unit sets the captured image as an image of the product.
前記第1の特定手段は、
前記商品の画像を解析して、当該画像に含まれる商品を認識し、
当該認識された画像に類似する画像に対応付けられた前記表示情報を特定する
請求項1乃至3のいずれか1項に記載の情報処理装置。
The first specifying means is
Analyze the image of the product, recognize the product contained in the image,
The information processing apparatus according to claim 1, wherein the display information associated with an image similar to the recognized image is specified.
表示端末と、
商品を管理する管理装置と、を備え、
前記管理装置は、
撮影画像に含まれる商品の画像に基づき、前記商品に関する表示情報を特定する第1の特定手段と、
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定する第2の特定手段と、
前記特定された表示端末に、前記特定された表示情報を表示させる制御手段と、
を備える
商品棚管理システム。
Display terminal,
And a management device for managing the product,
The management device is
First specifying means for specifying display information about the product based on the image of the product included in the captured image;
Second specifying means for specifying a display position of the product from the position of the product in the captured image, and specifying a display terminal from the specified display position ;
Control means for displaying the specified display information on the specified display terminal,
A product shelf management system equipped with.
前記表示端末が所定の位置に設置され、かつ、前記商品が陳列されている商品棚をさらに備える
請求項5に記載の商品棚管理システム。
The product shelf management system according to claim 5, further comprising a product shelf in which the display terminal is installed at a predetermined position and the products are displayed.
前記商品棚に陳列されている前記商品を含む画像を前記撮影画像として撮影する撮影装置をさらに備える
請求項6に記載の商品棚管理システム。
The product shelf management system according to claim 6, further comprising: a photographing device that captures an image including the product displayed on the product shelf as the captured image.
情報処理装置が、
撮影画像に含まれる商品の画像に基づき、前記商品に関する表示情報を特定し、
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定し、
前記特定された表示端末に、前記特定された表示情報を表示させる
商品棚管理方法。
The information processing device
Based on the image of the product included in the captured image, specify the display information about the product,
The display position of the product is specified from the position of the product in the captured image, and the display terminal is specified from the specified display position ,
A product shelf management method for displaying the specified display information on the specified display terminal.
コンピュータに、
撮影画像に含まれる商品の画像に基づき、前記商品に関する表示情報を特定する処理と、
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定する処理と、
前記特定された表示端末に、前記特定された表示情報を表示させる処理と、
を実行させる商品棚管理プログラム。
On the computer,
A process of specifying display information about the product based on the image of the product included in the captured image;
A process of specifying a display position of the product from the position of the product in the captured image, and specifying a display terminal from the specified display position ;
A process of displaying the specified display information on the specified display terminal,
A shelf management program that executes.
JP2018213470A 2014-03-20 2018-11-14 Information processing device, product shelf management system, product shelf management method, and product shelf management program Active JP6743868B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020076771A JP6897845B2 (en) 2014-03-20 2020-04-23 Information processing device, product shelf management system, product shelf management method, and product shelf management program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014058409 2014-03-20
JP2014058409 2014-03-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017132355A Division JP6436192B2 (en) 2014-03-20 2017-07-06 Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020076771A Division JP6897845B2 (en) 2014-03-20 2020-04-23 Information processing device, product shelf management system, product shelf management method, and product shelf management program

Publications (2)

Publication Number Publication Date
JP2019057306A JP2019057306A (en) 2019-04-11
JP6743868B2 true JP6743868B2 (en) 2020-08-19

Family

ID=54143878

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2016508313A Active JP6172379B2 (en) 2014-03-20 2014-11-04 Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program
JP2017132355A Active JP6436192B2 (en) 2014-03-20 2017-07-06 Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program
JP2018213470A Active JP6743868B2 (en) 2014-03-20 2018-11-14 Information processing device, product shelf management system, product shelf management method, and product shelf management program
JP2020076771A Active JP6897845B2 (en) 2014-03-20 2020-04-23 Information processing device, product shelf management system, product shelf management method, and product shelf management program
JP2021092646A Active JP7226475B2 (en) 2014-03-20 2021-06-02 Information processing device, product shelf management system, product shelf management method, and product shelf management program

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016508313A Active JP6172379B2 (en) 2014-03-20 2014-11-04 Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program
JP2017132355A Active JP6436192B2 (en) 2014-03-20 2017-07-06 Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020076771A Active JP6897845B2 (en) 2014-03-20 2020-04-23 Information processing device, product shelf management system, product shelf management method, and product shelf management program
JP2021092646A Active JP7226475B2 (en) 2014-03-20 2021-06-02 Information processing device, product shelf management system, product shelf management method, and product shelf management program

Country Status (2)

Country Link
JP (5) JP6172379B2 (en)
WO (1) WO2015140852A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015140852A1 (en) * 2014-03-20 2015-09-24 日本電気株式会社 Information processing device, product shelf management system, and product shelf management method
US20170293959A1 (en) * 2014-09-30 2017-10-12 Nec Corporation Information processing apparatus, shelf label management system, control method, and program
US20170278057A1 (en) * 2014-09-30 2017-09-28 Nec Corporation Information processing apparatus, shelf label management system, control method, and program
JP7314227B2 (en) * 2016-12-09 2023-07-25 東芝テック株式会社 Display controller and program
JP6956485B2 (en) * 2016-12-09 2021-11-02 東芝テック株式会社 Display control device and program
JP6938169B2 (en) * 2017-03-01 2021-09-22 東芝テック株式会社 Label generator and program
JP7019357B2 (en) * 2017-09-19 2022-02-15 東芝テック株式会社 Shelf information estimation device and information processing program
FR3072492B1 (en) 2017-10-13 2019-11-08 Ses-Imagotag METHOD FOR INITIALIZING OR UPDATING A REALOGRAM DATABASE FOR A LINEAR, UTILIZING OPTICAL SIGNALS ISSUED BY GONDOLA ELECTRONIC LABELS
EP3751486A1 (en) * 2019-06-11 2020-12-16 Solum Co., Ltd. Electronic label management apparatus and method
JPWO2021117625A1 (en) * 2019-12-11 2021-06-17
WO2022102139A1 (en) * 2020-11-16 2022-05-19 日本電気株式会社 Management device, electronic shelf label, management system, management method, and program
WO2023148927A1 (en) * 2022-02-04 2023-08-10 日本電気株式会社 Shelf label management system, shelf label management method, and recording medium

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4766295A (en) * 1987-03-02 1988-08-23 H.E. Butt Grocery Company Electronic pricing display system
EP0842481A1 (en) * 1995-07-31 1998-05-20 Intelledge, Corporation Electronic product information display system
JP2001088912A (en) * 1999-09-20 2001-04-03 Fujitsu General Ltd Stocktaking managing method and stocktaking system by image recognition
JP2007128294A (en) * 2005-11-04 2007-05-24 Ishida Co Ltd Sales promotion system
JP2007193836A (en) * 2007-03-19 2007-08-02 Ishida Co Ltd Electronic bin tag system
JP4733198B2 (en) * 2008-11-17 2011-07-27 東芝テック株式会社 Information registration apparatus and program
JP2011090647A (en) * 2009-10-26 2011-05-06 Seiko Instruments Inc Information display system, management device, information display device, and electronic shelf label terminal
JP2012093963A (en) * 2010-10-27 2012-05-17 Seiko Epson Corp Display processor and display processing system
JP6043094B2 (en) * 2012-05-30 2016-12-14 辛東主 Product display information aggregation system
JP2014048752A (en) * 2012-08-29 2014-03-17 Teraoka Seiko Co Ltd Indication tag processing system
WO2015140852A1 (en) * 2014-03-20 2015-09-24 日本電気株式会社 Information processing device, product shelf management system, and product shelf management method

Also Published As

Publication number Publication date
JP6897845B2 (en) 2021-07-07
JPWO2015140852A1 (en) 2017-04-06
JP2019057306A (en) 2019-04-11
JP2017174470A (en) 2017-09-28
JP7226475B2 (en) 2023-02-21
JP2021176084A (en) 2021-11-04
JP6172379B2 (en) 2017-08-02
WO2015140852A1 (en) 2015-09-24
JP2020126677A (en) 2020-08-20
JP6436192B2 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
JP6743868B2 (en) Information processing device, product shelf management system, product shelf management method, and product shelf management program
US11562559B2 (en) Object type identifying apparatus, object type identifying method, and recording medium
US20220172157A1 (en) Information processing apparatus, control method, and program
WO2015140851A1 (en) Information processing device, product rack management system, and product rack management method
JP2018097881A5 (en)
GB2535298B (en) Systems and methods for displaying location information for RFID Tags
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
US20190188916A1 (en) Method and apparatus for augmenting reality
US20190205622A1 (en) Method and device of detecting picture type
KR101701957B1 (en) System of managing delivery history and control method thereof
CN105122287B (en) Coded light device, and product information system comprising such a coded light device
US11295190B2 (en) Correlated asset identifier association
US20140348384A1 (en) System for Managing Locations of Items
WO2016148027A1 (en) Information processing apparatus, order placement support method, and support method
JP2015099022A (en) Operation confirmation system
JP6372564B2 (en) POS terminal device, information processing device, information processing system, image recognition method, and image recognition program
JP2015032230A (en) Shoplifting prevention system using rfid and monitor camera
US20150170095A1 (en) Physical location tagging via image recognition
TWM528432U (en) Heat inspection apparatus and system including the same
TWI579581B (en) Heat Inspection Apparatus, System Including The Same, And Method Thereof
TW202004551A (en) Image surveillance device, system and method of processing images
WO2017135905A1 (en) Automatic zooming front-camera two-dimensional qr code sensor without on-screen two-dimensional or qr code display
JP6092753B2 (en) Information notification device, information notification method, information notification program, and information notification system
KR20150006508A (en) Method for grasping position of tag in ESL(Electronic Shelf Label) system
CN110858272A (en) Information processing apparatus, control method, readable storage medium, and electronic device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R150 Certificate of patent or registration of utility model

Ref document number: 6743868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150