JP6743868B2 - Information processing device, product shelf management system, product shelf management method, and product shelf management program - Google Patents
Information processing device, product shelf management system, product shelf management method, and product shelf management program Download PDFInfo
- Publication number
- JP6743868B2 JP6743868B2 JP2018213470A JP2018213470A JP6743868B2 JP 6743868 B2 JP6743868 B2 JP 6743868B2 JP 2018213470 A JP2018213470 A JP 2018213470A JP 2018213470 A JP2018213470 A JP 2018213470A JP 6743868 B2 JP6743868 B2 JP 6743868B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- display
- image
- information
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
Description
本発明は、情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムに関し、特に、商品棚を管理する情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムに関する。 The present invention relates to an information processing device, a product shelf management system, a product shelf management method, and a product shelf management program, and particularly to an information processing device, a product shelf management system, a product shelf management method, and a product for managing a product shelf. Regarding the shelf management program.
近年、小売店等の商品の陳列棚(商品棚)において、各商品の傍らに商品の値段等を表示する電子棚札が普及しつつある。特許文献1には、電子棚札を用いた電子棚札システムに関する技術が開示されている。特許文献1にかかる電子棚札システムは、陳列棚に設置された複数の電子棚札と、各電子棚札に対して無線通信により表示情報を送信する電子棚札コントローラと、を備える。ここで、電子棚札コントローラは、商品コードと電子棚札のIDとを対応付けたテーブルを予め記憶している。そして、電子棚札コントローラは、商品コードに基づく商品情報を、対応付けられた電子棚札に対して送信することで、電子棚札に商品情報を表示させるものである。 2. Description of the Related Art In recent years, electronic shelf labels, which display the price of a product or the like beside each product, are becoming widespread on display shelves (product shelves) of products such as retail stores. Patent Document 1 discloses a technique relating to an electronic shelf label system using an electronic shelf label. The electronic shelf label system according to Patent Literature 1 includes a plurality of electronic shelf labels installed on a display shelf, and an electronic shelf label controller that transmits display information to each electronic shelf label by wireless communication. Here, the electronic shelf label controller stores in advance a table in which the product code and the ID of the electronic shelf label are associated with each other. Then, the electronic shelf label controller displays the product information on the electronic shelf label by transmitting the product information based on the product code to the associated electronic shelf label.
また、特許文献2には、商品の陳列棚に陳列されている商品を複数のカメラで撮像し、撮像された画像から輪郭データ等を抽出することにより当該画像の特徴データを判定し、特徴データに基づいて商品を特定する技術が開示されている。
Further, in
ここで、特許文献1にかかる技術では、商品情報を電子棚札に表示させるために、商品情報と電子棚札とを対応付けたテーブルを予め登録しておく必要があった。そのため、電子棚札で扱う商品の種類が多い場合には、商品情報と電子棚札との対応付けを登録する作業が煩雑であるという問題点があった。尚、特許文献2は電子棚札を用いる技術ではない。
Here, in the technology according to Patent Document 1, in order to display the product information on the electronic shelf label, it is necessary to previously register a table in which the product information and the electronic shelf label are associated with each other. Therefore, when there are many kinds of products handled by the electronic shelf labels, there is a problem that the work of registering the correspondence between the product information and the electronic shelf labels is complicated. Note that
本発明は、このような問題点を解決するためになされたものであり、商品棚に実際に陳列された商品に基づいて、適切な電子棚札等の表示端末に対して当該陳列された商品の表示情報を効率的に表示させるための情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムを提供することを目的とする。 The present invention has been made in order to solve such a problem, and based on the product actually displayed on the product shelf, the product displayed on an appropriate display terminal such as an electronic shelf label. It is an object of the present invention to provide an information processing device, a product shelf management system, a product shelf management method, and a product shelf management program for efficiently displaying the display information of 1.
本発明の第1の態様にかかる情報処理装置は、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部と、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末が所定の位置に設置され、かつ、前記商品が当該所定の位置に陳列された商品棚の少なくとも一部を含む撮影画像を取得する取得部と、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定する第1の特定部と、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定する第2の特定部と、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信する送信部と、
を備える。
An information processing apparatus according to the first aspect of the present invention is
A storage unit that stores the display information about the product and the image of the product in association with each other,
Based on information received from the outside, a display terminal capable of displaying predetermined information is installed at a predetermined position, and a captured image including at least a part of the product shelf in which the product is displayed at the predetermined position is displayed. An acquisition unit to acquire,
A first specifying unit that specifies the display information and a position on the product shelf where the product is displayed, based on an image of the product included in the captured image;
A second specifying unit that specifies the display terminal installed at the specified position on the product shelf;
With respect to the specified display terminal, a transmission unit that transmits information for displaying the specified display information,
Equipped with.
本発明の第2の態様にかかる商品棚管理システムは、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末と、
前記表示端末が所定の位置に設置された商品棚と、
前記商品棚を管理する管理装置と、を備え、
前記管理装置は、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部と、
前記商品棚に陳列された前記商品を含む撮影画像を取得する取得部と、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定する第1の特定部と、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定する第2の特定部と、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信する送信部と、
を備え、
前記表示端末は、前記送信部から受信した情報に基づいて、前記特定された表示情報を表示する。
The product shelf management system according to the second aspect of the present invention is
A display terminal capable of displaying predetermined information based on information received from the outside,
A product shelf in which the display terminal is installed at a predetermined position,
A management device that manages the product shelf,
The management device is
A storage unit that stores the display information about the product and the image of the product in association with each other,
An acquisition unit that acquires a captured image including the product displayed on the product shelf,
A first specifying unit that specifies the display information and a position on the product shelf where the product is displayed, based on an image of the product included in the captured image;
A second specifying unit that specifies the display terminal installed at the specified position on the product shelf;
With respect to the specified display terminal, a transmission unit that transmits information for displaying the specified display information,
Equipped with
The display terminal displays the specified display information based on the information received from the transmitting unit.
本発明の第3の態様にかかる商品棚管理方法は、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部を備える情報処理装置を用いた商品棚管理方法であって、
前記情報処理装置が、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末が所定の位置に設置された商品棚に陳列された前記商品を含む撮影画像を取得し、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定し、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定し、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信し、
前記表示端末が、
前記情報処理装置から受信した情報に基づいて、前記特定された表示情報を表示する。
A product shelf management method according to a third aspect of the present invention is
A product shelf management method using an information processing device including a storage unit that stores display information related to a product and an image of the product in association with each other,
The information processing device is
Based on the information received from the outside, a display terminal capable of displaying the predetermined information is obtained a captured image including the product displayed on the product shelf installed at a predetermined position,
Based on the image of the product included in the captured image, specify the display information and the position on the product shelf where the product is displayed,
Specifying the display terminal installed at the specified position on the product shelf,
To the specified display terminal, transmits information for displaying the specified display information,
The display terminal,
The specified display information is displayed based on the information received from the information processing device.
本発明の第4の態様にかかる商品棚管理プログラムは、
商品に関する表示情報と、当該商品の画像とを対応付けて記憶する記憶部を備えるコンピュータに、
外部から受信した情報に基づいて、所定の情報を表示可能な表示端末が所定の位置に設置された商品棚に陳列された前記商品を含む撮影画像を取得する処理と、
前記撮影画像に含まれる商品の画像に基づき、前記表示情報と当該商品が陳列された前記商品棚上の位置とを特定する処理と、
前記商品棚上の前記特定された位置に設置された前記表示端末を特定する処理と、
前記特定された表示端末に対して、前記特定された表示情報を表示させるための情報を送信する処理と、
を実行させる。
The product shelf management program according to the fourth aspect of the present invention is
In a computer including a storage unit that stores display information about a product and an image of the product in association with each other,
Based on the information received from the outside, a process of acquiring a photographed image including the product displayed on a product shelf in which a display terminal capable of displaying the predetermined information is installed,
A process of specifying the display information and the position on the product shelf where the product is displayed, based on the image of the product included in the captured image;
A process of specifying the display terminal installed at the specified position on the product shelf;
A process of transmitting information for displaying the specified display information to the specified display terminal,
To run.
本発明により、商品棚に実際に陳列された商品に基づいて、適切な電子棚札等の表示端末に対して当該陳列された商品の表示情報を効率的に表示させるための情報処理装置、商品棚管理システム、商品棚管理方法、及び、商品棚管理プログラムを提供することができる。 According to the present invention, an information processing device and a product for efficiently displaying display information of the displayed product on a display terminal such as an appropriate electronic shelf label based on the product actually displayed on the product shelf A shelf management system, a product shelf management method, and a product shelf management program can be provided.
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In each drawing, the same reference numerals are given to the same elements, and for the sake of clarity of explanation, duplicated description will be omitted as necessary.
<発明の実施の形態1>
図1は、本発明の実施の形態1にかかる商品棚管理システム1の全体構成を示すブロック図である。商品棚管理システム1は、商品棚110と情報処理装置120とを備える。商品棚110は、小売店等に設置され、商品111等を陳列する棚である。そして、商品棚110には、所定の位置に表示端末112が設置されている。表示端末112は、外部から受信した情報に基づいて、所定の情報を表示可能な電子機器である。ここでは、表示端末112は、少なくとも情報処理装置120から送信される情報を受信できるものとする。例えば、表示端末112は、無線により情報を受信できる電子棚札である。そして、表示端末112は、情報処理装置120から表示対象の表示情報を受信した場合に、当該受信した表示情報を表示する。または、表示端末112は、複数の表示情報を予め保持しており、情報処理装置120から表示対象の表示情報を指定した情報(又は表示内容の切替信号)を受け付けた場合に、当該情報に基づいて、指定された表示情報を選択して(又は切り替えて)表示してもよい。尚、商品棚110に陳列される商品の数や、設置される表示端末の数は、それぞれ2以上であってもよい。
<First Embodiment of the Invention>
FIG. 1 is a block diagram showing an overall configuration of a product shelf management system 1 according to the first exemplary embodiment of the present invention. The product shelf management system 1 includes a
情報処理装置120は、商品棚110を管理する管理装置である。情報処理装置120は、取得部121と、第1の特定部122と、第2の特定部123と、送信部124と、記憶部125とを備える。記憶部125は、表示情報1251と商品の画像1252とを対応付けて記憶する記憶装置である。表示情報1251は、商品111に関する表示情報である。例えば、表示情報1251は、商品111の商品名、価格等を含むものである。商品の画像1252は、商品111の少なくとも一方向から撮影された画像データである。尚、商品の画像1252は、商品111の複数方向から撮影された複数の画像データ群であってもよい。
The
取得部121は、商品棚110の少なくとも一部を含む撮影画像を取得する。ここで、商品棚110には、商品111が所定の位置に陳列されているものとする。つまり、商品棚110に設置された表示端末112と商品111とが近傍に存在しているものとする。また、撮影画像は、カメラ等により商品棚110が撮影されたものである。そこで、取得部121は、カメラ等により撮影された撮影画像を、通信回線を介して取得してもよい。または、情報処理装置120自身がカメラ等の撮影手段を備え、取得部121は撮影手段から出力された撮影画像を取得しても良い。
The
第1の特定部122は、撮影画像に含まれる商品111の画像に基づき、表示情報1251と商品111が陳列された商品棚110上の位置とを特定する。例えば、第1の特定部122は、撮影画像から画像認識等により商品111の画像を抽出し、抽出された商品111の画像に類似する商品の画像1252に対応付けられた表示情報1251を記憶部125から読み出しても良い。
The first specifying unit 122 specifies the
第2の特定部123は、商品棚110上の特定された位置に設置された表示端末112を特定する。ここで、記憶部125には、表示端末112の商品棚110上の設置位置が予め登録されていてもよい。その場合、第2の特定部123は、撮影画像に含まれる商品の画像の位置から、当該商品の陳列位置の近傍に設置された表示端末112を特定することができる。または、記憶部125に表示端末112の商品棚110上の設置位置が登録されていない場合には、後述する方法により第2の特定部123が表示端末112の商品棚110上の設置位置を検出してもよい。送信部124は、特定された表示端末112に対して、特定された表示情報1251を表示させるための情報を送信する。例えば、表示端末112が受信した情報をそのまま表示できる場合、送信部124は、特定された表示情報1251そのものを送信してもよい。または、表示端末112が予め複数の表示情報を保持しており、外部からの指示に応じて表示情報を切り替えて表示できる場合、送信部124は、特定された表示情報1251を指定した表示内容の切替信号のようなものを送信してもよい。
The second specifying
図2は、本発明の実施の形態1にかかる商品棚管理処理の流れを示すフローチャートである。前提として、店員等が商品棚110上の表示端末112の近傍に商品111を陳列したものとする。その後、まず、取得部121は、商品111が陳列された商品棚110を含む撮影画像を取得する(S101)。
FIG. 2 is a flowchart showing the flow of the product shelf management process according to the first embodiment of the present invention. As a premise, it is assumed that a store clerk or the like displays the
次に、第1の特定部122は、撮影画像に含まれる商品111の画像に基づき、表示情報1251と、商品111が陳列された商品棚110上の位置とを特定する(S102)。例えば、第1の特定部122は、撮影画像から画像認識等により商品111の画像を認識し、認識された画像と類似する画像(商品の画像1252)を記憶部125の中から特定する。そして、第1の特定部122は、特定された商品の画像1252に対応付けられた表示情報1251を記憶部125から読み出す。
Next, the first specifying unit 122 specifies the
続いて、第2の特定部123は、商品棚110上の特定された位置に設置された表示端末112を特定する(S103)。その後、送信部124は、特定された表示端末112に対して、特定された表示情報1251を送信する(S104)。尚、上述したように、送信部124は、少なくとも特定された表示情報1251を表示させるための情報を送信すればよい。
Subsequently, the second specifying
このように、本発明の実施の形態1では、商品棚110を撮影した画像から実際に陳列された商品111の画像1252を認識して表示端末112に表示すべき表示情報1251及び商品111の陳列位置を特定する。そして、商品111の陳列位置と近傍に設置された表示端末112を特定し、当該表示端末112に対して表示情報1251を送信する。そのため、事前に商品と電子棚札の対応関係を登録することなく、商品棚に実際に陳列された商品に基づいて、適切な電子棚札等の表示端末に対して当該陳列された商品の表示情報を効率的に表示させることができる。
As described above, in the first embodiment of the present invention, the
<発明の実施の形態2>
本発明の実施の形態2は、上述した実施の形態1の一実施例であり、商品棚における電子棚札の位置情報が予め登録されている場合を示す。図3は、本発明の実施の形態2にかかる商品棚管理システム2の構成を示すブロック図である。商品棚管理システム2は、商品棚21と、カメラ22と、管理装置23とを備える。商品棚21は、商品棚110の一例であり、電子棚札212a〜212dのそれぞれが所定の位置に設置されているものである。商品棚21は、少なくとも1以上の棚があり、各棚に1以上の電子棚札が設置されているものとする。電子棚札212a〜212dは、上述した表示端末112の一例である。電子棚札212a〜212dのそれぞれは、少なくとも管理装置23から送信される情報を受信する受信部(不図示)、受信した情報を記憶するメモリ(不図示)、及び、受信した情報を表示する表示部(不図示)等を備える。尚、電子棚札212a〜212dは、公知ものを用いても構わない。また、商品棚21には、商品211a〜211dのそれぞれが、電子棚札212a〜212dの近傍に陳列されている。尚、商品棚21に陳列される商品の数や、設置される表示端末の数は、これに限定されない。
Second Embodiment of the Invention
The second embodiment of the present invention is an example of the above-described first embodiment, and shows a case where the position information of the electronic shelf label on the product shelf is registered in advance. FIG. 3 is a block diagram showing the configuration of the product
カメラ22は、商品棚21の少なくとも一部を撮影する撮影装置である。そして、カメラ22が撮影した撮影画像には、少なくとも商品211a〜211dの一つが認識可能な程度に含まれているものとする。また、カメラ22は、通信回線を介して撮影画像を管理装置23へ出力する。
The
管理装置23は、上述した情報処理装置120の一例である。管理装置23は、制御部231と、通信部232と、記憶部233とを備える。管理装置23は、有線又は無線の通信回線によりカメラ22と接続されている。
The
記憶部233は、上述した記憶部125の一例であり、例えば、ハードディスク等の記憶装置である。記憶部233は、商品マスタ234と、棚札マスタ235とを記憶する。商品マスタ234は、商品棚21に陳列される商品211a〜211dに関する情報を定義したものである。商品マスタ234は、商品ID2341と、商品情報2342と、商品画像2343とが商品ごとに対応付けられている。商品ID2341は、商品211a〜211dの識別情報である。商品情報2342は、上述した表示情報1251の一例であり、例えば、商品の名称、価格、産地等を示すテキスト情報や、画像等を含むものである。商品画像2343は、上述した商品の画像1252の一例であり、商品211a〜211dの画像データである。
The
棚札マスタ235は、電子棚札212a〜212dを管理するための情報である。棚札マスタ235は、棚札ID2351と、設置位置2352と、表示商品ID2353とが電子棚札ごとに対応付けられている。棚札ID2351は、電子棚札212a〜212dの識別情報である。設置位置2352は、各電子棚札が商品棚21上に設置された位置であり、少なくとも商品棚21内の位置を一意に特定できる情報である。設置位置2352は、例えば、商品棚21内の段(棚の位置)や棚の幅方向の位置等を示す情報である。尚、本実施の形態では、各電子棚札の設置位置2352が棚札マスタ235に予め登録されているものとする。表示商品ID2353には、電子棚札212a〜212dの表示部に表示される商品情報2342に対応する商品ID2341が設定される。尚、本実施の形態では、各電子棚札の表示商品ID2353が棚札マスタ235に予め登録されていないものとする。
The
制御部231は、上述した取得部121、第1の特定部122及び第2の特定部123の一例であり、例えば、CPU(Central Processing Unit)である。制御部231は、通信部232を用いてカメラ22から通信回線を介して撮影画像を取得する。尚、制御部231は、カメラ22に対して撮影指示や撮影画像の取得要求を送信してもよい。制御部231は、カメラ22から受信した撮影画像を解析して、当該撮影画像に含まれる商品の画像を認識し、記憶部233を参照して、当該認識された画像に類似する商品画像2343に対応付けられた商品情報2342を特定する。また、制御部231は、撮影画像に含まれる商品の画像における撮影画像内の位置から商品棚21上における商品の陳列位置を特定する。そして、制御部231は、特定された陳列位置の近傍の設置位置2352に対応付けられた棚札ID2351を特定する。そして、制御部231は、通信部232を用いて、特定された棚札ID2351を有する電子棚札に対して、特定された商品情報2342を送信する。
The
さらに、制御部231は、撮影画像に含まれる商品と、特定された電子棚札とを対応付けて記憶部233に登録する登録部としての機能を有する。具体的には、制御部231は、撮影画像から認識された商品の商品ID2341を、当該商品の陳列位置に設置されたとして特定された電子棚札の表示商品ID2353として登録する。尚、商品と電子棚札との対応付けは、棚札マスタ235に商品情報2342自体を登録してもよい。または、別途、テーブルとして商品と電子棚札との対応付けを登録してもよい。
Further, the
通信部232は、通信回線を介してカメラ22から撮影画像を受信し、制御部231へ出力する。また、通信部232は、制御部231からの指示に応じて指定された電子棚札に対して、特定された商品情報2342を送信する。
The
図4は、本発明の実施の形態2にかかる商品棚管理処理の流れを説明するためのシーケンス図である。まず、カメラ22は、商品棚21の少なくとも一部を撮影する(S201)。ここでは、撮影画像に商品211bが含まれているものとする。そして、カメラ22は、通信回線を介して管理装置23へ撮影画像を送信する(S202)。
FIG. 4 is a sequence diagram for explaining the flow of product shelf management processing according to the second embodiment of the present invention. First, the
次に、管理装置23は、撮影画像を受信する(S203)。そして、管理装置23は、撮影画像を解析して、当該撮影画像に含まれる商品画像を認識する(S204)。例えば、制御部231は、撮影画像から商品の特徴データを抽出してもよい。
Next, the
そして、管理装置23は、電子棚札に表示すべき商品情報を特定する(S205)。例えば、制御部231は、記憶部233を参照して、当該認識された画像に類似する商品画像2343を特定する。このとき、制御部231は、公知の画像マッチング技術等を用いても構わない。その後、管理装置23は、特定された商品画像2343に対応付けられた商品情報2342を特定し、記憶部233から読み出す。ここでは、商品211bにおける商品情報2342が特定されたものとする。
Then, the
また、管理装置23は、撮影画像に含まれる商品の画像における撮影画像内の位置から商品棚21上における商品の陳列位置を特定する(S206)。例えば、制御部231は、カメラ22の向きや角度により撮影画像内の商品棚21における棚や幅方向の位置を特定し、上記で認識された商品画像の撮影画像内の位置関係から陳列位置を特定する。
In addition, the
そして、管理装置23は、商品情報を表示すべき電子棚札を特定する(S207)。例えば、制御部231は、特定された陳列位置に最も近い設置位置2352を棚札マスタ235の中から特定する。そして、制御部231は、特定された設置位置2352に対応付けられた棚札ID2351を特定する。ここでは、電子棚札212bが特定されたものとする。
Then, the
そして、管理装置23は、特定した電子棚札212bに対して特定した商品211bの商品情報2342を送信する(S208)。その後、電子棚札212bは、管理装置23から送信された商品情報2342を受信し、商品情報2342を表示する(S209)。
Then, the
また、管理装置23は、撮影画像に含まれる商品211bと、特定された電子棚札212bとを対応付けて記憶部233に登録する(S210)。例えば、制御部231は、商品211bの商品ID2341を、電子棚札212bの表示商品ID2353として登録する。
Further, the
このように、本実施の形態では、商品棚21に対する撮影画像から商品211bが電子棚札212bの近傍に陳列されていることを適切に特定することができる。そのため、電子棚札212bに商品211bの商品画像2343を適切に表示させることができる。また、事前に商品211bと電子棚札212bとの対応付けを設定しておく必要がなく、効率的である。
As described above, in the present embodiment, it is possible to appropriately specify that the product 211b is displayed near the
特に、商品の陳列位置は、実際に商品棚に商品を陳列して初めて、見易さ等がわかることもある。そのため、事前に商品の陳列位置を確定させておくことは困難である。仮に、事前に商品の陳列位置を確定させたとしても実際にその通りに全商品を所定の陳列位置に陳列することも困難である。そのため、商品の陳列後に、商品と電子棚札の対応関係を手動で登録することも考えられるが、これについても大変煩雑な作業である。よって、本発明の実施の形態2のように、商品棚に商品を実際に陳列された状態の撮影画像から自動的に商品と電子棚札の対応関係を登録できることは大変有益である。 In particular, the display position of the product may become easy to see only after the product is actually displayed on the product shelf. Therefore, it is difficult to determine the display position of the product in advance. Even if the display positions of the products are fixed in advance, it is difficult to actually display all the products at the predetermined display positions as they are. Therefore, it is possible to manually register the correspondence between the product and the electronic shelf label after the product is displayed, but this is also a very complicated work. Therefore, as in the second embodiment of the present invention, it is very useful to be able to automatically register the correspondence relationship between the product and the electronic shelf label from the photographed image of the product actually displayed on the product shelf.
<発明の実施の形態3>
本発明の実施の形態3は、上述した実施の形態1の一実施例であり、商品棚における電子棚札の位置情報が予め登録されておらず、商品棚から各電子棚札の設置位置を検出できる場合を示す。例えば、商品棚における各電子棚札の位置についても各商品と同様に、予め設置位置を登録しておくことは煩雑な場合がある。また、商品の陳列時に当初の設置位置から電子棚札が移動や追加又は除去される場合もあり得る。このような場合に、本実施の形態では、電子棚札の設置位置を自動的に検出し、検出した設置位置に基づき表示すべき商品情報を表示させるものである。また、商品棚に実際に陳列された商品及び設置された電子棚札の位置から、商品と電子棚札との対応付けを自動的に生成し、登録するものである。例えば、本実施の形態では、各電子棚札の設置位置2352が棚札マスタ235に予め登録されていない場合となる。
<Third Embodiment of the Invention>
The third embodiment of the present invention is an example of the above-described first embodiment, in which the position information of the electronic shelf label on the product shelf is not registered in advance, and the installation position of each electronic shelf label is set from the product shelf. The case where it can be detected is shown. For example, with respect to the position of each electronic shelf label on the product shelf, similarly to each product, it may be complicated to register the installation position in advance. In addition, the electronic shelf label may be moved, added, or removed from the initial installation position when the product is displayed. In such a case, in this embodiment, the installation position of the electronic shelf label is automatically detected, and the product information to be displayed is displayed based on the detected installation position. Further, the correspondence between the product and the electronic shelf label is automatically generated and registered from the position of the product actually displayed on the product shelf and the position of the installed electronic shelf label. For example, in the present embodiment, the
そこで、本発明の実施の形態3にかかる第2の特定部は、商品棚における電子棚札が設置された設置位置を検出し、特定された商品の陳列位置が設置位置に対応する場合に、当該設置位置における電子棚札を商品棚上の特定された陳列位置に設置された電子棚札として特定するものである。 Therefore, the second specifying unit according to the third embodiment of the present invention detects the installation position where the electronic shelf label is installed on the product shelf, and when the display position of the specified product corresponds to the installation position, The electronic shelf label at the installation position is specified as the electronic shelf label installed at the specified display position on the product shelf.
ここで、商品棚から各電子棚札の設置位置を検出できる場合としては、近接無線通信技術を用いることが挙げられる。近接無線通信技術としては、例えば、iBeacon(登録商標)等が挙げられるがこれに限定されない。 Here, as a case where the installation position of each electronic shelf label can be detected from the product shelf, it is possible to use proximity wireless communication technology. Examples of the close proximity wireless transfer technology include, but are not limited to, iBeacon (registered trademark) and the like.
以下に、近接無線通信技術を用いる場合について例示する。近接無線通信の発信器が電子棚札と一体に設けられ、電子棚札の移動に伴い発信器も移動するものとする。そして、当該発信器は所定の識別情報を発信する。一方、商品棚付近に前記発信器に対する受信機能を有する近接無線受信装置を設置しておくものとする。そして、近接無線受信装置が通信回線を介して上述した管理装置23と接続されているものとする。
The case where the close proximity wireless transfer technology is used will be exemplified below. It is assumed that a transmitter for near field communication is provided integrally with the electronic shelf label, and the transmitter also moves as the electronic shelf label moves. Then, the transmitter transmits predetermined identification information. On the other hand, it is assumed that a proximity wireless reception device having a reception function for the transmitter is installed near the product shelf. Then, it is assumed that the close proximity wireless transfer device is connected to the
近接無線受信装置は、各発信器から受信した電波の強度により各発信器との距離を判別できる。ここで、管理装置23側で棚札マスタ235に各発信器の識別情報を棚札ID2351と対応付けて記憶しておく。または、発信器の識別情報を電子棚札のIDと共通にしておくとよい。そのため、管理装置23は、近接無線受信装置からの情報により、商品棚における各電子棚札のある程度の位置を特定することができる。尚、商品棚から各電子棚札の設置位置を検出する技術は、近接無線通信技術に限定されない。
The close proximity wireless transfer device can determine the distance from each transmitter by the strength of the radio wave received from each transmitter. Here, on the
図5は、本発明の実施の形態3にかかる電子棚札の位置検出処理の流れを説明するためのフローチャートである。尚、図5は、図3のステップS207に置き換わる処理である。まず、管理装置23は、電子棚札と一体の発信器から近接無線受信装置を介して電子棚札IDを受信する(S301)。尚、上述の通り発信器の識別情報であってもよい。そして、管理装置23は、商品棚における電子棚札の設置位置を検出する(S302)。その後、管理装置23は、商品の陳列位置に設置された電子棚札を特定する(S303)。
FIG. 5 is a flowchart for explaining the flow of the position detecting process of the electronic shelf label according to the third embodiment of the present invention. Note that FIG. 5 is a process that replaces step S207 of FIG. First, the
以上のように、本発明の実施の形態3により、商品棚における電子棚札の位置を自動的に検出することができるため、より商品の陳列の自由度を高めることができる。また、予め電子棚札の設置位置を登録する必要がなく効率的である。 As described above, according to the third embodiment of the present invention, the position of the electronic shelf label on the product shelf can be automatically detected, so that the degree of freedom in displaying products can be further increased. Further, it is efficient because it is not necessary to register the installation position of the electronic shelf label in advance.
<その他の発明の実施の形態>
尚、上述した実施形態2及び3では、各電子棚札の表示商品ID2353が棚札マスタ235に予め登録されていないものであったが、既に各電子棚札に何らかの商品情報が表示されていても構わない。その場合、各実施形態により電子棚札に表示される商品情報を実際に陳列された商品と対応したものに容易に更新することができる。
<Other Embodiments of the Invention>
In the second and third embodiments described above, the
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。 Furthermore, the present invention is not limited to the above-described embodiments, and it goes without saying that various modifications can be made without departing from the gist of the present invention. For example, although the present invention has been described as a hardware configuration in the above-mentioned embodiments, the present invention is not limited to this. The present invention can also be realized by causing a CPU (Central Processing Unit) to execute a computer program for arbitrary processing.
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored using various types of non-transitory computer readable media and supplied to the computer. Non-transitory computer readable media include various types of tangible storage media. Examples of the non-transitory computer readable medium include a magnetic recording medium (for example, flexible disk, magnetic tape, hard disk drive), magneto-optical recording medium (for example, magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R/W, DVD (Digital Versatile Disc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM ( Random Access Memory)) is included. Further, the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the exemplary embodiments, the present invention is not limited to the above. Various modifications that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the invention.
この出願は、2014年3月20日に出願された日本出願特願2014−58409を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2014-58409 for which it applied on March 20, 2014, and takes in those the indications of all here.
1 商品棚管理システム
110 商品棚
111 商品
112 表示端末
120 情報処理装置
121 取得部
122 第1の特定部
123 第2の特定部
124 送信部
125 記憶部
1251 表示情報
1252 商品の画像
2 商品棚管理システム
21 商品棚
211a〜211d 商品
212a〜212d 電子棚札
22 カメラ
23 管理装置
231 制御部
232 通信部
233 記憶部
234 商品マスタ
2341 商品ID
2342 商品情報
2343 商品画像
235 棚札マスタ
2351 棚札ID
2352 設置位置
2353 表示商品ID
1 Product
2342
2352
Claims (9)
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定する第2の特定手段と、
前記特定された表示端末に、前記特定された表示情報を表示させる制御手段と、
を備える情報処理装置。 First specifying means for specifying display information about the product based on the image of the product included in the captured image;
Identify display position of the item from the position of the product within the captured image, a second specifying means for specifying the display position or we display terminal identified,
Control means for displaying the specified display information on the specified display terminal,
An information processing apparatus including.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a storage unit that stores the product included in the captured image and the specified display terminal in association with each other.
前記第1の特定手段は、前記撮影画像を前記商品の画像とする
請求項1又は2に記載の情報処理装置。 Further comprising an image acquisition unit for acquiring the captured image,
The information processing apparatus according to claim 1, wherein the first specifying unit sets the captured image as an image of the product.
前記商品の画像を解析して、当該画像に含まれる商品を認識し、
当該認識された画像に類似する画像に対応付けられた前記表示情報を特定する
請求項1乃至3のいずれか1項に記載の情報処理装置。 The first specifying means is
Analyze the image of the product, recognize the product contained in the image,
The information processing apparatus according to claim 1, wherein the display information associated with an image similar to the recognized image is specified.
商品を管理する管理装置と、を備え、
前記管理装置は、
撮影画像に含まれる商品の画像に基づき、前記商品に関する表示情報を特定する第1の特定手段と、
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定する第2の特定手段と、
前記特定された表示端末に、前記特定された表示情報を表示させる制御手段と、
を備える
商品棚管理システム。 Display terminal,
And a management device for managing the product,
The management device is
First specifying means for specifying display information about the product based on the image of the product included in the captured image;
Second specifying means for specifying a display position of the product from the position of the product in the captured image, and specifying a display terminal from the specified display position ;
Control means for displaying the specified display information on the specified display terminal,
A product shelf management system equipped with.
請求項5に記載の商品棚管理システム。 The product shelf management system according to claim 5, further comprising a product shelf in which the display terminal is installed at a predetermined position and the products are displayed.
請求項6に記載の商品棚管理システム。 The product shelf management system according to claim 6, further comprising: a photographing device that captures an image including the product displayed on the product shelf as the captured image.
撮影画像に含まれる商品の画像に基づき、前記商品に関する表示情報を特定し、
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定し、
前記特定された表示端末に、前記特定された表示情報を表示させる
商品棚管理方法。 The information processing device
Based on the image of the product included in the captured image, specify the display information about the product,
The display position of the product is specified from the position of the product in the captured image, and the display terminal is specified from the specified display position ,
A product shelf management method for displaying the specified display information on the specified display terminal.
撮影画像に含まれる商品の画像に基づき、前記商品に関する表示情報を特定する処理と、
前記撮像画像内の前記商品の位置から前記商品の陳列位置を特定し、特定された前記陳列位置から表示端末を特定する処理と、
前記特定された表示端末に、前記特定された表示情報を表示させる処理と、
を実行させる商品棚管理プログラム。 On the computer,
A process of specifying display information about the product based on the image of the product included in the captured image;
A process of specifying a display position of the product from the position of the product in the captured image, and specifying a display terminal from the specified display position ;
A process of displaying the specified display information on the specified display terminal,
A shelf management program that executes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076771A JP6897845B2 (en) | 2014-03-20 | 2020-04-23 | Information processing device, product shelf management system, product shelf management method, and product shelf management program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014058409 | 2014-03-20 | ||
JP2014058409 | 2014-03-20 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017132355A Division JP6436192B2 (en) | 2014-03-20 | 2017-07-06 | Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076771A Division JP6897845B2 (en) | 2014-03-20 | 2020-04-23 | Information processing device, product shelf management system, product shelf management method, and product shelf management program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019057306A JP2019057306A (en) | 2019-04-11 |
JP6743868B2 true JP6743868B2 (en) | 2020-08-19 |
Family
ID=54143878
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016508313A Active JP6172379B2 (en) | 2014-03-20 | 2014-11-04 | Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program |
JP2017132355A Active JP6436192B2 (en) | 2014-03-20 | 2017-07-06 | Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program |
JP2018213470A Active JP6743868B2 (en) | 2014-03-20 | 2018-11-14 | Information processing device, product shelf management system, product shelf management method, and product shelf management program |
JP2020076771A Active JP6897845B2 (en) | 2014-03-20 | 2020-04-23 | Information processing device, product shelf management system, product shelf management method, and product shelf management program |
JP2021092646A Active JP7226475B2 (en) | 2014-03-20 | 2021-06-02 | Information processing device, product shelf management system, product shelf management method, and product shelf management program |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016508313A Active JP6172379B2 (en) | 2014-03-20 | 2014-11-04 | Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program |
JP2017132355A Active JP6436192B2 (en) | 2014-03-20 | 2017-07-06 | Information processing apparatus, product shelf management system, product shelf management method, and product shelf management program |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076771A Active JP6897845B2 (en) | 2014-03-20 | 2020-04-23 | Information processing device, product shelf management system, product shelf management method, and product shelf management program |
JP2021092646A Active JP7226475B2 (en) | 2014-03-20 | 2021-06-02 | Information processing device, product shelf management system, product shelf management method, and product shelf management program |
Country Status (2)
Country | Link |
---|---|
JP (5) | JP6172379B2 (en) |
WO (1) | WO2015140852A1 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015140852A1 (en) * | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Information processing device, product shelf management system, and product shelf management method |
US20170293959A1 (en) * | 2014-09-30 | 2017-10-12 | Nec Corporation | Information processing apparatus, shelf label management system, control method, and program |
US20170278057A1 (en) * | 2014-09-30 | 2017-09-28 | Nec Corporation | Information processing apparatus, shelf label management system, control method, and program |
JP7314227B2 (en) * | 2016-12-09 | 2023-07-25 | 東芝テック株式会社 | Display controller and program |
JP6956485B2 (en) * | 2016-12-09 | 2021-11-02 | 東芝テック株式会社 | Display control device and program |
JP6938169B2 (en) * | 2017-03-01 | 2021-09-22 | 東芝テック株式会社 | Label generator and program |
JP7019357B2 (en) * | 2017-09-19 | 2022-02-15 | 東芝テック株式会社 | Shelf information estimation device and information processing program |
FR3072492B1 (en) | 2017-10-13 | 2019-11-08 | Ses-Imagotag | METHOD FOR INITIALIZING OR UPDATING A REALOGRAM DATABASE FOR A LINEAR, UTILIZING OPTICAL SIGNALS ISSUED BY GONDOLA ELECTRONIC LABELS |
EP3751486A1 (en) * | 2019-06-11 | 2020-12-16 | Solum Co., Ltd. | Electronic label management apparatus and method |
JPWO2021117625A1 (en) * | 2019-12-11 | 2021-06-17 | ||
WO2022102139A1 (en) * | 2020-11-16 | 2022-05-19 | 日本電気株式会社 | Management device, electronic shelf label, management system, management method, and program |
WO2023148927A1 (en) * | 2022-02-04 | 2023-08-10 | 日本電気株式会社 | Shelf label management system, shelf label management method, and recording medium |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4766295A (en) * | 1987-03-02 | 1988-08-23 | H.E. Butt Grocery Company | Electronic pricing display system |
EP0842481A1 (en) * | 1995-07-31 | 1998-05-20 | Intelledge, Corporation | Electronic product information display system |
JP2001088912A (en) * | 1999-09-20 | 2001-04-03 | Fujitsu General Ltd | Stocktaking managing method and stocktaking system by image recognition |
JP2007128294A (en) * | 2005-11-04 | 2007-05-24 | Ishida Co Ltd | Sales promotion system |
JP2007193836A (en) * | 2007-03-19 | 2007-08-02 | Ishida Co Ltd | Electronic bin tag system |
JP4733198B2 (en) * | 2008-11-17 | 2011-07-27 | 東芝テック株式会社 | Information registration apparatus and program |
JP2011090647A (en) * | 2009-10-26 | 2011-05-06 | Seiko Instruments Inc | Information display system, management device, information display device, and electronic shelf label terminal |
JP2012093963A (en) * | 2010-10-27 | 2012-05-17 | Seiko Epson Corp | Display processor and display processing system |
JP6043094B2 (en) * | 2012-05-30 | 2016-12-14 | 辛東主 | Product display information aggregation system |
JP2014048752A (en) * | 2012-08-29 | 2014-03-17 | Teraoka Seiko Co Ltd | Indication tag processing system |
WO2015140852A1 (en) * | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Information processing device, product shelf management system, and product shelf management method |
-
2014
- 2014-11-04 WO PCT/JP2014/005544 patent/WO2015140852A1/en active Application Filing
- 2014-11-04 JP JP2016508313A patent/JP6172379B2/en active Active
-
2017
- 2017-07-06 JP JP2017132355A patent/JP6436192B2/en active Active
-
2018
- 2018-11-14 JP JP2018213470A patent/JP6743868B2/en active Active
-
2020
- 2020-04-23 JP JP2020076771A patent/JP6897845B2/en active Active
-
2021
- 2021-06-02 JP JP2021092646A patent/JP7226475B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6897845B2 (en) | 2021-07-07 |
JPWO2015140852A1 (en) | 2017-04-06 |
JP2019057306A (en) | 2019-04-11 |
JP2017174470A (en) | 2017-09-28 |
JP7226475B2 (en) | 2023-02-21 |
JP2021176084A (en) | 2021-11-04 |
JP6172379B2 (en) | 2017-08-02 |
WO2015140852A1 (en) | 2015-09-24 |
JP2020126677A (en) | 2020-08-20 |
JP6436192B2 (en) | 2018-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6743868B2 (en) | Information processing device, product shelf management system, product shelf management method, and product shelf management program | |
US11562559B2 (en) | Object type identifying apparatus, object type identifying method, and recording medium | |
US20220172157A1 (en) | Information processing apparatus, control method, and program | |
WO2015140851A1 (en) | Information processing device, product rack management system, and product rack management method | |
JP2018097881A5 (en) | ||
GB2535298B (en) | Systems and methods for displaying location information for RFID Tags | |
US20170068945A1 (en) | Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program | |
US20190188916A1 (en) | Method and apparatus for augmenting reality | |
US20190205622A1 (en) | Method and device of detecting picture type | |
KR101701957B1 (en) | System of managing delivery history and control method thereof | |
CN105122287B (en) | Coded light device, and product information system comprising such a coded light device | |
US11295190B2 (en) | Correlated asset identifier association | |
US20140348384A1 (en) | System for Managing Locations of Items | |
WO2016148027A1 (en) | Information processing apparatus, order placement support method, and support method | |
JP2015099022A (en) | Operation confirmation system | |
JP6372564B2 (en) | POS terminal device, information processing device, information processing system, image recognition method, and image recognition program | |
JP2015032230A (en) | Shoplifting prevention system using rfid and monitor camera | |
US20150170095A1 (en) | Physical location tagging via image recognition | |
TWM528432U (en) | Heat inspection apparatus and system including the same | |
TWI579581B (en) | Heat Inspection Apparatus, System Including The Same, And Method Thereof | |
TW202004551A (en) | Image surveillance device, system and method of processing images | |
WO2017135905A1 (en) | Automatic zooming front-camera two-dimensional qr code sensor without on-screen two-dimensional or qr code display | |
JP6092753B2 (en) | Information notification device, information notification method, information notification program, and information notification system | |
KR20150006508A (en) | Method for grasping position of tag in ESL(Electronic Shelf Label) system | |
CN110858272A (en) | Information processing apparatus, control method, readable storage medium, and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200423 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6743868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |