JPWO2019186975A1 - Accounting equipment, accounting systems, product identification methods, and programs - Google Patents

Accounting equipment, accounting systems, product identification methods, and programs Download PDF

Info

Publication number
JPWO2019186975A1
JPWO2019186975A1 JP2020508771A JP2020508771A JPWO2019186975A1 JP WO2019186975 A1 JPWO2019186975 A1 JP WO2019186975A1 JP 2020508771 A JP2020508771 A JP 2020508771A JP 2020508771 A JP2020508771 A JP 2020508771A JP WO2019186975 A1 JPWO2019186975 A1 JP WO2019186975A1
Authority
JP
Japan
Prior art keywords
product
products
display
combination product
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020508771A
Other languages
Japanese (ja)
Other versions
JP7020538B2 (en
Inventor
壮馬 白石
壮馬 白石
岩元　浩太
浩太 岩元
秀雄 横井
秀雄 横井
二徳 高田
二徳 高田
恵美 北川
恵美 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019186975A1 publication Critical patent/JPWO2019186975A1/en
Application granted granted Critical
Publication of JP7020538B2 publication Critical patent/JP7020538B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Abstract

会計システム（１）は、会計装置（１０）、撮像装置（３０）、およびディスプレイ（４０）を含んで構成される。ディスプレイ（４０）は、商品の載置面としても利用される。撮像装置（３０）は、ディスプレイ（４０）上に載置された複数の商品（Ｐ）を撮影してそれら商品（Ｐ）の画像を生成する。会計装置（１０）は、生成された画像を取得する画像取得部（１１０）と、画像を解析することによって、複数の商品（Ｐ）をそれぞれ識別する商品識別部（１２０）と、組み合わせ商品を定義する定義情報に基づいて、識別された複数の商品（Ｐ）の中から組み合わせ商品を検出する組み合わせ商品検出部（１３０）と、組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報をディスプレイ（４０）上に出力する表示制御部（１４０）と、を備える。The accounting system (1) includes an accounting device (10), an imaging device (30), and a display (40). The display (40) is also used as a mounting surface for products. The image pickup apparatus (30) photographs a plurality of products (P) placed on the display (40) and generates an image of the products (P). The accounting device (10) includes an image acquisition unit (110) that acquires the generated image, a product identification unit (120) that identifies a plurality of products (P) by analyzing the images, and a combination product. A combination product detection unit (130) that detects a combination product from a plurality of identified products (P) based on the defined definition information, and a plurality of products that constitute the combination product when the combination product is detected. It includes a display control unit (140) that outputs association information indicating the correspondence between products on the display (40).

Description

本発明は、店舗業務を支援する技術に関する。 The present invention relates to a technique for supporting store operations.

店舗業務を支援する技術の一例が、例えば、下記特許文献１または２に開示されている。下記特許文献１には、付属商品が存在する商品が購入対象の商品として登録された場合、付属商品があること、および、その付属商品の数量などを店員に報知する技術が開示されている。下記特許文献２には、カメラにより撮像された対象物をオブジェクト認識することで当該対象物を商品として識別し、その商品を購入対象商品として登録する機能を備える商品登録装置が開示されている。 An example of a technique for supporting store operations is disclosed in, for example, Patent Document 1 or 2 below. Patent Document 1 below discloses a technique for notifying a clerk of the existence of an accessory product and the quantity of the accessory product when the product having the accessory product is registered as a product to be purchased. Patent Document 2 below discloses a product registration device having a function of identifying an object as a product by recognizing an object imaged by a camera as an object and registering the product as a product to be purchased.

また、下記特許文献３には、テーブル上に設けられたタッチパネル式のディスプレイ上で様々な表示を行う技術が開示されている。 Further, Patent Document 3 below discloses a technique for performing various displays on a touch panel type display provided on a table.

特開２０１８−００５８１３号公報JP-A-2018-005813 特開２０１６−０６２５４５号公報JP-A-2016-062545 再特ＷＯ２０１５／０９８１８９号公報Respecial WO2015 / 098189

店舗で扱われる商品の中には、複数の商品を組み合わせて１つの商品として販売されるような特殊な商品（以下、「組み合わせ商品」と表記）も存在する。そして、購入対象の商品を登録する場所において、そのような組み合わせ商品のほかに別の商品が持ち込まれた場合、組み合わせ商品として正しい商品の組み合わせが分かりにくくなる。 Among the products handled in stores, there are also special products (hereinafter referred to as "combination products") in which a plurality of products are combined and sold as one product. Then, when another product is brought in in addition to such a combination product at the place where the product to be purchased is registered, it becomes difficult to understand the correct combination of products as the combination product.

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、複数の商品を組み合わせて１つの商品として販売されるような特殊な商品を容易に判別する技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technique for easily discriminating a special product such as a combination of a plurality of products and sold as one product.

本発明の会計装置は、
ディスプレイ上に載置された複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える。The accounting device of the present invention
An image acquisition means for acquiring an image of a plurality of products placed on a display, and
A product identification means for identifying each of the plurality of products by analyzing the image, and
A combination product detection means that detects the combination product from the identified plurality of products based on the definition information that defines the combination product that is sold as one product by combining a plurality of products.
When the combination product is detected, the display control means for outputting the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product on the display and the display control means.
To be equipped.

本発明の会計システムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された複数の商品が写る画像を生成する撮像装置と、
前記複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える。The accounting system of the present invention
A display whose display surface is used as a product mounting surface,
An image pickup device that generates an image of a plurality of products placed on the display, and an image pickup device.
An image acquisition means for acquiring an image of a plurality of products, and an image acquisition means.
A product identification means for identifying each of the plurality of products by analyzing the image, and
A combination product detection means that detects the combination product from the identified plurality of products based on the definition information that defines the combination product that is sold as one product by combining a plurality of products.
When the combination product is detected, the display control means for outputting the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product on the display and the display control means.
To be equipped.

本発明の商品識別方法は、
コンピュータが、
ディスプレイ上に載置された複数の商品が写る画像を取得し、
前記画像を解析することによって、前記複数の商品をそれぞれ識別し、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出し、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する、
ことを含む。The product identification method of the present invention
The computer
Acquire images showing multiple products placed on the display,
By analyzing the image, the plurality of products are identified, and the plurality of products are identified.
Based on the definition information that defines a combination product that is sold as one product by combining a plurality of products, the combination product is detected from the identified plurality of products.
When the combination product is detected, the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product is output on the display.
Including that.

本発明のプログラムは、コンピュータに、上述の商品識別方法を実行させる。 The program of the present invention causes a computer to execute the above-mentioned product identification method.

本発明によれば、複数の商品を組み合わせて１つの商品として販売されるような特殊な商品を容易に判別することができる。 According to the present invention, it is possible to easily identify a special product that is sold as one product by combining a plurality of products.

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。 The above-mentioned objectives and other objectives, features and advantages will be further clarified by the preferred embodiments described below and the accompanying drawings below.

第１実施形態における会計システム１の構成例を示す図である。It is a figure which shows the structural example of the accounting system 1 in 1st Embodiment. 会計システムのハードウエア構成を例示するブロック図である。It is a block diagram which illustrates the hardware structure of the accounting system. 第１実施形態の会計システムにより実行される処理の流れを例示するシーケンス図である。It is a sequence diagram which illustrates the flow of processing executed by the accounting system of 1st Embodiment. 定義情報の一例を示す図である。It is a figure which shows an example of the definition information. 表示制御部によってディスプレイに表示される情報の一例を示す図である。It is a figure which shows an example of the information which is displayed on the display by a display control part. 表示制御部によってディスプレイに表示される情報の一例を示す図である。It is a figure which shows an example of the information which is displayed on the display by a display control part. 表示制御部によってディスプレイに表示される情報の一例を示す図である。It is a figure which shows an example of the information which is displayed on the display by a display control part. 表示制御部によってディスプレイに表示される情報の一例を示す図である。It is a figure which shows an example of the information which is displayed on the display by a display control part. 第２実施形態の会計システムにより実行される処理の流れを例示するシーケンス図である。It is a sequence diagram which illustrates the flow of processing executed by the accounting system of 2nd Embodiment. 表示制御部よってディスプレイに表示される通知情報の一例を示す図である。It is a figure which shows an example of the notification information which is displayed on the display by a display control unit.

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, similar components are designated by the same reference numerals, and description thereof will be omitted as appropriate. Further, unless otherwise specified, in each block diagram, each block represents a configuration of a functional unit, not a configuration of a hardware unit.

［第１実施形態］
〔システム構成〕
図１は、第１実施形態における会計システム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る会計システム１は図１に描かれる構成に限定されない。図１に示されるように、会計システム１は、会計装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。会計装置１０は、図示しない配線等によって撮像装置３０、およびディスプレイ４０と接続されている。また、会計装置１０には、会計処理を行うための会計処理用機器（図示せず）が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。[First Embodiment]
〔System configuration〕
FIG. 1 is a diagram showing a configuration example of the accounting system 1 according to the first embodiment. Note that FIG. 1 is merely an example, and the accounting system 1 according to the present invention is not limited to the configuration depicted in FIG. As shown in FIG. 1, the accounting system 1 includes an accounting device 10, an imaging device 30, and a display 40. The accounting device 10 is connected to the image pickup device 30 and the display 40 by wiring or the like (not shown). Further, an accounting processing device (not shown) for performing accounting processing is connected to the accounting device 10. Accounting equipment includes, for example, bar code scanners, cashiers, drawers, automatic change machines, receipt printers, input devices such as keyboards and mice, and output devices such as speakers.

ディスプレイ４０は、店舗の業務（例えば、商品の精算業務など）で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。また図示されるように、ディスプレイ４０には、複数の商品Ｐ（Ｐ１、Ｐ２）が載置されることもある。 The display 40 displays various images used in store operations (for example, product settlement operations) on the display surface. The display 40 may be a touch panel display having a function of accepting an input by a touch operation using a finger, a touch pen, or the like. As shown in the figure, the display surface of the display 40 is also used as a mounting surface on which the product P is placed. Further, as shown in the drawing, a plurality of products P (P1, P2) may be placed on the display 40.

図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写る画像を生成する。図１に示されるように、複数の商品Ｐ（Ｐ１、Ｐ２）がディスプレイ４０上に載置されている場合、撮像装置３０は複数の商品Ｐ（Ｐ１、Ｐ２）が写っている画像を生成する。撮像装置３０により生成された画像は、会計装置１０に送信される。 As shown in FIG. 1, the image pickup apparatus 30 is arranged so as to include the display 40 in the image pickup range. The image pickup apparatus 30 photographs the product P placed on the display surface of the display 40 to generate an image in which the product P is captured. As shown in FIG. 1, when a plurality of products P (P1, P2) are placed on the display 40, the image pickup apparatus 30 generates an image showing the plurality of products P (P1, P2). .. The image generated by the imaging device 30 is transmitted to the accounting device 10.

図１に例示されるように、本実施形態の会計装置１０は、画像取得部１１０、商品識別部１２０、組み合わせ商品検出部１３０、および表示制御部１４０を備える。 As illustrated in FIG. 1, the accounting device 10 of the present embodiment includes an image acquisition unit 110, a product identification unit 120, a combination product detection unit 130, and a display control unit 140.

画像取得部１１０は、ディスプレイ４０上に載置された商品の画像を取得する。図１に示されるように、複数の商品Ｐ（Ｐ１、Ｐ２）がディスプレイ４０上に載置されている場合、画像取得部１１０は、それら複数の商品Ｐ（Ｐ１、Ｐ２）が写っている画像を取得することができる。 The image acquisition unit 110 acquires an image of the product placed on the display 40. As shown in FIG. 1, when a plurality of products P (P1, P2) are placed on the display 40, the image acquisition unit 110 displays an image showing the plurality of products P (P1, P2). Can be obtained.

商品識別部１２０は、画像取得部１１０により取得された画像を解析することにより、ディスプレイ４０上の商品Ｐを識別する。例えば、商品識別部１２０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、商品識別部１２０は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。図１に示されるように、複数の商品Ｐ（Ｐ１、Ｐ２）がディスプレイ４０上に載置されている場合、商品識別部１２０は、商品Ｐ１および商品Ｐ２をそれぞれ個別に識別することができる。また、商品識別部１２０は、商品に関する情報（以下、「商品情報」と表記）を記憶する記憶部（図示せず）から、識別された商品の商品情報を取得することができる。商品情報は、例えば、商品名、商品の価格、割引や値引きなどの特典の有無などの情報である。会計装置１０は、商品識別部１２０により取得された商品情報を使って、商品の精算業務に係る処理を実行することができる。 The product identification unit 120 identifies the product P on the display 40 by analyzing the image acquired by the image acquisition unit 110. For example, the product identification unit 120 uses a known object recognition technique (for example, a classifier constructed by pattern matching or machine learning) to identify the product in the image generated by the image pickup apparatus 30. Can be done. Further, even when a plurality of products are shown in the image generated by the image pickup apparatus 30, the product identification unit 120 can individually identify each of the products by using a known object recognition algorithm. it can. As shown in FIG. 1, when a plurality of products P (P1, P2) are placed on the display 40, the product identification unit 120 can individually identify the products P1 and the product P2, respectively. In addition, the product identification unit 120 can acquire product information of the identified product from a storage unit (not shown) that stores information about the product (hereinafter referred to as "product information"). The product information is, for example, information such as a product name, a product price, and the presence or absence of benefits such as discounts and discounts. The accounting device 10 can execute the process related to the settlement business of the product by using the product information acquired by the product identification unit 120.

組み合わせ商品検出部１３０は、商品識別部１２０により複数の商品が識別された場合、識別された複数の商品の中から組み合わせ商品を検出する。ここで、組み合わせ商品とは、複数の商品を組み合わせて一つの商品として販売される商品である。言い換えると、組み合わせ商品は、それぞれ別々にパッケージングされている複数の商品を組み合わせた商品である。特に限定されないが、例えば、ごはんのパックに任意のおかずのパックを選んで組み合わせる形式のお弁当などが、組み合わせ商品の具体例として挙げられる。組み合わせ商品検出部１３０は、識別された複数の商品の中に組み合わせ商品が存在するか否かを、組み合わせ商品を定義する定義情報に基づいて判断することができる。 When a plurality of products are identified by the product identification unit 120, the combination product detection unit 130 detects the combination product from the identified plurality of products. Here, the combination product is a product that is sold as one product by combining a plurality of products. In other words, a combination product is a product that is a combination of a plurality of products that are individually packaged. Although not particularly limited, for example, a bento box in which an arbitrary side dish pack is selected and combined with a rice pack can be mentioned as a specific example of a combination product. The combination product detection unit 130 can determine whether or not the combination product exists among the plurality of identified products based on the definition information that defines the combination product.

表示制御部１４０は、商品識別部１２０の識別結果に基づく情報（以下、「識別結果情報」と表記）をディスプレイ４０上に表示する。識別結果情報は、例えば、商品の名称、商品の価格、商品の外観画像など、会計システム１で識別された商品を示す情報を含む。また、表示制御部１４０は、組み合わせ商品検出部１３０が組み合わせ商品を検出した場合、対応付け情報をディスプレイ４０上に出力する。対応付け情報とは、組み合わせ商品を構成する複数の商品の対応関係を示す情報である。ディスプレイ４０を見る人物は、この対応付け情報に基づいて、ディスプレイ４０上の複数の商品の中から組み合わせ商品に対応する商品を認識することができる。 The display control unit 140 displays information based on the identification result of the product identification unit 120 (hereinafter, referred to as “identification result information”) on the display 40. The identification result information includes information indicating the product identified by the accounting system 1, such as the product name, the price of the product, and the appearance image of the product. Further, when the combination product detection unit 130 detects the combination product, the display control unit 140 outputs the association information on the display 40. The association information is information indicating the correspondence between a plurality of products constituting the combination product. A person who sees the display 40 can recognize a product corresponding to a combination product from a plurality of products on the display 40 based on this association information.

〔ハードウエア構成例〕
会計システム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、会計システム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。[Hardware configuration example]
The accounting system 1 may be realized by hardware that realizes each functional component (eg, a hard-wired electronic circuit, etc.), or a combination of hardware and software (eg, an electronic circuit and its control). It may be realized by a combination of programs to be used. Hereinafter, a case where the accounting system 1 is realized by a combination of hardware and software will be further described.

図２は、会計システム１のハードウエア構成を例示するブロック図である。 FIG. 2 is a block diagram illustrating a hardware configuration of the accounting system 1.

会計装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。 The accounting device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。 The bus 1010 is a data transmission line for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other. However, the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。 The processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。 The memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は会計装置１０の各機能（画像取得部１１０、商品識別部１２０、組み合わせ商品検出部１３０、表示制御部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。 The storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like. The storage device 1040 stores a program module that realizes each function of the accounting device 10, such as an image acquisition unit 110, a product identification unit 120, a combination product detection unit 130, and a display control unit 140. When the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.

入出力インタフェース１０５０は、会計装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、会計装置１０は、撮像装置３０およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。ディスプレイ４０は、タッチ機能付きのディスプレイ（タッチパネルディスプレイ）であってもよい。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０の表示面としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（ディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して会計装置１０と接続されていてもよい。 The input / output interface 1050 is an interface for connecting the accounting device 10 and various input / output devices. In FIG. 2, the accounting device 10 is connected to the image pickup device 30 and the display 40 via the input / output interface 1050. The image pickup device 30 is, for example, a camera equipped with a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. As shown in the figure, the image pickup apparatus 30 is installed so as to include the display 40 (and the product P mounted on the display 40) in the imaging range. The image pickup apparatus 30 photographs the product P placed on the display 40 and generates an image in which the product P is captured. The display 40 is a general display device. The display 40 may be a display with a touch function (touch panel display). The display 40 is also used as a mounting surface for the product P. Therefore, as the display surface of the display 40, a flat display such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), or an organic EL (Electro Luminescence) is preferably used. Further, an accounting processing device (not shown) is connected to the input / output interface 1050. Accounting equipment includes, for example, bar code scanners, cashiers, drawers, automatic change machines, receipt printers, input devices such as keyboards and mice, and output devices such as speakers. Further, as the accounting processing device, a display dedicated to the clerk or a customer (a display different from the display 40) may be connected to the accounting device 10 via the input / output interface 1050.

ネットワークインタフェース１０６０は、会計装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。 The network interface 1060 is an interface for connecting the accounting device 10 to the network. This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network). The method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection.

図２は、あくまで一例であり、会計システム１のハードウエア構成は図２の例に制限されない。例えば、会計装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。 FIG. 2 is just an example, and the hardware configuration of the accounting system 1 is not limited to the example of FIG. For example, the accounting device 10 may be connected to the image pickup device 30 and the display 40 via the network interface 1060.

〔処理の流れ〕
図３を用いて、本実施形態の会計システム１により実行される処理の流れを説明する。図３は、第１実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。[Processing flow]
The flow of processing executed by the accounting system 1 of the present embodiment will be described with reference to FIG. FIG. 3 is a sequence diagram illustrating a flow of processing executed by the accounting system 1 of the first embodiment.

まず、画像取得部１１０は、撮像装置３０により生成された撮影画像を取得する（Ｓ１０２）。例えば、撮像装置３０は、イメージセンサのセンシング結果（撮影画像）を、画像取得部１１０に常時出力している。また、撮像装置３０は、画像取得部１１０の指示に応じて、画像を生成するように構成されていてもよい。そして、商品識別部１２０は、画像取得部１１０により取得された撮影画像の中に商品が存在するか否かを判定する（Ｓ１０４）。例えば、商品識別部１２０は、画像取得部１１０により取得された撮影画像（または撮影画像から抽出される特徴量）を商品識別エンジンに入力して得られる出力結果に基づいて、撮影画像の中に商品が存在するか否かを判定することができる。その他にも、商品識別部１２０は、エッジ特徴量などを用いて撮影画像の中から物体の領域を検出した後、テンプレートマッチングなどを行って当該物体が商品か否かを判定してもよい。 First, the image acquisition unit 110 acquires a captured image generated by the image pickup apparatus 30 (S102). For example, the image pickup apparatus 30 constantly outputs the sensing result (photographed image) of the image sensor to the image acquisition unit 110. Further, the image pickup apparatus 30 may be configured to generate an image in response to an instruction from the image acquisition unit 110. Then, the product identification unit 120 determines whether or not the product exists in the photographed image acquired by the image acquisition unit 110 (S104). For example, the product identification unit 120 incorporates the photographed image (or the feature amount extracted from the photographed image) acquired by the image acquisition unit 110 into the photographed image based on the output result obtained by inputting the photographed image (or the feature amount extracted from the photographed image) into the product identification engine. It is possible to determine whether or not a product exists. In addition, the product identification unit 120 may determine whether or not the object is a product by performing template matching or the like after detecting the region of the object from the captured image using the edge feature amount or the like.

撮影画像の中に商品が存在しない場合（Ｓ１０４：ＮＯ）、画像取得部１１０は、撮像装置３０により生成される新たな撮影画像を取得し、商品識別部１２０は、その新たな撮影画像の中に商品が存在する否かを判定する。 When the product does not exist in the captured image (S104: NO), the image acquisition unit 110 acquires a new captured image generated by the imaging device 30, and the product identification unit 120 in the new captured image. Determine if the product exists in.

一方、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、商品識別部１２０は、識別された商品が何かを示す情報（商品識別情報）を取得する（Ｓ１０６）。商品情報は、例えば、商品毎に割り当てられた識別番号や商品固有の名称などである。商品識別部１２０は、商品の画像を商品識別エンジン等に入力した結果として、商品識別情報を取得することができる。ここで、ディスプレイ４０上に複数の商品が載置されている場合、商品識別エンジンは、それらの商品１つ１つについて識別結果を出力する。なお、商品識別部１２０は、商品識別エンジン等から取得した商品識別情報を基に、識別された商品に関する商品情報（例えば、商品価格や特典の有無など）を、図示しない記憶部から取得することができる。会計装置１０は、商品識別部１２０により取得された商品情報を用いて、商品の精算処理を進めることができる。 On the other hand, when a product is present in the photographed image (S104: YES), the product identification unit 120 acquires information (product identification information) indicating what the identified product is (S106). The product information is, for example, an identification number assigned to each product or a product-specific name. The product identification unit 120 can acquire the product identification information as a result of inputting the image of the product into the product identification engine or the like. Here, when a plurality of products are placed on the display 40, the product identification engine outputs the identification result for each of the products. The product identification unit 120 acquires product information (for example, product price, presence / absence of benefits, etc.) related to the identified product from a storage unit (not shown) based on the product identification information acquired from the product identification engine or the like. Can be done. The accounting device 10 can proceed with the settlement process of the product by using the product information acquired by the product identification unit 120.

ここで、組み合わせ商品検出部１３０は、Ｓ１０６の処理において、複数の商品識別情報が取得されたか否かを判定する（Ｓ１０８）。Ｓ１０６の処理において複数の商品識別情報が取得されていない場合（Ｓ１０８：ＮＯ）、ただ１つの商品が商品識別部１２０により識別されたことになる。この場合、組み合わせ商品検出部１３０は、後述のＳ１１０およびＳ１１２の処理を実行しない。 Here, the combination product detection unit 130 determines whether or not a plurality of product identification information has been acquired in the process of S106 (S108). When a plurality of product identification information is not acquired in the process of S106 (S108: NO), it means that only one product is identified by the product identification unit 120. In this case, the combination product detection unit 130 does not execute the processes of S110 and S112 described later.

一方、Ｓ１０６の処理において複数の商品識別情報が取得された場合（Ｓ１０８：ＹＥＳ）、複数の商品が商品識別部１２０により識別されたことになる。この場合、組み合わせ商品検出部１３０は、識別された複数の商品の中に、組み合わせ商品が存在するか否かを判定する（Ｓ１１０）。組み合わせ商品が存在する場合（Ｓ１１０：ＹＥＳ）、組み合わせ商品検出部１３０は、組み合わせ商品に該当する複数の商品の対応関係を示す対応付け情報を生成する（Ｓ１１２）。一方、組み合わせ商品が存在しない場合（Ｓ１１０：ＮＯ）、組み合わせ商品検出部１３０は、上述のＳ１１２の処理を実行しない。 On the other hand, when a plurality of product identification information is acquired in the process of S106 (S108: YES), the plurality of products are identified by the product identification unit 120. In this case, the combination product detection unit 130 determines whether or not the combination product exists among the plurality of identified products (S110). When the combination product exists (S110: YES), the combination product detection unit 130 generates association information indicating the correspondence between the plurality of products corresponding to the combination product (S112). On the other hand, when the combination product does not exist (S110: NO), the combination product detection unit 130 does not execute the above-mentioned process of S112.

具体的には、組み合わせ商品検出部１３０は、組み合わせ商品を定義する定義情報（例：図４）を参照し、当該定義情報に定義される商品の組み合わせが存在するか否かを判定することができる。図４は、定義情報の一例を示す図である。図４に例示されている定義情報は、例えば、ストレージデバイス１０４０などに予め記憶されている。図４の例では、組み合わせ商品を識別するための組み合わせＩＤ（Identifier）別に、組み合わせ商品を構成する複数の商品それぞれの商品ＩＤが定義されている。図４に例示される定義情報が記憶されている場合、組み合わせ商品検出部１３０は、商品ＩＤ「０００００１」および「０００００２」、または、商品ＩＤ「１００００１」、「１００００２」、および「１００００３」がＳ１０６の処理において取得された場合に、組み合わせ商品が存在すると判断することができる。 Specifically, the combination product detection unit 130 can refer to the definition information (example: FIG. 4) that defines the combination product and determine whether or not there is a combination of products defined in the definition information. it can. FIG. 4 is a diagram showing an example of definition information. The definition information illustrated in FIG. 4 is stored in advance in, for example, a storage device 1040. In the example of FIG. 4, the product IDs of the plurality of products constituting the combination product are defined for each combination ID (Identifier) for identifying the combination product. When the definition information exemplified in FIG. 4 is stored, the combination product detection unit 130 has the product IDs "000001" and "000002" or the product IDs "100001", "10002", and "10003" in S106. It can be determined that the combination product exists when it is acquired in the process of.

そして、表示制御部１４０は、商品識別部１２０による商品の識別結果、および、組み合わせ商品検出部１３０による組み合わせ商品の検出結果を用いて表示データを生成し、当該表示データをディスプレイ４０に送信する（Ｓ１１４）。ディスプレイ４０は、表示制御部１４０から送信された表示データに従って、表示処理を実行する（Ｓ１１６）。以下、図を用いて、具体的な表示動作について例示する。 Then, the display control unit 140 generates display data using the product identification result by the product identification unit 120 and the detection result of the combination product by the combination product detection unit 130, and transmits the display data to the display 40 ( S114). The display 40 executes the display process according to the display data transmitted from the display control unit 140 (S116). Hereinafter, a specific display operation will be illustrated with reference to the figure.

＜具体例１＞
図５は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図５では、ディスプレイ４０上に２つの商品（商品Ａ（商品ＩＤ：０００００１）および商品Ｂ（商品ＩＤ：０００００２））が載置されており、これら２つの商品が商品識別部１２０により識別された状態が描かれている。なお、商品Ａおよび商品Ｂは、組み合わせ商品として定義情報内に定義されているものとする。<Specific example 1>
FIG. 5 is a diagram showing an example of information displayed on the display 40 by the display control unit 140. In FIG. 5, two products (product A (product ID: 000001) and product B (product ID: 000002)) are placed on the display 40, and these two products are identified by the product identification unit 120. The state is drawn. It is assumed that the product A and the product B are defined in the definition information as a combination product.

この場合において、表示制御部１４０は、組み合わせ商品を構成する複数の商品Ａおよび商品Ｂそれぞれの識別結果情報（例：図中ＭＡおよびＭＢ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。なお、図５では、商品の載置位置に合わせてその商品を囲む枠状の図形と、商品の名称とを含む識別結果情報が例示されている。また、組み合わせ商品検出部１３０は、定義情報を参照して、商品Ａおよび商品Ｂが組み合わせ商品であることを示す情報を表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に基づいて、組み合わせ商品を構成する複数の商品Ａおよび商品Ｂそれぞれの識別結果情報を結ぶ線（図中Ｌ）を表示するためのデータを表示データに付加する。なお表示制御部１４０は、商品Ａの識別結果情報および商品Ｂの識別結果情報の表示位置を指定する情報に基づいて、これらの識別結果情報を結ぶ線の描画位置（線の始点および終点の座標）を決定することができる。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図５に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図５に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｂが組み合わせ商品であることを一目で把握できる。In this case, the display control unit 140, a plurality of product A and product B each identification result information constituting the combination products: (eg M A and M B in the figure), the display data to be displayed on the display 40 on the data To add to. Note that FIG. 5 illustrates identification result information including a frame-shaped figure surrounding the product according to the placement position of the product and the name of the product. Further, the combination product detection unit 130 notifies the display control unit 140 of information indicating that the product A and the product B are combination products with reference to the definition information. Based on the notification from the combination product detection unit 130, the display control unit 140 displays data for displaying a line (L in the figure) connecting the identification result information of each of the plurality of products A and B constituting the combination product. Add to display data. The display control unit 140 is based on the information that specifies the display position of the identification result information of the product A and the identification result information of the product B, and draws a line connecting the identification result information (coordinates of the start point and the end point of the line). ) Can be determined. Then, the display control unit 140 transmits the display data thus generated to the display 40. Through such processing, the information as illustrated in FIG. 5 is displayed on the display 40. When the information as illustrated in FIG. 5 is displayed on the display 40, the person who sees the display can grasp at a glance that the product A and the product B are a combination product.

表示制御部１４０は、例えば、図６に示すような情報をディスプレイ４０に表示させてもよい。図６は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図６の例では、表示制御部１４０は、商品Ａおよび商品Ｂが組み合わせ商品であることを示すメッセージＭＳＧ１を、ディスプレイ４０上の空き領域（他の情報が表示されていない領域）に表示している。本図の情報でも、商品Ａおよび商品Ｂが組み合わせ商品であることが一目で把握できる。 The display control unit 140 may display, for example, the information shown in FIG. 6 on the display 40. FIG. 6 is a diagram showing an example of information displayed on the display 40 by the display control unit 140. In the example of FIG. 6, the display control unit 140 displays a message MSG1 indicating that the product A and the product B are a combination product in an empty area (an area where other information is not displayed) on the display 40. There is. Even with the information in this figure, it can be grasped at a glance that the product A and the product B are combination products.

＜具体例２＞
図７は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図７では、ディスプレイ４０上に２つの商品（商品Ａ（商品ＩＤ：０００００１）および商品Ｃ（商品ＩＤ：１００００１））が載置されており、これら２つの商品が商品識別部１２０により識別された状態が描かれている。なお、これらの商品Ａおよび商品Ｃは、組み合わせ商品として定義情報内に定義されていないものとする。<Specific example 2>
FIG. 7 is a diagram showing an example of information displayed on the display 40 by the display control unit 140. In FIG. 7, two products (product A (product ID: 000001) and product C (product ID: 100001)) are placed on the display 40, and these two products are identified by the product identification unit 120. The state is drawn. It is assumed that these products A and C are not defined in the definition information as combination products.

この場合において、表示制御部１４０は、組み合わせ商品を構成する複数の商品Ａおよび商品Ｃそれぞれの識別結果情報（例：図中ＭＡおよびＭＣ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。また、商品Ａと商品Ｃは定義情報内で組み合わせ商品として定義されていないため、組み合わせ商品検出部１３０は、組み合わせ商品に関する通知を表示制御部１４０に送信しない。そのため、この場合は、表示制御部１４０は、図５に例示されるような対応付け情報（線Ｌ）をディスプレイ４０に表示させるためのデータを表示データに付加しない。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図７に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図７に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｃが組み合わせ商品でないことを一目で把握できる。In this case, the display control unit 140, a plurality of product A and product C each identification result information constituting the combination products: (eg M A and M C in the figure), the display data to be displayed on the display 40 on the data To add to. Further, since the product A and the product C are not defined as the combination product in the definition information, the combination product detection unit 130 does not transmit the notification regarding the combination product to the display control unit 140. Therefore, in this case, the display control unit 140 does not add data for displaying the association information (line L) as illustrated in FIG. 5 on the display 40 to the display data. Then, the display control unit 140 transmits the display data thus generated to the display 40. Through such processing, the information as illustrated in FIG. 7 is displayed on the display 40. When the information as illustrated in FIG. 7 is displayed on the display 40, the person who sees the display can grasp at a glance that the product A and the product C are not combined products.

＜具体例３＞
図８は、表示制御部１４０によってディスプレイ４０に表示される情報の一例を示す図である。図８では、ディスプレイ４０上に３つの商品（商品Ａ（商品ＩＤ：０００００１）、商品Ｂ（商品ＩＤ：０００００２）、および商品Ｃ（商品ＩＤ：１００００１））が載置されており、これら３つの商品が商品識別部１２０により識別された状態が描かれている。なお、商品Ａおよび商品Ｂは、組み合わせ商品として定義情報内に定義されており、商品Ｃは組み合わせ商品を構成する商品ではないものとする。<Specific example 3>
FIG. 8 is a diagram showing an example of information displayed on the display 40 by the display control unit 140. In FIG. 8, three products (product A (product ID: 000001), product B (product ID: 000002), and product C (product ID: 100001)) are placed on the display 40, and these three products are placed. The state in which the product is identified by the product identification unit 120 is drawn. It is assumed that the product A and the product B are defined in the definition information as a combination product, and the product C is not a product constituting the combination product.

この場合において、表示制御部１４０は、商品Ａ、商品Ｂ、および商品Ｃそれぞれの識別結果情報（例：図中ＭＡ、ＭＢ、ＭＣ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。また、組み合わせ商品検出部１３０は、定義情報を参照して、商品Ａおよび商品Ｂが組み合わせ商品であることを示す情報を表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に基づいて、組み合わせ商品を構成する複数の商品Ａおよび商品Ｂそれぞれの識別結果情報を結ぶ線（図中Ｌ’）を表示するためのデータを表示データに付加する。表示制御部１４０は、商品Ａの識別結果情報および商品Ｂの識別結果情報の表示位置を指定する情報に基づいて、これらの識別結果情報を結ぶ線の描画位置（線の始点および終点の座標）を決定することができる。ここで、図８の例では、商品Ａおよび商品Ｂの間に、組み合わせ商品ではない商品Ｃが位置している。この場合、表示制御部１４０は、商品Ｃの識別結果情報の表示位置を用いて、商品Ｃの表示位置と重ならないような線Ｌ’を描画するデータを生成することができる。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図８に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図８に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｂが組み合わせ商品であること、および、商品Ｃは組み合わせ商品ではないことを一目で把握できる。In this case, the display control unit 140, item A, item B, and item C each identification result information (e.g. in the figure M A, M B, M C), and display data to be displayed on the display 40 on the data To add to. Further, the combination product detection unit 130 notifies the display control unit 140 of information indicating that the product A and the product B are combination products with reference to the definition information. The display control unit 140 is data for displaying a line (L'in the figure) connecting the identification result information of each of the plurality of products A and B constituting the combination product based on the notification from the combination product detection unit 130. Is added to the display data. The display control unit 140 draws a line drawing position (coordinates of the start point and end point of the line) connecting the identification result information of the product A and the identification result information of the product B based on the information for designating the display position of the identification result information. Can be determined. Here, in the example of FIG. 8, the product C, which is not a combination product, is located between the product A and the product B. In this case, the display control unit 140 can generate data for drawing a line L'that does not overlap with the display position of the product C by using the display position of the identification result information of the product C. Then, the display control unit 140 transmits the display data thus generated to the display 40. Through such processing, the information as illustrated in FIG. 8 is displayed on the display 40. When the information illustrated in FIG. 8 is displayed on the display 40, the person who sees the display indicates that the product A and the product B are a combination product, and that the product C is not a combination product. Can be grasped at a glance.

以上、本実施形態では、会計システム１で識別された商品の中に、組み合わせ商品が含まれている場合、その組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報がディスプレイ４０上に表示される。店員や顧客は、ディスプレイ４０に表示される対応付け情報を確認することにより、複数の商品を組み合わせて１つの商品として販売される組み合わせ商品を容易に認識することができる。 As described above, in the present embodiment, when the combination product is included in the products identified by the accounting system 1, the association information indicating the correspondence relationship of the plurality of products constituting the combination product is displayed on the display 40. Is displayed. By checking the association information displayed on the display 40, the clerk or the customer can easily recognize the combined product sold as one product by combining the plurality of products.

［第２実施形態］
組み合わせ商品を構成する複数の商品は、それぞれ個別にパッケージングされているため、不完全な（一部が欠けた状態）或いは誤った組み合わせを選んでしまう可能性も考えられる。本実施形態の会計システム１は、この問題を解決する構成を更に備える。[Second Embodiment]
Since the plurality of products constituting the combination product are individually packaged, it is possible that an incomplete (partially missing state) or an incorrect combination may be selected. The accounting system 1 of the present embodiment further includes a configuration for solving this problem.

〔システム構成例〕
本実施形態の会計システム１は、第１実施形態と同様の機能構成を有する（例：図１）。また、本実施形態の表示制御部１４０は、組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、通知情報をディスプレイ４０上に表示させる。通知情報は、組み合わせ商品を構成する複数の商品のうち、欠けている商品を通知するための情報である。[System configuration example]
The accounting system 1 of the present embodiment has the same functional configuration as that of the first embodiment (example: FIG. 1). Further, the display control unit 140 of the present embodiment displays the notification information on the display 40 when at least a part of the plurality of products constituting the combination product is missing. The notification information is information for notifying a missing product among a plurality of products constituting the combination product.

〔処理の流れ〕
図９を用いて、本実施形態の会計システム１により実行される処理の流れを説明する。図９は、第２実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。[Processing flow]
The flow of processing executed by the accounting system 1 of the present embodiment will be described with reference to FIG. FIG. 9 is a sequence diagram illustrating a flow of processing executed by the accounting system 1 of the second embodiment.

図９のＳ２０２からＳ２０６の処理は、図３のＳ１０２からＳ１０６の処理と同様である。 The processing of S202 to S206 in FIG. 9 is the same as the processing of S102 to S106 of FIG.

本実施形態において、組み合わせ商品検出部１３０は、Ｓ２０６の処理で取得された商品識別情報に基づいて、組み合わせ商品を構成する複数の商品の一部のみが存在するか否かを判定する（Ｓ２０８）。例えば、図４に例示されるような定義情報が用意されていると仮定する。この場合、Ｓ２０６の処理で商品ＩＤ「０００００１」および商品ＩＤ「０００００２」がセットで取得されていない（２つの商品ＩＤのうちいずれか１つのみが取得されている）場合、組み合わせ商品検出部１３０は、組み合わせ商品を構成する複数の商品の一部のみが存在すると判断する。また、同様に、Ｓ２０６の処理で商品ＩＤ「１００００１」、「１００００２」、および「１００００３」がセットで取得されていない場合（３つの商品ＩＤのうちの１つまたは２つのみが取得されている場合）、組み合わせ商品検出部１３０は、組み合わせ商品を構成する複数の商品の一部のみが存在すると判断する。組み合わせ商品を構成する複数の商品の一部のみが存在する場合（Ｓ２０８：ＹＥＳ）、組み合わせ商品検出部１３０は、組み合わせ商品を構成する複数の商品の一部が欠けていることを表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に応じて、ディスプレイ４０上に表示させる通知情報を生成する（Ｓ２１０）。表示制御部１４０は、生成した通知情報を、ディスプレイ４０に送信する表示データに付加する。一方、組み合わせ商品を構成する複数の商品が揃っている、或いは、組み合わせ商品を構成する商品が識別されていない場合（Ｓ２０８：ＹＥＳ）、表示制御部１４０は、通知情報を生成しない。 In the present embodiment, the combination product detection unit 130 determines whether or not only a part of a plurality of products constituting the combination product exists based on the product identification information acquired in the process of S206 (S208). .. For example, it is assumed that the definition information as illustrated in FIG. 4 is prepared. In this case, if the product ID "000001" and the product ID "000002" are not acquired as a set in the process of S206 (only one of the two product IDs is acquired), the combination product detection unit 130 Determines that only some of the plurality of products that make up the combination product exist. Similarly, when the product IDs "10001", "10002", and "10003" are not acquired as a set in the processing of S206 (only one or two of the three product IDs are acquired). Case), the combination product detection unit 130 determines that only a part of a plurality of products constituting the combination product exists. When only a part of a plurality of products constituting the combination product exists (S208: YES), the combination product detection unit 130 indicates that a part of the plurality of products constituting the combination product is missing. Notify to. The display control unit 140 generates notification information to be displayed on the display 40 in response to the notification from the combination product detection unit 130 (S210). The display control unit 140 adds the generated notification information to the display data transmitted to the display 40. On the other hand, when a plurality of products constituting the combination product are available, or when the products constituting the combination product are not identified (S208: YES), the display control unit 140 does not generate the notification information.

また、組み合わせ商品検出部１３０は、識別された複数の商品の中に、組み合わせ商品が存在するか否かを判定する（Ｓ２１２）。組み合わせ商品が存在する場合（Ｓ２１２：ＹＥＳ）、組み合わせ商品検出部１３０は、組み合わせ商品に該当する複数の商品の対応関係を示す対応付け情報を生成する（Ｓ２１４）。一方、組み合わせ商品が存在しない場合（Ｓ２１２：ＮＯ）、組み合わせ商品検出部１３０は、上述のＳ２１４の処理を実行しない。これらの処理は、図３のＳ１１０およびＳ１１２の処理と同様である。 In addition, the combination product detection unit 130 determines whether or not the combination product exists in the identified plurality of products (S212). When the combination product exists (S212: YES), the combination product detection unit 130 generates association information indicating the correspondence between the plurality of products corresponding to the combination product (S214). On the other hand, when the combination product does not exist (S212: NO), the combination product detection unit 130 does not execute the above-mentioned process of S214. These processes are the same as the processes of S110 and S112 of FIG.

そして、表示制御部１４０は、上述の処理結果を用いて表示データを生成し、当該表示データをディスプレイ４０に送信する（Ｓ２１６）。表示制御部１４０から送信された表示データに従って、表示処理を実行する（Ｓ２１８）。以下、図を用いて、通知情報の具体的な表示動作について例示する。 Then, the display control unit 140 generates display data using the above-mentioned processing result, and transmits the display data to the display 40 (S216). The display process is executed according to the display data transmitted from the display control unit 140 (S218). Hereinafter, a specific display operation of the notification information will be illustrated with reference to the figure.

＜具体例＞
図１０は、表示制御部１４０によってディスプレイ４０に表示される通知情報の一例を示す図である。図７では、ディスプレイ４０上に商品Ａ（商品ＩＤ：０００００１）のみが載置されており、商品Ａが商品識別部１２０により識別された状態が描かれている。なお、商品Ａは、組み合わせ商品を構成する複数の商品の一部として定義情報内に定義されているものとする。<Specific example>
FIG. 10 is a diagram showing an example of notification information displayed on the display 40 by the display control unit 140. In FIG. 7, only the product A (product ID: 000001) is placed on the display 40, and the state in which the product A is identified by the product identification unit 120 is drawn. It is assumed that the product A is defined in the definition information as a part of a plurality of products constituting the combination product.

この場合において、表示制御部１４０は、商品Ａの識別結果情報（例：図中ＭＡ）を、ディスプレイ４０上に表示させるデータを表示データに付加する。また、組み合わせ商品検出部１３０は、定義情報を参照して、商品Ｂが欠けていることを表示制御部１４０に通知する。表示制御部１４０は、組み合わせ商品検出部１３０からの通知に基づいて、商品Ｂが欠けていることを示す情報（例：ＭＳＧ２）を表示するためのデータを生成して表示データに付加する。そして、表示制御部１４０は、このように生成された表示データをディスプレイ４０に送信する。このような処理を経て、図１０に例示されるような情報が、ディスプレイ４０に表示される。ディスプレイ４０上に図１０に例示されるような情報が表示されている場合、その表示を見た人物は、商品Ａおよび商品Ｂが組み合わせ商品であり、かつ、商品Ｂが欠けていることを一目で把握できる。In this case, the display control unit 140, the identification result information Product A: an (eg M A in the figure), adds the data to be displayed on the display 40 on the display data. Further, the combination product detection unit 130 notifies the display control unit 140 that the product B is missing by referring to the definition information. Based on the notification from the combination product detection unit 130, the display control unit 140 generates data for displaying information (example: MSG2) indicating that the product B is missing and adds it to the display data. Then, the display control unit 140 transmits the display data thus generated to the display 40. Through such processing, the information as illustrated in FIG. 10 is displayed on the display 40. When the information as illustrated in FIG. 10 is displayed on the display 40, the person who sees the display can see at a glance that the product A and the product B are a combination product and the product B is missing. Can be grasped by.

以上、本実施形態では、組み合わせ商品の一部が欠けている場合に、その旨を知らせる通知情報がディスプレイ４０に表示される。店員や顧客は、ディスプレイ４０に表示される通知情報を確認することにより、複数の商品を組み合わせて１つの商品として販売される組み合わせ商品の一部が欠けていることを容易に認識できる。 As described above, in the present embodiment, when a part of the combination product is missing, the notification information notifying the fact is displayed on the display 40. By checking the notification information displayed on the display 40, the clerk or the customer can easily recognize that a part of the combined products sold by combining the plurality of products as one product is missing.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than the above can be adopted.

例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の会計装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の会計装置１０の機能を持たせることができる。 For example, the present invention can be applied not only to a general method in which operations from registration of a purchased product to payment of a price are performed by a device for a clerk, but also to a so-called semi-self method or self-method. In the semi-self method, a cash register device for product registration and a payment device for payment are provided separately. Then, the cash register device for product registration can be provided with the function of the above-mentioned accounting device 10. Further, in the self-method, the customer operates a device from registration of the purchased product to payment of the price. Then, the device operated by the customer can be provided with the function of the accounting device 10 described above.

また、上述の説明で用いた複数のシーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Further, in the plurality of sequence diagrams used in the above description, a plurality of steps (processes) are described in order, but the execution order of the steps executed in each embodiment is not limited to the order of description. In each embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents. In addition, the above-described embodiments can be combined as long as the contents do not conflict with each other.

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイ上に載置された複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計装置。
２．
前記表示制御手段は、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
１．に記載の会計装置。
３．
前記表示制御手段は、前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
１．または２．に記載の会計装置。
４．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された複数の商品が写る画像を生成する撮像装置と、
前記複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計システム。
５．
前記表示制御手段は、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
４．に記載の会計システム。
６．
前記表示制御手段は、前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
４．または５．に記載の会計装システム。
７．
コンピュータが、
ディスプレイ上に載置された複数の商品が写る画像を取得し、
前記画像を解析することによって、前記複数の商品をそれぞれ識別し、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出し、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する、
ことを含む商品識別方法。
８．
前記コンピュータが、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
ことを含む７．に記載の商品識別方法。
９．
前記コンピュータが、
前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
ことを含む７．または８．に記載の商品識別方法。
１０．
コンピュータに、７．から９．のいずれか１つに記載の商品識別方法を実行させるためのプログラム。Some or all of the above embodiments may also be described, but not limited to:
1. 1.
An image acquisition means for acquiring an image of a plurality of products placed on a display, and
A product identification means for identifying each of the plurality of products by analyzing the image, and
A combination product detection means that detects the combination product from the identified plurality of products based on the definition information that defines the combination product that is sold as one product by combining a plurality of products.
When the combination product is detected, the display control means for outputting the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product on the display and the display control means.
Accounting device equipped with.
2.
The display control means
The identification result information based on the identification result of each of the plurality of products constituting the combination product is displayed, and the identification result information is displayed.
A line connecting the identification result information of each of the plurality of products constituting the combination product is output as the association information.
1. 1. Accounting equipment described in.
3. 3.
When at least a part of a plurality of products constituting the combination product is missing, the display control means causes the display to display notification information for notifying the missing product.
1. 1. Or 2. Accounting equipment described in.
4.
A display whose display surface is used as a product mounting surface,
An image pickup device that generates an image of a plurality of products placed on the display, and an image pickup device.
An image acquisition means for acquiring an image of a plurality of products, and an image acquisition means.
A product identification means for identifying each of the plurality of products by analyzing the image, and
A combination product detection means that detects the combination product from the identified plurality of products based on the definition information that defines the combination product that is sold as one product by combining a plurality of products.
When the combination product is detected, the display control means for outputting the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product on the display and the display control means.
Accounting system with.
5.
The display control means
The identification result information based on the identification result of each of the plurality of products constituting the combination product is displayed, and the identification result information is displayed.
A line connecting the identification result information of each of the plurality of products constituting the combination product is output as the association information.
4. The accounting system described in.
6.
When at least a part of a plurality of products constituting the combination product is missing, the display control means causes the display to display notification information for notifying the missing product.
4. Or 5. Accounting system described in.
7.
The computer
Acquire images showing multiple products placed on the display,
By analyzing the image, the plurality of products are identified, and the plurality of products are identified.
Based on the definition information that defines a combination product that is sold as one product by combining a plurality of products, the combination product is detected from the identified plurality of products.
When the combination product is detected, the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product is output on the display.
Product identification method including that.
8.
The computer
The identification result information based on the identification result of each of the plurality of products constituting the combination product is displayed, and the identification result information is displayed.
A line connecting the identification result information of each of the plurality of products constituting the combination product is output as the association information.
Including 7. Product identification method described in.
9.
The computer
When at least a part of the plurality of products constituting the combination product is missing, notification information for notifying the missing product is displayed on the display.
Including 7. Or 8. Product identification method described in.
10.
To the computer, 7. To 9. A program for executing the product identification method described in any one of the above.

Claims (6)

ディスプレイ上に載置された複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計装置。An image acquisition means for acquiring an image of a plurality of products placed on a display, and
A product identification means for identifying each of the plurality of products by analyzing the image, and
A combination product detection means that detects the combination product from the identified plurality of products based on the definition information that defines the combination product that is sold as one product by combining a plurality of products.
When the combination product is detected, the display control means for outputting the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product on the display and the display control means.
Accounting device equipped with. 前記表示制御手段は、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果に基づく識別結果情報を表示し、
前記組み合わせ商品を構成する複数の商品それぞれの識別結果情報を結ぶ線を、前記対応付け情報として出力する、
請求項１に記載の会計装置。The display control means
The identification result information based on the identification result of each of the plurality of products constituting the combination product is displayed, and the identification result information is displayed.
A line connecting the identification result information of each of the plurality of products constituting the combination product is output as the association information.
The accounting device according to claim 1. 前記表示制御手段は、前記組み合わせ商品を構成する複数の商品の少なくとも一部が欠けている場合、当該欠けている商品を通知する通知情報を前記ディスプレイ上に表示させる、
請求項１または２に記載の会計装置。When at least a part of a plurality of products constituting the combination product is missing, the display control means causes the display to display notification information for notifying the missing product.
The accounting device according to claim 1 or 2. 表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された複数の商品が写る画像を生成する撮像装置と、
前記複数の商品が写る画像を取得する画像取得手段と、
前記画像を解析することによって、前記複数の商品をそれぞれ識別する商品識別手段と、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出する組み合わせ商品検出手段と、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する表示制御手段と、
を備える会計システム。A display whose display surface is used as a product mounting surface,
An image pickup device that generates an image of a plurality of products placed on the display, and an image pickup device.
An image acquisition means for acquiring an image of a plurality of products, and an image acquisition means.
A product identification means for identifying each of the plurality of products by analyzing the image, and
A combination product detection means that detects the combination product from the identified plurality of products based on the definition information that defines the combination product that is sold as one product by combining a plurality of products.
When the combination product is detected, the display control means for outputting the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product on the display and the display control means.
Accounting system with. コンピュータが、
ディスプレイ上に載置された複数の商品が写る画像を取得し、
前記画像を解析することによって、前記複数の商品をそれぞれ識別し、
複数の商品を組み合わせて一つの商品として販売される組み合わせ商品を定義する定義情報に基づいて、識別された前記複数の商品の中から前記組み合わせ商品を検出し、
前記組み合わせ商品が検出された場合、当該組み合わせ商品を構成する複数の商品の対応関係を示す対応付け情報を前記ディスプレイ上に出力する、
ことを含む商品識別方法。The computer
Acquire images showing multiple products placed on the display,
By analyzing the image, the plurality of products are identified, and the plurality of products are identified.
Based on the definition information that defines a combination product that is sold as one product by combining a plurality of products, the combination product is detected from the identified plurality of products.
When the combination product is detected, the correspondence information indicating the correspondence relationship of the plurality of products constituting the combination product is output on the display.
Product identification method including that. コンピュータに、請求項５に記載の商品識別方法を実行させるためのプログラム。 A program for causing a computer to execute the product identification method according to claim 5.
JP2020508771A 2018-03-29 2018-03-29 Accounting equipment, accounting systems, product identification methods, and programs Active JP7020538B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013476 WO2019186975A1 (en) 2018-03-29 2018-03-29 Accounting device, accounting system, product identification method, and program

Publications (2)

Publication Number Publication Date
JPWO2019186975A1 true JPWO2019186975A1 (en) 2021-03-18
JP7020538B2 JP7020538B2 (en) 2022-02-16

Family

ID=68058624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508771A Active JP7020538B2 (en) 2018-03-29 2018-03-29 Accounting equipment, accounting systems, product identification methods, and programs

Country Status (2)

Country Link
JP (1) JP7020538B2 (en)
WO (1) WO2019186975A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140765A (en) * 2000-10-31 2002-05-17 Glory Ltd Automatic cash register system
JP2010079103A (en) * 2008-09-26 2010-04-08 Brother Ind Ltd Voice interactive apparatus, program for the same, and voice interactive processing method
JP2013073246A (en) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> User interface design support device, user interface design support method, and user interface design support program
US20170017944A1 (en) * 2015-07-15 2017-01-19 Toshiba Tec Kabushiki Kaisha Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium
JP2017058826A (en) * 2015-09-15 2017-03-23 株式会社デンソーウェーブ Payment device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015038719A (en) * 2013-07-16 2015-02-26 東芝テック株式会社 Information processor and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140765A (en) * 2000-10-31 2002-05-17 Glory Ltd Automatic cash register system
JP2010079103A (en) * 2008-09-26 2010-04-08 Brother Ind Ltd Voice interactive apparatus, program for the same, and voice interactive processing method
JP2013073246A (en) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> User interface design support device, user interface design support method, and user interface design support program
US20170017944A1 (en) * 2015-07-15 2017-01-19 Toshiba Tec Kabushiki Kaisha Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium
JP2017058826A (en) * 2015-09-15 2017-03-23 株式会社デンソーウェーブ Payment device

Also Published As

Publication number Publication date
WO2019186975A1 (en) 2019-10-03
JP7020538B2 (en) 2022-02-16

Similar Documents

Publication Publication Date Title
JP7060230B2 (en) Information processing equipment, information processing methods, and programs
JP2022161949A (en) Information processing apparatus, control method, and program
JP2010044479A (en) Pos terminal equipment
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
JP2014170403A (en) Store system
CN112154488B (en) Information processing apparatus, control method, and program
JP7020538B2 (en) Accounting equipment, accounting systems, product identification methods, and programs
JP7070654B2 (en) Registration device, registration method and program
JP2023067923A (en) Commodity registration device, control method, and program
JP7006767B2 (en) Image identification cash register, image identification cash register system, accounting method, and program
JP6981538B2 (en) Image identification cash register device, image identification cash register system, product information display method, and program
JP6947283B2 (en) Store equipment, store systems, image acquisition methods, and programs
JP7214967B2 (en) Product information acquisition device, product information acquisition method, and program
US20220292565A1 (en) Processing device, and processing method
WO2019181035A1 (en) Registration system, registration method, and program
JP7322945B2 (en) Processing device, processing method and program
JP7371748B2 (en) Image identification cash register device, image identification cash register system, information presentation method, and program
JP7205603B2 (en) REGISTRATION DEVICE, REGISTRATION METHOD AND PROGRAM
JP6532114B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
US20230386209A1 (en) Processing device, processing method, and non-transitory storage medium
JP2023017034A (en) Registration device, registration method, and program
WO2021095152A1 (en) Information processing device, information processing method, and program
JP2023078237A (en) Processing device, processing method, and program
WO2017126245A1 (en) Information processing device, control method, and program
JP2020086916A (en) Monitoring system and merchandise sales data processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7020538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151