JPWO2019186972A1

JPWO2019186972A1 - Accounting equipment, accounting systems, product identification methods, and programs

Info

Publication number: JPWO2019186972A1
Application number: JP2020508768A
Authority: JP
Inventors: 壮馬白石; 岩元　浩太; 浩太岩元; 秀雄横井; 二徳高田; 恵美北川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2021-03-18
Anticipated expiration: 2038-03-29
Also published as: JP7468921B2; WO2019186972A1; JP7078105B2; JP2022116092A

Abstract

会計システム（１）は、会計装置（１０）、撮像装置（３０）、およびディスプレイ（４０）を含んで構成される。ディスプレイ（４０）は、商品の載置面としても利用される。撮像装置（３０）は、ディスプレイ（４０）上に載置された商品（Ｐ）を撮影してその商品（Ｐ）の画像を生成する。会計装置（１０）は、ディスプレイ（４０）上に載置された商品（Ｐ）の撮影時に、商品（Ｐ）の識別処理に用いる画像の背景画像をディスプレイ（４０）に所定時間表示させる表示制御部（１１０）と、背景画像が表示されている間にディスプレイ（４０）上の商品（Ｐ）を撮影することにより生成される商品識別用画像を取得する画像取得部（１２０）と、商品識別用画像を解析することにより、ディスプレイ（４０）上の商品（Ｐ）を識別する商品識別部（１３０）と、を備える。The accounting system (1) includes an accounting device (10), an imaging device (30), and a display (40). The display (40) is also used as a mounting surface for products. The image pickup apparatus (30) photographs the product (P) placed on the display (40) and generates an image of the product (P). The accounting device (10) is a display control for displaying a background image of an image used for identification processing of the product (P) on the display (40) for a predetermined time when the product (P) placed on the display (40) is photographed. A unit (110), an image acquisition unit (120) that acquires an image for product identification generated by photographing the product (P) on the display (40) while the background image is displayed, and a product identification unit (120). A product identification unit (130) for identifying a product (P) on a display (40) by analyzing an image for use is provided.

Description

本発明は、店舗での業務を支援する技術に関する。 The present invention relates to a technique for supporting business in a store.

下記特許文献１には、処理装置が、商品の載置台に向けられた撮像装置により撮影された画像のデータを用いて載置台上に存在する商品を認識し、投影装置が、認識された商品及び／又は載置台の載置面上に会計処理に関する像を投影する技術が開示されている。 In Patent Document 1 below, the processing device recognizes the product existing on the mounting table by using the data of the image taken by the imaging device directed to the mounting table of the product, and the projection device recognizes the recognized product. And / or a technique for projecting an image of accounting on a mounting surface of a mounting table is disclosed.

国際公開第２０１７／１２６２５３号International Publication No. 2017/126253

特許文献１に開示されるような技術において、撮像装置が商品を撮影する際、載置台などが背景として画像が写り込む。この背景の影響により、商品の識別精度が低下する可能性がある。 In a technique as disclosed in Patent Document 1, when an image pickup apparatus photographs a product, an image is reflected as a background such as a mounting table. Due to the influence of this background, the accuracy of product identification may decrease.

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、画像を用いて商品を識別する際の精度の低下を抑制する技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technique for suppressing a decrease in accuracy when identifying a product using an image.

本発明の会計装置は、
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像が表示されている間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。The accounting device of the present invention
A display control means for displaying a background image of an image used for identification processing of the product on the display for a predetermined time when the product placed on the display is photographed.
An image acquisition means for acquiring a product identification image generated by photographing a product on the display while the background image is displayed, and an image acquisition means.
A product identification means for identifying a product on the display by analyzing the product identification image,
To be equipped.

本発明の会計システムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。The accounting system of the present invention
A display whose display surface is used as a product mounting surface,
An image pickup device that generates an image of a product placed on the display, and an image pickup device.
A display control means for displaying a background image of an image used for identification processing of the product on the display for a predetermined time when the product is photographed.
An image acquisition means for acquiring a product identification image generated by photographing a product on the display while the background image is being displayed, and an image acquisition means.
A product identification means for identifying a product on the display by analyzing the product identification image,
To be equipped.

本発明の商品識別方法は、
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させ、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む。The product identification method of the present invention
The computer
When the product placed on the display is photographed, the background image of the image used for the product identification process is displayed on the display for a predetermined time.
A product identification image generated by photographing a product on the display while displaying the background image is acquired, and the product identification image is acquired.
By analyzing the product identification image, the product on the display is identified.
Including that.

本発明のプログラムは、コンピュータに上述の商品識別方法を実行させる。 The program of the present invention causes a computer to execute the above-mentioned product identification method.

本発明によれば、画像を用いて商品を識別する際に、識別精度が低下することを抑制できる。 According to the present invention, it is possible to suppress a decrease in identification accuracy when identifying a product using an image.

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。 The above-mentioned objectives and other objectives, features and advantages will be further clarified by the preferred embodiments described below and the accompanying drawings below.

第１実施形態における会計システム１の構成例を示す図である。It is a figure which shows the structural example of the accounting system 1 in 1st Embodiment. あくまで一例であり、会計システム１のハードウエア構成は図２の例に制限されない。は会計システム１のハードウエア構成を例示するブロック図である。This is just an example, and the hardware configuration of the accounting system 1 is not limited to the example of FIG. Is a block diagram illustrating the hardware configuration of the accounting system 1. 第１実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。It is a sequence diagram which illustrates the flow of processing executed by the accounting system 1 of 1st Embodiment. 表示制御部１１０が複数の背景画像を切り替え表示するタイミングの一例を示す図である。It is a figure which shows an example of the timing which display control unit 110 switches and displays a plurality of background images.

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, similar components are designated by the same reference numerals, and description thereof will be omitted as appropriate. Further, unless otherwise specified, in each block diagram, each block represents a configuration of a functional unit, not a configuration of a hardware unit.

［第１実施形態］
〔システム構成〕
図１は、第１実施形態における会計システム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る会計システム１は図１に描かれる構成に限定されない。図１に示されるように、会計システム１は、会計装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。会計装置１０は、図示しない配線等によって撮像装置３０、およびディスプレイ４０と接続されている。また、会計装置１０には、会計処理を行うための会計処理用機器（図示せず）が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。[First Embodiment]
〔System configuration〕
FIG. 1 is a diagram showing a configuration example of the accounting system 1 according to the first embodiment. Note that FIG. 1 is merely an example, and the accounting system 1 according to the present invention is not limited to the configuration depicted in FIG. As shown in FIG. 1, the accounting system 1 includes an accounting device 10, an imaging device 30, and a display 40. The accounting device 10 is connected to the image pickup device 30 and the display 40 by wiring or the like (not shown). Further, an accounting processing device (not shown) for performing accounting processing is connected to the accounting device 10. Accounting equipment includes, for example, bar code scanners, cashiers, drawers, automatic change machines, receipt printers, input devices such as keyboards and mice, and output devices such as speakers.

ディスプレイ４０は、店舗の業務（例えば、商品の精算業務など）で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。 The display 40 displays various images used in store operations (for example, product settlement operations) on the display surface. The display 40 may be a touch panel display having a function of accepting an input by a touch operation using a finger, a touch pen, or the like. As shown in the figure, the display surface of the display 40 is also used as a mounting surface on which the product P is placed.

図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写る画像を生成する。撮像装置３０により生成された画像は、会計装置１０に送信される。 As shown in FIG. 1, the image pickup apparatus 30 is arranged so as to include the display 40 in the image pickup range. The image pickup apparatus 30 photographs the product P placed on the display surface of the display 40 to generate an image in which the product P is captured. The image generated by the imaging device 30 is transmitted to the accounting device 10.

図１に例示されるように、本実施形態の会計装置１０は、表示制御部１１０、画像取得部１２０、および商品識別部１３０を備える。 As illustrated in FIG. 1, the accounting device 10 of the present embodiment includes a display control unit 110, an image acquisition unit 120, and a product identification unit 130.

表示制御部１１０は、撮像装置３０がディスプレイ４０上に載置された商品Ｐを撮影する時、商品Ｐの識別処理に用いる画像の背景となる画像（以下、「背景画像」と表記）をディスプレイ４０に所定時間表示させる。なお、背景画像のデータは、例えば、会計装置１０のストレージデバイスなどに予め記憶されている。背景画像は、商品を識別する時にノイズとなり得る情報（すなわち、商品の識別精度を下げる可能性のある情報）が少ない画像である方が好ましい。例えば、無地の画像（特に単色無地の画像）は、何らかの物体の特徴点として誤って認識され得る要素が少なく、「商品を識別する時にノイズとなり得る情報の少ない画像」と言える。商品とは異なる色や反対色の背景画像は、商品と同化する可能性が低く、撮影された画像から商品の領域を把握しやすい画像といえる。但し、背景画像は無地の画像に限定されない。このような背景画像を用いた場合、背景画像と商品Ｐとの境界（すなわち、商品Ｐの領域）をコンピュータ（会計装置１０）が把握しやすくなるという利点がある。 The display control unit 110 displays an image (hereinafter, referred to as “background image”) that is the background of the image used for the identification process of the product P when the image pickup device 30 takes a picture of the product P mounted on the display 40. 40 is displayed for a predetermined time. The background image data is stored in advance in, for example, a storage device of the accounting device 10. It is preferable that the background image is an image in which there is little information that may cause noise when identifying the product (that is, information that may reduce the identification accuracy of the product). For example, a plain image (particularly a monochromatic plain image) has few elements that can be erroneously recognized as a feature point of some object, and can be said to be an "image with little information that can cause noise when identifying a product". A background image having a color different from that of the product or a color opposite to the product is unlikely to be assimilated with the product, and can be said to be an image that makes it easy to grasp the area of the product from the captured image. However, the background image is not limited to a plain image. When such a background image is used, there is an advantage that the computer (accounting apparatus 10) can easily grasp the boundary between the background image and the product P (that is, the area of the product P).

画像取得部１２０は商品識別用画像を取得する。商品識別用画像は、上述の背景画像がディスプレイ４０に表示されている間に、撮像装置３０がディスプレイ４０上の商品Ｐを撮影することにより生成される。すなわち、商品識別用画像は、表示制御部１１０によってディスプレイ４０に表示された背景画像、および、ディスプレイ４０上に表示された商品Ｐが写る画像である。 The image acquisition unit 120 acquires an image for product identification. The product identification image is generated by the imaging device 30 photographing the product P on the display 40 while the above-mentioned background image is displayed on the display 40. That is, the product identification image is a background image displayed on the display 40 by the display control unit 110 and an image showing the product P displayed on the display 40.

商品識別部１３０は、商品識別用画像を解析することにより、ディスプレイ４０上の商品Ｐを識別する。例えば、商品識別部１３０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、商品識別部１３０は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。また、商品識別部１３０は、商品に関する情報（以下、「商品情報」と表記）を記憶する記憶部（図示せず）から、識別された商品の商品情報を取得することができる。商品情報は、例えば、商品名、商品の価格、割引や値引きなどの特典の有無などの情報である。会計装置１０は、商品識別部１３０により取得された商品情報を使って、商品の精算業務に係る処理を実行することができる。 The product identification unit 130 identifies the product P on the display 40 by analyzing the product identification image. For example, the product identification unit 130 uses a known object recognition technique (for example, a classifier constructed by pattern matching or machine learning) to identify the product in the image generated by the image pickup apparatus 30. Can be done. Further, even when a plurality of products are shown in the image generated by the image pickup apparatus 30, the product identification unit 130 can individually identify each of the products by using a known object recognition algorithm. it can. In addition, the product identification unit 130 can acquire product information of the identified product from a storage unit (not shown) that stores information about the product (hereinafter referred to as "product information"). The product information is, for example, information such as a product name, a product price, and the presence or absence of benefits such as discounts and discounts. The accounting device 10 can execute the process related to the settlement business of the product by using the product information acquired by the product identification unit 130.

〔ハードウエア構成例〕
会計システム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、会計システム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。[Hardware configuration example]
The accounting system 1 may be realized by hardware that realizes each functional component (eg, a hard-wired electronic circuit, etc.), or a combination of hardware and software (eg, an electronic circuit and its control). It may be realized by a combination of programs to be used. Hereinafter, a case where the accounting system 1 is realized by a combination of hardware and software will be further described.

図２は、会計システム１のハードウエア構成を例示するブロック図である。 FIG. 2 is a block diagram illustrating a hardware configuration of the accounting system 1.

会計装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。 The accounting device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。 The bus 1010 is a data transmission line for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other. However, the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。 The processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。 The memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は会計装置１０の各機能（表示制御部１１０、画像取得部１２０、商品識別部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。 The storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like. The storage device 1040 stores a program module that realizes each function of the accounting device 10, such as a display control unit 110, an image acquisition unit 120, and a product identification unit 130. When the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.

入出力インタフェース１０５０は、会計装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、会計装置１０は、撮像装置３０およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。ディスプレイ４０は、タッチ機能付きのディスプレイ（タッチパネルディスプレイ）であってもよい。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０の表示面としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（ディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して会計装置１０と接続されていてもよい。 The input / output interface 1050 is an interface for connecting the accounting device 10 and various input / output devices. In FIG. 2, the accounting device 10 is connected to the image pickup device 30 and the display 40 via the input / output interface 1050. The image pickup device 30 is, for example, a camera equipped with a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. As shown in the figure, the image pickup apparatus 30 is installed so as to include the display 40 (and the product P mounted on the display 40) in the imaging range. The image pickup apparatus 30 photographs the product P placed on the display 40 and generates an image in which the product P is captured. The display 40 is a general display device. The display 40 may be a display with a touch function (touch panel display). The display 40 is also used as a mounting surface for the product P. Therefore, as the display surface of the display 40, a flat display such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), or an organic EL (Electro Luminescence) is preferably used. Further, an accounting processing device (not shown) is connected to the input / output interface 1050. Accounting equipment includes, for example, bar code scanners, cashiers, drawers, automatic change machines, receipt printers, input devices such as keyboards and mice, and output devices such as speakers. Further, as the accounting processing device, a display dedicated to the clerk or a customer (a display different from the display 40) may be connected to the accounting device 10 via the input / output interface 1050.

ネットワークインタフェース１０６０は、会計装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。 The network interface 1060 is an interface for connecting the accounting device 10 to the network. This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network). The method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection.

図２は、あくまで一例であり、会計システム１のハードウエア構成は図２の例に制限されない。例えば、会計装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。 FIG. 2 is just an example, and the hardware configuration of the accounting system 1 is not limited to the example of FIG. For example, the accounting device 10 may be connected to the image pickup device 30 and the display 40 via the network interface 1060.

〔処理の流れ〕
図３を用いて、本実施形態の会計システム１により実行される処理の流れを説明する。図３は、第１実施形態の会計システム１により実行される処理の流れを例示するシーケンス図である。[Processing flow]
The flow of processing executed by the accounting system 1 of the present embodiment will be described with reference to FIG. FIG. 3 is a sequence diagram illustrating a flow of processing executed by the accounting system 1 of the first embodiment.

表示制御部１１０は、背景画像を表示させるための映像信号をディスプレイ４０に送信する（Ｓ１０２）。表示制御部１１０は、例えばストレージデバイス１０４０などに記憶されている背景画像のデータを読み出し、その画像データを映像信号に変換してディスプレイ４０に送信する。ディスプレイ４０は、表示制御部１１０からの映像信号に基づいて、背景画像を表示面に表示させる（Ｓ１０４）。 The display control unit 110 transmits a video signal for displaying the background image to the display 40 (S102). The display control unit 110 reads, for example, background image data stored in a storage device 1040 or the like, converts the image data into a video signal, and transmits the image data to the display 40. The display 40 displays a background image on the display surface based on the video signal from the display control unit 110 (S104).

ここで、表示制御部１１０は、撮像装置３０のフレームレートに合わせて、背景画像の表示時間を制御することができる。例えば、撮像装置３０のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、表示制御部１１０は、１／Ｎ［ｓ］よりも長い時間、背景画像をディスプレイ４０に表示させる。ここで、撮像装置３０のフレームレートがＮ［ｆｐｓ］の場合、撮像装置３０のシャッタースピード（１フレーム分の露光時間）は１／Ｎ［ｓ］以下となる。よって、背景画面がディスプレイ４０に表示される時間の長さを１／Ｎ［ｓ］よりも長い時間に制御することにより、撮像装置３０は、ディスプレイ４０上に背景画像が表示されている状態で撮影した画像（＝商品識別用画像）を、１秒間に少なくとも１枚生成することができる。なお、撮像装置３０のフレームレートの情報は、例えば、表示制御部１１０のプログラムモジュール内で予め定義されている。また、表示制御部１１０は、定期的に撮像装置３０と通信してフレームレートの情報を取得してもよい。 Here, the display control unit 110 can control the display time of the background image according to the frame rate of the image pickup apparatus 30. For example, when the frame rate of the image pickup apparatus 30 is N [fps (frame per second)], the display control unit 110 causes the display 40 to display the background image for a longer time than 1 / N [s]. Here, when the frame rate of the image pickup apparatus 30 is N [fps], the shutter speed (exposure time for one frame) of the image pickup apparatus 30 is 1 / N [s] or less. Therefore, by controlling the length of time that the background screen is displayed on the display 40 to a time longer than 1 / N [s], the image pickup apparatus 30 is in a state where the background image is displayed on the display 40. At least one captured image (= product identification image) can be generated per second. The frame rate information of the image pickup apparatus 30 is defined in advance in the program module of the display control unit 110, for example. Further, the display control unit 110 may periodically communicate with the image pickup apparatus 30 to acquire frame rate information.

なお、ディスプレイ４０は店舗の業務で利用する画面などを表示するためのディスプレイでもある。そのため、表示制御部１１０は、背景画像を表示する時間以外では、例えば、商品の識別結果に基づいて表示する情報（例えば、識別した商品の名称、識別した商品の位置、精算処理を進めるための各種ボタンなど）を、ディスプレイ４０上に表示させている。つまり、上述のＳ１０２およびＳ１０４の処理によって、ディスプレイ４０の表示内容は、商品の識別結果に基づいて表示する情報から、背景画像に一時的に切り替えられる。ここで、背景画像の表示時間が長いほど、画像の切り替えによるチラつきが人の目で知覚され易くなる。すなわち、背景画像の表示時間が長いほど、ディスプレイ４０を見ている店員や顧客に違和感を与える可能性が高くなってしまう。この問題を解決するため、表示制御部１１０は、好ましくは、背景画像を表示する時間の長さを、人（店員や顧客）が気付きにくい長さに制御する。ここで、人間の目の時間分解能は約５０〜１００ミリ秒程度と言われている。よって、表示制御部１１０は、背景画像を表示する時間の長さを、好ましくは１／１０秒以下、更に好ましくは１／２０秒以下となるように制御する。このようにすることで、背景画像をディスプレイ４０に表示させた場合に、店員や顧客に違和感を与える可能性を低減できる。 The display 40 is also a display for displaying a screen or the like used in the business of the store. Therefore, the display control unit 110 can proceed with information to be displayed based on, for example, the product identification result (for example, the name of the identified product, the position of the identified product, and the settlement process) other than the time for displaying the background image. Various buttons, etc.) are displayed on the display 40. That is, by the processing of S102 and S104 described above, the display content of the display 40 is temporarily switched from the information displayed based on the product identification result to the background image. Here, the longer the display time of the background image, the easier it is for the human eye to perceive flicker due to image switching. That is, the longer the display time of the background image, the higher the possibility that the store clerk or the customer looking at the display 40 feels uncomfortable. In order to solve this problem, the display control unit 110 preferably controls the length of time for displaying the background image to a length that is difficult for people (clerks and customers) to notice. Here, the time resolution of the human eye is said to be about 50 to 100 milliseconds. Therefore, the display control unit 110 controls the length of time for displaying the background image to be preferably 1/10 second or less, more preferably 1/20 second or less. By doing so, when the background image is displayed on the display 40, the possibility of giving a sense of discomfort to the clerk or the customer can be reduced.

撮像装置３０は、背景画像がディスプレイ４０に表示されている間に撮影を行い、背景画像とディスプレイ４０上に載置された商品とが写る商品識別用画像を生成する。撮像装置３０により生成された商品識別用画像は、会計装置１０に送信され、画像取得部１２０により取得される（Ｓ１０６）。 The image pickup apparatus 30 takes a picture while the background image is displayed on the display 40, and generates a product identification image in which the background image and the product placed on the display 40 are shown. The product identification image generated by the image pickup apparatus 30 is transmitted to the accounting apparatus 10 and acquired by the image acquisition unit 120 (S106).

商品識別部１３０は、商品識別用画像を解析して、商品識別用画像に写っている商品を識別する（Ｓ１０８）。商品識別部１３０は、例えば、機械学習により構築された商品識別用の画像識別エンジンや、パターンマッチング技術などを利用して、商品識別用画像に写っている商品を識別することができる。商品識別部１３０は、各商品の商品情報を記憶する商品情報記憶部（図示せず）から、識別された商品に対応する商品情報を取得することができる。そして、会計装置１０は、商品識別部１３０により取得された商品情報を用いて、商品の精算処理を進めることができる。 The product identification unit 130 analyzes the product identification image and identifies the product shown in the product identification image (S108). The product identification unit 130 can identify the product shown in the product identification image by using, for example, an image identification engine for product identification constructed by machine learning, a pattern matching technique, or the like. The product identification unit 130 can acquire the product information corresponding to the identified product from the product information storage unit (not shown) that stores the product information of each product. Then, the accounting device 10 can proceed with the settlement process of the product by using the product information acquired by the product identification unit 130.

以上、本実施形態では、ディスプレイ４０上に載置された商品を識別するために利用する画像（商品識別用画像）生成する際、ディスプレイ４０上に背景画像が所定時間表示される。背景画像は、好ましくは、ノイズとなり得る情報や商品との同化が少ない、シンプルな画像である。このような背景画像を用いることによって、背景画像と商品との境界（すなわち、商品の領域）をコンピュータが精度よく検出することができる。結果として、商品の識別精度の低下を抑制できる。 As described above, in the present embodiment, when an image (image for product identification) used for identifying a product placed on the display 40 is generated, a background image is displayed on the display 40 for a predetermined time. The background image is preferably a simple image with little assimilation with information or products that can cause noise. By using such a background image, the computer can accurately detect the boundary between the background image and the product (that is, the area of the product). As a result, it is possible to suppress a decrease in product identification accuracy.

〔第１実施形態の変形例〕
表示制御部１１０は、背景画像を表示する代わりに、ディスプレイ４０への映像信号をオフにする（ディスプレイ４０に何も表示させない）制御を実行するように構成されていてもよい。ディスプレイ４０に何も表示されていない状態は、黒色無地の背景画像を表示させた状態と同様と言える。すなわち、ディスプレイ４０への映像信号をオフにする制御によっても、上述したような効果が期待できる。[Modified example of the first embodiment]
The display control unit 110 may be configured to perform control to turn off the video signal to the display 40 (display nothing on the display 40) instead of displaying the background image. It can be said that the state in which nothing is displayed on the display 40 is the same as the state in which a plain black background image is displayed. That is, the above-mentioned effect can be expected by controlling the video signal to the display 40 to be turned off.

［第２実施形態］
〔システム構成例〕
本実施形態は、表示制御部１１０が、複数の背景画像を切り替えてディスプレイ４０に表示させる点を除き、上述の第１実施形態と同様の構成（例：図１）を有する。[Second Embodiment]
[System configuration example]
The present embodiment has the same configuration as the above-described first embodiment (example: FIG. 1) except that the display control unit 110 switches a plurality of background images and displays them on the display 40.

本実施形態の表示制御部１１０は、ディスプレイ４０に、それぞれ内容の異なる複数の背景画像を切り替えて表示させる。本実施形態では、ディスプレイ４０に表示された背景画像別に撮像装置３０により撮影が実行され、それぞれ背景画像が異なる複数の商品識別用画像（背景画像別の商品識別用画像）が生成される。画像取得部１２０は、この背景画像別の商品識別用画像を取得する。そして、商品識別部１３０は、背景画像別の商品識別用画像を用いて、ディスプレイ４０上の商品を識別する。 The display control unit 110 of the present embodiment switches and displays a plurality of background images having different contents on the display 40. In the present embodiment, the imaging device 30 executes shooting for each background image displayed on the display 40, and a plurality of product identification images (product identification images for each background image) having different background images are generated. The image acquisition unit 120 acquires a product identification image for each background image. Then, the product identification unit 130 identifies the product on the display 40 by using the product identification image for each background image.

〔背景画像の切り替え表示動作例〕
一例として、表示制御部１１０は、それぞれ色の異なる、複数の単色無地の画像をディスプレイ４０上に切り替えて表示することができる。具体的な例として、表示制御部１１０は、赤色無地の背景画像、白色無地の背景画像、および青色無地の背景画像を、それぞれ切り替えてディスプレイ４０上に表示させる。この場合、画像取得部１２０は、赤色無地の背景画像とディスプレイ４０上の商品とが写る第１の商品識別用画像、白色無地の背景画像とその商品とが写る第２の商品識別用画像、および青色無地の背景画像とその商品とが写る第３の商品識別用画像をそれぞれ取得することができる。[Example of switching display operation of background image]
As an example, the display control unit 110 can switch and display a plurality of monochrome plain images having different colors on the display 40. As a specific example, the display control unit 110 switches between a plain red background image, a plain white background image, and a plain blue background image and displays them on the display 40. In this case, the image acquisition unit 120 has a first product identification image in which the plain red background image and the product on the display 40 are shown, and a second product identification image in which the plain white background image and the product are shown. And a third product identification image showing the plain blue background image and the product can be obtained, respectively.

なお、表示制御部１１０は、複数の背景画像を連続的に切り替えてディスプレイ４０上に表示させてもよいし、複数の背景画像の少なくとも一部について間隔をあけてディスプレイ４０上に表示させてもよい。以下、図４を用いて、撮像装置３０のフレームレートが３０［ｆｐｓ］である場合における表示動作の具体例について説明する。図４は、表示制御部１１０が複数の背景画像を切り替え表示するタイミングの一例を示す図である。図４ａに例示されるように、表示制御部１１０は、例えば、第１〜３フレームに対応する期間でそれぞれ色が異なる３つの背景画像を切り替えてディスプレイ４０上に表示させてもよい。また、表示制御部１１０は、例えば、一定の間隔をあけて、それぞれ色が異なる３つの背景画像を切り替えてディスプレイ４０上に表示させてもよい。例えば、図４ｂに例示されるように、表示制御部１１０は、第１、１１、２１フレームに対応する期間に、それぞれ色の異なる３つの背景画像をそれぞれ表示させてもよい。また、表示制御部１１０は、各背景画像を複数回繰り返してディスプレイ４０に表示させてもよい。例えば、図４ｃに例示されるように、表示制御部１１０は、第１〜３フレームに対応する期間、第１１〜１３フレームに対応する期間、および、第２１〜２３フレーム対応する期間のそれぞれにおいて、それぞれ色が異なる３つの背景画像を切り替えてディスプレイ４０上に表示させてもよい。また、図４ｄに例示されるように、表示制御部１１０は、第１、１１、２１フレームに対応する期間、および、第６、１６、２６フレームに対応する期間のそれぞれにおいて、それぞれ色の異なる３つの背景画像をそれぞれ表示させてもよい。 The display control unit 110 may continuously switch a plurality of background images and display them on the display 40, or may display at least a part of the plurality of background images on the display 40 at intervals. Good. Hereinafter, a specific example of the display operation when the frame rate of the image pickup apparatus 30 is 30 [fps] will be described with reference to FIG. FIG. 4 is a diagram showing an example of timing at which the display control unit 110 switches and displays a plurality of background images. As illustrated in FIG. 4a, the display control unit 110 may switch, for example, three background images having different colors in the period corresponding to the first to third frames and display them on the display 40. Further, the display control unit 110 may switch, for example, three background images having different colors and display them on the display 40 at regular intervals. For example, as illustrated in FIG. 4b, the display control unit 110 may display three background images having different colors in the period corresponding to the first, 11th, and 21st frames, respectively. Further, the display control unit 110 may repeat each background image a plurality of times to display it on the display 40. For example, as illustrated in FIG. 4c, the display control unit 110 has a period corresponding to the 1st to 3rd frames, a period corresponding to the 11th to 13th frames, and a period corresponding to the 21st to 23rd frames, respectively. , Three background images having different colors may be switched and displayed on the display 40. Further, as illustrated in FIG. 4d, the display control unit 110 has different colors in the periods corresponding to the first, 11th, and 21st frames and the periods corresponding to the sixth, 16th, and 26th frames, respectively. Each of the three background images may be displayed.

商品識別部１３０は、このように取得された複数の商品識別用画像を用いることにより、商品の領域をより精度よく検出することが可能となる。例えば、商品識別部１３０は、複数の商品識別用画像間での輝度の変化量を用いて、商品の領域を検出することができる。複数の商品識別用画像のそれぞれについて、ディスプレイ４０上に表示されている背景画像の色は異なる。そのため、商品とディスプレイ４０とが重なっていない領域での輝度の変化量は、商品とディスプレイ４０とが重なっていない領域（すなわち、ディスプレイ４０上に載置された商品の領域）の輝度の変化量よりも大きくなる。商品識別部１３０は、複数の商品識別用画像を用いて算出可能な、輝度の変化量の大小に基づいて、商品の領域を精度よく切り出すことができる。 By using the plurality of product identification images acquired in this way, the product identification unit 130 can detect the product area more accurately. For example, the product identification unit 130 can detect a product region by using the amount of change in brightness between a plurality of product identification images. The color of the background image displayed on the display 40 is different for each of the plurality of product identification images. Therefore, the amount of change in brightness in the region where the product and the display 40 do not overlap is the amount of change in the brightness in the region where the product and the display 40 do not overlap (that is, the region of the product placed on the display 40). Will be larger than. The product identification unit 130 can accurately cut out a product region based on the magnitude of the change in brightness that can be calculated using a plurality of product identification images.

以上、本実施形態によれば、商品識別部１３０がより高精度に商品の領域を検出することができる。結果として、より精度よく商品を識別することが可能となる。 As described above, according to the present embodiment, the product identification unit 130 can detect the product area with higher accuracy. As a result, it becomes possible to identify products more accurately.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than the above can be adopted.

例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の会計装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の会計装置１０の機能を持たせることができる。 For example, the present invention can be applied not only to a general method in which operations from registration of a purchased product to payment of a price are performed by a device for a clerk, but also to a so-called semi-self method or self-method. In the semi-self method, a cash register device for product registration and a payment device for payment are provided separately. Then, the cash register device for product registration can be provided with the function of the above-mentioned accounting device 10. Further, in the self-method, the customer operates a device from registration of the purchased product to payment of the price. Then, the device operated by the customer can be provided with the function of the accounting device 10 described above.

また、上述の説明で用いたシーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Further, in the sequence diagram used in the above description, a plurality of steps (processes) are described in order, but the execution order of the steps executed in each embodiment is not limited to the order of description. In each embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents. In addition, the above-described embodiments can be combined as long as the contents do not conflict with each other.

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像が表示されている間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計装置。
２．
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
１．に記載の会計装置。
３．
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、１／Ｎよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
１．または２．に記載の会計装置。
４．
前記表示制御手段は、前記背景画像の表示時間を１／１０秒以下に制御する、
３．に記載の会計装置。
５．
前記表示制御手段は、前記背景画像の表示時間を１／２０秒以下に制御する、
４．に記載の会計装置。
６．
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
１．から５．のいずれか１つに記載の会計装置。
７．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計システム。
８．
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
７．に記載の会計システム。
９．
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、１／Ｎよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
７．または８．に記載の会計システム。
１０．
前記表示制御手段は、前記背景画像の表示時間を１／１０秒以下に制御する、
９．に記載の会計システム。
１１．
前記表示制御手段は、前記背景画像の表示時間を１／２０秒以下に制御する、
１０．に記載の会計システム。
１２．
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
７．から１１．のいずれか１つに記載の会計システム。
１３．
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させ、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む商品識別方法。
１４．
前記コンピュータが、
前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記背景画像別の前記商品識別用画像を取得し、
前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
こと含む１３．に記載の商品識別方法。
１５．
前記コンピュータが、
前記商品識別用画像を生成する撮像装置のフレームレートがＮ［ｆｐｓ（frame per second）］である場合、１／Ｎよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
ことを含む１３．または１４．に記載の商品識別方法。
１６．
前記コンピュータが、
前記背景画像の表示時間を１／１０秒以下に制御する、
ことを含む１５．に記載の商品識別方法。
１７．
前記コンピュータが、
前記背景画像の表示時間を１／２０秒以下に制御する、
ことを含む１６．に記載の商品識別方法。
１８．
前記コンピュータが、
前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
ことを含む１３．から１７．のいずれか１つに記載の商品識別方法。
１９．
コンピュータに、１３．から１８．のいずれか１つに記載の商品識別方法を実行させるためのプログラム。Some or all of the above embodiments may also be described, but not limited to:
1. 1.
A display control means for displaying a background image of an image used for identification processing of the product on the display for a predetermined time when the product placed on the display is photographed.
An image acquisition means for acquiring a product identification image generated by photographing a product on the display while the background image is displayed, and an image acquisition means.
A product identification means for identifying a product on the display by analyzing the product identification image,
Accounting device equipped with.
2.
The display control means switches and displays a plurality of background images having different contents on the display.
The image acquisition means acquires the product identification image for each background image, and obtains the product identification image.
The product identification means identifies a product on the display by using a product identification image for each background image.
1. 1. Accounting equipment described in.
3. 3.
When the frame rate of the image pickup device that generates the product identification image is N [fps (frame per second)], the display control means causes the background image to be displayed on the display for a time longer than 1 / N. ,
1. 1. Or 2. Accounting equipment described in.
4.
The display control means controls the display time of the background image to 1/10 second or less.
3. 3. Accounting equipment described in.
5.
The display control means controls the display time of the background image to 1/20 second or less.
4. Accounting equipment described in.
6.
The display control means causes the display to display information to be displayed based on the identification result of the product outside the display time of the background image.
1. 1. From 5. The accounting device according to any one of the above.
7.
A display whose display surface is used as a product mounting surface,
An image pickup device that generates an image of a product placed on the display, and an image pickup device.
A display control means for displaying a background image of an image used for identification processing of the product on the display for a predetermined time when the product is photographed.
An image acquisition means for acquiring a product identification image generated by photographing a product on the display while the background image is being displayed, and an image acquisition means.
A product identification means for identifying a product on the display by analyzing the product identification image,
Accounting system with.
8.
The display control means switches and displays a plurality of background images having different contents on the display.
The image acquisition means acquires the product identification image for each background image, and obtains the product identification image.
The product identification means identifies a product on the display by using a product identification image for each background image.
7. The accounting system described in.
9.
When the frame rate of the image pickup device that generates the product identification image is N [fps (frame per second)], the display control means causes the background image to be displayed on the display for a time longer than 1 / N. ,
7. Or 8. The accounting system described in.
10.
The display control means controls the display time of the background image to 1/10 second or less.
9. The accounting system described in.
11.
The display control means controls the display time of the background image to 1/20 second or less.
10. The accounting system described in.
12.
The display control means causes the display to display information to be displayed based on the identification result of the product outside the display time of the background image.
7. From 11. The accounting system described in any one of.
13.
The computer
When the product placed on the display is photographed, the background image of the image used for the product identification process is displayed on the display for a predetermined time.
A product identification image generated by photographing a product on the display while displaying the background image is acquired, and the product identification image is acquired.
By analyzing the product identification image, the product on the display is identified.
Product identification method including that.
14.
The computer
A plurality of background images having different contents are switched and displayed on the display.
The product identification image for each background image is acquired, and the product identification image is acquired.
The product on the display is identified by using the product identification image for each background image.
Including 13. Product identification method described in.
15.
The computer
When the frame rate of the image pickup device that generates the product identification image is N [fps (frame per second)], the background image is displayed on the display for a time longer than 1 / N.
Including 13. Or 14. Product identification method described in.
16.
The computer
Control the display time of the background image to 1/10 second or less.
Including 15. Product identification method described in.
17.
The computer
Control the display time of the background image to 1/20 second or less.
Including 16. Product identification method described in.
18.
The computer
Outside the display time of the background image, the information to be displayed based on the identification result of the product is displayed on the display.
Including 13. From 17. The product identification method according to any one of the above.
19.
On the computer, 13. To 18. A program for executing the product identification method described in any one of the above.

Claims

A display control means for displaying a background image of an image used for identification processing of the product on the display for a predetermined time when the product placed on the display is photographed.
An image acquisition means for acquiring a product identification image generated by photographing a product on the display while the background image is displayed, and an image acquisition means.
A product identification means for identifying a product on the display by analyzing the product identification image,
Accounting device equipped with.

The display control means switches and displays a plurality of background images having different contents on the display.
The image acquisition means acquires the product identification image for each background image, and obtains the product identification image.
The product identification means identifies a product on the display by using a product identification image for each background image.
The accounting device according to claim 1.

When the frame rate of the image pickup device that generates the product identification image is N [fps (frame per second)], the display control means causes the background image to be displayed on the display for a time longer than 1 / N. ,
The accounting device according to claim 1 or 2.

The display control means controls the display time of the background image to 1/10 second or less.
The accounting device according to claim 3.

The display control means controls the display time of the background image to 1/20 second or less.
The accounting device according to claim 4.

The display control means causes the display to display information to be displayed based on the identification result of the product outside the display time of the background image.
The accounting device according to any one of claims 1 to 5.

A display whose display surface is used as a product mounting surface,
An image pickup device that generates an image of a product placed on the display, and an image pickup device.
A display control means for displaying a background image of an image used for identification processing of the product on the display for a predetermined time when the product is photographed.
An image acquisition means for acquiring a product identification image generated by photographing a product on the display while the background image is being displayed, and an image acquisition means.
A product identification means for identifying a product on the display by analyzing the product identification image,
Accounting system with.

The computer
When the product placed on the display is photographed, the background image of the image used for the product identification process is displayed on the display for a predetermined time.
A product identification image generated by photographing a product on the display while displaying the background image is acquired, and the product identification image is acquired.
By analyzing the product identification image, the product on the display is identified.
Product identification method including that.

A program for causing a computer to execute the product identification method according to claim 8.