JP6981538B2 - Image identification cash register device, image identification cash register system, product information display method, and program - Google Patents

Image identification cash register device, image identification cash register system, product information display method, and program Download PDF

Info

Publication number
JP6981538B2
JP6981538B2 JP2020508770A JP2020508770A JP6981538B2 JP 6981538 B2 JP6981538 B2 JP 6981538B2 JP 2020508770 A JP2020508770 A JP 2020508770A JP 2020508770 A JP2020508770 A JP 2020508770A JP 6981538 B2 JP6981538 B2 JP 6981538B2
Authority
JP
Japan
Prior art keywords
product
display
image
height information
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020508770A
Other languages
Japanese (ja)
Other versions
JPWO2019186974A1 (en
Inventor
壮馬 白石
浩太 岩元
秀雄 横井
二徳 高田
恵美 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019186974A1 publication Critical patent/JPWO2019186974A1/en
Application granted granted Critical
Publication of JP6981538B2 publication Critical patent/JP6981538B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating

Description

本発明は、店舗での業務を支援する技術に関する。 The present invention relates to a technique for supporting business in a store.

下記特許文献１には、処理装置が、上側から商品の載置台に向けられた撮像装置により生成された画像を用いて載置台上に存在する商品を識別し、投影装置が、識別された商品及び／又は載置台の載置面上に会計処理に関する情報を投影する技術が開示されている。 In Patent Document 1 below, the processing device identifies the product existing on the mounting table by using the image generated by the image pickup device directed from above to the mounting table of the product, and the projection device identifies the identified product. And / or a technique for projecting information about accounting on the mounting surface of a mounting table is disclosed.

国際公開第２０１７／１２６２５３号International Publication No. 2017/126253

本発明者は、上述の特許文献１に示すような構成において、投影装置の代わりにディスプレイを利用することを検討した。その場合において、本発明者は、識別対象の商品の高さによって、当該ディスプレイ上に表示される会計処理に関する情報の位置にズレが生じるという問題を発見した。 The present inventor has considered using a display instead of a projection device in the configuration as shown in Patent Document 1 described above. In that case, the present inventor has found a problem that the position of the information regarding accounting processing displayed on the display shifts depending on the height of the product to be identified.

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、ディスプレイ上に載置された商品の画像を用いてその商品を識別し、その識別結果に応じた情報をディスプレイ上の商品の位置に合わせて表示させるシステムにおいて、その情報の表示位置のズレを低減させる技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is in a system in which an image of a product placed on a display is used to identify the product, and information corresponding to the identification result is displayed according to the position of the product on the display. It is to provide a technique for reducing the deviation of the display position of the information.

本発明の画像識別レジ装置は、
ディスプレイ上に載置された商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える。The image identification registration device of the present invention is
An image acquisition method for acquiring an image of a product placed on a display,
A product identification means for acquiring an identification result of the product and an identification result of the position of the product by analyzing the image of the product.
A height information acquisition means for acquiring height information indicating the height of the product, and
A display control means for outputting display data based on the product identification result to the first position on the display determined based on the product position identification result and the height information.
To prepare for.

本発明の画像識別レジシステムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する第１の撮像装置と、
前記商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える。The image identification registration system of the present invention is
A display whose display surface is used as a product mounting surface,
A first image pickup device that photographs a product placed on the display and generates an image of the product.
An image acquisition means for acquiring an image of the product and
A product identification means for acquiring an identification result of the product and an identification result of the position of the product by analyzing the image of the product.
A height information acquisition means for acquiring height information indicating the height of the product, and
A display control means for outputting display data based on the product identification result to the first position on the display determined based on the product position identification result and the height information.
To prepare for.

本発明の商品情報表示方法は、
コンピュータが、
ディスプレイ上に載置された商品の画像を取得し、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得し、
前記商品の高さを示す高さ情報を取得し、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する、
ことを含む。The product information display method of the present invention is
The computer
Get the image of the product placed on the display and
By analyzing the image of the product, the identification result of the product and the identification result of the position of the product are obtained.
Acquire height information indicating the height of the product,
Display data based on the product identification result is output to the first position on the display determined based on the product position identification result and the height information.
Including that.

本発明のプログラムは、コンピュータに、上述の商品情報表示方法を実行させる。 The program of the present invention causes a computer to execute the above-mentioned product information display method.

本発明によれば、ディスプレイ上に載置された商品の画像を用いてその商品を識別し、その識別結果に応じた情報をディスプレイ上の商品の位置に合わせて表示させるシステムにおいて、その情報の表示位置のズレを低減することができる。 According to the present invention, in a system in which an image of a product placed on a display is used to identify the product and information corresponding to the identification result is displayed according to the position of the product on the display. It is possible to reduce the deviation of the display position.

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。 The above-mentioned objectives and other objectives, features and advantages are further clarified by the preferred embodiments described below and the accompanying drawings below.

第１実施形態における画像識別レジシステムの構成例を示す図である。It is a figure which shows the configuration example of the image identification registration system in 1st Embodiment. 画像識別レジシステムのハードウエア構成を例示するブロック図である。It is a block diagram which illustrates the hardware composition of the image identification cash register system. 第１実施形態の画像識別レジシステムにより実行される処理の流れを例示するシーケンス図である。It is a sequence diagram which illustrates the flow of the process executed by the image identification registration system of 1st Embodiment. 第１実施形態における画像識別レジシステムのより具体的な構成を例示する図である。It is a figure which illustrates the more specific configuration of the image identification registration system in 1st Embodiment. 第１実施形態における画像識別レジシステムのより具体的な構成を例示する図である。It is a figure which illustrates the more specific configuration of the image identification registration system in 1st Embodiment. 第１実施形態における画像識別レジシステムのより具体的な構成を例示する図である。It is a figure which illustrates the more specific configuration of the image identification registration system in 1st Embodiment. 表示データの出力位置のズレが生じる原因について説明するための図である。It is a figure for demonstrating the cause of the deviation of the output position of display data. 表示データの出力位置がずれた様子を具体的に示す図である。It is a figure which shows concretely the appearance that the output position of the display data was deviated. ズレの大きさを導出する関数やテーブルを生成する際に収集されたデータの一例を示す図である。It is a figure which shows an example of the data collected at the time of generating a function and a table which derives the magnitude of a deviation. 第２実施形態における画像識別レジシステムの構成例を示す図である。It is a figure which shows the configuration example of the image identification registration system in 2nd Embodiment. 高さ情報登録部が高さ情報を取得する流れを説明する図である。It is a figure explaining the flow which the height information registration part acquires the height information. 高さ情報記憶部に登録される情報の一例を示す図である。It is a figure which shows an example of the information registered in a height information storage part. 高さ情報登録部が高さ情報を取得する流れを説明する図である。It is a figure explaining the flow which the height information registration part acquires the height information. 第２実施形態における画像識別レジシステムのより具体的な構成を例示する図である。It is a figure which illustrates the more specific configuration of the image identification registration system in 2nd Embodiment.

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, similar components are designated by the same reference numerals, and description thereof will be omitted as appropriate. Further, unless otherwise specified, in each block diagram, each block represents a configuration of a functional unit, not a configuration of a hardware unit.

［第１実施形態］
〔システム構成〕
図１は、第１実施形態における画像識別レジシステム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る画像識別レジシステム１は図１に描かれる構成に限定されない。図１に示されるように、画像識別レジシステム１は、画像識別レジ装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。画像識別レジ装置１０は、図示しない配線等によって撮像装置３０、およびディスプレイ４０と接続されている。なお、図１中の点線は、画像識別レジ装置１０が、撮像装置３０およびディスプレイ４０と通信可能に接続されていることを模式的に示している。また、画像識別レジ装置１０には、会計処理を行うための会計処理用機器（図示せず）が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。[First Embodiment]
〔System configuration〕
FIG. 1 is a diagram showing a configuration example of the image identification registration system 1 according to the first embodiment. Note that FIG. 1 is merely an example, and the image identification registration system 1 according to the present invention is not limited to the configuration depicted in FIG. As shown in FIG. 1, the image identification registration system 1 includes an image identification registration device 10, an image pickup device 30, and a display 40. The image identification register device 10 is connected to the image pickup device 30 and the display 40 by wiring or the like (not shown). The dotted line in FIG. 1 schematically shows that the image identification register device 10 is communicably connected to the image pickup device 30 and the display 40. Further, an accounting processing device (not shown) for performing accounting processing is connected to the image identification register device 10. The accounting processing device is, for example, a bar code scanner, a cashier, a drawer, an automatic change machine, a receipt printer, an input device such as a keyboard or a mouse, an output device such as a speaker, or the like.

ディスプレイ４０は、店舗の業務（例えば、商品の精算業務など）で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。 The display 40 displays various images used in store operations (for example, product settlement operations) on the display surface. The display 40 may be a touch panel display having a function of accepting an input by a touch operation using a finger, a touch pen, or the like. As shown in the figure, the display surface of the display 40 is also used as a mounting surface on which the product P is placed.

図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写っている画像を生成する。撮像装置３０により生成された画像は、画像識別レジ装置１０に送信される。 As shown in FIG. 1, the image pickup apparatus 30 is arranged so as to include the display 40 in the image pickup range. The image pickup apparatus 30 photographs the product P placed on the display surface of the display 40 to generate an image in which the product P is shown. The image generated by the image pickup device 30 is transmitted to the image identification registration device 10.

図１に例示されるように、本実施形態の画像識別レジ装置１０は、画像取得部１１０、商品識別部１２０、高さ情報取得部１３０を、および表示制御部１４０を備える。画像取得部１１０は、ディスプレイ４０上に載置された商品Ｐの画像を撮像装置３０から取得する。商品識別部１２０は、ディスプレイ上に載置された商品Ｐの画像を解析することにより、当該商品Ｐの識別結果および当該商品Ｐの位置の識別結果を取得する。例えば、商品識別部１２０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品およびその位置を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、商品識別部１２０は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。高さ情報取得部１３０は、ディスプレイ上に載置された商品Ｐの高さを示す情報（以下、「高さ情報」と表記）を取得する。なお、高さ情報を取得する具体的な方法については後述する。表示制御部１４０は、商品識別部１２０により取得された商品Ｐの識別結果に基づく表示データをディスプレイ４０上に出力する。このとき、表示制御部１４０は、商品識別部１２０により取得された商品Ｐの位置の識別結果と、画像取得部１１０により取得された高さ情報とに基づいて決定されるディスプレイ４０上の位置（第１の位置）に、表示データを出力する。 As illustrated in FIG. 1, the image identification registration device 10 of the present embodiment includes an image acquisition unit 110, a product identification unit 120, a height information acquisition unit 130, and a display control unit 140. The image acquisition unit 110 acquires an image of the product P placed on the display 40 from the image pickup device 30. The product identification unit 120 acquires the identification result of the product P and the identification result of the position of the product P by analyzing the image of the product P placed on the display. For example, the product identification unit 120 uses a known object recognition technique (for example, a classifier constructed by pattern matching or machine learning) to determine the product and its position in the image generated by the image pickup apparatus 30. Can be identified. Further, even when a plurality of products are shown in the image generated by the image pickup apparatus 30, the product identification unit 120 can individually identify each of the products by using a known object recognition algorithm. can. The height information acquisition unit 130 acquires information indicating the height of the product P placed on the display (hereinafter, referred to as “height information”). The specific method for acquiring height information will be described later. The display control unit 140 outputs display data on the display 40 based on the identification result of the product P acquired by the product identification unit 120. At this time, the display control unit 140 determines the position on the display 40 based on the identification result of the position of the product P acquired by the product identification unit 120 and the height information acquired by the image acquisition unit 110 ( The display data is output to the first position).

ここで、「表示データ」は、商品識別部１２０による商品の識別結果を、店員や顧客に認識させるための情報を含む。具体的には、「表示データ」は、商品に関する情報（例：商品の名称、価格、または外観画像）や商品の位置を示す情報（例：商品の輪郭を基に形成される枠状の表示要素）などを含む。また、「表示データ」は、商品識別部１２０により識別された商品の決済処理を進めるためのユーザインタフェースを含む。具体的には、「表示データ」は、識別された商品を購入対象の商品として登録するユーザインタフェース、当該商品をキャンセルするためのユーザインタフェース、商品識別部１２０の識別結果を訂正するためのユーザインタフェースなどを含む。 Here, the "display data" includes information for causing the store clerk or the customer to recognize the product identification result by the product identification unit 120. Specifically, the "display data" is information about a product (example: product name, price, or appearance image) or information indicating the position of the product (example: frame-shaped display formed based on the outline of the product). Elements) etc. are included. Further, the "display data" includes a user interface for advancing the payment process of the product identified by the product identification unit 120. Specifically, the "display data" includes a user interface for registering the identified product as a product to be purchased, a user interface for canceling the product, and a user interface for correcting the identification result of the product identification unit 120. And so on.

〔ハードウエア構成例〕
画像識別レジシステム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像識別レジシステム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。[Hardware configuration example]
The image identification registration system 1 may be realized by hardware that realizes each functional component (eg, a hard-wired electronic circuit, etc.), or a combination of hardware and software (eg, an electronic circuit and it). It may be realized by a combination of programs that control the above. Hereinafter, a case where the image identification registration system 1 is realized by a combination of hardware and software will be further described.

図２は、画像識別レジシステム１のハードウエア構成を例示するブロック図である。 FIG. 2 is a block diagram illustrating a hardware configuration of the image identification registration system 1.

画像識別レジ装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。 The image identification register device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。 The bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other. However, the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。 The processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。 The memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像識別レジ装置１０の各機能（画像取得部１１０、商品識別部１２０、高さ情報取得部１３０、および表示制御部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。 The storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like. The storage device 1040 stores a program module that realizes each function of the image identification registration device 10 (image acquisition unit 110, product identification unit 120, height information acquisition unit 130, display control unit 140, and the like). When the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.

入出力インタフェース１０５０は、画像識別レジ装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、画像識別レジ装置１０は、撮像装置３０およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。ディスプレイ４０は、タッチ機能付きのディスプレイ（タッチパネルディスプレイ）であってもよい。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０の表示面としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（ディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して画像識別レジ装置１０と接続されていてもよい。 The input / output interface 1050 is an interface for connecting the image identification register device 10 and various input / output devices. In FIG. 2, the image identification register device 10 is connected to the image pickup device 30 and the display 40 via the input / output interface 1050. The image pickup device 30 is, for example, a camera equipped with a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. As shown in the figure, the image pickup apparatus 30 is installed so as to include the display 40 (and the product P mounted on the display 40) in the image pickup range. The image pickup apparatus 30 photographs the product P placed on the display 40 and generates an image in which the product P is captured. The display 40 is a general display device. The display 40 may be a display with a touch function (touch panel display). The display 40 is also used as a mounting surface for the product P. Therefore, as the display surface of the display 40, a flat display such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), or an organic EL (Electro Luminescence) is preferably used. Further, an accounting processing device (not shown) is connected to the input / output interface 1050. Accounting equipment includes, for example, bar code scanners, cashiers, drawers, automatic change machines, receipt printers, input devices such as keyboards and mice, and output devices such as speakers. Further, as the accounting processing device, a display dedicated to the clerk or a customer (a display different from the display 40) may be connected to the image identification register device 10 via the input / output interface 1050.

ネットワークインタフェース１０６０は、画像識別レジ装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。 The network interface 1060 is an interface for connecting the image identification register device 10 to the network. This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network). The method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection.

図２は、あくまで一例であり、画像識別レジシステム１のハードウエア構成は図２の例に制限されない。例えば、画像識別レジ装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。 FIG. 2 is just an example, and the hardware configuration of the image identification registration system 1 is not limited to the example of FIG. For example, the image identification register device 10 may be connected to the image pickup device 30 and the display 40 via the network interface 1060.

〔処理の流れ〕
図３を用いて、本実施形態の画像識別レジシステム１により実行される処理の流れを説明する。図３は、第１実施形態の画像識別レジシステム１により実行される処理の流れを例示するシーケンス図である。[Processing flow]
The flow of the process executed by the image identification registration system 1 of this embodiment will be described with reference to FIG. FIG. 3 is a sequence diagram illustrating a flow of processing executed by the image identification registration system 1 of the first embodiment.

まず、画像取得部１１０は、撮像装置３０により生成された撮影画像を取得する（Ｓ１０２）。例えば、撮像装置３０は、イメージセンサのセンシング結果（撮影画像）を、画像取得部１１０に常時出力している。また、撮像装置３０は、画像取得部１１０の指示に応じて、画像を生成するように構成されていてもよい。そして、商品識別部１２０は、画像取得部１１０により取得された撮影画像の中に商品が存在するか否かを判定する（Ｓ１０４）。例えば、商品識別部１２０は、取得された撮影画像（または撮影画像から抽出される特徴量）を商品識別エンジン（図示せず）に入力して得られる出力結果に基づいて、撮影画像の中に商品が存在するか否かを判定することができる。その他にも、商品識別部１２０は、エッジ特徴量などを用いて撮影画像の中から物体の領域を検出した後、テンプレートマッチングなどを行って当該物体が商品か否かを判定してもよい。 First, the image acquisition unit 110 acquires a captured image generated by the image pickup apparatus 30 (S102). For example, the image pickup apparatus 30 constantly outputs the sensing result (photographed image) of the image sensor to the image acquisition unit 110. Further, the image pickup apparatus 30 may be configured to generate an image in response to an instruction from the image acquisition unit 110. Then, the product identification unit 120 determines whether or not the product exists in the photographed image acquired by the image acquisition unit 110 (S104). For example, the product identification unit 120 inputs the acquired photographed image (or a feature amount extracted from the photographed image) into the product identification engine (not shown), and based on the output result obtained, the product identification unit 120 incorporates the photographed image into the photographed image. It is possible to determine whether or not a product exists. In addition, the product identification unit 120 may detect a region of an object from a captured image using an edge feature amount or the like, and then perform template matching or the like to determine whether or not the object is a product.

撮影画像の中に商品が存在しない場合（Ｓ１０４：ＮＯ）、商品識別部１２０は、撮像装置３０により生成される新たな撮影画像を取得し、その新たな撮影画像の中に商品が存在する否かを判定する。一方、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、商品識別部１２０は、商品識別エンジンから、撮影画像内の商品の識別結果と、当該商品の位置の識別結果を取得することができる（Ｓ１０６）。 When the product does not exist in the captured image (S104: NO), the product identification unit 120 acquires a new captured image generated by the image pickup apparatus 30, and whether or not the product exists in the new captured image. Is determined. On the other hand, when the product is present in the photographed image (S104: YES), the product identification unit 120 acquires the identification result of the product in the photographed image and the identification result of the position of the product from the product identification engine. Can be done (S106).

また、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、高さ情報取得部１３０は、ディスプレイ４０上に載置された商品Ｐの高さ情報を取得する（Ｓ１０８）。以下、高さ情報取得部１３０が商品の高さ情報を取得する方法についての具体的な例をいくつか挙げる。 When the product is present in the captured image (S104: YES), the height information acquisition unit 130 acquires the height information of the product P placed on the display 40 (S108). Hereinafter, some specific examples of how the height information acquisition unit 130 acquires the height information of the product will be given.

＜高さ情報を取得する方法の具体例１＞
図４は、第１実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図４の構成では、撮像装置３０は、撮像面から被写体のまでの距離（深度）を示す深度情報を含む画像を生成することができる。具体的には、撮像装置３０は、デプスカメラやステレオカメラなどである。この場合、高さ情報取得部１３０は、撮像装置３０により生成された画像に含まれる深度情報を用いて、ディスプレイ４０上に載置された商品の高さを算出することができる。具体的には、高さ情報取得部１３０は、ディスプレイ４０の表示面から撮像装置３０の撮像面までの高さから、ディスプレイ４０上に載置された商品Ｐに該当する画像領域における深度を差し引くことによって、商品Ｐの高さを算出することができる。また、撮像装置３０が一般的な単眼カメラの場合、高さ情報取得部１３０は、被写体までの焦点距離（商品の上面部までの距離）を取得して、ディスプレイ４０の表示面から撮像装置３０の撮像面までの高さから差し引くことにより、商品の高さを算出できる。なお、ディスプレイ４０の表示面から撮像装置３０の撮像面までの高さは、例えば、高さ情報取得部１３０のプログラムモジュール内で既定の値として定義されている。<Specific example 1 of the method of acquiring height information>
FIG. 4 is a diagram illustrating a more specific configuration of the image identification registration system 1 according to the first embodiment. In the configuration of FIG. 4, the image pickup apparatus 30 can generate an image including depth information indicating the distance (depth) from the image pickup surface to the subject. Specifically, the image pickup apparatus 30 is a depth camera, a stereo camera, or the like. In this case, the height information acquisition unit 130 can calculate the height of the product placed on the display 40 by using the depth information included in the image generated by the image pickup device 30. Specifically, the height information acquisition unit 130 subtracts the depth in the image region corresponding to the product P placed on the display 40 from the height from the display surface of the display 40 to the image pickup surface of the image pickup device 30. Thereby, the height of the product P can be calculated. When the image pickup device 30 is a general monocular camera, the height information acquisition unit 130 acquires the focal length to the subject (distance to the upper surface portion of the product) and displays the image pickup device 30 from the display surface of the display 40. The height of the product can be calculated by subtracting it from the height to the image pickup surface of. The height from the display surface of the display 40 to the image pickup surface of the image pickup device 30 is defined as a default value in the program module of the height information acquisition unit 130, for example.

＜高さ情報を取得する方法の具体例２＞
図５は、第１実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図５の構成では、撮像装置３０とは別の撮像装置３５が設けられている。ここでは、撮像装置３０を「第１の撮像装置」と、また、撮像装置３５を「第２の撮像装置」と表記する。第２の撮像装置３５は、ディスプレイ４０上に載置された商品Ｐを、当該ディスプレイ４０の表示面に対して平行な方向から撮影する。このようにすることで、第２の撮像装置３５は、商品Ｐの側面部が写る画像（以下、「側面画像」と表記）を生成することができる。本具体例において、高さ情報取得部１３０は、第２の撮像装置３５により生成された、商品Ｐの側面画像を取得する。そして、高さ情報取得部１３０は、商品Ｐの側面画像を解析することによって、商品Ｐの高さ（ディスプレイ４０の表示面から商品Ｐの上面部までの高さ）を算出することができる。<Specific example 2 of the method of acquiring height information>
FIG. 5 is a diagram illustrating a more specific configuration of the image identification registration system 1 according to the first embodiment. In the configuration of FIG. 5, an image pickup device 35 different from the image pickup device 30 is provided. Here, the image pickup device 30 is referred to as a "first image pickup device", and the image pickup device 35 is referred to as a "second image pickup device". The second image pickup apparatus 35 photographs the product P placed on the display 40 from a direction parallel to the display surface of the display 40. By doing so, the second image pickup apparatus 35 can generate an image (hereinafter, referred to as “side image”) in which the side surface portion of the product P is captured. In this specific example, the height information acquisition unit 130 acquires a side image of the product P generated by the second image pickup device 35. Then, the height information acquisition unit 130 can calculate the height of the product P (the height from the display surface of the display 40 to the upper surface portion of the product P) by analyzing the side image of the product P.

＜高さ情報を取得する方法の具体例３＞
図６は、第１実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図６の構成では、画像識別レジ装置１０は、高さ情報記憶部１３２を更に備えている。高さ情報記憶部１３２は、店舗で取り扱われていた商品それぞれの高さ情報を記憶している。本具体例において、高さ情報取得部１３０は、まず、商品識別部１２０から商品の識別結果を受け取る。そして、高さ情報取得部１３０は、商品識別部１２０から受け取った商品の識別結果を用いて、高さ情報記憶部１３２に記憶されている商品別の高さ情報の中から、当該商品の識別結果に対応する高さ情報を取得することができる。<Specific example 3 of the method of acquiring height information>
FIG. 6 is a diagram illustrating a more specific configuration of the image identification registration system 1 according to the first embodiment. In the configuration of FIG. 6, the image identification register device 10 further includes a height information storage unit 132. The height information storage unit 132 stores the height information of each product handled in the store. In this specific example, the height information acquisition unit 130 first receives the product identification result from the product identification unit 120. Then, the height information acquisition unit 130 identifies the product from the height information for each product stored in the height information storage unit 132 by using the product identification result received from the product identification unit 120. Height information corresponding to the result can be acquired.

図３に戻り、表示制御部１４０は、商品識別部１２０により取得された商品の識別結果に基づいて、ディスプレイ４０上に出力する表示データを生成する（Ｓ１１０）。ここで、表示制御部１４０は、商品の各種情報（商品の名称、商品の価格、商品の外観画像、値引き等の特典の有無など）を記憶するテーブル（図示せず）などから、商品識別部１２０により識別された商品の情報を取得し、表示データに含めることができる。また、表示制御部１４０は、商品識別部１２０により商品が識別されたことに応じて、その商品の決済処理を行うための各種ユーザインタフェースの描画情報を表示データに含めることができる。 Returning to FIG. 3, the display control unit 140 generates display data to be output on the display 40 based on the product identification result acquired by the product identification unit 120 (S110). Here, the display control unit 140 is a product identification unit from a table (not shown) that stores various information of the product (product name, product price, product appearance image, presence / absence of benefits such as discounts, etc.). Information on the product identified by 120 can be acquired and included in the display data. Further, the display control unit 140 can include drawing information of various user interfaces for performing payment processing of the product in the display data in response to the product being identified by the product identification unit 120.

ここで、表示制御部１４０は、ディスプレイ４０が商品の位置に合わせて表示データを出力できるように、当該表示データを出力する位置をディスプレイ４０に正しく指示する必要がある。そこで、表示制御部１４０は、商品の位置の識別結果（撮像装置３０により生成された画像での商品の位置）を、ディスプレイ４０上での位置に変換する。なお、表示制御部１４０は、「撮像装置３０により生成された画像での位置（座標）」を「ディスプレイ４０の表示面（商品Ｐの載置面）での位置（座標）」に変換する変換ルールを予め保持している。そして、表示制御部１４０は、画像内の商品の位置（座標）を、当該変換ルールに基づいてディスプレイ４０の表示面の位置（座標）に変換することができる。 Here, the display control unit 140 needs to correctly instruct the display 40 of the position to output the display data so that the display 40 can output the display data according to the position of the product. Therefore, the display control unit 140 converts the product position identification result (the product position in the image generated by the image pickup apparatus 30) into the position on the display 40. The display control unit 140 converts the "position (coordinates) in the image generated by the image pickup device 30" into the "position (coordinates) on the display surface (mounting surface of the product P) of the display 40". The rules are held in advance. Then, the display control unit 140 can convert the position (coordinates) of the product in the image to the position (coordinates) of the display surface of the display 40 based on the conversion rule.

ところが、具体的には以下に述べるような理由により、画像に基づいて識別された商品Ｐの位置が、実際の商品Ｐの位置とずれる可能性がある。 However, specifically, for the reasons described below, the position of the product P identified based on the image may deviate from the actual position of the product P.

図７は、表示データの出力位置のズレが生じる原因について説明するための図である。本図において、符号ＰＡおよび符号ＰＢは、それぞれ、ディスプレイ４０上に載置された商品を示している。具体的には、商品ＰＡは撮像装置３０の正面に位置しており、商品ＰＢは撮像装置３０の正面から右側にずれた場所に位置している。また、本図において、符号ＤＡおよび符号ＤＢは、それぞれ、ディスプレイ４０上に載置された商品の識別結果に基づいて出される標示データを示している。FIG. 7 is a diagram for explaining the cause of the deviation of the output position of the display data. In the figure, reference numeral P A and the code P B, respectively, show the products placed on the display 40. Specifically, the product P A is located in front of the imaging device 30, product P B is located at a location displaced to the right from the front of the imaging device 30. Further, in this figure, reference numeral D A and code D B, respectively, show the indication data issued on the basis of the identification result of the product placed on the display 40.

本図の場合において、撮像装置３０により生成される画像には、図中の点線で示す部分が写り込むことになる。つまり、商品識別部１２０は、画像に写り込んだ商品の部分（主に商品の上面部）の位置に基づいてその商品の位置を識別することになる。ここで、撮像装置３０により生成される画像では、図中の点線で示す部分は、図中で撮像装置３０を基準として延伸する一点鎖線に沿って２次元に落とし込まれる。そのため、撮像装置３０の正面からずれた位置に商品が位置している場合には、画像に基づく商品の位置の識別結果にその商品の高さに応じた誤差が含まれてしまう。本図の例で言えば、商品ＰＡは撮像装置３０の正面に位置しているため、実際の位置とのズレは生じない。よって、ディスプレイ４０は、画像に基づいて識別された商品の位置に従って、商品ＰＡの実際の位置に合わせて表示データＤＡを出力することができる。一方で、商品ＰＢは撮像装置３０の正面から右側にずれた場所に位置している。そのため、画像に基づいて識別される商品ＰＢの位置は、実際の位置よりも右側にずれた位置となる。よって、ディスプレイ４０は、画像に基づいて識別された商品の位置に従った場合には、商品ＰＢの実際の位置よりも右側にずれた位置に表示データＤＢを出力してしまうことになる。In the case of this figure, the part shown by the dotted line in the figure is reflected in the image generated by the image pickup apparatus 30. That is, the product identification unit 120 identifies the position of the product based on the position of the product portion (mainly the upper surface portion of the product) reflected in the image. Here, in the image generated by the image pickup apparatus 30, the portion shown by the dotted line in the drawing is dropped into two dimensions along the alternate long and short dash line extending with respect to the image pickup apparatus 30 in the drawing. Therefore, when the product is located at a position deviated from the front of the image pickup device 30, the identification result of the position of the product based on the image includes an error according to the height of the product. In the example of the figure, item P A because it has positioned in front of the imaging device 30, there is no deviation between the actual position occurs. Thus, the display 40 in accordance with the identified location of goods on the basis of the image, it is possible to output the display data D A in accordance with the actual position of the product P A. On the other hand, the product P B is located at a position shifted to the right from the front of the image pickup apparatus 30. Therefore, the position of the product P B identified based on the image is a position shifted to the right side from the actual position. Thus, the display 40, when according to the identified location of the product on the basis of the image would result in outputting display data D B at a position shifted to the right of the actual position of the product P B ..

なお、図７では、説明を簡略化するため、断面（１次元）での例を挙げたが、実際には、図７で説明したようなズレは平面（２次元）で生じることになる（例：図８）。図８は、表示データの出力位置がずれた様子を具体的に示す図である。図８の例では、商品Ｐと上部に見切れている撮像装置との位置関係、および、商品Ｐの高さによって、表示データＤがずれて出力されている様子が描かれている。 In addition, in FIG. 7, in order to simplify the explanation, an example in the cross section (one dimension) is given, but in reality, the deviation as explained in FIG. 7 occurs in the plane (two dimensions) ( Example: FIG. 8). FIG. 8 is a diagram specifically showing how the output positions of the display data are displaced. In the example of FIG. 8, the display data D is shifted and output depending on the positional relationship between the product P and the image pickup device cut off at the upper part and the height of the product P.

上述のように、商品Ｐと撮像装置３０との位置関係および商品Ｐの高さによって、画像に基づいて識別された商品Ｐの位置が、実際の商品Ｐの位置とずれる可能性がある。そこで、表示制御部１４０は、このようなズレを相殺するため、商品識別部１２０により取得された商品の位置の識別結果と、高さ情報取得部１３０により取得された高さ情報とに基づいて、表示データの出力位置（第１の位置）を算出する（Ｓ１１２）。一例として、表示制御部１４０は、以下のように動作する。まず、表示制御部１４０は、画像に基づいて識別された商品Ｐの位置が、撮像装置３０を基準とした位置関係および商品の高さによってどの程度の大きさのズレを含んでいるかを算出する。このとき、表示制御部１４０は、表示データＤの表示位置と商品の高さの組み合わせからズレの大きさ（実際の商品の位置までのズレの大きさ）を導出可能な関数やテーブルを用いることができる。なお、この関数やテーブルは、例えば、ディスプレイ４０上の複数のサンプル点でのズレの大きさを、様々な高さの商品を用いて実際に計測した結果に基づいて生成することができる。この場合、例えば、図９に示されるようなデータが収集される。図９は、ズレの大きさを導出する関数やテーブルを生成する際に収集されたデータの一例を示す。そして、図９に示されるようなデータに基づいて、表示データの位置（画像に基づいて識別された商品の位置）および商品の高さの組み合わせに応じてズレの大きさを導出可能な関数やテーブルが生成され、ストレージデバイス１０４０に記憶される。そして、表示制御部１４０は、商品の位置の識別結果に、上記で算出したズレの大きさを打ち消す方向の値を加えることによって、表示データの出力位置（第１の位置）を算出する。 As described above, the position of the product P identified based on the image may deviate from the actual position of the product P due to the positional relationship between the product P and the image pickup device 30 and the height of the product P. Therefore, in order to offset such a deviation, the display control unit 140 is based on the product position identification result acquired by the product identification unit 120 and the height information acquired by the height information acquisition unit 130. , The output position (first position) of the display data is calculated (S112). As an example, the display control unit 140 operates as follows. First, the display control unit 140 calculates how much the position of the product P identified based on the image includes a deviation depending on the positional relationship with respect to the image pickup apparatus 30 and the height of the product. .. At this time, the display control unit 140 uses a function or a table that can derive the size of the deviation (the amount of deviation to the actual product position) from the combination of the display position of the display data D and the height of the product. Can be done. It should be noted that this function or table can be generated, for example, based on the results of actual measurement of the magnitude of deviation at a plurality of sample points on the display 40 using products of various heights. In this case, for example, data as shown in FIG. 9 is collected. FIG. 9 shows an example of data collected when generating a function or table for deriving the magnitude of deviation. Then, based on the data as shown in FIG. 9, a function capable of deriving the magnitude of the deviation according to the combination of the position of the display data (the position of the product identified based on the image) and the height of the product A table is generated and stored in the storage device 1040. Then, the display control unit 140 calculates the output position (first position) of the display data by adding the value in the direction for canceling the size of the deviation calculated above to the identification result of the position of the product.

表示制御部１４０は、Ｓ１１０の処理で生成した表示データと、Ｓ１１２の処理で算出した当該表示データの出力位置とを、ディスプレイ４０に送信する（Ｓ１１４）。そして、ディスプレイ４０は、表示制御部１４０から取得した出力位置に対応する位置に、表示制御部１４０から取得した表示データを出力させる（Ｓ１１６）。 The display control unit 140 transmits the display data generated in the process of S110 and the output position of the display data calculated in the process of S112 to the display 40 (S114). Then, the display 40 outputs the display data acquired from the display control unit 140 to a position corresponding to the output position acquired from the display control unit 140 (S116).

以上、本実施形態によれば、商品の識別結果に基づく表示データが、当該商品の位置からずれてディスプレイ４０上に出力されることを防止できる。また、商品の識別結果に基づく表示データが商品の位置に合わせて正しく表示されることにより、ディスプレイ４０上に表示される情報の視認性が向上する。 As described above, according to the present embodiment, it is possible to prevent the display data based on the product identification result from being output on the display 40 from the position of the product. Further, the display data based on the product identification result is correctly displayed according to the position of the product, so that the visibility of the information displayed on the display 40 is improved.

［第２実施形態］
第１実施形態において、高さ情報取得部１３０が、高さ情報記憶部１３２に記憶されている商品別の高さ情報の中から、商品識別部１２０により識別された商品に対応する高さ情報を取得する構成（例：図６）について述べた。本実施形態では、高さ情報記憶部１３２を構築する構成を更に備える画像識別レジシステム１について説明する。[Second Embodiment]
In the first embodiment, the height information acquisition unit 130 corresponds to the product identified by the product identification unit 120 from the height information for each product stored in the height information storage unit 132. (Example: FIG. 6) has been described. In the present embodiment, the image identification registration system 1 further including a configuration for constructing the height information storage unit 132 will be described.

〔システム構成〕
図１０は、第２実施形態における画像識別レジシステム１の構成例を示す図である。なお、図１０はあくまで例示であり、本発明に係る画像識別レジシステム１は図１０に描かれる構成に限定されない。図１０に示されるように、本実施形態の画像識別レジシステム１は、図６に示される構成に加えて、高さ情報登録部１５０を更に有する。〔System configuration〕
FIG. 10 is a diagram showing a configuration example of the image identification registration system 1 according to the second embodiment. Note that FIG. 10 is merely an example, and the image identification registration system 1 according to the present invention is not limited to the configuration depicted in FIG. As shown in FIG. 10, the image identification registration system 1 of the present embodiment further includes a height information registration unit 150 in addition to the configuration shown in FIG.

高さ情報登録部１５０は、商品別の高さ情報を取得し、取得した商品別の高さ情報を高さ情報記憶部１３２に登録する。以下、高さ情報登録部１５０が高さ情報を登録する方法についての具体的な例をいくつか挙げる。 The height information registration unit 150 acquires height information for each product, and registers the acquired height information for each product in the height information storage unit 132. Hereinafter, some specific examples of how the height information registration unit 150 registers height information will be given.

＜高さ情報を登録する方法の具体例１＞
図１１は、高さ情報登録部１５０が高さ情報を取得する流れを説明する図である。図１１の例では、表示制御部１４０は、商品識別部１２０により識別された商品の位置に基づいて決定されるディスプレイ４０上の位置（第２の位置）に、表示データＤを出力している。なお、この場合において、表示データＤは、商品Ｐの載置位置と商品Ｐの高さによって、商品Ｐの実際の位置からずれた場所に出力されてしまっている。<Specific example 1 of the method of registering height information>
FIG. 11 is a diagram illustrating a flow in which the height information registration unit 150 acquires height information. In the example of FIG. 11, the display control unit 140 outputs the display data D to the position (second position) on the display 40 determined based on the position of the product identified by the product identification unit 120. .. In this case, the display data D is output to a place deviated from the actual position of the product P due to the placement position of the product P and the height of the product P.

そこで、ユーザ（店員等）は、指やタッチペンなどの指示オブジェクトを利用して、表示データＤを移動させる操作（例えばスワイプ操作）を行い、ディスプレイ４０上の商品の実際の位置を指定する。つまり、ユーザは、第２の位置に表示された表示データＤを正しい位置（第３の位置）に配置し直すための位置指定入力を行う。高さ情報登録部１５０は、このようにユーザにより実行された位置指定入力を受け付ける。ディスプレイ４０がタッチパネル機能を備えている場合には、高さ情報登録部１５０、指示オブジェクトによるタッチ操作に応じて生成される位置指定入力（例えば、タッチ操作の始点と終点を示す入力）を受け付ける。なお、ディスプレイ４０がタッチパネル機能を有していない場合は、高さ情報登録部１５０は、例えば次のように動作する。まず、高さ情報登録部１５０は、撮像装置３０により生成される画像を解析して指示オブジェクト（例えば手）の動きを追跡する。そして、高さ情報登録部１５０は、画像解析の結果として得られた指示オブジェクトの動き（例えば、ある基準点の始点と終点の位置変化）を、位置指定入力として受け付ける。また、表示制御部１４０は、ディスプレイ４０上で実行された位置指定入力に応じて、表示データＤの出力位置を変更する指示をディスプレイ４０に送信することができる。 Therefore, the user (clerk or the like) uses an instruction object such as a finger or a touch pen to perform an operation of moving the display data D (for example, a swipe operation) to specify the actual position of the product on the display 40. That is, the user performs a position designation input for rearranging the display data D displayed at the second position at the correct position (third position). The height information registration unit 150 receives the position designation input executed by the user in this way. When the display 40 has a touch panel function, the height information registration unit 150 receives a position designation input (for example, an input indicating a start point and an end point of the touch operation) generated in response to a touch operation by an instruction object. When the display 40 does not have the touch panel function, the height information registration unit 150 operates as follows, for example. First, the height information registration unit 150 analyzes the image generated by the image pickup apparatus 30 and tracks the movement of the instruction object (for example, a hand). Then, the height information registration unit 150 accepts the movement of the instruction object (for example, the position change between the start point and the end point of a certain reference point) obtained as a result of the image analysis as the position designation input. Further, the display control unit 140 can transmit an instruction to change the output position of the display data D to the display 40 in response to the position designation input executed on the display 40.

そして、高さ情報登録部１５０は、表示データＤの表示位置と商品の高さの組み合わせからズレの大きさ（実際の商品の位置までのズレの大きさ）を導出可能な関数やテーブルから、商品の高さを逆算する。ここで、表示データＤの表示位置（第２の位置）と位置指定入力により指定された位置（第３の位置）との差分は「ズレの大きさ」に相当する。高さ情報登録部１５０は、表示データＤの表示位置（第２の位置）と位置指定入力により指定された位置（第３の位置）との差分および表示データＤの表示位置（第２の位置）をパラメータとして、上述の関数やテーブルから商品の高さを逆算する。そして、高さ情報登録部１５０は、算出した商品の高さを、高さ情報記憶部１３２に登録する。このとき、高さ情報登録部１５０は、算出した高さ情報に対応する商品の情報（商品名や商品識別情報）を受け取り、高さ情報と関連付けて登録する（例：図１２）。図１２は、高さ情報記憶部に登録される情報の一例を示す図である。図１２に示されるような情報によれば、高さ情報取得部１３０は、商品識別部１２０の商品の識別結果に基づいて、その商品の高さ情報を取得できる。 Then, the height information registration unit 150 can derive the size of the deviation (the amount of deviation to the actual product position) from the combination of the display position of the display data D and the height of the product from a function or table. Calculate the height of the product back. Here, the difference between the display position (second position) of the display data D and the position (third position) designated by the position designation input corresponds to the "magnitude of deviation". The height information registration unit 150 determines the difference between the display position (second position) of the display data D and the position (third position) designated by the position designation input, and the display position (second position) of the display data D. ) Is used as a parameter, and the height of the product is calculated back from the above function or table. Then, the height information registration unit 150 registers the calculated height of the product in the height information storage unit 132. At this time, the height information registration unit 150 receives the product information (product name and product identification information) corresponding to the calculated height information, and registers the product in association with the height information (example: FIG. 12). FIG. 12 is a diagram showing an example of information registered in the height information storage unit. According to the information as shown in FIG. 12, the height information acquisition unit 130 can acquire the height information of the product based on the product identification result of the product identification unit 120.

＜高さ情報を登録する方法の具体例２＞
図１３は、高さ情報登録部１５０が高さ情報を取得する流れを説明する図である。図１３の例では、図１１の例と同様に、表示制御部１４０は、商品識別部１２０により識別された商品の位置に基づいて決定されるディスプレイ４０上の位置（第２の位置）に、表示データＤを出力している。なお、この場合において、表示データＤは、商品Ｐの載置位置と商品Ｐの高さによって、商品Ｐの実際の位置からずれた場所に出力されてしまっている。<Specific example 2 of the method of registering height information>
FIG. 13 is a diagram illustrating a flow in which the height information registration unit 150 acquires height information. In the example of FIG. 13, similarly to the example of FIG. 11, the display control unit 140 is located at a position (second position) on the display 40 determined based on the position of the product identified by the product identification unit 120. The display data D is output. In this case, the display data D is output to a place deviated from the actual position of the product P due to the placement position of the product P and the height of the product P.

本具体例では、ユーザ（店員等）は、図示されるように、商品Ｐを表示データＤの出力位置に合わせて移動させる。このとき、高さ情報登録部１５０は、商品Ｐの移動量を取得する。例えば、高さ情報登録部１５０は、撮像装置３０により生成された画像を解析することによって商品Ｐの動きを追跡する。そして、高さ情報登録部１５０は、画像解析の結果として得られた商品Ｐの動き（例えば、商品Ｐの基準点の始点と終点の位置変化）に基づいて、商品Ｐの移動量を取得することができる。 In this specific example, the user (clerk or the like) moves the product P according to the output position of the display data D as shown in the figure. At this time, the height information registration unit 150 acquires the movement amount of the product P. For example, the height information registration unit 150 tracks the movement of the product P by analyzing the image generated by the image pickup device 30. Then, the height information registration unit 150 acquires the movement amount of the product P based on the movement of the product P obtained as a result of the image analysis (for example, the position change of the start point and the end point of the reference point of the product P). be able to.

そして、高さ情報登録部１５０は、表示データＤの表示位置と商品の高さの組み合わせからズレの大きさ（実際の商品の位置までのズレの大きさ）を導出可能な関数やテーブルから、商品の高さを逆算する。ここで、高さ情報登録部１５０が取得した商品Ｐの移動量は「ズレの大きさ」に相当する。高さ情報登録部１５０は、この商品Ｐの移動量および表示データＤの表示位置（第２の位置）をパラメータとして、上述の関数やテーブルから商品の高さを逆算する。そして、高さ情報登録部１５０は、算出した商品の高さを、高さ情報記憶部１３２に登録する。このとき、高さ情報登録部１５０は、算出した高さ情報に対応する商品の情報（商品名や商品識別情報）を受け取り、高さ情報と関連付けて登録する（例：図１２）。図１２に示されるような情報によれば、高さ情報取得部１３０は、商品識別部１２０の商品の識別結果に基づいて、その商品の高さ情報を取得できる。 Then, the height information registration unit 150 can derive the size of the deviation (the amount of deviation to the actual product position) from the combination of the display position of the display data D and the height of the product from a function or table. Calculate the height of the product back. Here, the movement amount of the product P acquired by the height information registration unit 150 corresponds to the “magnitude of deviation”. The height information registration unit 150 back-calculates the height of the product from the above-mentioned function or table using the movement amount of the product P and the display position (second position) of the display data D as parameters. Then, the height information registration unit 150 registers the calculated height of the product in the height information storage unit 132. At this time, the height information registration unit 150 receives the product information (product name and product identification information) corresponding to the calculated height information, and registers the product in association with the height information (example: FIG. 12). According to the information as shown in FIG. 12, the height information acquisition unit 130 can acquire the height information of the product based on the product identification result of the product identification unit 120.

＜高さ情報を取得する方法の具体例２＞
図１４は、第２実施形態における画像識別レジシステム１のより具体的な構成を例示する図である。図１４の構成では、撮像装置３０とは別の撮像装置３５が設けられている。ここでは、撮像装置３０を「第１の撮像装置」と、また、撮像装置３５を「第２の撮像装置」と表記する。第２の撮像装置３５は、ディスプレイ４０上に載置された商品Ｐを、当該ディスプレイ４０の表示面に対して平行な方向から撮影する。このようにすることで、第２の撮像装置３５は、商品Ｐの側面部が写る画像（以下、「側面画像」と表記）を生成することができる。本具体例において、高さ情報登録部１５０は、第２の撮像装置３５により生成された、商品Ｐの側面画像を取得する。そして、高さ情報登録部１５０は、商品Ｐの側面画像を解析することによって、商品Ｐの高さ（ディスプレイ４０の表示面から商品Ｐの上面部までの高さ）を算出することができる。そして、高さ情報登録部１５０は、算出した商品の高さを、高さ情報記憶部１３２に登録する。このとき、高さ情報登録部１５０は、算出した高さ情報に対応する商品の情報（商品名や商品識別情報）を受け取り、高さ情報と関連付けて登録する（例：図１２）。図１２に示されるような情報によれば、高さ情報取得部１３０は、商品識別部１２０の商品の識別結果に基づいて、その商品の高さ情報を取得できる。<Specific example 2 of the method of acquiring height information>
FIG. 14 is a diagram illustrating a more specific configuration of the image identification registration system 1 in the second embodiment. In the configuration of FIG. 14, an image pickup device 35 different from the image pickup device 30 is provided. Here, the image pickup device 30 is referred to as a "first image pickup device", and the image pickup device 35 is referred to as a "second image pickup device". The second image pickup apparatus 35 photographs the product P placed on the display 40 from a direction parallel to the display surface of the display 40. By doing so, the second image pickup apparatus 35 can generate an image (hereinafter, referred to as “side image”) in which the side surface portion of the product P is captured. In this specific example, the height information registration unit 150 acquires a side image of the product P generated by the second image pickup device 35. Then, the height information registration unit 150 can calculate the height of the product P (the height from the display surface of the display 40 to the upper surface portion of the product P) by analyzing the side image of the product P. Then, the height information registration unit 150 registers the calculated height of the product in the height information storage unit 132. At this time, the height information registration unit 150 receives the product information (product name and product identification information) corresponding to the calculated height information, and registers the product in association with the height information (example: FIG. 12). According to the information as shown in FIG. 12, the height information acquisition unit 130 can acquire the height information of the product based on the product identification result of the product identification unit 120.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than the above can be adopted.

例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の画像識別レジ装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の画像識別レジ装置１０の機能を持たせることができる。 For example, the present invention can be applied not only to a general method in which an operation from registration of a purchased product to payment of a price is performed by a device for a clerk, but also to a so-called semi-self method or a self-method. In the semi-self method, a cash register device for product registration and a payment device for payment are separately provided. Then, the cash register device for product registration can be provided with the function of the image identification cash register device 10 described above. In the self-service method, the customer operates the device from the registration of the purchased product to the payment of the price. Then, the device operated by the customer can be provided with the function of the image identification registration device 10 described above.

また、上述の説明で用いたシーケンス図では、複数の工程（処理）が順番に記載されているが、当該シーケンス図に記載される複数の工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Further, in the sequence diagram used in the above description, a plurality of processes (processes) are described in order, but the execution order of the plurality of processes described in the sequence diagram is not limited to the order of description. In each embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents. In addition, the above-mentioned embodiments can be combined as long as the contents do not conflict with each other.

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイ上に載置された商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジ装置。
２．
前記高さ情報取得手段は、前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
１．に記載の画像識別レジ装置。
３．
前記高さ情報取得手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
１．に記載の画像識別レジ装置。
４．
前記高さ情報取得手段は、商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
１．に記載の画像識別レジ装置。
５．
前記商品別の高さ情報を前記記憶装置に登録する高さ情報登録手段を更に備える、
４．に記載の画像識別レジ装置。
６．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
５．に記載の画像識別レジ装置。
７．
前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
６．に記載の画像識別レジ装置。
８．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
５．に記載の画像識別レジ装置。
９．
前記高さ情報登録手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
５．に記載の画像識別レジ装置。
１０．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する第１の撮像装置と、
前記商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジシステム。
１１．
前記ディスプレイ上に載置された商品を前記ディスプレイの表示面に対して平行な方向から撮影し、前記商品の側面画像を生成する第２の撮像装置を更に備え、
前記高さ情報取得手段は、前記商品の側面画像を解析することにより、前記商品の高さを算出する、
１０．に記載の画像識別レジシステム。
１２．
前記高さ情報取得手段は、前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
１０．に記載の画像識別レジシステム。
１３．
前記高さ情報取得手段は、商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
１０．に記載の画像識別レジシステム。
１４．
前記商品別の高さ情報を前記記憶装置に登録する高さ情報登録手段を更に備える、
１３．に記載の画像識別レジシステム。
１５．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
１４．に記載の画像識別レジシステム。
１６．
前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
１５．に記載の画像識別レジシステム。
１７．
前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
１４．に記載の画像識別レジシステム。
１８．
前記高さ情報登録手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
１４．に記載の画像識別レジシステム。
１９．
コンピュータが、
ディスプレイ上に載置された商品の画像を取得し、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得し、
前記商品の高さを示す高さ情報を取得し、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する、
ことを含む商品情報表示方法。
２０．
前記コンピュータが、
前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
ことを含む１９．に記載の商品情報表示方法。
２１．
前記コンピュータが、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
ことを含む１９．に記載の商品情報表示方法。
２２．
前記コンピュータが、
商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
ことを含む１９．に記載の商品情報表示方法。
２３．
前記コンピュータが、
前記商品別の高さ情報を前記記憶装置に登録する、
ことを含む２２．に記載の商品情報表示方法。
２４．
前記コンピュータが、
前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
ことを含む２３．に記載の商品情報表示方法。
２５．
前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
２４．に記載の商品情報表示方法。
２６．
前記コンピュータが、
前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
ことを含む２３．に記載の商品情報表示方法。
２７．
前記コンピュータが、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
ことを含む２３．に記載の商品情報表示方法。
２８．
コンピュータに、１９．から２７．のいずれか１つに記載の商品情報表示方法を実行させるプログラム。Some or all of the above embodiments may also be described, but not limited to:
1. 1.
An image acquisition method for acquiring an image of a product placed on a display,
A product identification means for acquiring an identification result of the product and an identification result of the position of the product by analyzing the image of the product.
A height information acquisition means for acquiring height information indicating the height of the product, and
A display control means for outputting display data based on the product identification result to the first position on the display determined based on the product position identification result and the height information.
Image identification cash register device.
2. 2.
The height information acquisition means calculates the height of the product by using the depth information indicating the depth of the product shown in the image.
1. 1. The image identification cash register device described in.
3. 3.
The height information acquisition means is
A side image of the product obtained by photographing the product from a direction parallel to the display surface of the display is acquired.
The height of the product is calculated by analyzing the side image of the product.
1. 1. The image identification cash register device described in.
4.
The height information acquisition means refers to a storage device that stores height information for each product, and acquires height information corresponding to the identification result of the product from the height information for each product.
1. 1. The image identification cash register device described in.
5.
Further provided with a height information registration means for registering the height information for each product in the storage device.
4. The image identification cash register device described in.
6.
The display control means outputs the display data to a second position on the display, which is determined based on the identification result of the position of the product.
The height information registration means is
Accepts an input that specifies a third position on the display that is different from the second position.
The height of the product is calculated based on the difference between the second position and the third position and the second position.
5. The image identification cash register device described in.
7.
The third position is the actual position of the goods placed on the display.
6. The image identification cash register device described in.
8.
The display control means outputs the display data to a second position on the display, which is determined based on the identification result of the position of the product.
The height information registration means is
Obtaining the amount of movement when the product is moved according to the second position,
The height of the product is calculated based on the acquired movement amount and the second position.
5. The image identification cash register device described in.
9.
The height information registration means is
A side image of the product obtained by photographing the product from a direction parallel to the display surface of the display is acquired.
The height of the product is calculated by analyzing the side image of the product.
5. The image identification cash register device described in.
10.
A display whose display surface is used as a product mounting surface,
A first image pickup device that photographs a product placed on the display and generates an image of the product.
An image acquisition means for acquiring an image of the product and
A product identification means for acquiring an identification result of the product and an identification result of the position of the product by analyzing the image of the product.
A height information acquisition means for acquiring height information indicating the height of the product, and
A display control means for outputting display data based on the product identification result to the first position on the display determined based on the product position identification result and the height information.
Image identification cash register system with.
11.
A second image pickup device for photographing a product placed on the display from a direction parallel to the display surface of the display and generating a side image of the product is further provided.
The height information acquisition means calculates the height of the product by analyzing the side image of the product.
10. Image identification cash register system described in.
12.
The height information acquisition means calculates the height of the product by using the depth information indicating the depth of the product shown in the image.
10. Image identification cash register system described in.
13.
The height information acquisition means refers to a storage device that stores height information for each product, and acquires height information corresponding to the identification result of the product from the height information for each product.
10. Image identification cash register system described in.
14.
Further provided with a height information registration means for registering the height information for each product in the storage device.
13. Image identification cash register system described in.
15.
The display control means outputs the display data to a second position on the display, which is determined based on the identification result of the position of the product.
The height information registration means is
Accepts an input that specifies a third position on the display that is different from the second position.
The height of the product is calculated based on the difference between the second position and the third position and the second position.
14. Image identification cash register system described in.
16.
The third position is the actual position of the goods placed on the display.
15. Image identification cash register system described in.
17.
The display control means outputs the display data to a second position on the display, which is determined based on the identification result of the position of the product.
The height information registration means is
Obtaining the amount of movement when the product is moved according to the second position,
The height of the product is calculated based on the acquired movement amount and the second position.
14. Image identification cash register system described in.
18.
The height information registration means is
A side image of the product obtained by photographing the product from a direction parallel to the display surface of the display is acquired.
The height of the product is calculated by analyzing the side image of the product.
14. Image identification cash register system described in.
19.
The computer
Get the image of the product placed on the display and
By analyzing the image of the product, the identification result of the product and the identification result of the position of the product are obtained.
Acquire height information indicating the height of the product,
Display data based on the product identification result is output to the first position on the display determined based on the product position identification result and the height information.
Product information display method including that.
20.
The computer
The height of the product is calculated by using the depth information indicating the depth of the product shown in the image.
Including that 19. Product information display method described in.
21.
The computer
A side image of the product obtained by photographing the product from a direction parallel to the display surface of the display is acquired.
The height of the product is calculated by analyzing the side image of the product.
Including that 19. Product information display method described in.
22.
The computer
Refer to the storage device that stores the height information for each product, and acquire the height information corresponding to the identification result of the product from the height information for each product.
Including that 19. Product information display method described in.
23.
The computer
Registering the height information for each product in the storage device,
Including 22. Product information display method described in.
24.
The computer
The display data is output to the second position on the display, which is determined based on the identification result of the position of the product.
Accepts an input that specifies a third position on the display that is different from the second position.
The height of the product is calculated based on the difference between the second position and the third position and the second position.
Including 23. Product information display method described in.
25.
The third position is the actual position of the goods placed on the display.
24. Product information display method described in.
26.
The computer
The display data is output to the second position on the display, which is determined based on the identification result of the position of the product.
Obtaining the amount of movement when the product is moved according to the second position,
The height of the product is calculated based on the acquired movement amount and the second position.
Including 23. Product information display method described in.
27.
The computer
A side image of the product obtained by photographing the product from a direction parallel to the display surface of the display is acquired.
The height of the product is calculated by analyzing the side image of the product.
Including 23. Product information display method described in.
28.
To the computer, 19. From 27. A program that executes the product information display method described in any one of the above.

Claims (13)

ディスプレイ上に載置された商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジ装置。An image acquisition method for acquiring an image of a product placed on a display,
A product identification means for acquiring an identification result of the product and an identification result of the position of the product by analyzing the image of the product.
A height information acquisition means for acquiring height information indicating the height of the product, and
A display control means for outputting display data based on the product identification result to the first position on the display determined based on the product position identification result and the height information.
Image identification cash register device. 前記高さ情報取得手段は、前記画像の中に写っている前記商品の深度を示す深度情報を用いて、前記商品の高さを算出する、
請求項１に記載の画像識別レジ装置。The height information acquisition means calculates the height of the product by using the depth information indicating the depth of the product shown in the image.
The image identification cash register device according to claim 1. 前記高さ情報取得手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
請求項１に記載の画像識別レジ装置。The height information acquisition means is
A side image of the product obtained by photographing the product from a direction parallel to the display surface of the display is acquired.
The height of the product is calculated by analyzing the side image of the product.
The image identification cash register device according to claim 1. 前記高さ情報取得手段は、商品別の高さ情報を記憶する記憶装置を参照し、前記商品別の高さ情報の中から前記商品の識別結果に対応する高さ情報を取得する、
請求項１に記載の画像識別レジ装置。The height information acquisition means refers to a storage device that stores height information for each product, and acquires height information corresponding to the identification result of the product from the height information for each product.
The image identification cash register device according to claim 1. 前記商品別の高さ情報を前記記憶装置に登録する高さ情報登録手段を更に備える、
請求項４に記載の画像識別レジ装置。Further provided with a height information registration means for registering the height information for each product in the storage device.
The image identification cash register device according to claim 4. 前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記第２の位置とは異なる前記ディスプレイ上の第３の位置を指定する入力を受け付け、
前記第２の位置と前記第３の位置との差分および前記第２の位置に基づいて、前記商品の高さを算出する、
請求項５に記載の画像識別レジ装置。The display control means outputs the display data to a second position on the display, which is determined based on the identification result of the position of the product.
The height information registration means is
Accepts an input that specifies a third position on the display that is different from the second position.
The height of the product is calculated based on the difference between the second position and the third position and the second position.
The image identification cash register device according to claim 5. 前記第３の位置は、前記ディスプレイ上に載置された商品の実際の位置である、
請求項６に記載の画像識別レジ装置。The third position is the actual position of the goods placed on the display.
The image identification cash register device according to claim 6. 前記表示制御手段は、前記商品の位置の識別結果に基づいて決定される、前記ディスプレイ上の第２の位置に前記表示データを出力し、
前記高さ情報登録手段は、
前記商品を前記第２の位置に合わせて移動させたときの移動量を取得し、
取得した前記移動量および前記第２の位置に基づいて、前記商品の高さを算出する、
請求項５に記載の画像識別レジ装置。The display control means outputs the display data to a second position on the display, which is determined based on the identification result of the position of the product.
The height information registration means is
Obtaining the amount of movement when the product is moved according to the second position,
The height of the product is calculated based on the acquired movement amount and the second position.
The image identification cash register device according to claim 5. 前記高さ情報登録手段は、
前記商品を前記ディスプレイの表示面に対して平行な方向から撮影して得られる、前記商品の側面画像を取得し、
前記商品の側面画像を解析することにより、前記商品の高さを算出する、
請求項５に記載の画像識別レジ装置。The height information registration means is
A side image of the product obtained by photographing the product from a direction parallel to the display surface of the display is acquired.
The height of the product is calculated by analyzing the side image of the product.
The image identification cash register device according to claim 5. 表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する第１の撮像装置と、
前記商品の画像を取得する画像取得手段と、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得する商品識別手段と、
前記商品の高さを示す高さ情報を取得する高さ情報取得手段と、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する表示制御手段と、
を備える画像識別レジシステム。A display whose display surface is used as a product mounting surface,
A first image pickup device that photographs a product placed on the display and generates an image of the product.
An image acquisition means for acquiring an image of the product and
A product identification means for acquiring an identification result of the product and an identification result of the position of the product by analyzing the image of the product.
A height information acquisition means for acquiring height information indicating the height of the product, and
A display control means for outputting display data based on the product identification result to the first position on the display determined based on the product position identification result and the height information.
Image identification cash register system with. 前記ディスプレイ上に載置された商品を前記ディスプレイの表示面に対して平行な方向から撮影し、前記商品の側面画像を生成する第２の撮像装置を更に備え、
前記高さ情報取得手段は、前記商品の側面画像を解析することにより、前記商品の高さを算出する、
請求項１０に記載の画像識別レジシステム。A second image pickup device for photographing a product placed on the display from a direction parallel to the display surface of the display and generating a side image of the product is further provided.
The height information acquisition means calculates the height of the product by analyzing the side image of the product.
The image identification registration system according to claim 10. コンピュータが、
ディスプレイ上に載置された商品の画像を取得し、
前記商品の画像を解析することにより、前記商品の識別結果および前記商品の位置の識別結果を取得し、
前記商品の高さを示す高さ情報を取得し、
前記商品の位置の識別結果と前記高さ情報とに基づいて決定される前記ディスプレイ上の第１の位置に、前記商品の識別結果に基づく表示データを出力する、
ことを含む商品情報表示方法。The computer
Get the image of the product placed on the display and
By analyzing the image of the product, the identification result of the product and the identification result of the position of the product are obtained.
Acquire height information indicating the height of the product,
Display data based on the product identification result is output to the first position on the display determined based on the product position identification result and the height information.
Product information display method including that. コンピュータに、請求項１２に記載の商品情報表示方法を実行させるプログラム。 A program that causes a computer to execute the product information display method according to claim 12.
JP2020508770A 2018-03-29 2018-03-29 Image identification cash register device, image identification cash register system, product information display method, and program Active JP6981538B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013475 WO2019186974A1 (en) 2018-03-29 2018-03-29 Image identification register device, image identification register system, product information display method, and program

Publications (2)

Publication Number Publication Date
JPWO2019186974A1 JPWO2019186974A1 (en) 2021-03-11
JP6981538B2 true JP6981538B2 (en) 2021-12-15

Family

ID=68058602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508770A Active JP6981538B2 (en) 2018-03-29 2018-03-29 Image identification cash register device, image identification cash register system, product information display method, and program

Country Status (2)

Country Link
JP (1) JP6981538B2 (en)
WO (1) WO2019186974A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113611056A (en) * 2021-07-13 2021-11-05 青岛中科英泰商用系统股份有限公司 Transaction settlement method and system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3213669B2 (en) * 1994-05-30 2001-10-02 東芝テック株式会社 Checkout system
JP4774824B2 (en) * 2005-06-17 2011-09-14 オムロン株式会社 Method for confirming measurement target range in three-dimensional measurement processing, method for setting measurement target range, and apparatus for performing each method
JP2008234331A (en) * 2007-03-20 2008-10-02 Fujitsu Ltd Vending machine and vending machine system
JP2014120009A (en) * 2012-12-18 2014-06-30 Funai Electric Co Ltd Position determination device and input device
US20170295241A1 (en) * 2014-10-01 2017-10-12 Sharp Kabushiki Kaisha Display control device, image display system, and method for controlling display control device

Also Published As

Publication number Publication date
WO2019186974A1 (en) 2019-10-03
JPWO2019186974A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP7060230B2 (en) Information processing equipment, information processing methods, and programs
US9165202B2 (en) Recognition system, recognition method and computer readable medium for calculating feature values of an object image
JP7211455B2 (en) Processing system, processing method and program
JP2021185505A (en) Information processing apparatus, display position adjustment method, and program
JP6981538B2 (en) Image identification cash register device, image identification cash register system, product information display method, and program
JP7006767B2 (en) Image identification cash register, image identification cash register system, accounting method, and program
JP6947283B2 (en) Store equipment, store systems, image acquisition methods, and programs
JP7248010B2 (en) Registration system, registration method and program
JP7020538B2 (en) Accounting equipment, accounting systems, product identification methods, and programs
JP6532114B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP7274644B2 (en) Article recognition device
US20220129655A1 (en) Processing device, processing method, and non-transitory storage medium
JP7078105B2 (en) Accounting equipment, accounting systems, product identification methods, and programs
JP2022010292A (en) Registration device, registration method, and program
JP2023018746A (en) Marker processor and marker sheet
JP2020021504A (en) Information processing device, information processing method and program
WO2017126245A1 (en) Information processing device, control method, and program
JP2021099629A (en) Information processing system, information processing device, and information processing method
JP2019139712A (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6981538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150