WO2021033309A1 - 登録システム、処理装置、処理方法及びプログラム - Google Patents

登録システム、処理装置、処理方法及びプログラム Download PDF

Info

Publication number
WO2021033309A1
WO2021033309A1 PCT/JP2019/032809 JP2019032809W WO2021033309A1 WO 2021033309 A1 WO2021033309 A1 WO 2021033309A1 JP 2019032809 W JP2019032809 W JP 2019032809W WO 2021033309 A1 WO2021033309 A1 WO 2021033309A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
product
camera
identification information
mounting member
Prior art date
Application number
PCT/JP2019/032809
Other languages
English (en)
French (fr)
Inventor
貴美 佐藤
岩元　浩太
壮馬 白石
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021540604A priority Critical patent/JP7388439B2/ja
Priority to PCT/JP2019/032809 priority patent/WO2021033309A1/ja
Priority to US17/635,467 priority patent/US20220309714A1/en
Publication of WO2021033309A1 publication Critical patent/WO2021033309A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Definitions

  • the present invention relates to a registration system, a processing device, a processing method and a program.
  • Patent Documents 1 to 3 are techniques for recognizing and registering a product to be accounted for based on an image of a product to be accounted for and a reference image of each product registered in advance, and are subject to accounting from a plurality of directions with a plurality of cameras. Discloses the technology for photographing the products of.
  • Patent Document 4 is a technique for recognizing and registering a product to be accounted for based on an image of a product to be accounted for and a reference image of each product registered in advance, and a plurality of products to be accounted for using a mirror. It discloses the technology for photographing the outer surface.
  • Patent Document 5 discloses a technique for associating an image generated by a camera with product identification information read by a barcode reader.
  • Patent Documents 1 to 5 discloses the subject in the scene of generating a reference image.
  • An object of the present invention is to realize a technique for efficiently generating a plurality of reference images obtained by shooting a product from a plurality of directions.
  • a registration system with is provided.
  • a first image of a product mounted on a mounting member which is a plate-shaped member that transmits light or a plate-shaped member having holes penetrating the front and back, and a first image taken from the surface side of the mounting member described above.
  • a processing device for registering a second image of the product mounted on the pre-described placing member from the back surface side of the pre-described placing member in association with the same product identification information.
  • the computer A first image of a product mounted on a mounting member which is a plate-shaped member that transmits light or a plate-shaped member having holes penetrating the front and back, and a first image taken from the surface side of the mounting member described above.
  • a first image of a product mounted on a mounting member which is a plate-shaped member that transmits light or a plate-shaped member having holes penetrating the front and back surfaces from the surface side of the above-mentioned mounting member.
  • a program is provided for executing a process of associating the product mounted on the pre-described placement member with a second image taken from the back surface side of the pre-described placement member and registering the product with the same product identification information.
  • a technique for efficiently generating a plurality of reference images obtained by shooting a product from a plurality of directions is realized.
  • the registration system of the present embodiment includes a mounting member, a first camera, a second camera, and a processing device.
  • the mounting member is a plate-shaped member having holes penetrating the front and back surfaces.
  • the hole has a shape and size that allows the characteristic portion (the portion that contributes to product recognition) of the product mounted on the mounting member to be observed through the hole.
  • the first camera takes a picture of the product mounted on the mounting member from the surface side of the mounting member.
  • the image generated by the first camera includes the first part of the product.
  • the second camera photographs the product mounted on the mounting member from the back surface side of the mounting member.
  • the image generated by the second camera includes a second part of the product.
  • the processing device links the first image in which the first camera captures the first product and the second image in which the second camera captures the first product to the same product identification information. Attach and register.
  • FIG. 1 shows a conceptual diagram of the registration system of the present embodiment.
  • the example shown is only an example and is not limited to the configuration.
  • the registration system 1 includes a processing device 10, a first camera 20, a second camera 30, and a mounting member 40.
  • the registration system 1 may further have a mounting table 50.
  • the mounting member 40 is a plate-shaped member having holes penetrating the front and back surfaces.
  • the mounting member 40 is installed on the mounting table 50.
  • the characteristic portion (the portion contributing to product recognition) of the product 60 mounted on the mounting member 40 so as to overlap the holes can be observed from the back surface side of the mounting member 40 through the holes. It will be the shape and size. If the hole is too large, the product 60 will fall out of the hole, so it is necessary to have a shape and size to prevent it.
  • An example of the mounting member 40 having the hole 41 is schematically shown in FIGS. 2 and 3.
  • the mounting member 40 may have one hole 41 as shown in FIG. 2, or may have a plurality of holes 41 as shown in FIG.
  • the registration system 1 may have a plurality of mounting members 40 having at least one of the shape of the hole 41, the size of the hole 41, and the number of the holes 41 as shown in FIGS. 2 and 3. Then, the plurality of mounting members 40 may be replaceably installed on the mounting table 50.
  • the plurality of holes 41 included in the plurality of mounting members 40 have a shape and size suitable for each of the plurality of types of products 60.
  • the shape and size of the hole 41 suitable for each product 60 is such that the characteristic portion (the portion that contributes to product recognition) of each product 60 placed on the mounting member 40 so as to overlap the hole 41 is passed through the hole 41.
  • the shape and size can be observed from the back surface side of the mounting member 40 and can prevent each product 60 from falling from the hole 41.
  • the first camera 20 photographs the product 60 mounted on the mounting member 40 from the surface side of the mounting member 40.
  • the number of the first cameras 20 for photographing from the surface side of the mounting member 40 may be one or a plurality. ..
  • the first camera 20 may be installed at a position and orientation for photographing the product 60 mounted on the mounting member 40 from directly above, or may be installed at a position and orientation for photographing the product 60 from diagonally above. Alternatively, the product 60 may be installed at a position and orientation for photographing from the side.
  • the first camera 20 may capture a moving image and generate a plurality of frame images.
  • the first camera 20 may generate one or more still images at a predetermined shooting timing. The first image generated by the first camera 20 is input to the processing device 10.
  • the second camera 30 photographs the product 60 mounted on the mounting member 40 from the back surface side of the mounting member 40.
  • the number of the second cameras 30 for photographing from the back surface side of the mounting member 40 may be one or a plurality. ..
  • the second camera 30 may be installed at a position and orientation for photographing the product 60 mounted on the mounting member 40 from directly below, or may be installed at a position and orientation for photographing the product 60 from diagonally below. May be good.
  • the second camera 30 may capture a moving image and generate a plurality of frame images.
  • the second camera 30 may generate one or more still images at a predetermined shooting timing.
  • the second image generated by the second camera 30 is input to the processing device 10.
  • the processing device 10 identifies the same product as the first image in which the first camera 20 captures the first product 60 and the second image in which the second camera 30 captures the first product 60. Register by associating with the information (product identification information of the first product 60).
  • the "first image obtained by the first camera 20 taking a picture of the first product 60” is an image generated by the first camera 20 taking a picture of the first product 60.
  • the "second image obtained by the second camera 30 taking a picture of the first product 60" is an image generated by the second camera 30 taking a picture of the first product 60.
  • the processing device 10 includes a plurality of functional units for realizing the function.
  • FIG. 4 shows an example of a functional block diagram of the processing device 10.
  • the processing device 10 includes an acquisition unit 11, a code extraction unit 12, a specific unit 13, a registration unit 14, and a storage unit 15.
  • the processing device 10 does not have to have the storage unit 15.
  • an external device configured to be able to communicate with the processing device 10 includes a storage unit 15.
  • Each functional unit of the processing device 10 is a storage unit (stored from the stage of shipping the device in advance) such as a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded into the memory, and a hard disk for storing the program.
  • a storage unit such as a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded into the memory, and a hard disk for storing the program.
  • it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and is realized by any combination of hardware and software centered on the network connection interface. Program.
  • CDs Compact Discs
  • FIG. 5 is a block diagram illustrating the hardware configuration of the processing device 10.
  • the processing device 10 includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the processing device 10 does not have to have the peripheral circuit 4A.
  • the processing device 10 may be composed of a plurality of physically and / or logically separated devices, or may be composed of one physically and / or logically integrated device. When the processing device 10 is composed of a plurality of physically and / or logically separated devices, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to send and receive data to and from each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, a physical button, a touch panel, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue commands to each module and perform calculations based on the calculation results thereof.
  • the acquisition unit 11 acquires the first image in which the first camera 20 has taken the product 60 and the second image in which the second camera 30 has taken the product 60.
  • the first camera 20 and the second camera 30 and the processing device 10 may be configured to be able to communicate with each other by wire and / or wirelessly. Then, the acquisition unit 11 may acquire the first image and the second image from the first camera 20 and the second camera 30.
  • the acquisition unit 11 accesses a predetermined storage device in response to a user operation via an input device included in the processing device 10, and acquires a first image and a second image stored in the storage device. You may.
  • the predetermined storage device may be provided by the processing device 10, or may be provided by an external device configured to be able to communicate with the processing device 10.
  • the acquisition unit 11 may edit the acquired first image and the second image.
  • the editing content is a process of cutting out a product area in the image.
  • a product area can be cut out for each product 60.
  • the detection of the product area can be realized by using any image analysis means such as pattern matching.
  • acquisition means “acquisition of data stored in another device or storage medium by the own device” based on user input or program instruction (active). Acquisition) ”, for example, requesting or inquiring about another device and receiving it, accessing another device or a storage medium, and reading the data may be included.
  • acquisition means “inputting data output from another device to the own device (passive acquisition)” based on user input or program instruction, for example, distribution (or distribution (or). , Transmission, push notification, etc.) may include receiving data.
  • acquisition means to select and acquire from received data or information, and “edit data (text conversion, data sorting, partial data extraction, file format change, etc.)". It may include “to generate new data and acquire the new data”.
  • the code extraction unit 12 extracts a code (bar code, two-dimensional code, etc.) indicating product identification information from the first image or the second image.
  • the code extraction unit 12 can extract the code existing in the image by using a technique such as pattern matching.
  • the first image and the second image to be the target of the process of extracting the code may be the first image and the second image after the above-mentioned editing by the acquisition unit 11, or the acquisition unit. It may be the first image and the second image which have not been edited by 11.
  • the processing load of the computer is reduced because the target area of the processing for searching the code by pattern matching or the like is limited.
  • the identification unit 13 analyzes the code extracted by the code extraction unit 12 and specifies the product identification information indicated by the code.
  • the registration unit 14 associates the first image and the second image with the product identification information specified by the specific unit 13, and stores them in the storage unit 15.
  • the first image and the second image stored in the storage unit 15 may be the first image and the second image after the above-mentioned editing by the acquisition unit 11, or the above-mentioned by the acquisition unit 11. It may be a first image and a second image that have not been edited.
  • FIG. 6 schematically shows an example of the information stored in the storage unit 15.
  • the product identification information and the image identification information (example: image file name) that identifies the first image and the second image are associated with each other.
  • the operator places the first product 60 to be photographed on the mounting member 40, for example, as shown in FIG. Then, the operator performs a shooting start input via the input device of the processing device 10. Then, the processing device 10 transmits a shooting instruction to the first camera 20 and the second camera 30. The first camera 20 and the second camera 30 photograph the first product 60 in response to the photographing instruction. Then, the first camera 20 and the second camera 30 transmit the first image and the second image generated by the photographing to the processing device 10.
  • the acquisition unit 11 of the processing device 10 acquires the first image and the second image transmitted from the first camera 20 and the second camera 30 in response to the shooting instruction (S10), they are grouped. It is converted and stored in the storage unit 15.
  • the acquisition unit 11 edits the first image and the second image to cut out the product area in the image, and the edited first image and the second image (including only the cut out portion).
  • the image may be stored in the storage unit 15.
  • the processing device 10 acquires the product identification information of the first product 60 (S20). Specifically, as shown in the flowchart of FIG. 8, first, the code extraction unit 12 uses a technique such as pattern matching to code from the first image and the second image stored in the storage unit 15. Is extracted (S21). Next, the identification unit 13 analyzes the extracted code and identifies the product identification information indicated by the code (S22).
  • the code extraction unit 12 uses a technique such as pattern matching to code from the first image and the second image stored in the storage unit 15. Is extracted (S21).
  • the identification unit 13 analyzes the extracted code and identifies the product identification information indicated by the code (S22).
  • the code is extracted from at least one of the first image and the second image grouped in S10 and the product identification information is specified, and all the first images are used. It is not necessary to perform code extraction and code analysis on the image and the second image.
  • the registration unit 14 associates the first image and the second image acquired in S10 with the product identification information acquired in S20, and the storage unit 15 Is stored in (S30).
  • the processing device 10 may perform a process different from the process shown in the flow of FIG. 8 in the process of acquiring the product identification information of S20 of FIG.
  • S20 the operator may perform an operation of causing the code reader to read the code attached to the first product 60 to be photographed. Then, the processing device 10 may acquire the product identification information read by the code reader.
  • the operator may input the product identification information of the first product 60 to be photographed via the input device (keyboard, mouse, touch panel display, etc.) of the processing device 10. Then, the processing device 10 may acquire the product identification information input via the input device.
  • the registration system 1 of the present embodiment described above has a mounting member 40 which is a plate-shaped member having holes 41 penetrating the front and back surfaces, and mounts the product 60 mounted on the mounting member 40. It is possible to take an image from both the front side and the back side of the placement member 40. According to the registration system 1 of the present embodiment as described above, it is possible to efficiently generate a plurality of reference images obtained by photographing each product 60 from a plurality of directions.
  • the product 60 is photographed through the hole 41 by using the mounting member 40 which is a plate-shaped member having holes 41 penetrating the front and back, for example, the product through the transparent plate-shaped member.
  • the mounting member 40 which is a plate-shaped member having holes 41 penetrating the front and back
  • the product through the transparent plate-shaped member.
  • the mounting member 40 is composed of a plate-shaped member having holes 41 penetrating the front and back surfaces, if the shape and size of the holes 41 are not optimized, "a characteristic part of the product 60 (contributing to product recognition)" Problems such as “the part to be used) cannot be observed through the hole 41" and "the product 60 falls out of the hole 41” may occur.
  • a plurality of mounting members 40 having at least one of the shape of the holes 41, the size of the holes 41, and the number of holes 41 different from each other are prepared, and the plurality of mounting members 40 can be replaced. It can be used by installing it on the mounting table 50. Therefore, when the product 60 is photographed, the mounting member 40 having the optimum hole 41 for each product 60 can be used. As a result, the above problem can be solved.
  • the registration system 1 of the present embodiment replaces the "mounting member 40 which is a plate-shaped member having holes 41 penetrating the front and back" with the "mounting member 40 which is a plate-shaped member which transmits light". It differs from the first embodiment in that it is adopted.
  • the plate-shaped member made of a member that transmits light is preferably a transparent member from the viewpoint of clearly photographing the product 60 through the mounting member 40.
  • the mounting member 40 may be a transparent plastic plate (eg, an acrylic transparent plate), a transparent glass plate, or some other.
  • the same effects as those of the first embodiment are realized. Further, when “a mounting member 40 which is a plate-shaped member having holes 41 penetrating the front and back surfaces” is adopted as in the first embodiment, it is necessary to use a mounting member 40 suitable for each product 60. is there. On the other hand, when “a mounting member 40 which is a plate-shaped member that transmits light” is adopted as in the present embodiment, one mounting member 40 can be used when photographing a plurality of products 60. it can. In this way, by adopting the highly versatile mounting member 40, it is possible to avoid troublesome work such as replacing the mounting member 40 for each product.
  • the registration system 1 of the present embodiment efficiently generates a plurality of reference images obtained by photographing the product 60 from a plurality of directions using a mirror. The details will be described below.
  • At least a part of the first camera 20 for photographing the product 60 from the surface side of the mounting member 40 uses a mirror 80 to reflect the light reflected by the product 60 mounted on the mounting member 40. After reflection, it receives light and generates an image. Further, at least a part of the first camera 20 receives the light reflected by the first portion of the product 60 mounted on the mounting member 40 after being reflected by the mirror 80, and also receives the light reflected by the mirror 80 and the second product 60. The light reflected by the portion is received without the reflection of the mirror 80, and one image showing both the first portion and the second portion of a certain product 60 is generated.
  • the product 60, the mirror 80, and the first camera 20 have a positional relationship and orientation capable of such photographing.
  • the product 60 reflected in the mirror 80 can be photographed. Further, according to such a first camera 20, for example, the first part and the second part of the product 60, which have a front-to-back relationship and are difficult to shoot at the same time, are captured by using the mirror 80. You can shoot at the same time.
  • the configuration of the processing device 10, the mounting member 40, and the mounting table 50 is the same as that of the first or second embodiment.
  • the registration system 1 can include a second camera 30.
  • the configuration of the second camera 30 is the same as that of the first or second embodiment.
  • the registration system 1 can include a first camera 20 for photographing the product 60 without using the mirror 80.
  • the configuration of such a first camera 20 is the same as that of the first or second embodiment.
  • the same effects as those of the first or second embodiment are realized. Further, by photographing the product 60 using the mirror 80, it is possible to more efficiently generate a plurality of reference images obtained by photographing the product 60 from a plurality of directions.
  • the processing device is An acquisition means for acquiring the first image and the second image, and A code extraction means for extracting a code indicating the product identification information from the first image or the second image, and Specific means for identifying the product identification information indicated by the extracted code, and A registration means for associating the first image and the second image with the specified product identification information and storing them in a storage means.
  • the registration system according to 1. 3. 3. A plurality of prefix members having at least one of the hole shape, the hole size, and the number of holes different from each other. A mounting table on which multiple previously described mounting members are replaceably installed, The registration system according to 1 or 2 having the above. 4.
  • the registration system according to any one of 1 to 3, wherein the first camera receives the light reflected by the product mounted on the above-mentioned mounting member after being reflected by a mirror and generates an image. 5.
  • the first camera receives the light reflected by the first portion of the product mounted on the pre-described mounting member after being reflected by the mirror, and also receives the light reflected by the mirror, and the first of the products mounted on the pre-described mounting member. 4.
  • the registration system wherein the light reflected by the portion 2 is received without being reflected by the mirror, and one image showing the first portion and the second portion is generated. 6.
  • a first image of a product mounted on a mounting member which is a plate-shaped member that transmits light or a plate-shaped member having holes penetrating the front and back, and a first image taken from the surface side of the mounting member described above.
  • the computer A first image of a product mounted on a mounting member which is a plate-shaped member that transmits light or a plate-shaped member having holes penetrating the front and back, and a first image taken from the surface side of the mounting member described above.
  • a processing method for registering a second image of the product mounted on the pre-described placing member from the back surface side of the pre-described placing member in association with the same product identification information 9.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材（４０）と、載置部材（４０）に載置された商品（６０）を載置部材（４０）の表面側から撮影する第１のカメラ（２０）と、載置部材（４０）に載置された商品（６０）を載置部材（４０）の裏面側から撮影する第２のカメラ（３０）と、第１のカメラ（２０）が商品（６０）を撮影した第１の画像と、第２のカメラ（３０）が商品（６０）を撮影した第２の画像とを、同一の商品識別情報に紐付けて登録する処理装置（１０）と、を有する登録システム（１）を提供する。

Description

登録システム、処理装置、処理方法及びプログラム
　本発明は、登録システム、処理装置、処理方法及びプログラムに関する。
　特許文献１乃至３は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、複数のカメラで複数の向きから会計対象の商品を撮影する技術を開示している。
　特許文献４は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、鏡を利用して会計対象の商品の複数の外面を撮影する技術を開示している。
　特許文献５は、カメラが生成した画像と、バーコードリーダで読み取られた商品識別情報とを紐付ける技術を開示している。
特開２０１７－２２０１９８号公報 特開２０１７－６２７０３号公報 特開２０１６－１１０５３７号公報 国際公開第２０１５／１４０８５５号 特開２００４－３０４０９号公報
　会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、精度よく商品を認識するためには、各商品を複数の向きから撮影した複数の参照画像を登録しておく必要がある。このような複数の参照画像を生成する手段として、例えば、手作業で商品の向きを変えながら撮影する手段が考えられるが、非常に手間である。特許文献１乃至５はいずれも、参照画像を生成する場面における当該課題を開示していない。
　本発明の課題は、商品を複数の向きから撮影した複数の参照画像を効率的に生成する技術を実現することである。
　本発明によれば、
　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材と、
　前記載置部材に載置された商品を前記載置部材の表面側から撮影する第１のカメラと、
　前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影する第２のカメラと、
　前記第１のカメラが前記商品を撮影した第１の画像と、前記第２のカメラが前記商品を撮影した第２の画像とを、同一の商品識別情報に紐付けて登録する処理装置と、
を有する登録システムが提供される。
　また、本発明によれば、
　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理方法が提供される。
　また、本発明によれば、
　コンピュータに、
　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理を実行させるプログラムが提供される。
　本発明によれば、商品を複数の向きから撮影した複数の参照画像を効率的に生成する技術が実現される。
　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の登録システムの全体像の一例を示す図である。 本実施形態の載置部材の一例を示す図である。 本実施形態の載置部材の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の登録システムの全体像の一例を示す図である。
＜第１の実施形態＞
　まず、本実施形態の登録システムの概要を説明する。本実施形態の登録システムは、載置部材と、第１のカメラと、第２のカメラと、処理装置とを有する。載置部材は、表裏を貫通する穴を有する板状の部材である。穴は、載置部材に載置された商品の特徴的な部分（商品認識に寄与する部分）を穴越しに観察できる形状及び大きさとなっている。第１のカメラは、載置部材に載置された商品を載置部材の表面側から撮影する。第１のカメラが生成した画像には、商品の第１の部分が含まれる。第２のカメラは、載置部材に載置された商品を載置部材の裏面側から撮影する。第２のカメラが生成した画像には、商品の第２の部分が含まれる。そして、処理装置は、第１のカメラが第１の商品を撮影した第１の画像と、第２のカメラが第１の商品を撮影した第２の画像とを、同一の商品識別情報に紐付けて登録する。
　このような本実施形態の登録システムによれば、各商品を複数の向きから撮影した複数の参照画像を効率的に生成することができる。
　以下、登録システムの構成を詳細に説明する。図１に、本実施形態の登録システムの概念図を示す。なお、図示する例はあくまで一例であり、当該構成に限定されない。
　図示するように、登録システム１は、処理装置１０と、第１のカメラ２０と、第２のカメラ３０と、載置部材４０とを有する。登録システム１は、さらに載置台５０を有してもよい。
　載置部材４０は、表裏を貫通する穴を有する板状の部材である。載置部材４０は、載置台５０に設置される。
　表裏を貫通する穴は、穴に重なるように載置部材４０に載置された商品６０の特徴的な部分（商品認識に寄与する部分）を穴越しに載置部材４０の裏面側から観察できる形状及び大きさとなる。なお、穴が大きすぎると商品６０が穴から落ちてしまうので、それを防止する形状及び大きさとする必要がある。図２及び図３に穴４１を有する載置部材４０の一例を模式的に示す。なお、載置部材４０は図２に示すように１つの穴４１を有してもよし、図３に示すように複数の穴４１を有してもよい。
　また、登録システム１は、図２及び図３に示すような穴４１の形状、穴４１の大きさ及び穴４１の数の少なくとも１つが互いに異なる複数の載置部材４０を有してもよい。そして、複数の載置部材４０は取り替え可能に載置台５０に設置されてもよい。複数の載置部材４０が備える複数の穴４１は、複数種類の商品６０各々に適した形状及び大きさとなっている。各商品６０に適した穴４１の形状及び大きさは、穴４１に重なるように載置部材４０に載置された各商品６０の特徴的な部分（商品認識に寄与する部分）を穴４１越しに載置部材４０の裏面側から観察でき、かつ、各商品６０が穴４１から落ちてしまうのを防止できる形状及び大きさである。
　図１に戻り、第１のカメラ２０は、載置部材４０に載置された商品６０を載置部材４０の表面側から撮影する。図では１台の第１のカメラ２０が示されているが、載置部材４０の表面側から撮影する第１のカメラ２０は、１台であってもよいし、複数台であってもよい。第１のカメラ２０は、載置部材４０に載置された商品６０を真上から撮影する位置及び向きで設置されてもよいし、同商品６０を斜め上方から撮影する位置及び向きで設置されてもよいし、同商品６０を真横から撮影する位置及び向きで設置されてもよい。第１のカメラ２０は動画像を撮影し、複数のフレーム画像を生成してもよい。その他、第１のカメラ２０は、所定の撮影タイミングで１又は複数の静止画像を生成してもよい。第１のカメラ２０が生成した第１の画像は処理装置１０に入力される。
　第２のカメラ３０は、載置部材４０に載置された商品６０を載置部材４０の裏面側から撮影する。図では１台の第２のカメラ３０が示されているが、載置部材４０の裏面側から撮影する第２のカメラ３０は、１台であってもよいし、複数台であってもよい。第２のカメラ３０は、載置部材４０に載置された商品６０を真下から撮影する位置及び向きで設置されてもよいし、同商品６０を斜め下方から撮影する位置及び向きで設置されてもよい。第２のカメラ３０は動画像を撮影し、複数のフレーム画像を生成してもよい。その他、第２のカメラ３０は、所定の撮影タイミングで１又は複数の静止画像を生成してもよい。第２のカメラ３０が生成した第２の画像は処理装置１０に入力される。
　処理装置１０は、第１のカメラ２０が第１の商品６０を撮影した第１の画像と、第２のカメラ３０が第１の商品６０を撮影した第２の画像とを、同一の商品識別情報（第１の商品６０の商品識別情報）に紐付けて登録する。「第１のカメラ２０が第１の商品６０を撮影した第１の画像」は、第１のカメラ２０が第１の商品６０を撮影することで生成された画像である。「第２のカメラ３０が第１の商品６０を撮影した第２の画像」は、第２のカメラ３０が第１の商品６０を撮影することで生成された画像である。処理装置１０は、当該機能を実現するための複数の機能部を備える。
　図４に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、コード抽出部１２と、特定部１３と、登録部１４と、記憶部１５とを有する。なお、処理装置１０は、記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
　処理装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図５は、処理装置１０のハードウエア構成を例示するブロック図である。図５に示すように、処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置１０は周辺回路４Ａを有さなくてもよい。なお、処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置１０が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　図４に戻り、取得部１１は、第１のカメラ２０が商品６０を撮影した第１の画像、及び、第２のカメラ３０が商品６０を撮影した第２の画像を取得する。
　例えば、第１のカメラ２０及び第２のカメラ３０と、処理装置１０とは有線及び／又は無線で通信可能に構成されてもよい。そして、取得部１１は、第１のカメラ２０及び第２のカメラ３０から第１の画像及び第２の画像を取得してもよい。
　その他、取得部１１は、処理装置１０が有する入力装置を介したユーザ操作に応じて所定の記憶装置にアクセスし、当該記憶装置が記憶している第１の画像及び第２の画像を取得してもよい。所定の記憶装置は処理装置１０が備えてもよいし、処理装置１０と通信可能に構成された外部装置が備えてもよい。
　なお、取得部１１は、取得した第１の画像及び第２の画像を編集してもよい。編集内容は、画像内の商品領域を切り出す処理等である。画像内に複数の商品６０が含まれる場合、商品６０毎に商品領域を切り出すことができる。商品領域の検出は、パターンマッチング等のあらゆる画像解析手段を利用して実現できる。
　ここで、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
　コード抽出部１２は、第１の画像又は第２の画像から商品識別情報を示すコード（バーコード、２次元コード等）を抽出する。例えば、コード抽出部１２は、パターンマッチング等の手法を用いて、画像内に存在するコードを抽出することができる。コードを抽出する処理の対象となる第１の画像及び第２の画像は、取得部１１による上記編集が行われた後の第１の画像及び第２の画像であってもよいし、取得部１１による上記編集が行われていない第１の画像及び第２の画像であってもよい。編集後の第１の画像及び第２の画像を処理対象とする場合、パターンマッチング等でコードを検索する処理の対象領域が限定されるので、コンピュータの処理負担が軽減される。
　特定部１３は、コード抽出部１２により抽出されたコードを解析し、当該コードが示す商品識別情報を特定する。
　登録部１４は、特定部１３により特定された商品識別情報に、第１の画像及び第２の画像を紐付けて、記憶部１５に記憶させる。記憶部１５に記憶させる第１の画像及び第２の画像は、取得部１１による上記編集が行われた後の第１の画像及び第２の画像であってもよいし、取得部１１による上記編集が行われていない第１の画像及び第２の画像であってもよい。
　図６に、記憶部１５が記憶する情報の一例を模式的に示す。図示する例では、商品識別情報と、第１の画像及び第２の画像を識別する画像識別情報（例：画像ファイル名）とが互いに紐付けられている。
　次に、図７及び図８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、オペレータは、例えば図１に示すように載置部材４０の上に撮影対象の第１の商品６０を載置する。そして、オペレータは、処理装置１０の入力装置を介して撮影開始入力を行う。すると、処理装置１０から第１のカメラ２０及び第２のカメラ３０に対して撮影指示が送信される。第１のカメラ２０及び第２のカメラ３０は、当該撮影指示に応じて第１の商品６０を撮影する。そして、第１のカメラ２０及び第２のカメラ３０は当該撮影により生成した第１の画像及び第２の画像を処理装置１０に送信する。
　処理装置１０の取得部１１は、上記撮影指示に応じて第１のカメラ２０及び第２のカメラ３０から送信されてきた第１の画像及び第２の画像を取得すると（Ｓ１０）、それらをグループ化して記憶部１５に記憶させる。なお、取得部１１は、第１の画像及び第２の画像に対し、画像内の商品領域を切り出す編集を行い、編集後の第１の画像及び第２の画像（切り出された部分のみを含む画像）を記憶部１５に記憶させてもよい。
　次いで、処理装置１０は、第１の商品６０の商品識別情報を取得する（Ｓ２０）。具体的には、図８のフローチャートに示すように、まず、コード抽出部１２は、パターンマッチング等の手法を用いて、記憶部１５に記憶されている第１の画像及び第２の画像からコードを抽出する（Ｓ２１）。次いで、特定部１３は、抽出されたコードを解析し、そのコードが示す商品識別情報を特定する（Ｓ２２）。
　なお、Ｓ１０で取得され、グループ化された第１の画像及び第２の画像の中の少なくとも１つの画像の中からコードが抽出され、商品識別情報が特定されればよく、全ての第１の画像及び第２の画像に対してコード抽出及びコード解析を行う必要はない。
　図７に戻り、Ｓ２０の後、登録部１４は、Ｓ２０で取得された商品識別情報に、Ｓ１０で取得され、グループ化された第１の画像及び第２の画像を紐付けて、記憶部１５に記憶させる（Ｓ３０）。
　ここで、変形例を説明する。処理装置１０は、図７のＳ２０の商品識別情報を取得する処理において、図８のフローで示す処理と異なる処理を行ってもよい。例えば、Ｓ２０では、オペレータが、撮影対象の第１の商品６０に付されたコードをコードリーダに読み取らせる操作を行ってもよい。そして、処理装置１０は、コードリーダで読み取った商品識別情報を取得してもよい。その他、オペレータは、処理装置１０の入力装置（キーボード、マウス、タッチパネルディスプレイ等）を介して、撮影対象の第１の商品６０の商品識別情報を入力してもよい。そして、処理装置１０は、入力装置を介して入力された商品識別情報を取得してもよい。
　以上、説明した本実施形態の登録システム１は、表裏を貫通する穴４１を有する板状の部材である載置部材４０を有し、当該載置部材４０に載置された商品６０を、載置部材４０の表面側及び裏面側の両方から撮影することができる。このような本実施形態の登録システム１によれば、各商品６０を複数の向きから撮影した複数の参照画像を効率的に生成することができる。
　また、表裏を貫通する穴４１を有する板状の部材である載置部材４０を利用して穴４１越しに商品６０を撮影する本実施形態の場合、例えば、透明な板状の部材越しに商品６０を撮影する場合と異なり、その部材での光の反射を考慮する必要がない。このため、比較的容易に鮮明に商品６０を撮影することができる。
　ところで、表裏を貫通する穴４１を有する板状の部材で載置部材４０を構成する場合、穴４１の形状及び大きさを最適化しないと、「商品６０の特徴的な部分（商品認識に寄与する部分）が穴４１越しに観察できない」、「商品６０が穴４１から落ちてしまう」等の問題が発生し得る。この問題に対し、本実施形態では、穴４１の形状、穴４１の大きさ及び穴４１の数の少なくとも１つが互いに異なる複数の載置部材４０を用意し、複数の載置部材４０を取り替え可能に載置台５０に設置して利用することができる。このため、各商品６０の撮影時に各商品６０に最適な穴４１を有する載置部材４０を利用できる。結果、上記問題を解消できる。
＜第２の実施形態＞
　本実施形態の登録システム１は、「表裏を貫通する穴４１を有する板状の部材である載置部材４０」に代えて、「光を透過する板状の部材である載置部材４０」を採用する点で、第１の実施形態と異なる。
　光を透過する部材で構成された板状の部材は、載置部材４０越しに商品６０を鮮明に撮影する観点から、透明な部材であることが好ましい。例えば、載置部材４０は、透明なプラスチック板（例：アクリル透明板）であってもよいし、透明なガラス板であってもよいし、その他であってもよい。
　登録システム１のその他の構成は、第１の実施形態と同様である。
　このような本実施形態の登録システム１によれば、第１の実施形態と同様の作用効果が実現される。また、第１の実施形態のように「表裏を貫通する穴４１を有する板状の部材である載置部材４０」を採用する場合、商品６０毎に適した載置部材４０を利用する必要がある。これに対し、本実施形態のように「光を透過する板状の部材である載置部材４０」」を採用する場合、１つの載置部材４０を複数の商品６０の撮影時に利用することができる。このように、汎用性の高い載置部材４０を採用することで、載置部材４０を商品毎に取り換える等の面倒な作業を回避できる。
＜第３の実施形態＞
　本実施形態の登録システム１は、鏡を利用して商品６０を複数の向きから撮影した複数の参照画像を効率的に生成する。以下、詳細に説明する。
　図９に示すように、載置部材４０の表面側から商品６０を撮影する第１のカメラ２０の少なくとも一部は、載置部材４０に載置された商品６０で反射した光を鏡８０で反射後に受光し、画像を生成する。また、第１のカメラ２０の少なくとも一部は、載置部材４０に載置された商品６０の第１の部分で反射した光を鏡８０で反射後に受光するとともに、その商品６０の第２の部分で反射した光を鏡８０の反射を介さずに受光し、ある商品６０の第１の部分及び第２の部分の両方を示す１つの画像を生成する。商品６０、鏡８０及び第１のカメラ２０は、このような撮影が可能な位置関係及び向きとなっている。
　このような第１のカメラ２０によれば、鏡８０に映っている商品６０を撮影することができる。また、このような第１のカメラ２０によれば、例えば表裏の関係になっており、同時に撮影することが困難な商品６０の第１の部分及び第２の部分を、鏡８０を利用して同時に撮影することができる。
　処理装置１０、載置部材４０及び載置台５０の構成は、第１又は第２の実施形態と同様である。
　なお、図９では省略しているが、登録システム１は、第２のカメラ３０を備えることができる。第２のカメラ３０の構成は、第１又は第２の実施形態と同様である。
　また、図９では省略しているが、登録システム１は、鏡８０を利用せずに商品６０を撮影する第１のカメラ２０を備えることができる。このような第１のカメラ２０の構成は、第１又は第２の実施形態と同様である。
　以上、説明した本実施形態の登録システム１によれば、第１又は第２の実施形態と同様の作用効果が実現される。また、鏡８０を利用して商品６０を撮影することで、商品６０を複数の向きから撮影した複数の参照画像をより効率的に生成することが可能となる。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材と、
　前記載置部材に載置された商品を前記載置部材の表面側から撮影する第１のカメラと、
　前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影する第２のカメラと、
　前記第１のカメラが前記商品を撮影した第１の画像と、前記第２のカメラが前記商品を撮影した第２の画像とを、同一の商品識別情報に紐付けて登録する処理装置と、
を有する登録システム。
２．　前記処理装置は、
　　前記第１の画像及び前記第２の画像を取得する取得手段と、
　　前記第１の画像又は前記第２の画像から前記商品識別情報を示すコードを抽出するコード抽出手段と、
　　抽出された前記コードが示す前記商品識別情報を特定する特定手段と、
　　特定された前記商品識別情報に、前記第１の画像及び前記第２の画像を紐付けて、記憶手段に記憶させる登録手段と、
を有する１に記載の登録システム。
３．　前記穴の形状、前記穴の大きさ及び前記穴の数の少なくとも１つが互いに異なる複数の前記載置部材と、
　複数の前記載置部材が取り替え可能に設置される載置台と、
を有する１又は２に記載の登録システム。
４．　前記第１のカメラは、前記載置部材に載置された前記商品で反射した光を鏡で反射後に受光し、画像を生成する１から３のいずれかに記載の登録システム。
５．　前記第１のカメラは、前記載置部材に載置された前記商品の第１の部分で反射した光を前記鏡で反射後に受光するとともに、前記載置部材に載置された前記商品の第２の部分で反射した光を前記鏡の反射を介さずに受光し、前記第１の部分及ぶ前記第２の部分を示す１つの画像を生成する４に記載の登録システム。
６．　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理装置。
７．　前記第１の画像及び前記第２の画像を取得する取得手段と、
　前記第１の画像又は前記第２の画像から前記商品識別情報を示すコードを抽出するコード抽出手段と、
　抽出された前記コードが示す前記商品識別情報を特定する特定手段と、
　特定された前記商品識別情報に、前記第１の画像及び前記第２の画像を紐付けて、記憶手段に記憶させる登録手段と、
を有する６に記載の処理装置。
８．　コンピュータが、
　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理方法。
９．　コンピュータに、
　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理を実行させるプログラム。

Claims (9)

  1. 　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材と、
    　前記載置部材に載置された商品を前記載置部材の表面側から撮影する第１のカメラと、
    　前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影する第２のカメラと、
    　前記第１のカメラが前記商品を撮影した第１の画像と、前記第２のカメラが前記商品を撮影した第２の画像とを、同一の商品識別情報に紐付けて登録する処理装置と、
    を有する登録システム。
  2. 　前記処理装置は、
    　　前記第１の画像及び前記第２の画像を取得する取得手段と、
    　　前記第１の画像又は前記第２の画像から前記商品識別情報を示すコードを抽出するコード抽出手段と、
    　　抽出された前記コードが示す前記商品識別情報を特定する特定手段と、
    　　特定された前記商品識別情報に、前記第１の画像及び前記第２の画像を紐付けて、記憶手段に記憶させる登録手段と、
    を有する請求項１に記載の登録システム。
  3. 　前記穴の形状、前記穴の大きさ及び前記穴の数の少なくとも１つが互いに異なる複数の前記載置部材と、
    　複数の前記載置部材が取り替え可能に設置される載置台と、
    を有する請求項１又は２に記載の登録システム。
  4. 　前記第１のカメラは、前記載置部材に載置された前記商品で反射した光を鏡で反射後に受光し、画像を生成する請求項１から３のいずれか１項に記載の登録システム。
  5. 　前記第１のカメラは、前記載置部材に載置された前記商品の第１の部分で反射した光を前記鏡で反射後に受光するとともに、前記載置部材に載置された前記商品の第２の部分で反射した光を前記鏡の反射を介さずに受光し、前記第１の部分及ぶ前記第２の部分を示す１つの画像を生成する請求項４に記載の登録システム。
  6. 　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理装置。
  7. 　前記第１の画像及び前記第２の画像を取得する取得手段と、
    　前記第１の画像又は前記第２の画像から前記商品識別情報を示すコードを抽出するコード抽出手段と、
    　抽出された前記コードが示す前記商品識別情報を特定する特定手段と、
    　特定された前記商品識別情報に、前記第１の画像及び前記第２の画像を紐付けて、記憶手段に記憶させる登録手段と、
    を有する請求項６に記載の処理装置。
  8. 　コンピュータが、
    　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理方法。
  9. 　コンピュータに、
    　光を透過する板状の部材、又は、表裏を貫通する穴を有する板状の部材である載置部材に載置された商品を前記載置部材の表面側から撮影した第１の画像と、前記載置部材に載置された前記商品を前記載置部材の裏面側から撮影した第２の画像と、を同一の商品識別情報に紐付けて登録する処理を実行させるプログラム。
PCT/JP2019/032809 2019-08-22 2019-08-22 登録システム、処理装置、処理方法及びプログラム WO2021033309A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021540604A JP7388439B2 (ja) 2019-08-22 2019-08-22 登録システム、処理装置、処理方法及びプログラム
PCT/JP2019/032809 WO2021033309A1 (ja) 2019-08-22 2019-08-22 登録システム、処理装置、処理方法及びプログラム
US17/635,467 US20220309714A1 (en) 2019-08-22 2019-08-22 Registration system, processing device, and processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032809 WO2021033309A1 (ja) 2019-08-22 2019-08-22 登録システム、処理装置、処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021033309A1 true WO2021033309A1 (ja) 2021-02-25

Family

ID=74659649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032809 WO2021033309A1 (ja) 2019-08-22 2019-08-22 登録システム、処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20220309714A1 (ja)
JP (1) JP7388439B2 (ja)
WO (1) WO2021033309A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7353434B1 (ja) 2022-07-20 2023-09-29 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6110872B2 (ja) * 1976-07-29 1986-03-31 Ncr Co
JPS63503489A (ja) * 1986-05-27 1988-12-15 エヌ・シー・アール・インターナショナル・インコーポレイテッド 商品チエツクアウト方法
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム
WO2015147333A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 売上登録装置、プログラム及び売上登録方法
JP2018088161A (ja) * 2016-11-29 2018-06-07 サインポスト株式会社 情報処理システム及び情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6110872B2 (ja) * 1976-07-29 1986-03-31 Ncr Co
JPS63503489A (ja) * 1986-05-27 1988-12-15 エヌ・シー・アール・インターナショナル・インコーポレイテッド 商品チエツクアウト方法
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム
WO2015147333A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 売上登録装置、プログラム及び売上登録方法
JP2018088161A (ja) * 2016-11-29 2018-06-07 サインポスト株式会社 情報処理システム及び情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7353434B1 (ja) 2022-07-20 2023-09-29 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP7388439B2 (ja) 2023-11-29
JPWO2021033309A1 (ja) 2021-02-25
US20220309714A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US9767336B2 (en) Methods, computer program products, and systems for providing automated video tracking via radio frequency identification
CN104919794B (zh) 用于从主从式相机跟踪系统提取元数据的方法和系统
US20170124687A1 (en) Image transformation for indicia reading
JP2023011908A5 (ja)
EP1816649A3 (en) Imaging device, information processing method, and computer program
US20060055804A1 (en) Picture taking device
JP7396722B2 (ja) システム、処理方法及びプログラム
WO2021033309A1 (ja) 登録システム、処理装置、処理方法及びプログラム
JP2020095537A (ja) 学習用データセット自動生成システム、サーバ、及び学習用データセット自動生成プログラム
JP7052248B2 (ja) 識別システム、識別方法およびプログラム
JP2016177726A (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2017128174A1 (en) Image scanning device
JP2019201397A (ja) 撮影装置及びプログラム
US20130062402A1 (en) Apparatus and method for using machine-readable codes
US11468253B2 (en) Information processing apparatus and method for tissue processor, and information processing system
TW201617975A (zh) 標籤資料處理方法、標籤識別系統和通訊終端
JP7272100B2 (ja) 情報処理装置、情報処理システム、方法、およびプログラム
US10997410B2 (en) Information processing device and information processing system
WO2021033310A1 (ja) 処理装置、処理方法及びプログラム
CN113762429A (zh) 自助取件方法、装置、设备、电子设备和存储介质
WO2020157831A1 (ja) 物体とｎ次元シンボルとを関連付けるシステム
WO2021234842A1 (ja) 処理システム、処理方法及びプログラム
WO2021033285A1 (ja) 処理装置、処理方法及びプログラム
JPWO2019215966A1 (ja) 登録システム、登録方法及びプログラム
JP2020091748A (ja) 端末装置、プログラム、画像管理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942332

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021540604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19942332

Country of ref document: EP

Kind code of ref document: A1