WO2023175765A1 - 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 - Google Patents

学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 Download PDF

Info

Publication number
WO2023175765A1
WO2023175765A1 PCT/JP2022/011897 JP2022011897W WO2023175765A1 WO 2023175765 A1 WO2023175765 A1 WO 2023175765A1 JP 2022011897 W JP2022011897 W JP 2022011897W WO 2023175765 A1 WO2023175765 A1 WO 2023175765A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning data
data generation
product
image
generation device
Prior art date
Application number
PCT/JP2022/011897
Other languages
English (en)
French (fr)
Inventor
壮馬 白石
貴美 佐藤
智一 金子
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/011897 priority Critical patent/WO2023175765A1/ja
Publication of WO2023175765A1 publication Critical patent/WO2023175765A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers

Definitions

  • the present invention relates to a learning data generation device, a product number confirmation device, a learning data generation method, a product number confirmation method, and a recording medium.
  • Patent Document 1 describes an information processing device that performs the following processing. First, the information processing device detects a product in a first predetermined area, for example, a product in an area for placing unregistered products. Next, the information processing device determines whether the detected product has moved to a second predetermined area, for example, a product scanning area, within a predetermined time after moving out of this area.
  • a first predetermined area for example, a product in an area for placing unregistered products.
  • a second predetermined area for example, a product scanning area
  • the inventor has determined that products can be accurately registered by comparing the number of products registered with the product registration device and the number of products included in an image taken of an area including the product registration device. We considered determining whether there is a possibility that the However, when performing this processing, it is necessary to accurately detect the number of products included in the image.
  • an example of the object of the present invention is to provide a learning data generation device, a product number confirmation device, and a learning device that can improve the accuracy of detection when processing images to detect the number of products.
  • the purpose of this invention is to provide a data generation method, a product number confirmation method, and a recording medium.
  • a learning data generation device that generates at least part of learning data for generating a model,
  • the model calculates the number of the target products included in an image generated by a photographing means whose photographing range includes an area in which the target products to be settled are placed,
  • the learning data generation device includes: acquisition means for acquiring a plurality of images generated by the photographing means; Selection means for selecting an image that satisfies a predetermined condition from among the plurality of images to be included in at least a portion of the learning data as negative data that does not include the target product;
  • a learning data generation device is provided.
  • the first a calculation means for calculating the number of output means for outputting predetermined information when a difference between a second number, which is the number of target products registered in the product registration device, and the first number satisfies a criterion;
  • a product number confirmation device is provided.
  • a learning data generation method performed by a computer that generates at least part of learning data for generating a model,
  • the model calculates the number of the target products included in an image generated by a photographing means whose photographing range includes an area in which the target products to be settled are placed,
  • the computer includes: acquiring a plurality of images generated by the photographing means;
  • a learning data generation method is provided, in which an image satisfying a predetermined condition is selected from among the plurality of images to be included in at least a part of the learning data as negative data that does not include the target product. Ru.
  • a computer used with the learning data generation device described above By using the model generated using the learning data to process the image taken by the photographing means when a customer uses the product registration device, the first Calculate the number of A product number confirmation method is provided, which outputs predetermined information when a difference between a second number, which is the number of target products registered in the product registration device, and the first number satisfies a criterion. be done.
  • a recording medium recording a program that causes a computer to generate at least a part of learning data for generating a model
  • the recording medium comprising:
  • the model calculates the number of the target products included in an image generated by a photographing means whose photographing range includes an area in which the target products to be settled are placed,
  • the program causes the computer to an acquisition function that acquires a plurality of images generated by the photographing means; a selection function that selects an image that satisfies a predetermined condition from among the plurality of images to be included in at least a portion of the learning data as negative data that does not include the target product;
  • a recording medium is provided that has the following information.
  • a recording medium recording a program used in a computer used with the learning data generation device described above,
  • the program causes the computer to By using the model generated using the learning data to process the image taken by the photographing means when a customer uses the product registration device, the first A calculation function that calculates the number of an output function that outputs predetermined information when a difference between a second number, which is the number of target products registered in the product registration device, and the first number satisfies a criterion;
  • a recording medium is provided that has the following information.
  • a learning data generation device a product number confirmation device, a learning data generation method, which can improve the accuracy of detection when detecting the number of products by processing an image;
  • We can provide a method for confirming the number of products and a recording medium.
  • FIG. 1 is a diagram showing an overview of a learning data generation device according to an embodiment.
  • FIG. 1 is a diagram showing an overview of a product number confirmation device according to an embodiment.
  • FIG. 2 is a diagram for explaining the usage environment of a learning data generation device and a product number confirmation device. It is a figure showing an example of arrangement of a product number confirmation device.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of a learning data generation device.
  • FIG. 3 is a diagram for explaining an example of a target area for object detection processing by an image processing unit. It is a figure which shows an example of the data for learning which the data storage part for learning has memorize
  • FIG. 4 It is a diagram showing an example of the hardware configuration of a learning data generation device. It is a flowchart which shows an example of the process which a data generation device for learning performs. It is a flowchart which shows an example of the process which a product number confirmation apparatus performs. 5 is a diagram showing a modification of FIG. 4. FIG.
  • FIG. 1 is a diagram showing an overview of a learning data generation device 10 according to an embodiment.
  • the learning data generation device 10 generates at least part of learning data for generating a model.
  • This model calculates the number of target products included in images generated by the photographing device.
  • the target product is a product that is subject to payment.
  • the photographing range of the photographing device includes the area where the target product is placed.
  • the learning data generation device 10 includes an acquisition section 110 and a selection section 120.
  • the acquisition unit 110 acquires a plurality of images generated by the photographing means.
  • the selection unit 120 selects an image that satisfies a predetermined condition from among the plurality of images acquired by the acquisition unit 110 in order to include it in at least part of the learning data as negative data that does not include the target product.
  • the learning data generation device 10 the learning data includes images that meet predetermined conditions as negative data that does not include the target product. Therefore, by using a model generated using this learning data, it is possible to accurately detect the number of products included in an image.
  • FIG. 2 is a diagram showing an overview of the product number confirmation device 20 according to the embodiment.
  • the product number confirmation device 20 is used together with the learning data generation device 10, and includes a calculation section 210 and an output section 220.
  • the calculation unit 210 uses a model generated using the learning data generated by the learning data generation device 10 to process an image taken by the photographing device when the customer uses the product registration device.
  • a first number which is the number of target products, is calculated.
  • the output unit 220 outputs predetermined information when the difference between the second number, which is the number of target products registered in the product registration device, and the first number satisfies a criterion.
  • the detection accuracy of the first number by the product number confirmation device 20 is high. Further, the product number confirmation device 20 performs a predetermined output when the difference between the number of target products included in the image and the number of target products registered in the product registration device does not meet a criterion. Therefore, the administrator of the product number confirmation device 20 or the customer can recognize that the product may not be accurately registered.
  • FIG. 3 is a diagram for explaining the usage environment of the learning data generation device 10 and the product number confirmation device 20.
  • the product number confirmation device 20 also serves as a product registration device.
  • the learning data generation device 10 and the product number confirmation device 20 are used together with the photographing device 30 and the product information storage unit 40.
  • the product number confirmation device 20 is installed in a store or office. Products are placed in this store or office.
  • the product quantity confirmation device 20 registers the products that the customer intends to purchase, and performs payment processing for the registered products. That is, the product number confirmation device 20 also functions as a product registration device and a payment device.
  • the product number confirmation device 20 may be a POS terminal. In the target product registration process and payment process, the product number confirmation device 20 is operated by the customer. In addition, the product number confirmation device 20 uses the product information storage unit 40 in the registration process and payment process for the target product.
  • the product number confirmation device 20 does not need to perform the registration process and payment process for the target product.
  • the product number confirmation device 20 is a device different from the POS terminal, such as a cloud server.
  • the product information storage unit 40 stores information necessary for product payment processing, such as the price of a product, in association with the product identification information of the product.
  • the product information storage unit 40 is, for example, a part of a server installed in a store, but is not limited thereto.
  • the photographing device 30 operates at least while the product number confirmation device 20 is powered on.
  • the photographing device 30 may operate 24 hours a day. Further, the photographing device 30 may generate an image having RGB data for each pixel, or may generate an image having depth information for each pixel.
  • the photographing device 30 periodically generates images. These images may constitute a moving image.
  • the frame rate of the photographing device 30 is, for example, 0.1 fps or more and 30 fps or less, but is not limited thereto.
  • the mounting position of the photographing device 30 is arbitrary.
  • the photographing device 30 may be attached above the product number confirmation device 20, for example, on the ceiling of the room where the product number confirmation device 20 is arranged, or may be attached to the product number confirmation device 20.
  • the photographing range of the photographing device 30 includes the area where the target product is placed when the target product registration process is performed.
  • the area where the target product is placed is the area where the target product is temporarily placed, and the area where the target product is placed when the product identification information of the target product is registered in the product number confirmation device 20. Contains at least one of them.
  • the former example is an area of the stand 50 where the target product is temporarily placed.
  • the latter example is an area (space) where the accessory device 60 that reads product identification information from the target product can read the product identification information.
  • the photographing range of the photographing device 30 may further include the product number confirmation device 20 and the product display area. Products that can be registered by the product number confirmation device 20 may be arranged only in the product display area included in this photographing range, or may be arranged in a product display area outside this photographing range.
  • the learning data generating device 10 uses the images generated by the photographing device 30 to generate learning data for generating a model. This model is used to calculate the number of target products located within the shooting range. The learning data generation device 10 adds images that satisfy predetermined conditions among the images generated by the photographing device 30 to the learning data as negative data that does not include the target product.
  • the learning data generation device 10 also generates the above-described model.
  • this model generation process may be performed by a device different from the learning data generation device 10.
  • the product number confirmation device 20 calculates the number of target products located in the photographing range, that is, a first number, by processing the image photographed by the photographing device 30. At this time, the product number confirmation device 20 uses the model generated by the learning data generation device 10. Then, the product number confirmation device 20 performs a predetermined output when the difference between the first number and the number of target products registered in the product number confirmation device 20, ie, the second number, satisfies a criterion.
  • FIG. 4 is a diagram showing an example of the arrangement of the product number confirmation device 20.
  • the product number confirmation device 20 is placed on a stand 50.
  • the stand 50 is sufficiently larger than the product number confirmation device 20, and a part thereof serves as a product display area 510.
  • the photographing range of the photographing device 30 includes the product number confirmation device 20 and the product display area 510. Note that, as explained using FIG. 3, target products that can be registered in the product number confirmation device 20 may be displayed in a location other than the product display area 510.
  • attached devices 60 of the product number confirmation device 20 such as a card reader, a barcode reader, a two-dimensional code reader, a short-range wireless communication device that communicates with a wireless communication tag attached to the product, and a mobile terminal are mounted. At least one of a short-range wireless communication device for communication and a receipt printing device is often arranged. Further, an object 70 such as a trash can may be placed around the stand 50. When the attached device 60 and the object 70 are included in the photographing range, there is a possibility that the attached device 60 and the object 70 are erroneously recognized as the target product. The negative data described above is used to prevent these products from being mistakenly recognized as target products.
  • FIG. 12 is a diagram showing a modification of the photographing range of the photographing device 30.
  • the photographing range includes the product display area 510 and the attached equipment 60, but does not include the product number confirmation device 20. In this way, the photographing range of the photographing device 30 only needs to include the area where the target product is placed.
  • FIG. 5 is a diagram showing an example of the functional configuration of the learning data generation device 10.
  • the learning data generation device 10 includes an acquisition section 110, a selection section 120, an image processing section 130, a storage processing section 140, a model generation section 150, and a communication section 160.
  • the learning data generation device 10 can use the learning data storage section 170.
  • the acquisition unit 110 acquires a plurality of images generated by the photographing device 30.
  • the acquisition unit 110 acquires these images from the photographing device 30, for example, but may also acquire these images from a storage device that stores these images.
  • the acquisition unit 110 may acquire all images generated by the photographing device 30, or may acquire only some images.
  • the acquisition unit 110 also acquires shooting date and time data of these images.
  • the acquisition unit 110 may store the plurality of acquired images in a storage unit, for example, the learning data storage unit 170.
  • the selection unit 120 selects an image that satisfies a predetermined condition from among the plurality of images acquired by the acquisition unit 110 as negative data that does not include the target product, and stores the image as the learning data as at least part of the learning data. 170. At this time, the selection unit 120 uses the photographing date and time data of each image as necessary.
  • the predetermined condition is, for example, a condition indicating that there is a high possibility that the product number confirmation device 20 is not being used.
  • Examples of the predetermined conditions are, for example, at least one of the following (1) to (5).
  • the difference between the image and the reference image satisfies the first criterion.
  • the reference image is, for example, a preset background image or an image generated a predetermined time (or a predetermined number of images) before the image generated by the photographing device 30.
  • an example of the first criterion is that the difference is less than or equal to a reference value. If this condition is met, there is no object moving around the product number confirmation device 20, so there is a high possibility that the product number confirmation device 20 is not being used.
  • the state of the product number confirmation device 20 satisfies the second criterion at the generation timing of the image.
  • the acquisition unit 110 acquires information indicating the state of the product number confirmation device 20 for each date and time, that is, information indicating the state transition, from the product number confirmation device 20 or a device that manages the product number confirmation device 20.
  • the selection unit 120 uses this information.
  • the second criterion is a state indicating that the product number confirmation device 20 is not in use.
  • An example of the second criterion is as follows. - The product number confirmation device 20 is not performing product registration processing. - The product number confirmation device 20 is in standby mode and power off.
  • the generation timing of the image is a predetermined date and time.
  • the predetermined date and time is a date and time when a store is closed or an office is closed, or a date and time when the product number confirmation device 20 is not used in the operation plan of the product number confirmation device 20. Note that the date and time here may refer to time zones by month and day or day of the week.
  • the image includes a specific object.
  • the specific object is an object indicating that the product number confirmation device 20 cannot be used, for example, a signboard.
  • the selection unit 120 stores the feature amount of this object in advance. Then, the selection unit 120 determines the presence or absence of an object having this feature amount by performing image processing.
  • the predetermined area is a specific area of a store or office. This area may or may not include the imaging range of the imaging device 30. In the latter case, the predetermined area may include a peripheral area of the photographing range of the product number confirmation device 20, for example, a passage toward the product number confirmation device 20. Examples of the processing performed here are (5-1) to (5-3) below.
  • the selection unit 120 performs a person detection process on the image acquired by the acquisition unit 110, and converts images in which a person cannot be detected into negative data.
  • the selection unit 120 acquires an image from a monitoring imaging device placed in a store or office, and performs a person detection process on this image. Then, the selection unit 120 identifies a timing when there is no person in a predetermined area, and converts the image generated by the photographing device 30 at this timing into negative data.
  • the selection unit 120 uses the detection results of the human sensor whose detection range is the predetermined area to identify the timing when there is no person in the predetermined area.
  • the human sensor is, for example, an infrared sensor. Then, the product number confirmation device 20 converts the image generated by the photographing device 30 at this timing into negative data.
  • the image processing unit 130 performs object detection processing on the image selected by the selection unit 120, that is, the image that becomes negative data.
  • the algorithm of the object detection process performed here is preferably the same as the algorithm used by the product number confirmation device 20 to calculate the first number, for example, the model used by the product number confirmation device 20.
  • the storage processing unit 140 stores each of the plurality of images selected by the product number confirmation device 20 in the learning data storage unit 170 as learning data. At this time, these plural images are stored in the learning data storage section 170 as negative data. Specifically, the storage processing unit 140 stores each of the plurality of images in the learning data storage unit 170 in association with the processing result of the image processing unit 130 for the image.
  • the negative data stored in the learning data storage unit 170 includes an image and data indicating that the image does not include a product.
  • An example of data indicating that a product is not included is "no data indicating product position.”
  • positive data in which a product is included in an image includes an image and data indicating the position of the product within the image.
  • the learning data storage section 170 also includes this positive data.
  • the model generation unit 150 generates or updates a model using the learning data stored in the learning data storage unit 170.
  • An example of the processing performed here is as follows.
  • the model generation unit 150 performs object detection processing on the learning data using the current model. Through this process, a value indicating object-likeness is generated for each part of the image in each image. Then, the model generation unit 150 adjusts the model parameters so that the value indicating object-likeness increases for a region (positive) of an object to be detected. On the other hand, the model generation unit 150 adjusts the model parameters so that the value indicating the object-likeness described above decreases for a region (negative) where there is no object to be detected.
  • the model generation unit 150 may use only the above-mentioned negative data as learning data, or may include positive data including products.
  • the explanatory variable is at least one of an image and data processed from the image (for example, the result of object detection by the image processing unit 130), and the objective variable is 0.
  • the explanatory variable is at least one of an image and data processed from the image
  • the objective variable is the number of products included in the image.
  • the model generation unit 150 stores the generated or updated model in the learning data storage unit 170.
  • the communication unit 160 transmits the model generated or updated by the model generation unit 150 to the product number confirmation device 20.
  • FIG. 6 is a diagram for explaining an example of a target area for object detection processing by the image processing unit 130.
  • the processing by the image processing unit 130 may be performed on a predetermined portion of the image to be processed.
  • the product number confirmation device 20 may perform product detection processing only on a specific portion of the image generated by the photographing device 30.
  • the image processing unit 130 may perform object detection processing only on this specific portion.
  • the predetermined portion is set, for example, to exclude the product display area 510 and include the accessory device 60.
  • the predetermined portion includes an area where the product is placed when the accessory device 60 serving as a code reader reads the code of the product. Further, this predetermined portion may be set to further include the object 70.
  • FIG. 7 is a diagram showing an example of learning data stored in the learning data storage section 170.
  • the learning data storage unit 170 stores each of a plurality of images in association with data indicating the shooting date and time of the image and data indicating the result of object detection by the image processing unit 130. .
  • FIG. 8 is a diagram showing an example of the functional configuration of the product number confirmation device 20.
  • the product number confirmation device 20 can use the model storage section 260.
  • the model storage unit 260 stores the model generated by the model generation unit 150 of the learning data generation device 10.
  • the model storage unit 260 may be located outside the product number confirmation device 20 or may be a part of the product number confirmation device 20.
  • the product number confirmation device 20 includes a calculation section 210, an output section 220, a registration processing section 230, a payment processing section 240, and a communication section 250.
  • the communication unit 250 communicates with the learning data generation device 10 to obtain a model.
  • the communication unit 250 then stores the acquired model in the model storage unit 260.
  • the registration processing unit 230 uses, for example, the reading result by the attached device 60 to perform a process of registering the product to be paid for, that is, the target product.
  • the accessory device 60 reads a code given to the target product. This code includes product identification information.
  • the registration processing unit 230 performs registration processing of the target product using the code read by the attached device 60.
  • the registration information generated as a result of the registration process includes at least one piece of product identification information.
  • the payment processing unit 240 uses the registration information generated by the registration processing unit 230 and the information stored in the product information storage unit 40 to calculate the amount to be paid by the customer.
  • the settlement processing unit 240 then performs settlement processing for this amount.
  • the payment processing unit 240 uses the result of reading the card or mobile terminal by the attached device 60 in order to specify the payment method.
  • the payment method used here is electronic payment, and is, for example, at least one of payment using a credit card, payment using electronic money, and payment using a two-dimensional code.
  • the calculation unit 210 calculates the first number by using the model stored in the model storage unit 260 and processing the image generated by the photographing device 30 when the customer uses the product number confirmation device 20. do.
  • the image used here may be a video showing the customer's actions during the registration process of the target product, that is, a plurality of frame images. Note that the calculated first number corresponds to the number of target products that the customer intends to purchase.
  • the images to be processed by the calculation unit 210 include, for example, images generated while the registration processing unit 230 is operating. At the timing when this image is generated, the target product may be placed on the table 50 or may be held by a customer.
  • the images to be processed by the calculation unit 210 may further include images generated within a predetermined time period before the registration processing unit 230 operates. This predetermined time is selected, for example, from a range of 1 second to 30 seconds, preferably from a range of 5 seconds to 15 seconds.
  • the output unit 220 uses the registration information generated by the registration processing unit 230 to calculate the number of target products registered in the product number confirmation device 20, that is, the second number. Then, the output unit 220 outputs predetermined information when the difference between the second number and the first number satisfies a criterion.
  • This reference number may be 1, or may be 2 or more.
  • the predetermined information outputted by the output unit 220 indicates the possibility that the product registration result for the product number confirmation device 20 is incorrect, and is displayed on the display of the product number confirmation device 20, for example. At this time, the output unit 220 may output a predetermined sound from the speaker of the product number confirmation device 20. By recognizing the output from the output unit 220, the customer operating the product number confirmation device 20 can recognize that the product registration results for the product number confirmation device 20 may be incorrect.
  • the product number confirmation device 20 when used as a device other than a POS terminal, such as a cloud server, the product number confirmation device 20 does not include the registration processing section 230 and the payment processing section 240.
  • a terminal having a registration processing section 230 and a payment processing section 240, such as a POS terminal is placed, for example, at the location of the product number confirmation device 20 in FIG.
  • the output unit 220 of the product number confirmation device 20 transmits information indicating whether the difference between the second number and the first number satisfies the criterion to this terminal.
  • This terminal causes predetermined information to be displayed on the display of the terminal or output from the speaker of the terminal when the difference between the second number and the first number satisfies a criterion.
  • FIG. 9 is a diagram showing an example of the hardware configuration of the learning data generation device 10.
  • the learning data generation device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input/output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path through which the processor 1020, memory 1030, storage device 1040, input/output interface 1050, and network interface 1060 exchange data with each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor implemented by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a removable medium such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory), and has a recording medium. There is.
  • the recording medium of the storage device 1040 is a program that realizes each function of the learning data generation device 10 (for example, the acquisition section 110, the selection section 120, the image processing section 130, the storage processing section 140, the model generation section 150, and the communication section 160).
  • the module When the processor 1020 reads each of these program modules onto the memory 1030 and executes them, each function corresponding to the program module is realized. Further, the storage device 1040 may function as the learning data storage section 170.
  • the input/output interface 1050 is an interface for connecting the learning data generation device 10 and various input/output devices.
  • the network interface 1060 is an interface for connecting the learning data generation device 10 to a network.
  • This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method by which the network interface 1060 connects to the network may be a wireless connection or a wired connection.
  • the learning data generation device 10 may communicate with the product number confirmation device 20 and the photographing device 30 via the network interface 1060.
  • the recording medium of the storage device 1040 stores program modules that implement each function of the product quantity confirmation device 20 (for example, the calculation section 210, the output section 220, the registration processing section 230, the payment processing section 240, and the communication section 250). There is.
  • Storage device 1040 may function as model storage 260.
  • FIG. 10 is a flowchart illustrating an example of processing performed by the learning data generation device 10.
  • the acquisition unit 110 acquires a plurality of images generated by the photographing device 30 (step S10).
  • the selection unit 120 selects an image to be used as learning data from the images acquired in step S10.
  • the images selected here include at least an image to be used as negative data (step S20).
  • the image processing unit 130 and the storage processing unit 140 then perform processing to generate or add learning data (step S30).
  • the model generation unit 150 of the learning data generation device 10 generates or updates the model at a predetermined timing.
  • the communication unit 160 transmits the generated or updated model to the product number confirmation device 20.
  • the timing at which the communication unit 160 transmits the model to the product number confirmation device 20 is, for example, when the product number confirmation device 20 is not performing product registration processing.
  • FIG. 11 is a flowchart showing an example of the process performed by the product number confirmation device 20.
  • the customer carries the product he or she wishes to purchase to the product number confirmation device 20, and then operates the accessory device 60 of the product number confirmation device 20 to cause the accessory device 60 to read the code of the product.
  • the registration processing unit 230 of the product number confirmation device 20 uses the reading result by the attached device 60 to perform a registration process for the product to be settled, and generates registration information (step S110).
  • the calculation unit 210 of the product number confirmation device 20 processes the image generated by the photographing device 30 during the registration process described above, and calculates a first number (step S130). .
  • the output unit 220 specifies the second number using the registration information generated by the registration processing unit 230.
  • the output unit 220 outputs predetermined information when the difference between the second number and the first number satisfies a criterion, that is, when there is a possibility that the registered information is incorrect (step S140: Yes). (Step S150), returning to step S110.
  • step S140 when the difference between the second number and the first number does not meet the criteria, that is, when the registered information is estimated to be correct (step S140: No), the payment processing unit 240 performs payment processing (step S160).
  • the output unit 220 may further output predetermined information to a terminal operated by the seller of the product, for example, a terminal operated by a store clerk.
  • the product number confirmation device 20 uses a model when processing an image to calculate the first number indicating the number of products. At least part of the learning data used to generate this model is generated by the learning data generation device 10.
  • the learning data generation device 10 includes images that meet predetermined conditions in the learning data as negative data that does not include the target product. Therefore, the accuracy of calculating the first number using this model is high.
  • the product number confirmation device 20 outputs a predetermined output when the difference between the first number and the second number, which is the number of target products registered in the product number confirmation device 20, does not meet the standard. I do. Therefore, the administrator of the product number confirmation device 20 or the customer can recognize that the product may not be accurately registered.
  • a learning data generation device that generates at least a part of learning data for generating a model, The model calculates the number of the target products included in an image generated by a photographing means whose photographing range includes an area in which the target products to be settled are placed,
  • the learning data generation device includes: acquisition means for acquiring a plurality of images generated by the photographing means; Selection means for selecting an image that satisfies a predetermined condition from among the plurality of images to be included in at least a portion of the learning data as negative data that does not include the target product;
  • a learning data generation device comprising: 2.
  • At least one of the predetermined conditions is that a difference between the image and a reference image satisfies a first criterion. 3. In the learning data generation device according to 1 or 2 above, At least one of the predetermined conditions is that a state of a product registration device that performs registration processing of the target product at the generation timing of the image satisfies a second criterion. 4. In the learning data generation device described in 3 above, At least one of the second criteria is that the product registration device does not perform the registration process. 5. In the learning data generation device according to 3 or 4 above, At least one of the second criteria is that the product registration device is in standby mode and powered off. 6.
  • At least one of the predetermined conditions is that the generation timing of the image is a predetermined date and time. 7. In the learning data generation device according to any one of 1 to 6 above, At least one of the predetermined conditions is that the image includes a specific object. 8. In the learning data generation device described in 7 above, The learning data generation device indicates that the specific object cannot be used by a product registration device that performs registration processing of the target product. 9. In the learning data generation device according to any one of 1 to 8 above, At least one of the predetermined conditions is that there is no person in the predetermined area at the generation timing of the image. 10. In the learning data generation device described in 9 above, The learning data generation device, wherein the predetermined area includes the photographing range. 11.
  • image processing means that performs object detection processing on the image serving as the negative data; storage processing means for storing the image subjected to the object detection process in a storage means as at least a part of the learning data in association with data indicating that the product is not included;
  • a learning data generation device comprising: 12.
  • the image processing means is a learning data generation device that performs the object detection process using an algorithm for calculating the number of target products.
  • the image processing means is a learning data generation device that performs the object detection process on a predetermined portion of the image. 14.
  • a learning data generation device comprising a model generation means for generating the model using the learning data. 15. Used together with the learning data generation device according to any one of 1 to 14 above, The model generated using the learning data is used to process the image taken by the photographing means when the customer uses the product registration device that performs the registration process of the target product. Calculation means for calculating a first number that is the number of products; output means for outputting predetermined information when a difference between a second number, which is the number of target products registered in the product registration device, and the first number satisfies a criterion; Product number confirmation device equipped with. 16.
  • a learning data generation method performed by a computer that generates at least a part of learning data for generating a model, the method comprising: The model calculates the number of the target products included in an image generated by a photographing means whose photographing range includes an area in which the target products to be settled are placed, The computer includes: acquiring a plurality of images generated by the photographing means; A learning data generation method, wherein an image satisfying a predetermined condition is selected from among the plurality of images to be included in at least a part of the learning data as negative data that does not include the target product. 17.
  • At least one of the predetermined conditions is that a difference between the image and a reference image satisfies a first criterion. 18.
  • At least one of the predetermined conditions is that a state of a product registration device that performs registration processing of the target product at the generation timing of the image satisfies a second criterion. 19.
  • At least one of the second criteria is that the product registration device does not perform the registration process.
  • At least one of the second criteria is that the product registration device is in standby mode and powered off. 21.
  • At least one of the predetermined conditions is that the generation timing of the image is a predetermined date and time. 22.
  • At least one of the predetermined conditions is that the image includes a specific object.
  • At least one of the predetermined conditions is that there is no person in the predetermined area at the generation timing of the image. 25.
  • the learning data generation method, wherein the predetermined area includes the photographing range. 26.
  • the computer Performing object detection processing on the image serving as the negative data, A learning data generation method, wherein the image subjected to the object detection process is linked to data indicating that a product is not included, and is stored in a storage means as at least a part of the learning data. 27. In the learning data generation method described in 26 above, A learning data generation method, wherein the computer performs the object detection process using an algorithm for calculating the number of target products. 28. In the learning data generation method described in 26 or 27 above, A learning data generation method, wherein the computer performs the object detection process on a predetermined portion of the image. 29.
  • a learning data generation method wherein the computer generates the model using the learning data.
  • a computer used with the learning data generation device according to any one of 1 to 14 above The model generated using the learning data is used to process the image taken by the photographing means when the customer uses the product registration device that performs the registration process of the target product. Calculate the first number, which is the number of products, A product number confirmation method that outputs predetermined information when a difference between a second number, which is the number of target products registered in the product registration device, and the first number satisfies a criterion. 31.
  • a recording medium recording a program that causes a computer to generate at least part of learning data for generating a model,
  • the model calculates the number of the target products included in an image generated by a photographing means whose photographing range includes an area in which the target products to be settled are placed,
  • the program causes the computer to an acquisition function that acquires a plurality of images generated by the photographing means; a selection function that selects an image that satisfies a predetermined condition from among the plurality of images to be included in at least a portion of the learning data as negative data that does not include the target product;
  • a recording medium that has 32.
  • At least one of the predetermined conditions is that a difference between the image and a reference image satisfies a first criterion. 33. In the recording medium according to 31 or 32 above, At least one of the predetermined conditions is that the state of the product registration device satisfies a second criterion at the generation timing of the image. 34. In the recording medium described in 33 above, At least one of the second criteria is that the product registration device does not perform the registration process. 35. In the recording medium described in 33 or 34 above, At least one of the second criteria is that the product registration device is in standby mode and powered off. 36.
  • At least one of the predetermined conditions is that the generation timing of the image is a predetermined date and time. 37. In the recording medium according to any one of items 31 to 36 above, At least one of the predetermined conditions is that the image includes a specific object. 38. In the recording medium described in 37 above, The recording medium indicates that the specific object cannot be used by a product registration device that performs registration processing of the target product. 39. In the recording medium according to any one of items 31 to 38 above, At least one of the predetermined conditions is that there is no person in the predetermined area at the time the image is generated. 40. In the recording medium described in 39 above, The predetermined area includes the photographing range of the recording medium. 41.
  • the program causes the computer to an image processing function that performs object detection processing on the image that is the negative data; a storage processing function that associates the image subjected to the object detection process with data indicating that the product is not included and stores it in a storage means as at least a part of the learning data;
  • the image processing function is a recording medium that performs the object detection process using an algorithm for calculating the number of target products. 43.
  • the image processing function is a recording medium that performs the object detection process on a predetermined portion of the image. 44.
  • the program is a recording medium that causes the computer to have a model generation function that generates the model using the learning data.
  • a recording medium recording a program used in a computer used with the learning data generation device according to any one of 1 to 14 above, The program causes the computer to The model generated using the learning data is used to process the image taken by the photographing means when the customer uses the product registration device that performs the registration process of the target product.
  • a calculation function that calculates a first number that is the number of products; an output function that outputs predetermined information when a difference between a second number, which is the number of target products registered in the product registration device, and the first number satisfies a criterion;
  • the program according to any one of 41 to 44 above. 47.

Abstract

学習用データ生成装置(10)は、取得部(110)及び選択部(120)を備えている。取得部(110)は、撮影手段が生成した複数の画像を取得する。選択部(120)は、取得部(110)が取得した複数の画像のうち、予め定められた条件を満たす画像を、対象商品を含まないネガティブデータとして、学習用データの少なくとも一部に含めるために選択する。この学習用データを用いて生成されたモデルを用いることにより、画像に含まれる商品の個数を精度よく検出できる。

Description

学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体
 本発明は、学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体に関する。
 近年は、顧客が商品を購入する際に、顧客自らが商品登録装置を操作することがある。この場合、商品が正確に登録されない可能性がある。これに対して特許文献1には、以下の処理を行う情報処理装置が記載されている。まず、情報処理装置は、第1所定エリアにある商品、例えば未登録商品を置くためのエリアにある商品を検出する。次いで情報処理装置は、検出された商品が、このエリアの外に移動してから所定時間以内に、第2所定エリア、例えば商品スキャンエリアに移動したか否かを判定する。
国際公開第2016/052229号
 上記したように、顧客自らが商品登録装置を操作する場合、商品が正確に登録されない可能性がある。特許文献1に記載の技術では、第1所定エリアに配置された商品しか追跡することはできない。このため、商品登録装置に対する商品の登録結果の精度が低下する可能性が残る。
 これに対し、本発明者は、商品登録装置で登録された商品の個数と、商品登録装置を含む領域を撮影した画像に含まれる商品の個数とを比較することにより、商品が正確に登録されていない可能性の有無を判断することを検討した。しかし、この処理を行う場合、画像に含まれる商品の個数を精度よく検出する必要がある。
 本発明の目的の一例は、上述した課題を鑑み、画像を処理して商品の個数を検出する際に、この検出の精度を高めることができる、学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体を提供することにある。
 本発明の一態様によれば、モデルを生成するための学習用データの少なくとも一部を生成する学習用データ生成装置であって、
 前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
 前記学習用データ生成装置は、
 前記撮影手段が生成した複数の画像を取得する取得手段と、
 前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する選択手段と、
を備える学習用データ生成装置が提供される。
 本発明の一態様によれば、上記した学習用データ生成装置と共に使用され、
 前記学習用データを用いて生成された前記モデルを用いて、顧客が前記商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出する算出手段と、
 前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する出力手段と、
を備える商品数確認装置が提供される。
 本発明の一態様によれば、モデルを生成するための学習用データの少なくとも一部を生成するコンピュータが行う学習用データ生成方法であって、
 前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
 前記コンピュータは、
  前記撮影手段が生成した複数の画像を取得し、
  前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する、学習用データ生成方法が提供される。
 本発明の一態様によれば、上記した学習用データ生成装置と共に使用されるコンピュータが、
 前記学習用データを用いて生成された前記モデルを用いて、顧客が前記商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出し、
 前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する、商品数確認方法が提供される。
 本発明の一態様によれば、コンピュータに、モデルを生成するための学習用データの少なくとも一部を生成させるプログラムを記録した記録媒体であって、
 前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
 前記プログラムは、前記コンピュータに、
  前記撮影手段が生成した複数の画像を取得する取得機能と、
  前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する選択機能と、
を持たせる記録媒体が提供される。
 本発明の一態様によれば、上記した学習用データ生成装置と共に使用されるコンピュータに用いられるプログラムを記録した記録媒体であって、
 前記プログラムは、前記コンピュータに、
  前記学習用データを用いて生成された前記モデルを用いて、顧客が前記商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出する算出機能と、
  前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する出力機能と、
を持たせる記録媒体が提供される。
 本発明の一態様によれば、画像を処理して商品の個数を検出する際に、この検出の精度を高めることができる、学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体を提供できる。
実施形態に係る学習用データ生成装置の概要を示す図である。 実施形態に係る商品数確認装置の概要を示す図である。 学習用データ生成装置及び商品数確認装置の使用環境を説明するための図である。 商品数確認装置の配置の一例を示す図である。 学習用データ生成装置の機能構成の一例を示す図である。 画像処理部による物体検出処理の対象領域の例を説明するための図である。 学習用データ記憶部が記憶している学習用データの一例を示す図である。 商品数確認装置の機能構成の一例を示す図である。 学習用データ生成装置のハードウェア構成例を示す図である。 学習用データ生成装置が行う処理の一例を示すフローチャートである。 商品数確認装置が行う処理の一例を示すフローチャートである。 図4の変形例を示す図である。
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
 図1は、実施形態に係る学習用データ生成装置10の概要を示す図である。学習用データ生成装置10は、モデルを生成するための学習用データの少なくとも一部を生成する。このモデルは、撮影装置が生成した画像に含まれる対象商品の数を算出する。対象商品は、精算の対象となる商品である。撮影装置の撮影範囲は、対象商品が配置される領域を含んでいる。
 学習用データ生成装置10は、取得部110及び選択部120を備えている。取得部110は、撮影手段が生成した複数の画像を取得する。選択部120は、取得部110が取得した複数の画像のうち、予め定められた条件を満たす画像を、対象商品を含まないネガティブデータとして、学習用データの少なくとも一部に含めるために選択する。
 学習用データ生成装置10によれば、学習用データには、予め定められた条件を満たす画像が、対象商品を含まないネガティブデータとして含まれる。このため、この学習用データを用いて生成されたモデルを用いることにより、画像に含まれる商品の個数を精度よく検出できる。
 図2は、実施形態に係る商品数確認装置20の概要を示す図である。商品数確認装置20は、学習用データ生成装置10と共に使用され、算出部210及び出力部220を備えている。算出部210は、学習用データ生成装置10が生成した学習用データを用いて生成されたモデルを用いて、顧客が商品登録装置を利用する際に撮影装置が撮影した画像を処理することにより、対象商品の数である第1の数を算出する。出力部220は、商品登録装置に登録された対象商品の数である第2の数と、第1の数との差が基準を満たしたときに、所定の情報を出力する。
 商品数確認装置20による第1の数の検出精度は高い。また、商品数確認装置20は、画像に含まれていた対象商品の数と、商品登録装置に登録された対象商品の数の差が基準を満たしていなかった場合に、所定の出力を行う。このため、商品数確認装置20の管理者又は顧客は、商品が正確に登録されていない可能性があることを認識できる。
 以下、学習用データ生成装置10及び商品数確認装置20の詳細例について説明する。
 図3は、学習用データ生成装置10及び商品数確認装置20の使用環境を説明するための図である。本図に示す例において、商品数確認装置20は、商品登録装置も兼ねている。そして学習用データ生成装置10及び商品数確認装置20は、撮影装置30及び商品情報記憶部40と共に使用される。
 商品数確認装置20は、店舗又はオフィスに設置されている。この店舗又はオフィスには商品が配置されている。商品数確認装置20は、顧客が購入しようとする商品を登録し、登録された商品の精算処理を行う。すなわち商品数確認装置20は、商品登録装置及び精算装置としても機能する。商品数確認装置20は、POS端末であってもよい。対象商品の登録処理及び精算処理において、商品数確認装置20は顧客によって操作される。また、商品数確認装置20は、対象商品の登録処理及び精算処理において、商品情報記憶部40を使用する。
 ただし、商品数確認装置20は対象商品の登録処理及び精算処理を行わなくてもよい。この場合、商品数確認装置20は、例えばクラウドサーバなど、POS端末とは別の装置になる。
 商品情報記憶部40は、商品の精算処理に必要な情報、例えば商品の価格をその商品の商品識別情報に対応付けて記憶している。商品情報記憶部40は、例えば店舗内に設置されたサーバの一部であるが、これに限定されない。
 撮影装置30は、少なくとも商品数確認装置20の電源が入っている間は動作している。撮影装置30は、24時間動作していてもよい。また、撮影装置30は、画素ごとにRGBデータを有する画像を生成してもよいし、画素ごとに深度情報を有する画像を生成してもよい。撮影装置30は、定期的に画像を生成する。これらの画像は動画を構成していてもよい。撮影装置30のフレームレートは、例えば0.1fps以上30fps以下であるが、これらに限定されない。
 撮影装置30の取り付け位置は任意である。撮影装置30は、商品数確認装置20の上方、例えば商品数確認装置20が配置されている部屋の天井に取り付けられていてもよいし、商品数確認装置20に取り付けられていてもよい。
 撮影装置30の撮影範囲は、対象商品の登録処理が行われる際に対象商品が配置される領域を含んでいる。対象商品が配置される領域は、一時的に対象商品が配置される領域、及び、対象商品の商品識別情報が商品数確認装置20に登録される際に当該対象商品が配置される領域、の少なくとも一方を含んでいる。前者の例は台50のうち対象商品が一時的に載せられる領域である。後者の例は、商品識別情報を対象商品から読み取る付属機器60が、商品識別情報を読み取ることができる領域(空間)である。
 なお、撮影装置30の撮影範囲は、さらに、商品数確認装置20、及び商品陳列領域を含んでいてもよい。商品数確認装置20が登録可能な商品は、この撮影範囲に含まれている商品陳列領域にのみ配置されていてもよいし、この撮影範囲外の商品陳列領域に配置されていてもよい。
 学習用データ生成装置10は、撮影装置30が生成した画像を用いて、モデルを生成するための学習用データを生成する。このモデルは、撮影範囲に位置する対象商品の数を算出するために用いられる。学習用データ生成装置10は、撮影装置30が生成した画像のうち予め定められた条件を満たす画像を、対象商品を含まないネガティブデータとして学習用データに追加する。
 なお、本図に示す例において、学習用データ生成装置10は、上記したモデルも生成する。ただし、このモデル生成処理は、学習用データ生成装置10とは異なる装置によって行われてもよい。
 商品数確認装置20は、撮影装置30が撮影した画像を処理することにより、撮影範囲に位置する対象商品の数すなわち第1の数を算出する。この際、商品数確認装置20は、学習用データ生成装置10が生成したモデルを使用する。そして商品数確認装置20は、第1の数と、商品数確認装置20に登録された対象商品の数すなわち第2の数との差が基準を満たした場合に、所定の出力を行う。
 図4は、商品数確認装置20の配置の一例を示す図である。商品数確認装置20は、台50の上に載置されている。台50は、商品数確認装置20よりも十分大きく、その一部は商品陳列領域510となっている。本図に示す例において、撮影装置30の撮影範囲は、商品数確認装置20及び商品陳列領域510を含んでいる。なお、図3を用いて説明したように、商品数確認装置20に登録され得る対象商品は、商品陳列領域510以外の場所に陳列されていることもある。
 台50の上には、商品数確認装置20の付属機器60、例えばカードリーダ、バーコードリーダ、2次元コードリーダ、商品に取り付けられた無線通信タグと通信する近距離無線通信装置、携帯端末と通信する近距離無線通信装置、及びレシート印刷装置の少なくとも一つが配置されていることが多い。また、台50の周囲には、ごみ箱などの物体70が配置されていることがある。撮影範囲に付属機器60及び物体70が含まれている場合、これら付属機器60及び物体70は、対象商品として誤認識される可能性がある。上記したネガティブデータは、これらが対象商品として誤認識されることを防ぐために用いられる。
 図12は、撮影装置30の撮影範囲の変形例を示す図である。本図に示す例において、撮影範囲は、商品陳列領域510及び付属機器60を含んでいるが、商品数確認装置20を含んでいない。このように、撮影装置30の撮影範囲は、対象商品が配置される領域を含んでいればよい。
 図5は、学習用データ生成装置10の機能構成の一例を示す図である。学習用データ生成装置10は、取得部110、選択部120、画像処理部130、記憶処理部140、モデル生成部150、及び通信部160を備えている。学習用データ生成装置10は、学習用データ記憶部170を利用可能である。
 取得部110は、撮影装置30が生成した複数の画像を取得する。取得部110は、例えば撮影装置30からこれらの画像を取得するが、これらの画像を記憶する記憶装置からこれらの画像を取得してもよい。取得部110は、撮影装置30が生成したすべての画像を取得してもよいし、一部の画像のみを取得してもよい。また取得部110は、画像を取得する際、これらの画像の撮影日時データも取得する。
 なお、取得部110は、取得した複数の画像を記憶部、例えば学習用データ記憶部170に記憶させてもよい。
 選択部120は、取得部110が取得した複数の画像のうち、予め定められた条件を満たす画像を、対象商品を含まないネガティブデータとして選択し、学習用データの少なくとも一部として学習用データ記憶部170に記憶させる。この際、選択部120は、必要に応じて、各画像の撮影日時データを用いる。ここで、予め定められた条件は、例えば、商品数確認装置20が使用されていない可能性が高いことを示す条件である。予め定められた条件の例は、例えば以下の(1)~(5)の少なくとも一つである。
(1)当該画像と基準画像との差分が第1基準を満たすこと。
 基準画像は、例えば、予め設定された背景画像、又は撮影装置30が生成した画像のうち当該画像から所定時間(又は所定枚数前)に生成された画像である。また、第1基準の一例は、差分が基準値以下であること、である。この条件を満たす場合、商品数確認装置20の周囲で動いている物体は無いため、商品数確認装置20は使用されていない可能性が高い。
(2)当該画像の生成タイミングにおいて商品数確認装置20の状態が第2基準を満たすこと。
 この場合、取得部110は、商品数確認装置20又は商品数確認装置20を管理する装置から、日時毎に商品数確認装置20の状態を示す情報すなわち状態の推移を示す情報を取得する。選択部120は、この情報を用いる。また、第2基準は、商品数確認装置20が使用されていないことを示す状態である。第2基準の例は、以下の通りである。
・商品数確認装置20が商品の登録処理を行っていないこと
・商品数確認装置20が待機モード及び電源オフになっていること
(3)当該画像の生成タイミングが予め定められた日時であること。
 予め定められた日時は、店舗が閉店又はオフィスが閉鎖している日時、又は、商品数確認装置20の運用計画において商品数確認装置20が使用されない日時である。なお、ここでの日時は、月日又は曜日別での時間帯を指すこともある。
(4)当該画像が特定の物体を含むこと。
 特定の物体は、商品数確認装置20が使用できないことを示す物体、例えば看板である。この場合、選択部120は、この物体の特徴量を予め記憶している。そして選択部120は、画像処理を行うことにより、この特徴量を有する物体の有無を判断する。
(5)当該画像の生成タイミングにおいて、予め定められた領域に人がいないこと
 予め定められた領域は、店舗又はオフィスの特定の領域である。この領域は、撮影装置30の撮影範囲を含んでいてもよいし、含んでいなくてもよい。後者の場合、予め定められた領域は、商品数確認装置20の撮影範囲の周辺領域、例えば商品数確認装置20に向かう通路を含んでいてもよい。ここで行われる処理の例は、以下の(5-1)~(5-3)である。
(5-1)選択部120は、取得部110が取得した画像に対して人検出処理を行い、人が検出できなかった画像をネガティブデータにする。
(5-2)選択部120は、店舗又はオフィスに配置された監視用の撮影装置から画像を取得し、この画像に対して人検出処理を行う。そして選択部120は、予め定められた領域に人がいないタイミングを特定し、このタイミングに撮影装置30によって生成された画像をネガティブデータにする。
(5-3)選択部120は、予め定められた領域を検出範囲とする人感センサの検出結果を用いて、予め定められた領域に人がいないタイミングを特定する。人感センサは、例えば赤外線センサである。そして商品数確認装置20は、このタイミングに撮影装置30によって生成された画像をネガティブデータにする。
 画像処理部130は、選択部120が選択した画像すなわちネガティブデータとなる画像に対して、物体検出処理を行う。ここで行われる物体検出処理のアルゴリズムは、商品数確認装置20が第1の数を算出するために用いるアルゴリズム、例えば商品数確認装置20が使用するモデルと同じであるのが好ましい。
 記憶処理部140は、商品数確認装置20が選択した複数の画像のそれぞれを、学習用データとして学習用データ記憶部170に記憶させる。この際、これら複数の画像は、ネガティブデータとして学習用データ記憶部170に記憶される。具体的には、記憶処理部140は、複数の画像のそれぞれを、当該画像に対する画像処理部130の処理結果に紐づけて、学習用データ記憶部170に記憶させる。
 学習用データ記憶部170に記憶されるネガティブデータは、画像と、その画像には商品が含まれていないことを示すデータとを含んでいる。商品が含まれていないことを示すデータの一例は、「商品位置の示すデータがないこと」である。一方、画像に商品が含まれているポジティブデータは、画像と、その画像内における商品の位置を示すデータと、を含んでいる。学習用データ記憶部170は、このポジティブデータも含んでいるのが好ましい。
 モデル生成部150は、学習用データ記憶部170が記憶している学習データを用いて、モデルを生成又は更新する。ここで行われる処理の一例は、以下の通りである。
 まず、モデル生成部150は、学習データに対して、現状のモデルで物体の検出処理を行う。この処理により、各画像において、当該画像内の部分別に、物体らしさを示す値が生成される。そして、モデル生成部150は、検出されるべき物体のある領域(ポジティブ)については、物体らしさを示す値が増加するようにモデルのパラメータを調整する。一方、モデル生成部150は、検出されるべき物体のない領域(ネガティブ)については、上記の物体らしさを示す値が減少するようにモデルのパラメータを調整する。
 この処理において、モデル生成部150は、学習用データとして、上記したネガティブデータのみを使用してもよいし、商品を含むポジティブデータを含んでいてもよい。ネガティブデータにおいて、説明変数は、画像及び画像を加工したデータ(例えば画像処理部130に寄る物体検出の結果)の少なくとも一方であり、目的変数は0である。一方、ポジティブデータにおいて、説明変数は、画像及び画像を加工したデータの少なくとも一方であり、目的変数は、その画像に含まれている商品の数である。モデル生成部150は、生成又は更新したモデルを、学習用データ記憶部170に記憶させる。
 通信部160は、モデル生成部150が生成又は更新したモデルを、商品数確認装置20に送信する。
 図6は、画像処理部130による物体検出処理の対象領域の例を説明するための図である。画像処理部130による処理は、処理の対象となる画像のうち、予め定められた部分に対して行われてもよい。例えば、商品数確認装置20が第1の数を算出する処理において、撮影装置30が生成した画像の特定の部分のみに対して商品の検出処理を行うことがある。この場合、画像処理部130は、この特定の部分に対してのみ、物体検出処理を行ってもよい。
 予め定められた部分は、例えば、商品陳列領域510を含まず、かつ、付属機器60を含むように設定される。一例として、予め定められた部分は、コードリーダとしての付属機器60が商品のコードを読み取る際に商品が配置される領域を含んでいる。また、この予め定められた部分は、さらに物体70を含むように設定されてもよい。
 なお、予め定められた部分の指定方法には、この部分を指定する場合と、この部分以外の領域を指定する場合と、の2通りがある。
 図7は、学習用データ記憶部170が記憶している学習用データの一例を示す図である。本図に示す例において、学習用データ記憶部170は、複数の画像のそれぞれを、その画像の撮影日時データ、及び画像処理部130による物体検出の結果を示すデータに紐づけて記憶している。
 図8は、商品数確認装置20の機能構成の一例を示す図である。商品数確認装置20は、モデル記憶部260を利用できる。モデル記憶部260は、学習用データ生成装置10のモデル生成部150が生成したモデルを記憶している。モデル記憶部260は商品数確認装置20の外にあってもよいし、商品数確認装置20の一部であってもよい。
 そして商品数確認装置20は、算出部210、出力部220、登録処理部230、精算処理部240、及び通信部250を有している。
 通信部250は、学習用データ生成装置10と通信して、モデルを取得する。そして通信部250は、取得したモデルをモデル記憶部260に記憶させる。
 登録処理部230は、例えば付属機器60による読み取り結果を用いて、精算対象となる商品すなわち対象商品の登録処理を行う。例えば付属機器60は、対象商品に付与されたコードを読み取る。このコードは、商品識別情報を含んでいる。登録処理部230は、付属機器60が読み取ったコードを用いて、対象商品の登録処理を行う。登録処理の結果によって生成された登録情報は、少なくとも一つの商品識別情報を含んでいる。
 精算処理部240は、登録処理部230が生成した登録情報及び商品情報記憶部40が記憶している情報を用いて、顧客が支払うべき金額を算出する。そして精算処理部240は、この金額の精算処理を行う。この際、精算処理部240は、決済方法を特定するために、付属機器60によるカードや携帯端末の読み取り結果を用いる。ここで用いられる決済方法は、電子的な決済であり、例えば、クレジットカードを用いた決済、電子マネーを用いた決済、及び2次元コードを用いた決済の少なくとも一つである。
 算出部210は、モデル記憶部260が記憶しているモデルを用いて、顧客が商品数確認装置20を利用する際に撮影装置30が生成した画像を処理することにより、第1の数を算出する。ここで用いられる画像は、対象商品の登録処理の間の顧客の動作を示す動画、すなわち複数のフレーム画像であってもよい。なお、算出された第1の数は、顧客が購入しようとしている対象商品の数に相当している。
 算出部210による処理対象となる画像は、例えば、登録処理部230が動作している間に生成された画像を含んでいる。この画像が生成されたタイミングにおいて、対象商品は、台50に載置されている場合もあれば、顧客に持たれている場合もある。算出部210による処理対象となる画像は、さらに、登録処理部230が動作する前の所定時間以内に生成された画像を含んでいてもよい。この所定時間は、例えば1秒以上30秒以下の範囲、好ましくは5秒以上15秒以下の範囲から選択される。
 出力部220は、登録処理部230が生成した登録情報を用いて、商品数確認装置20に登録された対象商品の数すなわち第2の数を算出する。そして出力部220は、第2の数と第1の数との差が基準を満たしたときに、所定の情報を出力する。この基準となる数は、1であってもよいし、2以上であってもよい。出力部220が出力する所定の情報は、商品数確認装置20に対する商品の登録結果が誤っている可能性を示すものであり、例えば商品数確認装置20のディスプレイに表示される。この際、出力部220は、商品数確認装置20のスピーカから所定の音声を出力してもよい。商品数確認装置20を操作している顧客は、出力部220による出力を認識することにより、商品数確認装置20に対する商品の登録結果が誤っている可能性がある、と認識できる。
 なお、商品数確認装置20がクラウドサーバなど、POS端末とは別の装置として用いられる場合、商品数確認装置20は、登録処理部230及び精算処理部240を有していない。この場合、商品数確認装置20とは別に、登録処理部230及び精算処理部240を有する端末、例えばPOS端末が、例えば図5の商品数確認装置20の位置に配置される。そして商品数確認装置20の出力部220は、第2の数と第1の数との差が基準を満たすか否かを示す情報をこの端末に送信する。この端末は、第2の数と第1の数との差が基準を満たしたときに、所定の情報を、当該端末のディスプレイに表示させたり、当該端末のスピーカから出力させる。
 図9は、学習用データ生成装置10のハードウェア構成例を示す図である。学習用データ生成装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
 バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
 プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
 メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
 ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどのリムーバブルメディア、又はROM(Read Only Memory)などで実現される補助記憶装置であり、記録媒体を有している。ストレージデバイス1040の記録媒体は学習用データ生成装置10の各機能(例えば取得部110、選択部120、画像処理部130、記憶処理部140、モデル生成部150、及び通信部160)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は学習用データ記憶部170として機能してもよい。
 入出力インタフェース1050は、学習用データ生成装置10と各種入出力機器とを接続するためのインタフェースである。
 ネットワークインタフェース1060は、学習用データ生成装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。学習用データ生成装置10は、ネットワークインタフェース1060を介して商品数確認装置20及び撮影装置30と通信してもよい。
 なお、商品数確認装置20のハードウェア構成も、図9に示した学習用データ生成装置10のハードウェア構成と同様である。そしてストレージデバイス1040の記録媒体は商品数確認装置20の各機能(例えば算出部210、出力部220、登録処理部230、精算処理部240、及び通信部250)を実現するプログラムモジュールを記憶している。ストレージデバイス1040は、モデル記憶部260として機能してもよい。
 図10は、学習用データ生成装置10が行う処理の一例を示すフローチャートである。
 まず、取得部110は、撮影装置30が生成した複数の画像を取得する(ステップS10)。次いで選択部120は、ステップS10で取得された画像から、学習用データとして用いるべき画像を選択する。ここで選択される画像は、少なくともネガティブデータとして使用されるべき画像を含んでいる(ステップS20)。そして画像処理部130及び記憶処理部140は、学習用データを生成又は追加するための処理を行う(ステップS30)。
 その後、学習用データ生成装置10のモデル生成部150は、所定のタイミングで、モデルの生成又は更新を行う。通信部160は、生成又は更新されたモデルを、商品数確認装置20に送信する。通信部160がモデルを商品数確認装置20に送信するタイミングは、例えば、商品数確認装置20が商品登録処理を行っていないときである。
 図11は、商品数確認装置20が行う処理の一例を示すフローチャートである。顧客は、購入しようとする商品を商品数確認装置20まで運び、その後、商品数確認装置20の付属機器60を操作し、商品のコードを付属機器60に読み取らせる。
 商品数確認装置20の登録処理部230は、付属機器60による読み取り結果を用いて、精算対象となる商品の登録処理を行い、登録情報を生成する(ステップS110)。この登録処理が終了したら(ステップS120)、商品数確認装置20の算出部210は、撮影装置30が上記した登録処理中に生成した画像を処理し、第1の数を算出する(ステップS130)。
 そして出力部220は、登録処理部230が生成した登録情報を用いて、第2の数を特定する。出力部220は、第2の数と第1の数との差が基準を満たしたとき、すなわち登録情報が誤っている可能性があるとき(ステップS140:Yes)に、所定の情報を出力し(ステップS150)、ステップS110に戻る。
 一方、第2の数と第1の数との差が基準を満たしていないとき、すなわち登録情報が正しいと推定されるとき(ステップS140:No)、精算処理部240は精算処理を行う(ステップS160)。
 なお、ステップS150において、出力部220は、さらに、商品の販売者が操作する端末、例えば店舗の店員が操作する端末に、所定の情報を出力してもよい。
 以上、本実施形態によれば、商品数確認装置20は、画像を処理して商品の数を示す第1の数を算出する際に、モデルを用いる。このモデルを生成するときの学習用データの少なくとも一部は、学習用データ生成装置10によって生成される。学習用データ生成装置10は、学習用データに、予め定められた条件を満たす画像を、対象商品を含まないネガティブデータとして含める。従って、このモデルによる第1の数の算出制度は高くなる。
 そして商品数確認装置20は、第1の数と、商品数確認装置20に登録された対象商品の数である第2の数と、の差が基準を満たしていなかった場合に、所定の出力を行う。このため、商品数確認装置20の管理者又は顧客は、商品が正確に登録されていない可能性があることを認識できる。
 以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
 また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
 1.モデルを生成するための学習用データの少なくとも一部を生成する学習用データ生成装置であって、
 前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
 前記学習用データ生成装置は、
 前記撮影手段が生成した複数の画像を取得する取得手段と、
 前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する選択手段と、
を備える学習用データ生成装置。
2.上記1に記載の学習用データ生成装置において、
 前記予め定められた条件の少なくとも一つは、当該画像と基準画像との差分が第1基準を満たすこと、である学習用データ生成装置。
3.上記1又は2に記載の学習用データ生成装置において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて前記対象商品の登録処理を行う商品登録装置の状態が第2基準を満たすこと、である学習用データ生成装置。
4.上記3に記載の学習用データ生成装置において、
 前記第2基準の少なくとも一つは、前記商品登録装置が前記登録処理を行っていないこと、である学習用データ生成装置。
5.上記3又は4に記載の学習用データ生成装置において、
 前記第2基準の少なくとも一つは、前記商品登録装置が待機モード及び電源オフになっていること、である学習用データ生成装置。
6.上記1~5のいずれか一項に記載の学習用データ生成装置において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングが予め定められた日時であること、である学習用データ生成装置。
7.上記1~6のいずれか一項に記載の学習用データ生成装置において、
 前記予め定められた条件の少なくとも一つは、当該画像が特定の物体を含むこと、である学習用データ生成装置。
8.上記7に記載の学習用データ生成装置において、
 前記特定の物体は、前記対象商品の登録処理を行う商品登録装置が使用できないことを示している、学習用データ生成装置。
9.上記1~8のいずれか一項に記載の学習用データ生成装置において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて、予め定められた領域に人がいないこと、である学習用データ生成装置。
10.上記9に記載の学習用データ生成装置において、
 前記予め定められた領域は、前記撮影範囲を含む、学習用データ生成装置。
11.上記1~10のいずれか一項に記載の学習用データ生成装置において、
 前記ネガティブデータとなる前記画像に対して物体検出処理を行う画像処理手段と、
 前記物体検出処理が行われた前記画像を、商品が含まれていないことを示すデータに紐づけて、前記学習用データの少なくとも一部として記憶手段に記憶させる記憶処理手段と、
を備える、学習用データ生成装置。
12.上記11に記載の学習用データ生成装置において、
 前記画像処理手段は、前記対象商品の数を算出するためのアルゴリズムを用いて、前記物体検出処理を行う学習用データ生成装置。
13.上記11又は12に記載の学習用データ生成装置において、
 前記画像処理手段は、前記画像のうち予め定められた部分に対して、前記物体検出処理を行う学習用データ生成装置。
14.上記1~13のいずれか一項に記載の学習用データ生成装置において、
 前記学習用データを用いて前記モデルを生成するモデル生成手段を備える、学習用データ生成装置。
15.上記1~14のいずれか一項に記載の学習用データ生成装置と共に使用され、
 前記学習用データを用いて生成された前記モデルを用いて、顧客が前記対象商品の登録処理を行う商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出する算出手段と、
 前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する出力手段と、
を備える商品数確認装置。
16.モデルを生成するための学習用データの少なくとも一部を生成するコンピュータが行う学習用データ生成方法であって、
 前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
 前記コンピュータは、
  前記撮影手段が生成した複数の画像を取得し、
  前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する、学習用データ生成方法。
17.上記16に記載の学習用データ生成方法において、
 前記予め定められた条件の少なくとも一つは、当該画像と基準画像との差分が第1基準を満たすこと、である学習用データ生成方法。
18.上記16又は17に記載の学習用データ生成方法において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて前記対象商品の登録処理を行う商品登録装置の状態が第2基準を満たすこと、である学習用データ生成方法。
19.上記18に記載の学習用データ生成方法において、
 前記第2基準の少なくとも一つは、前記商品登録装置が前記登録処理を行っていないこと、である学習用データ生成方法。
20.上記18又は19に記載の学習用データ生成方法において、
 前記第2基準の少なくとも一つは、前記商品登録装置が待機モード及び電源オフになっていること、である学習用データ生成方法。
21.上記16~20のいずれか一項に記載の学習用データ生成方法において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングが予め定められた日時であること、である学習用データ生成方法。
22.上記16~21のいずれか一項に記載の学習用データ生成方法において、
 前記予め定められた条件の少なくとも一つは、当該画像が特定の物体を含むこと、である学習用データ生成方法。
23.上記22に記載の学習用データ生成方法において、
 前記特定の物体は、前記対象商品の登録処理を行う商品登録装置が使用できないことを示している、学習用データ生成方法。
24.上記16~23のいずれか一項に記載の学習用データ生成方法において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて、予め定められた領域に人がいないこと、である学習用データ生成方法。
25.上記24に記載の学習用データ生成方法において、
 前記予め定められた領域は、前記撮影範囲を含む、学習用データ生成方法。
26.上記16~25のいずれか一項に記載の学習用データ生成方法において、
 前記コンピュータが、
  前記ネガティブデータとなる前記画像に対して物体検出処理を行い、
 前記物体検出処理が行われた前記画像を、商品が含まれていないことを示すデータに紐づけて、前記学習用データの少なくとも一部として記憶手段に記憶させる、学習用データ生成方法。
27.上記26に記載の学習用データ生成方法において、
 前記コンピュータは、前記対象商品の数を算出するためのアルゴリズムを用いて、前記物体検出処理を行う学習用データ生成方法。
28.上記26又は27に記載の学習用データ生成方法において、
 前記コンピュータは、前記画像のうち予め定められた部分に対して、前記物体検出処理を行う学習用データ生成方法。
29.上記16~28のいずれか一項に記載の学習用データ生成方法において、
 前記コンピュータは、前記学習用データを用いて前記モデルを生成する、学習用データ生成方法。
30.上記1~14のいずれか一項に記載の学習用データ生成装置と共に使用されるコンピュータが、
 前記学習用データを用いて生成された前記モデルを用いて、顧客が前記対象商品の登録処理を行う商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出し、
 前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する、商品数確認方法。
31.コンピュータに、モデルを生成するための学習用データの少なくとも一部を生成させるプログラムを記録した記録媒体であって、
 前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
 前記プログラムは、前記コンピュータに、
  前記撮影手段が生成した複数の画像を取得する取得機能と、
  前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する選択機能と、
を持たせる記録媒体。
32.上記31に記載の記録媒体において、
 前記予め定められた条件の少なくとも一つは、当該画像と基準画像との差分が第1基準を満たすこと、である記録媒体。
33.上記31又は32に記載の記録媒体において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて前記商品登録装置の状態が第2基準を満たすこと、である記録媒体。
34.上記33に記載の記録媒体において、
 前記第2基準の少なくとも一つは、前記商品登録装置が前記登録処理を行っていないこと、である記録媒体。
35.上記33又は34に記載の記録媒体において、
 前記第2基準の少なくとも一つは、前記商品登録装置が待機モード及び電源オフになっていること、である記録媒体。
36.上記31~35のいずれか一項に記載の記録媒体において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングが予め定められた日時であること、である記録媒体。
37.上記31~36のいずれか一項に記載の記録媒体において、
 前記予め定められた条件の少なくとも一つは、当該画像が特定の物体を含むこと、である記録媒体。
38.上記37に記載の記録媒体において、
 前記特定の物体は、前記対象商品の登録処理を行う商品登録装置が使用できないことを示している、記録媒体。
39.上記31~38のいずれか一項に記載の記録媒体において、
 前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて、予め定められた領域に人がいないこと、である記録媒体。
40.上記39に記載の記録媒体において、
 前記予め定められた領域は、前記撮影範囲を含む、記録媒体。
41.上記31~40のいずれか一項に記載の記録媒体において、
 前記プログラムは、前記コンピュータに、
  前記ネガティブデータとなる前記画像に対して物体検出処理を行う画像処理機能と、
 前記物体検出処理が行われた前記画像を、商品が含まれていないことを示すデータに紐づけて、前記学習用データの少なくとも一部として記憶手段に記憶させる記憶処理機能と、
を持たせる、記録媒体。
42.上記41に記載の記録媒体において、
 前記画像処理機能は、前記対象商品の数を算出するためのアルゴリズムを用いて、前記物体検出処理を行う記録媒体。
43.上記41又は42に記載の記録媒体において、
 前記画像処理機能は、前記画像のうち予め定められた部分に対して、前記物体検出処理を行う記録媒体。
44.上記31~43のいずれか一項に記載の記録媒体において、
 前記プログラムは、前記コンピュータに、前記学習用データを用いて前記モデルを生成するモデル生成機能を持たせる、記録媒体。
45.上記1~14のいずれか一項に記載の学習用データ生成装置と共に使用されるコンピュータに用いられるプログラムを記録した記録媒体であって、
 前記プログラムは、前記コンピュータに、
  前記学習用データを用いて生成された前記モデルを用いて、顧客が前記対象商品の登録処理を行う商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出する算出機能と、
  前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する出力機能と、
を持たせる記録媒体。
46.上記41~44のいずれか一項に記載のプログラム。
47.上記45に記載のプログラム。
10 学習用データ生成装置
20 商品数確認装置
30 撮影装置
40 商品情報記憶部
50 台
60 付属機器
70 物体
110 取得部
120 選択部
130 画像処理部
140 記憶処理部
150 モデル生成部
160 通信部
170 学習用データ記憶部170
210 算出部
220 出力部
230 登録処理部
240 精算処理部
250 通信部
260 モデル記憶部

Claims (19)

  1.  モデルを生成するための学習用データの少なくとも一部を生成する学習用データ生成装置であって、
     前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
     前記学習用データ生成装置は、
     前記撮影手段が生成した複数の画像を取得する取得手段と、
     前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する選択手段と、
    を備える学習用データ生成装置。
  2.  請求項1に記載の学習用データ生成装置において、
     前記予め定められた条件の少なくとも一つは、当該画像と基準画像との差分が第1基準を満たすこと、である学習用データ生成装置。
  3.  請求項1又は2に記載の学習用データ生成装置において、
     前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて、前記対象商品の登録処理を行う商品登録装置の状態が第2基準を満たすこと、である学習用データ生成装置。
  4.  請求項3に記載の学習用データ生成装置において、
     前記第2基準の少なくとも一つは、前記商品登録装置が前記登録処理を行っていないこと、である学習用データ生成装置。
  5.  請求項3又は4に記載の学習用データ生成装置において、
     前記第2基準の少なくとも一つは、前記商品登録装置が待機モード及び電源オフになっていること、である学習用データ生成装置。
  6.  請求項1~5のいずれか一項に記載の学習用データ生成装置において、
     前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングが予め定められた日時であること、である学習用データ生成装置。
  7.  請求項1~6のいずれか一項に記載の学習用データ生成装置において、
     前記予め定められた条件の少なくとも一つは、当該画像が特定の物体を含むこと、である学習用データ生成装置。
  8.  請求項7に記載の学習用データ生成装置において、
     前記特定の物体は、前記対象商品の登録処理を行う商品登録装置が使用できないことを示している、学習用データ生成装置。
  9.  請求項1~8のいずれか一項に記載の学習用データ生成装置において、
     前記予め定められた条件の少なくとも一つは、当該画像の生成タイミングにおいて、予め定められた領域に人がいないこと、である学習用データ生成装置。
  10.  請求項9に記載の学習用データ生成装置において、
     前記予め定められた領域は、前記撮影範囲を含む、学習用データ生成装置。
  11.  請求項1~10のいずれか一項に記載の学習用データ生成装置において、
     前記ネガティブデータとなる前記画像に対して物体検出処理を行う画像処理手段と、
     前記物体検出処理が行われた前記画像を、商品が含まれていないことを示すデータに紐づけて、前記学習用データの少なくとも一部として記憶手段に記憶させる記憶処理手段と、
    を備える、学習用データ生成装置。
  12.  請求項11に記載の学習用データ生成装置において、
     前記画像処理手段は、前記対象商品の数を算出するためのアルゴリズムを用いて、前記物体検出処理を行う学習用データ生成装置。
  13.  請求項11又は12に記載の学習用データ生成装置において、
     前記画像処理手段は、前記画像のうち予め定められた部分に対して、前記物体検出処理を行う学習用データ生成装置。
  14.  請求項1~13のいずれか一項に記載の学習用データ生成装置において、
     前記学習用データを用いて前記モデルを生成するモデル生成手段を備える、学習用データ生成装置。
  15.  請求項1~14のいずれか一項に記載の学習用データ生成装置と共に使用され、
     前記学習用データを用いて生成された前記モデルを用いて、顧客が前記対象商品の登録処理を行う商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出する算出手段と、
     前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する出力手段と、
    を備える商品数確認装置。
  16.  モデルを生成するための学習用データの少なくとも一部を生成するコンピュータが行う学習用データ生成方法であって、
     前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
     前記コンピュータは、
      前記撮影手段が生成した複数の画像を取得し、
      前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する、学習用データ生成方法。
  17.  請求項1~14のいずれか一項に記載の学習用データ生成装置と共に使用されるコンピュータが、
     前記学習用データを用いて生成された前記モデルを用いて、顧客が前記対象商品の登録処理を行う商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出し、
     前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する、商品数確認方法。
  18.  コンピュータに、モデルを生成するための学習用データの少なくとも一部を生成させるプログラムを記録した記録媒体であって、
     前記モデルは、精算の対象となる対象商品が配置される領域を撮影範囲に含む撮影手段が生成した画像に含まれる前記対象商品の数を算出し、
     前記プログラムは、前記コンピュータに、
      前記撮影手段が生成した複数の画像を取得する取得機能と、
      前記複数の画像のうち、予め定められた条件を満たす画像を、前記対象商品を含まないネガティブデータとして、前記学習用データの少なくとも一部に含めるために選択する選択機能と、
    を持たせる記録媒体。
  19.  請求項1~14のいずれか一項に記載の学習用データ生成装置と共に使用されるコンピュータに用いられるプログラムを記録した記録媒体であって、
     前記プログラムは、前記コンピュータに、
      前記学習用データを用いて生成された前記モデルを用いて、顧客が前記対象商品の登録処理を行う商品登録装置を利用する際に前記撮影手段が撮影した前記画像を処理することにより、前記対象商品の数である第1の数を算出する算出機能と、
      前記商品登録装置に登録された前記対象商品の数である第2の数と、前記第1の数との差が基準を満たしたときに、所定の情報を出力する出力機能と、
    を持たせる記録媒体。
PCT/JP2022/011897 2022-03-16 2022-03-16 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 WO2023175765A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/011897 WO2023175765A1 (ja) 2022-03-16 2022-03-16 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/011897 WO2023175765A1 (ja) 2022-03-16 2022-03-16 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023175765A1 true WO2023175765A1 (ja) 2023-09-21

Family

ID=88022534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011897 WO2023175765A1 (ja) 2022-03-16 2022-03-16 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023175765A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035094A (ja) * 2013-08-08 2015-02-19 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム
JP6209716B1 (ja) * 2016-06-02 2017-10-11 サインポスト株式会社 情報処理システム、情報処理方法、及びプログラム
WO2021150161A1 (en) * 2020-01-22 2021-07-29 Itab Shop Products Ab Customer behavioural system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035094A (ja) * 2013-08-08 2015-02-19 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム
JP6209716B1 (ja) * 2016-06-02 2017-10-11 サインポスト株式会社 情報処理システム、情報処理方法、及びプログラム
WO2021150161A1 (en) * 2020-01-22 2021-07-29 Itab Shop Products Ab Customer behavioural system

Similar Documents

Publication Publication Date Title
CN109559454B (zh) 基于神经网络识别商品的收银方法以及自助收银台
US11501614B2 (en) Skip-scanning identification method, apparatus, and self-service checkout terminal and system
US20170249617A1 (en) Weighing system
JP7163604B2 (ja) 精算システム、精算方法及びプログラム
US20130141585A1 (en) Checkout system and method for operating checkout system
US9990619B2 (en) Holding manner learning apparatus, holding manner learning system and holding manner learning method
CN105608808A (zh) 信息处理装置及其控制方法、店铺系统
JP5518918B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5571633B2 (ja) 健康度報知装置、プログラム及び健康度報知方法
CN107533783A (zh) 产品登记装置、程序和控制方法
EP3249621A1 (en) Information processing apparatus and method for ensuring selection operation
WO2010084744A1 (ja) 顧客分析システム、顧客データ収集装置、顧客分析装置、顧客分析方法、及びプログラム
US20180308084A1 (en) Commodity information reading device and commodity information reading method
WO2023175765A1 (ja) 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体
JP6291091B2 (ja) 商品販売データ処理装置およびプログラム
JP2018136621A (ja) 情報処理装置およびプログラム
WO2019181028A1 (ja) 精算システム、精算方法及びプログラム
WO2021171553A1 (ja) 処理装置、処理方法及びプログラム
WO2023175767A1 (ja) 商品確認装置、商品確認方法、及び記録媒体
JP7435758B2 (ja) 処理システム、処理方法及びプログラム
WO2023188068A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP6073770B2 (ja) 商品販売データ処理装置およびプログラム
US11600152B2 (en) Reading device
US20230196778A1 (en) Fraudulent act estimation device and control program therefor and fraudulent act estimation method
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22932044

Country of ref document: EP

Kind code of ref document: A1