WO2023187993A1 - 商品数特定装置、商品数特定方法、及び記録媒体 - Google Patents

商品数特定装置、商品数特定方法、及び記録媒体 Download PDF

Info

Publication number
WO2023187993A1
WO2023187993A1 PCT/JP2022/015464 JP2022015464W WO2023187993A1 WO 2023187993 A1 WO2023187993 A1 WO 2023187993A1 JP 2022015464 W JP2022015464 W JP 2022015464W WO 2023187993 A1 WO2023187993 A1 WO 2023187993A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
products
images
detection process
detected
Prior art date
Application number
PCT/JP2022/015464
Other languages
English (en)
French (fr)
Inventor
壮馬 白石
貴美 佐藤
智一 金子
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/015464 priority Critical patent/WO2023187993A1/ja
Publication of WO2023187993A1 publication Critical patent/WO2023187993A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to a product number identification device, a product number identification method, and a recording medium.
  • Patent Document 1 describes a recognition system that recognizes a target article using image processing.
  • This recognition system includes a first detection means, an extraction means, a calculation means, a recognition means, and a selection means.
  • the first detection means detects an article included in the image data captured by the imaging section.
  • the extraction means extracts the feature amount of the article detected by the first detection means from the image data.
  • the calculation means calculates the degree of similarity between the feature amount extracted by the extraction means and the feature amount for comparison stored in advance for each article with identification information attached and the article without the identification information attached. do.
  • the recognition means recognizes the article detected by the first detection means based on this degree of similarity.
  • the selection means selects the article recognized by the recognition means as the article imaged by the imaging section, on the condition that the article is an article to which identification information is not attached.
  • Patent Document 2 describes that by registering the feature values of general-purpose excluded items such as hands and arms in a dictionary file, the occurrence of erroneous recognition of hands as products can be reduced. has been done.
  • an acquisition unit that acquires a plurality of images whose shooting range includes a target area where a product can be placed; image processing means that performs product detection processing on each of the plurality of images; In the detection process, a first object that is a product detected from a predetermined number or more of the images is identified, and the number of products detected in the detection process excluding the first object is calculated as the number of products to be paid. a calculation means for calculating the first product number, which is a number; A product number identification device is provided.
  • the computer Obtain multiple images whose shooting range includes the target area where the product can be placed, Performing product detection processing on each of the plurality of images, In the detection process, a first object that is a product detected from a predetermined number or more of the images is identified, and the number of products detected in the detection process excluding the first object is calculated as the number of products to be paid.
  • a method for specifying the number of products is provided, in which the first number of products is a number.
  • the computer includes an acquisition function that acquires a plurality of images whose shooting range includes a target area where a product can be placed; an image processing function that performs product detection processing on each of the plurality of images; In the detection process, a first object that is a product detected from a predetermined number or more of the images is identified, and the number of products detected in the detection process excluding the first object is calculated as the number of products to be paid.
  • a calculation function that calculates the first product number, which is a number
  • a computer-readable recording medium is provided that stores a program that provides the following information.
  • a product number identifying device a product number identifying method, and a recording medium that can accurately detect the number of products included in an image.
  • FIG. 1 is a diagram illustrating an overview of a product number identifying device according to an embodiment.
  • FIG. 2 is a diagram for explaining the usage environment of the product number identifying device.
  • FIG. 3 is a diagram for explaining a first example of a photographing range by a photographing device. 4 is a diagram showing a modification of FIG. 3.
  • FIG. 7 is a diagram for explaining a second example of a photographing range by a photographing device. It is a figure showing an example of the functional composition of a product number identification device. It is a diagram showing an example of the hardware configuration of a product number identification device. It is a flowchart which shows the 1st example of the process which a product number identification device performs. It is a flowchart which shows the 2nd example of the process which a product number identification device performs.
  • FIG. 1 is a diagram showing an overview of a product number identification device 10 according to an embodiment.
  • the product number identification device 10 includes an acquisition section 110, an image processing section 120, and a calculation section 130.
  • the acquisition unit 110 acquires a plurality of images. These images include a target area, which is an area where a product can be placed, in the shooting range.
  • the image processing unit 120 performs product detection processing on each of the plurality of images.
  • the calculation unit 130 identifies a first object that is a product detected from a predetermined number of images or more in the detection process, and calculates the number of products detected in the detection process excluding the first object as the product to be paid. Make it the number of Hereinafter, this number of products will be referred to as the first number of products.
  • the calculation unit 130 sets the number of products detected by the detection process excluding the first object as the number of products to be paid. Therefore, the product number identifying device 10 can accurately detect the number of products included in an image.
  • FIG. 2 is a diagram for explaining the environment in which the product number identifying device 10 is used.
  • the product number specifying device 10 is used as a device for registering and paying for products.
  • the product number identifying device 10 may be a device other than the device that registers and pays for products, such as a cloud server.
  • the product number identification device 10 is installed in a store or office.
  • a customer entering the store operates the product number specifying device 10 when purchasing a product.
  • the product number identifying device 10 is installed in an office, products are displayed in a corner of the office. A person working in an office operates the product number specifying device 10 when purchasing this product.
  • the product number specifying device 10 is used together with a reading device 20, a photographing device 30, and a storage unit 40.
  • the product number specifying device 10 is used when a customer purchases products, and has a product registration function and a payment function. That is, the product number specifying device 10 also functions as a product registration device. Note that the product number identifying device 10 does not need to have a payment function. In this case, the product number specifying device 10 transmits information indicating the registered products to the payment device.
  • the reading device 20 acquires product identification information from the product that the customer is about to purchase, that is, the product to be paid for.
  • the reading device 20 may acquire product identification information by reading a code attached to the product, such as a bar code or a two-dimensional code, or may obtain product identification information from a wireless communication tag attached to the product, such as an RFID tag. Information may also be obtained.
  • the reading device 20 transmits the acquired product identification information to the product number identification device 10.
  • the reading device 20 also transmits information indicating the acquisition timing of the product identification information, such as acquisition date and time information, to the product number identification device 10.
  • this information will be referred to as first timing information.
  • the first timing information may be generated by the product number identifying device 10.
  • the product number specifying device 10 generates first timing information to indicate the timing at which the product identification information is acquired from the reading device 20.
  • reading device 20 may be integrated with the product number identifying device 10.
  • the photographing device 30 photographs the product and generates a first image while the reading device 20 is acquiring product identification information from the product.
  • the photographing device 30 may always generate images, or may generate images using the acquisition of product identification information by the reading device 20 as a trigger.
  • the frame rate of the photographing device 30 is, for example, 1 pfs or more and 30 pfs or less, but is not limited thereto.
  • the photographing device 30 may be attached to the product number identifying device 10, or may be attached above the product number identifying device 10, for example, on the ceiling.
  • the photographing range of the photographing device 30 includes an area where a product can be placed when the reading device 20 acquires product identification information, that is, a product reading area.
  • the photographing range of the photographing device 30 may include the reading device 20. Further, the photographing range may include the area around the product reading area. In this case, the shooting range includes at least one of the area through which the product passes when moving toward the product reading area, and the area through which the product passes when moving outside the product reading area.
  • the photographing device 30 transmits the generated image to the product number identification device 10.
  • the photographing device 30 also transmits information indicating the generation timing of the image, such as generation date and time information, to the product number identification device 10.
  • this information will be referred to as second timing information.
  • the storage unit 40 stores product identification information and prices for each of a plurality of products.
  • the product number identification device 10 uses the information stored in the storage unit 40 when performing product payment processing.
  • the storage unit 40 may be, for example, a server installed in a store where the product number identifying device 10 is installed.
  • the product number identification device 10 is used when products are purchased.
  • the product number specifying device 10 may also be used by a store clerk when displaying products on a product shelf.
  • the product number identification device 10 does not need to perform registration processing and payment processing for target products.
  • the product number specifying device 10 is a device, such as a cloud server, that is different from a terminal that performs registration processing and payment processing, such as a POS terminal.
  • the reading device 20 then communicates with this terminal.
  • the product number specifying device 10 acquires from this terminal information indicating the number of products registered in the terminal, that is, a second product number to be described later.
  • FIG. 3 is a diagram for explaining a first example of the photographing range by the photographing device 30.
  • the product number specifying device 10 is used when products are purchased, and is placed on a stand 50.
  • the stand 50 is sufficiently larger than the product number specifying device 10, and a part thereof serves as a product display area 510.
  • the photographing range of the photographing device 30 includes an area where a product can be placed.
  • the area where the product can be placed includes at least one of the area where the product is temporarily placed and the area where the product is placed when the product identification information of the product is registered in the product number identification device 10. I'm here.
  • the former example is an area of the stand 50 where products are temporarily placed.
  • the latter example is an area (space) where the reading device 20 that reads product identification information from the product can read the product identification information.
  • the photographing range of the photographing device 30 may further include the product number identification device 10 and the product display area 510. Note that products that can be registered in the product number identifying device 10 may be displayed in locations other than the product display area 510.
  • an object 70 such as a trash can may be placed around the stand 50.
  • the photographing range includes an area where the product is placed when the reading device 20 reads the product identification information, for example, the front surface of the reading device 20. Therefore, the product whose product identification information has been read by the reading device 20 is included in the image generated by the photographing device 30.
  • the photographing range of the photographing device 30 may include the attached device 60 and the object 70.
  • the accessory device 60 and the object 70 may be mistakenly recognized as products to be paid for.
  • the attached device 60 and the object 70 hardly move, they are included in the plurality of images generated by the photographing device 30. Therefore, in the product number identifying device 10, the accessory device 60 and the object 70 are recognized as the above-mentioned first object.
  • FIG. 4 is a diagram showing a modification of FIG. 3.
  • the photographing range includes the product display area 510 and the attached equipment 60, but does not include the product number identification device 10. In this way, the photographing range of the photographing device 30 only needs to include the area where the product can be placed.
  • FIG. 5 is a diagram for explaining a second example of the photographing range by the photographing device 30.
  • the product number specifying device 10 is used when a store clerk takes out products 92 from a container 90, such as a collapsible container or a cardboard box, and displays them on a display shelf 80.
  • the product number specifying device 10 specifies the number of products displayed on the display shelf 80 by the store clerk.
  • reading device 20 is a portable device operated by a store clerk. However, the reading device 20 may not be used.
  • the photographing range by the photographing device 30 includes at least one, preferably both, of the display shelf 80 and the area in front of the display shelf 80, that is, the area where the containers 90 are placed. Therefore, the products 92 displayed on the display shelf 80 are included in the image generated by the photographing device 30.
  • the photographing device 30 is a surveillance camera placed inside the store, but may be any other camera.
  • FIG. 6 is a diagram showing an example of the functional configuration of the product number identification device 10.
  • the product number identification device 10 includes an acquisition section 110, an image processing section 120, and a calculation section 130.
  • the product number specifying device 10 further includes an execution section 140, a product registration section 150, and a payment section 160. Note that when the product number identification device 10 corresponds to the example shown in FIG. 5, the product number identification device 10 does not include the product registration section 150 and the payment section 160.
  • the acquisition unit 110 acquires the image generated by the photographing device 30. At this time, the acquisition unit 110 also acquires the second timing information.
  • the image processing unit 120 performs product detection processing on each of the plurality of images generated by the photographing device 30.
  • the image processing unit 120 may perform product detection processing using a model generated by machine learning, or may perform product detection processing using feature amount matching.
  • Information necessary for the image processing unit 120 to perform product detection processing is stored in the storage unit 40, for example.
  • the image processing unit 120 uses the results of these detection processes to calculate the total number of products to be settled.
  • this total number of products will be referred to as the first total number.
  • the image processing unit 120 may track the product among a plurality of images, and use the tracking results to identify the first total number. Further, the image processing unit 120 may specify the number of products by product type. Hereinafter, the number of each type will be referred to as the first number of individuals.
  • the image acquired by the acquisition unit 110 is the image generated when the reading device 20 reads the product identification information.
  • the image processing unit 120 preferably performs product detection processing on all of the plurality of items acquired by the acquisition unit 110.
  • the image processing unit 120 may perform product detection processing on all images, or may target images that meet predetermined conditions as objects of the detection processing. You may also select it as An example of the "predetermined condition" is, for example, at least one of the following (1) to (4).
  • the image has second timing information closest to the first timing information.
  • the image selected here includes the product corresponding to the product identification information acquired by the acquisition unit 110.
  • the first timing information and the second timing information indicate the same timing, the first timing information is earlier, and the second timing information is earlier. is possible. In either case, the difference between the first timing information and the second timing information is, for example, one second or less.
  • the acquisition unit 110 performs the above-described image selection process for each product identification information.
  • the person in the image is using the reading device 20. This example also corresponds to the situation shown in FIG. 3 or 4.
  • the image processing unit 120 performs a person detection process on the image. If the image processing unit 120 determines that a person can be detected and that the person is causing the reading device 20 to read the product identification information, the image processing unit 120 performs product detection processing on the image.
  • This example also corresponds to the state shown in FIG. 3 or 4.
  • the term "while the products are being registered in the product number specifying device 10" means, for example, after the product number specifying device 10 inputs information indicating the start of product registration to the product number specifying device 10, the process proceeds to payment processing. This is until the information indicating this is input into the product number specifying device 10.
  • the image processing unit 120 uses the second timing information to identify images that were generated while the product was being registered.
  • the image processing unit 120 may further add at least one of the images generated before the product is registered in the product number identification device 10 to the images to be processed. For example, the image processing unit 120 identifies the time when product registration started. Then, an image generated between this time and a predetermined time before that time, for example, up to 10 seconds before that time, is added to the images to be processed. The reason for this is that there is a high possibility that the first object is captured in these images.
  • the image must be generated while a store clerk is working to arrange products on display shelves. This example corresponds to the state shown in FIG. 5.
  • the image processing unit 120 performs store clerk detection processing on the image. If the image processing unit 120 can detect the store clerk and determines that the store clerk is displaying the product 92 on the display shelf 80, the image processing unit 120 performs product detection processing on the image.
  • the product registration unit 150 acquires product identification information from the reading device 20. At this time, the product registration unit 150 also acquires first timing information.
  • the product registration unit 150 generates registration information indicating the product to be settled.
  • the registration information includes a list of product identification information of products to be paid for, information indicating the total number of products to be paid for, and information indicating the number of the products for each product.
  • the total number of products based on the registered information will be referred to as the second number of products.
  • the number of products for each product based on the registered information is referred to as a second number of individuals.
  • the calculation unit 130 identifies the first object, that is, the product detected from a predetermined number or more of images in the detection process.
  • the predetermined number is, for example, 3 or more, preferably 5 or more, but is not limited to these values. Then, the calculation unit 130 sets the number obtained by subtracting the number of first objects from the first total number calculated by the image processing unit 120 as the first product number, that is, the number of products to be paid.
  • the calculation unit 130 identifies the first object by determining whether each of the plurality of products is detected from another image. It's okay.
  • the calculation unit 130 causes the storage unit 40 to store the feature amounts of each of the plurality of detected products, and makes each of the products having these feature amounts a candidate for the first object.
  • the calculation unit 130 specifies the number of other images that include these first object candidates, and uses this number to determine whether the first object candidate is actually the first object.
  • this number is large, this means that the candidate frequently enters the imaging range of the imaging device 30. In this case, there is a high possibility that this candidate is not actually the product that the customer is trying to purchase, but is, for example, a product or device that is left nearby. Therefore, when the above-mentioned number, that is, the number of other images including the first object candidate, is equal to or greater than the reference value, the calculation unit 130 determines that this candidate is an object other than the product, that is, the first object.
  • the reference value is, for example, 2, but may be 3 or more, or may be 1.
  • the image processing unit 120 may cause the storage unit 40 to store feature amounts of the product detected from the images for each of a plurality of images.
  • the calculation unit 130 attaches a flag indicating this to the feature amount corresponding to the candidate of the first object.
  • the image processing unit 120 calculates the number of products for each type of product, that is, the first number of individuals
  • the calculation unit 130 performs at least one of the processes shown in (A) and (B) below. It's okay.
  • the calculation unit 130 treats a product having a first number of objects larger than the maximum value of the second number of objects as a first object, and calculates the first number of products.
  • the second number of individuals is calculated based on the product identification information registered in the product registration section 150, and indicates the number of products for each product.
  • the product having the first number of individuals is likely to be a human hand, or the accessory device 60 or object 70 shown in FIG. 3 . Therefore, when calculating the number of products, the calculation unit 130 treats the product having the first number of items as a first object, that is, an object different from the product.
  • the image processing unit 120 determines that “Product A is 2 pieces,” “Product B is 3 pieces,” and “Product C is 1 piece,” and in the registration information generated by the product registration unit 150, “Onigiri is Assume that there are 2 pieces of tea, and 1 piece of tea in a plastic bottle.
  • the maximum value of the second number of individuals is "2", which is the number of rice balls.
  • the number of "product B" detected by the image processing unit 120 is three, which is larger than the maximum value of the second number of products.
  • the calculation unit 130 treats "product B” as an object different from the product, and subtracts "3", which is the number of "product B", from the first total number.
  • the calculation unit 130 subtracts a value obtained by multiplying the difference between the numbers of the first product type and the second product type by the second number of products from the number of products detected by the detection process, that is, the first total number.
  • the image processing unit 120 determines that “product A is 2 pieces,” “product B is 2 pieces,” “product C is 1 piece,” and product D is 1 piece, and the product registration unit 150 generates It is assumed that the registered information includes "2 rice balls,””1 piece of bread,” and "1 piece of tea in a plastic bottle.” In this case, although there is one type of product with two pieces, the processing result of the image processing unit 120 shows that there are two types of products with two pieces. In this case, there is a high possibility that one of these two types of products is not actually a product.
  • the calculation unit 130 calculates a value obtained by multiplying "1" which is the “difference between the numbers of the first product type and the second product type” by "2" which is the second number of products, that is, "2". is subtracted from the first total.
  • the execution unit 140 executes a predetermined process when the difference between the second number of products, which is the total number of products registered by the product registration unit 150, and the first number of products calculated by the calculation unit 130 is greater than or equal to a reference value. do.
  • This reference value is, for example, 1, but may be 2 or more.
  • the fact that this difference is greater than the reference value means that the total number of products registered in the product registration section 150 may be different from the total number of products that customers or office workers are trying to purchase. It shows that there is.
  • An example of the predetermined process is a process of outputting warning information.
  • the execution unit 140 may output the warning information to a display or speaker included in the product number identification device 10, or may output the warning information to a terminal operated by a manager who manages product sales, for example, a terminal operated by a store clerk. , warning information may be output.
  • the settlement unit 160 calculates the total number of products registered in the product registration unit 150 and the total number of products that customers or office workers are trying to purchase. If there is a high possibility that they match, the payment processing is performed using the registration information generated by the product registration unit 150, that is, the list of product identification information of the products to be paid. At this time, the payment unit 160 uses information stored in the storage unit 40.
  • the product number specifying device 10 when used as a device such as a cloud server that is different from a device that performs product registration and settlement, the product number specifying device 10 does not include the product registration section 150 and the settlement section 160. .
  • this device will be referred to as a registration and settlement device.
  • the product number specifying device 10 acquires information indicating the second number of products and the second number of products from this registration and settlement device.
  • the execution unit 140 of the product number identification device 10 transmits information indicating whether the difference between the second number of products and the first number of products is equal to or greater than a reference value to the registration and settlement device.
  • the registration and settlement device causes predetermined information to be displayed on the display of the device or output from the speaker of the device when the difference between the second number of products and the first number of products is equal to or greater than a reference value.
  • FIG. 7 is a diagram showing an example of the hardware configuration of the product number identification device 10.
  • the product number identifying device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input/output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path through which the processor 1020, memory 1030, storage device 1040, input/output interface 1050, and network interface 1060 exchange data with each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor implemented by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a removable medium such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory), and has a recording medium. There is.
  • the recording medium of the storage device 1040 stores program modules that realize each function of the product number identification device 10 (for example, the acquisition section 110, the image processing section 120, the calculation section 130, the execution section 140, the product registration section 150, and the payment section 160). I remember.
  • the processor 1020 reads each of these program modules onto the memory 1030 and executes them, each function corresponding to the program module is realized. Further, the storage device 1040 may also function as the storage unit 40.
  • the input/output interface 1050 is an interface for connecting the product number identification device 10 and various input/output devices.
  • the product number specifying device 10 communicates with at least one of the reading device 20, the photographing device 30, and the storage unit 40 via the input/output interface 1050.
  • the network interface 1060 is an interface for connecting the product number identifying device 10 to a network.
  • This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method by which the network interface 1060 connects to the network may be a wireless connection or a wired connection.
  • the product number identifying device 10 may communicate with at least one of the photographing device 30 and the storage unit 40 via the network interface 1060.
  • FIG. 8 is a flowchart showing a first example of processing performed by the product number identification device 10. This figure corresponds to the example shown in FIG.
  • the reader 20 reads the product identification information of the product.
  • the product registration unit 150 of the product number identification device 10 acquires this product identification information. If there are multiple products to be purchased, the product registration unit 150 acquires product identification information for each of the multiple products.
  • the product registration unit 150 then calculates the second number of products (step S10).
  • the acquisition unit 110 acquires a plurality of images generated by the photographing device 30.
  • the image processing unit 120 then processes the plurality of images to detect the products included in each of the plurality of images (step S20).
  • a specific example of the processing performed here is as described using FIG. 6.
  • the calculation unit 130 calculates the first product number using the processing result of the image processing unit 120 (step S30).
  • a specific example of the processing performed here is as described using FIG. 6.
  • Step S50 the execution unit 140 executes a predetermined process (Step S50).
  • An example of the predetermined process is a warning process. After that, the product number identifying device 10 returns to step S10.
  • step S40 determines whether the difference between the second number of products and the first number of products is less than the reference value. If the difference between the second number of products and the first number of products is less than the reference value (step S40: No), the payment unit 160 performs payment processing (step S60).
  • FIG. 9 is a flowchart showing a second example of processing performed by the product number identification device 10. This figure corresponds to the example shown in FIG.
  • the store clerk moves the container 90 close to the display shelf 80 and starts stocking it (step S12). Specifically, the store clerk takes out the product 92 from the container 90 and displays it on the display shelf 80.
  • the photographing device 30 repeatedly generates images while the store clerk is stocking items.
  • the acquisition unit 110 acquires these images.
  • the image processing unit 120 processes the images acquired by the acquisition unit 110 and detects the products included in each of the plurality of images (step S30).
  • a specific example of the processing performed here is as described using FIG. 6.
  • the calculation unit 130 calculates the first product number using the processing result of the image processing unit 120 (step S40).
  • a specific example of the processing performed here is as described using FIG. 6.
  • the image processing unit 120 detects products by processing images. Then, the calculation unit 130 identifies the product, that is, the first object, detected from a predetermined number or more of images in the detection process performed by the image processing unit 120. There is a high possibility that this first object is not a product, such as a human hand or the accessory device 60. Therefore, the calculation unit 130 sets the number of products detected by the detection process excluding the first object as the first product number, which is the number of products to be paid. Therefore, by using the product number identification device 10, the number of products included in an image can be detected with high accuracy.
  • acquisition means for acquiring a plurality of images whose shooting range includes a target area where a product can be placed; image processing means that performs product detection processing on each of the plurality of images; In the detection process, a first object that is a product detected from a predetermined number or more of the images is identified, and the number of products detected in the detection process excluding the first object is calculated as the number of products to be paid. a calculation means for calculating the first product number, which is a number; A device for identifying the number of products. 2.
  • the image processing means is a product number identifying device that performs the detection process on the image that satisfies a predetermined condition. 3.
  • the predetermined condition is that the person appearing in the image is using a reading device that reads product identification information. 4.
  • the predetermined condition is that the image is generated while a store clerk is working to arrange the products on a display shelf. 5.
  • the photographing range includes at least one of a product display shelf and an area in front of the product display shelf. 6.
  • the photographing range includes an area where the product is placed when registering the product in the product registration device. 7.
  • the image processing means is a product number identifying device that performs the detection process on the plurality of images generated while the products are registered in the product registration device. 8.
  • the image processing means further includes a product number identification device that performs the detection process on at least one image generated before the product is registered in the product registration device. 9.
  • Product number identification comprising an execution means for executing a predetermined process when a difference between a second number of products, which is the number of products registered in the product registration device, and the first number of products is a reference value or more.
  • Device. 10 In the product number identifying device according to any one of items 7 to 9 above, The image processing means calculates a first number of individuals, which is the number of products, for each type of product, The product registration device calculates a second number of individuals, which is the number of products, for each type of product, The calculating means is a product number specifying device that calculates the first product number by using the product having the first number of products larger than the maximum value of the second number of products as the first object. 11.
  • the image processing means calculates a first number of individuals, which is the number of products, for each type of product
  • the product registration device calculates a second number of individuals, which is the number of products, for each type of product
  • the calculation means when calculating the first number of products, In any of the second numbers of individuals, the first type of the product having the second number of individuals is less than the second type of the product for which the first number of individuals is the same as the second number of individuals.
  • a product number identification device that subtracts a value obtained by multiplying the difference between the number of the first product type and the second product type by the second number of products from the number of products detected by the detection process. . 12.
  • the calculation means specifies the first object by determining whether each of the plurality of products is detected from another of the images.
  • the computer is Obtain multiple images whose shooting range includes the target area where the product can be placed, Performing product detection processing on each of the plurality of images, In the detection process, a first object that is a product detected from a predetermined number or more of the images is identified, and the number of products detected in the detection process excluding the first object is calculated as the number of products to be paid.
  • a method for specifying the number of products by setting the first product number to be a number. 14.
  • the computer performs the detection process on the images that meet predetermined conditions.
  • the predetermined condition is that the person in the image is using a reading device that reads product identification information.
  • the method for specifying the number of products wherein the predetermined condition is that the image is generated while a store clerk is working to arrange the products on a display shelf.
  • the photographing range includes at least one of a product display shelf and an area in front of the product display shelf. 18.
  • the photographing range includes an area where the product is placed when registering the product in the product registration device. 19.
  • the computer performs the detection process on the plurality of images generated while the products are registered in the product registration device.
  • the computer further performs the detection process on at least one image generated before the product is registered in the product registration device. 21.
  • the computer executes a predetermined process when a difference between a second number of products, which is the number of products registered in the product registration device, and the first number of products is a reference value or more.
  • Method. 22 In the method for identifying the number of products described in any one of items 19 to 21 above, The computer calculates a first number of individuals, which is the number of products, for each type of product, The product registration device calculates a second number of individuals, which is the number of products, for each type of product, The computer calculates the first number of products by using, as the first object, the product having the first number of products larger than the maximum value of the second number of products. 23.
  • the computer calculates a first number of individuals, which is the number of products, for each type of product
  • the product registration device calculates a second number of individuals, which is the number of products, for each type of product
  • the computer In any of the second numbers of individuals, the first type of the product having the second number of individuals is less than the second type of the product for which the first number of individuals is the same as the second number of individuals.
  • a method for identifying the number of products by subtracting a value obtained by multiplying the difference between the number of the first product type and the second product type by the second number of products from the number of products detected by the detection process. . 24.
  • the computer identifies the first object by determining whether each of the plurality of products is detected from the other images. , method for determining the number of products. 25. an acquisition function that acquires multiple images whose shooting range includes a target area where a product can be placed on the computer; an image processing function that performs product detection processing on each of the plurality of images; In the detection process, a first object that is a product detected from a predetermined number or more of the images is identified, and the number of products detected in the detection process excluding the first object is calculated as the number of products to be paid.
  • a calculation function that calculates the first product number, which is a number, A computer-readable recording medium that stores a program that provides 26.
  • the image processing function is a recording medium that performs the detection process on the image that satisfies predetermined conditions. 27.
  • the predetermined condition is that the person appearing in the image is using a reading device that reads product identification information.
  • the predetermined condition is that the image is generated while a store clerk is working to arrange the product on a display shelf. 29.
  • the photographing range is a recording medium that includes at least one of a product display shelf and an area in front of the display shelf. 30.
  • the photographing range is a recording medium that includes an area where the product is placed when registering the product in the product registration device.
  • the image processing function is a recording medium that performs the detection process on the plurality of images generated while the product is registered in the product registration device. 32. In the recording medium described in 31 above, The image processing function further performs the detection process on at least one image generated before the product is registered in the product registration device. 33.
  • the program causes the computer to A recording medium having an execution function of executing a predetermined process when a difference between a second number of products, which is the number of products registered in the product registration device, and the first number of products is a reference value or more. . 34.
  • the image processing function calculates a first number of individuals, which is the number of products, for each type of product
  • the product registration device calculates a second number of individuals, which is the number of products, for each type of product
  • the calculation function is a recording medium that calculates the first number of products by using the product having the first number of products larger than the maximum value of the second number of products as the first object. 35.
  • the image processing function calculates a first number of individuals, which is the number of products, for each type of product
  • the product registration device calculates a second number of individuals, which is the number of products, for each type of product
  • the calculation function when calculating the first product number, In any of the second numbers of individuals, the first type of the product having the second number of individuals is less than the second type of the product for which the first number of individuals is the same as the second number of individuals.
  • a value obtained by multiplying the difference between the number of the first product type and the second product type by the second number of products is subtracted from the number of products detected by the detection process. 36.
  • the calculation function specifies the first object by determining whether each of the plurality of products is detected from other images when a plurality of products are detected from at least one of the images.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

商品数特定装置（１０）は、取得部（１１０）、画像処理部（１２０）、及び算出部（１３０）を備える。取得部（１１０）は複数の画像を取得する。これらの画像は、商品が配置され得る領域である対象領域を撮影範囲に含んでいる。画像処理部（１２０）は、複数の画像のそれぞれに対して商品の検出処理を行う。算出部（１３０）は、検出処理において所定の数以上の画像から検出された商品である第１商品を特定し、検出処理によって検出された商品のうち第１商品を除いた数を、精算対象の商品の数にする。

Description

商品数特定装置、商品数特定方法、及び記録媒体
　本発明は、商品数特定装置、商品数特定方法、及び記録媒体に関する。
　近年は、商品を精算する際に、商品の画像を取得して処理し、この処理結果を利用することが検討されている。例えば特許文献１には、画像処理を用いて対象物品を認識する認識システムが記載されている。この認識システムは、第１検出手段、抽出手段、算出手段、認識手段、及び選択手段を備える。第１検出手段は、撮像部が撮像した画像データに含まれる物品を検出する。抽出手段は、第１検出手段が検出した物品の特徴量を画像データから抽出する。算出手段は、識別情報が付された物品と当該識別情報が付されていない物品との各物品について予め記憶された照合用の特徴量と、抽出手段が抽出した特徴量との類似度を算出する。認識手段は、この類似度に基づいて、第１検出手段が検出した物品を認識する。選択手段は、認識手段が認識した物品が、識別情報が付されていない物品であることを条件に、当該物品を撮像部が撮像した物品として選択する。
　なお、特許文献２には、手や腕などの汎用的な除外物品の特徴量を辞書ファイルに登録しておくことにより、手を商品と認識してしまう誤認識の発生を低減することが記載されている。
特開２０２０－１７８７６号公報 特開２０１８－１０１２９２号公報
　本発明者は、商品登録装置で登録された商品の個数と、商品登録装置を含む領域を撮影した画像に含まれる商品の個数とを比較することにより、商品が正確に登録されていない可能性の有無を判断することを検討した。しかし、この処理を行う場合、画像に含まれる商品の個数を精度よく検出する必要がある。しかし、上述した特許文献１に記載の認識システムでは、商品の個数を精度よく検出できない可能性がある。
　本発明の目的の一例は、上述した課題を鑑み、画像に含まれる商品の個数を精度よく検出できる商品数特定装置、商品数特定方法、及び記録媒体を提供することにある。
　本発明の一態様によれば、商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得手段と、
　前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理手段と、
　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出手段と、
を備える商品数特定装置が提供される。
　本発明の一態様によれば、コンピュータが、
　　商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得し、
　　前記複数の画像のそれぞれに対して商品の検出処理を行い、
　　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする、商品数特定方法が提供される。
　本発明の一態様によれば、コンピュータに
　　商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得機能と、
　　前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理機能と、
　　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出機能と、
を持たせるプログラムを記憶した、コンピュータによって読み取り可能な記録媒体が提供される。
　本発明の一態様によれば、画像に含まれる商品の個数を精度よく検出できる商品数特定装置、商品数特定方法、及び記録媒体を提供できる。
実施形態に係る商品数特定装置の概要を示す図である。 商品数特定装置の使用環境を説明するための図である。 撮影装置による撮影範囲の第１例を説明するための図である。 図３の変形例を示す図である。 撮影装置による撮影範囲の第２例を説明するための図である。 商品数特定装置の機能構成の一例を示す図である。 商品数特定装置のハードウェア構成例を示す図である。 商品数特定装置が行う処理の第１例を示すフローチャートである。 商品数特定装置が行う処理の第２例を示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　図１は、実施形態に係る商品数特定装置１０の概要を示す図である。商品数特定装置１０は、取得部１１０、画像処理部１２０、及び算出部１３０を備える。取得部１１０は複数の画像を取得する。これらの画像は、商品が配置され得る領域である対象領域を撮影範囲に含んでいる。画像処理部１２０は、複数の画像のそれぞれに対して商品の検出処理を行う。算出部１３０は、検出処理において所定の数以上の画像から検出された商品である第１物体を特定し、検出処理によって検出された商品のうち第１物体を除いた数を、精算対象の商品の数にする。以下、この商品の数を、第１商品数と記載する。
　第１物体は、所定の数以上の画像から検出された商品であるため、人の手や商品数特定装置１０の付属機器など、精算対象となる商品ではない可能性が高い。そこで算出部１３０は、検出処理によって検出された商品のうち第１物体を除いた数を、精算対象の商品の数にする。従って、商品数特定装置１０によれば、画像に含まれる商品の個数を精度よく検出できる。
　以下、商品数特定装置１０の詳細例について説明する。
　図２は、商品数特定装置１０の使用環境を説明するための図である。本図に示す例において、商品数特定装置１０は商品の登録及び精算を行う装置として使用されている。ただし、後述するように、商品数特定装置１０は、商品の登録及び精算を行う装置とは別の装置、例えばクラウドサーバであってもよい。
　商品数特定装置１０は、店舗又はオフィスに設置されている。商品数特定装置１０が店舗に設置されている場合、店舗に入った顧客は、商品を購入する際に商品数特定装置１０を操作する。一方、商品数特定装置１０がオフィスに設置されている場合、オフィスの一角には商品が陳列されている。そしてオフィスに勤務している人は、この商品を購入する際に、商品数特定装置１０を操作する。
　商品数特定装置１０は、読取装置２０、撮影装置３０、及び記憶部４０と共に使用される。本図に示す例において商品数特定装置１０は、顧客が商品を購入するときに使用され、商品登録機能及び精算機能を有している。すなわち商品数特定装置１０は、商品登録装置としても機能する。なお、商品数特定装置１０は、精算機能を有していなくてもよい。この場合、商品数特定装置１０は、登録した商品を示す情報を精算装置に送信する。
　読取装置２０は、顧客が購入しようとしている商品すなわち精算対象となる商品から、商品識別情報を取得する。読取装置２０は、商品に付与されたコード、例えばバーコードや２次元コードを読み取ることにより、商品識別情報を取得してもよいし、商品に付与された無線通信タグ、例えばＲＦＩＤタグから商品識別情報を取得してもよい。読取装置２０は、取得した商品識別情報を商品数特定装置１０に送信する。この際、読取装置２０は、商品識別情報の取得タイミングを示す情報、例えば取得日時情報も商品数特定装置１０に送信する。以下、この情報を、第１のタイミング情報と記載する。第１のタイミング情報は商品数特定装置１０が生成してもよい。この場合、商品数特定装置１０は、読取装置２０から商品識別情報を取得したタイミングを示すように、第１のタイミング情報を生成する。
　なお、読取装置２０は商品数特定装置１０と一体になっていてもよい。
　撮影装置３０は、読取装置２０が商品から商品識別情報を取得しているときに、当該商品を撮影し、第１画像を生成する。撮影装置３０は、常に画像を生成していてもよいし、読取装置２０が商品識別情報を取得したことをトリガーとして画像を生成してもよい。前者の場合の撮影装置３０のフレームレートは、例えば１ｐｆｓ以上３０ｐｆｓ以下であるが、これに限定されない。
　なお、撮影装置３０は商品数特定装置１０に取り付けられていてもよいし、商品数特定装置１０の上方、例えば天井に取り付けられていてもよい。
　撮影装置３０の撮影範囲は、読取装置２０が商品識別情報を取得するときに商品が配置され得る領域、すなわち商品読取領域を含んでいる。撮影装置３０の撮影範囲は、読取装置２０を含んでいてもよい。また撮影範囲は、商品読取領域の周囲の領域を含んでいてもよい。この場合、撮影範囲は、商品読取領域に向けて商品が移動するときにその商品が通る領域、及び、商品が商品読取領域の外に移動するときにその商品が通る領域、の少なくとも一方を含んでいるのが好ましい。そして撮影装置３０は、生成した画像を商品数特定装置１０に送信する。この際、撮影装置３０は、その画像の生成タイミングを示す情報、例えば生成日時情報も商品数特定装置１０に送信する。以下、この情報を、第２のタイミング情報と記載する。
　記憶部４０は、複数の商品別に、商品識別情報及び価格を記憶している。商品数特定装置１０は、商品の精算処理を行う際に、記憶部４０に記憶されている情報を用いる。記憶部４０は、例えば商品数特定装置１０が配置されている店舗に設置されたサーバであってもよい。
　上記した説明において、商品数特定装置１０は商品が購入される際に使用されている。ただし、商品数特定装置１０は、店員が商品を商品棚に陳列する際に使用されてもよい。
　なお、商品数特定装置１０は対象商品の登録処理及び精算処理を行わなくてもよい。この場合、商品数特定装置１０は、例えばクラウドサーバなど、登録処理及び精算処理を行う端末、例えばＰＯＳ端末とは別の装置になる。そして読取装置２０は、この端末と通信する。商品数特定装置１０は、この端末から、当該端末に登録された商品の数を示す情報、すなわち後述する第２商品数を取得する。
　図３は、撮影装置３０による撮影範囲の第１例を説明するための図である。本図に示す例において、商品数特定装置１０は、商品が購入される際に使用され、台５０の上に載置されている。台５０は、商品数特定装置１０よりも十分大きく、その一部は商品陳列領域５１０となっている。
　図２を用いて説明したように、撮影装置３０の撮影範囲は、商品が配置され得る領域を含んでいる。商品が配置され得る領域は、一時的に商品が配置される領域、及び、商品の商品識別情報が商品数特定装置１０に登録される際に当該商品が配置される領域、の少なくとも一方を含んでいる。前者の例は台５０のうち商品が一時的に載せられる領域である。後者の例は、商品識別情報を商品から読み取る読取装置２０が、商品識別情報を読み取ることができる領域（空間）である。
　本図に示す例において、撮影装置３０の撮影範囲は、さらに、商品数特定装置１０及び商品陳列領域５１０を含んでいてもよい。なお、商品数特定装置１０に登録され得る商品は、商品陳列領域５１０以外の場所に陳列されていることもある。
　台５０の上には、商品数特定装置１０の付属機器６０、例えば図２に示した読取装置２０、携帯端末と通信する近距離無線通信装置、及びレシート印刷装置の少なくとも一つが配置されていることが多い。また、台５０の周囲には、ごみ箱などの物体７０が配置されていることがある。撮影範囲は、読取装置２０が商品識別情報を読み取る際に商品が配置される領域、例えば読取装置２０の前面を含んでいる。このため、読取装置２０に商品識別情報が読み取られた商品は、撮影装置３０が生成した画像に含まれている。
　撮影装置３０の撮影範囲は付属機器６０及び物体７０を含んでいることもある。この場合、これら付属機器６０及び物体７０は、精算対象の商品として誤認識される可能性がある。ただし、付属機器６０及び物体７０はほとんど移動しないため、撮影装置３０が生成する複数の画像に含まれる。このため、商品数特定装置１０において、付属機器６０及び物体７０は、上記した第１物体として認識される。
　図４は、図３の変形例を示す図である。本図に示す例において、撮影範囲は、商品陳列領域５１０及び付属機器６０を含んでいるが、商品数特定装置１０を含んでいない。このように、撮影装置３０の撮影範囲は、商品が配置され得る領域を含んでいればよい。
　図５は、撮影装置３０による撮影範囲の第２例を説明するための図である。本図に示す例において、商品数特定装置１０は、店員が商品９２を容器９０、例えば折り畳み式のコンテナや段ボール箱から取り出して陳列棚８０に陳列する際に使用される。この場合、商品数特定装置１０は、店員が陳列棚８０に陳列した商品の数を特定する。この例において、読取装置２０は、店員によって操作される携帯型の装置である。ただし、読取装置２０は使用されない場合もある。
　この例において、撮影装置３０による撮影範囲は、陳列棚８０と、陳列棚８０の手前の領域すなわち容器９０が配置される場所と、の少なくとも一方、好ましくは双方を含んでいる。このため、陳列棚８０に陳列された商品９２は、撮影装置３０が生成した画像に含まれている。撮影装置３０は、店内に配置された監視カメラであるが、それ以外のカメラであってもよい。
　図６は、商品数特定装置１０の機能構成の一例を示す図である。商品数特定装置１０は、図１を用いて説明したように、取得部１１０、画像処理部１２０、及び算出部１３０を有している。本図に示す例において、商品数特定装置１０は、さらに、実行部１４０、商品登録部１５０、及び精算部１６０を有している。なお、商品数特定装置１０が図５に示した例に対応する場合、商品数特定装置１０は、商品登録部１５０及び精算部１６０を有していない。
　取得部１１０は、撮影装置３０が生成した画像を取得する。この際、取得部１１０は、第２のタイミング情報も取得する。
　画像処理部１２０は、撮影装置３０が生成した複数の画像のそれぞれに対して、商品の検出処理を行う。画像処理部１２０は、機械学習によって生成されたモデルを用いて商品の検出処理を行ってもよいし、特徴量マッチングにより商品の検出処理を行ってもよい。画像処理部１２０が商品の検出処理を行う際に必要な情報は、例えば記憶部４０に記憶されている。
　そして画像処理部１２０は、これらの検出処理の結果を用いて、精算対象となる商品の総数を算出する。以下、この商品の総数を第１総数と記載する。この際、画像処理部１２０は、複数の画像間で商品を追跡し、この追跡結果を用いて第１総数を特定してもよい。また、画像処理部１２０は、商品の種類別に当該商品の数を特定してもよい。以下、これら種類別の数を、第１個体数と記載する。
　読取装置２０が商品識別情報を取得したことをトリガーとして撮影装置３０が画像を生成する場合、取得部１１０が取得する画像は、読取装置２０が商品識別情報を読み取る際に生成された画像になる。そして画像処理部１２０は、取得部１１０が取得した複数のすべてに対して、商品の検出処理を行うのが好ましい。
　一方、撮影装置３０が常に動作している場合、画像処理部１２０は、すべての画像に対して商品の検出処理を行ってもよいし、予め定められた条件を満たした画像を検出処理の対象として選択してもよい。「予め定められた条件」の例は、例えば以下の（１）～（４）の少なくとも一つである。
（１）第１のタイミング情報に最も近い第２のタイミング情報を有している画像であること。
　この例は、図３又は図４に示した状態に対応している。ここで選択された画像は、取得部１１０が取得した商品識別情報に対応する商品を含んでいる。ここで、第１のタイミング情報と第２のタイミング情報は、同一のタイミングを示している場合、第１のタイミング情報のほうが早い場合、及び、第２のタイミング情報のほうが早い場合、の３通りが考えられる。いずれの場合においても、第１のタイミング情報と第２のタイミング情報の差は、例えば１秒以下である。読取装置２０が複数の商品のそれぞれから商品識別情報を読み取っていた場合、取得部１１０は、各商品識別情報について、上記した画像の選択処理を行う。
（２）画像に写っている人が読取装置２０を使用していること
　この例も、図３又は図４に示した状態に対応している。画像処理部１２０は、画像に対して人の検出処理を行う。そして画像処理部１２０は、人が検出でき、かつその人が読取装置２０に商品識別情報を読み取らせていると判断した場合、その画像に対して商品検出処理を行う。
（３）商品数特定装置１０に商品が登録されている間に生成された画像であること
　この例も、図３又は図４に示した状態に対応している。そして、商品数特定装置１０に商品が登録されている間とは、例えば、商品数特定装置１０において、商品の登録開始を示す情報が商品数特定装置１０に入力された後、精算処理に進む旨の情報が商品数特定装置１０に入力されるまでの間である。画像処理部１２０は、第２のタイミング情報を用いて、商品が登録されている間に生成された画像を特定する。
　なお、この（３）において、画像処理部１２０は、さらに、商品数特定装置１０に商品が登録される前に生成された画像の少なくとも一つを、処理対象の画像に加えてもよい。例えば画像処理部１２０は、商品の登録が開始した時刻を特定する。そして、この時刻から当該時刻より所定時間前までの間、例えば１０秒前までの間に生成された画像を、処理対象の画像に加える。この理由は、これらの画像には第１物体が写っている可能性が高いためである。
（４）商品を陳列棚に配置するための作業を店員が行っているときに生成された画像であること
　この例は、図５に示した状態に対応している。画像処理部１２０は、画像に対して店員の検出処理を行う。そして画像処理部１２０は、店員が検出でき、かつその店員が商品９２を陳列棚８０に陳列していると判断した場合、その画像に対して商品検出処理を行う。
　商品登録部１５０は、読取装置２０から商品識別情報を取得する。この際、商品登録部１５０は、第１のタイミング情報も取得する。商品登録部１５０により、精算対象となる商品を示す登録情報が生成される。登録情報は、精算対象となる商品の商品識別情報のリスト、精算対象となる商品の総数を示す情報、及び商品別の当該商品の数を示す情報を含んでいる。以下、登録情報に基づいた商品の総数を第２商品数と記載する。また、登録情報に基づいた商品別の当該商品の数を、第２個体数と記載する。
　算出部１３０は、図１を用いて説明したように、第１物体すなわち検出処理において所定の数以上の画像から検出された商品を特定する。所定の数は、例えば３以上、好ましくは５以上であるが、これらの値に限定されない。そして算出部１３０は、画像処理部１２０が算出した第１総数から第１物体の数を除いた数を、第１商品数すなわち精算対象の商品の数にする。
　ここで算出部１３０は、少なくとも一つの画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の画像から検出されたか否かを判断することにより、第１物体を特定してもよい。一つの画像から複数の商品が検出された場合、これら複数の商品の少なくとも一つは、商品以外の物体である可能性がある。特に、撮影装置３０による撮像範囲がある程度狭く、読取装置２０による商品読取領域より少し大きい程度、例えば１倍以上２倍以下であった場合、この可能性は高い。そこで算出部１３０は、検出された複数の商品それぞれの特徴量を記憶部４０に記憶させ、これらの特徴量を有する商品のそれぞれを、第１物体の候補にする。そして算出部１３０は、これら第１物体の候補を含む他の画像の数を特定し、この数を用いて、第１物体の候補が実際に第１物体であるか否かを判断する。
　例えばこの数が多い場合、当該候補は、頻繁に撮影装置３０の撮像範囲に入り込んでいることになる。この場合、この候補は、実際には、顧客が購入しようとしている商品ではない、例えば、周囲に据え置いてある商品や装置の可能性が高い。そこで、算出部１３０は、上記した数すなわち第１物体の候補を含む他の画像の数が基準値以上の場合、この候補を商品以外の物体すなわち第１物体と判断する。なお、基準値は、例えば２であるが、３以上であってもよいし、１であってもよい。
　なお、画像処理部１２０は、複数の画像別に、当該画像から検出された商品の特徴量を記憶部４０に記憶させることがある。この場合、算出部１３０は、第１物体の候補に相当する特徴量に、その旨を示すフラグをつける。
　また画像処理部１２０が商品の種類別にその商品の数すなわち第１個体数を算出している場合、算出部１３０は、以下の（Ａ）及び（Ｂ）に示した処理の少なくとも一つを行ってもよい。
（Ａ）算出部１３０は、第２個体数の最大値より大きい第１個体数を有する商品を、第１物体として扱い、第１商品数を算出する。
　第２個体数は、上記したように、商品登録部１５０に登録された商品識別情報に基づいて算出されており、商品別に当該商品の数を示している。ここで、第２個体数の最大値より大きい第１個体数を有する商品があった場合、その商品は、実際には商品ではない可能性が高い。具体的には、その第１個体数を有する商品は、人の手であったり、図３に示した付属機器６０や物体７０である可能性が高い。そこで、算出部１３０は、商品数を算出する際、この第１個体数を有する商品を第１物体すなわち商品とは異なる物体として扱う。
　例えば画像処理部１２０によって、「商品Ａは２個」、「商品Ｂは３個」、「商品Ｃは１個」と判断され、また、商品登録部１５０が生成した登録情報において、「おにぎりは２個」、「ペットボトルのお茶は１個」であったと仮定する。この場合、第２個体数の最大値は、おにぎりの数である「２」である。一方、画像処理部１２０において検出された「商品Ｂ」は３個であり、第２個体数の最大値よりも大きい。この場合、算出部１３０は、「商品Ｂ」を商品とは異なる物体として扱い、第１総数から「商品Ｂ」の数である「３」を引く。
（Ｂ）いずれかの第２個体数において、当該第２個体数を有する第１の商品の種類が、第１個体数が当該第２個体数と同一である第２の商品の種類より少ない場合、算出部１３０は、第１の商品の種類と第２の商品の種類の数の差に第２個体数を乗じた値を、検出処理によって検出された商品の数すなわち第１総数から引く。
　例えば画像処理部１２０によって、「商品Ａは２個」、「商品Ｂは２個」、「商品Ｃは１個」、「商品Ｄは１つ」と判断され、また、商品登録部１５０が生成した登録情報において、「おにぎりは２個」、「パンは１個」、「ペットボトルのお茶は１個」であったと仮定する。この場合、個数が２つの商品は１種類であるにもかかわらず、画像処理部１２０の処理結果において個数が２つの商品は２種類となっている。この場合、これら２種類の商品の一方は、実際には商品でない可能性が高い。そこで、算出部１３０は、「第１の商品の種類と第２の商品の種類の数の差」である「１」に第２個体数である「２」を乗じた値、すなわち「２」を、第１総数から引く。
　実行部１４０は、商品登録部１５０によって登録された商品の総数である第２商品数と、算出部１３０が算出した第１商品数の差が基準値以上であるときに、所定の処理を実行する。この基準値は、例えば１であるが、２以上であってもよい。この差が基準値以上であることは、商品登録部１５０に登録された商品の総数と、顧客やオフィスに勤務している人が購入しようとしている商品の総数と、が異なっている可能性があることを示している。そして、所定の処理の一例は、警告情報の出力処理である。実行部１４０は、商品数特定装置１０が有するディスプレイやスピーカに警告情報を出力してもよいし、商品の販売を管理している管理者が操作する端末、例えば店舗の店員が操作する端末に、警告情報を出力してもよい。
　精算部１６０は、実行部１４０が所定の処理を行わなかった場合、すなわち商品登録部１５０に登録された商品の総数と、顧客やオフィスに勤務している人が購入しようとしている商品の総数とが一致している可能性が高い場合に、商品登録部１５０が生成した登録情報、すなわち精算対象となる商品の商品識別情報のリストを用いて、精算処理を行う。この際、精算部１６０は、記憶部４０が記憶している情報を用いる。
　なお、商品数特定装置１０がクラウドサーバなど、商品の登録や精算を行う装置とは別の装置として用いられる場合、商品数特定装置１０は、商品登録部１５０及び精算部１６０を有していない。この場合、商品数特定装置１０とは別に、商品登録部１５０及び精算部１６０を有する装置、例えばＰＯＳ端末が、例えば図３又は図４の商品数特定装置１０の位置に配置される。以下、この装置を登録精算装置と記載する。そして商品数特定装置１０は、この登録精算装置から、第２個体数及び第２商品数を示す情報を取得する。商品数特定装置１０の実行部１４０は、第２商品数と第１商品数の差が基準値以上であるか否かを示す情報を、登録精算装置に送信する。登録精算装置は、第２商品数と第１商品数の差が基準値以上であるときに、所定の情報を、当該装置のディスプレイに表示させたり、当該装置のスピーカから出力させる。
　図７は、商品数特定装置１０のハードウェア構成例を示す図である。商品数特定装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどのリムーバブルメディア、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置であり、記録媒体を有している。ストレージデバイス１０４０の記録媒体は商品数特定装置１０の各機能（例えば取得部１１０、画像処理部１２０、算出部１３０、実行部１４０、商品登録部１５０、及び精算部１６０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部４０としても機能してもよい。
　入出力インタフェース１０５０は、商品数特定装置１０と各種入出力機器とを接続するためのインタフェースである。例えば商品数特定装置１０は、入出力インタフェース１０５０を介して読取装置２０、撮影装置３０、及び記憶部４０の少なくとも一つと通信する。
　ネットワークインタフェース１０６０は、商品数特定装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。商品数特定装置１０は、ネットワークインタフェース１０６０を介して撮影装置３０及び記憶部４０の少なくとも一方と通信してもよい。
　図８は、商品数特定装置１０が行う処理の第１例を示すフローチャートである。本図は、図３に示した例に対応している。
　顧客やオフィスに勤務している人は、商品を購入する場合、その商品の商品識別情報を読取装置２０に読み取らせる。商品数特定装置１０の商品登録部１５０は、この商品識別情報を取得する。購入対象の商品が複数ある場合、商品登録部１５０は、複数の商品それぞれの商品識別情報を取得する。そして商品登録部１５０は、第２商品数を算出する（ステップＳ１０）。
　また取得部１１０は、撮影装置３０が生成した複数の画像を取得する。そして画像処理部１２０は、これら複数の画像を処理することにより、複数の画像それぞれに含まれる商品を検出する（ステップＳ２０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。
　そして算出部１３０は、画像処理部１２０の処理結果を用いて、第１商品数を算出する（ステップＳ３０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。
　そして実行部１４０は、第２商品数と第１商品数の差が基準値以上であるとき（ステップＳ４０：Ｙｅｓ）に、所定の処理を実行する（ステップＳ５０）。所定の処理の一例は、警告処理である。その後、商品数特定装置１０は、ステップＳ１０に戻る。
　一方、第２商品数と第１商品数の差が基準値未満であるとき（ステップＳ４０：Ｎｏ）、精算部１６０は精算処理を行う（ステップＳ６０）。
　図９は、商品数特定装置１０が行う処理の第２例を示すフローチャートである。本図は、図５に示した例に対応している。
　店舗の店員は、容器９０を陳列棚８０の近くまで移動させ、品出しを開始する（ステップＳ１２）。具体的には、店員は、容器９０から商品９２を取り出して陳列棚８０に陳列する。撮影装置３０は、店員が品出しを行っている間、画像を繰り返し生成する。取得部１１０は、これらの画像を取得する。
　品出しが終了する（ステップＳ２２）と、画像処理部１２０は、取得部１１０が取得した画像を処理し、複数の画像それぞれに含まれる商品を検出する（ステップＳ３０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。
　そして算出部１３０は、画像処理部１２０の処理結果を用いて、第１商品数を算出する（ステップＳ４０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。
　以上、本実施形態によれば、画像処理部１２０は画像を処理することにより商品を検出する。そして算出部１３０は、画像処理部１２０が行った検出処理において所定の数以上の画像から検出された商品すなわち第１物体を特定する。この第１物体は、人の手や付属機器６０など、商品ではない可能性が高い。そこで算出部１３０は検出処理によって検出された商品のうち第１物体を除いた数を、精算対象の商品の数である第１商品数にする。従って、商品数特定装置１０を用いると、画像に含まれる商品の個数を精度よく検出できる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、少なくとも一つの工程は、他の動作主体、例えば他の装置や人によって行われてもよい。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
　１．商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得手段と、
　前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理手段と、
　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出手段と、
を備える商品数特定装置。
２．上記１に記載の商品数特定装置において、
　前記画像処理手段は、予め定められた条件を満たした前記画像に対して前記検出処理を行う、商品数特定装置。
３．上記２に記載の商品数特定装置において、
　前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である商品数特定装置。
４．上記２に記載の商品数特定装置において、
　前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である商品数特定装置。
５．上記１～４のいずれか一項に記載の商品数特定装置において、
　前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む商品数特定装置。
６．上記１～４のいずれか一項に記載の商品数特定装置において、
　前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、商品数特定装置。
７．上記６に記載の商品数特定装置において、
　前記画像処理手段は、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、商品数特定装置。
８．上記７に記載の商品数特定装置において、
　前記画像処理手段は、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、商品数特定装置。
９．上記７又は８に記載の商品数特定装置において、
　前記商品登録装置に登録された前記商品の数である第２商品数と前記第１商品数との差が基準値以上であるときに、所定の処理を実行する実行手段を備える、商品数特定装置。
１０．上記７～９のいずれか一項に記載の商品数特定装置において、
　前記画像処理手段は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
　前記算出手段は、前記第２個体数の最大値より大きい前記第１個体数を有する前記商品を前記第１物体として、前記第１商品数を算出する商品数特定装置。
１１．上記７～９のいずれか一項に記載の商品数特定装置において、
　前記画像処理手段は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
　前記算出手段は、前記第１商品数を算出する際に、
　　いずれかの前記第２個体数において、当該第２個体数を有する第１の前記商品の種類が、前記第１個体数が当該第２個体数と同一である第２の前記商品の種類より少ない場合、前記第１の商品の種類と前記第２の商品の種類の数の差に前記第２個体数を乗じた値を、前記検出処理によって検出された商品の数から引く、商品数特定装置。
１２．上記１～１１のいずれか一項に記載の商品数特定装置において、
　前記算出手段は、少なくとも一つの前記画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の前記画像から検出されたか否かを判断することにより、前記第１物体を特定する、商品数特定装置。
１３．コンピュータが、
　　商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得し、
　　前記複数の画像のそれぞれに対して商品の検出処理を行い、
　　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする、商品数特定方法。
１４．上記１３に記載の商品数特定方法において、
　前記コンピュータは、予め定められた条件を満たした前記画像に対して前記検出処理を行う、商品数特定方法。
１５．上記１４に記載の商品数特定方法において、
　前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である商品数特定方法。
１６．上記１４に記載の商品数特定方法において、
　前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である商品数特定方法。
１７．上記１３～１６のいずれか一項に記載の商品数特定方法において、
　前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む商品数特定方法。
１８．上記１３～１６のいずれか一項に記載の商品数特定方法において、
　前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、商品数特定方法。
１９．上記１８に記載の商品数特定方法において、
　前記コンピュータは、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、商品数特定方法。
２０．上記１９に記載の商品数特定方法において、
　前記コンピュータは、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、商品数特定方法。
２１．上記１９又は２０に記載の商品数特定方法において、
　前記コンピュータは、前記商品登録装置に登録された前記商品の数である第２商品数と前記第１商品数との差が基準値以上であるときに、所定の処理を実行する、商品数特定方法。
２２．上記１９～２１のいずれか一項に記載の商品数特定方法において、
　前記コンピュータは、前記商品の種類別に、当該商品の数である第１個体数を算出し、
　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
　前記コンピュータは、前記第２個体数の最大値より大きい前記第１個体数を有する前記商品を前記第１物体として、前記第１商品数を算出する商品数特定方法。
２３．上記１９～２１のいずれか一項に記載の商品数特定方法において、
　前記コンピュータは、前記商品の種類別に、当該商品の数である第１個体数を算出し、
　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
　前記コンピュータは、前記第１商品数を算出する際に、
　　いずれかの前記第２個体数において、当該第２個体数を有する第１の前記商品の種類が、前記第１個体数が当該第２個体数と同一である第２の前記商品の種類より少ない場合、前記第１の商品の種類と前記第２の商品の種類の数の差に前記第２個体数を乗じた値を、前記検出処理によって検出された商品の数から引く、商品数特定方法。
２４．上記１３～２３のいずれか一項に記載の商品数特定方法において、
　前記コンピュータは、少なくとも一つの前記画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の前記画像から検出されたか否かを判断することにより、前記第１物体を特定する、商品数特定方法。
２５．コンピュータに
　　商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得機能と、
　　前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理機能と、
　　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出機能と、
を持たせるプログラムを記憶した、コンピュータによって読み取り可能な記録媒体。
２６．上記２５に記載の記録媒体において、
　前記画像処理機能は、予め定められた条件を満たした前記画像に対して前記検出処理を行う、記録媒体。
２７．上記２６に記載の記録媒体において、
　前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である記録媒体。
２８．上記２６に記載の記録媒体において、
　前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である記録媒体。
２９．上記２５～２８のいずれか一項に記載の記録媒体において、
　前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む記録媒体。
３０．上記２５～２８のいずれか一項に記載の記録媒体において、
　前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、記録媒体。
３１．上記３０に記載の記録媒体において、
　前記画像処理機能は、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、記録媒体。
３２．上記３１に記載の記録媒体において、
　前記画像処理機能は、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、記録媒体。
３３．上記３１又は３２に記載の記録媒体において、
　前記プログラムは、前記コンピュータに、
　　前記商品登録装置に登録された前記商品の数である第２商品数と前記第１商品数との差が基準値以上であるときに、所定の処理を実行する実行機能を持たせる、記録媒体。
３４．上記３１～３３のいずれか一項に記載の記録媒体において、
　前記画像処理機能は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
　前記算出機能は、前記第２個体数の最大値より大きい前記第１個体数を有する前記商品を前記第１物体として、前記第１商品数を算出する記録媒体。
３５．上記３１～３３のいずれか一項に記載の記録媒体において、
　前記画像処理機能は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
　前記算出機能は、前記第１商品数を算出する際に、
　　いずれかの前記第２個体数において、当該第２個体数を有する第１の前記商品の種類が、前記第１個体数が当該第２個体数と同一である第２の前記商品の種類より少ない場合、前記第１の商品の種類と前記第２の商品の種類の数の差に前記第２個体数を乗じた値を、前記検出処理によって検出された商品の数から引く、記録媒体。
３６．上記２５～３５のいずれか一項に記載の記録媒体において、
　前記算出機能は、少なくとも一つの前記画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の前記画像から検出されたか否かを判断することにより、前記第１物体を特定する、記録媒体。
３７．上記２５～３６のいずれか一項に記載のプログラム。
１０　　　　商品数特定装置
２０　　　　読取装置
３０　　　　撮影装置
４０　　　　記憶部
１１０　　　　取得部
１２０　　　　画像処理部
１３０　　　　算出部
１４０　　　　実行部
１５０　　　　商品登録部
１６０　　　　精算部

Claims (14)

  1. 　商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得手段と、
    　前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理手段と、
    　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出手段と、
    を備える商品数特定装置。
  2. 　請求項１に記載の商品数特定装置において、
    　前記画像処理手段は、予め定められた条件を満たした前記画像に対して前記検出処理を行う、商品数特定装置。
  3. 　請求項２に記載の商品数特定装置において、
    　前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である商品数特定装置。
  4. 　請求項２に記載の商品数特定装置において、
    　前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である商品数特定装置。
  5. 　請求項１～４のいずれか一項に記載の商品数特定装置において、
    　前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む商品数特定装置。
  6. 　請求項１～４のいずれか一項に記載の商品数特定装置において、
    　前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、商品数特定装置。
  7. 　請求項６に記載の商品数特定装置において、
    　前記画像処理手段は、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、商品数特定装置。
  8. 　請求項７に記載の商品数特定装置において、
    　前記画像処理手段は、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、商品数特定装置。
  9. 　請求項７又は８に記載の商品数特定装置において、
    　前記商品登録装置に登録された前記商品の数である第２商品数と前記第１商品数との差が基準値以上であるときに、所定の処理を実行する実行手段を備える、商品数特定装置。
  10. 　請求項７～９のいずれか一項に記載の商品数特定装置において、
    　前記画像処理手段は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
    　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
    　前記算出手段は、前記第２個体数の最大値より大きい前記第１個体数を有する前記商品を前記第１物体として、前記第１商品数を算出する商品数特定装置。
  11. 　請求項７～９のいずれか一項に記載の商品数特定装置において、
    　前記画像処理手段は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
    　前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
    　前記算出手段は、前記第１商品数を算出する際に、
    　　いずれかの前記第２個体数において、当該第２個体数を有する第１の前記商品の種類が、前記第１個体数が当該第２個体数と同一である第２の前記商品の種類より少ない場合、前記第１の商品の種類と前記第２の商品の種類の数の差に前記第２個体数を乗じた値を、前記検出処理によって検出された商品の数から引く、商品数特定装置。
  12. 　請求項１～１１のいずれか一項に記載の商品数特定装置において、
    　前記算出手段は、少なくとも一つの前記画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の前記画像から検出されたか否かを判断することにより、前記第１物体を特定する、商品数特定装置。
  13. 　コンピュータが、
    　　商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得し、
    　　前記複数の画像のそれぞれに対して商品の検出処理を行い、
    　　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする、商品数特定方法。
  14. 　コンピュータに
    　　商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得機能と、
    　　前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理機能と、
    　　前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出機能と、
    を持たせるプログラムを記憶した、コンピュータによって読み取り可能な記録媒体。
PCT/JP2022/015464 2022-03-29 2022-03-29 商品数特定装置、商品数特定方法、及び記録媒体 WO2023187993A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015464 WO2023187993A1 (ja) 2022-03-29 2022-03-29 商品数特定装置、商品数特定方法、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015464 WO2023187993A1 (ja) 2022-03-29 2022-03-29 商品数特定装置、商品数特定方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2023187993A1 true WO2023187993A1 (ja) 2023-10-05

Family

ID=88200030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015464 WO2023187993A1 (ja) 2022-03-29 2022-03-29 商品数特定装置、商品数特定方法、及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023187993A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238243A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2017220198A (ja) * 2016-06-01 2017-12-14 サインポスト株式会社 情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238243A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2017220198A (ja) * 2016-06-01 2017-12-14 サインポスト株式会社 情報処理システム

Similar Documents

Publication Publication Date Title
US12039508B2 (en) Information processing system
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
JP2021166096A (ja) 販売データ処理装置およびプログラム
US10372998B2 (en) Object recognition for bottom of basket detection
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
WO2019123714A1 (ja) 情報処理装置、商品推薦方法、およびプログラム
JP2014052810A (ja) 情報処理装置及びプログラム
JP7435587B2 (ja) 物品推定装置、物品推定方法、及びプログラム
JP2013186548A (ja) 情報処理装置、店舗システム及びプログラム
JP3837475B2 (ja) 自動化ショッピングシステム
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
US20180005214A1 (en) Check-out system with merchandise reading apparatus and pos terminal
JP2017211880A (ja) 情報処理装置及びプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
CN112154488B (zh) 信息处理装置、控制方法和程序
JP2014052806A (ja) 情報処理装置及びプログラム
JP2023162229A (ja) 監視装置及びプログラム
JP2018185553A (ja) 商品情報読取装置およびプログラム
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
WO2019215966A1 (ja) 登録システム、登録方法及びプログラム
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
WO2023188068A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP7200487B2 (ja) 精算システム、精算方法及びプログラム
JP2022114229A (ja) 商品認識システム、商品認識装置、方法及びプログラム
JP6316245B2 (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935143

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024510795

Country of ref document: JP

Kind code of ref document: A