WO2021240795A1 - 処理装置、前処理装置、処理方法及びプログラム - Google Patents

処理装置、前処理装置、処理方法及びプログラム Download PDF

Info

Publication number
WO2021240795A1
WO2021240795A1 PCT/JP2020/021379 JP2020021379W WO2021240795A1 WO 2021240795 A1 WO2021240795 A1 WO 2021240795A1 JP 2020021379 W JP2020021379 W JP 2020021379W WO 2021240795 A1 WO2021240795 A1 WO 2021240795A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
product
threshold value
reliability
object region
Prior art date
Application number
PCT/JP2020/021379
Other languages
English (en)
French (fr)
Inventor
悠 鍋藤
壮馬 白石
貴美 佐藤
克 菊池
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/928,215 priority Critical patent/US20230222802A1/en
Priority to PCT/JP2020/021379 priority patent/WO2021240795A1/ja
Priority to JP2022527452A priority patent/JP7380869B2/ja
Publication of WO2021240795A1 publication Critical patent/WO2021240795A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to a processing device, a pretreatment device, a processing method and a program.
  • Non-Patent Documents 1 and 2 disclose a store system that eliminates payment processing (product registration, payment, etc.) at the cashier counter.
  • the product picked up by the customer is recognized based on the image generated by the camera that captures the inside of the store, and the payment process is automatically performed based on the recognition result when the customer leaves the store.
  • Non-Patent Document 3 analyzes an image to extract a plurality of feature points such as corner dots in a pattern of a product package, and places them at the same positions as the feature points of each of the plurality of products registered in advance in a database. It discloses a technique for recognizing products included in an image based on the number of matched feature points by matching how much there is. It also discloses a technology for collectively recognizing a plurality of products placed on a table by image recognition.
  • Patent Document 1 discloses a technique for reducing the amount of calculation by thinning out feature points that do not significantly affect object recognition in the object recognition process.
  • Patent Document 2 a reading window and a camera for taking a picture of a product through the reading window are provided at the accounting counter, and when the operator positions the product in front of the reading window, the product is taken and the product is recognized based on the image. Discloses the technology to be used.
  • Patent Documents 1 to 3 As shown in Non-Patent Documents 1 to 3, Patent Documents 1 and 2, etc., a technique for recognizing a product contained in an image has been widely studied and used. Further, a technique for further improving the accuracy of product recognition based on an image is desired.
  • An object of the present invention is to improve the accuracy of product recognition based on an image by a method not disclosed in the above-mentioned prior art.
  • An object area detecting means for detecting an object area, which is an area containing an object, from an image, For each product, a reliability calculation means for calculating the reliability of each product included in the image of the object region, and An image parameter calculation means for calculating an image parameter related to an image of the object region, and an image parameter calculation means.
  • a threshold setting means for setting the reliability threshold based on the image parameters, and A product determining means for determining the product included in the image of the object region based on the reliability of each of the products and the threshold value.
  • Product image acquisition means to acquire product images that include products
  • An editing means for editing the product image and generating a plurality of edited images in which at least one of the size and the brightness of the image in the product area, which is the area containing the product, is different from each other.
  • a feature point extraction means for executing a process of extracting feature points of the product for each of the plurality of edited images.
  • a relational information generation means for generating relational information indicating a relation between an image parameter and the number of feature points to be extracted based on the extraction result.
  • a pretreatment device having the above is provided.
  • the computer The object area, which is the area containing the object, is detected from the image and For each product, the reliability of each product included in the image of the object area is calculated.
  • the image parameters related to the image of the object area are calculated, and the image parameters are calculated.
  • the reliability threshold is set.
  • a processing method for determining the product included in the image of the object region is provided based on the reliability of each of the products and the threshold value.
  • a program for making a computer function as the processing device is provided.
  • the accuracy of product recognition based on images is improved.
  • the processing apparatus of this embodiment recognizes the product included in the image by the following processing. -Detects the object area, which is the area containing the object, from the image to be processed. -The feature points of the object extracted from the image of the object area are collated with the feature points of each of the plurality of products registered in advance, and each of the plurality of products is included in the image based on the number of matched feature points. Calculate the reliability. The reliability increases as the number of matched feature points increases. -Recognize one of the products whose reliability is equal to or higher than the threshold value as a product included in the image.
  • the processing device sets the above-mentioned reliability threshold value (hereinafter, may be simply referred to as “reliability threshold value”) for each product and for each image based on the size of the image in the object area. It has characteristics.
  • the reliability threshold By setting a high reliability threshold, it is possible to suppress the inconvenience of outputting erroneous recognition results. However, if the reliability threshold is set too high, the reliability of any product does not exceed the threshold, and the inconvenience that the product included in the image cannot be recognized tends to occur. In particular, when the number of feature points that can be extracted from the image is small, such as when the image of the object area is small or when the image contains a product whose actual size is small in the first place, matching feature points are inevitable. The number of is also reduced, and the reliability is low. If the reliability threshold is set too high, in cases where the number of feature points that can be extracted from such an image is small, a situation is likely to occur in which the reliability of any product does not exceed the threshold (product recognition is not possible).
  • the reliability threshold low, it is possible to suppress the occurrence of a situation in which the reliability of any product does not exceed the threshold. However, in this case, the inconvenience of outputting an erroneous recognition result is likely to occur.
  • the appropriate reliability is set according to the number of feature points (reference) that can be extracted from the image. You can set a threshold. Therefore, according to the processing device, the product cannot be recognized because the "reliability threshold value is not appropriate” while suppressing the "inconvenience of outputting an erroneous recognition result" (the reliability of any product exceeds the threshold value). It is possible to suppress the inconvenience of not having).
  • Each functional unit of the processing device is stored in the CPU (Central Processing Unit) of an arbitrary computer, memory, a program loaded in the memory, and a storage unit such as a hard disk for storing the program (from the stage of shipping the device in advance).
  • CPU Central Processing Unit
  • a storage unit such as a hard disk for storing the program (from the stage of shipping the device in advance).
  • programs it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and is realized by any combination of hardware and software centered on the network connection interface. .. And, it is understood by those skilled in the art that there are various variations in the method of realizing the device and the device.
  • FIG. 1 is a block diagram illustrating a hardware configuration of a processing device.
  • the processing device includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the processing device does not have to have the peripheral circuit 4A.
  • the processing device may be composed of a plurality of physically and / or logically separated devices, or may be composed of one physically and / or logically integrated device. When the processing device is composed of a plurality of physically and / or logically separated devices, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to transmit and receive data to each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, a physical button, a touch panel, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue a command to each module and perform a calculation based on the calculation result thereof.
  • FIG. 2 shows an example of a functional block diagram of the processing device 10.
  • the processing device 10 includes an object area detection unit 11, a reliability calculation unit 12, an image parameter calculation unit 13, a threshold value setting unit 14, and a product determination unit 15.
  • the object area detection unit 11 acquires an image including the product to be recognized.
  • the image acquired by the object area detection unit 11 may be an image taken for any purpose. For example, it may be an image taken to recognize a product picked up by a customer, an image taken to recognize a product subject to accounting, or an image taken for other purposes. It may be an image that has been created.
  • one or more cameras are installed in the store at a position and orientation in which the customer can take a picture of the product picked up by the customer.
  • a camera may be installed for each product display shelf at a position and orientation for photographing the products taken out from each.
  • the camera may be installed on a product display shelf, on the ceiling, on the floor, on the wall, or in another place. ..
  • the example of installing a camera for each product display shelf is just an example, and the present invention is not limited to this.
  • the camera may shoot moving images at all times (for example, during business hours), may continuously shoot still images at time intervals larger than the frame interval of moving images, or may be determined by a motion sensor or the like. These photographs may be performed only while the person present at the position (such as in front of the product display shelf) is detected.
  • FIG. 4 is a diagram obtained by extracting the frame 4 of FIG. A camera 2 and lighting (not shown) are provided for each of the two components constituting the frame 4.
  • the light emitting surface of the illumination extends in one direction, and has a light emitting part and a cover that covers the light emitting part. Illumination mainly emits light in a direction orthogonal to the extending direction of the light emitting surface.
  • the light emitting unit has a light emitting element such as an LED, and emits light in a direction not covered by the cover. When the light emitting element is an LED, a plurality of LEDs are lined up in the direction in which the illumination extends (vertical direction in the figure).
  • the camera 2 is provided on one end side of a part of the frame 4 extending linearly, and the shooting range is the direction in which the light of the illumination is radiated.
  • the shooting range is the direction in which the light of the illumination is radiated.
  • the camera 2 has a lower right and an oblique lower right as a shooting range.
  • the camera 2 has the upper left and the diagonally upper left as the shooting range.
  • the frame 4 is attached to the front frame (or the front of the side walls on both sides) of the product display shelf 1 constituting the product storage space.
  • One of the parts of the frame 4 is attached to one front frame in a direction in which the camera 2 is located downward, and the other of the parts of the frame 4 is attached to the other front frame in a direction in which the camera 2 is located upward.
  • the camera 2 attached to one of the parts of the frame 4 photographs the upper side and the diagonally upper side so as to include the opening of the product display shelf 1 in the photographing range.
  • the camera 2 attached to the other side of the component of the frame 4 photographs the lower part and the diagonally lower part so as to include the opening of the product display shelf 1 in the photographing range.
  • the two cameras 2 can capture the entire range of the opening of the product display shelf 1. As a result, it becomes possible to take a picture of the product (the product picked up by the customer) taken out from the product display shelf 1 with the two cameras 2.
  • the image generated by the camera may be input to the processing device 10 by real-time processing, or may be input to the processing device 10 by batch processing. Which process should be used can be determined, for example, according to the content of use of the recognition result.
  • a camera is installed in the accounting device, and the camera generates the image.
  • the camera may be configured to collectively capture one or more products placed on a table, for example as disclosed in Non-Patent Document 3.
  • the camera may be configured to shoot the products one by one according to the operation of the operator (the work of positioning the product in front of the camera).
  • the object area detection unit 11 When the object area detection unit 11 acquires an image, it detects an object area, which is an area containing an object, from the image.
  • the object area detection unit 11 detects one or a plurality of object areas from one image.
  • the object area detection unit 11 can adopt any object detection technique.
  • the object area detection unit 11 may detect an area including an object and its surroundings (for example, a rectangular area) as an object area.
  • the object area detection unit 11 may detect an area having a shape along the contour of an object in which only the object exists as an object area. The latter can be realized by using, for example, a technique called semantic segmentation or instance segmentation, which detects a pixel area in which a detection target exists.
  • the reliability calculation unit 12 calculates the reliability included in the image of the object area for each product. Specifically, the reliability calculation unit 12 matches each product by collating the feature points of the object extracted from the image of the object region with the feature points of each of the plurality of pre-registered products. Count the number of feature points. Then, the reliability calculation unit 12 calculates the reliability based on the number of matched feature points. The greater the number of matched feature points, the higher the reliability.
  • the details of the algorithm for extracting feature points, collating feature points, and calculating reliability from the number of matched feature points are not particularly limited.
  • the reliability of each product included in the image of the object area may be referred to as "reliability of each product”.
  • the image parameter calculation unit 13 calculates image parameters related to the image of the object area.
  • the image parameter of the present embodiment is the size of the image in the object area.
  • the size of the image of the object region may be indicated by the area of the region, the size of the outer circumference of the region, or other methods.
  • the area of the area and the size of the outer circumference may be indicated by the number of pixels, or other methods may be adopted.
  • the threshold value setting unit 14 sets the reliability threshold value for each product and each image of the object area based on the image parameters. When a plurality of object regions are detected from one image, the threshold value setting unit 14 sets a reliability threshold value for each image of the object region. The threshold value setting unit 14 sets a smaller threshold value as the image of the object region is smaller, and sets a larger threshold value as the image of the object region is larger. Further, the threshold setting unit 14 sets a smaller threshold value for a product having a smaller actual size, and sets a larger threshold value for a product with a larger actual size.
  • the process of setting the reliability threshold value For example, relational information showing the relationship between the size of the image of the object area and the number of feature points (reference) extracted from the image of the size is generated in advance for each product. Then, the threshold value setting unit 14 is based on the image size (image parameter) of the object area calculated by the image parameter calculation unit 13 and the related information, and is "a feature extracted from the image of the object area" for each product. Obtain the score (approximate). Next, the threshold value setting unit 14 sets a reliability threshold value for each product based on the "feature points (reference) extracted from the image of the object region" obtained for each product.
  • the threshold setting unit 14 sets a smaller threshold value as the "number of feature points (reference) extracted from the image of the object region" is smaller, and the larger the “number of feature points (reference) extracted from the image of the object region” is. Set a large threshold.
  • the details of the processing algorithm for calculating the reliability threshold value from the "feature points (reference) extracted from the image of the object area” are not particularly limited.
  • FIG. 5 shows an example of the above-mentioned related information.
  • the horizontal axis is the size of the image in the object area
  • the vertical axis is the number of feature points (reference) to be extracted.
  • the smaller the image of the object area the smaller the number of feature points (reference) to be extracted, and the larger the image of the object area, the larger the number of feature points (reference) to be extracted.
  • the figure shows the relationship information of one product, and such relationship information is prepared for each product. The smaller the actual size of the product, the smaller the number of feature points (reference) extracted, and the larger the actual size of the product, the larger the number of feature points (reference) extracted.
  • the “extracted feature points (reference)" indicated by the relational information may be continuously changed as shown in FIG. 5 or may be changed discretely as shown in FIG. Further, although not shown, the “extracted feature points (reference)” indicated by the relational information may be a mixture of continuous changes and discrete changes. For example, while the size of the image in the object area is in the first numerical range, the number of feature points (reference) to be extracted changes continuously, and while the size of the image in the object area is in the second numerical range. , The number of feature points (reference) to be extracted changes discretely.
  • the "image size of the object area” indicated by the relational information may change continuously or discretely as shown in FIGS. 5 and 6.
  • the threshold value setting unit 14 is among a plurality of values of the "image size of the object area” indicated by the relationship information. Therefore, the value closest to the image size of the object area calculated by the image parameter calculation unit 13 is specified, and the reliability threshold value is set based on the "extracted feature points (reference)" corresponding to the specified value. can do.
  • the continuous change of the value may be shown by a linear expression as shown in FIGS. 5 and 6, or may be shown by other methods such as a polynomial, an exponential function, and a logarithmic function. May be good.
  • the method used may differ for each product.
  • the product determination unit 15 determines the reliability of each product calculated based on the image of the first object region and the threshold value of the reliability of each product calculated based on the image of the first object region. Based on, the product included in the image of the first object area is determined. The product determination unit 15 determines whether the reliability of each product is equal to or higher than the threshold value of each product for each product. Then, the product determination unit 15 determines one of the products whose reliability is equal to or higher than the threshold value as the product included in the image of the object region.
  • the product determination unit 15 selects one of them and determines the selected product as a product included in the image of the object area. For example, the product determination unit 15 may select the product with the highest reliability. In addition, the product determination unit 15 may select the product having the largest degree of deviation between the reliability and the threshold value.
  • the object area detection unit 11 acquires an image (S10), it detects an object area, which is a region including an object, from the image (S11).
  • the reliability calculation unit 12 calculates the reliability in which each of the plurality of products is included in the image of each object region for each detected object region (S12).
  • the image parameter calculation unit 13 calculates an image parameter indicating the size of the image of the object region for each detected object region (S13).
  • the threshold value setting unit 14 sets the threshold value of the reliability of each of the plurality of products based on the size of the image of the object region for each detected object region (S14).
  • the threshold value setting unit 14 sets a smaller threshold value as the image of the object region is smaller, and sets a larger threshold value as the image of the object region is larger. Further, the threshold setting unit 14 sets a smaller threshold value for a product having a smaller actual size, and sets a larger threshold value for a product with a larger actual size.
  • the product determination unit 15 determines whether the reliability of each product is equal to or higher than the threshold value of each product for each detected object region.
  • the product determination unit 15 When there is a product whose reliability is equal to or higher than the threshold value (Yes in S15), the product determination unit 15 includes the product identification information of one of the products whose reliability is equal to or higher than the threshold value in the image of the object region. It is output as product identification information (product recognition result) of the product (S16). When there is only one product whose reliability is equal to or higher than the threshold value, the product determination unit 15 outputs the product identification information of the product. On the other hand, when there are a plurality of products whose reliability is equal to or higher than the threshold value, the product determination unit 15 selects one of them and outputs the product identification information of the selected product. The selection method is as described above.
  • the product determination unit 15 performs error processing (S17).
  • the product determination unit 15 may perform an error notification to notify the operator that the product could not be correctly recognized in the image of the object area. Error notification can be achieved via any output device such as a display, speaker, warning lamp, projection device and the like.
  • the object area detection unit 11 detects an object area, which is a region including an object, from the image (S21).
  • the reliability calculation unit 12 calculates the reliability of each of the plurality of products included in the image of each object region for each detected object region (S22).
  • the image parameter calculation unit 13 calculates an image parameter indicating the size of the image of the object region for each detected object region (S23).
  • the threshold setting unit 14 identifies the product with the highest reliability calculated in S22 for each detected object region (S24). Then, the threshold value setting unit 14 sets the threshold value of the reliability of the product specified in S24 based on the size of the image of the object region for each detected object region (S25). The threshold value setting unit 14 sets a smaller threshold value as the image of the object region is smaller, and sets a larger threshold value as the image of the object region is larger. Further, the threshold setting unit 14 sets a smaller threshold value for a product having a smaller actual size, and sets a larger threshold value for a product with a larger actual size.
  • the product determination unit 15 determines whether the reliability calculated in S22 of the product specified in S24 is equal to or higher than the threshold value set in S25 for each detected object region.
  • the product determination unit 15 uses the product identification information of the product specified in S24 as the product identification information (product recognition) of the product included in the image of the object region. Output as a result) (S27).
  • the product determination unit 15 identifies the next most reliable product if there are still unspecified products (Yes in S28). .. Then, the process returns to S25 and the same process is repeated.
  • all products may be a specific target, or some products may be a specific target.
  • Some of the products to be specified are, for example, products whose reliability calculated in S22 is equal to or higher than a preset lower limit value (a value common to all products).
  • the product determination unit 15 performs error processing (S30).
  • the error processing is the same as the error processing of S17 described above.
  • the subsequent processing contents for the product recognition result (product identification information of the recognized product) output by the product determination unit 15 are not particularly limited.
  • the product recognition result may be used in the accounting process at the store.
  • usage scenes include, but are not limited to, scenes such as those disclosed in Non-Patent Documents 1 to 3 and Patent Document 2.
  • the product recognition result may be used in customer preference surveys, marketing surveys, etc.
  • customer preference surveys For example, by linking the products picked up by each customer to each customer and registering them, it is possible to analyze the products that each customer is interested in.
  • the recognition of each customer can be realized by using, for example, face recognition technology.
  • by registering the fact that the customer has picked up each product it is possible to analyze which product is interested in the customer.
  • the processing device 10 collates the feature points of the object extracted from the image with the feature points of each of the plurality of products registered in advance, and each of the plurality of products is based on the number of matched feature points. Calculates the reliability included in the image, and recognizes one of the products whose reliability is equal to or higher than the threshold value as the product included in the image. The reliability increases as the number of matched feature points increases.
  • the processing device can set the reliability threshold value for each product and for each image based on the size of the image in the object area.
  • the processing device 10 that sets the reliability threshold value for each product and for each image based on the size of the image in the object area, it is appropriate according to the number (reference) of feature points that can be extracted from the image. It is possible to set a threshold value of reliability.
  • the processing device 10 may set a relatively small reliability threshold value according to the actual size of a product in which the actual size is small and the number of feature points that can be extracted from the image is relatively small. can. Further, in the case where the image of the object area is small and the number of feature points that can be extracted from the image is relatively small, the processing device 10 sets a relatively small reliability threshold value according to the size of the image of the object area. can do.
  • the processing device 10 can set a relatively large reliability threshold value according to the actual size in a product in which the actual size is large and relatively large. Further, in the case where the object area in the image is large and the number of feature points that can be extracted from the image is relatively large, the processing device 10 sets a relatively large reliability threshold value according to the size of the image in the object area. Can be set.
  • the "reliability threshold value” is suppressed while suppressing "the inconvenience of outputting an erroneous recognition result". It is possible to suppress the inconvenience that the product cannot be recognized because the product is not appropriate (the reliability of any product does not exceed the threshold value).
  • the threshold value setting unit 14 may set a reliability threshold value common to all products for each image in the object region based on the image parameters.
  • the above-mentioned related information (see FIGS. 5 and 6) generated in advance may be information common to all products. Then, the threshold value setting unit 14 may set a threshold value of reliability common to all products based on the relationship information common to all products.
  • the reliability threshold value is not set for each product, but the reliability threshold value is set for each image of the object region, so that the same operation and effect as the processing device 10 of the present embodiment described above can be realized. Will be done.
  • the threshold setting unit 14 may set a reliability threshold for each product group for each image in the object region based on the image parameters. For example, the above-mentioned related information (see FIGS. 5 and 6) may be generated for each product group. Then, the threshold value setting unit 14 may set a reliability threshold value for each product group based on the relationship information for each product group.
  • a product group is a group of products in which at least one of the shapes, sizes, and designs of the products is similar to each other and the number of feature points to be extracted is the same. Products of the same series are exemplified.
  • the same effects as those of the processing device 10 of the present embodiment described above are realized. Further, as compared with the case where the reliability threshold value is set for each product, the number of reliability threshold values to be set is reduced, so that the processing load on the computer can be reduced.
  • the image parameter calculation unit 13 of the present embodiment calculates the brightness of the image in the object region as an image parameter.
  • the brightness of the image in the object area is a statistical value (mean value, median value, mode value, maximum value, minimum value, etc.) of the brightness of a plurality of pixels included in the image of the object area.
  • the threshold value setting unit 14 of the present embodiment sets the threshold value of the reliability for each product and each image of the object area based on such an image parameter.
  • the threshold value setting unit 14 sets a reliability threshold value for each object region.
  • the threshold value setting unit 14 sets a threshold value that becomes smaller as the brightness of the image in the object region deviates from the reference range.
  • the threshold value setting unit 14 is based on the brightness (image parameter) of the image of the object area calculated by the image parameter calculation unit 13 and the related information, and "the number of feature points extracted from the image of the object area" for each product. (Guideline) ”.
  • the threshold value setting unit 14 sets a reliability threshold value for each product based on the "feature points (reference) extracted from the image of the object region" obtained for each product.
  • the threshold setting unit 14 sets a smaller threshold value as the "number of feature points (reference) extracted from the image of the object region" is smaller, and the larger the “number of feature points (reference) extracted from the image of the object region” is. Set a large threshold.
  • the details of the processing algorithm for calculating the reliability threshold value from the "feature points (reference) extracted from the image of the object area” are not particularly limited.
  • FIG. 9 shows an example of the above-mentioned related information.
  • the horizontal axis is the brightness of the image in the object area
  • the vertical axis is the number of feature points (reference) to be extracted.
  • the number of feature points (reference) extracted when the brightness of the image in the object area is within the reference range (B or more and C or less) is the maximum, and the number of feature points (reference) extracted as the distance from the reference range increases. It will be less.
  • the figure shows the relationship information of one product, and such relationship information is prepared for each product. The smaller the actual size of the product, the smaller the number of feature points (reference) extracted, and the larger the actual size of the product, the larger the number of feature points (reference) extracted.
  • the "number of feature points to be extracted (reference)" may be continuously changed as shown in FIG. 9, and is not shown. May change discretely. Further, in the reference range (B or more and C or less), the “number of feature points to be extracted (reference)” may be constant as shown in FIG. 9, and although not shown, it changes continuously or discretely. You may.
  • the threshold value setting unit 14 may select from a plurality of values of the "brightness of the image of the object region" indicated by the relational information. It is possible to specify the value closest to the brightness of the image of the object area calculated by the image parameter calculation unit 13 and set the reliability threshold value based on the "number of feature points to be extracted (reference)" corresponding to the specified value. can.
  • the continuous change of the value may be shown by a linear expression as shown in FIG. 9, or may be shown by other methods such as a polynomial, an exponential function, and a logarithmic function.
  • the method used may differ for each product.
  • the same operation and effect as that of the processing device 10 of the first embodiment is realized. Further, according to the processing apparatus 10 of the present embodiment, it is possible to set an appropriate reliability threshold value in consideration of the difference in the number of feature points that can be extracted due to the brightness of the image in the object region. As a result, it is possible to reduce the influence of the difference in the number of feature points that can be extracted due to the brightness of the image in the object region, and improve the accuracy of product recognition.
  • the image parameter calculation unit 13 of the present embodiment calculates the size and brightness of the image in the object region as the image parameters.
  • the threshold value setting unit 14 of the present embodiment sets the threshold value of the reliability for each product and each image of the object area based on these two image parameters.
  • the threshold value setting unit 14 sets a reliability threshold value for each object region.
  • the threshold value setting unit 14 sets a smaller threshold value as the image of the object area is smaller, and sets a larger threshold value as the image of the object area is larger. Further, the threshold value setting unit 14 sets a threshold value that becomes smaller as the brightness of the image in the object region deviates from the reference range. Further, the threshold setting unit 14 sets a smaller threshold value for a product having a smaller actual size, and sets a larger threshold value for a product with a larger actual size.
  • the process of setting the reliability threshold value For example, for each product, relationship information indicating the relationship between the size of the image in the object area, the brightness of the image in the object area, and the number of feature points (reference) extracted from the image in such a size and brightness state is provided in advance for each product. Generated. Then, the threshold value setting unit 14 "extracts from the image of the object area” for each product based on the size and brightness (image parameter) of the image of the object area calculated by the image parameter calculation unit 13 and the related information. Find the feature score (reference). Next, the threshold value setting unit 14 sets a reliability threshold value for each product based on the "feature points (reference) extracted from the image of the object region" obtained for each product.
  • the threshold setting unit 14 sets a smaller threshold value as the "number of feature points (reference) extracted from the image of the object region" is smaller, and the larger the “number of feature points (reference) extracted from the image of the object region” is. Set a large threshold.
  • the details of the processing algorithm for calculating the reliability threshold value from the "feature points (reference) extracted from the image of the object area” are not particularly limited.
  • the same operation and effect as those of the processing devices 10 of the first and second embodiments are realized. Further, according to the processing apparatus 10 of the present embodiment, it is possible to set an appropriate reliability threshold value in consideration of the difference in the number of feature points that can be extracted due to the size and brightness of the image in the object region. As a result, it is possible to reduce the influence of the difference in the number of feature points that can be extracted due to the size and brightness of the image in the object region, and improve the accuracy of product recognition.
  • the pretreatment device 20 of the present embodiment has a function of generating relational information used by the processing device 10.
  • An example of the hardware configuration of the preprocessing device 20 is the same as an example of the hardware configuration of the processing device 10.
  • FIG. 10 shows an example of a functional block diagram of the pretreatment device 20.
  • the preprocessing device 20 includes a product image acquisition unit 21, an editing unit 22, a feature point extraction unit 23, and a relationship information generation unit 24.
  • the flowchart of FIG. 11 shows an example of the processing flow of the preprocessing device 20.
  • the product image acquisition unit 21 acquires a product image including the product (S40).
  • the editorial unit 22 edits the product image and generates a plurality of edited images in which at least one of the size and the brightness of the image in the product area, which is the area containing the product, is different from each other (S41). That is, the editing unit 22 generates a plurality of edited images from one product image. Then, at least one of the size and the brightness of the image in the product area is different from each other in the plurality of edited images.
  • the feature point extraction unit 23 executes a process of extracting the feature points of the product for each of the plurality of edited images (S42).
  • the details of the algorithm for the process of extracting feature points are not particularly limited.
  • the relationship information generation unit 24 generates relationship information indicating the relationship between the image parameter and the number of feature points extracted from the image based on the extraction result of S42 (S43).
  • the image parameter is at least one of the size and brightness of the image in the product area.
  • the size and brightness of the image in the product area are as described in the first to third embodiments.
  • the relational information generated by the relational information generation unit 24 may be information (table or the like) in which the values of the image parameters obtained by the processes of S40 to S42 and the number of feature points to be extracted are associated with each other. In this case, the values of the image parameters shown in the relational information and the values of the number of feature points to be extracted are discrete.
  • relation information generation unit 24 may obtain an approximate expression of the obtained data group by using an arbitrary method such as linear approximation, polynomial approximation, exponential approximation, and logarithmic approximation.
  • linear approximation polynomial approximation
  • exponential approximation exponential approximation
  • logarithmic approximation the value of the image parameter shown in the relational information and the value of the number of extracted feature points are continuous.
  • the relationship information generation unit 24 may output information in which the values of the image parameters obtained by the processes of S40 to S42 and the number of feature points to be extracted are associated with each other to the operator. Then, the relationship information generation unit 24 may generate relationship information based on these information and the input of the operator.
  • the pretreatment device 20 can generate relationship information for each product. Further, the pretreatment device 20 can generate the relationship information for each product group described in the modified example of the first embodiment, the relationship information common to all products, and the like, based on the relationship information for each product. ..
  • the pretreatment device 20 of the present embodiment described above it is possible to generate the related information to be processed by the processing device 10 described in the first to third embodiments. Further, the preprocessing device 20 edits one product image to generate a plurality of edited images in which at least one of the size and the brightness of the image in the product area is different from each other, and based on the plurality of edited images, the image parameters and Generates relationship information that shows the relationship with the extracted feature points. Therefore, the labor of the operator who prepares the image can be reduced.
  • acquisition means “the own device goes to fetch the data stored in another device or storage medium” based on the user input or the instruction of the program (actively). Acquisition) ”, for example, requesting or inquiring about other devices to receive, accessing and reading other devices or storage media, etc., and based on user input or program instructions,“ Entering data output from another device into your own device (passive acquisition) ”, for example, receiving data to be delivered (or transmitted, push notification, etc.), and received data or information. Select and acquire from among, and generate new data by editing the data (text conversion, data sorting, partial data extraction, file format change, etc.), and the new data Includes at least one of "acquiring data”.
  • An object area detecting means for detecting an object area, which is an area containing an object, from an image
  • a reliability calculation means for calculating the reliability of each product included in the image of the object region
  • An image parameter calculation means for calculating an image parameter related to an image of the object region, and an image parameter calculation means.
  • a threshold setting means for setting the reliability threshold based on the image parameters
  • a product determining means for determining the product included in the image of the object region based on the reliability of each of the products and the threshold value. Processing equipment with.
  • the image parameter indicates the size of the image in the object area.
  • the processing device wherein the threshold value setting means sets the threshold value as the image of the object region becomes smaller. 3. 3. 2. The processing device according to 2, wherein the threshold value setting means sets the threshold value based on the relationship information indicating the relationship between the size of the image of the object region and the number of feature points to be extracted. 4. The image parameter indicates the brightness of the image in the object area. The processing device according to any one of 1 to 3, wherein the threshold value setting means sets the threshold value so that the brightness of the image in the object region becomes smaller as the brightness of the image deviates from the reference range. 5. 4. The processing device according to 4, wherein the threshold value setting means sets the threshold value based on the relationship information indicating the relationship between the brightness of the image of the object region and the number of feature points to be extracted. 6. 3.
  • the processing device according to 3 or 5, wherein the threshold value setting means sets the threshold value smaller as the number of feature points extracted is smaller. 7.
  • the threshold value setting means sets the threshold value for each product, and the threshold value setting means sets the threshold value.
  • the processing device according to any one of 1 to 6, wherein the product determining means determines the product included in the image of the object region based on the reliability of each of the products and the threshold value of each of the products.
  • the threshold value determining means sets the threshold value smaller as the actual size of the product is smaller.
  • the threshold value setting means provides relationship information indicating the relationship between the size of the image in the object region and the number of feature points to be extracted, or the relationship between the brightness of the image in the object region and the number of feature points to be extracted, for each product. 7.
  • the processing apparatus according to 7 or 8, which sets the threshold value based on the above. 10.
  • the processing device according to any one of 1 to 9, wherein the product determining means determines one of the products whose reliability is equal to or higher than the threshold value as the product included in the image of the object region. 11.
  • Product image acquisition means to acquire product images that include products
  • An editing means for editing the product image and generating a plurality of edited images in which at least one of the size and the brightness of the image in the product area, which is the area containing the product, is different from each other.
  • a feature point extraction means for executing a process of extracting feature points of the product for each of the plurality of edited images.
  • a relational information generation means for generating relational information indicating a relation between an image parameter and the number of feature points to be extracted based on the extraction result.
  • the computer The object area, which is the area containing the object, is detected from the image and For each product, the reliability of each product included in the image of the object area is calculated.
  • the image parameters related to the image of the object area are calculated, and the image parameters are calculated. Based on the image parameters, the reliability threshold is set.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、物体が含まれる領域である物体領域を画像から検出する物体領域検出部（１１）と、商品毎に、商品各々が物体領域の画像に含まれる信頼度を算出する信頼度算出部（１２）と、物体領域の画像に関する画像パラメータを算出する画像パラメータ算出部（１３）、画像パラメータに基づき、信頼度の閾値を設定する閾値設定部（１４）と、商品各々の信頼度と閾値とに基づき、物体領域の画像に含まれる商品を決定する商品決定部（１５）と、を有する処理装置（１０）を提供する。

Description

処理装置、前処理装置、処理方法及びプログラム
　本発明は、処理装置、前処理装置、処理方法及びプログラムに関する。
　非特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手にとった商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。
　非特許文献３は、画像を解析して商品のパッケージの模様の中にある角の点等の複数の特徴点を抽出し、予めデータベースに登録された複数の商品各々の特徴点と同じ位置にどの程度あるかをマッチングさせ、マッチングした特徴点の数に基づき画像に含まれる商品を認識する技術を開示している。また、画像認識により、台の上に載置された複数の商品を一括認識する技術を開示している。
　特許文献１は、物体認識処理において、物体認識に対して大きな影響を与えない特徴点を間引き、演算量を低減する技術を開示している。特許文献２は、会計カウンターにおいて読み取り窓、及び、読み取り窓越しに商品を撮影するカメラを設け、オペレータが読み取り窓の前に商品を位置させるとその商品を撮影し、画像に基づきその商品を認識する技術を開示している。
特開２０１１－２３３０６０号公報 特開２０１８－１１６３７１号公報
宮田拓弥、"Ａｍａｚｏｎ　Ｇｏの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html> "ＮＥＣ、レジレス店舗「ＮＥＣ　ＳＭＡＲＴ　ＳＴＯＲＥ」を本社内にオープン--顔認証活用、退店と同時決済"、[online]、２０２０年２月２８日、［２０２０年３月２７日検索］、インターネット<URL: https://japan.cnet.com/article/35150024/> "あらゆる小売商品を認識可能にする多種物体認識技術"、［online］、［２０２０年４月２７日検索］、インターネット<URL: https://jpn.nec.com/techrep/journal/g19/n01/190118.html>
　非特許文献１乃至３、特許文献１及び２等に示すように、画像に含まれる商品を認識する技術が広く検討され、利用されている。そして、画像に基づく商品認識の精度をより向上させる技術が望まれている。本発明の課題は、上述した先行技術が開示してない手法により、画像に基づく商品認識の精度を向上させることである。
　本発明によれば、
　物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
　商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
　前記物体領域の画像に関する画像パラメータを算出する画像パラメータ算出手段と、
　前記画像パラメータに基づき、前記信頼度の閾値を設定する閾値設定手段と、
　前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有する処理装置が提供される。
　また、本発明によれば、
　商品が含まれる商品画像を取得する商品画像取得手段と、
　前記商品画像を編集し、前記商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する編集手段と、
　複数の前記編集画像各々に対して、前記商品の特徴点を抽出する処理を実行する特徴点抽出手段と、
　前記抽出結果に基づき、画像パラメータと、抽出される特徴点数との関係を示す関係情報を生成する関係情報生成手段と、
を有する前処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　　物体が含まれる領域である物体領域を画像から検出し、
　　商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
　　前記物体領域の画像に関する画像パラメータを算出し、
　　前記画像パラメータに基づき、前記信頼度の閾値を設定し、
　　前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する処理方法が提供される。
　また、本発明によれば、コンピュータを、前記処理装置として機能させるプログラムが提供される。
　本発明によれば、画像に基づく商品認識の精度が向上する。
本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態の処理装置が処理する情報の一例を示す図である。 本実施形態の処理装置が処理する情報の一例を示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置が処理する情報の一例を示す図である。 本実施形態の前処理装置の機能ブロック図の一例である。 本実施形態の前処理装置の処理の流れの一例を示すフローチャートである。
＜第１の実施形態＞
「概要」
　本実施形態の処理装置は、以下のような処理で画像に含まれる商品を認識する。
・処理対象の画像から、物体が含まれる領域である物体領域を検出する。
・物体領域の画像から抽出された物体の特徴点と、予め登録されている複数の商品各々の特徴点とを照合し、マッチングした特徴点の数に基づき複数の商品各々が画像の中に含まれる信頼度を算出する。信頼度は、マッチングした特徴点の数が多いほど高くなる。
・信頼度が閾値以上である商品の中の１つを、画像に含まれる商品として認識する。
　そして、処理装置は、上述した信頼度の閾値（以下、単に「信頼度の閾値」という場合がある）を、商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に設定するという特徴を有する。
　信頼度の閾値を高く設定することで、誤った認識結果が出力される不都合を抑制できる。しかし、信頼度の閾値を高くし過ぎると、いずれの商品も信頼度が閾値を超えず、画像に含まれる商品を認識できないという不都合が起きやすくなる。特に、物体領域の画像が小さい場合や、そもそも実物が小さい商品が画像に含まれる場合等のように、画像から抽出できる特徴点の数が少なくなるケースにおいては、必然的に、マッチングする特徴点の数も少なくなり、信頼度が低くなる。信頼度の閾値を高くし過ぎると、このような画像から抽出できる特徴点の数が少なくなるケースにおいて、いずれの商品も信頼度が閾値を超えない（商品認識できない）という状況が起きやすくなる。
　なお、信頼度の閾値を低めに設定することで、いずれの商品も信頼度が閾値を超えないという状況の発生を抑制できる。しかし、この場合、誤った認識結果が出力される不都合が発生しやすくなる。
　商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に信頼度の閾値を設定する処理装置によれば、画像から抽出できる特徴点の数（目安）に応じた適切な信頼度の閾値を設定することができる。このため、当該処理装置によれば、「誤った認識結果が出力される不都合」を抑制しつつ、「信頼度の閾値が適切でないため商品を認識できない（いずれの商品も信頼度が閾値を超えない）という不都合」を抑制することができる。
「ハードウエア構成」
　次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
「機能構成」
　図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、物体領域検出部１１と、信頼度算出部１２と、画像パラメータ算出部１３と、閾値設定部１４と、商品決定部１５とを有する。
　物体領域検出部１１は、認識対象の商品を含む画像を取得する。物体領域検出部１１が取得する画像は、どのような目的で撮影された画像であってもよい。例えば、顧客が手に取った商品を認識するために撮影された画像であってもよいし、会計対象の商品を認識するために撮影された画像であってもよいし、その他の目的で撮影された画像であってもよい。
　ここで、顧客が手に取った商品を認識するために撮影された画像について説明する。この場合、顧客が手にとった商品を撮影できる位置及び向きで１つ又は複数のカメラが店内に設置される。例えば商品陳列棚毎に、各々から取り出された商品を撮影する位置及び向きでカメラが設置されてもよい。カメラは、商品陳列棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。なお、商品陳列棚毎にカメラを設置する例はあくまで一例であり、これに限定されない。
　カメラは動画像を常時（例えば、営業時間中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品陳列棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。
　ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図３に示す例では、商品陳列棚１毎に２つのカメラ２が設置されている。図４は、図３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明（不図示）とが設けられる。
　照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。
　そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図４の左側の枠４の部品において、カメラ２は下方及び右斜め下を撮影範囲としている。また、図４の右側の枠４の部品において、カメラ２は上方及び左斜め上を撮影範囲としている。
　図３に示すように、枠４は、商品載置スペースを構成する商品陳列棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられ、枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、２つのカメラ２で商品陳列棚１の開口部の全範囲を撮影することができる。結果、商品陳列棚１から取り出されている商品（顧客が手にとった商品）を２つのカメラ２で撮影することが可能となる。
　当該例において、カメラが生成した画像は、リアルタイム処理で処理装置１０に入力されてもよいし、バッチ処理で処理装置１０に入力されてもよい。いずれの処理とするかは、例えば認識結果の利用内容に応じて決定することができる。
　次に、会計対象の商品を認識するために撮影された画像について説明する。この場合、会計装置にカメラが設置され、当該カメラが当該画像を生成する。カメラは、例えば非特許文献３に開示されているように、台の上に載置された１つ又は複数の商品をまとめて撮影するように構成されてもよい。その他、カメラは、例えば特許文献２に開示されているように、オペレータの作業（カメラの前に商品を位置させる作業）に応じて１つずつ商品を撮影するように構成されてもよい。
　物体領域検出部１１は、画像を取得すると、物体が含まれる領域である物体領域を画像から検出する。物体領域検出部１１は、１つの画像から１つ又は複数の物体領域を検出する。物体領域検出部１１は、あらゆる物体検出技術を採用することができる。物体領域検出部１１は、物体及びその周辺を含む領域（例えば矩形領域）を、物体領域として検出してもよい。その他、物体領域検出部１１は、物体のみが存在する物体の輪郭に沿った形状の領域を、物体領域として検出してもよい。後者は、例えば、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を利用して実現することができる。
　信頼度算出部１２は、商品毎に、各々が物体領域の画像に含まれる信頼度を算出する。具体的には、信頼度算出部１２は、物体領域の画像から抽出された物体の特徴点と、予め登録されている複数の商品各々の特徴点とを照合することで、商品毎にマッチングする特徴点の数をカウントする。そして、信頼度算出部１２は、マッチングした特徴点の数に基づき、信頼度を算出する。マッチングした特徴点の数が多いほど信頼度が高くなる。特徴点の抽出、特徴点の照合、及び、マッチングした特徴点の数から信頼度を算出する処理のアルゴリズムの詳細は特段制限されない。
　以下、各商品が物体領域の画像に含まれる信頼度を、「各商品の信頼度」という場合がある。
　画像パラメータ算出部１３は、物体領域の画像に関する画像パラメータを算出する。本実施形態の画像パラメータは、物体領域の画像の大きさである。物体領域の画像の大きさは、領域の面積で示されてもよいし、領域の外周の大きさで示されてもよいし、その他の手法で示されてもよい。領域の面積や外周の大きさはピクセル数で示してもよいし、その他の手法を採用してもよい。
　閾値設定部１４は、画像パラメータに基づき、商品毎かつ物体領域の画像毎に信頼度の閾値を設定する。１つの画像から複数の物体領域が検出されている場合、閾値設定部１４は、物体領域の画像毎に信頼度の閾値を設定する。閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。
　ここで、信頼度の閾値を設定する処理の具体例を説明する。例えば、予め、物体領域の画像の大きさと、その大きさの画像から抽出される特徴点数（目安）との関係を示す関係情報が商品毎に生成される。そして、閾値設定部１４は、画像パラメータ算出部１３が算出した物体領域の画像の大きさ（画像パラメータ）と、当該関係情報とに基づき、商品毎に「その物体領域の画像から抽出される特徴点数（目安）」を求める。次いで、閾値設定部１４は、商品毎に求めた「その物体領域の画像から抽出される特徴点数（目安）」に基づき、商品毎に信頼度の閾値を設定する。閾値設定部１４は、「その物体領域の画像から抽出される特徴点数（目安）」が少ないほど小さい閾値を設定し、「その物体領域の画像から抽出される特徴点数（目安）」が多いほど大きい閾値を設定する。「その物体領域の画像から抽出される特徴点数（目安）」から信頼度の閾値を算出する処理のアルゴリズムの詳細は特段制限されない。
　図５に上述した関係情報の一例を示す。横軸が物体領域の画像の大きさであり、縦軸が抽出される特徴点数（目安）である。図示するように、物体領域の画像が小さいほど抽出される特徴点数（目安）は少なくなり、物体領域の画像が大きいほど抽出される特徴点数（目安）は多くなる。図はある１つの商品の関係情報であるが、このような関係情報が商品毎に用意される。そして、実物の大きさが小さい商品ほど抽出される特徴点数（目安）は少なくなり、実物の大きさが大きい商品ほど抽出される特徴点数（目安）は多くなる。
　なお、関係情報で示される「抽出される特徴点数（目安）」は、図５に示すように連続的に変化してもよいし、図６に示すように離散的に変化してもよい。また、図示しないが、関係情報で示される「抽出される特徴点数（目安）」は、連続的な変化と離散的な変化とが混じっていてもよい。例えば、物体領域の画像の大きさが第１の数値範囲の間は、抽出される特徴点数（目安）は連続的に変化し、物体領域の画像の大きさが第２の数値範囲の間は、抽出される特徴点数（目安）は離散的に変化するといった具合である。
　また、関係情報で示される「物体領域の画像の大きさ」は、図５や図６に示すように連続的に変化してもよいし、離散的に変化してもよい。関係情報で示される「物体領域の画像の大きさ」が離散的に変化する場合、例えば、閾値設定部１４は、関係情報で示される「物体領域の画像の大きさ」の複数の値の中から、画像パラメータ算出部１３が算出した物体領域の画像の大きさに最も近い値を特定し、特定した値に対応する「抽出される特徴点数（目安）」に基づき、信頼度の閾値を設定することができる。
　また、連続的な値の変化は、図５及び図６に示すように１次式で変化の態様が示されてもよいし、多項式、指数関数、対数関数等のその他の手法で示されてもよい。
　また、上述したように抽出される特徴点数（目安）の表現の仕方は各種手法を採用できるが、どの手法で表現するかは商品毎に異なってもよい。
　図２に戻り、商品決定部１５は、第１の物体領域の画像に基づき算出された各商品の信頼度と、第１の物体領域の画像に基づき算出された各商品の信頼度の閾値とに基づき、第１の物体領域の画像に含まれる商品を決定する。商品決定部１５は、商品毎に、各商品の信頼度が各商品の閾値以上であるか判定する。そして、商品決定部１５は、信頼度が閾値以上である商品の中の１つを、物体領域の画像に含まれる商品として決定する。
　信頼度が閾値以上である商品が複数ある場合、商品決定部１５はその中から１つを選択し、選択した商品を、物体領域の画像に含まれる商品として決定する。例えば、商品決定部１５は、信頼度が最も高い商品を選択してもよい。その他、商品決定部１５は、信頼度と閾値との乖離の程度が最も大きい商品を選択してもよい。信頼度と閾値との乖離の程度は、閾値に対する信頼度の比率（＝（信頼度）／（閾値））で示されてもよいし、閾値と信頼度との差（＝（信頼度）－（閾値））で示されてもよいし、その他の手法で示されてもよい。
　次に、図７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、物体領域検出部１１は、画像を取得すると（Ｓ１０）と、物体が含まれる領域である物体領域を画像から検出する（Ｓ１１）。
　次に、信頼度算出部１２は、検出された物体領域毎に、各物体領域の画像に複数の商品各々が含まれる信頼度を算出する（Ｓ１２）。次いで、画像パラメータ算出部１３は、検出された物体領域毎に、物体領域の画像の大きさを示す画像パラメータを算出する（Ｓ１３）。
　次いで、閾値設定部１４は、検出された物体領域毎に、物体領域の画像の大きさに基づき、複数の商品各々の信頼度の閾値を設定する（Ｓ１４）。閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。
　次いで、商品決定部１５は、検出された物体領域毎に、各商品の信頼度が各商品の閾値以上であるか判定する。
　そして、信頼度が閾値以上である商品がある場合（Ｓ１５のＹｅｓ）、商品決定部１５は、信頼度が閾値以上である商品の中の１つの商品識別情報を、その物体領域の画像に含まれる商品の商品識別情報（商品認識結果）として出力する（Ｓ１６）。信頼度が閾値以上である商品が１つだけである場合、商品決定部１５は、その商品の商品識別情報を出力する。一方、信頼度が閾値以上である商品が複数ある場合、商品決定部１５は、その中から１つを選択し、選択した商品の商品識別情報を出力する。当該選択の手法は、上述した通りである。
　一方、信頼度が閾値以上である商品がない場合（Ｓ１５のＮｏ）、商品決定部１５はエラー処理を行う（Ｓ１７）。例えば、当該エラー処理において、商品決定部１５は、その物体領域の画像において正しく商品認識できなかった旨をオペレータに通知するエラー通知を行ってもよい。エラー通知は、ディスプレイ、スピーカ、警告ランプ、投影装置等のあらゆる出力装置を介して実現することができる。
　次に、図８のフローチャートを用いて、処理装置１０の処理の流れの他の一例を説明する。
　まず、物体領域検出部１１は、画像を取得すると（Ｓ２０）と、物体が含まれる領域である物体領域を画像から検出する（Ｓ２１）。
　次に、信頼度算出部１２は、検出された物体領域毎に、各物体領域の画像に複数の商品各々が含まれる信頼度を算出する（Ｓ２２）。次いで、画像パラメータ算出部１３は、検出された物体領域毎に、物体領域の画像の大きさを示す画像パラメータを算出する（Ｓ２３）。
　次いで、閾値設定部１４は、検出された物体領域毎に、Ｓ２２で算出された信頼度が最も高い商品を特定する（Ｓ２４）。そして、閾値設定部１４は、検出された物体領域毎に、物体領域の画像の大きさに基づき、Ｓ２４で特定された商品の信頼度の閾値を設定する（Ｓ２５）。閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。
　次いで、商品決定部１５は、検出された物体領域毎に、Ｓ２４で特定された商品のＳ２２で算出された信頼度がＳ２５で設定された閾値以上であるか判定する。
　そして、信頼度が閾値以上である場合（Ｓ２６のＹｅｓ）、商品決定部１５は、Ｓ２４で特定された商品の商品識別情報を、その物体領域の画像に含まれる商品の商品識別情報（商品認識結果）として出力する（Ｓ２７）。
　一方、信頼度が閾値以上でない場合（Ｓ２６のＮｏ）、商品決定部１５は、特定されていない商品が残っていれば（Ｓ２８のＹｅｓ）、次に信頼度が高い商品を特定する（Ｓ２９）。そして、Ｓ２５に戻って同様の処理を繰り返す。なお、すべての商品を特定の対象としてもよいし、一部の商品を特定の対象としてもよい。特定の対象となる一部の商品は、例えば、Ｓ２２で算出された信頼度が予め設定された下限値（すべての商品に共通の値）以上の商品である。
　なお、特定されていない商品が残っていない場合（Ｓ２８のＮｏ）、商品決定部１５はエラー処理を行う（Ｓ３０）。エラー処理は、上述したＳ１７のエラー処理と同様である。
　なお、本実施形態では、商品決定部１５が出力した商品認識結果（認識された商品の商品識別情報）に対するその後の処理内容は特段制限されない。
　例えば、商品認識結果は店舗での会計処理において利用されてもよい。利用場面としては、非特許文献１乃至３及び特許文献２に開示のような場面が例示されるが、これらに限定されない。
　その他、商品認識結果は、顧客の嗜好調査やマーケティング調査等で利用されてもよい。例えば、各顧客が手に取った商品を各顧客に紐づけて登録することで、各顧客が興味を有する商品などを分析することができる。各顧客の認識は、例えば顔認証技術等を利用して実現できる。また、商品ごとに顧客が手に取った旨を登録することで、どの商品が顧客に興味を持たれているかを分析することができる。さらに、従来の画像解析技術を利用して顧客の属性（性別、年代、国籍等）を推定し、各商品を手に取った顧客の属性を登録することで、各商品がどのような属性の顧客に興味を持たれているかを分析することができる。
「作用効果」
　以上説明したように、処理装置１０は、画像から抽出された物体の特徴点と予め登録されている複数の商品各々の特徴点とを照合し、マッチングした特徴点の数に基づき複数の商品各々が画像の中に含まれる信頼度を算出し、信頼度が閾値以上である商品の中の１つを、画像に含まれる商品として認識する。なお、信頼度は、マッチングした特徴点の数が多いほど高くなる。
　そして、処理装置は、信頼度の閾値を、商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に設定することができる。
　このように商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に信頼度の閾値を設定する処理装置１０によれば、画像から抽出できる特徴点の数（目安）に応じた適切な信頼度の閾値を設定することができる。
　例えば、処理装置１０は、実物の大きさが小さく、画像から抽出できる特徴点の数が比較的少なくなる商品においては、実物の大きさに応じた比較的小さい信頼度の閾値を設定することができる。また、処理装置１０は、物体領域の画像が小さく、画像から抽出できる特徴点の数が比較的少なくなるケースにおいては、物体領域の画像の大きさに応じた比較的小さい信頼度の閾値を設定することができる。
　同様に、処理装置１０は、実物の大きさが大きく、比較的多くなる商品においては、実物の大きさに応じた比較的大きい信頼度の閾値を設定することができる。また、処理装置１０は、画像内の物体領域が大きく、画像から抽出できる特徴点の数が比較的多くなるケースにおいては、物体領域の画像の大きさに応じた比較的大きい信頼度の閾値を設定することができる。
　このように画像から抽出できる特徴点の数（目安）に応じた適切な信頼度の閾値を設定することで、「誤った認識結果が出力される不都合」を抑制しつつ、「信頼度の閾値が適切でないため商品を認識できない（いずれの商品も信頼度が閾値を超えない）という不都合」を抑制することができる。
「変形例」
　次に、変形例を説明する。当該変形例は、以下のすべての実施形態において適用可能である。
　閾値設定部１４は、画像パラメータに基づき、すべての商品に共通の信頼度の閾値を、物体領域の画像毎に設定してもよい。例えば、予め生成される上記関係情報（図５、図６参照）は、すべての商品に共通の情報であってもよい。そして、閾値設定部１４は、すべての商品に共通の関係情報に基づき、すべての商品に共通の信頼度の閾値を設定してもよい。
　この変形例の場合、商品毎には信頼度の閾値を設定しないが、物体領域の画像毎に信頼度の閾値を設定するので、上述した本実施形態の処理装置１０と同様の作用効果が実現される。
　他の変形例として、閾値設定部１４は、画像パラメータに基づき、商品グループ毎の信頼度の閾値を、物体領域の画像毎に設定してもよい。例えば、商品グループ毎に、上記関係情報（図５、図６参照）が生成されてもよい。そして、閾値設定部１４は、商品グループ毎の関係情報に基づき、商品グループ毎に信頼度の閾値を設定してもよい。商品グループは、商品の形状、大きさ、デザインの中の少なくとも１つが互いに類似しており、抽出される特徴点数が同様となる商品の集まりであり、例えば、同種商品、同一メーカの同種商品、同一シリーズの商品などが例示される。
　この他の変形例の場合、上述した本実施形態の処理装置１０と同様の作用効果が実現される。また、商品毎に信頼度の閾値を設定する場合に比べて、設定すべき信頼度の閾値の数が少なくなるので、コンピュータの処理負担を軽減できる。
＜第２の実施形態＞
　本実施形態の画像パラメータ算出部１３は、画像パラメータとして、物体領域の画像の輝度を算出する。物体領域の画像の輝度は、物体領域の画像に含まれる複数のピクセルの輝度の統計値（平均値、中央値、最頻値、最大値、最小値等）である。
　そして、本実施形態の閾値設定部１４は、このような画像パラメータに基づき、商品毎かつ物体領域の画像毎に信頼度の閾値を設定する。１つの画像から複数の物体領域が検出されている場合、閾値設定部１４は、物体領域毎に信頼度の閾値を設定する。閾値設定部１４は、物体領域の画像の輝度が基準範囲から離れるほど小さい閾値を設定する。
　ここで、信頼度の閾値を設定する処理の具体例を説明する。例えば、予め、物体領域の画像の輝度と、そのような輝度状態の画像から抽出される特徴点数（目安）との関係を示す関係情報が商品毎に生成される。そして、閾値設定部１４は、画像パラメータ算出部１３が算出した物体領域の画像の輝度（画像パラメータ）と、当該関係情報とに基づき、商品毎に「その物体領域の画像から抽出される特徴点数（目安）」を求める。次いで、閾値設定部１４は、商品毎に求めた「その物体領域の画像から抽出される特徴点数（目安）」に基づき、商品毎に信頼度の閾値を設定する。閾値設定部１４は、「その物体領域の画像から抽出される特徴点数（目安）」が少ないほど小さい閾値を設定し、「その物体領域の画像から抽出される特徴点数（目安）」が多いほど大きい閾値を設定する。「その物体領域の画像から抽出される特徴点数（目安）」から信頼度の閾値を算出する処理のアルゴリズムの詳細は特段制限されない。
　図９に上述した関係情報の一例を示す。横軸が物体領域の画像の輝度であり、縦軸が抽出される特徴点数（目安）である。図示するように、物体領域の画像の輝度が基準範囲（Ｂ以上Ｃ以下）であるときに抽出される特徴点数（目安）は最多となり、基準範囲から離れるほど抽出される特徴点数（目安）は少なくなる。図はある１つの商品の関係情報であるが、このような関係情報が商品毎に用意される。そして、実物の大きさが小さい商品ほど抽出される特徴点数（目安）は少なくなり、実物の大きさが大きい商品ほど抽出される特徴点数（目安）は多くなる。
　なお、基準範囲を除く範囲（Ａ以上Ｂ以下、Ｃ以上Ｄ以下）において、「抽出される特徴点数（目安）」は、図９に示すように連続的に変化してもよいし、図示しないが離散的に変化してもよい。また、基準範囲（Ｂ以上Ｃ以下）において、「抽出される特徴点数（目安）」は、図９に示すように一定であってもよいし、図示しないが連続的に又は離散的に変化してもよい。
　また、関係情報で示される「物体領域の画像の輝度」は、図９に示すように連続的に変化してもよいし、離散的に変化してもよい。関係情報で示される「物体領域の画像の輝度」が離散的に変化する場合、例えば、閾値設定部１４は、関係情報で示される「物体領域の画像の輝度」の複数の値の中から、画像パラメータ算出部１３が算出した物体領域の画像の輝度に最も近い値を特定し、特定した値に対応する「抽出される特徴点数（目安）」に基づき、信頼度の閾値を設定することができる。
　また、連続的な値の変化は、図９に示すように１次式で変化の態様が示されてもよいし、多項式、指数関数、対数関数等のその他の手法で示されてもよい。
　また、上述したように抽出される特徴点数（目安）の表現の仕方は各種手法を採用できるが、どの手法で表現するかは商品毎に異なってもよい。
　処理装置１０のその他の構成は、第１の実施形態と同様である。
　本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、物体領域の画像の輝度に起因した抽出できる特徴点数の違いを考慮した適切な信頼度の閾値を設定することができる。結果、物体領域の画像の輝度に起因した抽出できる特徴点数の違いの影響を軽減して、商品認識の精度を高めることができる。
＜第３の実施形態＞
　本実施形態の画像パラメータ算出部１３は、画像パラメータとして、物体領域の画像の大きさ及び輝度を算出する。
　そして、本実施形態の閾値設定部１４は、このような２つの画像パラメータに基づき、商品毎かつ物体領域の画像毎に信頼度の閾値を設定する。１つの画像から複数の物体領域が検出されている場合、閾値設定部１４は、物体領域毎に信頼度の閾値を設定する。
　閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、物体領域の画像の輝度が基準範囲から離れるほど小さい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。
　ここで、信頼度の閾値を設定する処理の具体例を説明する。例えば、予め、物体領域の画像の大きさと、物体領域の画像の輝度と、そのような大きさかつ輝度状態の画像から抽出される特徴点数（目安）との関係を示す関係情報が商品毎に生成される。そして、閾値設定部１４は、画像パラメータ算出部１３が算出した物体領域の画像の大きさ及び輝度（画像パラメータ）と、当該関係情報とに基づき、商品毎に「その物体領域の画像から抽出される特徴点数（目安）」を求める。次いで、閾値設定部１４は、商品毎に求めた「その物体領域の画像から抽出される特徴点数（目安）」に基づき、商品毎に信頼度の閾値を設定する。閾値設定部１４は、「その物体領域の画像から抽出される特徴点数（目安）」が少ないほど小さい閾値を設定し、「その物体領域の画像から抽出される特徴点数（目安）」が多いほど大きい閾値を設定する。「その物体領域の画像から抽出される特徴点数（目安）」から信頼度の閾値を算出する処理のアルゴリズムの詳細は特段制限されない。
　処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。
　本実施形態の処理装置１０によれば、第１及び第２の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、物体領域の画像の大きさ及び輝度に起因した抽出できる特徴点数の違いを考慮した適切な信頼度の閾値を設定することができる。結果、物体領域の画像の大きさ及び輝度に起因した抽出できる特徴点数の違いの影響を軽減して、商品認識の精度を高めることができる。
＜第４の実施形態＞
　本実施形態の前処理装置２０は、処理装置１０が使用する関係情報を生成する機能を有する。
　前処理装置２０のハードウエア構成の一例は、処理装置１０のハードウエア構成の一例と同様である。
　図１０に、前処理装置２０の機能ブロック図の一例を示す。図示するように、前処理装置２０は、商品画像取得部２１と、編集部２２と、特徴点抽出部２３と、関係情報生成部２４とを有する。
　図１１のフローチャートは、前処理装置２０の処理の流れの一例を示す。
　まず、商品画像取得部２１は、商品が含まれる商品画像を取得する（Ｓ４０）。
　次に、編集部２２は、商品画像を編集し、商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する（Ｓ４１）。すなわち、編集部２２は、１つの商品画像から複数の編集画像を生成する。そして、複数の編集画像は、商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる。
　次に、特徴点抽出部２３は、複数の編集画像各々に対して、商品の特徴点を抽出する処理を実行する（Ｓ４２）。特徴点を抽出する処理のアルゴリズムの詳細は特段制限されない。
　次に、関係情報生成部２４は、Ｓ４２の抽出結果に基づき、画像パラメータと、その画像から抽出される特徴点数との関係を示す関係情報を生成する（Ｓ４３）。画像パラメータは、商品領域の画像の大きさ及び輝度の少なくとも一方である。商品領域の画像の大きさ及び輝度は、第１乃至第３の実施形態で説明した通りである。
　関係情報生成部２４が生成する関係情報は、Ｓ４０乃至Ｓ４２の処理により得られた画像パラメータの値と、抽出される特徴点数とを対応付けた情報（テーブルなど）であってもよい。この場合、関係情報で示される画像パラメータの値及び抽出される特徴点数の値は離散的となる。
　その他、関係情報生成部２４は、直線近似、多項式近似、指数近似、対数近似等の任意の手法を利用して、得られたデータ群の近似式を求めてもよい。この場合、関係情報で示される画像パラメータの値及び抽出される特徴点数の値は連続的となる。
　その他、関係情報生成部２４は、Ｓ４０乃至Ｓ４２の処理により得られた画像パラメータの値と、抽出される特徴点数とを対応付けた情報をオペレータに向けて出力してもよい。そして、関係情報生成部２４は、これらの情報と、オペレータの入力とに基づき関係情報を生成してもよい。
　なお、上記処理を商品毎に行うことで、前処理装置２０は、商品毎の関係情報を生成することができる。また、前処理装置２０は、商品毎の関係情報に基づき、第１の実施形態の変形例で説明した商品グループ毎の関係情報や、すべての商品に共通の関係情報等を生成することができる。
　以上説明した本実施形態の前処理装置２０によれば、第１乃至第３の実施形態で説明した処理装置１０が処理する関係情報を生成することができる。また、前処理装置２０は、１つの商品画像を編集して商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成し、当該複数の編集画像に基づき、画像パラメータと抽出される特徴点数との関係を示す関係情報を生成する。このため、画像を用意するオペレータの労力を軽減することができる。
　なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．　物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
　商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
　前記物体領域の画像に関する画像パラメータを算出する画像パラメータ算出手段と、
　前記画像パラメータに基づき、前記信頼度の閾値を設定する閾値設定手段と、
　前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有する処理装置。
２．　前記画像パラメータは、前記物体領域の画像の大きさを示し、
　前記閾値設定手段は、前記物体領域の画像が小さいほど小さい前記閾値を設定する１に記載の処理装置。
３．　前記閾値設定手段は、前記物体領域の画像の大きさと、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する２に記載の処理装置。
４．　前記画像パラメータは、前記物体領域の画像の輝度を示し、
　前記閾値設定手段は、前記物体領域の画像の輝度が基準範囲から離れるほど小さい前記閾値を設定する１から３のいずれかに記載の処理装置。
５．　前記閾値設定手段は、前記物体領域の画像の輝度と、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する４に記載の処理装置。
６．　前記閾値設定手段は、抽出される特徴点数が少ないほど小さい前記閾値を設定する３又は５に記載の処理装置。
７．　前記閾値設定手段は、前記商品毎に前記閾値を設定し、
　前記商品決定手段は、前記商品各々の前記信頼度と、前記商品各々の前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する１から６のいずれかに記載の処理装置。
８　前記閾値決定手段は、実物の大きさが小さい前記商品ほど小さい前記閾値を設定する７に記載の処理装置。
９．　前記閾値設定手段は、前記物体領域の画像の大きさと抽出される特徴点数との関係、又は、前記物体領域の画像の輝度と抽出される特徴点数との関係を前記商品毎に示す関係情報に基づき、前記閾値を設定する７又は８に記載の処理装置。
１０．　前記商品決定手段は、前記信頼度が前記閾値以上である前記商品の中の１つを、前記物体領域の画像に含まれる前記商品として決定する１から９のいずれかに記載の処理装置。
１１．　商品が含まれる商品画像を取得する商品画像取得手段と、
　前記商品画像を編集し、前記商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する編集手段と、
　複数の前記編集画像各々に対して、前記商品の特徴点を抽出する処理を実行する特徴点抽出手段と、
　前記抽出結果に基づき、画像パラメータと、抽出される特徴点数との関係を示す関係情報を生成する関係情報生成手段と、
を有する前処理装置。
１２．　コンピュータが、
　　物体が含まれる領域である物体領域を画像から検出し、
　　商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
　　前記物体領域の画像に関する画像パラメータを算出し、
　　前記画像パラメータに基づき、前記信頼度の閾値を設定し、
　　前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する処理方法。
１３．　コンピュータを、１から１０のいずれかに記載の処理装置として機能させるプログラム。

Claims (13)

  1. 　物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
    　商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
    　前記物体領域の画像に関する画像パラメータを算出する画像パラメータ算出手段と、
    　前記画像パラメータに基づき、前記信頼度の閾値を設定する閾値設定手段と、
    　前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
    を有する処理装置。
  2. 　前記画像パラメータは、前記物体領域の画像の大きさを示し、
    　前記閾値設定手段は、前記物体領域の画像が小さいほど小さい前記閾値を設定する請求項１に記載の処理装置。
  3. 　前記閾値設定手段は、前記物体領域の画像の大きさと、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する請求項２に記載の処理装置。
  4. 　前記画像パラメータは、前記物体領域の画像の輝度を示し、
    　前記閾値設定手段は、前記物体領域の画像の輝度が基準範囲から離れるほど小さい前記閾値を設定する請求項１から３のいずれか１項に記載の処理装置。
  5. 　前記閾値設定手段は、前記物体領域の画像の輝度と、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する請求項４に記載の処理装置。
  6. 　前記閾値設定手段は、抽出される特徴点数が少ないほど小さい前記閾値を設定する請求項３又は５に記載の処理装置。
  7. 　前記閾値設定手段は、前記商品毎に前記閾値を設定し、
    　前記商品決定手段は、前記商品各々の前記信頼度と、前記商品各々の前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する請求項１から６のいずれか１項に記載の処理装置。
  8. 　前記閾値決定手段は、実物の大きさが小さい前記商品ほど小さい前記閾値を設定する請求項７に記載の処理装置。
  9. 　前記閾値設定手段は、前記物体領域の画像の大きさと抽出される特徴点数との関係、又は、前記物体領域の画像の輝度と抽出される特徴点数との関係を前記商品毎に示す関係情報に基づき、前記閾値を設定する請求項７又は８に記載の処理装置。
  10. 　前記商品決定手段は、前記信頼度が前記閾値以上である前記商品の中の１つを、前記物体領域の画像に含まれる前記商品として決定する請求項１から９のいずれか１項に記載の処理装置。
  11. 　商品が含まれる商品画像を取得する商品画像取得手段と、
    　前記商品画像を編集し、前記商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する編集手段と、
    　複数の前記編集画像各々に対して、前記商品の特徴点を抽出する処理を実行する特徴点抽出手段と、
    　前記抽出結果に基づき、画像パラメータと、抽出される特徴点数との関係を示す関係情報を生成する関係情報生成手段と、
    を有する前処理装置。
  12. 　コンピュータが、
    　　物体が含まれる領域である物体領域を画像から検出し、
    　　商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
    　　前記物体領域の画像に関する画像パラメータを算出し、
    　　前記画像パラメータに基づき、前記信頼度の閾値を設定し、
    　　前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する処理方法。
  13. 　コンピュータを、請求項１から１０のいずれか１項に記載の処理装置として機能させるプログラム。
PCT/JP2020/021379 2020-05-29 2020-05-29 処理装置、前処理装置、処理方法及びプログラム WO2021240795A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/928,215 US20230222802A1 (en) 2020-05-29 2020-05-29 Processing apparatus, pre-processing apparatus, processing method, and non-transitory storage mediu
PCT/JP2020/021379 WO2021240795A1 (ja) 2020-05-29 2020-05-29 処理装置、前処理装置、処理方法及びプログラム
JP2022527452A JP7380869B2 (ja) 2020-05-29 2020-05-29 処理装置、前処理装置、処理方法、及び前処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/021379 WO2021240795A1 (ja) 2020-05-29 2020-05-29 処理装置、前処理装置、処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021240795A1 true WO2021240795A1 (ja) 2021-12-02

Family

ID=78723237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021379 WO2021240795A1 (ja) 2020-05-29 2020-05-29 処理装置、前処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20230222802A1 (ja)
JP (1) JP7380869B2 (ja)
WO (1) WO2021240795A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140823A (ja) * 2005-11-17 2007-06-07 Omron Corp 顔照合装置、顔照合方法及びプログラム
JP2007165947A (ja) * 2005-12-09 2007-06-28 Fujifilm Corp 撮像装置，被写体像の逆光補正装置，対象画像検出装置およびそれらの制御方法
JP2013054666A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 店舗システム及びプログラム
JP2018124798A (ja) * 2017-02-01 2018-08-09 東芝テック株式会社 画像探索装置および画像探索プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140823A (ja) * 2005-11-17 2007-06-07 Omron Corp 顔照合装置、顔照合方法及びプログラム
JP2007165947A (ja) * 2005-12-09 2007-06-28 Fujifilm Corp 撮像装置，被写体像の逆光補正装置，対象画像検出装置およびそれらの制御方法
JP2013054666A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 店舗システム及びプログラム
JP2018124798A (ja) * 2017-02-01 2018-08-09 東芝テック株式会社 画像探索装置および画像探索プログラム

Also Published As

Publication number Publication date
US20230222802A1 (en) 2023-07-13
JP7380869B2 (ja) 2023-11-15
JPWO2021240795A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
US11640707B2 (en) Reducing scale estimate errors in shelf images
US20190019207A1 (en) Apparatus and method for store analysis
JP5847117B2 (ja) 認識辞書作成装置及び認識辞書作成プログラム
KR102087882B1 (ko) 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법
KR101216115B1 (ko) 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
WO2022009301A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20190333004A1 (en) Processing system, processing method, and non-transitory storage medium
JP2023153316A (ja) 処理装置、処理方法及びプログラム
WO2021240795A1 (ja) 処理装置、前処理装置、処理方法及びプログラム
WO2021250808A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2019163095A1 (ja) 登録装置、登録方法及びプログラム
WO2021255846A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7070674B2 (ja) 登録システム、登録方法及びプログラム
US20230222685A1 (en) Processing apparatus, processing method, and non-transitory storage medium
WO2021234938A1 (ja) 処理装置、処理方法及びプログラム
JP6575628B1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP7435758B2 (ja) 処理システム、処理方法及びプログラム
WO2021245835A1 (ja) 処理装置、処理方法及びプログラム
US20230154039A1 (en) Processing apparatus, processing method, and non-transitory storage medium
WO2019181035A1 (ja) 登録システム、登録方法及びプログラム
WO2021250809A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20230070529A1 (en) Processing apparatus, processing method, and non-transitory storage medium
US20240153124A1 (en) Methods and apparatuses for amount of object using two dimensional image
WO2019163096A1 (ja) 登録装置、登録方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20937819

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527452

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20937819

Country of ref document: EP

Kind code of ref document: A1