WO2021214880A1 - 処理装置、処理方法及びプログラム - Google Patents

処理装置、処理方法及びプログラム Download PDF

Info

Publication number
WO2021214880A1
WO2021214880A1 PCT/JP2020/017231 JP2020017231W WO2021214880A1 WO 2021214880 A1 WO2021214880 A1 WO 2021214880A1 JP 2020017231 W JP2020017231 W JP 2020017231W WO 2021214880 A1 WO2021214880 A1 WO 2021214880A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
recognition result
images
image
cameras
Prior art date
Application number
PCT/JP2020/017231
Other languages
English (en)
French (fr)
Inventor
悠 鍋藤
菊池　克
貴美 佐藤
壮馬 白石
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/918,405 priority Critical patent/US20230141150A1/en
Priority to PCT/JP2020/017231 priority patent/WO2021214880A1/ja
Priority to JP2022516525A priority patent/JP7343047B2/ja
Publication of WO2021214880A1 publication Critical patent/WO2021214880A1/ja
Priority to JP2023135342A priority patent/JP7525022B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a processing device, a processing method and a program.
  • Non-Patent Documents 1 and 2 disclose a store system that eliminates payment processing (product registration, payment, etc.) at the cashier counter.
  • the product picked up by the customer is recognized based on the image generated by the camera that captures the inside of the store, and the payment process is automatically performed based on the recognition result when the customer leaves the store.
  • Patent Document 1 image recognition is performed on the surgical images generated by each of the three cameras, the surgical field exposure degree of each image is calculated based on the result of the image recognition, and the surgical field is selected from the three surgical images. It discloses a technique for selecting an image having the highest degree of exposure and displaying it on a display.
  • a technology that accurately recognizes the product picked up by the customer is desired. For example, in a store system that eliminates payment processing (product registration, payment, etc.) at the cashier counter described in Non-Patent Documents 1 and 2, a technique for accurately recognizing a product picked up by a customer is required. In addition, the technology is also useful for investigating customer in-store behavior for the purpose of customer preference investigation, marketing research, and the like.
  • An object of the present invention is to provide a technique for accurately recognizing a product picked up by a customer.
  • An acquisition method for acquiring images generated by multiple cameras that shoot a product picked up by a customer A recognition means for recognizing the product based on each of the plurality of images generated by the plurality of cameras.
  • a processing device having the above is provided.
  • the computer Acquires images generated by multiple cameras that capture the product picked up by the customer, The product is recognized based on each of the plurality of images generated by the plurality of cameras, and the product is recognized.
  • a recognition means that recognizes the product based on each of the plurality of images generated by the plurality of cameras.
  • a program is provided that functions as.
  • FIG. 1 It is a figure which shows an example of the hardware composition of the processing apparatus of this embodiment. It is an example of the functional block diagram of the processing apparatus of this embodiment. It is a figure for demonstrating the installation example of the camera of this embodiment. It is a figure for demonstrating the installation example of the camera of this embodiment. It is a figure which shows an example of the image processed by the processing apparatus of this embodiment. It is a flowchart which shows an example of the processing flow of the processing apparatus of this embodiment. It is a flowchart which shows an example of the processing flow of the processing apparatus of this embodiment. It is a flowchart which shows an example of the processing flow of the processing apparatus of this embodiment. It is a flowchart which shows an example of the processing flow of the processing apparatus of this embodiment. It is a flowchart which shows an example of the processing flow of the processing apparatus of this embodiment. It is a flowchart which shows an example of the processing flow of the processing apparatus of this embodiment.
  • the product picked up by the customer is photographed by a plurality of cameras from a plurality of positions and a plurality of directions.
  • the processing device analyzes each of the plurality of images generated by the plurality of cameras and recognizes the product (the product picked up by the customer) included in each image. Then, the processing device outputs the recognition result based on the image in which the region (the size in the image) in which the product exists in each of the plurality of images is the largest as the final recognition result.
  • Each functional unit of the processing device is stored in the CPU (Central Processing Unit) of an arbitrary computer, memory, a program loaded in the memory, and a storage unit such as a hard disk for storing the program (stored from the stage of shipping the device in advance).
  • a storage unit such as a hard disk for storing the program (stored from the stage of shipping the device in advance).
  • programs it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and is realized by any combination of hardware and software centered on the network connection interface. .. And, it is understood by those skilled in the art that there are various modifications of the realization method and the device.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the processing device.
  • the processing device includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the processing device does not have to have the peripheral circuit 4A.
  • the processing device may be composed of a plurality of physically and / or logically separated devices, or may be composed of one physically and / or logically integrated device. When the processing device is composed of a plurality of physically and / or logically separated devices, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to send and receive data to and from each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, a physical button, a touch panel, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue commands to each module and perform calculations based on the calculation results thereof.
  • FIG. 2 shows an example of a functional block diagram of the processing device 10.
  • the processing device 10 includes an acquisition unit 11, a recognition unit 12, and a determination unit 13.
  • the acquisition unit 11 acquires images generated by a plurality of cameras that capture the product picked up by the customer.
  • the input of the image to the acquisition unit 11 may be performed by real-time processing or batch processing. Which process to use can be determined, for example, according to the content of use of the recognition result.
  • a plurality of cameras will be described.
  • a plurality of cameras (two or more cameras) are installed so that the product picked up by the customer can be photographed from a plurality of directions and a plurality of positions.
  • a plurality of cameras may be installed for each product display shelf at a position and orientation for photographing the products taken out from each.
  • the camera may be installed on a product display shelf, on the ceiling, on the floor, on the wall, or elsewhere. ..
  • the example of installing a camera on each product display shelf is just an example, and is not limited to this.
  • the camera may shoot moving images at all times (for example, during business hours), may continuously shoot still images at time intervals larger than the frame interval of moving images, or may be determined by a motion sensor or the like. These shots may be performed only while detecting a person present at a position (such as in front of a product display shelf).
  • FIG. 4 is a diagram in which the frame 4 of FIG. 3 is extracted. A camera 2 and lighting (not shown) are provided for each of the two components constituting the frame 4.
  • the light emitting surface of the illumination extends in one direction, and has a light emitting part and a cover that covers the light emitting part. Illumination mainly emits light in a direction orthogonal to the extending direction of the light emitting surface.
  • the light emitting unit has a light emitting element such as an LED, and emits light in a direction not covered by the cover. When the light emitting element is an LED, a plurality of LEDs are arranged in the direction in which the illumination extends (vertical direction in the figure).
  • the camera 2 is provided on one end side of a part of the frame 4 extending in a straight line, and the shooting range is the direction in which the illumination light is radiated.
  • the shooting range is the direction in which the illumination light is radiated.
  • the camera 2 has a shooting range of downward and diagonally lower right.
  • the camera 2 has an upper left and an obliquely upper left shooting range.
  • the frame 4 is attached to the front frame (or the front of the side walls on both sides) of the product display shelf 1 constituting the product storage space.
  • One of the parts of the frame 4 is attached to one front frame in a direction in which the camera 2 is located downward, and the other of the parts of the frame 4 is attached to the other front frame in a direction in which the camera 2 is located upward.
  • the camera 2 attached to one of the parts of the frame 4 photographs the upper side and the diagonally upper side so as to include the opening of the product display shelf 1 in the photographing range.
  • the camera 2 attached to the other side of the component of the frame 4 photographs downward and diagonally downward so as to include the opening of the product display shelf 1 in the imaging range.
  • the two cameras 2 can capture the entire range of the opening of the product display shelf 1. As a result, it becomes possible to take a picture of the product (the product picked up by the customer) taken out from the product display shelf 1 with the two cameras 2.
  • each of the two cameras 2 generates the product 6 depending on the position where the product 6 displayed is taken out from the product display shelf 1.
  • the size of the product 6 in the image may be different.
  • the product 6 displayed on the upper left side of the figure has a larger size in the first image 7 generated by the camera 2 located at the upper left side of the figure, and is displayed on the lower right side of the figure.
  • the size of the second image 8 generated by the located camera 2 becomes smaller.
  • the product 6 displayed in the lower row and displayed on the right side in the figure has a larger size in the second image 8 generated by the camera 2 located in the lower right side in the figure, and is shown in the figure.
  • the size in the first image 7 generated by the camera 2 located in the upper left becomes smaller.
  • the same products existing in the first image 7 and the second image 8 are surrounded by a frame W. As shown, the size of the goods in each image can be different from each other.
  • the recognition unit 12 recognizes the product based on each of the plurality of images generated by the plurality of cameras.
  • the recognition unit 12 collates the feature amount of the appearance of the object extracted from the image with the feature amount of the appearance of each of the plurality of registered products, and based on the collation result, the object included in the image for each product. Calculates the reliability (referred to as certainty, similarity, etc.) of each product. The reliability is calculated based on, for example, the number of matched feature quantities, the ratio of the number of matched feature quantities to the number of pre-registered feature quantities, and the like.
  • the recognition unit 12 determines the recognition result based on the calculated reliability.
  • the recognition result is, for example, product identification information of the product included in the image.
  • the recognition unit 12 may determine the product having the highest reliability as the product included in the image, or may determine the recognition result based on other criteria. From the above, the recognition result for each image can be obtained.
  • an estimation model that recognizes the products in the image is generated in advance by machine learning based on the teacher data that links the images of each of the plurality of products with the identification information (label) of each product. You may. Then, the recognition unit 12 may realize the product recognition by inputting the image acquired by the acquisition unit 11 into the estimation model.
  • the recognition unit 12 may input the image acquired by the acquisition unit 11 into the estimation model as it is, or input the processed image into the estimation model after processing the image acquired by the acquisition unit 11. You may.
  • the recognition unit 12 recognizes an object existing in the image based on the conventional object recognition technique. Then, the recognition unit 12 cuts out a part of the area where the object exists from the image, and inputs the image of the cut out part of the area into the estimation model.
  • the object recognition may be performed on each of the plurality of images acquired by the acquisition unit 11, or may be performed on one image after combining the plurality of images acquired by the acquisition unit 11. May be good. If the latter is used, the number of image files for image recognition is reduced, and processing efficiency is improved.
  • the determination unit 13 determines and outputs the final recognition result (product identification information, etc.) based on a plurality of recognition results (product identification information, etc.) based on each of the plurality of images.
  • the determination unit 13 calculates the size of the region where the product exists in each of the plurality of images, determines the recognition result based on the image having the largest size as the final recognition result, and outputs the result. do.
  • the size may be indicated by the area of the area where the product exists, may be indicated by the length of the outer circumference of the area, or may be indicated by others. These areas and lengths can be indicated by, for example, the number of pixels, but are not limited thereto.
  • the area where the product exists may be a rectangular area including the product and its surroundings, or an area having a shape along the contour of the product where only the product exists. Which one to use can be determined based on, for example, a method of detecting a product (object) in an image. For example, when a method of determining whether a product (object) exists for each rectangular area in an image is adopted, the area where the product exists can be a rectangular area including the product and its surroundings. On the other hand, when adopting a method called semantic segmentation or instance segmentation that detects a pixel area in which a detection target exists, the area in which the product exists may be an area having a shape along the contour of the product in which only the product exists. can.
  • the subsequent processing contents for the final recognition result (product identification information of the recognized product) output by the determination unit 13 are not particularly limited.
  • the final recognition result may be used in the payment processing in the store system that eliminates the payment processing (product registration, payment, etc.) at the cashier counter as disclosed in Non-Patent Documents 1 and 2. An example will be described below.
  • the store system registers the product identification information (final recognition result) of the recognized product in association with the information that identifies the customer who picked up the product. For example, a camera that captures the face of a customer who picks up a product is installed in the store, and the store system may extract features of the appearance of the customer's face from the image generated by the camera. .. Then, the store system links the feature amount of the appearance of the face (information that identifies the customer) with the product identification information of the product that the customer has picked up and other product information (unit price, product name, etc.). You may register. Other product information can be acquired from the product master (information that associates the product identification information with the other product information) stored in the store system in advance.
  • the customer identification information (membership number, name, etc.) of the customer and the feature amount of the appearance of the face may be linked and registered in an arbitrary place (store system, center server, etc.) in advance. Then, when the store system extracts the feature amount of the appearance of the customer's face from the image including the face of the customer who picked up the product, even if the customer identification information of the customer is specified based on the pre-registered information. good. Then, the store system may register the product identification information of the product picked up by the customer and other product information in association with the specified customer identification information.
  • the store system calculates the settlement amount based on the registered contents and executes the settlement process.
  • the settlement process is executed at the timing when the customer leaves the gate, the timing when the customer goes out of the store from the exit, and the like.
  • the detection of these timings may be realized by detecting the customer's exit from the image generated by the camera installed at the gate or exit, or the input device (short-range wireless communication) installed at the gate or exit. It may be realized by inputting the customer identification information of the customer leaving the store to the reader, etc.), or it may be realized by another method.
  • the details of the payment process may be a payment process using a credit card based on pre-registered credit card information, a payment process based on pre-charged money, or any other method.
  • Examples of other usage scenarios of the final recognition result (product identification information of the recognized product) output by the determination unit 13 include a customer preference survey and a marketing survey. For example, by linking the products picked up by each customer to each customer and registering them, it is possible to analyze the products that each customer is interested in. In addition, by registering the fact that the customer has picked up each product, it is possible to analyze which product is interested in the customer. Furthermore, by estimating customer attributes (gender, age, nationality, etc.) using conventional image analysis technology and registering the attributes of the customer who picked up each product, what kind of attributes each product has? It is possible to analyze whether the customer is interested.
  • customer attributes gender, age, nationality, etc.
  • the acquisition unit 11 acquires images generated by a plurality of cameras that capture the product picked up by the customer (S10). For example, the acquisition unit 11 acquires the first image 7 and the second image 8 generated by each of the two cameras 2 installed on the product display shelves 1 shown in FIGS. 3 to 5.
  • the recognition unit 12 detects an object included in each of the plurality of images generated by the plurality of cameras (S11).
  • the recognition unit 12 performs a process of recognizing the product included in each of the plurality of images generated by the plurality of cameras (S12). For example, the recognition unit 12 cuts out a part region including the detected object from each of the plurality of images generated by the plurality of cameras. Then, the recognition unit 12 executes the product recognition process by inputting the image of the cut out partial area into the estimation model (classifier) prepared in advance.
  • the determination unit 13 determines the final recognition result based on the plurality of recognition results based on each of the plurality of images in S12 (S13). Specifically, the determination unit 13 calculates the size of the region where the product (object) exists in each of the plurality of images based on the object detection result in S11, and the recognition result based on the image having the largest size. Is determined as the final recognition result.
  • the determination unit 13 outputs the determined final recognition result (S14).
  • a plurality of images generated by a plurality of cameras that capture a product picked up by a customer from a plurality of positions and a plurality of directions are acquired as analysis targets. For this reason, regardless of the display position of the product picked up, the customer's posture, height, how to take the product, the posture when holding the product, etc., an image showing the product in a sufficiently large size is acquired as an analysis target. There is a high possibility that it can be done.
  • the processing device 10 identifies one image suitable for product recognition from the plurality of images generated by the plurality of cameras, and adopts the product recognition result based on the specified image. Specifically, the processing device 10 identifies an image in which the product appears in the largest size, and adopts the recognition result of the product based on the image.
  • product recognition can be performed based on an image in which the product is sufficiently large, and the result can be output. As a result, it becomes possible to accurately recognize the product picked up by the customer.
  • ⁇ Second embodiment> When the processing apparatus 10 of the present embodiment includes recognition results different from each other in the plurality of recognition results based on each of the plurality of images, the final recognition is based on the size of the region where the product exists in each of the plurality of images. Determine the result. Then, when a plurality of recognition results based on each of the plurality of images match, the matched recognition result is determined as the final recognition result.
  • the acquisition unit 11 acquires images generated by a plurality of cameras that capture the product picked up by the customer (S20). For example, the acquisition unit 11 acquires the first image 7 and the second image 8 generated by each of the two cameras 2 installed on the product display shelves 1 shown in FIGS. 3 to 5.
  • the recognition unit 12 detects an object included in each of the plurality of images generated by the plurality of cameras (S21).
  • the recognition unit 12 performs a process of recognizing a product included in each of the plurality of images generated by the plurality of cameras (S22). For example, the recognition unit 12 cuts out a part region including the detected object from each of the plurality of images generated by the plurality of cameras. Then, the recognition unit 12 executes the product recognition process by inputting the image of the cut out partial area into the estimation model (classifier) prepared in advance.
  • the determination unit 13 determines whether the plurality of recognition results based on each of the plurality of images match (S23).
  • the determination unit 13 determines the matched recognition result as the final recognition result.
  • the determination unit 13 determines the product (object) in each of the plurality of images.
  • the final recognition result is determined based on the size of the region where is present (S24). Specifically, the determination unit 13 calculates the size of the region where the product (object) exists in each of the plurality of images based on the object detection result in S21, and the recognition result based on the image having the largest size. Is determined as the final recognition result.
  • the determination unit 13 outputs the determined final recognition result (S26).
  • the same effects as those of the first embodiment are realized. Further, according to the processing device 10 of the present embodiment, a process of calculating the size of a region in which a product (object) exists in each of a plurality of images and a process of determining a final recognition result based on the result are executed. The number of times can be reduced. As a result, the processing load on the computer is reduced.
  • the difference between the highest reliability and the next highest reliability among the reliabilitys of the plurality of recognition results based on each of the plurality of images is less than the threshold value (design matter). If it is assumed that the recognition result with the highest reliability is wrong, the final recognition result is determined based on the size of the area where the product exists in each of the plurality of images. Then, the difference between the highest reliability and the next highest reliability among the reliabilitys of the plurality of recognition results based on each of the plurality of images is equal to or more than the threshold value, and the recognition result having the highest reliability is incorrect. If is not expected, the recognition result with the highest reliability is determined as the final recognition result.
  • the reliability of the recognition result is as described in the first embodiment.
  • the acquisition unit 11 acquires images generated by a plurality of cameras that capture the product picked up by the customer (S30). For example, the acquisition unit 11 acquires the first image 7 and the second image 8 generated by each of the two cameras 2 installed on the product display shelves 1 shown in FIGS. 3 to 5.
  • the recognition unit 12 detects an object included in each of the plurality of images generated by the plurality of cameras (S31).
  • the recognition unit 12 performs a process of recognizing a product included in each of the plurality of images generated by the plurality of cameras (S32). For example, the recognition unit 12 cuts out a part region including the detected object from each of the plurality of images generated by the plurality of cameras. Then, the recognition unit 12 executes the product recognition process by inputting the image of the cut out partial area into the estimation model (classifier) prepared in advance.
  • the determination unit 13 determines whether the difference between the highest reliability and the next highest reliability among the reliabilitys of the plurality of recognition results based on each of the plurality of images is equal to or greater than the threshold value (S33). When only two recognition results based on the two images are obtained, it is a process of determining whether the difference in reliability between the two recognition results is equal to or greater than the threshold value.
  • the determination unit 13 determines the recognition result having the highest reliability as the final recognition result (S35).
  • the determination unit 13 determines the final recognition result based on the size of the region where the product (object) exists in each of the plurality of images (S34). Specifically, the determination unit 13 calculates the size of the region where the product (object) exists in each of the plurality of images based on the object detection result in S31, and the recognition result based on the image having the largest size. Is determined as the final recognition result.
  • the determination unit 13 outputs the determined final recognition result (S36).
  • the same effects as those of the first embodiment are realized. Further, according to the processing device 10 of the present embodiment, a process of calculating the size of a region in which a product (object) exists in each of a plurality of images and a process of determining a final recognition result based on the result are executed. The number of times can be reduced. As a result, the processing load on the computer is reduced.
  • the processing device 10 of the present embodiment has a configuration in which the configurations of the second embodiment and the configuration of the third embodiment are combined.
  • the processing device 10 of the present embodiment is based on the size of the region where the product exists in each of the plurality of images when different recognition results are included in the plurality of recognition results based on each of the plurality of images. Determine the final recognition result. Then, when a plurality of recognition results based on each of the plurality of images match, the matched recognition result is determined as the final recognition result.
  • the difference between the highest reliability and the next highest reliability among the reliabilitys of the plurality of recognition results based on each of the plurality of images is less than the threshold value (design matter).
  • the final recognition result is determined based on the size of the area where the product exists in each of the plurality of images. Then, when the difference between the highest reliability and the next highest reliability among the reliabilitys of the plurality of recognition results based on each of the plurality of images is equal to or greater than the threshold value, the recognition result having the highest reliability is the final recognition result. To determine as.
  • the acquisition unit 11 acquires images generated by a plurality of cameras that capture the product picked up by the customer (S40). For example, the acquisition unit 11 acquires the first image 7 and the second image 8 generated by each of the two cameras 2 installed on the product display shelves 1 shown in FIGS. 3 to 5.
  • the recognition unit 12 detects an object included in each of the plurality of images generated by the plurality of cameras (S41).
  • the recognition unit 12 performs a process of recognizing the product included in each of the plurality of images generated by the plurality of cameras (S42). For example, the recognition unit 12 cuts out a part region including the detected object from each of the plurality of images generated by the plurality of cameras. Then, the recognition unit 12 executes the product recognition process by inputting the image of the cut out partial area into the estimation model (classifier) prepared in advance.
  • the recognition unit 12 executes the product recognition process by inputting the image of the cut out partial area into the estimation model (classifier) prepared in advance.
  • the determination unit 13 determines whether the plurality of recognition results based on each of the plurality of images match (S43).
  • the determination unit 13 determines the matched recognition result as the final recognition result.
  • the determination unit 13 determines the plurality of recognition results based on each of the plurality of images. It is determined whether the difference between the highest reliability and the next highest reliability among the respective reliabilitys is equal to or greater than the threshold value (S44). When only two recognition results based on the two images are obtained, it is a process of determining whether the difference in reliability between the two recognition results is equal to or greater than the threshold value.
  • the determination unit 13 determines the recognition result having the highest reliability as the final recognition result (S46).
  • the determination unit 13 determines the final recognition result based on the size of the region where the product (object) exists in each of the plurality of images (S45). Specifically, the determination unit 13 calculates the size of the region where the product (object) exists in each of the plurality of images based on the object detection result in S41, and the recognition result based on the image having the largest size. Is determined as the final recognition result.
  • the determination unit 13 outputs the determined final recognition result (S48).
  • the same effects as those of the first to third embodiments are realized. Further, according to the processing device 10 of the present embodiment, a process of calculating the size of a region in which a product (object) exists in each of a plurality of images and a process of determining a final recognition result based on the result are executed. The number of times can be reduced. As a result, the processing load on the computer is further reduced.
  • the processing device 10 of the present embodiment is different from the first to fourth embodiments in the details of the processing for determining the final recognition result based on the size of the region where the product exists in each of the plurality of images.
  • the determination unit 13 calculates the evaluation value of the recognition result of each of the plurality of images based on the reliability of the recognition result and the size of the area where the product exists in the image, and determines the final recognition result based on the evaluation value. ..
  • the determination unit 13 calculates a higher evaluation value as the reliability of the recognition result is higher and the area where the product exists in the image is larger. Then, the determination unit 13 determines the recognition result having the highest evaluation value as the final recognition result.
  • the details of the evaluation value calculation method (calculation formula, etc.) are design matters.
  • the determination unit 13 may further calculate the evaluation value based on the weighted values of each of the plurality of cameras set in advance. The easier it is to generate an image useful for product recognition, the higher the weighting value. Then, the higher the weighting value, the higher the evaluation value as the recognition result of the image generated by the camera.
  • the weighting value becomes higher as the camera is installed at a position and orientation that makes it easier to generate an image useful for product recognition.
  • Images that are useful for product recognition include images that include characteristic parts of the product's appearance (front side of the package), and products that are not hidden (hidden) by parts of the customer's body (hands, etc.) or other obstacles. There are fewer parts) such as images.
  • the weighting value of the camera may be determined based on, for example, the specifications of the camera. The better the specifications of a camera, the easier it is to generate images that are useful for product recognition.
  • the determination unit 13 determines the recognition result having the lowest evaluation value as the final recognition result.
  • the same effects as those of the first to fourth embodiments are realized. Further, according to the processing device 10 of the present embodiment, not only the size of the area where the product exists in the image, but also the reliability of the recognition result and the evaluation (position, orientation, specifications, etc.) of the camera that generated each image.
  • the final recognition result can be determined in consideration of the weighted value) and the like. As a result, the accuracy of product recognition is improved.
  • the product picked up by the customer is photographed by two cameras.
  • the configuration of FIGS. 3 to 5 may be adopted.
  • the acquisition unit 11 the first image generated by one of the two cameras (hereinafter, “first camera”) and the other of the two cameras (hereinafter, “second camera”) are The generated second image is acquired.
  • the determination unit 13 determines L1 / L2, which is the ratio of the size L1 of the region where the product (object) exists in the first image and the size L2 of the region where the product (object) exists in the second image. calculate.
  • the determination unit 13 determines the recognition result based on the first image image as the final recognition result.
  • the determination unit 13 determines the recognition result based on the second image as the final recognition result.
  • the threshold value of the ratio can be a value different from 1. For example, when the first camera is a camera that is more likely to generate an image useful for product recognition than the second camera, the threshold value of the ratio is smaller than 1. On the other hand, when the second camera is a camera that is easier to generate an image useful for product recognition than the first camera, the threshold value of the ratio is larger than 1.
  • image useful for product recognition is as described in the fourth embodiment.
  • the processing device 10 of the present embodiment described above the same effects as those of the first to fifth embodiments are realized. Further, according to the processing device 10 of the present embodiment, the final recognition result can be determined in consideration of the evaluation (weighted value based on the position, orientation, specifications, etc.) of the camera that generated each image. As a result, the accuracy of product recognition is improved.
  • acquisition means “the own device goes to fetch the data stored in another device or storage medium” based on the user input or the instruction of the program (active).
  • Acquisition means "the own device goes to fetch the data stored in another device or storage medium” based on the user input or the instruction of the program (active).
  • Acquisition for example, requesting or inquiring about other devices to receive data, accessing and reading other devices or storage media, etc., and based on user input or program instructions,“ Inputting data output from another device to your own device (passive acquisition) ”, for example, receiving data to be delivered (or transmitted, push notification, etc.), and received data or information Select from among and acquire, and generate new data by editing the data (textification, sorting of data, extraction of some data, change of file format, etc.), and the new data Includes at least one of "acquiring data”.
  • the final recognition result is determined, When the difference between the highest reliability and the next highest reliability among the respective reliabilitys of the plurality of recognition results is equal to or greater than the threshold value, the recognition result having the highest reliability is determined as the final recognition result 1.
  • the determination means is When the plurality of recognition results include recognition results different from each other, the final recognition result is determined based on the size of the region where the product exists in each of the plurality of images.
  • the processing apparatus according to 1 or 2 wherein when the plurality of recognition results match, the matched recognition result is determined as the final recognition result. 4.
  • the determination means determines the final recognition result based on the size of the region where the product exists in each of the plurality of images, the final recognition result based on the image in which the region where the product exists is the largest.
  • the processing apparatus according to any one of 1 to 3, which is determined as a recognition result. 5.
  • the acquisition means acquires a first image generated by one of the two cameras and a second image generated by the other of the two cameras.
  • L1 / L2 which is the ratio of the size L1 of the region where the product exists in the first image and the size L2 of the region where the product exists in the second image, is equal to or larger than the threshold value.
  • the recognition result based on the first image image is determined as the final recognition result.
  • the processing apparatus according to any one of 1 to 3, wherein when L1 / L2 is less than the threshold value, the recognition result based on the second image image is determined as the final recognition result. 6. 5. The processing apparatus according to 5, wherein the threshold value is a value different from 1. 7. The processing apparatus according to any one of 1 to 3, wherein the determination means determines the final recognition result based on an evaluation value calculated based on the reliability of the recognition result and the size of the region where the product exists in the image. .. 8. The processing apparatus according to 7, wherein the determination means further calculates the evaluation value based on the weighted value of each of the plurality of cameras. 9.
  • the computer Acquires images generated by multiple cameras that capture the product picked up by the customer, The product is recognized based on each of the plurality of images generated by the plurality of cameras, and the product is recognized.
  • 10. Computer An acquisition method for acquiring images generated by multiple cameras that capture a product picked up by a customer.
  • a recognition means that recognizes the product based on each of the plurality of images generated by the plurality of cameras.
  • a determination means for determining the final recognition result based on a plurality of recognition results based on each of the plurality of images and the size of a region in which the product exists in each of the plurality of images.
  • a program that functions as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得部（１１）と、複数のカメラが生成した複数の画像各々に基づき商品を認識する認識部（１２）と、複数の画像各々に基づく複数の認識結果、及び、複数の画像各々内で商品が存在する領域の大きさ、に基づき最終認識結果を決定する決定部（１３）と、を有する処理装置（１０）を提供する。

Description

処理装置、処理方法及びプログラム
　本発明は、処理装置、処理方法及びプログラムに関する。
　非特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手にとった商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。
　特許文献１は、３台のカメラ各々が生成した手術画像に対して画像認識を行い、画像認識の結果に基づき各画像の術野露出度を算出し、３枚の手術画像の中から術野露出度が最も大きい画像を選択してディスプレイに表示する技術を開示している。
国際公開第２０１９／１３０８８９号
宮田拓弥、"Ａｍａｚｏｎ　Ｇｏの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html> "ＮＥＣ、レジレス店舗「ＮＥＣ　ＳＭＡＲＴ　ＳＴＯＲＥ」を本社内にオープン--顔認証活用、退店と同時決済"、[online]、２０２０年２月２８日、［２０２０年３月２７日検索］、インターネット<URL: https://japan.cnet.com/article/35150024/>
　顧客が手に取った商品を精度よく認識する技術が望まれている。例えば、非特許文献１及び２に記載のレジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムにおいては、顧客が手にとった商品を精度よく認識する技術が必要となる。その他、顧客の嗜好調査やマーケティング調査等の目的で顧客の店内行動を調査する場合にも、当該技術は有用である。
　本発明の課題は、顧客が手にとった商品を精度よく認識する技術を提供することである。
　本発明によれば、
　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段と、
を有する処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
　　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
　　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
　　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
　　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段、
として機能させるプログラムが提供される。
　本発明によれば、顧客が手にとった商品を精度よく認識する技術が実現される。
本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態の処理装置が処理する画像の一例を示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
＜第１の実施形態＞
「概要」
　顧客が手にとった商品の画像内での大きさ（画像内で当該商品が占める領域の大きさ）が小さい場合、その商品の外観の特徴量をその画像から抽出し難くなる。結果、商品認識の精度が低くなり得る。このため、商品認識の精度を高める観点から、できるだけ画像内で大きくなるように商品を撮影し、その画像に基づき商品認識を行うことが好ましい。
　そこで、本実施形態では、顧客が手にとった商品を複数の位置及び複数の方向から複数のカメラで撮影する。このように構成することで、手にとった商品の陳列位置、顧客の姿勢、身長、商品の取り方、商品を持っている時の姿勢等に関わらず、いずれかのカメラにおいて、画像内で十分に大きくなるようにその商品を撮影できる可能性が高くなる。
　処理装置は、複数のカメラが生成した複数の画像各々を解析して各画像に含まれる商品（顧客が手にとった商品）を認識する。そして、処理装置は、複数の画像各々内で商品が存在する領域（画像内での大きさ）が最も大きい画像に基づく認識結果を、最終認識結果として出力する。
「ハードウエア構成」
　次に、処理装置のハードウエア構成の一例を説明する。
　処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
「機能構成」
　図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、認識部１２と、決定部１３とを有する。
　取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する。取得部１１への画像の入力は、リアルタイム処理で行われてもよいし、バッチ処理で行われてもよい。いずれの処理とするかは、例えば認識結果の利用内容に応じて決定することができる。
　ここで、複数のカメラについて説明する。本実施形態では顧客が手にとった商品を複数の方向及び複数の位置から撮影できるように複数のカメラ（２台以上のカメラ）が設置される。例えば商品陳列棚毎に、各々から取り出された商品を撮影する位置及び向きで複数のカメラが設置されてもよい。カメラは、商品陳列棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。なお、商品陳列棚毎にカメラを設置する例はあくまで一例であり、これに限定されない。
　カメラは動画像を常時（例えば、営業時間中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品陳列棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。
　ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図３に示す例では、商品陳列棚１毎に２つのカメラ２が設置されている。図４は、図３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明（不図示）とが設けられる。
　照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。
　そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図４の左側の枠４の部品において、カメラ２は下方及び右斜め下を撮影範囲としている。また、図４の右側の枠４の部品において、カメラ２は上方及び左斜め上を撮影範囲としている。
　図３に示すように、枠４は、商品載置スペースを構成する商品陳列棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられ、枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、２つのカメラ２で商品陳列棚１の開口部の全範囲を撮影することができる。結果、商品陳列棚１から取り出されている商品（顧客が手にとった商品）を２つのカメラ２で撮影することが可能となる。
　例えば図３及び図４に示す構成を採用した場合、図５に示すように、どの位置に陳列されている商品６を商品陳列棚１から取り出すかに応じて、２つのカメラ２各々が生成する画像内における商品６の大きさが異なり得る。より上段に陳列されており、より図中左側に陳列されている商品６ほど、図中左上に位置するカメラ２が生成する第１の画像７内における大きさが大きくなり、図中右下に位置するカメラ２が生成する第２の画像８における大きさが小さくなる。そして、より下段に陳列されており、より図中右側に陳列されている商品６ほど、図中右下に位置するカメラ２が生成する第２の画像８内における大きさが大きくなり、図中左上に位置するカメラ２が生成する第１の画像７内における大きさが小さくなる。図５においては、第１の画像７及び第２の画像８内に存在する同一商品を枠Ｗで囲っている。図示するように、各画像内におけるその商品の大きさは互いに異なり得る。
　図２に戻り、認識部１２は、複数のカメラが生成した複数の画像各々に基づき商品を認識する。
　ここで、各画像に対して行われる認識処理の具体例を説明する。まず、認識部１２は、画像から抽出した物体の外観の特徴量と、予め登録された複数の商品各々の外観の特徴量とを照合し、照合結果に基づき、商品ごとに画像に含まれる物体が各商品である信頼度（確信度、類似度等という）を算出する。信頼度は、例えば、マッチングした特徴量の数や予め登録された特徴量の数に対するマッチングした特徴量の数の割合等に基づき算出される。
　そして、認識部１２は、算出した信頼度に基づき、認識結果を決定する。認識結果は、例えば画像に含まれる商品の商品識別情報となる。例えば、認識部１２は、信頼度が最も高い商品をその画像に含まれる商品として決定してもよいし、その他の基準で認識結果を決定してもよい。以上により、画像毎の認識結果が得られる。
　なお、予め、複数の商品各々の画像と各商品の識別情報（ラベル）とを紐づけた教師データに基づく機械学習で、画像内の商品を認識する推定モデル（クラス分類器）が生成されていてもよい。そして、認識部１２は、当該推定モデルに取得部１１が取得した画像を入力することで、商品認識を実現してもよい。
　認識部１２は、取得部１１が取得した画像をそのまま推定モデルに入力してもよいし、取得部１１が取得した画像に対して加工を行った後、加工後の画像を推定モデルに入力してもよい。
　ここで、加工の一例を説明する。まず、認識部１２は、従来の物体認識技術に基づき、画像内に存在する物体を認識する。そして、認識部１２は、その物体が存在する一部領域を画像から切り出し、切り出した一部領域の画像を推定モデルに入力する。なお、物体認識は、取得部１１が取得した複数の画像各々に対して行ってもよいし、取得部１１が取得した複数の画像を結合した後、結合後の１つの画像に対して行ってもよい。後者にすると、画像認識を行う画像ファイルの数が少なくなり、処理効率が向上する。
　決定部１３は、複数の画像各々に基づく複数の認識結果（商品識別情報等）に基づき最終認識結果（商品識別情報等）を決定して出力する。
　より具体的には、決定部１３は、複数の画像各々内で商品が存在する領域の大きさを算出し、当該大きさが最も大きい画像に基づく認識結果を、最終認識結果として決定して出力する。
　当該大きさは、商品が存在する領域の面積で示されてもよいし、当該領域の外周の長さで示されてもよいし、その他で示されてもよい。これら面積や長さは例えばピクセル数で示すことができるが、これに限定されない。
　商品が存在する領域は、商品及びその周辺を含む矩形領域であってもよいし、商品のみが存在する商品の輪郭に沿った形状の領域であってもよい。いずれを採用するかは、例えば画像内の商品（物体）を検出する手法に基づき決定することができる。例えば、画像内の矩形領域毎に商品（物体）が存在するか判断する手法を採用する場合、商品が存在する領域は、商品及びその周辺を含む矩形領域とすることができる。一方、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を採用する場合、商品が存在する領域は、商品のみが存在する商品の輪郭に沿った形状の領域とすることができる。
　なお、本実施形態では、決定部１３が出力した最終認識結果（認識された商品の商品識別情報）に対するその後の処理内容は特段制限されない。
　例えば、最終認識結果は、非特許文献１及び２に開示のようなレジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムにおける決済処理で利用されてもよい。以下、一例を説明する。
　まず、店舗システムは、認識された商品の商品識別情報（最終認識結果）を、その商品を手にとった顧客を特定する情報に紐づけて登録する。例えば、店内には、商品を手にとった顧客の顔を撮影するカメラが設置されており、店舗システムは、当該カメラが生成した画像から顧客の顔の外観の特徴量を抽出してもよい。そして、店舗システムは、当該顔の外観の特徴量（顧客を特定する情報）に紐づけて、その顧客が手にとった商品の商品識別情報やその他の商品情報（単価、商品名等）を登録してもよい。その他の商品情報は、予め店舗システムに記憶されている商品マスタ（商品識別情報と、その他の商品情報とを紐づけた情報）から取得することができる。
　その他、予め、顧客の顧客識別情報（会員番号、氏名等）と、顔の外観の特徴量とが紐づけて任意の場所（店舗システム、センターサーバ等）に登録されていてもよい。そして、店舗システムは、商品を手にとった顧客の顔を含む画像から顧客の顔の外観の特徴量を抽出すると、当該予め登録された情報に基づきその顧客の顧客識別情報を特定してもよい。そして、店舗システムは、特定した顧客識別情報に紐づけて、その顧客が手にとった商品の商品識別情報やその他の商品情報を登録してもよい。
　また、店舗システムは、登録内容に基づき決済金額を算出し、決済処理を実行する。例えば、顧客がゲートから退場したタイミングや、顧客が出口から店舗外に出たタイミング等で、決済処理が実行される。これらのタイミングの検出は、ゲートや出口に設置されたカメラが生成した画像で顧客の退店を検出することで実現されてもよいし、ゲートや出口に設置された入力装置（近距離無線通信するリーダ等）に対する退店する顧客の顧客識別情報の入力で実現されてもよいし、その他の手法で実現されてもよい。決済処理の詳細は、予め登録されたクレジットカード情報に基づくクレジットカードでの決済処理であってもよいし、予めチャージされたお金に基づく決済であってもよいし、その他であってもよい。
　決定部１３が出力した最終認識結果（認識された商品の商品識別情報）のその他の利用場面として、顧客の嗜好調査やマーケティング調査等が例示される。例えば、各顧客が手に取った商品を各顧客に紐づけて登録することで、各顧客が興味を有する商品などを分析することができる。また、商品ごとに顧客が手に取った旨を登録することで、どの商品が顧客に興味を持たれているかを分析することができる。さらに、従来の画像解析技術を利用して顧客の属性（性別、年代、国籍等）を推定し、各商品を手に取った顧客の属性を登録することで、各商品がどのような属性の顧客に興味を持たれているかを分析することができる。
　次に、図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ１０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ１１）。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ１２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。
　次に、決定部１３は、Ｓ１２での複数の画像各々に基づく複数の認識結果に基づき最終認識結果を決定する（Ｓ１３）。具体的には、決定部１３は、Ｓ１１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
　次に、決定部１３は、決定した最終認識結果を出力する（Ｓ１４）。
　以降、同様の処理を繰り返す。
「作用効果」
　以上説明した本実施形態の処理装置１０によれば、顧客が手にとった商品を複数の位置及び複数の方向から撮影する複数のカメラが生成した複数の画像を、解析対象として取得する。このため、手にとった商品の陳列位置、顧客の姿勢、身長、商品の取り方、商品を持っている時の姿勢等に関わらず、商品が十分に大きく写っている画像を解析対象として取得できる可能性が高くなる。
　そして、処理装置１０は、複数のカメラが生成した複数の画像の中から商品認識に適した一枚を特定し、特定した画像に基づく商品の認識結果を採用する。具体的には、処理装置１０は、商品が最も大きく写っている画像を特定し、その画像に基づく商品の認識結果を採用する。
　このような処理装置１０によれば、商品が十分に大きく写っている画像に基づき商品認識を行い、その結果を出力することができる。結果、顧客が手にとった商品を精度よく認識することが可能となる。
＜第２の実施形態＞
　本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合に、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果が一致する場合、一致した認識結果を最終認識結果として決定する。
　図７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ２０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ２１）。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ２２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。
　次に、決定部１３は、複数の画像各々に基づく複数の認識結果が一致するか判断する（Ｓ２３）。
　一致する場合（Ｓ２３のＹｅｓ）、決定部１３は、一致した認識結果を最終認識結果として決定する。
　一方、一致しない場合（Ｓ２３のＮｏ）、すなわち、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合、決定部１３は、複数の画像各々内で商品（物体）が存在する領域の大きさに基づき最終認識結果を決定する（Ｓ２４）。具体的には、決定部１３は、Ｓ２１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
　次に、決定部１３は、決定した最終認識結果を出力する（Ｓ２６）。
　以降、同様の処理を繰り返す。
　処理装置１０のその他の構成は、第１の実施形態と同様である。
　以上説明した本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、複数の画像各々内で商品（物体）が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数を減らすことができる。結果、コンピュータの処理負担が軽減する。
＜第３の実施形態＞
　本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値（設計的事項）未満であり、信頼度が最も高い認識結果が間違っていることも想定される場合、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であり、信頼度が最も高い認識結果が間違っていることがあまり想定されない場合、信頼度が最も高い認識結果を最終認識結果として決定する。認識結果の信頼度は第１の実施形態で説明した通りである。
　図８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ３０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ３１）。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ３２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。
　次に、決定部１３は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であるか判断する（Ｓ３３）。なお、２つの画像に基づく２つの認識結果のみが得られている場合、２つの認識結果各々の信頼度の差が閾値以上か判断する処理となる。
　閾値以上である場合（Ｓ３３のＹｅｓ）、決定部１３は、信頼度が最も高い認識結果を最終認識結果として決定する（Ｓ３５）。
　一方、閾値未満である場合（Ｓ３３のＮｏ）、決定部１３は、複数の画像各々内で商品（物体）が存在する領域の大きさに基づき最終認識結果を決定する（Ｓ３４）。具体的には、決定部１３は、Ｓ３１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
　次に、決定部１３は、決定した最終認識結果を出力する（Ｓ３６）。
　以降、同様の処理を繰り返す。
　処理装置１０のその他の構成は、第１の実施形態と同様である。
　以上説明した本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、複数の画像各々内で商品（物体）が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数を減らすことができる。結果、コンピュータの処理負担が軽減する。
＜第４の実施形態＞
　本実施形態の処理装置１０は、第２の実施形態及び第３の実施形態の構成を組み合わせた構成である。
　すなわち、本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合に、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果が一致する場合、一致した認識結果を最終認識結果として決定する。
　また、本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値（設計的事項）未満である場合、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上である場合、信頼度が最も高い認識結果を最終認識結果として決定する。
　図９のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ４０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ４１）。
　次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ４２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。
　次に、決定部１３は、複数の画像各々に基づく複数の認識結果が一致するか判断する（Ｓ４３）。
　一致する場合（Ｓ４３のＹｅｓ）、決定部１３は、一致した認識結果を最終認識結果として決定する。
　一方、一致しない場合（Ｓ４３のＮｏ）、すなわち、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合、決定部１３は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であるか判断する（Ｓ４４）。なお、２つの画像に基づく２つの認識結果のみが得られている場合、２つの認識結果各々の信頼度の差が閾値以上か判断する処理となる。
　閾値以上である場合（Ｓ４４のＹｅｓ）、決定部１３は、信頼度が最も高い認識結果を最終認識結果として決定する（Ｓ４６）。
　一方、閾値未満である場合（Ｓ４４のＮｏ）、決定部１３は、複数の画像各々内で商品（物体）が存在する領域の大きさに基づき最終認識結果を決定する（Ｓ４５）。具体的には、決定部１３は、Ｓ４１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
　次に、決定部１３は、決定した最終認識結果を出力する（Ｓ４８）。
　以降、同様の処理を繰り返す。
　処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である。
　以上説明した本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、複数の画像各々内で商品（物体）が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数をより減らすことができる。結果、コンピュータの処理負担がより軽減する。
＜第５の実施形態＞
　本実施形態の処理装置１０は、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する処理の詳細が、第１乃至第４の実施形態と異なる。
　決定部１３は、認識結果の信頼度、画像内で商品が存在する領域の大きさに基づき、複数の画像各々の認識結果の評価値を算出し、その評価値に基づき最終認識結果を決定する。決定部１３は、認識結果の信頼度が高いほど、また、画像内で商品が存在する領域が大きいほど、高い評価値を算出する。そして、決定部１３は、評価値が最も高い認識結果を、最終認識結果として決定する。評価値の算出方法（計算式等）の詳細は設計的事項である。
　なお、決定部１３は、さらに、予め設定された複数のカメラ各々の重み付け値に基づき、上記評価値を算出してもよい。商品認識に有用な画像を生成しやすいカメラほど、重み付け値が高くなる。そして、重み付け値が高いカメラが生成した画像の認識結果ほど、評価値が高くなる。
　例えば、商品認識に有用な画像を生成しやすい位置及び向きで設置されているカメラほど、重み付け値が高くなる。商品認識に有用な画像は、商品の外観の特徴的な部分（パッケージの表側）を含む画像や、顧客の身体の一部（手等）やその他の障害物により商品が隠れていない（隠れている部分がより少ない）画像などである。
　その他、例えばカメラのスペック等に基づき、カメラの重み付け値が決定されてもよい。スペックが優れたカメラほど、商品認識に有用な画像を生成しやすい。
　なお、ここでは、認識結果の信頼度が高いほど、画像内で商品が存在する領域が大きいほど、また、カメラの重み付け値が高いほど高い評価値が算出されるとしたが、その他、認識結果の信頼度が高いほど、画像内で商品が存在する領域が大きいほど、また、カメラの重み付け値が高いほど低い評価値が算出されるようにしてもよい。この場合、決定部１３は、評価値が最も低い認識結果を、最終認識結果として決定する。
　例えば、図６のフローチャートのＳ１３の処理や、図７のフローチャートのＳ２４の処理や、図８のフローチャートのＳ３３の処理や、図９のフローチャートのＳ４５の処理等を、上述した決定部１３の処理に置き換えることができる。
　処理装置１０のその他の構成は、第１乃至第４の実施形態と同様である。
　以上説明した本実施形態の処理装置１０によれば、第１乃至第４の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、画像内で商品が存在する領域の大きさのみならず、認識結果の信頼度や各画像を生成したカメラの評価（位置、向き、スペック等に基づく重み付け値）等を考慮して、最終認識結果を決定することができる。結果、商品認識の精度が向上する。
＜第６の実施形態＞
　本実施形態では、顧客が手に取った商品を２台のカメラで撮影する。例えば図３乃至図５の構成を採用してもよい。
　そして、取得部１１は、２台のカメラの一方（以下、「第１のカメラ」）が生成した第１の画像、及び、２台のカメラの他方（以下、「第２のカメラ」）が生成した第２の画像を取得する。
　決定部１３は、第１の画像内で商品（物体）が存在する領域の大きさＬ１及び第２の画像内で商品（物体）が存在する領域の大きさＬ２の比であるＬ１／Ｌ２を算出する。
　そして、決定部１３は、Ｌ１／Ｌ２が予め設定された閾値以上である場合、第１の画像像に基づく認識結果を最終認識結果として決定する。
　一方、Ｌ１／Ｌ２が閾値未満である場合、決定部１３は、第２の画像像に基づく認識結果を最終認識結果として決定する。
　当該比の閾値は１と異なる値とすることができる。例えば、第１のカメラの方が第２のカメラよりも、商品認識に有用な画像を生成しやすいカメラである場合、当該比の閾値は１より小さい値となる。一方、第２のカメラの方が第１のカメラよりも、商品認識に有用な画像を生成しやすいカメラである場合、当該比の閾値は１より大きい値となる。「商品認識に有用な画像」は第４の実施形態で説明した通りである。
　処理装置１０のその他の構成は、第１乃至第５の実施形態と同様である。
　以上説明した本実施形態の処理装置１０によれば、第１乃至第５の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、各画像を生成したカメラの評価（位置、向き、スペック等に基づく重み付け値）等を考慮して、最終認識結果を決定することができる。結果、商品認識の精度が向上する。
　なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段と、
を有する処理装置。
２．　前記決定手段は、
　　前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値未満である場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
　　前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が前記閾値以上である場合、信頼度が最も高い認識結果を前記最終認識結果として決定する１に記載の処理装置。
３．　前記決定手段は、
　　前記複数の認識結果の中に互いに異なる認識結果が含まれる場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
　　前記複数の認識結果が一致する場合、一致した認識結果を前記最終認識結果として決定する１又は２に記載の処理装置。
４．　前記決定手段は、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定する場合、前記商品が存在する領域が最も大きい画像に基づく認識結果を、前記最終認識結果として決定する１から３のいずれかに記載の処理装置。
５．　顧客が手にとった商品を撮影する複数のカメラは２台であり、
　前記取得手段は、前記２台のカメラの一方が生成した第１の画像、及び、前記２台のカメラの他方が生成した第２の画像を取得し、
　　前記決定手段は、前記第１の画像内で前記商品が存在する領域の大きさＬ１及び前記第２の画像内で前記商品が存在する領域の大きさＬ２の比であるＬ１／Ｌ２が閾値以上である場合、前記第１の画像像に基づく認識結果を前記最終認識結果として決定し、
　Ｌ１／Ｌ２が閾値未満である場合、前記第２の画像像に基づく認識結果を前記最終認識結果として決定する１から３のいずれかに記載の処理装置。
６．　前記閾値は、１と異なる値である５に記載の処理装置。
７．　前記決定手段は、認識結果の信頼度、画像内で前記商品が存在する領域の大きさに基づき算出した評価値に基づき、前記最終認識結果を決定する１から３のいずれかに記載の処理装置。
８．　前記決定手段は、さらに前記複数のカメラ各々の重み付け値に基づき前記評価値を算出する７に記載の処理装置。
９．　コンピュータが、
　　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
　　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
　　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する処理方法。
１０．　コンピュータを、
　　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
　　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
　　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段、
として機能させるプログラム。

Claims (10)

  1. 　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
    　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
    　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段と、
    を有する処理装置。
  2. 　前記決定手段は、
    　　前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値未満である場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
    　　前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が前記閾値以上である場合、信頼度が最も高い認識結果を前記最終認識結果として決定する請求項１に記載の処理装置。
  3. 　前記決定手段は、
    　　前記複数の認識結果の中に互いに異なる認識結果が含まれる場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
    　　前記複数の認識結果が一致する場合、一致した認識結果を前記最終認識結果として決定する請求項１又は２に記載の処理装置。
  4. 　前記決定手段は、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定する場合、前記商品が存在する領域が最も大きい画像に基づく認識結果を、前記最終認識結果として決定する請求項１から３のいずれか１項に記載の処理装置。
  5. 　顧客が手にとった商品を撮影する複数のカメラは２台であり、
    　前記取得手段は、前記２台のカメラの一方が生成した第１の画像、及び、前記２台のカメラの他方が生成した第２の画像を取得し、
    　　前記決定手段は、前記第１の画像内で前記商品が存在する領域の大きさＬ１及び前記第２の画像内で前記商品が存在する領域の大きさＬ２の比であるＬ１／Ｌ２が閾値以上である場合、前記第１の画像像に基づく認識結果を前記最終認識結果として決定し、
    　Ｌ１／Ｌ２が閾値未満である場合、前記第２の画像像に基づく認識結果を前記最終認識結果として決定する請求項１から３のいずれか１項に記載の処理装置。
  6. 　前記閾値は、１と異なる値である請求項５に記載の処理装置。
  7. 　前記決定手段は、認識結果の信頼度、画像内で前記商品が存在する領域の大きさに基づき算出した評価値に基づき、前記最終認識結果を決定する請求項１から３のいずれか１項に記載の処理装置。
  8. 　前記決定手段は、さらに前記複数のカメラ各々の重み付け値に基づき前記評価値を算出する請求項７に記載の処理装置。
  9. 　コンピュータが、
    　　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
    　　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
    　　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する処理方法。
  10. 　コンピュータを、
    　　顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
    　　前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
    　　前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段、
    として機能させるプログラム。
PCT/JP2020/017231 2020-04-21 2020-04-21 処理装置、処理方法及びプログラム WO2021214880A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/918,405 US20230141150A1 (en) 2020-04-21 2020-04-21 Processing apparatus, processing method, and non-transitory storage medium
PCT/JP2020/017231 WO2021214880A1 (ja) 2020-04-21 2020-04-21 処理装置、処理方法及びプログラム
JP2022516525A JP7343047B2 (ja) 2020-04-21 2020-04-21 処理装置、処理方法及びプログラム
JP2023135342A JP7525022B2 (ja) 2020-04-21 2023-08-23 処理装置、処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017231 WO2021214880A1 (ja) 2020-04-21 2020-04-21 処理装置、処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021214880A1 true WO2021214880A1 (ja) 2021-10-28

Family

ID=78270532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017231 WO2021214880A1 (ja) 2020-04-21 2020-04-21 処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20230141150A1 (ja)
JP (2) JP7343047B2 (ja)
WO (1) WO2021214880A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476498B1 (ko) * 2022-04-12 2022-12-13 주식회사 인피닉 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012069092A (ja) * 2010-08-23 2012-04-05 Toshiba Tec Corp 店舗システムおよびプログラム
WO2017175707A1 (ja) * 2016-04-06 2017-10-12 日本電気株式会社 物体種類特定装置、物体種類特定方法及び記録媒体
JP2019527865A (ja) * 2016-05-09 2019-10-03 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
JP6646176B1 (ja) * 2018-07-16 2020-02-14 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171240A (ja) 2002-11-20 2004-06-17 Casio Comput Co Ltd 不正監視システムおよびプログラム
JP2006081128A (ja) 2004-09-13 2006-03-23 Yamaha Corp 撮影システム、カラオケシステム、撮影方法
JP5834232B2 (ja) 2011-01-17 2015-12-16 パナソニックＩｐマネジメント株式会社 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
JP6277602B2 (ja) 2013-05-15 2018-02-14 富士通株式会社 監視装置、プログラムおよび方法
JP6529078B2 (ja) 2013-09-06 2019-06-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
US10163115B2 (en) 2013-09-19 2018-12-25 Panasonic Intellectual Property Corporation Of America Control method for displaying merchandising information on information terminal
JP6992874B2 (ja) 2018-03-09 2022-01-13 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012069092A (ja) * 2010-08-23 2012-04-05 Toshiba Tec Corp 店舗システムおよびプログラム
WO2017175707A1 (ja) * 2016-04-06 2017-10-12 日本電気株式会社 物体種類特定装置、物体種類特定方法及び記録媒体
JP2019527865A (ja) * 2016-05-09 2019-10-03 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
JP6646176B1 (ja) * 2018-07-16 2020-02-14 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476498B1 (ko) * 2022-04-12 2022-12-13 주식회사 인피닉 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
JPWO2021214880A1 (ja) 2021-10-28
JP7343047B2 (ja) 2023-09-12
US20230141150A1 (en) 2023-05-11
JP7525022B2 (ja) 2024-07-30
JP2023153316A (ja) 2023-10-17

Similar Documents

Publication Publication Date Title
Santra et al. A comprehensive survey on computer vision based approaches for automatic identification of products in retail store
US10474858B2 (en) Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
JP7038543B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP5984096B2 (ja) 物体を識別する方法及び機構
US9367770B2 (en) Methods and arrangements for identifying objects
De Beugher et al. Automatic analysis of in-the-wild mobile eye-tracking experiments using object, face and person detection
US20220414899A1 (en) Item location detection using homographies
US12094165B2 (en) Item identification using digital image processing
US12131516B2 (en) Reducing a search space for item identification using machine learning
US20220414900A1 (en) Item identification using multiple cameras
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
US20220414375A1 (en) Image cropping using depth information
US20220414379A1 (en) Hand detection trigger for item identification
JP7525022B2 (ja) 処理装置、処理方法及びプログラム
CN111222870A (zh) 结算方法、装置和系统
JP7081310B2 (ja) 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体
JP7396476B2 (ja) 処理装置、処理方法及びプログラム
JP7428241B2 (ja) 処理装置、処理方法及びプログラム
WO2021245835A1 (ja) 処理装置、処理方法及びプログラム
JP7435758B2 (ja) 処理システム、処理方法及びプログラム
WO2021240795A1 (ja) 処理装置、前処理装置、処理方法及びプログラム
US20230222685A1 (en) Processing apparatus, processing method, and non-transitory storage medium
JP7578205B2 (ja) 処理システム、処理方法及びプログラム
US20220414587A1 (en) Determining dimensions of an item using point cloud information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20932360

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022516525

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20932360

Country of ref document: EP

Kind code of ref document: A1