WO2021033310A1 - 処理装置、処理方法及びプログラム - Google Patents

処理装置、処理方法及びプログラム Download PDF

Info

Publication number
WO2021033310A1
WO2021033310A1 PCT/JP2019/032810 JP2019032810W WO2021033310A1 WO 2021033310 A1 WO2021033310 A1 WO 2021033310A1 JP 2019032810 W JP2019032810 W JP 2019032810W WO 2021033310 A1 WO2021033310 A1 WO 2021033310A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
image
registered
products
shelf
Prior art date
Application number
PCT/JP2019/032810
Other languages
English (en)
French (fr)
Inventor
貴美 佐藤
岩元　浩太
壮馬 白石
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/635,484 priority Critical patent/US20220292565A1/en
Priority to JP2021540605A priority patent/JP7405144B2/ja
Priority to PCT/JP2019/032810 priority patent/WO2021033310A1/ja
Publication of WO2021033310A1 publication Critical patent/WO2021033310A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present invention relates to a processing device, a processing method and a program.
  • Patent Documents 1 to 3 are techniques for recognizing and registering a product to be accounted for based on an image of a product to be accounted for and a reference image of each product registered in advance, and are subject to accounting from a plurality of directions with a plurality of cameras. Discloses the technology for photographing the products of.
  • Patent Document 4 is a technique for recognizing and registering a product to be accounted for based on an image of a product to be accounted for and a reference image of each product registered in advance, and a plurality of products to be accounted for using a mirror. It discloses the technology for photographing the outer surface.
  • Patent Document 5 discloses a technique for associating an image generated by a camera with product identification information read by a barcode reader.
  • Patent Documents 1 to 5 describes or suggests the problem and its solution.
  • An object of the present invention is to realize a technique for easily grasping a product for which a reference image should be updated / registered.
  • the computer Get a shelf image, including the shelf on which the goods are displayed, Based on the images of each of the plurality of products registered in the product database, the products registered in the product database are searched for in the shelf image. It is determined whether or not there is a difference between the image of the searched product in the shelf image and the image registered in the product database of the searched product. A processing method for notifying a product determined to have a difference is provided.
  • Computer Acquisition method to acquire a shelf image including the shelf on which the product is displayed,
  • a search means for searching the products registered in the product database in the shelf image based on the images of each of the plurality of products registered in the product database.
  • a determination means for determining whether or not there is a difference between the image of the searched product in the shelf image and the image registered in the product database of the searched product.
  • a program is provided to function as.
  • a processing device having the above is provided.
  • the computer Get a shelf image, including the shelf on which the goods are displayed, Based on the images of each of the plurality of products registered in the product database, the products registered in the product database are searched for in the shelf image.
  • Computer Acquisition method to acquire a shelf image including the shelf on which the product is displayed,
  • a search means for searching the products registered in the product database in the shelf image based on the images of each of the plurality of products registered in the product database.
  • a registration means for identifying an area in which a product not registered in the product database exists among the products included in the shelf image and registering the image in the specified area in the product database.
  • a program is provided to function as.
  • the processing device of the present embodiment determines whether or not there is a difference between the appearance of each product shown in the shelf image of the shelves in the store and the appearance of each product shown in the image registered in the product database.
  • the feature is that the user is notified of the product determined to have a difference. The details will be described below.
  • FIG. 1 shows an example of a functional block diagram of the processing device 10.
  • the processing device 10 includes an acquisition unit 11, a search unit 12, a determination unit 13, a processing unit 14, and a storage unit 15.
  • the processing device 10 does not have to have the storage unit 15.
  • an external device configured to be able to communicate with the processing device 10 includes a storage unit 15.
  • Each functional unit of the processing device 10 is a storage unit (stored from the stage of shipping the device in advance) such as a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded into the memory, and a hard disk for storing the program.
  • a storage unit such as a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded into the memory, and a hard disk for storing the program.
  • it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and is realized by any combination of hardware and software centered on the network connection interface. Program.
  • CDs Compact Discs
  • FIG. 2 is a block diagram illustrating a hardware configuration of the processing device 10.
  • the processing device 10 includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the processing device 10 does not have to have the peripheral circuit 4A.
  • the processing device 10 may be composed of a plurality of physically and / or logically separated devices, or may be composed of one physically and / or logically integrated device. When the processing device 10 is composed of a plurality of physically and / or logically separated devices, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to send and receive data to and from each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, a physical button, a touch panel, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue commands to each module and perform calculations based on the calculation results thereof.
  • the acquisition unit 11 acquires a shelf image including the shelf on which the product is displayed.
  • FIG. 3 schematically shows an example of a shelf image. In the illustrated shelf image, a state in which a plurality of products 20 are displayed on the shelf is shown.
  • a plurality of cameras may be installed in the store at positions and orientations for photographing each of a plurality of areas on a plurality of shelves. Then, the camera may photograph the shelf at a predetermined timing and transmit the photographed shelf image to the processing device 10.
  • the predetermined timing at which the camera shoots may be a predetermined timing.
  • the predetermined timing may be, for example, "a predetermined time once a day", "a predetermined time a plurality of times a day", or the like.
  • the predetermined time may be immediately after the scheduled time when new products arrive at the store and the display on the shelves ends.
  • the predetermined timing for shooting by the camera may be the timing when the operator (clerk or the like) inputs a shooting instruction. In this case, the operator may input a shooting instruction into an arbitrary device (processing device 10, smartphone, personal computer, tablet terminal, etc.). Then, the arbitrary device may transmit the input shooting instruction to the camera.
  • the operator may manually take a picture of each of a plurality of areas on a plurality of shelves while moving around the store with a camera or a mobile terminal having a camera function (eg, a tablet terminal, a smartphone, a mobile phone, etc.).
  • a robot equipped with a camera function and a moving means may photograph each of a plurality of areas on a plurality of shelves while moving in the store. Then, the captured shelf image may be input to the processing device 10 by any means.
  • a camera, a mobile terminal having a camera function, or a robot may have a communication function for communicating with the processing device 10 via a communication network. Then, the camera, the mobile terminal having the camera function, or the robot may transmit the shelf image to the processing device 10 via the communication network.
  • the processing device 10 can function as a server (eg, a cloud server).
  • acquisition means “to get data stored in another device or storage medium by own device” based on user input or program instruction (active). (Acquisition) ”, for example, requesting or inquiring about another device to receive the data, accessing another device or a storage medium, and reading the data.
  • acquisition means “inputting data output from another device to the own device (passive acquisition)” based on user input or program instruction, for example, distribution (or distribution (or).
  • Transmission, push notification, etc. may include receiving data.
  • acquisition means to select and acquire from received data or information, and “edit data (text conversion, data sorting, partial data extraction, file format change, etc.)". It may include “to generate new data and acquire the new data”.
  • the search unit 12 searches the shelf image for the product registered in the product database based on the image of each of the plurality of products registered in the product database.
  • the search unit 12 can search the products registered in the product database in the shelf image by pattern matching based on the images of each of the plurality of products registered in the product database. For example, the search unit 12 searches for an area in the shelf image in which the similarity with the image of each product registered in the product database is a predetermined value M1 or more, thereby searching for an area in the shelf image in which each product exists. Can be identified.
  • the similarity may be indicated by, for example, a value of 0 to 100% (the closer it is to 100%, the more similar it is), or 0 to 1 (the closer it is to 1, the more similar it is). It may be expressed by other methods.
  • M1 The details of M1 are a design matter, but if the similarity is shown by, for example, 0 to 100%, M1 may be any value between, for example, 80 to 90%.
  • FIG. 4 schematically shows an example of the information registered in the product database.
  • product identification information that identifies a plurality of products from each other, product names, unit prices, and identification information (image file names, etc.) of appearance images of each product are associated with each other.
  • the product database may include other information.
  • the storage unit 15 stores this information. This product database is used, for example, in accounting processing by POS (point of sales).
  • the determination unit 13 determines whether or not there is a difference between the image of the searched product in the shelf image and the image registered in the product database of the searched product (whether or not there is a difference in the appearance of the product). To judge.
  • the determination unit 13 causes the display device to display the image of the searched product in the shelf image and the image registered in the product database of the searched product. Then, the determination unit 13 accepts a user input indicating the presence or absence of a difference between the two images. For example, as shown in FIG. 5, the determination unit 13 arranges the two images side by side and causes the display device to display a screen displaying a UI component for accepting a user input indicating the presence or absence of a difference.
  • the image of the searched product in the shelf image may be an image obtained by cutting out only the area in which the searched product exists from the shelf image.
  • the display device may be a display of the processing device 10, an external device configured to be able to communicate with the processing device 10 (a mobile terminal operated by an operator (eg, a tablet terminal, a smartphone, a mobile phone, etc.), a personal computer, etc. , A store terminal in the backyard of the store, etc.).
  • a mobile terminal operated by an operator eg, a tablet terminal, a smartphone, a mobile phone, etc.
  • the external device displays the screen shown in FIG. 5 described above and accepts user input indicating the presence or absence of a difference.
  • the external device transmits the contents of the received user input to the processing device 10. That is, the determination unit 13 receives the user input indicating the presence or absence of the difference via the external device.
  • the determination unit 13 may display the similarity between the two images. Further, the determination unit 13 may display a correspondence line connecting the parts (matching parts) determined to correspond to each other by pattern matching on the screen shown in FIG. Further, the determination unit 13 may display the number of the corresponding lines on the screen shown in FIG.
  • the determination unit 13 generates a screen that can easily compare the image generated by photographing each of the displayed products with the image of each product registered in the product database, and provides the operator with the image. can do. Then, the operator can accept a user input indicating the presence or absence of a difference between the two images.
  • the processing unit 14 notifies the operator of the products determined to have a difference. For example, the processing unit 14 registers the products determined to have a difference. Then, the processing unit 14 notifies the operator of the registered contents at an arbitrary timing.
  • the item of the product database may include a flag with difference for identifying the product determined to have a difference.
  • the processing unit 14 may set a difference presence flag of the product determined to have the difference.
  • the operator inputs to the processing device 10 at an arbitrary timing to confirm the products determined to have a difference.
  • the processing unit 14 confirms the product database according to the operation of the operator, and notifies the operator of the product for which the difference flag is set, that is, the product determined to have the difference.
  • the processing unit 14 performs information (product name, etc.) for identifying products determined to have a difference in a mobile terminal (eg, tablet terminal, smartphone, mobile phone, etc.) operated by an operator, or a backyard of a store. It may be transmitted to a store terminal or the like in the store and displayed.
  • a mobile terminal eg, tablet terminal, smartphone, mobile phone, etc.
  • the acquisition unit 11 acquires a shelf image including the shelf on which the product is displayed (S10). For example, the acquisition unit 11 acquires a shelf image as shown in FIG.
  • the search unit 12 searches the shelf images for the products registered in the product database based on the images of each of the plurality of products registered in the product database (S11).
  • the search unit 12 is pattern matching based on the images of each of the plurality of products registered in the product database, and the similarity with the images of each product registered in the product database is a predetermined value M1 or more in the shelf image.
  • M1 a predetermined value
  • M1 the area in the shelf image in which each product exists.
  • the determination unit 13 determines whether or not there is a difference between the image of the searched product in the shelf image and the image registered in the product database of the searched product (S12).
  • the determination unit 13 causes the display device to display the image of the searched product in the shelf image and the image registered in the product database of the searched product (S20). Then, the determination unit 13 accepts a user input indicating the presence or absence of a difference between the two images (S21). When a plurality of products are searched in the shelf image acquired in S10, the determination unit 13 can perform the processes of S20 and S21 for each of the searched products.
  • the processing unit 14 performs a process for notifying the operator of the products determined to have a difference (S13). For example, the processing unit 14 registers the products determined to have a difference. Then, the processing unit 14 notifies the operator of the registered contents at an arbitrary timing thereafter.
  • the processing unit 14 may register the image in the shelf image of the product determined to have the difference in the product database.
  • the image of the product database is provisionally based on the shelf image until the operator shoots the product under predetermined shooting conditions in response to the above notification and updates the image of the product in the product database. Can be updated.
  • the processing device 10 of the present embodiment described above searches for each product from the shelf image including the shelf on which the product is displayed, and the image in the shelf image of the searched product and the image registered in the product database are combined. It is possible to determine whether or not there is a difference between them (whether or not the design of the product package has been changed). Since the above judgment can be made based on the comparison between the image of the product actually displayed on the shelf and the image registered in the product database, the design of the product package can be changed with high accuracy and relatively easily. It is possible to determine the presence or absence of.
  • the processing device 10 displays the image in the shelf image of the searched product and the image registered in the product database side by side, and whether there is a difference between the two images. It is possible to accept the input of whether or not from the operator. In this case, all the work to be done by the operator is to compare the two displayed images and input whether or not there is a difference. As described above, according to the processing device 10 of the present embodiment, it is possible to determine whether or not the design of the product package has been changed by a relatively simple operation by the operator.
  • the processing device 10 displays the images in the shelf images of the searched products and the images registered in the product database side by side as shown in FIG. 5, and displays the similarity between the two displayed images.
  • the processing device 10 of the present embodiment has a different configuration of the determination unit 13 from that of the first embodiment. This point will be described below.
  • the processing device 10 includes an acquisition unit 11, a search unit 12, a determination unit 13, a processing unit 14, and a storage unit 15.
  • the processing device 10 does not have to have the storage unit 15.
  • an external device configured to be able to communicate with the processing device 10 includes a storage unit 15.
  • the determination unit 13 describes the above-mentioned products among the products searched by the search unit 12 for the products in which the similarity in appearance between the image in the shelf image and the image registered in the product database satisfies a predetermined condition. The process of determining the presence or absence of the difference is not performed. Then, the determination unit 13 performs a process of determining the presence or absence of the difference only for the products that do not satisfy the predetermined condition among the searched products.
  • the predetermined condition is "the degree of similarity in appearance between the image in the shelf image and the image registered in the product database is a predetermined value M2 or more (Note that M2> M1)".
  • M1 and M2 are design matters, but when the similarity is shown by, for example, 0 to 100%, M1 is an arbitrary value between 80 and 90%, and M2 is, for example, any value of 98% or more. It may be a value.
  • the similarity is very high, it can be estimated that there is no difference between the image in the shelf image and the image registered in the product database.
  • determination unit 13 Other configurations of the determination unit 13 are the same as those of the first embodiment. Further, the configurations of the acquisition unit 11, the search unit 12, the processing unit 14, and the storage unit 15 are the same as those in the first embodiment. Further, an example of the hardware configuration of the processing device 10 and an example of the processing flow are the same as those in the first embodiment.
  • the processing device 10 of the present embodiment As described above, according to the processing device 10 of the present embodiment, the same effects as those of the processing device 10 of the first embodiment are realized. Further, according to the processing device 10 of the present embodiment, the determination processing by the determination unit 13 can be performed only on the necessary products, so that the burden on the computer and the operator can be reduced.
  • the processing device 10 of the present embodiment has a different configuration of the determination unit 13 from the first and second embodiments. This point will be described below.
  • the processing device 10 includes an acquisition unit 11, a search unit 12, a determination unit 13, a processing unit 14, and a storage unit 15.
  • the processing device 10 does not have to have the storage unit 15.
  • an external device configured to be able to communicate with the processing device 10 includes a storage unit 15.
  • the determination unit 13 determines whether or not there is a difference between the two images based on the degree of similarity between the image of the searched product in the shelf image and the image registered in the product database of the searched product. For example, the determination unit 13 may determine that there is a difference between the two images when the similarity is greater than M1 and less than M3 (note that M2> M3> M1).
  • M1 and M3 are design matters, but for example, when the similarity is shown by 0 to 100%, M1 is an arbitrary value between 80 and 90%, and M3 is, for example, less than 80 to 93%. It may be any value.
  • the configuration of the acquisition unit 11, the search unit 12, the processing unit 14, and the storage unit 15 is the same as that of the first embodiment. Further, an example of the hardware configuration of the processing device 10 and an example of the processing flow are the same as those in the first embodiment.
  • the processing device 10 of the present embodiment As described above, according to the processing device 10 of the present embodiment, the same effects as those of the processing device 10 of the first embodiment are realized. Further, according to the processing device 10 of the present embodiment, the determination process by the determination unit 13 can be automated, so that the burden on the operator can be reduced.
  • the processing device 10 of the present embodiment has a different configuration of the search unit 12 and the processing unit 14 from the first to third embodiments. This point will be described below.
  • the processing device 10 includes an acquisition unit 11, a search unit 12, a determination unit 13, a processing unit 14, and a storage unit 15.
  • the processing device 10 does not have to have the storage unit 15.
  • an external device configured to be able to communicate with the processing device 10 includes a storage unit 15.
  • the search unit 12 searches for similar products that are not registered in the product database but have a degree of similarity with the products registered in the product database of a predetermined value or more. Search in the shelf image. For example, the search unit 12 performs pattern matching based on the images of each of a plurality of products registered in the product database, and the similarity with the images of each product registered in the product database is a predetermined value M4 or more and less than M1 (note that By searching the area in the shelf image where M1> M4), the area in the shelf image in which similar products exist is specified.
  • M1 and M4 are design matters, but if the similarity is shown, for example, from 0 to 100%, M1 may be any value, for example, between 80 and 90%, and M34, for example, between 60 and 80%. It may be any value.
  • the processing unit 14 notifies the operator of similar products. That is, the processing unit 14 notifies the operator of the existence of a similar product that is not registered in the product database but is similar to the product registered in the product database.
  • the processing unit 14 may output an image in the shelf image of a similar product in the notification.
  • the processing unit 14 may notify the operator of information that identifies a product that is determined to be similar to a similar product among the products registered in the product database.
  • the processing unit 14 may register similar products and give the above notification based on the registered contents at an arbitrary timing.
  • the processing unit 14 realizes the notification via an arbitrary output device such as a display, a speaker, a mailer, or a printer.
  • search unit 12 and the processing unit 14 are the same as those of the first embodiment. Further, the configurations of the acquisition unit 11, the determination unit 13, and the storage unit 15 are the same as those of any of the first to third embodiments. Further, an example of the hardware configuration of the processing device 10 and an example of the processing flow are the same as those in the first embodiment.
  • the same effects as those of the processing devices 10 of the first to third embodiments are realized. Further, according to the processing device 10 of the present embodiment, a similar product that is not registered in the product database but is similar to the product registered in the product database is searched from the shelf image and notified to the operator. Can be done.
  • Products that are not registered in the product database should not be recognized in the process of recognizing and registering the products to be accounted for based on the photographed image of the products to be accounted for and the reference image of each product registered in advance.
  • the processing device 10 of the present embodiment it is possible to search for a product (similar product) that may be misrecognized in this way and need to be quickly registered in the product database, and notify the operator. ..
  • the processing device of the present embodiment has a function for allowing the operator to recognize the presence or absence of products that are not registered in the product database based on the shelf image including the shelves on which the products are displayed. The details will be described below.
  • FIG. 8 shows an example of a functional block diagram of the processing device 10.
  • the processing device 10 includes an acquisition unit 11, a search unit 12, a determination unit 13, a processing unit 14, a storage unit 15, and a registration unit 16.
  • the processing device 10 does not have to have the storage unit 15.
  • an external device configured to be able to communicate with the processing device 10 includes a storage unit 15.
  • the registration unit 16 notifies the operator of products that are not registered in the product database among the products included in the shelf image. For example, as shown in FIG. 9, the registration unit 16 gives the notification by displaying a screen showing the shelf image and the frame W superimposed on the shelf image on the display device.
  • the frame W is displayed corresponding to the display area of the "product registered in the product database" searched by the search unit 12. For example, a frame W surrounding the display area may be displayed. According to such a screen, the product 21 in which the corresponding frame W is not displayed in the products included in the shelf image can be notified to the operator as a product not registered in the product database.
  • the registration unit 16 identifies an area in which products that are not registered in the product database among the products included in the shelf image exist, and registers the image in the specified area in the product database as an image of a new product. You may. For example, the registration unit 16 can specify an area designated by the operator on the shelf image as an area in which products that are not registered in the product database exist. The registration unit 16 can register the image of the new product by associating it with the product identification information input by the user.
  • the configuration of the acquisition unit 11, the search unit 12, the determination unit 13, the processing unit 14, and the storage unit 15 is the same as that of any of the first to fourth embodiments. Further, an example of the hardware configuration of the processing device 10 and an example of the processing flow are the same as those in the first embodiment.
  • the processing device 10 of the present embodiment As described above, according to the processing device 10 of the present embodiment, the same effects as those of the processing devices 10 of the first to fourth embodiments are realized. Further, according to the processing device 10 of the present embodiment, it is possible to notify the operator of the products that are not registered in the product database among the products included in the shelf image. Therefore, the operator can easily grasp the products that are displayed on the shelves but are not registered in the product database.
  • FIG. 10 shows an example of a functional block diagram of the processing device 10 of the present embodiment.
  • the processing device 10 includes an acquisition unit 11, a search unit 12, a storage unit 15, and a registration unit 16.
  • the processing device 10 does not have to have the storage unit 15.
  • an external device configured to be able to communicate with the processing device 10 includes a storage unit 15.
  • the configuration of the acquisition unit 11, the search unit 12, the storage unit 15, and the registration unit 16 is the same as that of any of the first to fifth embodiments. Further, an example of the hardware configuration of the processing device 10 and an example of the processing flow are the same as those in the first embodiment.
  • the determination means receives the user input indicating the difference after displaying the image of the searched product in the shelf image and the image registered in the product database of the searched product on the display device.
  • the processing device determines the difference based on the degree of similarity between the image of the searched product in the shelf image and the image registered in the product database of the searched product. 4.
  • the determination means determines the difference from 1 when the similarity between the image of the searched product in the shelf image and the image registered in the product database of the searched product does not satisfy a predetermined condition.
  • the processing apparatus according to any one of 3. 5.
  • the processing apparatus according to any one of 1 to 4, wherein the processing means registers an image in the shelf image of a product determined to have a difference in the product database. 6.
  • the search means is not registered in the product database based on the images of each of the plurality of products registered in the product database, but the similarity with the products registered in the product database is equal to or higher than a predetermined value. Search for similar products in the shelf image and The processing apparatus according to any one of 1 to 5, wherein the processing means notifies the similar product. 7. The processing device according to any one of 1 to 6, further comprising a registration means for notifying a product not registered in the product database among the products included in the shelf image. 8. The registration means The area in which the product not registered in the product database exists among the products included in the shelf image is specified. 7. The processing apparatus according to 7, wherein an image in the specified area is registered in the product database. 9.
  • the computer Get a shelf image, including the shelf on which the goods are displayed, Based on the images of each of the plurality of products registered in the product database, the products registered in the product database are searched for in the shelf image. The difference between the image of the searched product in the shelf image and the image registered in the product database of the searched product is determined. A processing method for notifying products that are determined to have differences. 10. Computer, Acquisition method to acquire a shelf image including the shelf on which the product is displayed, A search means for searching the products registered in the product database in the shelf image based on the images of each of the plurality of products registered in the product database. A determination means for determining the difference between the image of the searched product in the shelf image and the image registered in the product database of the searched product.
  • Processing means for notifying products that are determined to have differences A program that functions as. 11.
  • Processing equipment with. 12 The computer Get a shelf image, including the shelf on which the goods are displayed, Based on the images of each of the plurality of products registered in the product database, the products registered in the product database are searched for in the shelf image.

Abstract

本発明は、商品が陳列された棚を含む棚画像を取得する取得部（１１）と、商品データベースに登録された複数の商品各々の画像に基づき、商品データベースに登録された商品を棚画像内で検索する検索部（１２）と、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像との間の差分の有無を判定する判定部（１３）と、差分があると判定された商品を通知する処理部（１４）と、を有する処理装置（１０）を提供する。

Description

処理装置、処理方法及びプログラム
　本発明は、処理装置、処理方法及びプログラムに関する。
　特許文献１乃至３は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、複数のカメラで複数の向きから会計対象の商品を撮影する技術を開示している。
　特許文献４は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、鏡を利用して会計対象の商品の複数の外面を撮影する技術を開示している。
　特許文献５は、カメラが生成した画像と、バーコードリーダで読み取られた商品識別情報とを紐付ける技術を開示している。
特開２０１７－２２０１９８号公報 特開２０１７－６２７０３号公報 特開２０１６－１１０５３７号公報 国際公開第２０１５／１４０８５５号 特開２００４－３０４０９号公報
　会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術においては、各商品の参照画像を事前にデータベースに登録しておく必要がある。そして、リニューアルによる商品パッケージのデザイン変更や、店舗での取扱商品の追加等に応じて、データベースを更新する必要がある。従来、参照画像を更新／登録すべき商品を容易に把握する手段が存在しなかった。特許文献１乃至５はいずれも、当該課題及びその解決手段を記載も示唆もしていない。
　本発明の課題は、参照画像を更新／登録すべき商品を容易に把握する技術を実現することである。
　本発明によれば、
　商品が陳列された棚を含む棚画像を取得する取得手段と、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段と、
　差分があると判定された商品を通知する処理手段と、
を有する処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　商品が陳列された棚を含む棚画像を取得し、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定し、
　差分があると判定された商品を通知する処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　商品が陳列された棚を含む棚画像を取得する取得手段、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段、
　差分があると判定された商品を通知する処理手段、
として機能させるプログラムが提供される。
　また、本発明によれば、
　商品が陳列された棚を含む棚画像を取得する取得手段と、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　商品が陳列された棚を含む棚画像を取得し、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　商品が陳列された棚を含む棚画像を取得する取得手段、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラムが提供される。
　本発明によれば、参照画像を更新／登録すべき商品を容易に把握する技術が実現される。
　上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置のハードウエア構成の一例を示す図である。 棚画像の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が出力する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が出力する情報の一例を模式的に示す図である。 本実施形態の処理装置の機能ブロック図の一例である。
＜第１の実施形態＞
　本実施形態の処理装置は、店舗内の棚を撮影した棚画像で示される各商品の外観と、商品データベースに登録された画像で示される各商品の外観との間における差分の有無を判定し、差分があると判定した商品をユーザに通知する点を特徴とする。以下、詳細に説明する。
　図１に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
　処理装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図２は、処理装置１０のハードウエア構成を例示するブロック図である。図２に示すように、処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置１０は周辺回路４Ａを有さなくてもよい。なお、処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置１０が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　図１に戻り、取得部１１は、商品が陳列された棚を含む棚画像を取得する。図３に棚画像の一例を模式的に示す。図示する棚画像では、複数の商品２０が棚に陳列されている様子が示されている。
　例えば、複数の棚の複数のエリア各々を撮影する位置及び向きで、複数のカメラが店舗内に設置されてもよい。そして、カメラは、所定のタイミングで棚を撮影し、撮影した棚画像を処理装置１０に送信してもよい。カメラが撮影する所定のタイミングは、予め定められたタイミングであってもよい。予め定められたタイミングは、例えば、「毎日１回所定の時刻」や、「毎日複数回所定の時刻」等が考えられる。所定の時刻は、新たな商品が店舗に入荷され、棚への陳列が終了する予定時刻の直後であってもよい。また、カメラが撮影する所定のタイミングは、オペレータ（店員等）が撮影指示を入力したタイミングであってもよい。この場合、オペレータは、任意の装置（処理装置１０、スマートフォン、パーソナルコンピュータ、タブレット端末等）に撮影指示を入力してもよい。そして、当該任意の装置は、入力された撮影指示をカメラに送信してもよい。
　その他、オペレータがカメラやカメラ機能を備える携帯端末（例：タブレット端末、スマートフォン、携帯電話等）を持って店内を移動しながら、複数の棚の複数のエリア各々を手動で撮影してもよい。その他、カメラ機能及び移動手段を備えるロボットが、店内を移動しながら、複数の棚の複数のエリア各々を撮影してもよい。そして、撮影された棚画像が、任意の手段で処理装置１０に入力されてもよい。なお、カメラ、カメラ機能を備える携帯端末又はロボットは通信ネットワークを介して処理装置１０と通信する通信機能を備えてもよい。そして、カメラ、カメラ機能を備える携帯端末又はロボットは、通信ネットワークを介して、棚画像を処理装置１０に送信してもよい。処理装置１０は、サーバ（例；クラウドサーバ）として機能することができる。
　なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
　図１に戻り、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づき、商品データベースに登録された商品を棚画像内で検索する。検索部１２は、商品データベースに登録された複数の商品各々の画像に基づくパターンマッチングで、商品データベースに登録された商品を棚画像内で検索することができる。例えば、検索部１２は、商品データベースに登録された各商品の画像との類似度が所定値Ｍ１以上である棚画像内の領域を検索することで、各商品が存在する棚画像内の領域を特定することができる。類似度は、例えば０～１００％の値で示されてもよいし（１００％に近づくほど類似している）、０～１の値で示されてもよいし（１に近づくほど類似している）、その他の手法で表されてもよい。Ｍ１の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値としてもよい。Ｍ１を適切な値に調整することで、商品データベースに登録された商品の画像と一致する領域のみならず、よく類似する領域をも棚画像内で検索できる。このため、リニューアル等で商品パッケージのデザインがわずかに変更された商品が棚画像内に含まれており、かつ、商品データベースに商品パッケージのデザイン変更前の商品画像が登録されている場合に、デザイン変更前の商品画像に基づく検索により、デザイン変更後の商品が存在する領域を検索することが可能となる。
　図４に商品データベースに登録された情報の一例を模式的に示す。図示する商品データベースでは、複数の商品を互いに識別する商品識別情報と、商品名と、単価と、各商品の外観画像の識別情報（画像ファイル名等）とが互いに対応付けられている。なお、商品データベースは、その他の情報を含んでもよい。記憶部１５がこれらの情報を記憶する。この商品データベースは、例えば、ＰＯＳ（point of sales）による会計処理で利用される。
　図１に戻り、判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像との間の差分の有無（商品の外観の差分の有無）を判定する。
　具体的には、判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像とを表示装置に表示させる。そして、判定部１３は、２つの画像の間の差分の有無を示すユーザ入力を受付ける。例えば、判定部１３は、図５に示すように、当該２つの画像を並べるとともに、差分の有無を示すユーザ入力を受付けるためのＵＩ部品を表示した画面を表示装置に表示させる。棚画像内の検索された商品の画像は、棚画像の中から検索された商品が存在する領域のみを切り出した画像であってもよい。表示装置は、処理装置１０のディスプレイであってもよいし、処理装置１０と通信可能に構成された外部装置（オペレータが操作する携帯端末（例：タブレット端末、スマートフォン、携帯電話等）、パーソナルコンピュータ、店舗のバックヤードにある店舗端末等）であってもよい。なお、表示装置が当該外部装置である場合、外部装置は、上述した図５に示す画面を表示するとともに、差分の有無を示すユーザ入力を受付ける。そして、外部装置は、受付けたユーザ入力の内容を処理装置１０に送信する。すなわち、判定部１３は、外部装置を介して、差分の有無を示すユーザ入力を受付ける。
　なお、図５に示す画面において、判定部１３は、２つの画像の類似度を表示してもよい。また、判定部１３は、図５に示す画面において、パターンマッチングにより互いに対応すると判定された箇所（一致する箇所）同志を繋ぐ対応線を表示してもよい。また、判定部１３は、図５に示す画面において、上記対応線の数を表示してもよい。
　このように、判定部１３は、陳列されている各商品を撮影して生成された画像と、商品データベースに登録されている各商品の画像とを容易に比較できる画面を生成し、オペレータに提供することができる。そして、オペレータから、２つの画像の間の差分の有無を示すユーザ入力を受付けることができる。
　図１に戻り、処理部１４は、差分があると判定された商品をオペレータに通知する。例えば、処理部１４は、差分があると判定された商品を登録する。そして、処理部１４は、任意のタイミングで、登録内容をオペレータに通知する。
　例えば、商品データベースの項目の中には、差分があると判定された商品を識別するための差分有フラグが含まれてもよい。そして、処理部１４は、差分があると判定された商品の差分有フラグを立ててもよい。オペレータは、任意のタイミングで、処理装置１０に対して、差分があると判定された商品を確認する入力を行う。処理部１４は、オペレータの操作に応じて商品データベースを確認し、差分有フラグが立っている商品、すなわち差分があると判定された商品をオペレータに通知する。
　その他、処理部１４は、差分があると判定された商品を識別する情報（商品名等）を、オペレータが操作する携帯端末（例：タブレット端末、スマートフォン、携帯電話等）や、店舗のバックヤードにある店舗端末等に送信し、表示させてもよい。
　次に、図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、取得部１１は、商品が陳列された棚を含む棚画像を取得する（Ｓ１０）。例えば、取得部１１は、図３に示すような棚画像を取得する。
　次いで、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づき、商品データベースに登録された商品を棚画像内で検索する（Ｓ１１）。例えば、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づくパターンマッチングで、商品データベースに登録された各商品の画像との類似度が所定値Ｍ１以上である棚画像内の領域を検索することで、各商品が存在する棚画像内の領域を特定する。Ｍ１を適切な値に調整することで、商品データベースに登録された各商品の画像と一致する領域のみならず、よく類似する領域をも棚画像内で検索できる。このため、リニューアル等で商品パッケージのデザインがわずかに変更された商品が棚画像内に含まれており、かつ、商品データベースに商品パッケージのデザイン変更前の商品画像が登録されている場合に、デザイン変更前の商品画像に基づく検索により、デザイン変更後の商品が存在する領域を検索することが可能となる。
　次いで、判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像との間の差分の有無を判定する（Ｓ１２）。
　ここで、Ｓ１２の処理の流れの一例を、図７のフローチャートを用いて説明する。まず、判定部１３は、図５に示すように、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像とを表示装置に表示させる（Ｓ２０）。そして、判定部１３は、２つの画像の間の差分の有無を示すユーザ入力を受付ける（Ｓ２１）。Ｓ１０で取得した棚画像内で複数の商品が検索された場合、判定部１３は、検索された商品毎に、Ｓ２０及びＳ２１の処理を行うことができる。
　図６に戻り、Ｓ１２の後、処理部１４は、差分があると判定された商品をオペレータに通知するための処理を行う（Ｓ１３）。例えば、処理部１４は、差分があると判定された商品を登録する。そして、処理部１４は、その後の任意のタイミングで、登録内容をオペレータに通知する。
　ここで、本実施形態の変形例を説明する。処理部１４は、差分があると判定された商品の棚画像内の画像を商品データベースに登録してもよい。このようにすれば、上記通知に応じてオペレータがその商品を所定の撮影条件で撮影し、商品データベースにおけるその商品の画像を更新するまでの間、棚画像に基づき商品データベースの画像を暫定的に更新することができる。結果、会計対象の商品を認識・登録する処理における認識処理の精度を向上させることができる。
　以上説明した本実施形態の処理装置１０は、商品が陳列された棚を含む棚画像内から各商品を検索し、検索した商品の棚画像内の画像と商品データベースに登録されている画像との間に差分が有るか否か（商品パッケージのデザイン変更の有無）を判定することができる。実際に棚に陳列されている商品の画像と、商品データベースに登録されている画像との比較に基づき上記判定を行うことができるので、高精度、かつ、比較的容易に、商品パッケージのデザイン変更の有無を判定することができる。
　また、処理装置１０は、図５に示すように、検索した商品の棚画像内の画像と商品データベースに登録されている画像とを並べて表示するとともに、その２つの画像の間に差分が有るか否かの入力をオペレータから受付けることができる。この場合、オペレータが行うべき作業は、表示された２つの画像を見比べ、差分が有るか否かの入力を行うだけとなる。このように、本実施形態の処理装置１０によれば、オペレータによる比較的簡単な作業により、商品パッケージのデザイン変更の有無を判定することができる。
　また、処理装置１０は、図５に示すように検索した商品の棚画像内の画像と商品データベースに登録されている画像とを並べて表示するとともに、表示させた２つの画像の類似度を表示したり、パターンマッチングにより互いに対応すると判定された箇所（一致する箇所）同志を繋ぐ対応線を表示したり、上記対応線の数を表示したりできる。このようは補助的な情報により、オペレータは、２つの画像の間に差分が有るか否かを、高精度、かつ、比較的容易に判断することができる。
＜第２の実施形態＞
　本実施形態の処理装置１０は、判定部１３の構成が第１の実施形態と異なる。以下、当該点を説明する。
　処理装置１０の機能ブロック図の一例は、図１で示される。処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
　判定部１３は、検索部１２により検索された商品の中の、棚画像内の画像と商品データベースに登録された画像との間の外観の類似度が所定条件を満たす商品に対しては、上記差分の有無を判定する処理を行わない。そして、判定部１３は、検索された商品の中の当該所定条件を満たさない商品に対してのみ、上記差分の有無を判定する処理を行う。
　所定条件は、「棚画像内の画像と商品データベースに登録された画像との間の外観の類似度が所定値Ｍ２以上（なお、Ｍ２＞Ｍ１）」である。Ｍ１及びＭ２の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値とし、Ｍ２は例えば９８％以上の任意の値としてもよい。
　当該類似度が非常に高い場合、棚画像内の画像と商品データベースに登録された画像との間には差分がないと推定できる。このような商品に対しては判定部１３による上記判定処理を省略することで、コンピュータやオペレータの負担を軽減できる。
　判定部１３のその他の構成は、第１の実施形態と同様である。また、取得部１１、検索部１２、処理部１４及び記憶部１５の構成は、第１の実施形態と同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
　以上、本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、判定部１３による判定処理を必要な商品に対してのみ行うことができるので、コンピュータやオペレータの負担を軽減できる。
＜第３の実施形態＞
　本実施形態の処理装置１０は、判定部１３の構成が第１及び第２の実施形態と異なる。以下、当該点を説明する。
　処理装置１０の機能ブロック図の一例は、図１で示される。処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
　判定部１３は、棚画像内の検索された商品の画像と、検索された商品の商品データベースに登録された画像との類似度に基づき、２つの画像の間の差分の有無を判定する。例えば、判定部１３は、当該類似度が、Ｍ１より大かつＭ３より小の場合（なお、Ｍ２＞Ｍ３＞Ｍ１）、２つの画像の間に差分があると判定してもよい。Ｍ１及びＭ３の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値とし、Ｍ３は例えば８０～９３％未満の任意の値としてもよい。
　取得部１１、検索部１２、処理部１４及び記憶部１５の構成は、第１の実施形態と同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
　以上、本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、判定部１３による判定処理を自動化できるので、オペレータの負担を軽減できる。
＜第４の実施形態＞
　本実施形態の処理装置１０は、検索部１２及び処理部１４の構成が第１乃至第３の実施形態と異なる。以下、当該点を説明する。
　処理装置１０の機能ブロック図の一例は、図１で示される。処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
　検索部１２は、商品データベースに登録された複数の商品各々の画像に基づき、商品データベースに登録されていないが、商品データベースに登録されている商品との類似度が所定値以上である類似商品を棚画像内で検索する。例えば、検索部１２は、商品データベースに登録された複数の商品各々の画像に基づくパターンマッチングで、商品データベースに登録された各商品の画像との類似度が所定値Ｍ４以上かつＭ１未満（なお、Ｍ１＞Ｍ４）である棚画像内の領域を検索することで、類似商品が存在する棚画像内の領域を特定する。Ｍ１及びＭ４の詳細は設計的事項であるが、例えば類似度が０～１００％で示される場合、Ｍ１は例えば８０～９０％の間の任意の値とし、Ｍ３４例えば６０～８０％の間の任意の値としてもよい。
　処理部１４は、類似商品をオペレータに通知する。すなわち、処理部１４は、商品データベースに登録されていないが、商品データベースに登録されている商品と類似する類似商品の存在をオペレータに通知する。処理部１４は、当該通知において、類似商品の棚画像内の画像を出力してもよい。また、処理部１４は、商品データベースに登録されている商品の中の類似商品と類似していると判断された商品を識別する情報を、オペレータに通知してもよい。なお、処理部１４は、類似商品を登録し、任意のタイミングで、登録内容に基づき上記通知を行ってもよい。
　処理部１４は、ディスプレイ、スピーカ、メーラ、プリンター等の任意の出力装置を介して、当該通知を実現する。
　検索部１２及び処理部１４のその他の構成は、第１の実施形態と同様である。また、取得部１１、判定部１３及び記憶部１５の構成は、第１乃至第３の実施形態のいずれかと同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
　以上、本実施形態の処理装置１０によれば、第１乃至第３の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、棚画像の中から、商品データベースに登録されていないが、商品データベースに登録されている商品と類似する類似商品を検索し、オペレータに通知することができる。
　商品データベースに登録されていない商品は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する処理において、認識されないはずである。しかし、会計対象となった商品が、商品データベースに登録されている商品と類似する類似商品である場合、誤って他の商品として認識される恐れがある。本実施形態の処理装置１０によれば、このように誤認識される恐れがあり、商品データベースへの登録を迅速に行う必要がある商品（類似商品）を検索し、オペレータに通知することができる。
＜第５の実施形態＞
　本実施形態の処理装置は、商品が陳列された棚を含む棚画像に基づき、商品データベースに登録されていない商品の有無をオペレータが認識できるようにするための機能を備える。以下、詳細に説明する。
　図８に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、判定部１３と、処理部１４と、記憶部１５と、登録部１６を有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
　登録部１６は、棚画像に含まれる商品の中の商品データベースに登録されていない商品をオペレータに通知する。例えば、登録部１６は、図９に示すように、棚画像と、棚画像に重畳した枠Ｗとを示す画面を表示装置に表示させることで、当該通知を行う。枠Ｗは、検索部１２により検索された「商品データベースに登録されている商品」の表示領域に対応して表示される。例えば、当該表示領域を囲う枠Ｗが表示されてもよい。このような画面によれば、棚画像に含まれる商品の中の対応する枠Ｗが表示されていない商品２１を、商品データベースに登録されていない商品として、オペレータに通知することができる。
　なお、登録部１６は、棚画像に含まれる商品の中の商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を、新たな商品の画像として商品データベースに登録してもよい。例えば、登録部１６は、棚画像上でオペレータが指定した領域を、商品データベースに登録されていない商品が存在する領域として特定することができる。なお、登録部１６は、新たな商品の画像を、ユーザにより入力された商品識別情報に紐付けて登録することができる。
　取得部１１、検索部１２、判定部１３、処理部１４及び記憶部１５の構成は、第１乃至第４の実施形態のいずれかと同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
　以上、本実施形態の処理装置１０によれば、第１乃至第４の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、棚画像に含まれる商品の中の商品データベースに登録されていない商品をオペレータに通知することができる。このため、オペレータは、棚に陳列されているが、商品データベースに登録されていない商品を容易に把握することができる。
＜第６の実施形態＞
　図１０に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、記憶部１５と、登録部１６とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を備える。
　取得部１１、検索部１２、記憶部１５及び登録部１６の構成は、第１乃至第５の実施形態のいずれかと同様である。さらに、処理装置１０のハードウエア構成の一例、及び、処理の流れの一例は、第１の実施形態と同様である。
　以上、本実施形態の処理装置１０によれば、第１乃至第５の実施形態の処理装置１０と同様の作用効果が実現される。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．　商品が陳列された棚を含む棚画像を取得する取得手段と、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段と、
　差分があると判定された商品を通知する処理手段と、
を有する処理装置。
２．　前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像とを表示装置に表示させた後、前記差分を示すユーザ入力を受付ける１に記載の処理装置。
３．　前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度に基づき、前記差分を判定する１に記載の処理装置。
４．　前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度が所定条件を満たさない場合、前記差分を判定する１から３のいずれかに記載の処理装置。
５．　前記処理手段は、差分があると判定された商品の前記棚画像内の画像を、前記商品データベースに登録する１から４のいずれかに記載の処理装置。
６．　前記検索手段は、前記商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録されていないが、前記商品データベースに登録されている商品との類似度が所定値以上である類似商品を前記棚画像内で検索し、
　前記処理手段は、前記類似商品を通知する１から５のいずれかに記載の処理装置。
７．　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品を通知する登録手段をさらに有する１から６のいずれかに記載の処理装置。
８．　前記登録手段は、
　　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、
　　特定した領域内の画像を前記商品データベースに登録する７に記載の処理装置。
９．　コンピュータが、
　商品が陳列された棚を含む棚画像を取得し、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定し、
　差分があると判定された商品を通知する処理方法。
１０．　コンピュータを、
　商品が陳列された棚を含む棚画像を取得する取得手段、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段、
　差分があると判定された商品を通知する処理手段、
として機能させるプログラム。
１１．　商品が陳列された棚を含む棚画像を取得する取得手段と、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置。
１２．　コンピュータが、
　商品が陳列された棚を含む棚画像を取得し、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法。
１３．　コンピュータを、
　商品が陳列された棚を含む棚画像を取得する取得手段、
　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラム。

Claims (13)

  1. 　商品が陳列された棚を含む棚画像を取得する取得手段と、
    　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
    　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段と、
    　差分があると判定された商品を通知する処理手段と、
    を有する処理装置。
  2. 　前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像とを表示装置に表示させた後、前記差分を示すユーザ入力を受付ける請求項１に記載の処理装置。
  3. 　前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度に基づき、前記差分を判定する請求項１に記載の処理装置。
  4. 　前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度が所定条件を満たさない場合、前記差分を判定する請求項１から３のいずれか１項に記載の処理装置。
  5. 　前記処理手段は、差分があると判定された商品の前記棚画像内の画像を、前記商品データベースに登録する請求項１から４のいずれか１項に記載の処理装置。
  6. 　前記検索手段は、前記商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録されていないが、前記商品データベースに登録されている商品との類似度が所定値以上である類似商品を前記棚画像内で検索し、
    　前記処理手段は、前記類似商品を通知する請求項１から５のいずれか１項に記載の処理装置。
  7. 　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品を通知する登録手段をさらに有する請求項１から６のいずれか１項に記載の処理装置。
  8. 　前記登録手段は、
    　　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、
    　　特定した領域内の画像を前記商品データベースに登録する請求項７に記載の処理装置。
  9. 　コンピュータが、
    　商品が陳列された棚を含む棚画像を取得し、
    　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
    　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定し、
    　差分があると判定された商品を通知する処理方法。
  10. 　コンピュータを、
    　商品が陳列された棚を含む棚画像を取得する取得手段、
    　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
    　前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段、
    　差分があると判定された商品を通知する処理手段、
    として機能させるプログラム。
  11. 　商品が陳列された棚を含む棚画像を取得する取得手段と、
    　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
    　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
    を有する処理装置。
  12. 　コンピュータが、
    　商品が陳列された棚を含む棚画像を取得し、
    　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
    　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法。
  13. 　コンピュータを、
    　商品が陳列された棚を含む棚画像を取得する取得手段、
    　商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
    　前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
    として機能させるプログラム。
PCT/JP2019/032810 2019-08-22 2019-08-22 処理装置、処理方法及びプログラム WO2021033310A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/635,484 US20220292565A1 (en) 2019-08-22 2019-08-22 Processing device, and processing method
JP2021540605A JP7405144B2 (ja) 2019-08-22 2019-08-22 処理装置、処理方法及びプログラム
PCT/JP2019/032810 WO2021033310A1 (ja) 2019-08-22 2019-08-22 処理装置、処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032810 WO2021033310A1 (ja) 2019-08-22 2019-08-22 処理装置、処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021033310A1 true WO2021033310A1 (ja) 2021-02-25

Family

ID=74660458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032810 WO2021033310A1 (ja) 2019-08-22 2019-08-22 処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20220292565A1 (ja)
JP (1) JP7405144B2 (ja)
WO (1) WO2021033310A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7328642B1 (ja) 2022-03-10 2023-08-17 株式会社マーケットヴィジョン 情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182653A (ja) * 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2017215784A (ja) * 2016-05-31 2017-12-07 日本電信電話株式会社 物体検出装置、方法、及びプログラム
WO2019065212A1 (ja) * 2017-09-29 2019-04-04 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
WO2019107157A1 (ja) * 2017-11-29 2019-06-06 株式会社Ｎｔｔドコモ 棚割情報生成装置及び棚割情報生成プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041707B2 (en) * 2011-06-01 2015-05-26 Rbm Technologies Confirming compliance with a configuration
WO2014117268A1 (en) * 2013-01-29 2014-08-07 360Pi Corporation Pricing intelligence for non-exact matching products
JP6555866B2 (ja) 2014-09-22 2019-08-07 カシオ計算機株式会社 商品登録装置及びプログラム
JP6295944B2 (ja) 2014-12-18 2018-03-20 カシオ計算機株式会社 商品識別装置および商品認識ナビゲーション方法
JP6481460B2 (ja) 2015-03-27 2019-03-13 日本電気株式会社 物品管理装置、物品管理システム、物品管理方法及びプログラム
WO2017083424A1 (en) 2015-11-09 2017-05-18 Simbe Robotics, Inc. Method for tracking stock level within a store
US9858481B2 (en) * 2015-11-23 2018-01-02 Lexmark International, Inc. Identifying consumer products in images
US10002307B2 (en) * 2015-12-18 2018-06-19 Ricoh Co., Ltd. Suggestion generation based on data extraction
US10467587B2 (en) * 2016-05-19 2019-11-05 Simbe Robotics, Inc. Method for tracking placement of products on shelves in a store
US10282607B2 (en) * 2016-10-28 2019-05-07 The Nielsen Company (Us), Llc Reducing scale estimate errors in shelf images
US10116861B1 (en) * 2017-05-01 2018-10-30 Ricoh Company, Ltd. Guided image capture user interface
US20190149725A1 (en) * 2017-09-06 2019-05-16 Trax Technologies Solutions Pte Ltd. Using augmented reality for image capturing a retail unit
US10846806B2 (en) * 2018-02-17 2020-11-24 Constru Ltd System and method for annotation of construction site images
US10643070B1 (en) * 2019-05-07 2020-05-05 Accenture Global Solutions Limited Displaying content on an electronic display based on an environment of the electronic display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182653A (ja) * 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2017215784A (ja) * 2016-05-31 2017-12-07 日本電信電話株式会社 物体検出装置、方法、及びプログラム
WO2019065212A1 (ja) * 2017-09-29 2019-04-04 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
WO2019107157A1 (ja) * 2017-11-29 2019-06-06 株式会社Ｎｔｔドコモ 棚割情報生成装置及び棚割情報生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKATSUKA, HAYATO ET AL.: "Product shelf recognition system utilizing image recognition A1", GEKKAN JIDO NINSHIKI, vol. 31, no. 1, 10 January 2018 (2018-01-10), pages 10 - 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7328642B1 (ja) 2022-03-10 2023-08-17 株式会社マーケットヴィジョン 情報処理システム
WO2023171132A1 (ja) * 2022-03-10 2023-09-14 株式会社マーケットヴィジョン 情報処理システム

Also Published As

Publication number Publication date
JPWO2021033310A1 (ja) 2021-02-25
JP7405144B2 (ja) 2023-12-26
US20220292565A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
JP2021152912A (ja) 画像処理装置、画像処理方法及びプログラム
US20200034783A1 (en) Store system, electronic shelf label, processing method for store system, and non-transitory storage medium
JPWO2014020794A1 (ja) 情報処理装置及び画面設定方法
JP7235119B2 (ja) 処理装置、会計装置、処理方法及びプログラム
JP2023041760A (ja) 登録装置、登録方法及びプログラム
WO2021033310A1 (ja) 処理装置、処理方法及びプログラム
WO2019163095A1 (ja) 登録装置、登録方法及びプログラム
JP2021018470A (ja) 物品特定装置及びプログラム
JP2020129344A (ja) 処理装置、処理方法及びプログラム
JP2019211908A (ja) サーバ装置、及びプログラム
WO2019181035A1 (ja) 登録システム、登録方法及びプログラム
US11461606B2 (en) System that associates object with n-dimensional symbol
CN111768563A (zh) 物品存放方法、装置、计算机可读存储介质及电子设备
WO2018179665A1 (ja) 販売システム、サーバ、販売システムの処理方法、サーバの処理方法及びプログラム
JP6753511B2 (ja) 操作支援装置、操作支援方法、及びプログラム
WO2019215966A1 (ja) 登録システム、登録方法及びプログラム
WO2019181033A1 (ja) 登録システム、登録方法及びプログラム
JP7205603B2 (ja) 登録装置、登録方法及びプログラム
JP2023017034A (ja) 登録装置、登録方法及びプログラム
WO2019163096A1 (ja) 登録装置、登録方法及びプログラム
JP7020538B2 (ja) 会計装置、会計システム、商品識別方法、およびプログラム
JP7061928B2 (ja) サーバ装置、及びプログラム
WO2021245835A1 (ja) 処理装置、処理方法及びプログラム
JP2022062275A (ja) サーバ装置、資産管理システム、制御方法、及びプログラム
JP2023078237A (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942172

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021540605

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19942172

Country of ref document: EP

Kind code of ref document: A1