WO2024201715A1 - 棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体 - Google Patents

棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2024201715A1
WO2024201715A1 PCT/JP2023/012522 JP2023012522W WO2024201715A1 WO 2024201715 A1 WO2024201715 A1 WO 2024201715A1 JP 2023012522 W JP2023012522 W JP 2023012522W WO 2024201715 A1 WO2024201715 A1 WO 2024201715A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
shelf
image
allocation data
determination result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/012522
Other languages
English (en)
French (fr)
Inventor
俊介 山本
壮馬 白石
八栄子 米澤
裕司 田原
直宏 林
梓 長澤
亮介 坂井
智一 金子
貴美 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/012522 priority Critical patent/WO2024201715A1/ja
Priority to JP2025509337A priority patent/JPWO2024201715A5/ja
Publication of WO2024201715A1 publication Critical patent/WO2024201715A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • This disclosure relates to a shelf allocation data updating device, a shelf allocation data updating method, and a computer-readable medium.
  • Patent Document 1 discloses a product identification system.
  • a management terminal performs keystone correction processing on a captured image obtained by photographing a product display shelf, and converts the captured image into an upright image, which is an image of the product shelf photographed from the front.
  • the management terminal compares image information of a face in the second upright image with image information of a predetermined range of the face in the first upright image that corresponds to that face, to identify product identification information of the product located on the face in the second upright image.
  • the management terminal identifies the area in which the product is placed, i.e., the face, for each shelf level in the upright image information.
  • the management terminal matches the image information of the face with the product specimen image information for each face to identify the product identification information of the product displayed on that face.
  • the management terminal determines the similarity between the image information of the face in the Nth upright image and the image information of the face in the (N-1)th upright image information corresponding to that face. For faces with low similarity, the management terminal identifies product identification information by performing image matching processing between the image information of the area of that face and the specimen image information.
  • shelf allocation data which digitizes the location where each product is displayed, is essential data for detecting stockouts and replenishing products. Shelf allocation is changed as needed for various reasons within the store. When the shelf allocation is changed, the shelf allocation data must be updated each time. If the shelf allocation data were to be updated manually, it would be time-consuming and there would be concerns that changes would be overlooked.
  • Patent Document 1 the identification information of the products displayed is specified for each face. However, although Patent Document 1 describes identifying products for each face, it does not describe converting the display location of each product into data. Therefore, in Patent Document 1, when the shelf layout is changed, the shelf layout data is not changed, although the changed products can be identified.
  • the present disclosure aims to provide a shelf layout data updating device, a shelf layout data updating method, and a computer-readable medium that can update shelf layout data based on images acquired in a time series.
  • the shelf allocation data updating device includes an area determination unit that performs object detection on an image acquired by photographing a shelf on which objects are lined up, and performs area determination that determines, for each object, an area in which the object is located based on the object detection result, an inconsistent area identification unit that compares a first area determination result that is a result of the area determination on a first image acquired by photographing the shelf at a first time with a second area determination result that is a result of the area determination on a second image acquired by photographing the shelf at a second time that is later than the first time, and identifies an inconsistent area that is an area where the objects detected in the first image and the second image do not match, and a shelf allocation data updating unit that updates the shelf allocation data of the shelf based on the second area determination result and the inconsistent area.
  • the present disclosure provides, as a second aspect, a method for updating shelf allocation data.
  • the shelf allocation data updating method includes performing object detection on a first image acquired by photographing a shelf on which objects are lined up at a first time, determining an area in which each object is located based on the object detection result to obtain a first area determination result, performing object detection on a second image acquired by photographing the shelf at a second time that is later than the first time, determining an area in which each object is located based on the object detection result to obtain a second area determination result, comparing the first area determination result with the second area determination result, identifying a mismatch area in which objects detected in the first image and the second image do not match, and updating shelf allocation data for the shelf based on the second area determination result and the mismatch area.
  • the present disclosure provides a computer-readable medium as a third aspect.
  • the computer-readable medium stores a program for causing a computer to execute a process including: performing object detection on a first image acquired by photographing a shelf on which objects are lined up at a first time, determining an area in which each object is located based on the object detection result to obtain a first area determination result; performing object detection on a second image acquired by photographing the shelf at a second time that is later than the first time, determining an area in which each object is located based on the object detection result to obtain a second area determination result; comparing the first area determination result with the second area determination result, identifying a mismatch area in which objects detected in the first image and the second image do not match, and updating the shelf allocation data of the shelf based on the second area determination result and the mismatch area.
  • shelf layout data updating device can update shelf layout data based on images acquired in time series.
  • FIG. 1 is a block diagram showing a schematic configuration example of a shelf planogram data updating device according to the present disclosure.
  • FIG. 1 is a block diagram showing a shelf planogram data updating device according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic diagram showing an example of a result of region determination performed on a first image.
  • FIG. 11 is a schematic diagram showing an example of a result of region determination performed on a second image.
  • FIG. 11 is a schematic diagram showing a specific example of the degree of matching of regions.
  • FIG. 2 is a schematic diagram showing a specific example of the results of identifying mismatched regions.
  • FIG. 13 is a schematic diagram showing a specific example of shelf planogram data before updating.
  • FIG. 13 is a schematic diagram showing a specific example of updated shelf layout data.
  • 4 is a flowchart showing an operation procedure of the shelf allocation data updating device.
  • FIG. 1 is a block diagram showing an example of the configuration of a computer device.
  • FIG. 1 shows a schematic configuration example of a shelf allocation data update device according to the present disclosure.
  • the shelf allocation data update device 10 has an area determination unit 11, an inconsistent area identification unit 12, and a shelf allocation data update unit 13.
  • the area determination unit 11 performs object detection on an image obtained by photographing a shelf on which objects are lined up. Based on the result of object detection, the area determination unit 11 determines the area in which the object is located for each object. The area determination unit 11 performs area determination on a first image obtained by photographing the shelf at a first time, and outputs a first area determination result. The area determination unit 11 also performs area determination on a second image obtained by photographing the shelf at a second time, and outputs a second area determination result. The second time is a time later than the first time.
  • the mismatched area identifying unit 12 compares the first area determination result with the second area determination result and identifies a mismatched area, which is an area where the objects detected in the first image and the second image do not match.
  • the shelf allocation data updating unit 13 updates the shelf allocation data based on the second area determination result and the mismatched area identified by the mismatched area identifying unit 12.
  • the mismatched area identifying unit 12 compares the results of the area determination at two times and identifies mismatched areas where the objects detected in the first image and the second image do not match. Areas where the objects detected in the first image and the second image acquired in chronological order do not match are areas where the shelf allocation may have been changed.
  • the shelf allocation data updating unit 13 updates the shelf allocation data for such areas. In this way, the shelf allocation data updating device 10 according to the present disclosure can update the shelf allocation data based on the images acquired in chronological order.
  • FIG. 2 shows a shelf allocation data updating device according to one embodiment of the present disclosure.
  • the shelf allocation data updating device 100 has an area determination unit 101, an area coincidence calculation unit 102, an inconsistent area identification unit 103, a shelf allocation data updating unit 104, an area determination result storage unit 105, and a shelf allocation data storage unit 106.
  • the shelf allocation data updating device 100 may be configured as a device having one or more processors and one or more memories. For example, at least a portion of each functional block in the shelf allocation data updating device 100 may be realized by the processor executing processing in accordance with instructions read from the memory.
  • the shelf allocation data updating device 100 acquires images taken by the camera 200 from the camera 200.
  • the camera 200 is a camera that captures images of shelves on which objects such as products are displayed.
  • the camera 200 is installed in a location such as the ceiling of a sales floor of a store, and captures images of shelves on which products are displayed in the sales floor, i.e., product shelves.
  • the shelf allocation data updating device 100 acquires images of product shelves captured by the camera 200, for example, periodically.
  • the images acquired by the shelf allocation data updating device 100 include a first image captured at a first time and a second image captured at a second time that is later than the first time.
  • the area determination unit 101 performs object detection on the image acquired from the camera 200. For example, the area determination unit 101 performs object detection on an image of a shelf on which products are displayed, and detects the products displayed on the shelf. Based on the result of the object detection, the area determination unit 101 determines the area in which each detected object is located. For example, the area determination unit 101 determines the area in which the product is located on the shelf by merging areas or frames in which the same product is consecutive on the shelf. The area determination unit 101 performs area determination on each of the first image and the second image. The area determination unit 101 stores the results of the area determination in the area determination result storage unit 105.
  • FIG. 3 shows an example of the result of area determination performed on the first image.
  • the products displayed on the shelf are bottled drinks.
  • Six types of products, products A-F are displayed on the shelf.
  • the area determination unit 101 performs object detection on the first image, for example, and individually detects the areas in which products A-F are arranged.
  • the area determination unit 101 merges individual product areas in which the same products are lined up consecutively, and determines areas 210A-210F in which each product is arranged.
  • the area determination unit 101 stores, for example, the coordinates of areas 210A-210F in which products A-F are arranged, such as a pair of the top left coordinate and bottom right coordinate of an area represented by a rectangle, in the area determination result storage unit 105 as the first area determination result.
  • the area determination unit 101 stores, for example, the coordinates of the areas 220A-220G in which products A-G are arranged, such as a pair of the top left coordinate and the bottom right coordinate of an area represented by a rectangle, in the area determination result storage unit 105 as the second area determination result.
  • the area coincidence calculation unit 102 compares the first area determination result with the second area determination result, and calculates the degree of coincidence of the areas for each object, i.e., product. For example, the area coincidence calculation unit 102 calculates the degree of coincidence as the ratio of the area of the overlapping portion of the areas, i.e., the common portion, to the area of the union of the area of the product in the first area determination result and the area of the product in the second area determination result. For example, the area coincidence calculation unit 102 calculates IoU (Intersection over Union), which is an index indicating the degree to which two areas overlap, for each product area in the first area determination result and each product area in the second area determination result.
  • IoU Intersection over Union
  • the area matching calculation unit 102 calculates the area matching for each of products detected from both the first image and the second image, products detected only from the first image, and products detected only from the second image.
  • a predetermined threshold it can be determined that there may have been a change in the shelf layout, i.e., an increase or decrease in the number of faces.
  • the matching is equal to or greater than the threshold, it is considered that the shelf layout has not been changed. For this reason, there is no need to update the shelf layout data for products with a high degree of matching.
  • FIG. 5 shows a specific example of the degree of agreement between the areas of each product in the first area determination result and the areas of each product in the second area determination result.
  • the area agreement calculation unit 102 calculates the degree of agreement between areas 210A-F in the first area determination result and areas 220A-G in the second area determination result for each of products A-G.
  • the area agreement calculation unit 102 calculates the ratio of the area of the common part to the area of the union of area 210A in the first area determination result and area 220A in the second area determination result as the degree of agreement.
  • the area agreement calculation unit 102 calculates the ratio of the area of the common part to the area of the union of the two areas as the degree of agreement.
  • the area agreement calculation unit 102 calculates that for product A, the agreement between area 210A and area 220A is 64%.
  • the area agreement calculation unit 102 calculates that the agreement between area 210B-F and area 220B-F is 48%, 61%, 64%, 26%, and 97%, respectively.
  • the area agreement calculation unit 102 calculates the agreement as 0%.
  • the agreement between the area of product F is 97%, which is equal to or greater than a predetermined threshold value. In this case, it can be determined that the shelf allocation of product F has not been changed in the period between the time the first image was acquired and the time the second image was acquired.
  • the mismatch area identifying unit 103 compares the first area determination result with the second area determination result, and identifies mismatch areas, which are areas where the objects detected in the first image and the second image do not match.
  • the mismatch area identifying unit 103 identifies mismatch areas, for example, for products where the degree of match between the first area determination result and the second area determination result is less than a predetermined threshold. For products where the degree of match between the first area determination result and the second area determination result is high, it is considered that no increase or decrease in the face has occurred. For this reason, the mismatch area identifying unit 103 does not need to identify mismatch areas for products where the degree of match is high.
  • FIG. 6 shows a specific example of the results of identifying mismatched areas.
  • the mismatched area identifying unit 103 compares areas 210A-210F of products A-F in the first area determination result (see FIG. 3) with areas 220A-G of products A-G in the second area determination result (see FIG. 4) to identify mismatched areas.
  • the mismatched area identifying unit 103 identifies areas of each product that are common to both area determination results as matching areas 251-256.
  • the mismatched area identifying unit 103 identifies areas of each product that are not common to both area determination results as mismatched areas 261-264.
  • the identification of mismatched areas by the mismatched area identifying unit 103 and the calculation of the area matching degree by the area matching degree calculation unit 102 may be performed simultaneously.
  • the shelf allocation data storage unit 106 stores the shelf allocation data of the shelf photographed by the camera 200.
  • the shelf allocation data includes, for example, a list of products to be placed on the shelf and information indicating the area of the shelf in which each product is placed.
  • the shelf allocation data storage unit 106 stores the shelf allocation data that was updated at the time when the first image is acquired.
  • the initial value of the shelf allocation data may be generated automatically from the area determination result of the area determination unit 101 at the start of operation, for example.
  • the camera 200 acquires an image of a shelf that is filled with products without any gaps at the start of operation.
  • the area determination unit 101 performs object detection on the image acquired from the camera 200, and for each detected object, determines the area in which the object is located.
  • the result of the area determination at the start of operation may be used as the initial value of the shelf allocation data.
  • the initial value of the shelf allocation data may be given manually.
  • the allocation data update unit 104 updates the allocation data stored in the allocation data storage unit 106 based on the second area determination result determined from the second image and the mismatched area identified by the mismatched area identification unit 103.
  • the allocation data update unit 104 updates the allocation data, for example, depending on whether a product is detected in the mismatched area in the second image. For example, the allocation data update unit 104 determines whether a product is detected in the second image for each mismatched area identified by the mismatched area identification unit 103. Specifically, the allocation data update unit 104 determines whether an object is detected in the second image for each of the mismatched areas 261-264 shown in FIG. 6.
  • the allocation data update unit 104 determines which product the mismatched area is, depending on whether a product is detected in the mismatched area.
  • the allocation data update unit 104 determines that a change in the allocation or an increase or decrease in the number of faces has occurred, and updates the allocation data. If a product is detected in a mismatched area in the second image, the allocation data update unit 104 assigns the product detected in the mismatched area in the second image to the mismatched area in the updated allocation data. If no object is detected in the mismatched area in the second image, the allocation data update unit 104 determines that the mismatched area has occurred due to a shortage of a product. In that case, the allocation data update unit 104 does not change the product assigned to the mismatched area from the product assigned to the mismatched area in the allocation data at the time the first image was acquired. The allocation data update unit 104 stores the updated allocation data in the allocation data storage unit 106.
  • FIG. 7 shows a specific example of the planogram data before updating.
  • FIG. 8 shows a specific example of the planogram data after updating.
  • A" to “G” indicate which product, A to G, the rectangular area is assigned to.
  • A" to “G” indicate which product, A to G, each area corresponds to.
  • the planogram data before updating shown in FIG. 7 is planogram data updated or generated at the time the first image was acquired.
  • the planogram data update unit 104 updates the product assigned to the inconsistent area identified by the inconsistent area identification unit 103 depending on whether or not a product is detected in the inconsistent area in the second image.
  • the mismatched area 261 shown in FIG. 6 is assigned to product A.
  • the planogram data update unit 104 determines whether a product has been detected in the second image for the mismatched area 261. As shown in FIG. 4, product G has been detected in the mismatched area 261 in the second image. In other words, the mismatched area 261 overlaps with the area 220G of product G in the second area determination result. In this case, the planogram data update unit 104 changes the product assigned to the mismatched area 261 in the planogram data from product A before the update to product G. Because the product assigned to the mismatched area 261 has changed, the planogram data update unit 104 reduces the area of product A by one product in the updated planogram data, as shown in FIG. 8.
  • the mismatched area 263 shown in FIG. 6 is assigned to product C.
  • the planogram data update unit 104 determines whether or not a product has been detected in the second image for the mismatched area 263. As shown in FIG. 4, product D has been detected in the mismatched area 263 in the second image. In other words, the mismatched area 263 overlaps with the area 220D of product D in the second area determination result.
  • the planogram data update unit 104 changes the product assigned to the mismatched area 261 in the planogram data from product C before the update to product D.
  • the area of product D is expanded by one product, and the area of product C is reduced by one product.
  • the mismatched areas 262 and 264 shown in FIG. 6 are assigned to product B and product E, respectively.
  • the planogram data update unit 104 determines whether or not a product is detected in the second image for each of the mismatched areas 262 and 264. As shown in FIG. 4, no product is detected in the mismatched areas 262 and 264 in the second image. In this case, the planogram data update unit 104 does not change the products assigned to the mismatched areas 262 and 264, respectively, in the planogram data from product B and product D before the update.
  • the degree of area coincidence calculated by the area coincidence calculation unit 102 is equal to or greater than the threshold value, so there is no change in the area of product F in the planogram data.
  • the planogram data update unit 104 stores the updated planogram data shown in FIG. 8 in the planogram data storage unit 106.
  • FIG. 9 shows the operation procedure of the shelf allocation data updating device 100.
  • the operation procedure of the shelf allocation data updating device 100 corresponds to the shelf allocation data updating method.
  • the area determination unit 101 acquires an image of a shelf on which products are displayed from the camera 200 (step S1).
  • the area determination unit 101 determines the area of each product displayed on the shelf from the acquired image (step S2).
  • the area determination unit 101 for example, performs object detection on the image of the shelf acquired from the camera 200 to detect products, and determines the area of each product by merging the areas of the detected products.
  • the area determination unit 101 stores the results of the area determination in the area determination result storage unit 105.
  • the area agreement calculation unit 102 compares the result of the area determination in step S2 with the result of the area determination performed in the past planogram data update stored in the area determination result storage unit 105, and calculates the agreement of the area for each product present on the shelf (step S3).
  • the result of the area determination performed in the past planogram data update is referred to as the first area determination result.
  • the result of the area determination in step S1 is referred to as the second area determination result.
  • the area agreement calculation unit 102 obtains, for example, the result of the area determination performed in the previous planogram data update as the first area determination result.
  • the area agreement calculation unit 102 calculates the IoU between the area in the first area determination result and the area in the second area determination result for each product.
  • the mismatched area identifying unit 103 determines whether the degree of matching of the area is less than a predetermined threshold for each product (step S4).
  • the mismatched area identifying unit 103 identifies mismatched areas for products whose degree of matching of the area is less than the predetermined threshold (step S5).
  • the planogram data updating unit 104 determines whether the product exists in the image acquired in step S1 for each identified mismatched area (step S6).
  • the planogram data updating unit 104 updates the planogram data for the mismatched areas determined in step S6 to contain a product (step S7).
  • step S7 the planogram data updating unit 104 assigns the mismatched areas determined in step S6 to contain a product, in the planogram data, to the product detected from the image acquired in step S1.
  • the shelf allocation data update unit 104 does not update the shelf allocation data for products for which it is determined in step S4 that the degree of matching of the areas is equal to or greater than the threshold value. Furthermore, the shelf allocation data update unit 104 does not update the shelf allocation data for mismatched areas for which it is determined in step S6 that no products exist. The shelf allocation data update unit 104 stores the updated shelf allocation data in the shelf allocation data storage unit 106.
  • the user may operate the shelf allocation data updating device 100 or another device to display the shelf allocation data stored in the shelf allocation data storage unit 106 on the display screen of the display device. By looking at the displayed shelf allocation data, the user can check whether the actual shelf allocation matches the shelf allocation indicated by the shelf allocation data. The user may operate the shelf allocation data updating device 100 or another device to manually correct the shelf allocation data stored in the shelf allocation data storage unit 106.
  • the planogram data storage unit 106 may record a change history.
  • the planogram data updating device 100 or another device may display frames indicating areas of changed products in a color different from the color of frames indicating areas of unchanged products. In this case, the user can know which parts have been changed in the update.
  • the planogram data updating device 100 or another device may display the planogram data before the update and the updated planogram data in a manner that allows comparison.
  • the planogram data updating device 100 may display the planogram data before the update shown in FIG. 7 and the updated planogram data shown in FIG. 8 side by side on the display screen.
  • the planogram data updating device 100 or another device may display, in addition to the planogram data, an image of the camera 200 used to update the planogram data on the display screen.
  • the user may be able to select any area or product in the displayed planogram data.
  • the planogram data updating device 100 or another device uses the update history to identify the timing when the planogram data for that product or area was updated.
  • the planogram data updating device 100 or another device may display the planogram data before the update at the identified timing and the updated planogram data in a manner that allows comparison.
  • the area determination unit 101 performs area determination on a first image acquired at a first time and obtains a first area determination result.
  • the area determination unit 101 also performs area determination on a second image acquired at a second time and obtains a second area determination result.
  • the mismatched area identification unit 103 compares the first area determination result with the second area determination result and identifies a mismatched area.
  • the shelf allocation data update unit 104 updates the shelf allocation data based on the second area determination result and the identified mismatched area.
  • the mismatched area identified by the mismatched area identification unit 103 is considered to be related to an area where a change in shelf allocation or an increase or decrease in the number of faces has occurred.
  • the shelf allocation data update device 100 can detect a change in shelf allocation or an increase or decrease in the number of faces based on the first image and the second image acquired in chronological order, and update the shelf allocation data according to the detected change in shelf allocation or increase or decrease in the number of faces.
  • the allocation data update unit 104 determines whether or not a product has been detected in the second image for each identified mismatch area. Depending on whether or not a product is present in the mismatch area in the second image, it can be determined whether the product is absent in the second image, i.e., is out of stock, or whether the product has been replaced. In this embodiment, the allocation data update unit 104 updates the allocation data depending on whether or not a product has been detected in the mismatch area in the second image. In this case, the allocation data update unit 104 can appropriately update the allocation data for the out-of-stock areas and the areas where products have been replaced.
  • the camera 200 acquires images of product display shelves arranged in a sales area in a store.
  • the camera 200 does not necessarily have to be installed in a store such as a retail store, and for example, the camera 200 may acquire images of shelves on which some object is placed in a location other than a store, such as a warehouse.
  • the shelf allocation data updating device 100 can be used to update shelf allocation data for objects placed on shelves in a warehouse.
  • the shelf allocation data updating device 100 may be configured using a computer device or a server device.
  • FIG. 10 shows an example configuration of a computer device that may be used in the shelf allocation data updating device 100.
  • the computer device 500 has a control unit (CPU: Central Processing Unit) 510, a storage unit 520, a ROM (Read Only Memory) 530, a RAM (Random Access Memory) 540, a communication interface (IF: Interface) 550, and a user interface 560.
  • the communication interface 550 is an interface for connecting the computer device 500 to a communication network via a wired communication means or a wireless communication means.
  • the user interface 560 includes a display unit such as a display.
  • the user interface 560 also includes an input unit such as a keyboard, a mouse, and a touch panel.
  • the storage unit 520 is an auxiliary storage device that can hold various types of data.
  • the storage unit 520 does not necessarily have to be a part of the computer device 500, and may be an external storage device or cloud storage connected to the computer device 500 via a network.
  • the storage unit 520 can be used as at least one of the area determination result storage unit 105 and the shelf allocation data storage unit 106 (see FIG. 2).
  • the ROM 530 is a non-volatile storage device.
  • a semiconductor storage device with a relatively small capacity such as a flash memory, is used for the ROM 530.
  • the programs executed by the CPU 510 can be stored in the storage unit 520 or the ROM 530.
  • the storage unit 520 or the ROM 530 stores various programs for implementing the functions of each part of the shelf planogram data update device 100, for example.
  • the program includes instructions (or software code) that, when loaded into a computer, cause the computer to perform one or more functions described in the embodiments.
  • the program may be stored on a non-transitory computer-readable medium or a tangible storage medium.
  • computer-readable media or tangible storage media include RAM, ROM, flash memory, solid-state drive (SSD) or other memory technology, Compact Disc (CD), digital versatile disc (DVD), Blu-ray (registered trademark) disc or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage devices.
  • the program may be transmitted on a transitory computer-readable medium or a communication medium.
  • transitory computer-readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • RAM 540 is a volatile storage device. Various semiconductor memory devices such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory) are used for RAM 540. RAM 540 can be used as an internal buffer for temporarily storing data, etc.
  • CPU 510 loads a program stored in storage unit 520 or ROM 530 into RAM 540 and executes it. By CPU 510 executing a program, the functions of each unit in shelf allocation data update device 100 can be realized.
  • CPU 510 may have an internal buffer for temporarily storing data, etc.
  • the shelf allocation data update device 100 does not necessarily have to be configured as a single device.
  • the shelf allocation data update device 100 may be configured using multiple physically separated devices.
  • shelf allocation data updating device 11 Area determination unit 12: Mismatched area identification unit 13: Shelf allocation data updating unit 100: Shelf allocation data updating device 101: Area determination unit 102: Area agreement degree calculation unit 103: Mismatched area identification unit 104: Shelf allocation data updating unit 105: Area determination result storage unit 106: Shelf allocation data storage unit 500: Computer device 510: Control unit 520: Storage unit 530: ROM 540: RAM 550: Communication interface 560: User interface

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

時系列的に取得される画像に基づいて、棚割りデータを更新することを可能にする。領域判定部（１１）は、物体が並ぶ棚を撮影することで取得される画像に対して物体検出を実施し、物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定する。不一致領域特定部（１２）は、第１の画像に基づく第１の領域判定結果と、第２の画像に基づく第２の領域判定結果とを比較し、第１の画像と第２の画像とで検出される物体が一致しない領域である不一致領域を特定する。棚割りデータ更新部（１３）は、第２の領域判定結果と、特定された不一致領域とに基づいて、棚割りデータを更新する。

Description

棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体
　本開示は、棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体に関する。
　関連技術として、特許文献１は、商品特定システムを開示する。特許文献１に記載の商品特定システムにおいて、管理端末は、商品の陳列棚を撮影することで得られる撮影画像に対して台形補正処理を実行し、撮影画像を、商品棚を正面から撮影した画像である正置画像に変換する。管理端末は、第２の正置画像におけるフェースの画像情報と、そのフェースに対応する第１の正置画像における所定範囲のフェースの画像情報とを比較することで、第２の正置画像におけるフェースにある商品の商品識別情報を特定する。
　より詳細には、管理端末は、正置画像情報における棚段ごとに、商品が置かれている領域、すなわちフェースを特定する。管理端末は、初回の商品識別情報の特定では、フェースごとに、フェースの画像情報と、商品の標本画像情報とマッチングすることで、そのフェースに表示されている商品の商品識別情報を特定する。管理端末は、Ｎ回目の商品識別情報の特定では、Ｎ回目の正置画像におけるフェースの画像情報と、そのフェースに対応するＮ－１回目の正置画像情報におけるフェースの画像情報との類似性を判定する。管理端末は、類似性が低いフェースについて、そのフェースの領域の画像情報と、標本画像情報と画像マッチング処理を実行することで、商品識別情報を特定する。
特開２０１９－００８６２２号公報
　小売店舗において、各商品が陳列される場所をデータ化した棚割りデータは欠品検知や商品補充の際に不可欠なデータである。棚割りは、店舗の様々な都合により適宜変更がなされる。棚割りが変更された場合、その都度棚割りデータを更新する必要がある。仮に、棚割りデータの更新を人手で行ったとすると、手間が掛かり、また、変更の見落としが発生することが懸念される。
　特許文献１では、フェースごとに、陳列されている商品の識別情報が特定される。しかしながら、特許文献１には、フェースごとに商品を識別することは記載されているものの、商品ごとに、陳列されている場所をデータ化することは記載されていない。従って、特許文献１では、棚割りが変更された場合に、変更後の商品は識別できるものの、棚割りデータは変更されない。
　本開示は、上記事情に鑑み、時系列的に取得される画像に基づいて、棚割りデータを更新することができる棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体を提供することを目的とする。
　上記目的を達成するために、本開示は、第１の態様として、棚割りデータ更新装置を提供する。棚割りデータ更新装置は、物体が並ぶ棚を撮影することで取得される画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定する領域判定を実施する領域判定部と、前記棚を第１の時刻に撮影することで取得される第１の画像に対する前記領域判定の結果である第１の領域判定結果と、前記棚を前記第１の時刻よりも後の時刻である第２の時刻に撮影することで取得される第２の画像に対する前記領域判定の結果である第２の領域判定結果とを比較し、前記第１の画像と前記第２の画像とで検出される物体が一致しない領域である不一致領域を特定する不一致領域特定部と、前記第２の領域判定結果と、前記不一致領域とに基づいて、前記棚の棚割りデータを更新する棚割りデータ更新部とを含む。
　本開示は、第２の態様として、棚割りデータ更新方法を提供する。棚割りデータ更新方法は、物体が並ぶ棚を第１の時刻に撮影することで取得される第１の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第１の領域判定結果を取得し、前記棚を第１の時刻よりも後の時刻である第２の時刻に撮影することで取得される第２の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第２の領域判定結果を取得し、前記第１の領域判定結果と、前記第２の領域判定結果とを比較し、前記第１の画像と前記第２の画像とで検出される物体が一致しない領域である不一致領域を特定し、前記第２の領域判定結果と、前記不一致領域とに基づいて、前記棚の棚割りデータを更新することを含む。
　本開示は、第３の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、物体が並ぶ棚を第１の時刻に撮影することで取得される第１の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第１の領域判定結果を取得し、前記棚を第１の時刻よりも後の時刻である第２の時刻に撮影することで取得される第２の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第２の領域判定結果を取得し、前記第１の領域判定結果と、前記第２の領域判定結果とを比較し、前記第１の画像と前記第２の画像とで検出される物体が一致しない領域である不一致領域を特定し、前記第２の領域判定結果と、前記不一致領域とに基づいて、前記棚の棚割りデータを更新することを含む処理をコンピュータに実行させるためのプログラムを格納する。
　本開示に係る棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体は、時系列的に取得される画像に基づいて、棚割りデータを更新することができる。
本開示に係る棚割りデータ更新装置の概略的な構成例を示すブロック図。 本開示の一実施形態に係る棚割りデータ更新装置を示すブロック図。 第１の画像に対して実施された領域判定の結果の一例を示す模式図。 第２の画像に対して実施された領域判定の結果の一例を示す模式図。 領域の一致度の具体例を示す模式図。 不一致領域特定の結果の具体例を示す模式図。 更新前の棚割りデータの具体例を示す模式図。 更新後の棚割りデータの具体例を示す模式図。 棚割りデータ更新装置の動作手順を示すフローチャート。 コンピュータ装置の構成例を示すブロック図。
　本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る棚割りデータ更新装置の概略的な構成例を示す。棚割りデータ更新装置１０は、領域判定部１１、不一致領域特定部１２、及び棚割りデータ更新部１３を有する。
　領域判定部１１は、物体が並ぶ棚を撮影することで取得される画像に対して物体検出を実施する。領域判定部１１は、物体検出の結果に基づいて、物体ごとに、物体が配置される領域を判定する。領域判定部１１は、棚を第１の時刻に撮影することで取得される第１の画像に対して領域判定を実施し、第１の領域判定結果を出力する。また、領域判定部１１は、棚を第２の時刻に撮影することで取得される第２の画像に対して領域判定を実施し、第２の領域判定結果を出力する。第２の時刻は、第１の時刻よりも後の時刻である。
　不一致領域特定部１２は、上記第１の領域判定結果と、上記第２の領域判定結果とを比較し、第１の画像と第２の画像とで検出される物体が一致しない領域である不一致領域を特定する。棚割りデータ更新部１３は、第２の領域判定結果と、不一致領域特定部１２で特定された不一致領域とに基づいて、棚の棚割りデータを更新する。
　本開示では、不一致領域特定部１２は、２つの時刻の領域判定の結果を比較し、第１の画像と第２の画像とで検出される物体が一致しない領域である不一致領域を特定する。時系列的に取得される第１の画像と第２の画像とで、検出される物体が一致しない領域は、棚割りが変更された可能性がある領域である。棚割りデータ更新部１３は、そのような領域に対して棚割りデータの更新を実施する。このようにすることで、本開示に係る棚割りデータ更新装置１０は、時系列的に取得される画像に基づいて、棚割りデータを更新することができる。
　以下、図面を参照しつつ、本開示の実施の形態を詳細に説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素及び同様な要素には同一の符号が付されており、必要に応じて重複説明は省略される。
　図２は、本開示の一実施形態に係る棚割りデータ更新装置を示す。棚割りデータ更新装置１００は、領域判定部１０１、領域一致度計算部１０２、不一致領域特定部１０３、棚割りデータ更新部１０４、領域判定結果記憶部１０５、及び棚割りデータ記憶部１０６を有する。棚割りデータ更新装置１００は、１以上のプロセッサと、１以上のメモリとを有する装置として構成され得る。例えば、棚割りデータ更新装置１００内の各機能ブロックの少なくとも一部は、プロセッサが、メモリから読み出した命令に従って処理を実行することで実現され得る。
　棚割りデータ更新装置１００は、カメラ２００から、カメラ２００で撮影された画像を取得する。本実施形態では、カメラ２００は、商品などの物体が陳列される棚を撮影するカメラであるとする。カメラ２００は、例えば店舗の売り場の天井などの場所に設置され、売り場において、商品が陳列される棚、すなわち商品棚の画像を撮影する。棚割りデータ更新装置１００は、例えば、周期的に、カメラ２００で撮影された商品棚の画像を取得する。棚割りデータ更新装置１００が取得する画像は、第１の時刻に撮影された第１の画像と、第１の時刻よりも後の時刻である第２の時刻に撮影された第２の画像とを含む。
　領域判定部１０１は、カメラ２００から取得される画像に対して物体検出を実施する。領域判定部１０１は、例えば、商品が陳列される棚の画像に対して物体検出を実施し、棚に陳列される商品を検出する。領域判定部１０１は、物体検出の結果に基づいて、検出された物体ごとに、その物体が配置される領域を判定する。領域判定部１０１は、例えば、棚において、同じ商品が連続するエリア又は枠をマージすることで、棚におけるその商品が配置される領域を判定する。領域判定部１０１は、第１の画像及び第２の画像のそれぞれに対して領域判定を実施する。領域判定部１０１は、領域判定の結果を、領域判定結果記憶部１０５に記憶する。
　図３は、第１の画像に対して実施された領域判定の結果の一例を示す。この例において、棚に陳列される商品はペットボトル飲料であるとする。棚には、商品Ａ－Ｆの６種類の商品が陳列されている。領域判定部１０１は、例えば第１の画像に対して物体検出を実施し、商品Ａ－Ｆが配置される領域を、それぞれ個別に検出する。領域判定部１０１は、同じ商品が連続して並んでいる個別の商品領域をマージし、各商品が配置される領域２１０Ａ－２１０Ｆを判定する。領域判定部１０１は、例えば、商品Ａ－Ｆが配置される領域２１０Ａ－２１０Ｆの座標、例えば矩形で表される領域の左上の座標と右下の座標の組を、第１の領域判定結果として領域判定結果記憶部１０５に記憶する。
　図４は、第２の画像に対して実施された領域判定の結果の一例を示す。第１の画像が取得された後、いくつかの商品が売れることで、第２の画像には、商品が検知されない領域が存在している。また、第１の画像が取得された後、第１の画像が取得された時点では陳列されていなかった商品Ｇが存在している。領域判定部１０１は、第２の画像に対して物体検出を実施し、商品Ａ－Ｇが配置される領域を、それぞれ個別に検出する。領域判定部１０１は、同じ商品が連続して並んでいる個別の商品領域をマージし、各商品が配置される領域２２０Ａ－２２０Ｇを判定する。領域判定部１０１は、例えば、商品Ａ－Ｇが配置される領域２２０Ａ－２２０Ｇの座標、例えば矩形で表される領域の左上の座標と右下の座標の組を、第２の領域判定結果として領域判定結果記憶部１０５に記憶する。
　領域一致度計算部１０２は、第１の領域判定結果と第２の領域判定結果とを比較し、物体、すなわち商品ごとに、領域の一致度を計算する。領域一致度計算部１０２は、例えば、第１の領域判定結果における商品の領域と第２の領域判定結果における商品の領域の和集合の面積に対する、領域が重なっている部分、すなわち共通部分の面積の割合を、一致度として計算する。領域一致度計算部１０２は、例えば、第１の領域判定結果における各商品の領域と第２の領域判定結果におけり各商品の領域について、２つの領域がどれぐらい重なっているかを表す指標であるＩｏＵ（Intersection over Union）を計算する。
　領域一致度計算部１０２は、第１の画像及び第２の画像の双方から検出される商品、第１の画像のみから検出される商品、及び第２の画像のみから検出される商品のそれぞれについて、領域の一致度を計算する。ある商品について、その商品の領域の一致度が所定のしきい値を下回る場合、棚割りの変更があった、すなわちフェース数の増減が発生した可能性があると判断できる。一方、一致度がしきい値以上の場合、棚割りは変更されていないと考えられる。このため、一致度が高い商品については、棚割りデータの更新は必要ない。
　図５は、第１の領域判定結果における各商品の領域と、第２の領域判定結果における各商品の領域との一致度の具体例を示す。領域一致度計算部１０２は、商品Ａ－Ｇのそれぞれについて、第１の領域判定結果における領域２１０Ａ－Ｆと、第２の領域判定結果における領域２２０Ａ－Ｇとの一致度を計算する。領域一致度計算部１０２は、商品Ａについて、第１の領域判定結果における領域２１０Ａと第２の領域判定結果における領域２２０Ａとの和集合の面積に対する共通部分の面積の割合を、一致度として計算する。領域一致度計算部１０２は、他の商品についても、２つの領域の和集合の面積に対する共通部分の面積の割合を、一致度として計算する。
　図５に示されるように、領域一致度計算部１０２は、商品Ａについて、領域２１０Ａと領域２２０Ａとの一致度は６４％であると計算する。領域一致度計算部１０２は、商品Ｂ－Ｆについて、領域２１０Ｂ－Ｆと領域２２０Ｂ－Ｆとのそれぞれの一致度は４８％、６１％、６４％、２６％、及び９７％であると計算する。商品Ｇについては、第１の領域判定結果には商品Ｇの領域が存在していないため、領域一致度計算部１０２は、一致度を０％と計算する。商品Ａ－Ｇのうち、商品Ｆの領域の一致度は９７％であり、この一致度は所定のしきい値以上であるとする。その場合、商品Ｆについては、第１の画像が取得された時刻と、第２の画像が取得された時刻との間の期間において、棚割りが変更されていないと判断できる。
　不一致領域特定部１０３は、第１の領域判定結果と第２の領域判定結果とを比較し、第１の画像と第２の画像とで検出される物体が一致しない領域である不一致領域を特定する。不一致領域特定部１０３は、例えば、第１の領域判定結果と第２の領域判定結果とで領域の一致度が所定のしきい値未満の商品について、不一致領域を特定する。第１の領域判定結果と第２の領域判定結果とで一致度が高い商品については、フェースの増減は発生していないと考えられる。このため、不一致領域特定部１０３は、一致度が高い商品については、不一致領域を特定しなくてもよい。
　図６は、不一致領域特定の結果の具体例を示す。不一致領域特定部１０３は、第１の領域判定結果における商品Ａ－Ｆの領域２１０Ａ－２１０Ｆ（図３を参照）と、第２の領域判定結果における商品Ａ－Ｇの領域２２０Ａ－Ｇ（図４を参照）とを比較し、不一致領域を特定する。不一致領域特定部１０３は、各商品の領域のうち、双方の領域判定結果で共通する部分の領域を、一致領域２５１－２５６として特定する。不一致領域特定部１０３は、各商品の領域のうち、双方の領域判定結果で共通しない部分の領域を、不一致領域２６１－２６４として特定する。不一致領域特定部１０３における不一致領域の特定と、領域一致度計算部１０２における領域の一致度の計算とは、同時に実施されてもよい。
　棚割りデータ記憶部１０６は、カメラ２００が撮影する棚の棚割りデータを記憶する。棚割りデータは、例えば、棚に配置される商品のリスト、及び各商品が配置される棚の領域を示す情報を含む。第２の画像が取得された時点において、棚割りデータ記憶部１０６には、第１の画像が取得される時刻において更新された棚割りデータが記憶されているものとする。
　棚割りデータの初期値は、例えば、運用開始時の領域判定部１０１の領域判定結果から自動的に生成されてもよい。例えば、カメラ２００は、運用開始時に、棚に隙間なく商品が充填された状態の棚の画像を取得する。領域判定部１０１は、カメラ２００から取得される画像に対して物体検出を実施し、検出された物体ごとに、その物体が配置される領域を判定する。この例において、運用開始時における領域判定の結果は、棚割りデータの初期値として用いられてもよい。あるいは、棚割りデータの初期値は、手動で与えられてもよい。
　棚割りデータ更新部１０４は、第２の画像から判定された第２の領域判定結果と、不一致領域特定部１０３で特定された不一致領域とに基づいて、棚割りデータ記憶部１０６に記憶される棚割りデータを更新する。棚割りデータ更新部１０４は、例えば、第２の画像において、不一致領域で商品が検出されているか否かに応じて、棚割りデータを更新する。例えば、棚割りデータ更新部１０４は、例えば、不一致領域特定部１０３で特定された不一致領域ごとに、第２の画像において商品が検出されているか否かを判断する。具体的には、棚割りデータ更新部１０４は、例えば、図６に示される不一致領域２６１－２６４のそれぞれについて、第２の画像において物体が検出されているか否かを判断する。棚割りデータ更新部１０４は、不一致領域で商品が検出されているか否かに応じて、不一致領域がどの商品の領域であるかを決定する。
　棚割りデータ更新部１０４は、第２の画像において不一致領域で商品が検出されている場合、棚割りの変更、又はフェース数の増減が発生したと判断し、棚割りデータを更新する。棚割りデータ更新部１０４は、第２の画像において不一致領域で商品が検出されている場合、更新後の棚割りデータにおいて、不一致領域に、第２の画像において不一致領域で検出されている商品を割り当てる。棚割りデータ更新部１０４は、第２の画像において前記不一致領域で物体が検出されていない場合、商品が欠品したことに起因して不一致領域が生じていると判断する。その場合、棚割りデータ更新部１０４は、不一致領域に割り当てられる商品を、第１の画像が取得された時刻の棚割りデータにおいて不一致領域に割り当てられている商品から変更しない。棚割りデータ更新部１０４は、更新後の棚割りデータを棚割りデータ記憶部１０６に記憶する。
　図７は、更新前の棚割りデータの具体例を示す。また、図８は、更新後の棚割りデータの具体例を示す。図７及び図８において、「Ａ」から「Ｇ」は、矩形で示される領域が、商品Ａから商品Ｇのうちのどの商品に割り当てられた領域であるかを示す。別の言い方をすると、「Ａ」から「Ｇ」は、各領域が、商品Ａから商品Ｇのどの商品に対応する領域であるかを示す。図７に示される更新前の棚割りデータは、第１の画像が取得された時刻に更新、又は生成された棚割りデータであるとする。棚割りデータ更新部１０４は、不一致領域特定部１０３で特定された不一致領域について、第２の画像において不一致領域で商品が検出されるか否かに応じて、不一致領域に割り当てられる商品を更新する。
　図７に示される更新前の棚割りデータにおいて、例えば、図６に示される不一致領域２６１は、商品Ａに割り当てられている。棚割りデータ更新部１０４は、不一致領域２６１について、第２の画像において商品が検出されているか否かを判断する。図４に示されるように、第２の画像では、不一致領域２６１において商品Ｇが検出されている。別の言い方をすると、不一致領域２６１は、第２の領域判定結果における商品Ｇの領域２２０Ｇと重なる。この場合、棚割りデータ更新部１０４は、棚割りデータにおいて、不一致領域２６１に割り当てられる商品を、更新前の商品Ａから商品Ｇに変更する。棚割りデータ更新部１０４は、不一致領域２６１に割り当てられる商品が変更になったことから、図８に示されるように、更新後の棚割りデータにおいて、商品Ａの領域を商品１つ分だけ縮小させる。
　また、図７に示される更新前の棚割りデータにおいて、図６に示される不一致領域２６３は、商品Ｃに割り当てられている。棚割りデータ更新部１０４は、不一致領域２６３について、第２の画像において商品が検出されているか否かを判断する。図４に示されるように、第２の画像では、不一致領域２６３において商品Ｄが検出されている。別の言い方をすると、不一致領域２６３は、第２の領域判定結果における商品Ｄの領域２２０Ｄと重なる。この場合、棚割りデータ更新部１０４は、棚割りデータにおいて、不一致領域２６１に割り当てられる商品を、更新前の商品Ｃから商品Ｄに変更する。この場合、図８に示されるように、更新後の棚割りデータにおいて、商品Ｄの領域は、商品１つ分だけ拡大され、商品Ｃの領域は、商品１つ分だけ縮小される。
　図７に示される更新前の棚割りデータにおいて、図６に示される不一致領域２６２及び２６４は、それぞれ商品Ｂ及び商品Ｅに割り当てられている。棚割りデータ更新部１０４は、不一致領域２６２及び２６４のそれぞれについて、第２の画像において商品が検出されているか否かを判断する。図４に示されるように、第２の画像では、不一致領域２６２及び２６４において商品が検出されてない。この場合、棚割りデータ更新部１０４は、棚割りデータにおいて、不一致領域２６２及び２６４のそれぞれに割り当てられる商品を、更新前の商品Ｂ及び商品Ｄから変更しない。商品Ｆについては、領域一致度計算部１０２で計算される領域の一致度がしきい値以上であるため、棚割りデータにおいて、商品Ｆの領域の変更はない。棚割りデータ更新部１０４は、図８に示される更新後の棚割りデータを、棚割りデータ記憶部１０６に記憶する。
　続いて、動作手順を説明する。図９は、棚割りデータ更新装置１００の動作手順を示す。棚割りデータ更新装置１００の動作手順は、棚割りデータ更新方法に対応する。領域判定部１０１は、カメラ２００から、商品が陳列される棚の画像を撮影した画像を取得する（ステップＳ１）。領域判定部１０１は、取得した画像から、棚に陳列される各商品の領域を判定する（ステップＳ２）。領域判定部１０１は、ステップＳ２では、例えば、カメラ２００から取得した棚の画像に対して物体検出を実施して商品を検出し、検出した商品の領域をマージすることで、各商品の領域を判定する。領域判定部１０１は、領域判定の結果を、領域判定結果記憶部１０５に記憶する。
　領域一致度計算部１０２は、ステップＳ２の領域判定の結果と、領域判定結果記憶部１０５に記憶される過去の棚割りデータ更新で実施された領域判定の結果とを比較し、棚に存在する商品ごとに、領域の一致度を計算する（ステップＳ３）。ここでは、過去の棚割りデータ更新で実施された領域判定の結果を、第１の領域判定結果と呼ぶ。また、ステップＳ１の領域判定の結果を、第２の領域判定結果と呼ぶ。領域一致度計算部１０２は、ステップＳ３では、例えば前回の棚割りデータ更新で実施された領域判定の結果を、第１の領域判定結果として取得する。領域一致度計算部１０２は、商品ごとに、第１の領域判定結果における領域と第２の領域判定結果における領域とのＩｏＵを計算する。
　不一致領域特定部１０３は、商品ごとに、領域の一致度が所定のしきい値未満であるか否かを判断する（ステップＳ４）。不一致領域特定部１０３は、領域の一致度が所定のしきい値未満の商品について、不一致領域を特定する（ステップＳ５）。棚割りデータ更新部１０４は、特定された不一致領域ごとに、ステップＳ１で取得された画像において商品が存在するか否かを判断する（ステップＳ６）。棚割りデータ更新部１０４は、ステップＳ６において商品が存在すると判断された不一致領域について、棚割りデータを更新する（ステップＳ７）。棚割りデータ更新部１０４は、ステップＳ７では、棚割りデータにおいて、商品が存在すると判断された不一致領域を、ステップＳ１で取得される画像から検出された商品に割り当てる。
　棚割りデータ更新部１０４は、ステップＳ４において領域の一致度がしきい値以上であると判断された商品については、棚割りデータを更新しない。また、棚割りデータ更新部１０４は、ステップＳ６において商品が存在しないと判断された不一致領域については、棚割りデータを更新しない。棚割りデータ更新部１０４は、更新後の棚割りデータを、棚割りデータ記憶部１０６に記憶する。
　ユーザは、棚割りデータ更新装置１００、又は他の装置を操作し、棚割りデータ記憶部１０６に記憶される棚割りデータを表示装置の表示画面上に表示させてもよい。ユーザは、表示された棚割りデータを見ることで、実際の棚割りと、棚割りデータが示す棚割りとが一致しているかどうかをチェックすることができる。ユーザは、棚割りデータ更新装置１００、又は他の装置を操作し、手動で、棚割りデータ記憶部１０６に記憶される棚割りデータを修正してもよい。
　棚割りデータ更新部１０４は、棚割りデータにおいて、何れかの領域に割り当てられる商品を変更した場合、棚割りデータ記憶部１０６に、変更履歴を記録してもよい。棚割りデータ記憶部１０６に記憶される棚割りデータが表示される場合、棚割りデータ更新装置１００、又は他の装置は、変更された商品の領域を示す枠を、変更されていない商品の領域を示す枠の色とは異なる色で表示してもよい。その場合、ユーザは、更新において、どの部分が変更されたかを知ることができる。
　また、棚割りデータ更新装置１００、又は他の装置は、棚割りデータを表示する場合、更新前の棚割りデータと、更新後の棚割りデータとを、比較が可能な態様で表示してもよい。例えば、棚割りデータ更新装置１００は、図７に示される更新前の棚割りデータと、図８に示される更新後の棚割りデータとを、表示画面上に並べて表示してもよい。棚割りデータ更新装置１００、又は他の装置は、棚割りデータに加えて、棚割りデータの更新に用いられたカメラ２００の画像を表示画面上に表示してもよい。
　表示される棚割りデータにおいて、ユーザが、何れかの領域、又は商品を選択可能であってもよい。棚割りデータ更新装置１００、又は他の装置は、ユーザが、ある商品、又はある商品の領域を選択した場合、更新履歴を用いて、その商品又は領域について棚割りデータが更新されたタイミングを特定する。棚割りデータ更新装置１００、又は他の装置は、特定したタイミングにおける更新前の棚割りデータと、更新後の棚割りデータとを、比較可能な態様で表示してもよい。
　本実施形態では、領域判定部１０１は、第１の時刻に取得された第１の画像に対して領域判定を実施し、第１の領域判定結果を取得する。また、領域判定部１０１は、第２の時刻に取得された第２の画像に対して領域判定を実施し、第２の領域判定結果を取得する。不一致領域特定部１０３は、第１の領域判定結果と第２の領域判定結果とを比較し、不一致領域を特定する。棚割りデータ更新部１０４は、第２の領域判定結果と、特定された不一致領域とに基づいて、棚割りデータを更新する。本実施形態において、不一致領域特定部１０３で特定される不一致領域は、棚割りの変更又はフェース数の増減があった領域に関連すると考えられる。このため、棚割りデータ更新装置１００は、時系列的に取得される第１の画像と第２の画像とに基づいて、棚割りの変更又はフェース数の増減を検知し、検知した棚割りの変更又はフェース数の増減に応じて、棚割りデータを更新することができる。
　また、本実施形態において、棚割りデータ更新部１０４は、特定された不一致領域ごとに、第２の画像において商品が検出されているか否かを判断する。第２の画像において不一致領域に商品があるか否かに応じて、第２の画像において商品がない、すなわち欠品であるのか、或いは商品が別の入れ替えられたのかを判断できる。本実施形態では、棚割りデータ更新部１０４は、第２の画像において不一致領域で商品が検出されているか否かに応じて棚割りデータを更新する。この場合、棚割りデータ更新部１０４は、欠品している領域と、商品が入れ替えられた領域とで、適切に棚割りデータを更新することができる。
　なお、上記実施形態では、カメラ２００が店舗において売り場に配置される商品陳列棚の画像を取得する例を説明した。しかしながら、本開示は、これには限定されない。カメラ２００は、必ずしも小売店などの店舗に設置されている必要はなく、例えば、カメラ２００は、倉庫などの店舗以外の場所において、何らかの物体が置かれている棚の画像を取得してもよい。別の言い方をすると、棚割りデータ更新装置１００は、倉庫における棚に置かれる物体の棚割りデータを更新するために使用され得る。
　本開示において、棚割りデータ更新装置１００は、コンピュータ装置又はサーバ装置を用いて構成され得る。図１０は、棚割りデータ更新装置１００に用いられ得るコンピュータ装置の構成例を示す。コンピュータ装置５００は、制御部（ＣＰＵ：Central Processing Unit）５１０、記憶部５２０、ＲＯＭ（Read Only Memory）５３０、ＲＡＭ（Random Access Memory）５４０、通信インタフェース（ＩＦ：Interface）５５０、及びユーザインタフェース５６０を有する。
　通信インタフェース５５０は、有線通信手段又は無線通信手段などを介して、コンピュータ装置５００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース５６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース５６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。
　記憶部５２０は、各種のデータを保持できる補助記憶装置である。記憶部５２０は、必ずしもコンピュータ装置５００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置５００に接続されたクラウドストレージであってもよい。記憶部５２０は、領域判定結果記憶部１０５、及び棚割りデータ記憶部１０６（図２を参照）の少なくとも一方として用いられ得る。
　ＲＯＭ５３０は、不揮発性の記憶装置である。ＲＯＭ５３０には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＣＰＵ５１０が実行するプログラムは、記憶部５２０又はＲＯＭ５３０に格納され得る。記憶部５２０又はＲＯＭ５３０は、例えば棚割りデータ更新装置１００の各部の機能を実現するための各種プログラムを記憶する。
　プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、Compact Disc (CD)、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。
　ＲＡＭ５４０は、揮発性の記憶装置である。ＲＡＭ５４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５４０は、データなどを一時的に格納する内部バッファとして用いられ得る。ＣＰＵ５１０は、記憶部５２０又はＲＯＭ５３０に格納されたプログラムをＲＡＭ５４０に展開し、実行する。ＣＰＵ５１０がプログラムを実行することで、棚割りデータ更新装置１００内の各部の機能が実現され得る。ＣＰＵ５１０は、データなどを一時的に格納できる内部バッファを有してもよい。
　上記実施形態において、棚割りデータ更新装置１００は、必ずしも単一の装置として構成されている必要はない。棚割りデータ更新装置１００は、物理的に分離された複数の装置を用いて構成されていてもよい。
　以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
１０：棚割りデータ更新装置
１１：領域判定部
１２：不一致領域特定部
１３：棚割りデータ更新部
１００：棚割りデータ更新装置
１０１：領域判定部
１０２：領域一致度計算部
１０３：不一致領域特定部
１０４：棚割りデータ更新部
１０５：領域判定結果記憶部
１０６：棚割りデータ記憶部
５００：コンピュータ装置
５１０：制御部
５２０：記憶部
５３０：ＲＯＭ
５４０：ＲＡＭ
５５０：通信インタフェース
５６０：ユーザインタフェース

Claims (9)

  1. 　物体が並ぶ棚を撮影することで取得される画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定する領域判定を実施する領域判定部と、
    　前記棚を第１の時刻に撮影することで取得される第１の画像に対する前記領域判定の結果である第１の領域判定結果と、前記棚を前記第１の時刻よりも後の時刻である第２の時刻に撮影することで取得される第２の画像に対する前記領域判定の結果である第２の領域判定結果とを比較し、前記第１の画像と前記第２の画像とで検出される物体が一致しない領域である不一致領域を特定する不一致領域特定部と、
    　前記第２の領域判定結果と、前記不一致領域とに基づいて、前記棚の棚割りデータを更新する棚割りデータ更新部とを備える棚割りデータ更新装置。
  2. 　前記棚割りデータ更新部は、前記第２の画像において前記不一致領域で物体が検出されているか否かに応じて、前記棚割りデータを更新するか否かを決定する、請求項１に記載の棚割りデータ更新装置。
  3. 　前記棚割りデータ更新部は、前記第２の画像において前記不一致領域で物体が検出されている場合、前記棚割りデータにおいて、前記第２の画像において前記不一致領域で検出された物体を前記不一致領域に割り当て、前記第２の画像において前記不一致領域で物体が検出されていない場合、前記棚割りデータにおいて、前記不一致領域に割り当てられる物体を、前記第１の時刻の前記棚割りデータにおいて前記不一致領域に割り当てられている物体から変更しない、請求項２に記載の棚割りデータ更新装置。
  4. 　前記第１の領域判定結果と前記第２の領域判定結果とを比較し、物体ごとに、前記物体が配置される領域の一致度を計算する領域一致度計算部を更に有し、
    　前記不一致領域特定部は、前記領域の一致度が所定値未満の物体について、前記不一致領域を特定する、請求項１から３何れか１項に記載の棚割りデータ更新装置。
  5. 　前記領域一致度計算部は、物体ごとに、第１の領域判定結果における領域と第２の領域判定結果における領域の和集合の面積に対する、第１の領域判定結果における領域と第２の領域判定結果における領域との共通部分の面積の割合を、一致度として計算する、請求項４に記載の棚割りデータ更新装置。
  6. 　物体が並ぶ棚を第１の時刻に撮影することで取得される第１の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第１の領域判定結果を取得し、
    　前記棚を第１の時刻よりも後の時刻である第２の時刻に撮影することで取得される第２の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第２の領域判定結果を取得し、
    　前記第１の領域判定結果と、前記第２の領域判定結果とを比較し、前記第１の画像と前記第２の画像とで検出される物体が一致しない領域である不一致領域を特定し、
    　前記第２の領域判定結果と、前記不一致領域とに基づいて、前記棚の棚割りデータを更新することを有する棚割りデータ更新方法。
  7. 　前記棚割りデータを更新することは、前記第２の画像において前記不一致領域で物体が検出されているか否かに応じて、前記棚割りデータを更新するか否かを決定することを有する、請求項６に記載の棚割りデータ更新方法。
  8. 　物体が並ぶ棚を第１の時刻に撮影することで取得される第１の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第１の領域判定結果を取得し、
    　前記棚を第１の時刻よりも後の時刻である第２の時刻に撮影することで取得される第２の画像に対して物体検出を実施し、該物体検出の結果に基づいて、物体ごとに該物体が配置される領域を判定することで、第２の領域判定結果を取得し、
    　前記第１の領域判定結果と、前記第２の領域判定結果とを比較し、前記第１の画像と前記第２の画像とで検出される物体が一致しない領域である不一致領域を特定し、
    　前記第２の領域判定結果と、前記不一致領域とに基づいて、前記棚の棚割りデータを更新することを含む処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
  9. 　前記棚割りデータを更新することは、前記第２の画像において前記不一致領域で物体が検出されているか否かに応じて、前記棚割りデータを更新するか否かを決定することを有する、請求項８に記載の非一時的なコンピュータ可読媒体。
PCT/JP2023/012522 2023-03-28 2023-03-28 棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体 Ceased WO2024201715A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/012522 WO2024201715A1 (ja) 2023-03-28 2023-03-28 棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体
JP2025509337A JPWO2024201715A5 (ja) 2023-03-28 棚割りデータ更新装置、棚割りデータ更新方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012522 WO2024201715A1 (ja) 2023-03-28 2023-03-28 棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2024201715A1 true WO2024201715A1 (ja) 2024-10-03

Family

ID=92904314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012522 Ceased WO2024201715A1 (ja) 2023-03-28 2023-03-28 棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2024201715A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019040227A (ja) * 2017-08-22 2019-03-14 株式会社日立製作所 在庫管理システム
JP2021080087A (ja) * 2019-11-21 2021-05-27 株式会社Ｒｅｔａｉｌ ＡＩ Ｌａｂ 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019040227A (ja) * 2017-08-22 2019-03-14 株式会社日立製作所 在庫管理システム
JP2021080087A (ja) * 2019-11-21 2021-05-27 株式会社Ｒｅｔａｉｌ ＡＩ Ｌａｂ 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法

Also Published As

Publication number Publication date
JPWO2024201715A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
US20220277563A1 (en) Shelf label detection device, shelf label detection method, and shelf label detection program
US11403843B2 (en) Image processing apparatus, display control apparatus, image processing method and recording medium
US20200334620A1 (en) Shelf monitoring device, shelf monitoring method, and shelf monitoring program
WO2014049729A1 (ja) 動画像認識装置及び動画像認識方法
US10387395B2 (en) Parallelized execution of window operator
US20230386209A1 (en) Processing device, processing method, and non-transitory storage medium
US20230306741A1 (en) Product detection device, product detection method, and recording medium
CN105447839A (zh) 矩形框的合并方法及合并系统
JP7108553B2 (ja) 棚割情報生成装置及び棚割情報生成プログラム
WO2024201715A1 (ja) 棚割りデータ更新装置、棚割りデータ更新方法、及びコンピュータ可読媒体
CN113269053A (zh) 商品的货架层列获取方法、终端、存储装置
US20160125032A1 (en) Partition-aware distributed execution of window operator
WO2022024341A1 (ja) 商品検知装置、商品検知システム、商品検知方法および記録媒体
WO2021024459A1 (ja) 処理装置、会計装置、処理方法及びプログラム
JP5876129B2 (ja) 動画像認識装置及び動画像認識方法
US20230290080A1 (en) Systems and methods for tracking objects stored in a real-world 3d space
US20250232432A1 (en) Vehicle management device, system, method, and computer-readable medium
JP7544269B2 (ja) 欠品検出装置、欠品検出方法、及びプログラム
EP4095688A1 (en) Method and apparatus for processing transaction
JP7563625B2 (ja) 画像解析システム、画像解析方法およびプログラム
US11551289B2 (en) Intelligent store system and intelligent store method
JP6519330B2 (ja) プログラム、情報処理装置及び情報処理方法
US20160232510A1 (en) Checkout apparatus and method for presenting candidate merchandise
WO2025204989A1 (ja) 在庫管理方法、プログラム、及び、在庫管理システム
WO2025017855A1 (ja) 監視装置、監視方法、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930355

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509337

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509337

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930355

Country of ref document: EP

Kind code of ref document: A1