WO2021090755A1 - 管理装置、管理方法、およびプログラム - Google Patents

管理装置、管理方法、およびプログラム Download PDF

Info

Publication number
WO2021090755A1
WO2021090755A1 PCT/JP2020/040594 JP2020040594W WO2021090755A1 WO 2021090755 A1 WO2021090755 A1 WO 2021090755A1 JP 2020040594 W JP2020040594 W JP 2020040594W WO 2021090755 A1 WO2021090755 A1 WO 2021090755A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
display
notification
shelf
display area
Prior art date
Application number
PCT/JP2020/040594
Other languages
English (en)
French (fr)
Inventor
淳 内村
裕司 田原
莉奈 富田
康代 加増
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021554915A priority Critical patent/JPWO2021090755A1/ja
Priority to US17/770,364 priority patent/US20220391826A1/en
Publication of WO2021090755A1 publication Critical patent/WO2021090755A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a management device, a management method, and a program, and more particularly to a management device, a management method, and a program for managing display shelves in a store.
  • Patent Document 1 describes that the state of the product shelves is imaged and the color-coded images are superimposed and displayed (FIG. 4) according to the display state so that the display shortage state can be understood.
  • Patent Document 2 describes that it is possible to reorder for inventory storage by notifying the product shelves to replenish the products when the products are low.
  • Patent Document 3 there are a system (Patent Document 3) that tracks the arrangement of product shelves using a robot, and an inventory monitoring system (Patent Document 4) that monitors the inventory of products and notifies replenishment.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for improving the efficiency of replenishment work of products on display shelves.
  • the first aspect relates to the management device.
  • the management device related to the first aspect is The area of the displayable area where the products on the display shelf can be displayed is acquired, and the area of the non-display area where the products are not displayed, which is detected from the captured image of the display shelf, is relative to the area of the display shelf.
  • the second aspect relates to a management method performed by at least one computer.
  • the management method related to the second aspect is The management device Obtain the area of the displayable area where the products on the display shelf can be displayed, The area ratio of the area of the non-display area where the product is not displayed, which was detected from the captured image of the display shelf, to the area of the display shelf was calculated. It is determined whether or not to notify according to the area ratio, and When it is determined that the notification is to be given, the notification is given.
  • this invention may be a program that causes at least one computer to execute the method of the second aspect, or a recording medium that can be read by a computer that records such a program. You may.
  • This recording medium includes non-temporary tangible media.
  • This computer program contains computer program code that causes the computer to perform management methods on the management device when executed by the computer.
  • the various components of the present invention do not necessarily have to be independent of each other, and a plurality of components are formed as one member, and one component is formed of a plurality of members. It may be that a certain component is a part of another component, a part of a certain component overlaps with a part of another component, and the like.
  • the order of description does not limit the order in which the plurality of procedures are executed. Therefore, when implementing the method and computer program of the present invention, the order of the plurality of procedures can be changed within a range that does not hinder the contents.
  • the method of the present invention and the plurality of procedures of the computer program are not limited to being executed at different timings. Therefore, another procedure may occur during the execution of a certain procedure, a part or all of the execution timing of the certain procedure and the execution timing of the other procedure may overlap, and the like.
  • FIG. 1 It is a block diagram which conceptually shows the structural example of the store system which concerns on embodiment of this invention. It is a figure for demonstrating the image taken by the camera. It is a figure which shows an example of the data structure of the image information of each image stored. It is a functional block diagram which logically shows the structure of the management apparatus which concerns on embodiment of this invention. It is a figure which shows the example of the data structure of the shelf area information. It is a figure which shows an example of the data structure of the notification standard information which shows the judgment standard. It is a figure which shows an example of the data structure of the display state information. It is a block diagram which illustrates the hardware configuration of the computer which realizes the management apparatus shown in FIG.
  • acquisition means that the own device retrieves data or information stored in another device or storage medium (active acquisition), and is output to the own device from the other device. Includes at least one of entering data or information (passive acquisition).
  • active acquisition include making a request or inquiry to another device and receiving the reply, and accessing and reading another device or storage medium.
  • passive acquisition may be receiving information to be delivered (or transmitted, push notification, etc.).
  • acquisition may be to select and acquire the received data or information, or to select and receive the delivered data or information.
  • FIG. 1 is a block diagram conceptually showing a configuration example of the store system 1 according to the embodiment of the present invention.
  • the store system 1 includes a management device 100, a camera 5, a user terminal 20, and an image processing device 30.
  • the management device 100, the camera 5, the user terminal 20, and the image processing device 30 are connected via the communication network 3.
  • the image processing device 30 may be provided in the same hardware as the management device 100, or may be provided outside the management device 100 as separate hardware.
  • the store has a display shelf 10 for products including showcases and the like. Further, the store is equipped with a monitoring camera 5 that captures an image of the inside of the store.
  • the camera 5 may be a camera installed on the ceiling of a store for the purpose of crime prevention and capable of 360-degree omnidirectional imaging.
  • the camera 5 is a camera equipped with a fisheye lens.
  • the camera 5 includes an image sensor such as a lens and a CCD (Charge Coupled Device) image sensor.
  • an image sensor such as a lens and a CCD (Charge Coupled Device) image sensor.
  • it is a network camera such as an IP (Internet Protocol) camera.
  • the network camera has, for example, a wireless LAN (Local Area Network) communication function, and is connected to the image processing device 30 via a communication network, that is, a relay device (not shown) such as a router.
  • the camera 5 may include a mechanism for controlling the orientation of the camera body and men's, zoom control, focusing, and the like.
  • the user terminal 20 is a smartphone, a tablet terminal, a personal computer, or the like.
  • the user terminal 20 is a terminal used by a user U such as a store clerk or a manager of a store or a management center.
  • the management device 100 is a device that manages the state of the product display shelves 10 in the store.
  • the display shelf 10 is a fixture for displaying products in a store, and is configured by providing at least one shelf board (hereinafter, also referred to as a shelf 14) on a basic outer frame 12, and is also called a gondola.
  • a shelf 14 at least one shelf board (hereinafter, also referred to as a shelf 14) on a basic outer frame 12, and is also called a gondola.
  • one display shelf 10 is configured by providing a plurality of shelves 14 on one basic outer frame 12.
  • the state of the display shelf 10 is the display state of the product 16 for each display shelf 10 or each shelf 14, and particularly indicates the shortage state of the product 16.
  • the management device 100 acquires an image of the display shelf 10 from the image captured by the camera 5, detects and manages a state of the display shelf 10, for example, a shortage of the product 16.
  • FIG. 2 is a diagram for explaining the captured image of the camera 5.
  • FIG. 2A is a diagram showing an example of an image in which the camera 5 captures the entire interior of the store from above.
  • FIG. 2B is a diagram showing an example of an image of the display shelf 10 captured from the front by the camera 5.
  • FIG. 2C is a diagram showing an image example of one display shelf 10 extracted from the image of FIG. 2B.
  • the image 200 (FIG. 2A) captured by the camera 5 is transmitted to the image processing device 30.
  • the image 200 transmitted to the image processing device 30 is an image captured in real time by the surveillance camera 5, or a still image captured periodically or at a predetermined time.
  • the image 200 transmitted to the image processing device 30 does not have to be directly transmitted from the camera 5, and may be an image recorded on a recording medium (not shown). Further, the image 200 transmitted to the image processing device 30 may be an image delayed by a predetermined time.
  • the image 210 of FIG. 2B is an image captured in a certain imaging direction, and the image 210 includes three display shelves 10.
  • the image processing device 30 cuts out the image 212 of each display shelf 10 out of the display shelves 10 of 3 in the image 210, corrects the curved image, and looks at the display shelf 10 from the front. Convert to FIG. 2 (c)).
  • the management device 100 monitors the state of the display shelf 10 by using the image 230 of the image-processed display shelf 10.
  • FIG. 3 is a diagram showing an example of the data structure of the image information 240 of each stored image 230.
  • the image information 240 includes an image ID that identifies the image 230 stored in the storage device 110, the imaging date and time of the image 230, and the position and identification information (display shelf ID) of the display shelf 10 identified from the captured image. ..
  • the image ID may be a path indicating the file name and storage location of the image 230.
  • the imaging date and time may be the frame number of the image 230.
  • the display shelf 10 in the captured image may be specified by the image processing device 30 from information such as the shooting direction by the camera 5.
  • the image processing device 30 may identify the display shelf 10 by recognizing an image of a marker provided in advance on the display shelf 10 for identifying the display shelf 10.
  • Various methods for identifying the display shelf 10 from the captured image can be considered, and the method is not limited to this method.
  • FIG. 4 is a functional block diagram that logically shows the configuration of the management device 100 according to the embodiment of the present invention.
  • the management device 100 includes an area calculation unit 102, a determination unit 104, and a notification unit 106. Further, the management device 100 includes a storage device 110.
  • the storage device 110 may be provided inside the management device 100 or may be provided outside.
  • the storage device 110 may be physically a plurality of storage devices.
  • the storage device 110 for example, the area of the displayable area where the products on the display shelf can be displayed is stored in advance.
  • the area calculation unit 102 acquires the area of the displayable area, and calculates the area ratio of the area of the non-display area where the product 16 detected from the captured image of the display shelf 10 is not displayed to the area of the display shelf 10. ..
  • the determination unit 104 determines whether or not to give a notification according to the area ratio calculated by the area calculation unit 102. When it is determined that the notification unit 106 is to perform the notification, the notification unit 106 gives the notification.
  • FIG. 5 is a diagram showing an example of the data structure of the shelf area information 302.
  • the value of the displayable area of each shelf 14 of each display shelf 10 in the store is stored in the storage device 110 as setting information in advance.
  • This setting information can be referred to by the operator, and can be changed at any time when the layout of the display shelves 10 and the shelves 14 is changed in the store.
  • the "area of the displayable area” is indicated by the square number of the plane of the displayable area of the shelf 14, but is not limited to this, and is each dimension indicating the shape of the displayable area on the shelf 14. There may be.
  • the shape of the displayable area of the shelf 14 is rectangular, it may be the width dimension and the depth dimension of the displayable area of the shelf 14. That is, any information can be used as long as the area of the displayable area of the shelf 14 can be obtained.
  • the shelf area information 302 is stored in association with the shelf ID and the area of the product displayable area of the shelf 14.
  • the shelf ID in this example includes identification information that identifies each display shelf 10 installed in the store to be managed and each shelf 14 of the display shelf 10.
  • the shelf area information 302 is associated with the store ID, the display shelf ID, the shelf ID, and the area of the product displayable area.
  • the display shelf ID may include, for example, information indicating the installation position of the display shelf 10 in the store. The position of the display shelf 10 in the image can be specified from the captured position in the store of the image captured by the camera 5, and the corresponding display shelf 10 can be specified. Further, in the example of FIG.
  • the shelf area information 302 stores the position information of each shelf 14 of the display shelf 10 or the display shelf 10 in association with the area of the product displayable area of the shelf 14. You may.
  • the position information may be relative position information indicating the relative position of each display shelf 10 in the store, absolute position information indicated by longitude / latitude, or the like, and may be information that can identify the shelf 14.
  • the position of each shelf 14 may be information indicating the number of stages of the shelf 14 in the display shelf 10 or information indicating the height at which the shelf 14 is installed.
  • the area calculation unit 102 calculates the area ratio of the detected non-display area to the area of the displayable area of each shelf 14.
  • the area calculation unit 102 first detects a shelf area from the image 230 by image recognition processing using the image processing device 30, and determines the area of the part of the shelf area where the product 16 is not placed. Identify. Then, the area calculation unit 102 acquires the area of the shelf area of the shelf 14 from the shelf area information 302 of FIG. 5, and calculates the area ratio.
  • the area of each area does not necessarily have to be specified, and the ratio in the image may be obtained.
  • the area calculation unit 102 detects the shelf area and specifies the area of the shelf area of each shelf 14 where the product 16 is not placed as a non-display area. Then, the area calculation unit 102 obtains the ratio of the non-display area to the shelf area in the shelf image and uses it as the area ratio.
  • the determination unit 104 determines that the notification is performed when the non-display area is equal to or more than the threshold value (for example, 80%), and determines that the notification is not performed when the non-display area is less than the threshold value.
  • the threshold value for example, 80%
  • FIG. 6 is a diagram showing an example of the data structure of the notification reference information 310 indicating the determination criteria.
  • the area ratios that serve as determination criteria are associated with each of the plurality of notification levels.
  • a plurality of notification levels can be set, and the notification method and notification content can be set for each level.
  • level 1 and level 2 are set.
  • the determination unit 104 determines that the notification level is 1.
  • the determination unit 104 determines that the notification level is 2.
  • the judgment reference value is an example and is not limited to this.
  • a notification instructing the replenishment of the product 16 may be sent to the user terminal 20 of the store clerk.
  • a notification may be sent to the user terminal 20 of the manager of the store and the management center to instruct the clerk to replenish the product 16 as soon as the product 16 is out of stock.
  • the notification method may include, but is not limited to, sending a message to the user terminal 20, displaying a pop-up screen, ringing a vibration, and outputting a voice.
  • the determination result is stored in the storage device 110 as the display state information 320 by the determination unit 104.
  • FIG. 7 is a diagram showing an example of the data structure of the display state information 320.
  • the display status information 320 includes a shelf ID, a date and time (image capture date and time, determination date and time, etc.), an area ratio, and a notification flag (for example, "1" when notifying and "0" when not notifying" for each shelf. Etc.) and the image ID of the captured image on the shelf 14 (for example, corresponding to the image ID of the image information 240) are stored in association with each other.
  • FIG. 8 is a block diagram illustrating a hardware configuration of a computer 1000 that realizes the management device 100 shown in FIG.
  • the computer 1000 has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the computer 1000. When the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the storage device 1040 also stores each information stored in the storage device 110.
  • the program module may be recorded on a recording medium.
  • the recording medium on which the program module is recorded includes a medium that can be used by the non-temporary tangible computer 1000, and the program code that can be read by the computer 1000 (processor 1020) may be embedded in the medium.
  • the input / output interface 1050 is an interface for connecting the computer 1000 and various input / output devices.
  • the network interface 1060 is an interface for connecting the computer 1000 to the communication network.
  • This communication network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method of connecting the network interface 1060 to the communication network may be a wireless connection or a wired connection.
  • the computer 1000 is connected to necessary devices (for example, a display device such as a touch panel, an input device, a camera 5, a microphone, and a speaker) via an input / output interface 1050 or a network interface 1060.
  • necessary devices for example, a display device such as a touch panel, an input device, a camera 5, a microphone, and a speaker
  • the user terminal 20 that receives the notification from the management device 100 can also be realized by the computer 1000 having the configuration of FIG.
  • the application for receiving the notification from the management device 100 is installed in advance on the user terminal 20.
  • an application that connects to the Internet such as a browser and can access the user page of the website provided by the management device 100 may be installed.
  • the user page can be referenced by logging in by entering the authentication information registered as a user in advance. Then, information indicating the content of the notification may be presented on the user page.
  • Each component of the management device 100 of the present embodiment of FIG. 3 is realized by an arbitrary combination of hardware and software of the computer 1000 of FIG. And, it is understood by those skilled in the art that there are various modifications of the realization method and the device.
  • the functional block diagram showing the management device 100 of each embodiment described below shows blocks of logical functional units, not configurations of hardware units.
  • FIG. 9 is a flowchart showing an example of the operation of the management device 100 of the present embodiment.
  • the area calculation unit 102 uses the image processing device 30 to detect a non-display area in which the product 16 is not displayed from the captured image 230 on the display shelf 10 (step S101).
  • FIG. 10 is a diagram showing an example of image 230 of the display shelf 10 at a predetermined time.
  • FIG. 10A is a captured image 230 of the display shelf 10 at 8:30
  • FIG. 10B is a captured image 230 of the display shelf 10 at 9:30 one hour later. .. At 8:30, the display shelves 10 are all filled.
  • the area calculation unit 102 acquires the area of the displayable area of the shelf 14 of the display shelf 10 and calculates the area ratio of the area of the non-display area of the shelf 14 to the area of the displayable area (step S103). .. At 8:30 in FIG. 10A, the area ratio of the area of the non-display area to the area of the displayable area of each shelf 14 is 0%. Therefore, since the area ratio does not satisfy the notification standard (NO in step S105), the determination unit 104 determines that the notification is not performed, bypasses step S107, and ends this process.
  • step S103 the area calculation unit 102 has acquired the area of the displayable area of the shelf 14 of the display shelf 10 stored in the storage device 110, but the area is not limited to this.
  • the input of the user U may be accepted, or may be calculated and acquired from the captured image 230 based on information such as a marker provided on the shelf 14.
  • the area calculation unit 102 detects the non-display area of each shelf 14 by using the image processing device 30 in step S101, and the area ratio of each shelf 14 Is calculated (step S103).
  • the area ratio of the area of the non-display area to the area of the displayable area of the shelf 14 is, for example, between 20% and 40% for the shelf ST2 and 40% for the shelf ST3. It is assumed that the above is the case, and the other shelves are less than 20% (step S103).
  • the shelf ST2 is determined to be notification level 2 (YES in step S105), and the shelf ST3 is determined to be notification level 1. (YES in step S105), and the other shelves are determined to have no notification (NO in step S105).
  • step S107 the notification unit 106 gives a notification corresponding to each notification level. For other shelves, this process ends by bypassing step S107.
  • FIG. 11 is a diagram showing an example of a notification screen by the notification unit 106 of the present embodiment.
  • the notification screen 400 of FIG. 11A includes a shelf list tab 402 and a notification list tab 410.
  • On the shelf list tab 402 for example, a list (not shown) of all the display shelves 10 in each store is displayed.
  • the notification list tab 410 displays a list of notification contents by the notification unit 106.
  • the list includes a thumbnail image 412, a notification content display unit 414, and a notification date / time display unit 416 for each notification.
  • the thumbnail image 412 is a thumbnail image of the front image 230 of the shelf 14 to be notified.
  • the notification content display unit 414 may indicate the identification information of the shelf 14 and the notification level. Alternatively, a message indicating that the shelf 14 whose identification information (a name for displaying a notification (for example, "lunch box") may be "shelf AAA”), such as "shelf AAA: 35% out of stock", is out of stock. And, the value of the area ratio of the non-display area calculated by the determination unit 104 may be shown.
  • the notification content display unit 414 is an example and is not limited thereto. For example, the notification content display unit 414 may indicate the notification content by using an icon for each notification level, a band graph showing the area ratio, or the like.
  • the notification date / time display unit 416 displays the date / time when the image 230 of the shelf 14 determined to require notification is captured or the determination date / time.
  • the detailed content screen 420 (FIG. 11 (b)) of each notification is displayed.
  • the detailed content screen 420 includes a notification date / time display unit 422, a shelf image display unit 424, a confirmation button 426, and a back button 428.
  • the notification date / time display unit 422 displays the date / time when the image 230 of the shelf 14 determined to require notification is captured or the determination date / time.
  • the image 230 of the shelf 14 is displayed on the shelf image display unit 424, and the image 230 shows the state of the shelf 14 in which the product 16 is out of stock.
  • the confirmation button 426 accepts an operation indicating that the user U of the user terminal 20 has confirmed the notification.
  • the back button 428 accepts an operation to return to the display of the notification list tab 410 screen of FIG. 11A.
  • the area calculation unit 102 calculates the area ratio of the area of the non-display area to the area of the displayable area of each shelf 14, and the determination unit 104 notifies according to the area ratio.
  • the notification unit 106 notifies the shelf determined to be.
  • FIG. 12 is a functional block diagram showing a logical configuration example of the management device 100 of the present embodiment.
  • the management device 100 of the present embodiment is the same as that of the above embodiment except that the notification determination is performed according to the position of the non-display area in addition to the area ratio of the non-display area.
  • the management device 100 of the present embodiment further includes a position specifying unit 120 in addition to the configuration of the management device 100 of FIG.
  • the position specifying unit 120 specifies the position of the non-display area from the captured image 230.
  • the determination unit 104 determines that the notification is performed when the area ratio satisfies the standard for notification and the position of the non-display area satisfies the standard.
  • the positions of the areas are, for example, the location and sales floor of the display shelves 10 in the store, the types of products 16 displayed on the display shelves 10, the positions of the shelves 14 in the display shelves 10 (number of stages, vertical center, etc.), and the shelves 14. It is indicated by the arrangement inside.
  • FIG. 13 is a diagram for explaining a method of setting a determination standard when the position of the area is set for each shelf 14.
  • the shelf image area 500 of each shelf 14 is cut out from the captured image 230 of the display shelf 10 and divided into nine areas R1 to R9.
  • the notification area reference information 330 is designated as an area (for example, at least area R1 and area R4) to be notified when it is determined to be a non-display area. Will be done. That is, when the product 16 does not exist from the front to the back of the shelf 14 (at least the area R1 and the area R4), it is determined that the product 16 to be displayed in the area is out of stock.
  • the ratio of the area in which the product 16 is not detected exceeds a predetermined ratio (for example, 90%) of the area, the area is included in the non-display area. Determined to be included.
  • the notification area reference information 330 is not notified (notification OFF) when it is determined to be a non-display area (for example, the area R7, the area R8, for one row on the back side of the shelf 14). And at least one of the regions R9) may be specified. That is, when the non-display area is not present in the back row of the shelf 14 (for example, at least one of the area R7, the area R8, and the area R9), the product 16 is placed on the front side of the shelf 14. It is in the state of being put out to, and it is not necessary to give notification.
  • areas may be prioritized, and areas with higher priority may be prioritized for judgment and notification.
  • the notification priority information 332 is designated with prioritized areas for notification.
  • the determination unit 104 preferentially determines a combination of regions having a high priority according to the priority of the notification priority information 332.
  • the priority method includes, for example, shortening the cycle of determination processing and raising the notification level as the priority is higher.
  • the position of the non-display area may be stored in the shape of the area, and whether or not the degree of coincidence with the shape of the non-display area is equal to or higher than a predetermined ratio may be used as a determination criterion.
  • FIG. 14 is a diagram showing an example of the region shape of the determination reference in the shelf image region 500.
  • FIG. 14A shows the shape 512 of the region having the first priority in the notification priority information 332 of FIG. 13C. Further, the positions of the region R2 and the region R5 included in the shape 512 in the shelf image region 500 are shown.
  • 14 (b) shows the shape 522 or the shape 524 of the region having the second priority of the notification priority information 332 of FIG. 13 (c). Further, the positions of the regions R1 and R4 included in the shape 522 or the shape 524 or the regions R3 and R6 in the shelf image region 500 are shown, respectively.
  • FIG. 14 (c) shows the shape 532, the shape 534, and the shape 536 of the region of the third priority of the notification priority information 332 of FIG. 13 (c).
  • Each position in the shelf image area 500 is shown for the area R1, the area R2, and / or the area R3 included in each shape.
  • Each shape serving as these determination criteria is stored in the storage device 110 for each shelf 14.
  • the position specifying unit 120 identifies the shape of the non-display area detected from the image 230.
  • the determination unit 104 uses the image processing device 30 to compare the shape of the specified non-display area with the shape stored in the storage device 110, and calculates the degree of coincidence. If the degree of coincidence is a predetermined ratio (for example, 80%) or more, the determination unit 104 determines that the notification is to be performed. If the degree of coincidence is less than a predetermined ratio, the determination unit 104 determines that the notification is not performed.
  • a predetermined ratio for example, 80%
  • the determination unit 104 changes the threshold value of the display shelf 10 having a predetermined threshold value according to the time zone, and determines whether or not to perform notification using the changed threshold value. These threshold values are stored in the storage device 110 as notification reference setting information 340.
  • FIG. 15 is a diagram showing an example of the data structure of the notification standard setting information 340.
  • the notification standard setting information 340 may be set for each display shelf 10, each shelf 14, or each type of product 16 to be displayed.
  • the threshold value of the shelf 14 of the display shelf 10 on which the lunch box is displayed is set to a value lower than the standard time at lunch time than the display shelf 10 or the shelf 14 on which the other products 16 are displayed (for example,). Change to 40-20%). This is to notify you early so that you will not be out of stock during lunch time.
  • the threshold value is changed to a set value higher than the standard time (for example, 90% or more) at the lunch box shelf 14 immediately after lunch or at night time. This is because there are few customers at night, so it doesn't matter if the lunch box is out of stock.
  • the threshold value may be changed according to the season, month, week, day of the week, specific period, specific date and time, and the like. For example, different threshold values may be set for the notification standard setting information 340 on weekdays and weekends. Further, the notification standard setting information 340 may be set to a position different from the standard for the specific product 16 during the campaign period.
  • the threshold value for each notification level may be changed depending on the time zone or the like.
  • the determination unit 104 may determine that the product 16 is unconditionally notified when the product 16 is not displayed at a specific position on the display shelf 10 based on the position of the non-display area.
  • the determination unit 104 bypasses the determination process based on other determination criteria. , It can be determined that the notification is given. By designating the position where you want to monitor the shortage status with particular emphasis, you can give the highest priority to the notification.
  • a specific position is, for example, a specific display shelf 10 in a store, a specific shelf 14 in the display shelf 10, a specific area in the shelf 14, or a display shelf 10 or a shelf 14 on which a specific product 16 is displayed. Can be specified by either.
  • the designated specific position information is stored in the storage device 110. Further, a time zone, a date and time, a period, and the like for which the designation is valid may be specified in association with each other.
  • the judgment criteria for notification can be set and changed in various ways, so that notification can be efficiently performed based on the needs of the site such as a store and the corporate policy of the manager. ..
  • FIG. 16 is a functional block diagram showing a logical configuration example of the management device 100 of the present embodiment.
  • the management device 100 of the present embodiment is at least one of the other embodiments described above, except that the management device 100 has a configuration for identifying the product 16 to be displayed in the detected non-display area and presenting information about the product. It is the same as one.
  • the management device 100 of this embodiment can be combined with at least one of the other embodiments described above within a consistent range.
  • the management device 100 further includes a product identification unit 122 and a display processing unit 130 in addition to the configuration of the management device 100 shown in FIG.
  • the product identification unit 122 identifies the product 16 displayed in the non-display area of the display shelf 10 based on the position of the non-display area on the display shelf 10 specified by the position identification unit 120.
  • the display processing unit 130 causes the display device 132 to display the character information and the image related to the specified product 16.
  • the display device 132 may be the display device of the user terminal 20 or the terminal device (not shown) of the management center. Further, it may be presented on a web page that can be viewed by logging in to the website provided by the management device 100 from the user terminal 20.
  • the character information related to the product 16 is information indicating the name, product code, price, etc. of the product 16.
  • the URL Uniform Resource Locator
  • FIG. 17 is a diagram showing an example of the data structure of the product display information 350 and the product information 352.
  • the store ID, the display shelf ID, the shelf ID, the location information, and the product ID are associated with each other. That is, the product display information 350 stores the position information in which the product 16 is displayed for each store, each display shelf 10, and each shelf 14.
  • the product information 352 is associated with a product ID, a product name, image information, and detailed product information.
  • the product ID is not particularly limited as long as it is identification information that can identify the product, but is, for example, a product code.
  • the image information includes at least the image file name of the image of the product and the path of the location where the image file is stored.
  • the detailed product information may include, for example, information such as a price, a seller, and a URL (Uniform Resource Locator) of a website for product introduction information.
  • Information on the display location of the product may be associated with the information for each product in the product information 352.
  • the notification unit 106 may notify that the product 16 is out of stock together with the information on the display position of the product 16 specified by the product identification unit 122.
  • the user U browses the information of the product 16 in the out-of-stock state displayed by the display processing unit 130 using the user terminal 20, and the notified shelf 14 of the display shelf 10.
  • the product 16 can be efficiently replenished.
  • the management device 100 may further include a quantity calculation unit 124 in addition to the configuration of FIG.
  • the quantity calculation unit 124 calculates the quantity of the specified product 16 based on the area of the non-display area.
  • the product information 352 of FIG. 17B further includes information on the size of the product (for example, the area occupied by one product at the time of display).
  • the quantity calculation unit 124 calculates the area in which the product 16 is displayed within the detected non-display area.
  • the quantity calculation unit 124 calculates the quantity of the product 16 in the out-of-stock state from the calculated area of the area and the occupied area of the product.
  • the same effect as that of the above embodiment can be obtained, and the product 16 displayed in the detected non-display area can be identified. Therefore, the shelf 14 of the display shelf 10 is out of stock. The product 16 can be notified, and the user U can efficiently replenish the product 16 that is out of stock.
  • Each setting such as the threshold value and the area which is the judgment criterion described in the above embodiment may be specified by the store clerk or the manager for each store, but can also be managed by the management center and the setting value of each store can be specified. You may.
  • the management device 100 may further include an order processing unit 140 in addition to the configuration of FIG.
  • the order processing unit 140 may perform order processing for the product 16 that is out of stock based on the quantity of the product 16 specified by the product identification unit 122 and the quantity of the product 16 calculated by the quantity calculation unit 124. it can.
  • information such as the inventory amount of each product 16 in the backyard, the quantity of the inventory amount to be ordered, and the order quantity is stored in the storage device 110 in advance as inventory information 354.
  • the order processing unit 140 determines the necessity of ordering the product 16 from the calculated quantity of the product 16 with reference to the inventory information 354, and calculates the order quantity when it is determined that the order is necessary.
  • the order processing by the order processing unit 140 may be performed automatically.
  • the order processing unit 140 may notify the user terminal 20 of the administrator of the order contents and execute the order processing by receiving the operation of the execution instruction of the order processing or the operation of changing the order contents from the administrator. Good.
  • the area of the displayable area where the products on the display shelf can be displayed is acquired, and the area of the non-display area where the products are not displayed, which is detected from the captured image of the display shelf, is relative to the area of the display shelf.
  • the determination means is a management device that determines that the notification is performed when the area ratio satisfies the standard for performing the notification and the position of the non-display area satisfies the standard. 3. 3. 1. 1. Or 2. In the management device described in The determination means is a management device that determines to perform the notification when the area ratio is equal to or greater than a threshold value. 4. 3. 3. In the management device described in The determination means is a management device that determines whether or not to change the threshold value for the display shelf at a predetermined position and perform the notification according to a time zone. 5. 1. 1. From 4.
  • a management device that determines that the determination means unconditionally gives the notification when the product is not displayed at a specific position on the display shelf based on the position of the non-display area. 6. 1. 1. From 5. In the management device described in any one of A position specifying means for specifying the position of the non-display area from the captured image, and A product identifying means for identifying a product displayed in the non-display area of the display shelf based on the position of the non-display area in the display shelf. A management device further comprising a display processing means for displaying character information and an image related to the specified product. 7. 1. 1. From 6.
  • a position specifying means for specifying the position of the non-display area from the captured image
  • a product identifying means for identifying a product displayed in the non-display area of the display shelf based on the position of the non-display area in the display shelf.
  • a management device further comprising a quantity calculation means for calculating the quantity of the specified product based on the area of the non-display area.
  • the management device Obtain the area of the displayable area where the products on the display shelf can be displayed, The area ratio of the area of the non-display area where the product is not displayed, which was detected from the captured image of the display shelf, to the area of the display shelf was calculated. It is determined whether or not to notify according to the area ratio, and A management method for giving the notification when it is determined to give the notification. 9. 8. In the management method described in The management device further The position of the non-display area is specified from the captured image, and the position is determined. A management method for determining that the notification is performed when the area ratio satisfies the standard for performing the notification and the position of the non-display area satisfies the standard. 10. 8. Or 9.
  • the management device A management method for determining that the notification is to be performed when the area ratio is equal to or greater than a threshold value. 11. 10. In the management method described in The management device A management method for determining whether or not to change the threshold value for the display shelf at a predetermined position and perform the notification according to a time zone. 12. 8. From 11. In the management method described in any one of The management device further The position of the non-display area is specified from the captured image, and the position is determined. A management method for determining that the notification is unconditionally given when the product is not displayed at a specific position on the display shelf based on the position of the non-display area. 13. 8. From 12.
  • the position of the non-display area is specified from the captured image, and the position is determined. Based on the position of the non-display area on the display shelf, the products displayed in the non-display area of the display shelf are identified. A management method for displaying text information and an image related to the specified product. 14. 8. To 13.
  • the position of the non-display area is specified from the captured image, and the position is determined. Based on the position of the non-display area on the display shelf, the products displayed in the non-display area of the display shelf are identified.
  • a management method for calculating the quantity of the specified product based on the area of the non-display area.
  • Procedure for obtaining the area of the displayable area where products on the display shelf can be displayed A procedure for calculating the area ratio of the area of the non-display area where the product is not displayed, which is detected from the captured image of the display shelf, to the area of the display shelf.
  • Procedure for determining whether or not to notify according to the area ratio A program for executing the procedure for performing the notification when it is determined to perform the notification.
  • 16. 15 In the program described in A procedure for identifying the position of the non-display area from the captured image, A program for causing a computer to further perform a procedure for determining that the notification is to be performed when the area ratio satisfies the standard for performing the notification and the position of the non-display area satisfies the standard. 17. 15. Or 16.
  • a program for causing a computer to further execute a procedure for determining that the notification is to be performed when the area ratio is equal to or greater than a threshold value. 18. 17. In the program described in A program for causing a computer to further execute a procedure of changing the threshold value of the display shelf at a predetermined position and determining whether or not to perform the notification according to a time zone. 19. 15. To 18. In the program described in any one of A procedure for identifying the position of the non-display area from the captured image, A program for further causing a computer to perform a procedure for unconditionally determining that the notification is given when the product is not displayed at a specific position on the display shelf based on the position of the non-display area. .. 20. 15. From 19.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

管理装置（１００）は、陳列棚の商品を陳列することができる陳列可能領域の面積を取得し、陳列棚について撮像画像から検出された商品が陳列されていない非陳列領域の面積の、陳列棚の面積に対する面積比を算出する面積算出部（１０２）と、面積比に応じて通知を行うか否かを判定する判定部（１０４）と、通知を行うと判定されたとき、通知を行う通知部（１０６）と、を備える。

Description

管理装置、管理方法、およびプログラム
　本発明は、管理装置、管理方法、およびプログラムに関し、特に、店舗の陳列棚を管理する管理装置、管理方法、およびプログラムに関する。
　特許文献１には、商品棚の状況を撮像し、陳列不足状態が分かるように、陳列状態に応じて色分けされた画像を重畳表示（図４）することが記載されている。特許文献２には、商品棚に商品が少ないときに補充するように通知して、在庫保管のための再注文を行うことができることが記載されている。その他、ロボットを用いて商品棚の配置を追跡するシステム（特許文献３）や、商品の在庫を監視し、補充を通知する在庫監視システム（特許文献４）などがある。
特開２０１６－５８１０５号公報 特表２０１０－５１７１４８号公報 特表２０１９－５２３９２５号公報 特開２０１９－１５２９３４号公報
　現在、人手不足による店舗における従業員の確保の問題は深刻さを増している。そのような中で、商品の在庫管理、陳列棚の商品補充作業の手間を省力化し、従業員の負担を軽減することが望まれている。
　本発明は上記事情に鑑みてなされたものであり、その目的とするところは、陳列棚への商品の補充作業の効率化を図る技術を提供することにある。
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第一の側面は、管理装置に関する。
　第一の側面に係る管理装置は、
　陳列棚の商品を陳列することができる陳列可能領域の面積を取得し、前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出する面積算出手段と、
　前記面積比に応じて通知を行うか否かを判定する判定手段と、
　前記通知を行うと判定されたとき、前記通知を行う通知手段と、を有する。
　第二の側面は、少なくとも１つのコンピュータにより実行される管理方法に関する。
　第二の側面に係る管理方法は、
　管理装置が、
　陳列棚の商品を陳列することができる陳列可能領域の面積を取得し、
　前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出し、
　前記面積比に応じて通知を行うか否かを判定し、
　前記通知を行うと判定されたとき、前記通知を行う、ことを含む。
　なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、管理装置上で、管理方法を実施させるコンピュータプログラムコードを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
　また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
　さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
　上記各側面によれば、陳列棚への商品の補充作業の効率化を図る技術を提供することができる。
本発明の実施の形態に係る店舗システムの構成例を概念的に示すブロック図である。 カメラの撮像画像を説明するための図である。 記憶される各画像の画像情報のデータ構造の一例を示す図である。 本発明の実施の形態に係る管理装置の構成を論理的に示す機能ブロック図である。 棚面積情報のデータ構造の例を示す図である。 判定基準を示す通知基準情報のデータ構造の一例を示す図である。 陳列状態情報のデータ構造の一例を示す図である。 図４に示す管理装置を実現するコンピュータのハードウェア構成を例示するブロック図である。 本実施形態の管理装置の動作の一例を示すフローチャートである。 所定時刻の陳列棚の画像の例を示す図である。 本実施形態の通知部による通知画面の一例を示す図である。 本実施形態の管理装置の論理的な構成例を示す機能ブロック図である。 判定基準の設定方法を説明するための図である。 棚画像領域における判定基準の領域形状の例を示す図である。 通知基準設定情報のデータ構造の一例を示す図である。 本実施形態の管理装置の論理的な構成例を示す機能ブロック図である。 商品陳列情報および商品情報のデータ構造の一例を示す図である。 本実施形態の管理装置の部分的な論理的な他の構成例を示す機能ブロック図である。 本実施形態の管理装置の部分的な論理的な他の構成例を示す機能ブロック図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
　実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
（第１実施形態）
＜システム概要＞
　図１は、本発明の実施の形態に係る店舗システム１の構成例を概念的に示すブロック図である。店舗システム１は、管理装置１００と、カメラ５と、ユーザ端末２０と、画像処理装置３０と、を含む。管理装置１００と、カメラ５と、ユーザ端末２０と、画像処理装置３０と、は通信ネットワーク３を介して接続される。画像処理装置３０は、管理装置１００と同じハードウェアに備えられてもよいし、別のハードウェアとして管理装置１００の外部に設けられてもよい。
　店舗には、ショーケース等を含む商品の陳列棚１０が設置されている。さらに店舗には店舗内の様子を撮像する監視用のカメラ５が設置されている。例えば、カメラ５は、店舗の天井に防犯の目的で設置された、３６０度全方位撮像可能なカメラであってもよい。一例として、カメラ５は魚眼レンズ搭載のカメラである。
　カメラ５は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備えている。例えばＩＰ（Internet Protocol）カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置（不図示）を介して画像処理装置３０に接続される。また、カメラ５は、カメラ本体やメンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えていてよい。
　ユーザ端末２０は、スマートフォン、タブレット端末、パーソナルコンピュータ等である。本実施形態において、ユーザ端末２０は、店員、店舗や管理センタの管理者などの利用者Ｕが使用する端末である。
　管理装置１００は、店舗の商品の陳列棚１０の状態を管理する装置である。陳列棚１０とは、店舗で商品を陳列する什器であり、基本の外枠１２に少なくとも一つの棚板（以下、棚１４とも呼ぶ）を設けて構成され、ゴンドラとも呼ばれる。ここでは、１つの陳列棚１０は、１つの基本の外枠１２に複数の棚１４が設けられて構成されるものとする。
　陳列棚１０の状態とは、陳列棚１０毎、または棚１４毎の、商品１６の陳列状態であり、特に、商品１６の欠品状態を示す。管理装置１００は、カメラ５が撮像した映像から陳列棚１０の画像を取得し、陳列棚１０の状態、例えば、商品１６の欠品などを検出し管理する。
　図２は、カメラ５の撮像画像を説明するための図である。図２（ａ）は、カメラ５が店内全体を上部から撮像した画像例を示す図である。図２（ｂ）は、カメラ５によって陳列棚１０を正面方向から撮像した画像例を示す図である。図２（ｃ）は、図２（ｂ）の画像から抽出された一つの陳列棚１０の画像例を示す図である。
　カメラ５が撮像された画像２００（図２（ａ））は画像処理装置３０に送信される。画像処理装置３０に送信される画像２００は、監視用のカメラ５によりリアルタイムに撮像されている映像、あるいは、定期的または所定の時刻に撮像された静止画である。ただし、画像処理装置３０に送信される画像２００は、カメラ５から直接送信されなくてもよく、図示されない記録媒体に記録された画像であってもよい。また、画像処理装置３０に送信される画像２００は、所定の時間遅延した画像であってもよい。
　図２（ｂ）の画像２１０は、ある撮像方向で撮像された画像であり、画像２１０中には３つの陳列棚１０が含まれている。画像処理装置３０により、画像２１０中の３の陳列棚１０のうちの各陳列棚１０の画像２１２を切り出して、湾曲している画像に補正処理を施し陳列棚１０を正面から見た画像２３０（図２（ｃ））に変換する。管理装置１００では、この画像処理された陳列棚１０の画像２３０を用いて陳列棚１０の状態を監視する。
　画像処理装置３０により画像処理された陳列棚１０の画像２３０は、記憶装置１１０に蓄積される。図３は、記憶される各画像２３０の画像情報２４０のデータ構造の一例を示す図である。画像情報２４０は、記憶装置１１０に記憶された画像２３０を識別する画像ＩＤと、画像２３０の撮像日時と、撮像画像から特定された陳列棚１０の位置および識別情報（陳列棚ＩＤ）とを含む。画像ＩＤは、画像２３０のファイル名と記憶場所を示すパスであってもよい。撮像日時は、画像２３０のフレーム番号であってもよい。撮像画像内の陳列棚１０は、カメラ５による撮影方向等の情報から画像処理装置３０により特定されてもよい。あるいは、画像処理装置３０は、陳列棚１０に予め設けられた陳列棚１０を識別するためのマーカを画像認識して陳列棚１０を特定してもよい。撮像画像から陳列棚１０を特定する方法は様々考えられ、この方法に限定されない。
＜機能構成例＞
　図４は、本発明の実施の形態に係る管理装置１００の構成を論理的に示す機能ブロック図である。管理装置１００は、面積算出部１０２と、判定部１０４と、通知部１０６と、を備える。さらに、管理装置１００は記憶装置１１０を備える。記憶装置１１０は、管理装置１００の内部に設けられてもよいし、外部に設けられてもよい。記憶装置１１０は、物理的に複数の記憶装置であってもよい。
　記憶装置１１０には、例えば、陳列棚の商品を陳列することができる陳列可能領域の面積が予め記憶されている。
　面積算出部１０２は、陳列可能領域の面積を取得し、陳列棚１０について撮像画像から検出された商品１６が陳列されていない非陳列領域の面積の、陳列棚１０の面積に対する面積比を算出する。判定部１０４は、面積算出部１０２で算出された面積比に応じて通知を行うか否かを判定する。通知部１０６は、通知を行うと判定されたとき、通知を行う。
　図５は、棚面積情報３０２のデータ構造の例を示す図である。棚面積情報３０２は、予め店舗内の各陳列棚１０の各棚１４について陳列可能面積の値が設定情報として記憶装置１１０に記憶される。この設定情報は、オペレータにより参照可能であり、かつ、店舗に陳列棚１０や棚１４のレイアウトの変更に伴い随時変更できるものとする。
　ここで、「陳列可能領域の面積」とは、棚１４の陳列可能な領域の平面の平方数で示されるが、これに限定されず、棚１４における陳列可能な領域の形状を示す各寸法であってもよい。例えば、棚１４の陳列可能な領域の形状が矩形の場合、棚１４の陳列可能な領域の横幅の寸法と奥行きの寸法であってもよい。つまり、棚１４の陳列可能な領域の面積を求められる情報であればよい。
　図５（ａ）の例では、棚面積情報３０２は、棚ＩＤと、当該棚１４の商品陳列可能領域の面積とが対応付けて記憶される。この例の棚ＩＤは、管理対象の店舗に設置されている各陳列棚１０と、当該陳列棚１０の各棚１４とを識別する識別情報を含む。図５（ｂ）の例では、棚面積情報３０２は、店舗ＩＤと、陳列棚ＩＤと、棚ＩＤと、商品陳列可能領域の面積とが対応付けてられている。陳列棚ＩＤは、例えば、店舗内の陳列棚１０の設置位置を示す情報を含んでもよい。カメラ５の撮像画像の店舗内の撮像位置から画像内の陳列棚１０の位置を特定し、対応する陳列棚１０を特定できる。さらに、図５（ｃ）の例では、棚面積情報３０２は、陳列棚１０、または、陳列棚１０の各棚１４の位置情報に当該棚１４の商品陳列可能領域の面積を対応付けて記憶してもよい。位置情報は、店舗内における各陳列棚１０の相対位置を示す相対位置情報でもよいし、経度緯度などで示される絶対位置情報でもよく、棚１４を特定できる情報であればよい。各棚１４の位置は、当該棚１４が陳列棚１０中の何段目かを示す情報や、棚１４が設置されている高さを示す情報であってもよい。
　面積算出部１０２は、各棚１４の陳列可能領域の面積に対する、検出された非陳列領域の面積の面積比を算出する。以下、面積比の具体的な算出方法の例を説明するが、これらに限定されない。具体的には、例えば、面積算出部１０２は、まず、画像処理装置３０を用いて画像認識処理により画像２３０から棚領域を検出し、その棚領域のうち商品１６が載っていない部分の面積を特定する。そして、面積算出部１０２は、棚１４の棚領域の面積を図５の棚面積情報３０２から取得し、面積比を算出する。
　また、各領域の面積は必ずしも特定しなくてもよく、画像内の比率を求めでもよい。例えば、面積算出部１０２は、棚領域を検出するとともに、各棚１４の棚領域のうち、商品１６が載っていない部分の領域を非陳列領域として特定する。そして、面積算出部１０２は、棚画像における当該棚領域に対する非陳列領域の比率を求め、面積比とする。
　また、一例として、判定部１０４は、非陳列領域が閾値（例えば、８０％）以上の場合は、通知を行うと判定し、非陳列領域が閾値未満の場合、通知は行わないと判定する。
　図６は、判定基準を示す通知基準情報３１０のデータ構造の一例を示す図である。この例では、複数の通知レベルに対してそれぞれ判定基準となる面積比が対応付けられている。通知レベルは、複数設定可能であり、レベル毎に通知方法および通知内容を設定することができる。この例ではレベル１とレベル２が設定されている。非陳列領域が４０％以上の場合、判定部１０４は、通知レベル１と判定する。非陳列領域が２０％～４０％の場合、判定部１０４は、通知レベル２と判定する。ただし、判定基準値は一例であり、これに限定されない。
　通知レベル２では、例えば、店舗の店員のユーザ端末２０に対して、商品１６の補充を指示する通知を送信してもよい。通知レベル１では、さらに、例えば、店舗および管理センタの管理者のユーザ端末２０に、商品１６が欠品状態であり、至急商品１６の補充を店員に指示する通知を送信してもよい。通知方法は、ユーザ端末２０へのメッセージ送信、ポップアップ画面表示、バイブレーション鳴動、音声出力などが考えられるが、これらに限定されない。
　判定部１０４により判定結果は、陳列状態情報３２０として記憶装置１１０に記憶される。図７は、陳列状態情報３２０のデータ構造の一例を示す図である。陳列状態情報３２０は、棚毎に、棚ＩＤと、日時（画像の撮像日時、判定日時等）と、面積比と、通知フラグ（例えば、通知を行う場合「１」、行わない場合「０」等）と、棚１４の撮像画像の画像ＩＤ（例えば、画像情報２４０の画像ＩＤに対応）と、を対応付けて記憶する。
＜ハードウェア構成例＞
　図８は、図４に示す管理装置１００を実現するコンピュータ１０００のハードウェア構成を例示するブロック図である。コンピュータ１０００は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０はコンピュータ１０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶装置１１０に記憶される各情報も記憶している。
　プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ１０００が使用可能な媒体を含み、その媒体に、コンピュータ１０００（プロセッサ１０２０）が読み取り可能なプログラムコードが埋め込まれてよい。
　入出力インタフェース１０５０は、コンピュータ１０００と各種入出力機器とを接続するためのインタフェースである。
　ネットワークインタフェース１０６０は、コンピュータ１０００を通信ネットワークに接続するためのインタフェースである。この通信ネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０が通信ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　そして、コンピュータ１０００は、入出力インタフェース１０５０またはネットワークインタフェース１０６０を介して、必要な機器（例えば、タッチパネル等の表示装置、入力装置、カメラ５、マイクロフォン、およびスピーカ）に接続する。
　また、管理装置１００から通知を受信するユーザ端末２０も同様に図８の構成を有するコンピュータ１０００により実現可能である。
　本実施形態において、ユーザ端末２０には、予め管理装置１００からの通知を受け取るためのアプリケーションをインストールしておく。あるいは、ブラウザなどのインターネットに接続し、管理装置１００が提供するウェブサイトのユーザページにアクセス可能なアプリケーションをインストールしておいてもよい。ユーザページは、予めユーザ登録された認証情報を入力してログインして参照できるものとする。そして、ユーザページに通知内容を示す情報を提示してもよい。
　図３の本実施形態の管理装置１００の各構成要素は、図８のコンピュータ１０００のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各実施形態の管理装置１００を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
＜動作例＞
　図９は、本実施形態の管理装置１００の動作の一例を示すフローチャートである。
　まず、管理装置１００において、面積算出部１０２は、画像処理装置３０を用いて、陳列棚１０について撮像画像２３０から商品１６が陳列されていない非陳列領域を検出する（ステップＳ１０１）。
　図１０は、所定時刻の陳列棚１０の画像２３０の例を示す図である。例えば、図１０（ａ）は、８時３０分の陳列棚１０の撮像画像２３０であり、図１０（ｂ）は、その１時間後の９時３０分の陳列棚１０の撮像画像２３０である。８時３０分の時点では、陳列棚１０は全て充填されている。
　次に、面積算出部１０２は、陳列棚１０の棚１４の陳列可能領域の面積を取得し、この陳列可能領域の面積に対する棚１４の非陳列領域の面積の面積比を算出する（ステップＳ１０３）。図１０（ａ）の８時３０分の時点では、各棚１４の陳列可能領域の面積に対する非陳列領域の面積の面積比は０％である。したがって、判定部１０４は、面積比は通知基準を満たさないので（ステップＳ１０５のＮＯ）、通知は行わないと判定し、ステップＳ１０７をバイパスして本処理を終了する。
　ステップＳ１０３で面積算出部１０２は、記憶装置１１０に記憶されている陳列棚１０の棚１４の陳列可能領域の面積を取得しているが、これに限定されない。例えば、利用者Ｕの入力を受け付けてもよいし、棚１４に設けられたマーカなどの情報を元に撮像画像２３０から算出して取得してもよい。
　一方、図１０（ｂ）の９時３０分の時点についても、ステップＳ１０１で面積算出部１０２は、画像処理装置３０を用いて各棚１４の非陳列領域を検出し、各棚１４の面積比を算出する（ステップＳ１０３）。その結果、棚１４の陳列可能領域の面積に対する、非陳列領域の面積の面積比が、例えば、棚ＳＴ２は、２０％～４０％の間であったとし、棚ＳＴ３は、面積比が４０％以上であったとし、その他の棚は、２０％未満であったとする（ステップＳ１０３）。判定部１０４により、棚１４毎に面積比が通知基準を満たすか否かを判定した結果、棚ＳＴ２は、通知レベル２と判定され（ステップＳ１０５のＹＥＳ）、棚ＳＴ３は、通知レベル１と判定され（ステップＳ１０５のＹＥＳ）、その他の棚は通知なしと判定される（ステップＳ１０５のＮＯ）。
　したがって、棚ＳＴ２と棚ＳＴ３については、ステップＳ１０７に進み、通知部１０６は、それぞれの通知レベルに対応する通知を行う。その他の棚については、ステップＳ１０７をバイパスして本処理を終了する。
　図１１は、本実施形態の通知部１０６による通知画面の一例を示す図である。図１１（ａ）の通知画面４００は、棚リストタブ４０２と、通知リストタブ４１０と、を含む。棚リストタブ４０２には、例えば、各店舗における全ての陳列棚１０のリスト（不図示）が表示される。通知リストタブ４１０には、通知部１０６による通知内容が一覧表示されている。一覧には、通知毎に、サムネイル画像４１２と、通知内容表示部４１４と、通知日時表示部４１６と、が含まれる。
　サムネイル画像４１２は、通知対象の棚１４の正面画像２３０のサムネイル画像である。通知内容表示部４１４には、当該棚１４の識別情報と、通知レベルが示されてもよい。あるいは、「棚ＡＡＡ：欠品３５％」など、識別情報（通知表示用の名称（例えば「お弁当」）でもよい）が「棚ＡＡＡ」である棚１４が欠品状態にあることを示すメッセージと、判定部１０４により算出された非陳列領域の面積比の値を示してもよい。通知内容表示部４１４は一例でありこれに限定されない。例えば、通知内容表示部４１４には、通知レベル別のアイコンや面積比を示す帯グラフ等を用いて通知内容を示してもよい。通知日時表示部４１６には、通知が必要と判定された棚１４の画像２３０が撮像された日時または判定日時が表示される。
　さらに、図１１（ａ）の各通知欄を選択することで、各通知の詳細内容画面４２０（図１１（ｂ））に移行する。図１１（ｂ）の例では、詳細内容画面４２０は、通知日時表示部４２２と、棚画像表示部４２４と、確認ボタン４２６と、戻るボタン４２８と、を含む。通知日時表示部４２２には、通知が必要と判定された棚１４の画像２３０が撮像された日時または判定日時が表示される。棚画像表示部４２４には、当該棚１４の画像２３０が表示され、当該画像２３０には、商品１６が欠品状態にある棚１４の様子が写っている。確認ボタン４２６は、当該通知をユーザ端末２０の利用者Ｕが確認したことを示す操作を受け付け。戻るボタン４２８は、図１１（ａ）の通知リストタブ４１０画面の表示に戻る操作を受け付ける。
　以上説明したように、本実施形態において、面積算出部１０２により各棚１４の陳列可能領域の面積に対する非陳列領域の面積の面積比が算出され、判定部１０４により面積比に応じて通知を行うと判定された棚について通知部１０６により通知が行われる。
　このように、本実施形態によれば、カメラ５の画像２３０から店舗の各陳列棚１０の各棚１４における商品１６の欠品状態を検出し、通知することができる。
（第２実施形態）
　図１２は、本実施形態の管理装置１００の論理的な構成例を示す機能ブロック図である。本実施形態の管理装置１００は、非陳列領域の面積比に加え、さらに、非陳列領域の位置に応じて通知判定を行う点以外は上記実施形態と同様である。本実施形態の管理装置１００は、図４の管理装置１００の構成に加え、さらに、位置特定部１２０を備えている。
　位置特定部１２０は、撮像画像２３０から非陳列領域の位置を特定する。判定部１０４は、面積比が通知を行う基準を満たし、かつ、非陳列領域の位置が基準を満たしたときに通知を行うと判定する。
　領域の位置は、例えば、店舗内の陳列棚１０の場所や売り場、陳列棚１０に陳列されている商品１６の種類、陳列棚１０内の棚１４の位置（段数、上下中央など）、棚１４の中の配置などで示される。
　図１３は、領域の位置を棚１４毎に設定した場合の判定基準の設定方法を説明するための図である。図１３（ａ）の例では、陳列棚１０の撮像画像２３０から各棚１４の棚画像領域５００を切り出し、９つの領域Ｒ１～領域Ｒ９に分割している。
　第１の例では、図１３（ｂ）に示すように、通知領域基準情報３３０は、非陳列領域であると判別された場合に通知を行う領域（例えば、少なくとも領域Ｒ１と領域Ｒ４）が指定される。つまり、棚１４の手前から奥にかけて商品１６が存在しない場合（少なくとも領域Ｒ１と領域Ｒ４）に当該領域に陳列されるべき商品１６が欠品してすると判断する。
　ここで、各領域が非陳列領域に含まれるか否かの判別は、商品１６が検出されない領域の割合が当該領域の所定割合（例えば、９０％）を超える場合に非陳列領域に当該領域が含まれると判別する。
　第２の例では、通知領域基準情報３３０は、非陳列領域であると判別された場合に通知を行わない（通知ＯＦＦ）領域（例えば、棚１４の奥側一列分の領域Ｒ７、領域Ｒ８、および領域Ｒ９の少なくともいずれか一つ）が指定されてもよい。つまり、非陳列領域が棚１４の奥側一列分（例えば、領域Ｒ７、領域Ｒ８、および領域Ｒ９の少なくともいずれか一つ）に商品１６が存在していない場合は、商品１６を棚１４の前側に出している状態であり、通知を行わなくてもよい。
　さらに、領域に優先順位を付け、優先順位の高い領域を優先して判定および通知を行ってもよい。例えば、棚１４の最前列や中央など商品１６を陳列すべき領域に商品１６がない場合に、商品１６を前側に出すよう通知を行うのが好ましい。そのため、図１３（ｃ）に示すように、通知優先順位情報３３２には、通知を行う領域が優先順位を付けて指定されている。判定部１０４は、通知優先順位情報３３２の優先順位に従い、優先順位の高い領域の組み合わせを優先して判定する。
　優先する方法は、例えば、優先順位が高い程、判定処理の周期を短くしたり、通知レベルを高くしたりすることを含む。
　また、非陳列領域の位置を領域の形状で記憶しておき、非陳列領域の形状との一致度が所定割合以上か否かを判定基準としてもよい。
　図１４は、棚画像領域５００における判定基準の領域形状の例を示す図である。図１４（ａ）は、図１３（ｃ）の通知優先順位情報３３２の優先順位１位の領域の形状５１２を示している。さらに、当該形状５１２に含まれる領域Ｒ２と領域Ｒ５の棚画像領域５００内における位置を示している。図１４（ｂ）は、図１３（ｃ）の通知優先順位情報３３２の優先順位２位の領域の形状５２２または形状５２４を示している。さらに、当該形状５２２または形状５２４に含まれる領域Ｒ１および領域Ｒ４の領域、または、領域Ｒ３および領域Ｒ６の領域の棚画像領域５００内における位置をそれぞれ示している。図１４（ｃ）は、図１３（ｃ）の通知優先順位情報３３２の優先順位３位の領域の形状５３２、形状５３４、および形状５３６を示している。各形状に含まれる領域Ｒ１、領域Ｒ２、および／または領域Ｒ３について棚画像領域５００における各位置をそれぞれ示している。
　これらの判定基準となる各形状を棚１４毎に記憶装置１１０に記憶しておく。位置特定部１２０は、画像２３０から検出された非陳列領域の形状を特定する。そして、判定部１０４は、画像処理装置３０を用いて、特定された非陳列領域の形状と、記憶装置１１０に記憶されている形状とを比較し、一致度を算出する。一致度が所定割合（例えば、８０％）以上であれば、判定部１０４は、通知を行うと判定する。一致度が所定割合未満であれば、判定部１０４は通知を行わないと判定する。
　また、判定部１０４は、時間帯に応じて、所定の閾値の陳列棚１０について閾値を変更し、変更した閾値を用いて通知を行うか否かを判定する。これらの閾値は、通知基準設定情報３４０として記憶装置１１０に記憶される。
　図１５は、通知基準設定情報３４０のデータ構造の一例を示す図である。通知基準設定情報３４０は、陳列棚１０毎、棚１４毎、または陳列される商品１６の種類毎に設定されてもよい。例えば、お弁当が陳列される陳列棚１０の棚１４の閾値は、他の商品１６が陳列される陳列棚１０や棚１４よりも昼食時間帯には標準時よりも閾値を低い設定値（例えば、４０～２０％）に変更する。これは、昼食時間帯に欠品状態にならないように、早めに通知を行うためである。また、ランチ直後のお弁当の棚１４や夜間の時間帯には、標準時よりも閾値を高い設定値（例えば、９０％以上）に変更する。これは、夜間は、顧客が少ないため、お弁当は品薄でも問題にならないためである。
　さらに、時間帯以外に、季節、月、週、曜日、特定の期間、特定の日時などに応じて閾値を変更できてもよい。例えば、通知基準設定情報３４０には、平日と週末で異なる閾値を設定してもよい。さらに、通知基準設定情報３４０には、特定の商品１６についてキャンペーン期間中には標準と異なる位置を設定してもよい。
　また、図１５の例では、通知をするか否かの基準のみが指定されているが、上記したように通知レベル毎の閾値を時間帯などにより変更できてもよい。
　さらに、判定部１０４は、非陳列領域の位置に基づいて、陳列棚１０の特定の位置に商品１６が陳列されていない場合は、無条件で通知を行うと判定してもよい。
　この例において、例えば、図１４で説明した優先順位１位の位置（領域Ｒ２と領域Ｒ５）に商品１６が陳列されていない場合、判定部１０４は、他の判定基準による判定処理はバイパスして、通知を行うと判定することができる。特に重点的に欠品状態を監視したい位置を指定しておくことで、最優先に通知を行うことができる。特定の位置は、例えば、店舗内の特定の陳列棚１０、陳列棚１０内の特定の棚１４、棚１４内の特定の領域、あるいは、特定の商品１６が陳列される陳列棚１０または棚１４のいずれかで指定できる。指定される特定の位置情報は、記憶装置１１０に記憶しておく。さらに、当該指定を有効にする時間帯、日時、期間なども対応付けて指定してもよい。
　以上説明したように、本実施形態において、通知を行う判定基準を様々に設定および変更できるので、店舗など現場のニーズや管理者側の企業方針に従った基準で通知を効率よく行うことができる。
（第３実施形態）
　図１６は、本実施形態の管理装置１００の論理的な構成例を示す機能ブロック図である。本実施形態の管理装置１００は、検出された非陳列領域に陳列されるべき商品１６を特定し、商品に関する情報を提示する構成を有する点以外は、上記した他の実施形態の少なくともいずれか一つと同様である。本実施形態の管理装置１００は、上記した他の実施形態の少なくともいずれか一つと矛盾のない範囲で組み合わせることができる。
　管理装置１００は、図１２の管理装置１００の構成に加え、さらに、商品特定部１２２と、表示処理部１３０と、を備える。商品特定部１２２は、位置特定部１２０により特定された陳列棚１０における非陳列領域の位置に基づいて当該陳列棚１０の当該非陳列領域に陳列されていた商品１６を特定する。表示処理部１３０は、特定された商品１６に関する文字情報と画像を表示装置１３２に表示させる。
　表示装置１３２は、ユーザ端末２０の表示装置であってもよいし、管理センタの端末装置（不図示）であってもよい。また、管理装置１００が提供するウェブサイトにユーザ端末２０からログインすることで閲覧できるウェブページに提示されてもよい。
　例えば、商品１６に関する文字情報とは、商品１６の名称、商品コード、価格などを示す情報である。さらに、当該商品１６を紹介するウェブページのＵＲＬ（Uniform Resource Locator）を含んでもよい。
　図１７は、商品陳列情報３５０および商品情報３５２のデータ構造の一例を示す図である。商品陳列情報３５０は、店舗ＩＤと、陳列棚ＩＤと、棚ＩＤと、位置情報と、商品ＩＤとが対応付けられている。つまり、商品陳列情報３５０には、店舗毎、陳列棚１０毎、棚１４毎に、商品１６が陳列される位置情報が記憶されている。
　商品情報３５２は、商品ＩＤ、商品名、画像情報、および商品詳細情報が対応付けられている。商品ＩＤは、商品を特定できる識別情報であれば特に限定されないが、例えば、商品コードである。画像情報は、当該商品の画像の画像ファイル名と、当該画像ファイルが保存されている場所のパスとを少なくとも含む。商品詳細情報は、例えば、価格、販売元、商品紹介情報のウェブサイトのＵＲＬ（Uniform Resource Locator）などの情報を含んでもよい。
　商品情報３５２の商品毎の情報に、当該商品の陳列場所の情報（商品陳列情報３５０）を紐付けてもよい。
　そして、通知部１０６は、商品特定部１２２により特定された商品１６の陳列位置の情報とともに、欠品状態にあるのが当該商品１６であること示すことを通知してもよい。ユーザ端末２０で通知を受けると、利用者Ｕは、ユーザ端末２０を用いて表示処理部１３０により表示された欠品状態にある商品１６の情報を閲覧し、通知された陳列棚１０の棚１４に当該商品１６を効率よく補充できる。
　さらに、図１８に示すように、管理装置１００は、図１６の構成に加え、さらに数量算出部１２４を備えてもよい。数量算出部１２４は、非陳列領域の面積に基づいて、特定された商品１６の数量を算出する。図１７（ｂ）の商品情報３５２は、さらに、商品のサイズ（例えば、陳列時の商品１つ当たりの領域占有面積）の情報をさらに含む。まず、数量算出部１２４は、検出された非陳列領域内で、商品１６が陳列されていた領域を算出する。そして、数量算出部１２４は、算出された領域の面積と、商品の占有面積とから欠品状態にある当該商品１６の数量を算出する。
　これにより、さらに、補充すべき商品１６の数量も明確になるため、補充作業を効率よく行うことができる。
　本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、検出された非陳列領域に陳列されていた商品１６を特定できるので、陳列棚１０の棚１４で欠品状態にある商品１６を通知でき、利用者Ｕは効率よく欠品状態にある商品１６の補充を行える。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　上記実施形態で説明した判定基準となる閾値や領域などの各設定は、店舗毎に店舗の店員や管理者が指定してもよいが、管理センタでも管理し、各店舗の設定値を指定できてもよい。
　また、図１９に示す他の実施形態において、管理装置１００は、図１８の構成に加え、さらに、発注処理部１４０を備えてもよい。発注処理部１４０は、商品特定部１２２に特定された商品１６と、数量算出部１２４により算出された当該商品１６の数量に基づいて、欠品状態にある当該商品１６の発注処理を行うことができる。
　この構成では、バックヤードの各商品１６の在庫量、発注をすべき在庫量の数量と、発注数量などの情報を予め在庫情報３５４として記憶装置１１０に記憶しておく。そして、発注処理部１４０は、算出した商品１６の数量から、在庫情報３５４を参照して当該商品１６の発注の要否を判定し、発注が必要と判定された場合、発注量を算出する。発注処理部１４０による発注処理は自動的に行われてもよい。または、発注処理部１４０は、管理者のユーザ端末２０に発注内容を通知し、発注処理の実行指示の操作、あるいは、発注内容の変更操作を管理者から受け付けて、発注処理を実行してもよい。
　この構成によれば、欠品状態を通知するとともに、さらに、在庫状況から欠品した商品の発注処理を行うこともできる。
　また、判定基準の設定および変更については、機械学習を用いて最適化することもできる。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．　陳列棚の商品を陳列することができる陳列可能領域の面積を取得し、前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出する面積算出手段と、
　前記面積比に応じて通知を行うか否かを判定する判定手段と、
　前記通知を行うと判定されたとき、前記通知を行う通知手段と、を備える、管理装置。
２．　１．に記載の管理装置において、
　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段をさらに備え、
　前記判定手段は、前記面積比が前記通知を行う基準を満たし、かつ、前記非陳列領域の前記位置が基準を満たしたときに前記通知を行うと判定する、管理装置。
３．　１．または２．に記載の管理装置において、
　前記判定手段は、前記面積比が閾値以上の場合に、前記通知を行うと判定する、管理装置。
４．　３．に記載の管理装置において、
　前記判定手段は、時間帯に応じて、所定の位置の前記陳列棚について前記閾値を変更して前記通知を行うか否かを判定する、管理装置。
５．　１．から４．のいずれか一つに記載の管理装置において、
　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段をさらに備え、
　前記判定手段は、前記非陳列領域の前記位置に基づいて、前記陳列棚の特定の位置に前記商品が陳列されていない場合は、無条件で前記通知を行うと判定する、管理装置。
６．　１．から５．のいずれか一つに記載の管理装置において、
　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段と、
　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する商品特定手段と、
　特定された前記商品に関する文字情報と画像を表示させる表示処理手段と、をさらに備える、管理装置。
７．　１．から６．のいずれか一つに記載の管理装置において、
　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段と、
　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する商品特定手段と、
　前記非陳列領域の前記面積に基づいて、特定された前記商品の数量を算出する数量算出手段と、をさらに備える、管理装置。
８．　管理装置が、
　陳列棚の商品を陳列することができる陳列可能領域の面積を取得し、
　前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出し、
　前記面積比に応じて通知を行うか否かを判定し、
　前記通知を行うと判定されたとき、前記通知を行う、管理方法。
９．　８．に記載の管理方法において、
　前記管理装置が、さらに、
　前記撮像画像から前記非陳列領域の位置を特定し、
　前記面積比が前記通知を行う基準を満たし、かつ、前記非陳列領域の前記位置が基準を満たしたときに前記通知を行うと判定する、管理方法。
１０．　８．または９．に記載の管理方法において、
　前記管理装置が、
　前記面積比が閾値以上の場合に、前記通知を行うと判定する、管理方法。
１１．　１０．に記載の管理方法において、
　前記管理装置が、
　時間帯に応じて、所定の位置の前記陳列棚について前記閾値を変更して前記通知を行うか否かを判定する、管理方法。
１２．　８．から１１．のいずれか一つに記載の管理方法において、
　前記管理装置が、さらに、
　前記撮像画像から前記非陳列領域の位置を特定し、
　前記非陳列領域の前記位置に基づいて、前記陳列棚の特定の位置に前記商品が陳列されていない場合は、無条件で前記通知を行うと判定する、管理方法。
１３．　８．から１２．のいずれか一つに記載の管理方法において、
　前記管理装置が、さらに、
　前記撮像画像から前記非陳列領域の位置を特定し、
　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定し、
　特定された前記商品に関する文字情報と画像を表示させる、管理方法。
１４．　８．から１３．のいずれか一つに記載の管理方法において、
　前記管理装置が、さらに、
　前記撮像画像から前記非陳列領域の位置を特定し、
　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定し、
　前記非陳列領域の前記面積に基づいて、特定された前記商品の数量を算出する、管理方法。
１５．　コンピュータに、
　陳列棚の商品を陳列することができる陳列可能領域の面積を取得する手順、
　前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出する手順、
　前記面積比に応じて通知を行うか否かを判定する手順、
　前記通知を行うと判定されたとき、前記通知を行う手順、を実行させるためのプログラム。
１６．　１５．に記載のプログラムにおいて、
　前記撮像画像から前記非陳列領域の位置を特定する手順、
　前記面積比が前記通知を行う基準を満たし、かつ、前記非陳列領域の前記位置が基準を満たしたときに前記通知を行うと判定する手順、をさらにコンピュータに実行させるためのプログラム。
１７．　１５．または１６．に記載のプログラムにおいて、
　前記面積比が閾値以上の場合に、前記通知を行うと判定する手順をさらにコンピュータに実行させるためのプログラム。
１８．　１７．に記載のプログラムにおいて、
　時間帯に応じて、所定の位置の前記陳列棚について前記閾値を変更して前記通知を行うか否かを判定する手順をさらにコンピュータに実行させるためのプログラム。
１９．　１５．から１８．のいずれか一つに記載のプログラムにおいて、
　前記撮像画像から前記非陳列領域の位置を特定する手順、
　前記非陳列領域の前記位置に基づいて、前記陳列棚の特定の位置に前記商品が陳列されていない場合は、無条件で前記通知を行うと判定する手順、をさらにコンピュータに実行させるためのプログラム。
２０．　１５．から１９．のいずれか一つに記載のプログラムにおいて、
　前記撮像画像から前記非陳列領域の位置を特定する手順、
　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する手順、
　特定された前記商品に関する文字情報と画像を表示させる手順、をさらにコンピュータに実行させるためのプログラム。
２１．　１５．から２０．のいずれか一つに記載のプログラムにおいて、
　前記撮像画像から前記非陳列領域の位置を特定する手順、
　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する手順、
　前記非陳列領域の前記面積に基づいて、特定された前記商品の数量を算出する手順、をさらにコンピュータに実行させるためのプログラム。
　この出願は、２０１９年１１月５日に出願された日本出願特願２０１９－２００８６８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　店舗システム
３　通信ネットワーク
５　カメラ
１０　陳列棚
１２　外枠
１４　棚
１６　商品
２０　ユーザ端末
３０　画像処理装置
１００　管理装置
１０２　面積算出部
１０４　判定部
１０６　通知部
１１０　記憶装置
１２０　位置特定部
１２２　商品特定部
１２４　数量算出部
１３０　表示処理部
１３２　表示装置
１４０　発注処理部
２００、２１０、２１２、２３０、２４０　画像情報
３０２　棚面積情報
３１０　通知基準情報
３２０　陳列状態情報
３３０　通知領域基準情報
３３２　通知優先順位情報
３４０　通知基準設定情報
３５０　商品陳列情報
３５２　商品情報
３５４　在庫情報
４００　通知画面
４０２　棚リストタブ
４１０　通知リストタブ
４１２　サムネイル画像
４１４　通知内容表示部
４１６　通知日時表示部
４２０　詳細内容画面
４２２　通知日時表示部
４２４　棚画像表示部
４２６　確認ボタン
４２８　ボタン
５００　棚画像領域
１０００　コンピュータ
１０１０　バス
１０２０　プロセッサ
１０３０　メモリ
１０４０　ストレージデバイス
１０５０　入出力インタフェース
１０６０　ネットワークインタフェース

Claims (21)

  1. 　陳列棚の商品を陳列することができる陳列可能領域の面積を取得し、前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出する面積算出手段と、
    　前記面積比に応じて通知を行うか否かを判定する判定手段と、
    　前記通知を行うと判定されたとき、前記通知を行う通知手段と、を備える、管理装置。
  2. 　請求項１に記載の管理装置において、
    　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段をさらに備え、
    　前記判定手段は、前記面積比が前記通知を行う基準を満たし、かつ、前記非陳列領域の前記位置が基準を満たしたときに前記通知を行うと判定する、管理装置。
  3. 　請求項１または２に記載の管理装置において、
    　前記判定手段は、前記面積比が閾値以上の場合に、前記通知を行うと判定する、管理装置。
  4. 　請求項３に記載の管理装置において、
    　前記判定手段は、時間帯に応じて、所定の位置の前記陳列棚について前記閾値を変更して前記通知を行うか否かを判定する、管理装置。
  5. 　請求項１から４のいずれか一項に記載の管理装置において、
    　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段をさらに備え、
    　前記判定手段は、前記非陳列領域の前記位置に基づいて、前記陳列棚の特定の位置に前記商品が陳列されていない場合は、無条件で前記通知を行うと判定する、管理装置。
  6. 　請求項１から５のいずれか一項に記載の管理装置において、
    　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段と、
    　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する商品特定手段と、
    　特定された前記商品に関する文字情報と画像を表示させる表示処理手段と、をさらに備える、管理装置。
  7. 　請求項１から６のいずれか一項に記載の管理装置において、
    　前記撮像画像から前記非陳列領域の位置を特定する位置特定手段と、
    　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する商品特定手段と、
    　前記非陳列領域の前記面積に基づいて、特定された前記商品の数量を算出する数量算出手段と、をさらに備える、管理装置。
  8. 　管理装置が、
    　陳列棚の商品を陳列することができる陳列可能領域の面積を取得し、
    　前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出し、
    　前記面積比に応じて通知を行うか否かを判定し、
    　前記通知を行うと判定されたとき、前記通知を行う、管理方法。
  9. 　請求項８に記載の管理方法において、
    　前記管理装置が、さらに、
    　前記撮像画像から前記非陳列領域の位置を特定し、
    　前記面積比が前記通知を行う基準を満たし、かつ、前記非陳列領域の前記位置が基準を満たしたときに前記通知を行うと判定する、管理方法。
  10. 　請求項８または９に記載の管理方法において、
    　前記管理装置が、
    　前記面積比が閾値以上の場合に、前記通知を行うと判定する、管理方法。
  11. 　請求項１０に記載の管理方法において、
    　前記管理装置が、
    　時間帯に応じて、所定の位置の前記陳列棚について前記閾値を変更して前記通知を行うか否かを判定する、管理方法。
  12. 　請求項８から１１のいずれか一項に記載の管理方法において、
    　前記管理装置が、さらに、
    　前記撮像画像から前記非陳列領域の位置を特定し、
    　前記非陳列領域の前記位置に基づいて、前記陳列棚の特定の位置に前記商品が陳列されていない場合は、無条件で前記通知を行うと判定する、管理方法。
  13. 　請求項８から１２のいずれか一項に記載の管理方法において、
    　前記管理装置が、さらに、
    　前記撮像画像から前記非陳列領域の位置を特定し、
    　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定し、
    　特定された前記商品に関する文字情報と画像を表示させる、管理方法。
  14. 　請求項８から１３のいずれか一項に記載の管理方法において、
    　前記管理装置が、さらに、
    　前記撮像画像から前記非陳列領域の位置を特定し、
    　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定し、
    　前記非陳列領域の前記面積に基づいて、特定された前記商品の数量を算出する、管理方法。
  15. 　コンピュータに、
    　陳列棚の商品を陳列することができる陳列可能領域の面積を取得する手順、
    　前記陳列棚について撮像画像から検出された前記商品が陳列されていない非陳列領域の面積の、前記陳列棚の前記面積に対する面積比を算出する手順、
    　前記面積比に応じて通知を行うか否かを判定する手順、
    　前記通知を行うと判定されたとき、前記通知を行う手順、を実行させるためのプログラム。
  16. 　請求項１５に記載のプログラムにおいて、
    　前記撮像画像から前記非陳列領域の位置を特定する手順、
    　前記面積比が前記通知を行う基準を満たし、かつ、前記非陳列領域の前記位置が基準を満たしたときに前記通知を行うと判定する手順、をさらにコンピュータに実行させるためのプログラム。
  17. 　請求項１５または１６に記載のプログラムにおいて、
    　前記面積比が閾値以上の場合に、前記通知を行うと判定する手順をさらにコンピュータに実行させるためのプログラム。
  18. 　請求項１７に記載のプログラムにおいて、
    　時間帯に応じて、所定の位置の前記陳列棚について前記閾値を変更して前記通知を行うか否かを判定する手順をさらにコンピュータに実行させるためのプログラム。
  19. 　請求項１５から１８のいずれか一項に記載のプログラムにおいて、
    　前記撮像画像から前記非陳列領域の位置を特定する手順、
    　前記非陳列領域の前記位置に基づいて、前記陳列棚の特定の位置に前記商品が陳列されていない場合は、無条件で前記通知を行うと判定する手順、をさらにコンピュータに実行させるためのプログラム。
  20. 　請求項１５から１９のいずれか一項に記載のプログラムにおいて、
    　前記撮像画像から前記非陳列領域の位置を特定する手順、
    　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する手順、
    　特定された前記商品に関する文字情報と画像を表示させる手順、をさらにコンピュータに実行させるためのプログラム。
  21. 　請求項１５から２０のいずれか一項に記載のプログラムにおいて、
    　前記撮像画像から前記非陳列領域の位置を特定する手順、
    　前記陳列棚における前記非陳列領域の前記位置に基づいて当該陳列棚の当該非陳列領域に陳列されていた商品を特定する手順、
    　前記非陳列領域の前記面積に基づいて、特定された前記商品の数量を算出する手順、をさらにコンピュータに実行させるためのプログラム。
PCT/JP2020/040594 2019-11-05 2020-10-29 管理装置、管理方法、およびプログラム WO2021090755A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021554915A JPWO2021090755A1 (ja) 2019-11-05 2020-10-29
US17/770,364 US20220391826A1 (en) 2019-11-05 2020-10-29 Target object detection apparatus, target object detection method, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-200868 2019-11-05
JP2019200868 2019-11-05

Publications (1)

Publication Number Publication Date
WO2021090755A1 true WO2021090755A1 (ja) 2021-05-14

Family

ID=75849684

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040594 WO2021090755A1 (ja) 2019-11-05 2020-10-29 管理装置、管理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220391826A1 (ja)
JP (1) JPWO2021090755A1 (ja)
WO (1) WO2021090755A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022139413A (ja) * 2021-03-12 2022-09-26 東芝テック株式会社 商品管理サーバー及び商品管理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110889A (ja) * 1993-10-14 1995-04-25 Tec Corp 商品販売登録データ処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193430A1 (en) * 2015-12-31 2017-07-06 International Business Machines Corporation Restocking shelves based on image data
US10628660B2 (en) * 2018-01-10 2020-04-21 Trax Technology Solutions Pte Ltd. Withholding notifications due to temporary misplaced products

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110889A (ja) * 1993-10-14 1995-04-25 Tec Corp 商品販売登録データ処理装置

Also Published As

Publication number Publication date
US20220391826A1 (en) 2022-12-08
JPWO2021090755A1 (ja) 2021-05-14

Similar Documents

Publication Publication Date Title
US20180167426A1 (en) Multiplatform Screen Sharing Solution for Software Demonstration
JP6127150B2 (ja) ユーザに関連付けられている複数のデバイスに対する通知の送信
US20150332376A1 (en) Ordering apparatus and recording medium recording a merchandise ordering program and control method
WO2015026741A1 (en) Systems and methods for providing selling assistance
WO2021039126A1 (ja) 業務支援システム、業務支援装置、業務支援方法、及び、コンピュータプログラム
WO2021090755A1 (ja) 管理装置、管理方法、およびプログラム
CN107644360A (zh) 箱型实况播放摄像头网络直销系统
JP2012079351A (ja) サーバ、店舗分析システム、プログラム
JP2006178719A (ja) 作業管理システムおよびプログラム
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JP6376582B1 (ja) デジタルセールス・プロフィットシステム、方法及びプログラム
JP6842288B2 (ja) 店頭商品ｅｃシステムおよび方法
EP4164215A1 (en) Video playback method and apparatus, and electronic device and computer-readable storage medium
JP2007179302A (ja) 店舗分析システム及び店舗分析システムのサーバ及びその制御プログラム
US9420189B2 (en) Management device, imaging device, imaging system, and determination method
JP2019101758A (ja) 店舗支援システム、店舗支援方法及びプログラム
US20180300802A1 (en) Facility imaging device, facility image collecting device, facility image storage device, facility image output control device, facility operation support device, user terminal device, and facility operation support method
JP2005216005A (ja) ウェブカメラ買物システム
JPWO2021090755A5 (ja)
CN102640051A (zh) 用于展示建筑结构的方法和使能上述方法的装置
JP2017167985A (ja) 通知制御プログラム、通知制御方法及び通知制御装置
JP2021034064A (ja) 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP2005184624A (ja) 商品販売・管理方法、商品販売・管理システムおよびサーバ
WO2019229788A1 (ja) コンピュータシステム、建設進捗表示方法及びプログラム
US20110205595A1 (en) System for creating medium having image laid out thereon, method for controlling the system, information processing apparatus in the system, and method for controlling the information processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20885656

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554915

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20885656

Country of ref document: EP

Kind code of ref document: A1