WO2019087519A1 - 棚監視装置、棚監視方法、及び、棚監視プログラム - Google Patents

棚監視装置、棚監視方法、及び、棚監視プログラム Download PDF

Info

Publication number
WO2019087519A1
WO2019087519A1 PCT/JP2018/030293 JP2018030293W WO2019087519A1 WO 2019087519 A1 WO2019087519 A1 WO 2019087519A1 JP 2018030293 W JP2018030293 W JP 2018030293W WO 2019087519 A1 WO2019087519 A1 WO 2019087519A1
Authority
WO
WIPO (PCT)
Prior art keywords
shelf
monitoring
shelf label
display
unit
Prior art date
Application number
PCT/JP2018/030293
Other languages
English (en)
French (fr)
Inventor
一寛 柳
若子　武士
哲郎 柿沢
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2019549874A priority Critical patent/JP7236665B2/ja
Priority to US16/759,852 priority patent/US11640576B2/en
Priority to CN201880071057.7A priority patent/CN111295684A/zh
Priority to EP18874773.7A priority patent/EP3706056A4/en
Publication of WO2019087519A1 publication Critical patent/WO2019087519A1/ja
Priority to JP2023020721A priority patent/JP2023057118A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Definitions

  • the present disclosure relates to a shelf monitoring device, a shelf monitoring method, and a shelf monitoring program.
  • a system may be used to monitor the inventory of goods based on an image obtained by photographing a display area (for example, a display shelf) of goods with a surveillance camera.
  • a display area for example, a display shelf
  • the number of items in stock for example, a shortage or lack of a product
  • the trays to be monitored in other words, the monitoring area or monitoring range
  • the number of individual goods actually displayed in the display area (the number of actual stocks) and, for example, the number of stocks of individual goods managed by the stock management system (the number of theoretical stocks) It may not match.
  • a non-limiting example of the present disclosure is a shelf monitoring device, a shelf monitoring method, and a shelf monitoring device capable of accurately monitoring the display status of an item by appropriately setting a monitoring area for a video including a display shelf. Contributing to the provision of a shelf monitoring program.
  • a shelf monitoring device detects a shelf label attached to the display shelf in accordance with an item displayed on the display shelf by image recognition of video data including the display shelf. And a setting unit for setting a monitoring area on which the article should be displayed on the display shelf in the video data based on the detected position of the shelf label, and the presence or absence of the article in the monitoring area
  • the monitoring unit further includes: a monitoring unit that monitors a display state of the article on the display shelf based on the changed image; and an output unit that outputs a monitoring result by the monitoring unit.
  • a shelf monitoring method detects a shelf label attached to the display shelf corresponding to an item displayed on the display shelf by image recognition of video data including the display shelf. Setting a monitoring area on which the article is to be displayed on the display shelf in the video data based on the detected position of the shelf label, and changing an image corresponding to the presence or absence of the article in the monitoring area Based on the display condition of the article on the display shelf is monitored, and the result of the monitoring is output.
  • a shelf monitoring program detects a shelf label attached to the display shelf corresponding to an item displayed on the display shelf by image recognition of video data including the display shelf. Setting a monitoring area on which the article is to be displayed on the display shelf in the video data based on the detected position of the shelf label, and changing an image corresponding to the presence or absence of the article in the monitoring area Based on the display status of the article on the display rack, the computer is caused to execute processing for outputting the result of the monitoring.
  • the monitoring area can be appropriately set for the image including the display rack, it is possible to accurately monitor the display condition of the article.
  • Block diagram showing a configuration example of an inventory management system according to an embodiment A schematic front view of a shelf with a shelf label according to one embodiment A partially enlarged view of the front view of the display shelf shown in FIG. 2 A diagram showing an example of shelf allocation information according to an embodiment Block diagram showing an example of the configuration of the computer illustrated in FIG. 1
  • FIG. 1 A flowchart showing an operation example of the computer (inventory monitoring device) illustrated in FIGS. 1 and 5 The figure which shows the example from which a shelf label is detected by image recognition in the inventory monitoring apparatus illustrated in FIG.1 and FIG.5.
  • FIG. 1 and 5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG.1 and FIG.5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG.1 and FIG.5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG.1 and FIG.5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG. 1 and 5 The figure which shows an example of the search order in the shelf label detection process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG.1 and FIG.5 The figure which shows an example of the search order in the shelf label detection process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG. 1 and 5 The figure which shows the setting example of the monitoring area using the shelf allocation information by the inventory monitoring apparatus illustrated to FIG. 1 and FIG.
  • a diagram showing an example of correction of a shelf label detection result by the inventory monitoring device illustrated in FIGS. 1 and 5 A diagram showing an example of correction of a shelf label detection result by the inventory monitoring device illustrated in FIGS. 1 and 5
  • FIGS. 1 and 5 A diagram showing an example of correction of a shelf label detection result by the inventory monitoring device illustrated in FIGS.
  • FIG. 1 and 5 A diagram for explaining an example in which a PTZ (pan, tilt, and zoom) camera is applied to the camera illustrated in FIG.
  • FIG. 20 is a view showing an example in which a recognition model used for pattern matching of image recognition in FIG.
  • FIG. 5 is a diagram showing an example of stepwise inventory level setting by the inventory monitoring device illustrated in FIGS. 1 and 5;
  • FIG. 5 is a diagram showing an example of stepwise inventory level setting by the inventory monitoring device illustrated in FIGS. 1 and 5;
  • FIG. 5 is a diagram showing an example of stepwise inventory level setting by the inventory monitoring device illustrated in FIGS. 1 and 5;
  • FIGS. 1 and 5 A diagram showing an example of a moving object removing process by the inventory monitoring device illustrated in FIGS. 1 and 5 A diagram showing an example of a moving object removing process by the inventory monitoring device illustrated in FIGS. 1 and 5
  • FIG. 1 is a block diagram showing a configuration example of an inventory management system according to an embodiment.
  • the inventory management system 1 illustrated in FIG. 1 may include, for example, a camera 10 and a computer 20.
  • the "inventory management system” may be paraphrased as an "inventory monitoring system”.
  • the camera 10 is installed, for example, in a store that sells a product, and captures an image including an area in which the product is displayed, for example, an area in which the display shelf 50 of the product is installed.
  • the type or type of business of the store in which the display rack 50 is installed, and the types of products handled by the store are not limited.
  • the display rack 50 may be provided in a supermarket, convenience store, department store, mass sales store, discount store, or a store or sales booth (or sales corner) installed in various facilities. Moreover, the display rack 50 may be provided not only indoors but also outdoors.
  • the camera 10 may be a dedicated camera that captures an area in which the display rack 50 is included, or may be a camera that is used for other purposes or applications, such as a security camera. Further, a plurality of cameras 10 may be provided in the stock management system 1.
  • An object to be photographed by the camera 10 (which may be referred to as a “monitoring object”) and the display rack 50 may be associated with one to one, or may be associated with one to many or many to one.
  • one display shelf 50 may be taken as a shooting target with one camera 10, or a plurality of display shelves 50 may be taken as a shooting target with one camera 10.
  • the camera 10 can include a plurality of different display shelves 50 as shooting targets with one PTZ camera 10 .
  • different areas or spaces of one display rack 50 can be included in the imaging target.
  • the width direction can be controlled by variably controlling the shooting direction of one or more PTZ cameras 10
  • a plurality of regions or spaces different in height direction can be included in the camera image.
  • the camera 10 does not have to be installed for each display shelf 50 or for each different area or space of the display shelf 50.
  • the number of installed can be reduced.
  • the computer 20 illustrated in FIG. 1 is an example of an information processing apparatus, and may be a personal computer (PC) or a server.
  • the server may include a cloud server.
  • the computer 20 and the camera 10 are connected, for example, by wire or wirelessly to communicate with each other. Also, the computer 20 and the camera 10 may be connected via a network.
  • the "network” may be a wired network or a wireless network.
  • Examples of the wired network include an intranet, the Internet, and a wired LAN (Local Area Network).
  • a wireless network is a wireless LAN.
  • the computer 20 receives video data (hereinafter, may be abbreviated as “camera video”) captured by the camera 10, and analyzes the received camera video.
  • the computer 20 monitors the stock of goods on the display rack 50 by video-recognizing the camera image of the display rack 50, and detects a shortage or a shortage of goods.
  • image recognition may be paraphrased as “image recognition”.
  • detection of a shortage or a shortage of goods may be collectively referred to as “shortage detection” for convenience.
  • Detection may be translated into “detection”.
  • the camera image may be received from the camera 10 or, for example, a recording device for recording the video data captured by the camera 10.
  • the shelf label may indicate information on a product (hereinafter referred to as “product information”) such as, for example, a product name and / or a price.
  • product information such as, for example, a product name and / or a price.
  • the shelf label may be a paper shelf label or an electronic shelf label.
  • the electronic shelf label may be configured of a liquid crystal display or the like, or may be configured of electronic paper or the like.
  • the electronic shelf label may have a wireless communication function or the like, and the information to be presented may be rewritten remotely.
  • the “shelf tag” may be called by another name such as a shelf tag, a shelf card, or a shelf label.
  • the computer 20 detects the position of the shelf label attached to the display shelf 50 by image recognition of camera images, for example, and based on the detected shelf label position, the area or space to be monitored for inventory in the display shelf 50 You may set
  • an area or space for monitoring a stock of goods may be collectively referred to as a “monitoring area” or a “monitoring range”.
  • a monitoring area or a “monitoring range”.
  • a setting example of the monitoring area in the display rack 50 based on the position of the shelf label 51 detected by the image recognition will be described later.
  • FIG. 2 shows a schematic front view of the display rack 50 to which the shelf label 51 is attached.
  • FIG. 3 is a partially enlarged front view of the display rack 50 shown in FIG.
  • FIGS. 2 and 3 show an aspect in which the display space of the display rack 50 is divided into four spaces in the height direction of the display rack 50 by the three shelf boards 52. There is.
  • region enclosed by the dotted line frame represents the condition where the shortage of goods 70 arose.
  • the video data of the display shelf 50 captured by the camera 10 is recognized by the computer 20, and a shortage or a shortage of goods is made in the monitoring area set based on the detected position of the shelf label 51.
  • An example of outputting the information when detected is also described.
  • the display spaces divided in the height direction in the display rack 50 may be referred to as “shelf”.
  • FIG. 2 shows an example focusing on two trays.
  • the method of division of the display space in one display rack 50 is not limited. Not limited to the height direction of the display rack 50, the display space may be divided in the width direction of the display rack 50.
  • the shelf label 51 may be attached to any position of the display rack 50 where the correspondence with the displayed product 70 can be visually recognized.
  • the shelf label 51 may be attached to the shelf board 52.
  • the products 70 are displayed, for example, in an area or space corresponding to the position of the corresponding shelf label 51 in each of the display spaces (the upper space of the shelf label 51 in the example of FIGS. 2 and 3).
  • shelf allocation information Information on shelf allocation (hereinafter referred to as “shelf allocation information”) may be used in addition to the detected position information of the shelf label 51 for setting the monitoring area and / or monitoring the inventory. “Shelf allocation” indicates, for example, planning how many items to be displayed (or assigned) in which display space of the display rack 50.
  • the shelf allocation information 400 may include, for example, information indicating a position at which the product 70 is displayed, and information on the product 70 displayed at the position.
  • information indicating the position where the product 70 is displayed may be referred to as “display position information”, and information regarding the product 70 may be referred to as “product information”.
  • the display position information may include information indicating any one or more of a store number, a floor number, an aisle number, a shelf number, a tray number, and a display position of the tray.
  • the item information may include, for example, information that can identify or identify the individual item 70, such as the type or content of the item 70.
  • information that can specify or identify the product 70 includes a product name such as “XXX pasta” or “YYY curry”, or a product code.
  • the product information may include, for example, information indicating the size (at least one of width, height, and depth) of the product 70, or information indicating the number of products 70 to be displayed, in other words, Then, information indicating the number of displays may be included. Further, the product information may include information indicating the price of the product 70.
  • the “number of displays” may indicate, for example, the number of displays of the product 70 in one or more of the width direction, height direction, and depth direction of the tray. Based on one or both of the information indicating the size of the product 70 and the information indicating the number of displays of the product 70, for example, it is possible to improve the accuracy of specifying a space or a region occupied by a plurality of products 70 in a shelf It is possible.
  • the computer 20 can improve the setting accuracy of the monitoring area based on the shelf label position by referring to the shelf allocation information 400, and as a result, the shortage detection accuracy of the product 70 can be improved.
  • the computer 20 may correct the detection result (for example, the shelf label position) of the shelf label 51 attached to the display shelf 50 based on the image recognition based on the shelf allocation information 400.
  • Correcting the shelf label position may include, for example, correcting a detection omission of the shelf label 51 due to image recognition based on the shelf allocation information 400.
  • a setting example of the monitoring area using the shelf allocation information 400 and a correction example of the shelf label position will be described later.
  • shelf allocation information 400 When the shelf allocation information 400 is not used, specific information such as what kind of product 70 is the product 70 that is missing or out of stock in the monitoring area is not specified, but the monitoring area set based on the shelf label position From the result of image recognition (for example, the ratio of the background image appearing in the monitoring area), it can be detected at which position of which tray a shortage or a stockout of the product 70 occurs.
  • the shelving allocation information 400 in combination in such detection processing, it becomes possible to specify specific information as to what kind of product 70 the product 70 related to the shortage detection is. For example, it is possible to present information such as "XXX pasta missing" or "X row of XXX pasta missing".
  • the computer 20 may include, for example, a processor 201, an input device 202, an output device 203, a memory 204, a storage 205, and a communication unit 206.
  • the processor 201 controls the operation of the computer 20.
  • the processor 201 is an example of a circuit or a device provided with computing capability.
  • the processor 201 for example, at least one of a central processing unit (CPU), a micro processing unit (MPU), and a graphics processing unit (GPU) may be used.
  • CPU central processing unit
  • MPU micro processing unit
  • GPU graphics processing unit
  • the input device 202 may include, for example, at least one of a keyboard, a mouse, an operation button, and a microphone. Data or information may be input to processor 201 through input device 202.
  • the output device 203 may include, for example, at least one of a display (or monitor), a printer, and a speaker.
  • the display may be, for example, a touch panel display.
  • the touch panel display may be considered to correspond to both the input device 202 and the output device 203.
  • the memory 204 stores, for example, a program executed by the processor 201 and data or information processed in response to the execution of the program.
  • the memory 204 may include a random access memory (RAM) and a read only memory (ROM).
  • the RAM may be used as a work memory of the processor 201.
  • the "program” may be referred to as "software” or "application”.
  • the storage 205 stores a program executed by the processor 201 and data or information processed in response to the execution of the program.
  • the storage allocation information 400 described above may be stored in the storage 205.
  • the shelf allocation information 400 may be stored in advance in the storage 205, or may be provided from, for example, a shelf allocation system (not shown) that manages the shelf allocation information 400 and stored in the storage 205.
  • the storage 205 may include a solid state drive device such as a hard disk drive (HDD) or a solid state drive (SSD).
  • a solid state drive device such as a hard disk drive (HDD) or a solid state drive (SSD).
  • Non-volatile memory such as flash memory, may be included in storage 205, in addition to or instead of semiconductor drive devices.
  • the program may include an inventory monitoring program that monitors the inventory of the product 70 by image recognition as described above. All or a part of the program code forming the stock monitoring program may be stored in the memory 204 and / or the storage 205, or may be incorporated in a part of the operating system (OS).
  • OS operating system
  • the program and / or data may be provided in a form recorded on a recording medium readable by the computer 20.
  • a recording medium a flexible disc, a CD-ROM, a CD-R, a CD-RW, an MO, a DVD, a Blu-ray disc, a portable hard disk and the like can be mentioned.
  • a semiconductor memory such as a USB (Universal Serial Bus) memory is also an example of the recording medium.
  • program and / or data may be provided (downloaded) from, for example, a server (not shown) to the computer 20 via a communication line.
  • programs and / or data may be provided to the computer 20 through the communication unit 206 and stored in the memory 204 and / or the storage 205.
  • programs and / or data may be provided to the computer 20 through the input device 202 and stored in the memory 204 and / or the storage 205.
  • the communication unit 206 includes, for example, a communication interface (IF) 261 for communicating with the camera 10.
  • the communication IF 261 may be either a wired interface or a wireless interface.
  • the communication IF 261 receives video data captured by the camera 10.
  • the received video data is stored, for example, in the memory 204 and / or the storage 205 via the processor 201.
  • the communication unit 206 may control the imaging direction and / or the angle of view of the PTZ camera 10 by communicating with the PTZ camera 10 according to an instruction from the processor 201, for example.
  • the communication unit 206 may also include a communication IF 262 for communicating with “another computer” (not shown) different from the computer 20.
  • the “other computer” may be, for example, a server connected to a wired or wireless network, or a user terminal connected to a wired or wireless network.
  • the “other computer” may correspond to the computer in the shelving system described above.
  • the user terminal may be held, for example, by the stock manager of the product 70.
  • Non-limiting examples of user terminals include PCs, mobile phones (including smart phones), and tablet terminals.
  • the user terminal may be provided with information relating to inventory management or inventory monitoring of the product.
  • the processor 201 causes the computer 20 to function as an inventory monitoring device that monitors the inventory of the product 70 by image recognition by reading and executing the inventory monitoring program stored in the memory 204 and / or the storage 205, for example. it can.
  • the inventory monitoring device 20 including the shelf label detection unit 211, the monitoring area setting unit 212, the shortage detection unit 213, and the output unit 214 illustrated in FIG. Be embodied.
  • the stock monitoring device 20 one or both of the shelf label associating unit 215 and the detected shelf label correction unit 216 may be embodied according to the execution of the stock monitoring program.
  • the shelf label detection unit 211 detects the shelf label 51 included in the camera image by image recognition of the camera image including all or part of the display shelf 50, for example.
  • the shelf label detection unit 211 may detect the shelf label 51 by performing pattern matching on a camera image using a template image corresponding to the shape and / or color of the shelf label 51.
  • the monitoring area setting unit 212 sets a monitoring area in the display shelf 50 based on the position of the shelf label 51 detected by the shelf label detection unit 211, for example.
  • the out-of-stock detection unit 213 is an example of a monitoring unit, and, for example, the inventory of the product 70 in the display shelf 50 based on a change in video corresponding to the presence or absence of the product in the monitoring area set by the monitoring area setting unit 212 Or monitor the “display status”.
  • the out-of-stock detection unit 213 performs pattern matching on the camera image in the monitoring area using the background image appearing in the monitoring area when the product 70 is insufficient or out of stock as a template image. A shortage or a shortage may be detected.
  • the shape of the shelf label 51 may change in the camera image depending on the installation position of the camera 10 and / or the shooting direction.
  • the shape of the shelf label 51 is different between a camera image in which the display shelf 50 is captured from the front and a camera image in which the display shelf 50 is captured from an oblique direction shifted from the front.
  • the background image appearing in the camera image when the product 70 runs out or is out of stock may change. .
  • an image in the front direction of a back plate positioned on the back of the display rack 50 may correspond to a background image.
  • the surface where the goods 70 of the shelf board 52 are displayed may correspond to a background image, for example.
  • the surface of a partition plate (not shown) that divides the shelf in the left-right direction may correspond to a background image.
  • a template image (which may be reworded as a "recognition model") used for pattern matching of image recognition is prepared corresponding to the camera position. May be done.
  • the recognition model is a template image and is described as recognizing a shelf label shape and / or a background image by pattern matching, other mounting methods are also possible.
  • a shelf model and / or a background image may be recognized using a learned model generated by machine learning for each of the shelf label and / or the background image as a recognition model.
  • a plurality of template images may be prepared.
  • the template image is stored, for example, in the storage 205 and read out by the processor 201 in a timely manner.
  • the output unit 214 is an example of a notification information generation unit that generates and outputs information to be presented (for example, notified) to the stock manager, for example.
  • the output unit 214 generates notification information including, for example, a detection result by the out-of-stock detection unit 213 and / or information based on the detection result, and outputs the notification information to the output device 203 and / or the communication unit 206.
  • information for notifying a shortage detection of the product 70 (may be referred to as “notification information”, “lack information”, or “alert information”) is an example of the output device 203. It may be output to some display and / or printer.
  • the output unit 214 is notified of notification information based on information in which the shelf allocation information 400 is associated with either or both of the detection result by the out-of-stock detection unit 213 and the detection result by the shelf label detection unit 211. It may be generated.
  • the output unit 214 is a place (out-of-stock area) related to out-of-stock detection of the product 70
  • the notification information including the product name of the detected product 70 can be generated.
  • the notification information may be transmitted to, for example, the “other computer” via the communication unit 206.
  • electronic mail may be used for transmission of notification information via the communication unit 206.
  • the shelf label associating unit 215 associates, for example, the shelf allocation information 400 (for example, product information) with each of the shelf labels 51 detected by the shelf label detection unit 211.
  • the detection shelf label correction unit 216 detects the shelf label position detected by the shelf label detection unit 211 as the product information. It may be corrected based on
  • the configuration of the computer (inventory monitoring device) 20 illustrated in FIG. 5 is merely an example.
  • the hardware and / or functional blocks may be increased or decreased in the stock monitoring device 20 as appropriate.
  • addition, deletion, division or integration of hardware and / or functional blocks may be appropriately performed in the inventory monitoring apparatus 20.
  • the inventory monitoring device 20 acquires a camera image (S11), and the shelf label detection unit 211 analyzes the acquired camera image, for example, to obtain a shelf label 51 included in the camera image. It detects (S12). For example, as illustrated with a thick frame 500 in FIG. 7, eight shelf labels 51 are detected by image recognition.
  • two shelf labels 51 are detected in the shelf board 52 of the m-th stage from the bottom, and the shelf board 52 located at the upper stage thereof (m + 1st-stage from the bottom) and further located at the upper stage Three shelf labels 51 are detected in the shelf board 52 of the (m + 2) th step from the bottom).
  • m is an integer of 1 or more.
  • the positions of the two shelf labels 51 detected on the m-th shelf board 52 from the bottom are, for example, the n-th and n + 1-th (n is an integer of 1 or more) positions in order from the left.
  • the positions of the three shelf labels 51 detected in the (m + 1) -th shelf board 52 from the bottom are, for example, the n-th, n + 1-th, and n + 2-th positions in order from the left.
  • the positions of the three shelf labels 51 detected in the (m + 2) th shelf board 52 from the bottom are, for example, the nth, n + 1st, and n + 2th positions in order from the left.
  • the position of "m-th stage and n-th" may be described as the position of "m-th stage n-th" or "m-stage n-th column".
  • the inventory monitoring device 20 acquires, for example, information indicating the position of the camera and the shelf label detection unit 211 may be provided (S11a in FIG. 6).
  • the information indicating the camera position may be associated in advance with the shelf allocation information 400, for example.
  • the shelf label detection unit 211 identifies which camera direction of which camera 10 the camera image of the camera 10 is based on, for example, the information indicating the camera position and the shelf allocation information 400, and A recognition model suitable for detection may be set. Note that an example of the association between the information indicating the camera position and the shelving information 400 will be described later.
  • the inventory monitoring device 20 sets a monitoring area for monitoring the inventory of the product 70, for example, by the monitoring area setting unit 212 (S13 in FIG. 6).
  • the monitoring area setting unit 212 sets one of the detected shelf labels 51 as the reference shelf label 51.
  • FIG. 7 shows a mode in which the lower left (first row, first) shelf label 51 is set as the reference shelf label 51.
  • the stock shelf label 51 may be set by the stock monitoring device 20 (for example, the monitoring area setting unit 212) autonomously, or is designated (manually designated) by the user (for example, stock manager) of the stock monitoring device 20. May be
  • the reference shelf label 51 can be set autonomously by image recognition is there.
  • information such as the shelf label 51 of “X rank ⁇ number” may be input to the monitoring area setting unit 212 through the input device 202 as information specifying the reference shelf label 51.
  • Manual designation may also be used to supplement autonomous settings.
  • the monitoring area setting unit 212 for example, based on the shelf allocation information 400 (for example, display position information) illustrated in FIG.
  • the shelf labels 51 adjacent in the left-right direction may be detected.
  • the shelf label 51 adjacent to an up-down direction and / or the left-right direction may be called “the adjacent shelf label 51" for convenience.
  • the “detection” of the adjacent shelf label 51 may be paraphrased as “search” or “search” of the adjacent shelf label 51.
  • the monitoring area setting unit 212 may set the monitoring area based on the detected distance between the shelf labels 51.
  • a setting example of the monitoring area is shown in FIG.
  • the monitoring area setting unit 213 sets between the reference shelf label 51 and the adjacent shelf label 51. Find the distance of
  • the distance Rx between the m-th n-th reference shelf label 51 and the right-hand m-th n + 1-th shelf label 51 is detected, and the reference shelf label 51 and the m + 1-th row n-th in the upward direction
  • the distance Ry between the shelf label 51 and the is detected.
  • the monitoring area setting unit 212 sets, for example, a monitoring area MA (see a dotted line frame) having a size and a shape determined by the distances Rx and Rx in the monitoring area of the first shelf label 51.
  • the monitoring area setting unit 212 sets the monitoring area MA for each of the shelf labels 51 detected by the image recognition by detecting the distances Rx and Ry between the other shelf labels 51 and the adjacent shelf labels 51 as well. Do.
  • the monitoring area setting unit 212 calculates, for each of the shelf labels 51 detected by image recognition, the distance between the shelf label 51 and the adjacent shelf label that is the adjacent shelf label, and calculates the calculated distance.
  • the monitoring area MA corresponding to each shelf label 51 is set based on that. Therefore, the monitoring area MA for the product 70 displayed corresponding to the shelf label 51 can be set appropriately.
  • the shape of the monitoring area MA may be rectangular or circular such as elliptical.
  • the shelf labels 51 may be arranged in accordance with predetermined rules (rules) for each space in which the product 70 is displayed.
  • the shelf label 51 may be installed according to a certain rule such as installing the shelf label 51 at the lower left of the product 70. If a certain rule is defined, the exact monitoring area MA can be set based on the position of each shelf label 51 or the distance between the shelf labels 51 and the certain rule. For example, if the shelf label 51 is disposed at the lower left of the product 70, it is understood that the monitoring area is present on the right side of the shelf label 51.
  • the dummy shelf label 51 is installed to obtain the distance between the shelf labels 51 including the dummy shelf label 51 It may be done.
  • the dummy shelf 51 may be installed on "POP" installed on the shelf.
  • POP is an advertising medium in which a product name, a product price, a catch copy, an explanatory note, and / or an illustration are written on paper, for example.
  • the distance between the shelf labels 51 may be determined based on the distance to another shelf (for example, the lower shelf).
  • the distances Ry calculated for the other shelf labels 51 may be reused.
  • Ry of a tray immediately below with little distortion of perspective may be reused, or Ry of another tray may be converted based on camera parameters to estimate Ry.
  • the distance between the shelf labels 51 may be set manually for the shelf tiers on which the shelf labels 51 are not installed.
  • the distance between the shelf labels 51 as the distance between the shelf label 51 attached to the display shelf 50 May be required.
  • the distance from the image edge of the camera image may be set as the distance between the shelf labels 51.
  • the shelf allocation information 400 may include, for example, information regarding one or more of the width, height, depth, and the number of displays of the product 70 to be monitored.
  • the detected shelf label correction unit 216 may correct the shelf label position detected by the shelf label detection unit 211 (S12a in FIG. 6).
  • the shelf allocation information 400 may be used to confirm and / or correct the accuracy of the detection result of the shelf label 51 by image recognition. By correcting the shelf label position, it is possible to improve the detection accuracy of the out-of-stock item 70 that is the monitoring target. An example of correction of the shelf label position will be described later with reference to FIGS. 17 to 19.
  • the inventory monitoring device 20 runs out of stock items 70 in the monitoring area MA, for example, by pattern matching between the camera video of each monitoring area MA and the background video in the stockout detection unit 213. A product area is detected (S14 in FIG. 6).
  • the out-of-stock detection unit 213 detects that the product 70 is not displayed in the area where the background video appears, by matching the background video appearing in the monitoring area MA with the template image in pattern matching. In other words, the shortage or stockout of the product 70 corresponding to the shelf label 51 is detected.
  • the inventory monitoring device 20 In response to the detection of the shortage or shortage of the product 70, the inventory monitoring device 20 generates and outputs information for notifying the shortage detection of the product 70, for example, by the output unit 214 (S15 in FIG. 6). Character information and / or voice information may be included in the information for notifying the shortage detection of the product 70, and for example, in a display on which a camera image is displayed, for highlighting the area related to the shortage detection. Information may be included.
  • the following may be mentioned.
  • the following highlighting modes may be combined as appropriate.
  • the color of an area (hereinafter, may be collectively referred to as “out of stock area”) related to the detection of a shortage is changed to a color (emphasis color) that is more prominent than the color of other regions.
  • ⁇ The missing area is displayed blinking.
  • Display the out-of-stock area with a solid line frame or a dotted line frame.
  • the solid line frame or the dotted line frame may be colored (emphasized color).
  • the solid line frame or dotted line frame attached to the out-of-stock area blinks.
  • the monitoring area for the display shelf 50 in the camera video is detected based on the position of the shelf label 51 detected by the video recognition of the camera video including the display shelf 50 Since the setting is performed, for example, the monitoring area can be appropriately set for the camera image including the display rack 50 regardless of the manual operation.
  • setting of the display space to be monitored in the display rack 50 can be automated. Therefore, for example, even if the relative positional relationship between the display rack 50 and the camera 10 changes due to an external factor such as vibration, it is possible to reset the monitoring area appropriately by detecting the shelf label 51 by image recognition. It is.
  • the stock monitoring device 20 monitors the stock of the goods 70 in the display shelf 50 based on the video change corresponding to the presence or absence of the goods 70 in the set monitoring area, and notifies the monitoring result to the stock manager, for example. It is possible to suppress the case where a specific product is left out of stock. Therefore, it is possible to suppress the loss of product sales opportunities and to improve the image of customers.
  • shelf label associating process (S14a) may be performed by the shelf label associating unit 215 between the shortage detection (S14) and the information output (S15).
  • the shelf label associating process indicated by S14a in FIG. 6 may be performed, for example, as follows. First, as shown in FIG. 9, for example, the shelf label associating unit 215 sets one of the shelf labels 51 detected by image recognition (for example, “3rd tier 1” in the upper left) as a reference shelf label. .
  • the shelf label associating unit 215 makes a reference to the reference shelf label 51, for example, as shown in FIG.
  • the tag 51 is detected as the adjacent shelf label 51.
  • the shelf label 51 of "3rd level 2nd" is detected.
  • the shelf label associating unit 215 detects the adjacent shelf label 51 illustrated in FIG. 10 by using the shelf label 51 located at the end of the shelf to which the reference shelf label 51 belongs, for example, the shelf label 51 of “3rd tier 3”. Repeat until detected.
  • the shelf label associating unit 215 compares the shelf label 51 positioned at the end of the shelf row to which the reference shelf label 51 belongs. The coordinate is the closest, and the shelf label 51 is detected. For example, as shown in FIG. 11, the shelf label 51 of "2nd level 3rd" is detected.
  • the shelf label associating unit 215 When the shelf label 51 located at the end of the shelf to which the reference shelf label 51 belongs is detected, the shelf label associating unit 215 returns the search criteria to the reference shelf label 51 as shown in FIG. It is also possible to detect the shelf label 51 having the closest coordinates. In this case, the shelf label 51 of "two-tiered No. 1" is detected.
  • the shelf label associating unit 215 repeats the shelf label detection process illustrated in FIGS. 10 and 11 or 10 and 12 until all the shelf labels 51 are detected.
  • FIG. 15A shows an example of the search order in the shelf label detection process illustrated in FIGS. 10 and 11
  • FIG. 15B shows an example of the search order in the shelf label detection process illustrated in FIGS.
  • the search order of the shelf labels 51 is not limited to the order illustrated in FIGS. 15A and 15B.
  • the shelf label associating unit 215 associates the shelf label 51 (see FIG. 13) of the “m-th row n” with the shelf allocation information 400 (for example, product information). .
  • Shelf assignment information 400 including product information is associated with each shelf label 51 detected by image recognition by the shelf label association processing. Therefore, even if the monitoring area MA is set based on the distance between the shelf labels 51 as described above (see FIG. 14), it is possible to specify the product information of the monitoring target in each of the monitoring areas MA.
  • the height of the uppermost monitoring area MA may be set based on, for example, the height of the lower tray.
  • the setting of the reference shelf label 51 may be stored in the storage 205, for example. In the second and subsequent shelf label association processing, the setting of the stored reference shelf label 51 may be performed. Therefore, resetting the reference shelf label 51 may be unnecessary.
  • shelf label associating unit 215 may, for example, select one or both of the information indicating the out-of-stock area detected by the out-of-stock detection unit 213 and the information on the shelf label 51 detected by image recognition. It may be associated with 400.
  • the output unit 214 may generate notification information based on the shelf allocation information 400. For example, based on the association information between the information indicating the out-of-stock area and the information on the detection shelf label 51, the output unit 214 detects the location (out-of-stock area) related to the out-of-stock detection of the product 70 and / or the out-of-stock detection Notification information including the product name and / or the product code of the selected product 70 may be generated.
  • the generated notification information is output to, for example, the output device 203 and / or the communication unit 206.
  • the inventory monitoring device 20 can notify, for example, the stock manager of information including the product name and / or the product code of each product 70 related to the detection of a shortage by using the shelf allocation information 400.
  • the stock manager can, for example, properly and smoothly replenish the products 70 to the individual trays.
  • shelf allocation information 400 includes, for example, information indicating the size of the product 70 and information indicating the number of displays of the product 70, a setting example of the monitoring area MA using these information will be described.
  • the information of “display three items 70 of width X and height Y with respect to the shelf label 51 of m-th step n” is included in the shelf allocation information 400.
  • the monitoring area setting unit 212 may set a monitoring area MA of a size (width X and height Y) in which three products 70 are included.
  • the size of the product 70 in the depth direction may be arbitrary.
  • monitoring area MA set in FIG. 16 and the monitoring area set in FIG. 8 have the same size as a result, if the size and / or the number of displays of the product 70 are different in the example of FIG.
  • the size of the set monitoring area MA also results differently from the example of FIG.
  • the monitoring area setting unit 202 determines the information on the width, height, and number of displays of the product 70. Even if part of the information is lacking, it can be supplemented by the detected distance. Also, the width and / or height of the product 70 may be complemented based on the size of the shelf label 51 detected by video recognition. The size of the shelf label 51 may be known, or may be detected by image recognition of the shelf label 51.
  • the monitoring area setting unit 212 Based on the information indicating the height of the product 70, the size of the monitoring area MA in the y-axis direction can be appropriately set.
  • stepwise shortage detection since the number of products 70 to be monitored in the monitoring area MA can be grasped, for example, in the stockout detection unit 213, it is possible to enhance the accuracy of stepwise stockout detection. An example of stepwise shortage detection will be described later.
  • shelf allocation information 400 includes, for example, information indicating the type of the product 70 and information indicating the number of displays of the product 70, a correction example of the shelf label detection result using the shelf allocation information 400 will be described. .
  • the detection shelf label correction unit 216 On the basis of the information, it is possible to detect and correct the detection omission of the shelf label 51 by the image recognition.
  • FIG. 17 shows a case where detection omission of the shelf label 51 may occur.
  • the shelf allocation information 400 for each of the three shelf labels 51, information represented by C1, C2 and C3 in FIG. 18 and information on which products 70 of different widths (X1, X2 and X3) are displayed is displayed. included.
  • the second shelf label 51 is detected depending on the image recognition. May fail.
  • the detection shelf label correction unit 216 may correct the detection omission by including the estimated shelf label 51 in the shelf label 51 detected by the image recognition.
  • the omission in detection due to the image recognition can be corrected based on the shelf allocation information 400.
  • the setting accuracy of the monitoring area MA based on the position of can be enhanced.
  • FIG. 20 shows an example in which two PTZ cameras 10 are installed on, for example, a ceiling portion of one of the two display shelves 50 adjacent in the depth direction.
  • each of the PTZ cameras 10 captures, for example, the other front of the two display racks 50 from obliquely above.
  • the PTZ camera 10 may be installed, for example, on the ceiling of a store where the display shelf 50 is installed, and the front of the display shelf 50 may be photographed from diagonally above.
  • N is an integer of 2 or more that represents the number of shooting directions.
  • the change of the imaging direction may be controlled, for example, by the inventory monitoring device 20 communicating with the PTZ camera 10 via the communication IF 261 (see FIG. 5).
  • the change control of the imaging direction may be performed periodically at a predetermined cycle, or may be performed irregularly at a specific timing.
  • the shooting direction may be changed according to the user's instruction. For example, when a time zone in which a specific product 70 is likely to be out of stock can be grasped in advance within a predetermined unit period such as one day, one week, or one month, the product 70 which is easily out of stock at least in that time zone
  • the imaging direction may be controlled so that the subject is included in the monitoring target.
  • a sales promotion time zone sales time zone
  • sales time zone sales time zone
  • Information indicating the shooting direction of the PTZ camera 10 may be associated with the shelf allocation information 400 described above.
  • an ID may be assigned to the PTZ camera 10 and N pieces of angle information (N is an integer of 2 or more), and the ID may be associated with the ID in the shelving information 400 (see FIG. 4).
  • association of IDs makes it possible to identify, for example, which tray of which display rack 50 is to be monitored by which imaging direction of which PTZ camera 10.
  • the association of the IDs may be performed by, for example, the shelf label associating unit 215 (see FIG. 5).
  • a recognition model may be prepared in advance for each different shooting direction.
  • the recognition model suitable for image recognition may also change depending on, for example, whether or not a glass door is attached to the front of the display rack 50. Therefore, for example, a recognition model suitable for image recognition may be prepared in advance according to the photographing direction and / or the presence or absence of the glass door.
  • FIG. 21 shows an example in which recognition models # 1, # 2 and # 3 are set for three imaging directions #A, #B and #C, respectively.
  • a plurality of recognition models may be switched, and a recognition model in which the number of detected shelf labels 51 most matches the shelf allocation information may be selected.
  • the PTZ camera 10 for the camera 10, it is possible to monitor and grasp inventory at a plurality of points with one PTZ camera 10, so the total number of cameras installed in the inventory management system 1 is It can be reduced. Therefore, the total cost of the inventory management system 1 can be reduced.
  • Stepwise shortage detection Even if the out-of-stock information is output after the out-of-stock area of the product 70 is detected, the replenishment of the product 70 may not be in time.
  • the inventory monitoring device 20 can change the inventory level of the product 70 (may be rephrased as the “out-of-stock level”) according to the area ratio of the background image appearing in the monitoring area set by the monitoring area setting unit 212. It may be presented to the stock manager in stages.
  • FIGS. 22A-22C show an example of graded stockout levels.
  • FIG. 22A a situation in which three products 70 are displayed at the positions of “m-th stage n-th” to “m-th stage n + 2-th” (out-of-stock level 0) is shown.
  • FIG. 22B shows the situation where one of the three products 70 is out of stock (out of stock level 1)
  • FIG. 22C shows the situation where the three products 70 are out of stock (out of stock level 3) It is done.
  • the inventory monitoring device 20 (for example, the stockout detection unit 213) associates the area level of the background image appearing in the monitoring area at the stockout level with the stockout level and sets it in the monitoring area. Determine the shortage level for the area ratio of the appearing background image. Information indicating the determined shortage level is output to the output unit 214, for example.
  • the output unit 214 generates notification information including information indicating an out-of-stock level, and outputs the notification information to the output device 203 and / or the communication unit 206. Thereby, information indicating the stepwise stockout level is presented to, for example, the stock manager.
  • the stock manager may be set adaptively.
  • the threshold level of notification in advance which notification level is to be notified
  • the stock manager May be set adaptively.
  • “out-of-stock level 1” may be set as the notification threshold level. Note that the notification may be made at all shortage levels.
  • the inventory monitoring device 20 can present a gradual stock shortage level to the inventory manager. Therefore, the inventory manager can be alerted at a stage before the product 70 is completely out of stock, and timely replenishment of the product becomes possible.
  • the inventory monitoring device 20 is, for example, as shown in FIG. 23 and FIG.
  • the item level may be presented to the inventory manager. For example, it can be presented that only the product 70 in the front row is out of stock.
  • the shelf allocation information 400 includes information indicating the number of displayed products 70 in the depth direction from the front of the shelf, the depth direction of the tray based on the video recognition result of the monitoring area and the shelf allocation information 400
  • the out-of-stock level may be set, for example, in the out-of-stock detection unit 213.
  • the person appearing in the camera image is a temporary obstacle to shelf label detection and stock shortage detection by image recognition.
  • the presence of temporary obstacles can reduce the accuracy of shelf label detection and stockout detection.
  • the inventory monitoring device 20 (for example, the shelf label detection unit 211 and / or the shortage detection unit 213) performs a moving object such as a person from a camera image as illustrated in FIG. It may be removed.
  • the inventory monitoring device 20 may set the moving body removal mode to ON by communicating with the camera 10 via the communication IF 261 (see FIG. 5), for example.
  • the specific procedure of moving body removal since the above-mentioned nonpatent literature 2 grade
  • the monitoring area is set for the display shelf 50 in the camera video based on the position of the shelf label 51 detected by the video recognition of the camera video including the display shelf 50 Therefore, the monitoring area can be appropriately set for the camera image including the display rack 50 without manual operation, for example.
  • setting of the display space to be monitored in the display rack 50 can be automated. Therefore, for example, even if the relative positional relationship between the display rack 50 and the camera 10 changes due to an external factor such as vibration, it is possible to reset the monitoring area appropriately by detecting the shelf label 51 by image recognition. It is.
  • the effect of embodiment mentioned above is not restricted to what can automate all the settings of the display space made into monitoring object. In the case where a reference shelf label is specified manually, accuracy can also be improved by making part manual.
  • the stock monitoring device 20 monitors the stock of the goods 70 in the display shelf 50 based on the video change corresponding to the presence or absence of the goods 70 in the set monitoring area, and notifies the monitoring result to the stock manager, for example. It is possible to suppress the case where a specific product is left out of stock. Therefore, it is possible to suppress the loss of product sales opportunities and to improve the image of customers.
  • the inventory monitoring device 20 can notify, for example, the inventory manager of the product information of the individual products 70 related to the shortage detection by using the shelf allocation information 400.
  • the shelf allocation information 400 For example, any product 70 in any tray stage It is possible to make the stock manager accurately grasp whether the stock is out of stock. Therefore, even if it is difficult to specify individual product names and the like depending on the video analysis of the camera video, the stock manager may properly and smoothly replenish the products 70 to the individual trays, for example. it can.
  • the inventory monitoring device 20 can correct a detection omission due to image recognition based on the shelf allocation information 400.
  • the setting accuracy of the monitoring area MA based on the position of the shelf label 51 can be enhanced.
  • the inventory monitoring device 20 can improve the accuracy of identifying the space or area occupied by the plurality of products 70 in the shelf based on the shelf allocation information 400, so that the setting accuracy of the monitoring area based on the shelf label position As a result, the shortage detection accuracy of the product 70 can be improved.
  • the camera 10 need not be installed for each display shelf 50 or for each different area or space of the display shelf 50. The number of installed can be reduced.
  • the PTZ camera has been described as an example of the camera 10.
  • the camera can change the shooting direction, it is also possible to use a camera without a zoom function.
  • the camera 10 does not have to have both the pan function and the tilt function.
  • the plurality of display racks 50 can be photographed even with the camera 10 having only the tilt function.
  • the camera 10 may be an omnidirectional camera.
  • the captured image is an omnidirectional image including images of a plurality of display shelves 50 present around the camera 10.
  • the change control of the imaging direction corresponds to a process of changing and controlling a portion cut out from the captured omnidirectional image.
  • the inventory monitoring device 20 uses the PTZ camera by performing shelf label detection and / or stock shortage detection using a recognition model suitable for each of the virtual shooting directions corresponding to the portion extracted from the omnidirectional image. The same control as in the case can be realized.
  • portions corresponding to each of the plurality of display racks 50 are simultaneously cut out, and shelf tag detection is performed using a recognition model suitable for each.
  • a plurality of display racks 50 can also be monitored simultaneously by performing stockout detection.
  • the inventory monitoring device 20 may use shelf model detection and / or stock shortage detection by using a recognition model suitable for image recognition according to, for example, the shooting direction of the display rack 50 and / or the presence or absence of a glass door. Accuracy can be improved.
  • the inventory monitoring device 20 can present the gradual stock shortage level to the inventory manager. Therefore, the inventory manager can be alerted at a stage before the product 70 is completely out of stock, and timely replenishment of the product becomes possible.
  • the inventory monitoring device 20 can improve the accuracy of shelf label detection and out-of-stock detection by image recognition.
  • the monitoring target by the computer 20 is the product 70 displayed on the display rack 50
  • the monitoring target by the computer 20 is not limited to the product 70 related to commerce.
  • the monitoring target by the computer 20 may be an "article” such as a display item displayed on a showcase.
  • the computer 20 can detect the loss of the "article” in the showcase and notify the administrator or the like.
  • the computer 20 that monitors the inventory or display status of the "article” may be referred to as, for example, a “shelf monitoring device", an “article monitoring device”, or an “article display status monitoring device”.
  • a program that causes the computer 20 to function as an apparatus for monitoring the inventory or display status of "articles” is referred to as a “shelf monitoring program", an "article monitoring program”, or an “article display status monitoring program” Good.
  • each function block employed in the description of the above-described embodiment may typically be implemented as an LSI constituted by an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include some or all. Although an LSI is used here, it may be called an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • a field programmable gate array FPGA
  • a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI may be used.
  • the shelf monitoring device is a detection unit that detects a shelf label attached to the display shelf corresponding to an item displayed on the display shelf by image recognition of video data including the display shelf, and A setting unit configured to set a monitoring area on which the article is to be displayed on the display shelf in the image data based on the position of the shelf label, and an image change corresponding to the presence or absence of the article in the monitoring area Based on the display unit, a monitoring unit that monitors the display state of the article on the display rack, and an output unit that outputs a monitoring result by the monitoring unit may be provided.
  • the shelf monitoring device includes: a communication unit that receives shelf layout information including information on at least the items to be displayed in each of the monitoring areas; and the shelf layout information on the shelf label detected by the detection unit. And an associating unit that associates information on the articles included in the information.
  • the output unit when the monitoring result of the monitoring area indicates a shortage or a shortage of the item, the monitoring result and information on the item associated with the shelf label corresponding to the monitoring area You may output it.
  • the shelf monitoring device in the present disclosure includes a communication unit that receives shelf allocation information including at least one of the size and the number of items to be displayed in each of the monitoring areas, and the items included in the shelf allocation information. And a correction unit that corrects the position of the shelf label detected by the detection unit based on at least one of the size and the number of displays.
  • the shelf monitoring device in the present disclosure may include a communication unit that receives shelf allocation information including at least one of the size of the item to be displayed in each of the monitoring areas and the number of displays, and the setting unit The size of the monitoring area may be determined based on at least one of the size and the number of displays of the article included in the shelving information.
  • the video data may include a plurality of video data captured at a plurality of different shooting directions by at least a camera whose shooting direction is variable.
  • the detection unit may detect the shelf label by image recognition using a recognition model corresponding to the photographing direction.
  • the monitoring unit detects the inventory level of the article step by step based on the area ratio of the background image appearing in the monitoring area, and the output unit is missing the article.
  • information indicating the stock level may be output.
  • the shelf monitoring device in the present disclosure may include a communication unit that receives shelf allocation information including information on the number of displayed items to be displayed in each of the monitoring areas, and the monitoring unit appears in the monitoring areas.
  • the stock level of the articles may be detected in stages based on the area ratio of the background image and the number of displays of the articles included in the shelving information.
  • the setting unit calculates, for each of the detected shelf labels, a distance between the corresponding shelf label and an adjacent shelf label that is an adjacent shelf label, and based on the distance.
  • a monitoring area corresponding to each shelf label may be set.
  • the shelf labels may be arranged according to a predetermined rule for each of the areas in which the articles are displayed, and the setting unit may include each of the shelf labels and the adjacent shelf label.
  • the monitoring area may be set based on the distance between the two and the predetermined rule.
  • the setting unit is configured to set the shelf label in which the adjacent shelf label does not exist based on the distance calculated for the other shelf label with respect to the shelf label in which the adjacent shelf label does not exist.
  • a corresponding surveillance area may be set.
  • a shelf label attached to the display shelf is detected and detected corresponding to an item displayed on the display shelf by image recognition of video data including the display shelf. Based on the position of the shelf label, a monitoring area in which the article is to be displayed is set for the display rack in the video data, and the image change corresponding to the presence or absence of the article in the monitoring area is set. The display status of the article on the display rack is monitored, and the result of the monitoring is output.
  • the shelf monitoring program detects and detects a shelf label attached to the display shelf corresponding to an item displayed on the display shelf by image recognition of video data including the display shelf. Based on the position of the shelf label, a monitoring area in which the article is to be displayed is set for the display rack in the video data, and the image change corresponding to the presence or absence of the article in the monitoring area is set.
  • a computer executes processing for monitoring the display status of the article on the display rack and outputting the result of the monitoring.
  • the present disclosure is suitable for a system that monitors or manages the display status of an item.
  • stock management system 10 camera 20 computer (stock monitoring device) Reference Signs List 50 display shelf 51 shelf label 52 shelf board 70 commodity 201 processor 202 input device 203 output device 204 memory 205 storage 206 communication unit 211 shelf label detection unit 212 monitoring area setting unit 213 shortage detection unit 214 output unit 215 shelf label association unit 216 Detected shelf label correction unit 261, 262 Communication interface (IF) 400 Shelf Allocation Information MA Monitoring Area

Abstract

棚監視装置（２０）は、検出部（２１１）と、設定部（２１２）と、監視部（２１３）と、出力部（２１４）と、を備えてよい。検出部（２１１）は、陳列棚が含まれる映像データの映像認識によって、陳列棚に陳列される物品に対応して陳列棚に付された棚札を検出する。設定部（２１２）は、検出された棚札の位置に基づいて、映像データにおける陳列棚に対して物品が陳列されるべき監視エリアを設定する。監視部（２１３）は、監視エリアにおける物品の有無に対応した映像変化に基づいて、陳列棚における物品の陳列状況を監視する。出力部（２１４）は、監視部（２１３）による監視結果を出力する。

Description

棚監視装置、棚監視方法、及び、棚監視プログラム
　本開示は、棚監視装置、棚監視方法、及び、棚監視プログラムに関する。
　リテール業界において、例えば、商品の在庫及び／又は売り上げの管理をシステム化することによって、業務の効率化が進んでいる。在庫管理については、例えば、商品の陳列エリア（例えば、陳列棚）を監視カメラで撮影した映像に基づいて、商品の在庫を監視するシステムが利用されることがある。
特開２０１５－１０３１５３号公報 特許第６１１２４３６号公報
　しかし、例えば、陳列棚が含まれる映像に対して、監視対象に含める棚段（別言すると、監視エリア又は監視範囲）を適切に設定しないと、商品の在庫数（例えば、商品の不足又は欠品）を的確に監視することが困難になる場合がある。
　そのため、結局、人の目視によって個々の商品の在庫を確認せざるを得ないことがある。人の目視による確認では、陳列エリアに実際に陳列されている個々の商品数（実在庫数）と、例えば在庫管理システムによって管理されている個々の商品の在庫数（理論在庫数）と、が一致しないことがある。
　実在庫数と理論在庫数とが一致しない場合、例えば、目視によって確認した実在庫数に合わせて理論在庫数を修正するといった、在庫管理データの人手による修正作業が生じ、修正に時間がかかる。
　そのような修正作業を毎日及び／又は毎時間に行なうことは在庫管理者にとって負担であるため、例えば、特定の商品が欠品した状態で放置されるケースが生じ得る。欠品したままの状態が放置されてしまうと、商品販売の機会が失われ、場合によっては、顧客に対するイメージダウンにつながる。
　本開示の非限定的な実施例は、陳列棚が含まれる映像に対して監視エリアを適切に設定することで、物品の陳列状況を的確に監視可能な棚監視装置、棚監視方法、及び、棚監視プログラムの提供に資する。
　本開示の一態様に係る棚監視装置は、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出する検出部と、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定する設定部と、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視する監視部と、前記監視部による監視結果を出力する出力部と、を備える。
　また、本開示の一態様に係る棚監視方法は、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、前記監視の結果を出力する。
　また、本開示の一態様に係る棚監視プログラムは、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、前記監視の結果を出力する、処理を、コンピュータに実行させる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様によれば、陳列棚が含まれる映像に対して監視エリアを適切に設定できるため、物品の陳列状況を的確に監視することが可能である。
　本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
一実施の形態に係る在庫管理システムの構成例を示すブロック図 一実施の形態に係る、棚札が付された陳列棚の模式的な正面図 図２に示された陳列棚の正面図を部分的に拡大して示す図 一実施の形態に係る棚割情報の一例を示す図 図１に例示したコンピュータの構成例を示すブロック図 図１及び図５に例示したコンピュータ（在庫監視装置）の動作例を示すフローチャート 図１及び図５に例示した在庫監視装置において映像認識によって棚札が検出される例を示す図 図１及び図５に例示した在庫監視装置によって監視エリアが設定される例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による監視エリアの設定例を示す図 図１及び図５に例示した在庫監視装置による棚札検出処理での探索順序の一例を示す図 図１及び図５に例示した在庫監視装置による棚札検出処理での探索順序の一例を示す図 図１及び図５に例示した在庫監視装置による、棚割情報を用いた監視エリアの設定例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１に例示したカメラにＰＴＺ（パン、チルト、及び、ズーム）カメラを適用した例を説明する図 図２０において、映像認識のパターンマッチングに用いる認識モデルが撮影方向毎に異なる例を示す図 図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 図１及び図５に例示した在庫監視装置による動体除去処理の一例を示す図 図１及び図５に例示した在庫監視装置による動体除去処理の一例を示す図
　以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　（システム構成例）
　図１は、一実施の形態に係る在庫管理システムの構成例を示すブロック図である。図１に示す在庫管理システム１は、例えば、カメラ１０と、コンピュータ２０と、を備えてよい。なお、「在庫管理システム」は、「在庫監視システム」と言い換えられてもよい。
　カメラ１０は、例えば、商品を販売する店舗内に設置されて、商品が陳列されるエリア、例えば、商品の陳列棚５０が設置されたエリアを含む映像を撮影する。陳列棚５０が設置される店舗の業種又は業態、及び、店舗が扱う商品の種類は限定されない。
　例えば、陳列棚５０は、スーパーマーケット、コンビニエンスストア、百貨店、量販店、ディスカウントストア、あるいは、各種施設に設置された売店や販売ブース（又は販売コーナー）に設けられてよい。また、陳列棚５０は、屋内に限らず屋外に設けられてもよい。
　カメラ１０は、陳列棚５０が含まれるエリアを撮影する専用のカメラであってもよいし、防犯カメラのように他の目的あるいは用途で利用されるカメラと兼用であってもよい。また、カメラ１０は、在庫管理システム１に、複数台設けられてもよい。
　カメラ１０による撮影対象（「監視対象」と言い換えてもよい）と陳列棚５０とは、１対１に対応付けられてもよいし、１対多あるいは多対１に対応付けられてもよい。例えば、１つのカメラ１０で１つの陳列棚５０を撮影対象としてもよいし、１つのカメラ１０で複数の陳列棚５０を撮影対象としてもよい。
　例えば、カメラ１０に、ＰＴＺカメラのような、撮影方向及び／又は画角が可変のカメラを用いることで、１台のＰＴＺカメラ１０で、異なる複数の陳列棚５０を撮影対象に含めることができる。あるいは、１台のＰＴＺカメラ１０で、１つの陳列棚５０の異なる領域又は空間を撮影対象に含めることができる。
　例えば、１つの陳列棚５０の幅方向又は高さ方向を１台のカメラ１０ではカメラ映像に収めることが困難な場合、１台以上のＰＴＺカメラ１０の撮影方向を可変制御することで、幅方向又は高さ方向の異なる複数の領域又は空間をカメラ映像に収めることができる。
　このように、カメラ１０にＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
　図１に例示したコンピュータ２０は、情報処理装置の一例であって、パーソナルコンピュータ（ＰＣ）でもよいし、サーバでもよい。サーバには、クラウドサーバが含まれてよい。コンピュータ２０とカメラ１０とは、例えば、有線又は無線によって接続されて、互いに通信する。また、コンピュータ２０とカメラ１０とは、ネットワークを介して接続されてもよい。
　「ネットワーク」は、有線ネットワークでもよいし、無線ネットワークでもよい。有線ネットワークの一例としては、イントラネット、インターネット、及び、有線ＬＡＮ（Local Area Network）が挙げられる。無線ネットワークの一例としては、無線ＬＡＮが挙げられる。
　コンピュータ２０は、例えば、カメラ１０で撮影された映像データ（以下「カメラ映像」と略称することがある）を受信し、受信したカメラ映像を解析する。例えば、コンピュータ２０は、陳列棚５０のカメラ映像を映像認識することによって、陳列棚５０における商品の在庫を監視し、商品の不足あるいは欠品を検知する。
　なお、「映像認識」は、「画像認識」と言い換えられてもよい。また、商品の不足あるいは欠品を検知することを、便宜的に、「欠品検知」と総称することがある。「検知」は、「検出」に言い換えられてもよい。また、カメラ映像の受信元は、カメラ１０でもよいし、例えば、カメラ１０で撮影された映像データを録画する録画装置でもよい。
　商品の在庫を監視することには、陳列棚５０に付された棚札の位置を検知することが含まれてよい。棚札には、例えば、商品名及び／又は価格といった、商品に関する情報（以下「商品情報」と称する）が示されてよい。棚札は、紙棚札であってもよいし、電子棚札であってもよい。電子棚札は、液晶ディスプレイ等で構成されていてもよいし、電子ペーパー等で構成されていてもよい。また、電子棚札は、無線通信機能等を備えており、提示する情報を遠隔で書き換えられるものであってもよい。なお、「棚札」は、棚タグ、棚カード、又は、棚ラベルといった別の呼称で呼ばれてもよい。
　コンピュータ２０は、例えば、カメラ映像の映像認識によって、陳列棚５０に付された棚札の位置を検知し、検知した棚札位置に基づいて、陳列棚５０において在庫を監視する対象の領域又は空間を設定してよい。
　以下において、商品の在庫を監視する対象の領域又は空間を、「監視エリア」又は「監視範囲」と総称することがある。映像認識によって検知された棚札５１の位置に基づいた、陳列棚５０における監視エリアの設定例については、後述する。
　図２に、棚札５１が付された陳列棚５０の模式的な正面図を示す。図３には、図２に示された陳列棚５０の正面図が部分的に拡大されて示されている。非限定的な一例として、図２及び図３には、陳列棚５０の陳列スペースが、３つの棚板５２によって、陳列棚５０の高さ方向に４つの空間に区分された態様が示されている。また、図２及び図３において、点線枠で囲んだ領域は、商品７０の欠品が生じた状況を表している。
　また、図３には、陳列棚５０をカメラ１０で撮影した映像データをコンピュータ２０において映像認識し、検出された棚札５１の位置に基づいて設定された監視エリアにおいて商品の不足又は欠品を検出した場合に、その情報を出力する例が併記されている。
　陳列棚５０において高さ方向に区分された陳列スペースは、「棚段」と称されてもよい。図２には、２つの棚段に着目した例が示されている。なお、１つの陳列棚５０における陳列スペースの区分の仕方は限定されない。陳列棚５０の高さ方向に限らず、陳列棚５０の幅方向に陳列スペースが区分されてもよい。
　棚札５１は、陳列される商品７０との対応関係を視認可能な、陳列棚５０のいずれかの位置に付されてよい。例えば、棚札５１は、棚板５２に付されてよい。商品７０は、例えば、陳列スペースのそれぞれにおいて、対応する棚札５１の位置に対応した領域又は空間（図２及び図３の例では、棚札５１の上部空間）に陳列される。
　監視エリアの設定、及び／又は、在庫の監視には、検知された棚札５１の位置情報に加えて、棚割に関する情報（以下「棚割情報」と称する）が用いられてよい。「棚割」とは、例えば、陳列棚５０のどの陳列スペースに、どのような商品を幾つ陳列するか（又は、割り当てる）かを計画することを表す。
　図４に、棚割情報４００の一例を示す。図４に示すように、棚割情報４００には、例えば、商品７０が陳列される位置を示す情報と、その位置に陳列される商品７０に関する情報と、が含まれてよい。なお、以下において、商品７０が陳列される位置を示す情報を「陳列位置情報」と称することがあり、商品７０に関する情報を「商品情報」と称することがある。
　非限定的な一例として、陳列位置情報には、店舗番号、階数、通路番号、棚番号、棚段番号、及び、棚段における陳列位置のいずれか１つ以上を示す情報が含まれてよい。
　商品情報には、例えば、商品７０の種類又は内容といった個々の商品７０を特定又は識別可能な情報が含まれてよい。商品７０を特定又は識別可能な情報の非限定的な一例としては、「ＸＸＸパスタ」又は「ＹＹＹカレー」といった商品名、あるいは、商品コードが挙げられる。
　なお、商品情報には、例えば、商品７０のサイズ（幅、高さ、及び、奥行きの少なくとも１つ）を示す情報が含まれてもよいし、陳列する商品７０の個数を示す情報、別言すると、陳列数を示す情報が含まれてもよい。また、商品情報には、商品７０の価格を示す情報が含まれてもよい。
　「陳列数」は、例えば、棚段の幅方向、高さ方向、及び、奥行き方向の１つ以上についての、商品７０の陳列数を示してよい。商品７０のサイズを示す情報と、商品７０の陳列数を示す情報と、の一方又は双方を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上することが可能である。
　したがって、コンピュータ２０は、棚割情報４００を参照することで、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
　また、コンピュータ２０は、陳列棚５０に付された棚札５１の、映像認識に基づく検知結果（例えば、棚札位置）を、棚割情報４００に基づいて補正してもよい。棚札位置を補正することには、例えば映像認識による棚札５１の検知漏れを、棚割情報４００に基づいて訂正することが含まれてよい。
　棚割情報４００を用いた監視エリアの設定例及び棚札位置の補正例については、後述する。
　なお、棚割情報４００を用いない場合、監視エリアにおいて不足又は欠品した商品７０がどのような商品７０なのかといった具体的な情報は特定されないが、棚札位置に基づいて設定された監視エリアを画像認識した結果（例えば、監視エリアに現れる背景画像の割合）から、何れの棚段の何れの位置において商品７０の不足又は欠品が生じているかは検知できる。このような検知処理において棚割情報４００を併用することで、欠品検知に係る商品７０がどのような商品７０であるのかという具体的な情報を特定することが可能になる。例えば、「ＸＸＸパスタが欠品」あるいは「〇段△列のＸＸＸパスタが欠品」といった情報の提示が可能になる。
　（コンピュータ２０の構成例）
　次に、図５を参照して、コンピュータ２０の構成例について説明する。図５に示すように、コンピュータ２０は、例示的に、プロセッサ２０１、入力装置２０２、出力装置２０３、メモリ２０４、ストレージ２０５、及び、通信部２０６を備えてよい。
　プロセッサ２０１は、コンピュータ２０の動作を制御する。プロセッサ２０１は、演算能力を備えた回路又はデバイスの一例である。プロセッサ２０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、及び、ＧＰＵ（Graphics Processing Unit）の少なくとも１つが用いられてよい。
　入力装置２０２は、例えば、キーボードや、マウス、操作ボタン、及び、マイクロフォンの少なくとも１つを含んでよい。入力装置２０２を通じて、プロセッサ２０１にデータ又は情報が入力されてよい。
　出力装置２０３は、例えば、ディスプレイ（又はモニタ）、プリンタ、及び、スピーカの少なくも１つを含んでよい。ディスプレイは、例示的に、タッチパネル式のディスプレイであってもよい。タッチパネル式のディスプレイは、入力装置２０２及び出力装置２０３の双方に該当すると捉えてよい。
　メモリ２０４は、例えば、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。メモリ２０４には、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）が含まれてよい。ＲＡＭは、プロセッサ２０１のワークメモリに用いられてよい。「プログラム」は、「ソフトウェア」あるいは「アプリケーション」と称されてもよい。
　ストレージ２０５は、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。ストレージ２０５に、既述の棚割情報４００が記憶されてよい。なお、棚割情報４００は、予めストレージ２０５に記憶されてもよいし、例えば、棚割情報４００を管理する棚割システム（不図示）から提供されてストレージ２０５に記憶されてもよい。
　ストレージ２０５は、ハードディスクドライブ（ＨＤＤ）、又は、ソリッドステートドライブ（ＳＳＤ）といった半導体ドライブ装置を含んでよい。半導体ドライブ装置の追加で又は代替で、フラッシュメモリのような不揮発性メモリが、ストレージ２０５に含まれてもよい。
　プログラムには、上述したように映像認識によって商品７０の在庫を監視する在庫監視プログラムが含まれてよい。在庫監視プログラムを成すプログラムコードの全部又は一部は、メモリ２０４及び／又はストレージ２０５に記憶されてもよいし、オペレーティングシステム（ＯＳ）の一部に組み込まれてよい。
　プログラム及び／又はデータは、コンピュータ２０が読取可能な記録媒体に記録された形態で提供されてよい。記録媒体の一例としては、フレキシブルディスク、ＣＤ－ＲＯＭ，ＣＤ－Ｒ，ＣＤ－ＲＷ，ＭＯ，ＤＶＤ、ブルーレイディスク、ポータブルハードディスク等が上げられる。また、ＵＳＢ（Universal Serial Bus）メモリ等の半導体メモリも記録媒体の一例である。
　また、プログラム及び／又はデータは、例えば、サーバ（不図示）から通信回線を介してコンピュータ２０に提供（ダウンロード）されてもよい。例えば、通信部２０６を通じてプログラム及び／又はデータがコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてよい。また、プログラム及び／又はデータは、入力装置２０２を通じてコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてもよい。
　通信部２０６は、例えば、カメラ１０と通信するための通信インタフェース（ＩＦ）２６１を備える。通信ＩＦ２６１は、有線インタフェース及び無線インタフェースのいずれであってもよい。
　例えば、通信ＩＦ２６１は、カメラ１０で撮影された映像データを受信する。受信した映像データは、例えば、プロセッサ２０１を介して、メモリ２０４及び／又はストレージ２０５に記憶される。カメラ１０がＰＴＺカメラである場合、通信部２０６は、例えば、プロセッサ２０１からの指示に応じてＰＴＺカメラ１０と通信することで、ＰＴＺカメラ１０の撮影方向及び／又は画角を制御してよい。
　また、通信部２０６は、コンピュータ２０とは異なる「他のコンピュータ」（不図示）と通信するための通信ＩＦ２６２を備えてもよい。「他のコンピュータ」は、例えば、有線又は無線のネットワークに接続されたサーバでもよいし、有線又は無線のネットワークに接続されたユーザ端末でもよい。「他のコンピュータ」が、既述の棚割システムにおけるコンピュータに該当してもよい。
　ユーザ端末は、例えば、商品７０の在庫管理者に所持されてよい。ユーザ端末の非限定的な一例としては、ＰＣ、携帯電話（スマートフォンを含む）、及び、タブレット端末が挙げられる。ユーザ端末に、商品の在庫管理又は在庫監視に係る情報が提供されてよい。
　プロセッサ２０１が、例えば、メモリ２０４及び／又はストレージ２０５に記憶された在庫監視プログラムを読み出して実行することにより、コンピュータ２０を、映像認識によって商品７０の在庫を監視する在庫監視装置として機能させることができる。
　例えば、プロセッサ２０１が在庫監視プログラムを実行することによって、図５に例示する、棚札検出部２１１、監視エリア設定部２１２、欠品検出部２１３、及び、出力部２１４を含む在庫監視装置２０が具現される。オプションとして、在庫監視装置２０において、棚札関連付け部２１５、及び、検出棚札補正部２１６の一方又は双方が、在庫監視プログラムの実行に応じて具現されてもよい。
　棚札検出部２１１は、例えば、陳列棚５０の全部又は一部が含まれるカメラ映像の映像認識によって、カメラ映像に含まれる棚札５１を検出する。例えば、棚札検出部２１１は、棚札５１の形状及び／又は色に対応したテンプレート画像を用いて、カメラ映像に対してパターンマッチングを行うことにより、棚札５１を検出してよい。
　監視エリア設定部２１２は、例えば、棚札検出部２１１によって検出された棚札５１の位置に基づいて、陳列棚５０における監視エリアを設定する。
　欠品検出部２１３は、監視部の一例であって、例えば、監視エリア設定部２１２によって設定された監視エリアにおける商品の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫（又は「陳列状況」と称してもよい）を監視する。
　例えば、欠品検出部２１３は、商品７０が不足又は欠品した場合に監視エリアに現れる背景映像をテンプレート画像に用いて、監視エリアのカメラ映像に対してパターンマッチングを行うことにより、商品７０の不足又は欠品を検出してよい。
　なお、カメラ１０の設置位置及び／又は撮影方向によって、カメラ映像において棚札５１の形状が変わり得る。例えば、陳列棚５０を正面から捉えたカメラ映像と、陳列棚５０を正面からずれた斜め方向から捉えたカメラ映像とでは、棚札５１の形状が異なる。
　また、カメラ１０の設置位置及び／又は撮影方向（以下、便宜的に「カメラ位置」と総称することがある）によって、商品７０が不足又は欠品した場合にカメラ映像に現れる背景映像も変わり得る。
　例えば、陳列棚５０を正面から捉えたカメラ映像では、陳列棚５０の背面に位置する背板の正面方向の画像が背景映像に相当し得る。また、陳列棚５０を斜め上方から捉えたカメラ映像では、例えば、棚板５２の商品７０が陳列される面が背景映像に相当し得る。陳列棚５０を斜め側方から捉えたカメラ映像では、例えば、棚段を左右方向に仕切る仕切り板（図示せず）の表面が背景映像に相当し得る。
　このように、カメラ位置によって棚札５１の形状及び／又は背景映像が変わるため、映像認識のパターンマッチングに用いるテンプレート画像（「認識モデル」と言い換えてもよい）は、カメラ位置に対応して用意されてよい。なお、本実施の形態では、認識モデルはテンプレート画像であり、パターンマッチングによって棚札の形状及び／又は背景映像を認識するものとして説明するが、他の実装方法も可能である。例えば、棚札及び／又は背景映像それぞれについて機械学習を行うことにより生成した学習済モデルを認識モデルとして用いて、棚札及び／又は背景映像を認識してもよい。
　例えば、カメラ１０が複数の場所に設置されている場合、及び／又は、ＰＴＺカメラ１０のように撮影方向が可変である場合には、複数のテンプレート画像が用意されてよい。テンプレート画像は、例えば、ストレージ２０５に記憶され、プロセッサ２０１によって適時に読み出される。
　出力部２１４は、例えば在庫管理者に提示（例えば、通知）する情報を生成して出力する通知情報生成部の一例である。出力部２１４は、例えば、欠品検出部２１３による検出結果、及び／又は、検出結果に基づく情報を含む通知情報を生成して出力装置２０３及び／又は通信部２０６へ出力する。
　非限定的な一例として、商品７０の欠品検知を通知する情報（「通知情報」、「欠品情報」、又は、「アラート情報」と称されてもよい）が、出力装置２０３の一例であるディスプレイ及び／又はプリンタへ出力されてよい。
　なお、出力部２１４は、欠品検出部２１３による検出結果及び棚札検出部２１１による検出結果のいずれか一方又は双方と、棚割情報４００と、が関連付けられた情報に基づいて、通知情報を生成してもよい。
　例えば、欠品検出部２１３による検出結果と棚割情報４００とが関連付けられた情報を基に、出力部２１４は、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名を含む通知情報を生成できる。
　なお、通知情報は、例えば、通信部２０６を介して「他のコンピュータ」へ送信されてもよい。通信部２０６を介した通知情報の送信には、電子メールが利用されてもよい。
　棚札関連付け部２１５は、例えば、棚札検出部２１１によって検出された棚札５１のそれぞれに対して、棚割情報４００（例えば、商品情報）を関連付ける。
　検出棚札補正部２１６は、例えば、棚割情報４００に商品情報の一例として商品７０のサイズ及び陳列数に関する情報が含まれる場合に、棚札検出部２１１によって検出された棚札位置を商品情報に基づいて補正してよい。
　なお、図５に例示したコンピュータ（在庫監視装置）２０の構成は、あくまでも例示である。在庫監視装置２０においてハードウェア及び／又は機能ブロックの増減が適宜に行なわれてよい。例えば、ハードウェア及び／又は機能ブロックの追加、削除、分割、又は、統合が、在庫監視装置２０において、適宜に行なわれてよい。
　（動作例）
　次に、在庫監視装置２０の動作例について説明する。
　図６に示すように、在庫監視装置２０は、例えば、カメラ映像を取得し（Ｓ１１）、取得したカメラ映像を例えば棚札検出部２１１において解析することによって、カメラ映像に含まれる棚札５１を検出する（Ｓ１２）。例えば図７において太枠５００を付して示すように、映像認識によって８個の棚札５１が検出される。
　図７の例では、下からｍ段目の棚板５２において２つの棚札５１が検出され、その上段に位置する（下からｍ＋１段目の）棚板５２、及び、更に上段に位置する（下からｍ＋２段目）の棚板５２において、それぞれ、３つの棚札５１が検出されている。なお、ｍは１以上の整数である。
　下からｍ段目の棚板５２において検出された２つの棚札５１の位置は、例えば左から順に、ｎ番目及びｎ＋１番目（ｎは１以上の整数）の位置である。同様に、下からｍ＋１番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。下からｍ＋２番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。なお、「ｍ段目及びｎ番目」の位置を、「ｍ段ｎ番」又は「ｍ段ｎ列」の位置と表記することがある。
　在庫管理システム１に複数台のカメラ１０が備えられている場合、あるいは、カメラ１０にＰＴＺカメラが用いられる場合、在庫監視装置２０は、例えば、カメラ位置を示す情報を取得して棚札検出部２１１に与えてよい（図６のＳ１１ａ）。
　カメラ位置を示す情報は、例えば、棚割情報４００と予め関連付けられていてよい。棚札検出部２１１は、例えば、カメラ位置を示す情報と棚割情報４００に基づいて、何れのカメラ１０の何れの撮影方向のカメラ映像であるかを識別して、映像認識による棚札５１の検出に適した認識モデルを設定してよい。なお、カメラ位置を示す情報と棚割情報４００との関連付けの一例については後述する。
　棚札５１の検出（図６のＳ１２）に応じて、在庫監視装置２０は、例えば監視エリア設定部２１２によって、商品７０の在庫を監視する監視エリアを設定する（図６のＳ１３）。例えば、監視エリア設定部２１２は、検出された棚札５１のうちの１つを基準棚札５１に設定する。非限定的な一例として、図７には、左下（１段１番）の棚札５１が基準棚札５１に設定される態様が示されている。
　基準棚札５１は、在庫監視装置２０（例えば、監視エリア設定部２１２）が自律的に設定してもよいし、在庫監視装置２０のユーザ（例えば、在庫管理者）によって指定（マニュアル指定）されてもよい。
　例えば、基準棚札５１の色（例えば、フレームカラー）及び／又は形状といった外観を他の棚札５１の外観とは異ならせておくことで、映像認識によって基準棚札５１を自律的に設定可能である。
　あるいは、「○段△番」の棚札５１といった情報が、基準棚札５１を指定する情報として入力装置２０２を通じて監視エリア設定部２１２に入力されてもよい。また、マニュアル指定は、自律的な設定の補完に用いられてもよい。
　基準棚札５１の設定に応じて、監視エリア設定部２１２は、例えば、図４に例示した棚割情報４００（例えば、陳列位置情報）を基に、基準棚札５１に対して上下方向及び／又は左右方向に隣り合う棚札５１を検出してよい。
　なお、上下方向及び／又は左右方向に隣り合う棚札５１を、便宜的に、「隣接棚札５１」と称することがある。隣接棚札５１の「検出」は、隣接棚札５１の「検索」又は「探索」と言い換えられてもよい。
　監視エリア設定部２１２は、検出した棚札５１間の距離に基づいて、監視エリアを設定してよい。監視エリアの設定例を図８に示す。
　図８において、例えば、ｍ（＝１）段ｎ（＝１）番の棚札５１を基準棚札に設定した場合、監視エリア設定部２１３は、基準棚札５１と隣接棚札５１との間の距離を求める。
　例えば、ｍ段ｎ番の基準棚札５１と、右方向のｍ段ｎ＋１番の棚札５１と、の間の距離Ｒｘが検出され、また、基準棚札５１と、上方向のｍ＋１段ｎ番の棚札５１と、の間の距離Ｒｙが検出される。
　監視エリア設定部２１２は、例えば、距離Ｒｘ及びＲｘによって定まるサイズ及び形状の監視エリアＭＡ（点線枠参照）を、１段１番の棚札５１についての監視エリアに設定する。監視エリア設定部２１２は、他の棚札５１についても、隣接棚札５１との間の距離Ｒｘ及びＲｙを検出することで、映像認識によって検出された棚札５１のそれぞれについて監視エリアＭＡを設定する。
　以上のように、監視エリア設定部２１２は、映像認識によって検出した棚札５１それぞれについて、当該棚札５１と隣り合う棚札である隣接棚札との間の距離を算出し、算出した距離に基づいて棚札５１それぞれに対応する監視エリアＭＡを設定する。したがって、棚札５１に対応して陳列される商品７０についての監視エリアＭＡを的確に設定できる。
　なお、監視エリアＭＡの形状は、矩形でもよいし楕円形のような円形でもよい。また、棚札５１は、商品７０が陳列されるスペースそれぞれに対して所定の規則（ルール）に従って配置されてよい。例えば、商品７０の左下に棚札５１を設置するといった一定のルールに従って棚札５１が設置されてよい。一定のルールが定められていれば、各棚札５１の位置又は棚札５１間の距離と、一定のルールと、に基づいて、正確な監視エリアＭＡを設定することができる。例えば、商品７０の左下に棚札５１が配置されるのであれば、監視エリアは当該棚札５１の右側に存在することが分かる。
　また、棚札５１が設置されない棚段（例えば、最上段の棚段）が存在する場合、ダミーの棚札５１を設置することで、ダミーの棚札５１を含む棚札５１間の距離が求められてよい。なお、ダミーの棚札５１を使って最上段の棚段より上の距離Ｒｙを求める場合には、例えば棚に設置する「ＰＯＰ」にダミーの棚段５１を設置するなどとしてもよい。
　「ＰＯＰ」とは、商品名、商品の価格、キャッチコピー、説明文、及び／又は、イラストを例えば紙に記した広告媒体である。あるいは、棚札５１が設置されない棚段における距離Ｒｙについては、他の棚段（例えば、下段の棚段）との距離に基づいて、棚札５１間の距離が求められてもよい。
　例えば、隣接棚札５１の存在しない棚札５１については、他の棚札５１について算出された距離Ｒｙが再利用されてもよい。例えば、パースの歪みの少ない直下の棚段のＲｙを再利用したり、あるいは、カメラのパラメータを踏まえて他の棚段のＲｙを変換してＲｙを推定したりしてもよい。あるいは、棚札５１が設置されない棚段については、手動で棚札５１間の距離が設定されてもよい。
　また、棚段の右端に位置する棚札５１については、隣り合う別の陳列棚５０が存在すれば、その陳列棚５０に付された棚札５１との間の距離として棚札５１間の距離が求められてよい。あるいは、棚段の右端に位置する棚札５１については、カメラ映像の画像端との距離が棚札５１間の距離として設定されてもよい。
　なお、棚割情報４００には、例えば、監視対象である商品７０の幅、高さ、奥行き、及び、陳列数の１つ以上に関する情報が含まれてよい。この場合、当該情報を基に、検出棚札補正部２１６において、棚札検出部２１１によって検出された棚札位置が補正されてよい（図６のＳ１２ａ）。
　別言すると、棚割情報４００は、映像認識による棚札５１の検出結果の精度確認及び／又は補正に用いられてよい。棚札位置の補正によって、監視対象である商品７０の欠品検出精度を高めることができる。棚札位置の補正例については図１７～図１９を用いて後述する。
　監視エリアＭＡの設定後、在庫監視装置２０は、欠品検出部２１３にて、例えば、個々の監視エリアＭＡのカメラ映像と背景映像とのパターンマッチングによって、監視エリアＭＡにおいて商品７０が不足又は欠品している領域を検出する（図６のＳ１４）。
　例えば図８において、ｍ段ｎ列の棚札５１に対しては、３つの商品７０を陳列できるスペースに、２つの商品７０しか陳列されていない。そのため、監視エリアＭＡのカメラ映像において、商品７０の１つ分に相当する背景映像が現れる。
　欠品検出部２１３は、監視エリアＭＡに現れた背景映像とテンプレート画像とがパターンマッチングにおいて一致することによって、背景映像の現れた領域に商品７０が陳列されていないことを検出する。別言すると、棚札５１に対応する商品７０の不足又は欠品が検出される。
　商品７０の不足又は欠品の検出に応じて、在庫監視装置２０は、例えば出力部２１４によって、商品７０の欠品検知を通知する情報を生成して出力する（図６のＳ１５）。商品７０の欠品検知を通知する情報には、文字情報及び／又は音声情報が含まれてもよいし、例えばカメラ映像が表示されるディスプレイにおいて、欠品検知に係る領域を強調表示するための情報が含まれてもよい。
　強調表示の非限定的な態様の一例としては、以下が挙げられる。以下の強調表示態様は、適宜に、組み合わされてもよい。
　・カメラ映像において、欠品検知に係る領域（以下、便宜的に「欠品エリア」と総称することがある）の色を、他の領域の色よりも目立つ色（強調色）に変更する。
　・欠品エリアを点滅表示する。
　・欠品エリアを、実線枠又は点線枠を付して表示する。実線枠又は点線枠には、色（強調色）が付されてもよい。
　・欠品エリアに付した実線枠又は点線枠を点滅表示する。
　以上のように、上述した在庫監視装置２０によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。
　なお、基準棚札をマニュアル指定する場合は、監視エリアの設定にあたってマニュアル操作を完全に排除することはできないが、監視エリアの設定の大部分を自動化でき、また、正確な基準棚札を設定できるため、従来と比べて精度よく、かつ、素早く監視エリアを設定することができる。
　別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。
　そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
　（棚札関連付け処理）
　なお、図６に点線で示すように、欠品検出（Ｓ１４）と情報出力（Ｓ１５）との間において、棚札関連付け処理（Ｓ１４ａ）が棚札関連付け部２１５によって行われてもよい。
　図６にＳ１４ａで示す棚札関連付け処理は、例えば、以下のように行われてよい。まず、棚札関連付け部２１５は、例えば図９に示すように、映像認識によって検出された棚札５１のうちの１つ（例えば、左上の「３段１番」）を基準棚札に設定する。
　次いで、棚札関連付け部２１５は、棚割情報４００を基に、基準棚札５１に対して、例えば図１０に示すように、「ｙ座標が近い棚札５１の中でｘ座標が最も近い棚札５１」を隣接棚札５１として検出する。図１０の例では、「３段２番」の棚札５１が検出される。
　棚札関連付け部２１５は、図１０に例示した隣接棚札５１の検出処理を、基準棚札５１が属する棚段の最後に位置する棚札５１、例えば「３段３番」の棚札５１が検出されるまで繰り返す。
　基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、棚札関連付け部２１５は、基準棚札５１が属する棚段の最後に位置する棚札５１に対して「ｙ座標が最も近い」棚札５１を検出する。例えば図１１に示すように、「２段３番」の棚札５１が検出される。
　なお、基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、図１２に示すように、棚札関連付け部２１５は、探索基準を基準棚札５１に戻して「ｙ座標が最も近い」棚札５１を検出してもよい。この場合、「２段１番」の棚札５１が検出される。
　棚札関連付け部２１５は、図１０及び図１１、又は、図１０及び図１２に例示した棚札検出処理を全ての棚札５１が検出されるまで繰り返す。図１５Ａは、図１０及び図１１に例示した棚札検出処理での探索順序の一例を示し、図１５Ｂは、図１０及び図１２に例示した棚札検出処理での探索順序の一例を示す。なお、棚札５１の探索順序は、図１５Ａ及び図１５Ｂに例示した順序に限られない。
　全ての棚札５１の検出が終了した場合、棚札関連付け部２１５は、「ｍ段ｎ番」の棚札５１（図１３参照）と、棚割情報４００（例えば、商品情報）と、を関連付ける。
　棚札関連付け処理によって、映像認識によって検出された棚札５１のそれぞれに、商品情報を含む棚割情報４００が関連付けられる。したがって、既述のように棚札５１間の距離に基づいて監視エリアＭＡが設定されても（図１４参照）、監視エリアＭＡのそれぞれにおける監視対象の商品情報を特定できる。なお、最上段の監視エリアＭＡの高さは、例えば、下段の棚段の高さに基づいて設定されてよい。
　なお、基準棚札５１の設定は、例えばストレージ２０５に記憶されてよい。２回目以降の棚札関連付け処理においては、記憶された基準棚札５１の設定に従えばよい。そのため、基準棚札５１を再設定することは不要でもよい。
　また、棚札関連付け部２１５は、例えば、欠品検出部２１３によって検出された欠品エリアを示す情報と、映像認識によって検出された棚札５１の情報と、の一方又は双方を、棚割情報４００と関連付けてもよい。
　（棚割情報に基づいた通知情報の生成）
　図６のＳ１５において、出力部２１４は、棚割情報４００に基づいて通知情報を生成してよい。例えば、出力部２１４は、欠品エリアを示す情報と検出棚札５１の情報との関連付け情報を基に、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名及び／又は商品コードを含む通知情報を生成してよい。生成した通知情報は、例えば、出力装置２０３及び／又は通信部２０６へ出力される。
　このように、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品名及び／又は商品コードを含む情報を例えば在庫管理者へ通知できる。
　したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。よって、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
　（棚割情報を用いた監視エリアの設定例)
　次に、棚割情報４００に、例えば、商品７０のサイズを示す情報及び商品７０の陳列数を示す情報が含まれる場合に、これらの情報を用いた監視エリアＭＡの設定例について説明する。
　例えば、「ｍ段ｎ番の棚札５１に対して幅Ｘ及び高さＹの商品７０を３つ陳列する」という情報が棚割情報４００に含まれる。この場合、監視エリア設定部２１２は、図１６に示すように、３つの商品７０が含まれるサイズ（幅Ｘ及び高さＹ）の監視エリアＭＡを設定してよい。なお、図１６の例において、商品７０の奥行き方向のサイズは任意でよい。
　図１６において設定される監視エリアＭＡと、図８において設定される監視エリアとは、結果的に同じサイズであるが、図１６の例において、商品７０のサイズ及び／又は陳列数が異なれば、設定される監視エリアＭＡのサイズも図８の例とは異なる結果になる。
　例えば、図１６の例において、商品７０のサイズが図８の例よりも小さい場合、あるいは、商品７０の陳列数が図８の例よりも少ない場合、図１６の例において設定される監視エリアＭＡのサイズは、図８の例よりも小さくなる。
　なお、監視エリアＭＡを設定するにあたって、商品７０の幅、高さ、及び、陳列数の情報のすべてがそろう必要はない。監視エリアＭＡを設定するにあたって、既述のように映像認識によって棚札５１間の距離が検出されるため、監視エリア設定部２０２は、商品７０の幅、高さ、及び、陳列数の情報のうちの一部の情報が不足していても、検出された距離によって補完できる。また、商品７０の幅及び／又は高さは、映像認識によって検出された棚札５１のサイズに基づいて補完されてもよい。棚札５１のサイズは、既知でもよいし、棚札５１の映像認識によって検出されてもよい。
　また、陳列棚の最上段に位置する棚段のように、ｙ軸方向の棚札５１間の距離を求める基準となる棚札５１が設置されない場合であっても、監視エリア設定部２１２は、商品７０の高さを示す情報を基に、ｙ軸方向の監視エリアＭＡのサイズを適切に設定できる。
　また、監視エリアＭＡにおける監視対象の商品７０の個数を把握できるため、例えば、欠品検出部２１３において、段階的な欠品検知の精度を高めることができる。段階的な欠品検知の例については後述する。
　（棚割情報を用いた棚札検出結果の補正例）
　次に、棚割情報４００に、例えば、商品７０の種類を示す情報及び商品７０の陳列数を示す情報が含まれる場合に、棚割情報４００を用いた棚札検出結果の補正例について説明する。
　例えば、棚割情報４００に「ｍ＋１段の棚板５２に幅（Ｘ）の異なる３種類の商品７０を陳列する。」という情報が含まれる場合、検出棚札補正部２１６（図５参照）は、その情報を基に、映像認識による棚札５１の検知漏れを検出して訂正することができる。
　図１７に、棚札５１の検知漏れが生じ得るケースを示す。図１７の例においては、ｍ＋１（＝２）段の棚板５２について、本来、３つの棚札５１が検出されるはずである。なお、棚割情報４００には、３つの棚札５１のそれぞれに対して、図１８においてＣ１、Ｃ２及びＣ３で表され、異なる幅（Ｘ１、Ｘ２及びＸ３）の商品７０が陳列される情報が含まれる。
　しかし、２段２番の棚札５１に、例えば、「ＳＡＬＥ！」という別の札（障害物）が部分的に重なっているため、２段２番の棚札５１は、映像認識によっては検知に失敗することがある。
　検知が失敗した場合に、検出棚札補正部２１６は、例えば図１９に示すように、商品７０毎の幅（Ｘ１，Ｘ２及びＸ３）及び陳列数を、ｍ＋１（＝２）段の棚板５２にあてはめることで、２段２番の位置に棚札５１が存在することを推測できる。検出棚札補正部２１６は、推測した棚札５１を、映像認識によって検出された棚札５１に含めることで検出漏れを訂正してよい。
　このように、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
　（ＰＴＺカメラの適用）
　カメラ１０に例えばＰＴＺカメラを適用し、ＰＴＺカメラ１０の撮影方向を変更制御することで、複数の陳列棚５０あるいは１つの陳列棚５０の異なる複数の陳列スペースを監視対象に収めることができる。
　図２０に、ＰＴＺカメラ１０の適用例を示す。図２０には、奥行き方向に隣り合う２つの陳列棚５０の一方の例えば天井部分に、２台のＰＴＺカメラ１０が設置された例が示されている。
　したがって、ＰＴＺカメラ１０のそれぞれは、例えば２つの陳列棚５０のうちの他方の正面を斜め上方から撮影する。なお、ＰＴＺカメラ１０は、例えば、陳列棚５０が設置された店舗の天井部分に設置されて、陳列棚５０の正面を斜め上方から撮影してもよい。
　ＰＴＺカメラ１０のそれぞれは、例えば、陳列棚５０の幅方向に複数の方向（例えば、Ｎ＝３方向）に撮影方向が変更されてよい。なお、「Ｎ」は、撮影方向の数を表す２以上の整数である。撮影方向の変更は、例えば在庫監視装置２０が通信ＩＦ２６１（図５参照）を介してＰＴＺカメラ１０と通信することによって制御されてよい。
　撮影方向の変更制御は、事前に設定された周期で定期的に行われてもよいし、特定のタイミングで不定期に行われてもよい。また、ユーザの指示によって撮影方向を変更してもよい。例えば、１日、１週間、あるいは１ヶ月といった所定の単位期間のうち、特定の商品７０が欠品し易い時間帯が事前に把握できる場合、少なくとも、その時間帯には欠品し易い商品７０が監視対象に含まれるように撮影方向が制御されてよい。特定の商品７０が欠品し易い時間帯の非限定的な一例としては、特定の商品７０について定期的又は不定期に開催される販促時間帯（セール時間帯）が挙げられる。
　ＰＴＺカメラ１０の撮影方向を示す情報（例えば、角度情報）は、既述の棚割情報４００と関連付けられてよい。例えば、ＰＴＺカメラ１０及びＮ個（Ｎは２以上の整数）の角度情報にＩＤを割り当て、当該ＩＤと棚割情報４００におけるＩＤ（図４参照）とを関連付けてよい。
　このようなＩＤの関連付けによって、例えば、何れの陳列棚５０の何れの棚段が、何れのＰＴＺカメラ１０の何れの撮影方向によって監視されるかを識別できる。なお、ＩＤの関連付けは、例えば、棚札関連付け部２１５（図５参照）によって行われてよい。
　また、既述のように、撮影方向によって映像認識に適した認識モデルが変わるため、異なる撮影方向毎に、認識モデルが事前に用意されてよい。
　また、陳列棚５０の正面に例えばガラス扉が取り付けられているか否かによっても、映像認識に適した認識モデルは変わり得る。そのため、例えば、撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルが事前に用意されてもよい。
　図２１には、３つの撮影方向＃Ａ、＃Ｂ及び＃Ｃに対して、それぞれ、認識モデル＃１、＃２及び＃３が設定される例が示されている。あるいは、例えば、複数の認識モデルを切り替えて、検出される棚札５１の数が棚割情報に最も適合する認識モデルが選択されてもよい。
　以上のように、カメラ１０にＰＴＺカメラ１０を用いることで、１台のＰＴＺカメラ１０で複数地点の在庫を監視して把握することが可能なため、在庫管理システム１においてトータルのカメラ設置台数を削減できる。したがって、在庫管理システム１のトータルコストを削減できる。
　（段階的な欠品検知）
　商品７０の欠品エリアが検出されてから欠品情報が出力されても、商品７０の補充が間に合わない場合がある。
　そこで、例えば、在庫監視装置２０は、監視エリア設定部２１２によって設定された監視エリアに現れる背景映像の面積割合に応じて、商品７０の在庫レベル（「欠品レベル」と言い換えてもよい）を段階的に在庫管理者に提示してよい。図２２Ａ～図２２Ｃに、段階的な欠品レベルの一例を示す。
　図２２Ａには、「ｍ段ｎ番」から「ｍ段ｎ＋２番」の位置に３つの商品７０が陳列された状況（欠品レベル０）が示されている。図２２Ｂには、３つの商品７０のうちの１つが欠品した状況（欠品レベル１）が示され、図２２Ｃには、３つの商品７０が欠品した状況（欠品レベル３）が示されている。
　在庫監視装置２０（例えば、欠品検出部２１３）は、例えば、欠品レベルと、欠品レベルにおいて監視エリアに現れる背景映像の面積割合と、を関連付けて設定しておくことで、監視エリアに現れた背景映像の面積割合に対する欠品レベルを決定する。決定した欠品レベルを示す情報は、例えば出力部２１４に出力される。
　出力部２１４は、欠品レベルを示す情報を含む通知情報を生成して、出力装置２０３及び／又は通信部２０６へ出力する。これにより、段階的な欠品レベルを示す情報が例えば在庫管理者に提示される。
　なお、段階的な欠品レベルのうち、何れの欠品レベルで通知を行うか（別言すると、通知の閾値レベル）は、事前に所定のレベルに設定されてもよいし、例えば在庫管理者によって適応的に設定されてもよい。図２２Ａ～図２２Ｃの例では、例えば「欠品レベル１」が通知の閾値レベルに設定されてよい。なお、全ての欠品レベルで通知を行う設定であってもよい。
　このように、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することが可能である。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
　なお、カメラ１０が棚段を斜め上方から撮影する位置に設置されている場合、在庫監視装置２０は、例えば図２３及び図２４に示すように、棚段の奥行き方向（ｚ軸方向）の欠品レベルを在庫管理者に提示してもよい。例えば、最前列の商品７０だけが欠品している旨を提示することなどができる。
　棚割情報４００に、棚段正面から奥行き方向への商品７０の陳列数を示す情報が含まれる場合、監視エリアの映像認識結果と、棚割情報４００と、を基に、棚段の奥行き方向の欠品レベルが例えば欠品検出部２１３において設定されてよい。
　（動体除去処理）
　陳列棚５０の正面を人物（例えば、顧客）が通り過ぎたり、陳列棚５０の正面に人物が一時的に立ち止まったりすることにより、例えば図２５Ａに示すように、カメラ映像において棚札５１の一部又は全部が人物に隠れてしまうことがある。
　このような場合、カメラ映像に映った人物は、映像認識による棚札検出及び欠品検知に対する一時的な障害物となる。一時的な障害物の存在によって棚札検出及び欠品検知の精度が低下し得る。
　そのため、在庫監視装置２０（例えば、棚札検出部２１１及び／又は欠品検出部２１３）は、映像認識の前処理の一例として、図２５Ｂに示すように、カメラ映像から人物のような動体を除去してよい。
　カメラ１０が動体除去モードをサポートしている場合、在庫監視装置２０は、例えば通信ＩＦ２６１（図５参照）を介してカメラ１０と通信することによって、動体除去モードをＯＮに設定してよい。なお、動体除去の具体的な手順については、前掲の非特許文献２などが知られているので、説明を省略する。
　動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、映像認識による棚札検出及び欠品検知の精度を向上できる。
　（実施形態の効果）
　以上説明したように、上述した実施形態によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。
　別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。なお、上述した実施形態の効果は、監視対象とする陳列スペースの設定をすべて自動化できるものには限られない。基準棚札をマニュアルで指定する場合など、一部をマニュアル化することで精度を向上させることもできる。
　そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
　また、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品情報を例えば在庫管理者へ通知できるため、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
　また、在庫監視装置２０は、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
　また、在庫監視装置２０は、棚割情報４００を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上できるため、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
　また、カメラ１０に、例えばＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
　なお、本実施の形態では、ＰＴＺカメラをカメラ１０の例として説明したが、撮影方向を変更できるカメラであればズーム機能のないカメラを用いることも可能である。また、陳列棚５０の配置方向に制約がある場合、カメラ１０はパン機能とチルト機能の両方を備えている必要はない。
　例えば、陳列棚５０が略水平方向にしか配置されないのであれば、チルト機能しかないカメラ１０であっても複数の陳列棚５０を撮影することができる。また、カメラ１０は、全方位カメラであっても構わない。
　カメラ１０に全方位カメラを使用する場合、撮像される画像は、カメラ１０の周囲に存在する複数の陳列棚５０の映像が含まれた全方位画像となる。この場合、撮影方向の変更制御は、撮像した全方位画像から切り出す部分を変更制御する処理に相当する。
　在庫監視装置２０は、全方位画像から切り出した部分に対応する仮想的な撮影方向それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、ＰＴＺカメラを使用した場合と同様の制御を実現することができる。
　なお、全方位画像には複数の陳列棚５０の映像を含むことが可能であるため、複数の陳列棚５０それぞれに対応する部分を同時に切り出し、それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、複数の陳列棚５０を同時に監視することもできる。
　また、在庫監視装置２０は、例えば、陳列棚５０の撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルを用いることで、棚札検出及び／又は欠品検出の精度を向上できる。
　また、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することができる。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
　また、動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、在庫監視装置２０において、映像認識による棚札検出及び欠品検知の精度を向上できる。
　（その他）
　上述した実施の形態においては、コンピュータ２０による監視対象が、陳列棚５０において陳列される商品７０である例について説明したが、コンピュータ２０による監視対象は、商取引に係る商品７０に限られない。例えば、コンピュータ２０による監視対象は、ショーケースに陳列される展示品などの「物品」であってもよい。この場合、例えば、ショーケースにおける「物品」の喪失をコンピュータ２０によって検知して管理者などに通知できる。
　「物品」の在庫又は陳列状況を監視するコンピュータ２０は、例えば、「棚監視装置」、「物品監視装置」、又は、「物品陳列状況監視装置」などと称されてよい。また、コンピュータ２０を、「物品」の在庫又は陳列状況を監視する装置として機能させるプログラムは、「棚監視プログラム」、「物品監視プログラム」、又は、「物品陳列状況監視プログラム」などと称されてよい。
　また、上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　（本開示のまとめ）
　本開示における棚監視装置は、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出する検出部と、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定する設定部と、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視する監視部と、前記監視部による監視結果を出力する出力部と、を備えてよい。
　また、本開示における棚監視装置は、少なくとも前記監視エリアそれぞれに陳列されるべき物品に関する情報を含む棚割情報を受信する通信部と、前記検出部によって検出された棚札に、前記棚割情報に含まれる前記物品に関する情報を関連付ける関連付け部と、を備えてよい。前記出力部は、前記監視エリアの前記監視結果が前記物品の不足又は欠品を示す場合に、前記監視結果と、前記監視エリアに対応する前記棚札に関連付けられた前記物品に関する情報と、を出力してよい。
　また、本開示における棚監視装置は、前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部と、前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記検出部によって検出された前記棚札の位置を補正する補正部と、を備えてよい。
　また、本開示における棚監視装置は、前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部を備えてよく、前記設定部は、前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記監視エリアのサイズを決定してよい。
　また、本開示における棚監視装置において、前記映像データは、少なくとも撮影方向が可変のカメラによって異なる複数の撮影方向において撮影された複数の映像データを含んでよい。前記検出部は、前記撮影方向に対応した認識モデルを用いた映像認識によって、前記棚札を検出してよい。
　また、本開示における棚監視装置において、前記監視部は、前記監視エリアに現れる背景映像の面積割合に基づいて、前記物品の在庫レベルを段階的に検出し、前記出力部は、前記物品が欠品する前の段階で、前記在庫レベルを示す情報を出力してよい。
　また、本開示における棚監視装置は、前記監視エリアそれぞれに陳列されるべき物品の陳列数の情報を含む棚割情報を受信する通信部を備えてよく、前記監視部は、前記監視エリアに現れる背景映像の面積割合と、前記棚割情報に含まれる物品の陳列数と、に基づいて、前記物品の在庫レベルを段階的に検出してよい。
　また、本開示における棚監視装置において、前記設定部は、検出した棚札それぞれについて、当該棚札と隣り合う棚札である隣接棚札との間の距離を算出し、前記距離に基づいて前記棚札それぞれに対応する監視エリアを設定してよい。
　また、本開示における棚監視装置において、前記棚札は、前記物品が陳列されるエリアそれぞれに対して所定の規則に従って配置されてよく、前記設定部は、前記棚札それぞれと前記隣接棚札との間の距離と前記所定の規則とに基づいて、前記監視エリアを設定してよい。
　また、本開示における棚監視装置において、前記設定部は、前記隣接棚札が存在しない棚札については、他の棚札について算出された距離に基づいて、前記隣接棚札が存在しない棚札に対応する監視エリアを設定してよい。
　また、本開示における棚監視方法では、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、前記監視の結果を出力する。
　また、本開示における棚監視プログラムは、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、前記監視の結果を出力する、処理を、コンピュータに実行させる。
　２０１７年１０月３０日出願の特願２０１７－２０９４４０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本開示は、物品の陳列状況を監視又は管理するシステムに好適である。
　１　在庫管理システム
　１０　カメラ
　２０　コンピュータ（在庫監視装置）
　５０　陳列棚
　５１　棚札
　５２　棚板
　７０　商品
　２０１　プロセッサ
　２０２　入力装置
　２０３　出力装置
　２０４　メモリ
　２０５　ストレージ
　２０６　通信部
　２１１　棚札検出部
　２１２　監視エリア設定部
　２１３　欠品検出部
　２１４　出力部
　２１５　棚札関連付け部
　２１６　検出棚札補正部
　２６１，２６２　通信インタフェース（ＩＦ）
　４００　棚割情報
　ＭＡ　監視エリア

Claims (12)

  1. 　陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出する検出部と、
    　検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定する設定部と、
    　前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視する監視部と、
    　前記監視部による監視結果を出力する出力部と、
    　を備えた、棚監視装置。
  2. 　少なくとも前記監視エリアそれぞれに陳列されるべき物品に関する情報を含む棚割情報を受信する通信部と、
    　前記検出部によって検出された棚札に、前記棚割情報に含まれる前記物品に関する情報を関連付ける関連付け部と、を備え、
    　前記出力部は、前記監視エリアの前記監視結果が前記物品の不足又は欠品を示す場合に、前記監視結果と、前記監視エリアに対応する前記棚札に関連付けられた前記物品に関する情報と、を出力する、
    　請求項１に記載の棚監視装置。
  3. 　前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部と、
    　前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記検出部によって検出された前記棚札の位置を補正する補正部と、を備えた、
    　請求項１に記載の棚監視装置。
  4. 　前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部を備え、
    　前記設定部は、前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記監視エリアのサイズを決定する、
    　請求項１に記載の棚監視装置。
  5. 　前記映像データは、少なくとも撮影方向が可変のカメラによって異なる複数の撮影方向において撮影された複数の映像データを含み、
    　前記検出部は、前記撮影方向に対応した認識モデルを用いた映像認識によって、前記棚札を検出する、
    　請求項１に記載の棚監視装置。
  6. 　前記監視部は、前記監視エリアに現れる背景映像の面積割合に基づいて、前記物品の在庫レベルを段階的に検出し、
    　前記出力部は、前記物品が欠品する前の段階で、前記在庫レベルを示す情報を出力する、
    　請求項１に記載の棚監視装置。
  7. 　前記監視エリアそれぞれに陳列されるべき物品の陳列数の情報を含む棚割情報を受信する通信部を備え、
    　前記監視部は、前記監視エリアに現れる背景映像の面積割合と、前記棚割情報に含まれる物品の陳列数とに基づいて、前記物品の在庫レベルを段階的に検出する、
    　請求項６に記載の棚監視装置。
  8. 　前記設定部は、検出した棚札それぞれについて、当該棚札と隣り合う棚札である隣接棚札との間の距離を算出し、前記距離に基づいて前記棚札それぞれに対応する監視エリアを設定する、
    　請求項１記載の棚監視装置。
  9. 　前記棚札は、前記物品が陳列されるスペースそれぞれに対して所定の規則に従って配置されており、
    　前記設定部は、前記棚札それぞれと前記隣接棚札との間の距離と前記所定の規則とに基づいて、前記監視エリアを設定する、
    　請求項８に記載の棚監視装置。
  10. 　前記設定部は、前記隣接棚札が存在しない棚札については、他の棚札について算出された距離に基づいて、前記隣接棚札が存在しない棚札に対応する監視エリアを設定する、
    　請求項８に記載の棚監視装置。
  11. 　陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、
    　検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、
    　前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、
    　前記監視の結果を出力する、
    　棚監視方法。
  12. 　陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、
    　検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、
    　前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、
    　前記監視の結果を出力する、
    　処理を、コンピュータに実行させる、
    　棚監視プログラム。
PCT/JP2018/030293 2017-10-30 2018-08-14 棚監視装置、棚監視方法、及び、棚監視プログラム WO2019087519A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019549874A JP7236665B2 (ja) 2017-10-30 2018-08-14 棚監視装置、棚監視方法、及び、棚監視プログラム
US16/759,852 US11640576B2 (en) 2017-10-30 2018-08-14 Shelf monitoring device, shelf monitoring method, and shelf monitoring program
CN201880071057.7A CN111295684A (zh) 2017-10-30 2018-08-14 货架监视装置、货架监视方法及货架监视程序
EP18874773.7A EP3706056A4 (en) 2017-10-30 2018-08-14 SHELF MONITORING DEVICE, SHELF MONITORING METHOD, AND SHELF MONITORING PROGRAM
JP2023020721A JP2023057118A (ja) 2017-10-30 2023-02-14 棚監視装置、棚監視方法、及び、棚監視プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017209440 2017-10-30
JP2017-209440 2017-10-30

Publications (1)

Publication Number Publication Date
WO2019087519A1 true WO2019087519A1 (ja) 2019-05-09

Family

ID=66332284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030293 WO2019087519A1 (ja) 2017-10-30 2018-08-14 棚監視装置、棚監視方法、及び、棚監視プログラム

Country Status (5)

Country Link
US (1) US11640576B2 (ja)
EP (1) EP3706056A4 (ja)
JP (2) JP7236665B2 (ja)
CN (1) CN111295684A (ja)
WO (1) WO2019087519A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021034037A (ja) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP2021034064A (ja) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP2021080087A (ja) * 2019-11-21 2021-05-27 株式会社Ｒｅｔａｉｌ ＡＩ Ｌａｂ 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
CN113011933A (zh) * 2019-12-19 2021-06-22 京东方智慧物联科技有限公司 一种商品陈列管理方法及系统
CN113727029A (zh) * 2021-11-03 2021-11-30 武汉星巡智能科技有限公司 多视角采集图像后合并的智能生成订单方法及智能售货机
WO2022024364A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体
JP7449505B2 (ja) 2022-04-13 2024-03-14 株式会社マーケットヴィジョン 情報処理システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176686B2 (en) * 2019-10-25 2021-11-16 7-Eleven, Inc. Image-based action detection using contour dilation
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
CN109754209B (zh) * 2019-01-02 2022-06-17 京东方科技集团股份有限公司 货品摆放区域确定方法及装置
EP3944221A4 (en) * 2019-03-21 2022-11-02 Boe Technology Group Co., Ltd. METHOD AND DEVICE FOR DISPLAYING PRICE TAG INFORMATION, AND SHELF SYSTEM
US11494821B2 (en) * 2019-04-01 2022-11-08 Walmart Apollo, Llc Methods and systems for an electronic shelf label system
US11151743B2 (en) * 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11599742B2 (en) * 2020-04-22 2023-03-07 Dell Products L.P. Dynamic image recognition and training using data center resources and data
CN111985302A (zh) * 2020-07-02 2020-11-24 广东易理铺智能科技有限公司 一种基于单芯片多镜头货架检测方法
CN111860462B (zh) * 2020-08-07 2024-02-20 多点(深圳)数字科技有限公司 货架陈列反馈方法和装置
US11380090B2 (en) * 2020-09-10 2022-07-05 Flytech Technology Co., Ltd. Fast multi-modal object recognition system
US20220083767A1 (en) * 2020-09-11 2022-03-17 Sensormatic Electronics, LLC Method and system to provide real time interior analytics using machine learning and computer vision

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6112436B2 (ja) 1976-02-04 1986-04-08 Victor Company Of Japan
JPH0581552A (ja) * 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US20090204512A1 (en) * 2008-02-11 2009-08-13 Connell Ii Jonathan H Method and system for determining a restocking state of a product
JP2015103153A (ja) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
JP2017209440A (ja) 2016-05-27 2017-11-30 株式会社三洋物産 遊技機

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7134103B2 (en) * 2003-12-17 2006-11-07 International Business Machines Corporation Method, system, and product for verifying voltage drop across an entire integrated circuit package
US7693757B2 (en) 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US20090094140A1 (en) 2007-10-03 2009-04-09 Ncr Corporation Methods and Apparatus for Inventory and Price Information Management
WO2013151553A1 (en) * 2012-04-05 2013-10-10 Intel Corporation Method and apparatus for managing product placement on store shelf
CN102930264B (zh) * 2012-09-29 2015-10-28 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
JP6331255B2 (ja) * 2013-03-28 2018-05-30 凸版印刷株式会社 電子棚札、電子棚札システム、表示データ生成装置、商品陳列棚及び電子棚札表示方法
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
US20170293959A1 (en) * 2014-09-30 2017-10-12 Nec Corporation Information processing apparatus, shelf label management system, control method, and program
JP6019414B2 (ja) * 2014-11-26 2016-11-02 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US9710926B2 (en) * 2015-01-30 2017-07-18 Hewlett-Packard Development Company, L.P. Image processing of a retail shelf area
WO2016142794A1 (en) * 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
EP3311348A4 (en) * 2015-06-17 2019-02-20 Panasonic Intellectual Property Management Co., Ltd. INVENTORY MANAGEMENT DEVICE, METHOD AND SYSTEM
EP3154008B1 (en) * 2015-10-09 2017-12-20 Pricer AB Determination of a product position along a fixture
JP6517666B2 (ja) 2015-11-02 2019-05-22 株式会社東芝 物品管理装置、その方法、及びそのプログラム
CN109414819A (zh) 2016-01-08 2019-03-01 4D空间天才股份有限公司 用于自动化图像获取的机器人
US11087272B2 (en) 2016-03-29 2021-08-10 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting items
JP6751882B2 (ja) * 2016-03-31 2020-09-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10399230B2 (en) * 2016-05-19 2019-09-03 Simbe Robotics, Inc. Method for automatically generating waypoints for imaging shelves within a store
JP6112436B1 (ja) 2016-06-20 2017-04-12 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
TWI618916B (zh) * 2016-09-23 2018-03-21 啟碁科技股份有限公司 貨架庫存估測方法與系統
WO2018160308A1 (en) * 2017-02-28 2018-09-07 Wal-Mart Store, Inc. Inventory management systems, devices and methods
US20190034864A1 (en) * 2017-07-25 2019-01-31 Bossa Nova Robotics Ip, Inc. Data Reduction in a Bar Code Reading Robot Shelf Monitoring System
FR3071341B1 (fr) * 2017-09-19 2019-09-20 Ses-Imagotag Procede mis en oeuvre par camera de controle de disposition d'articles pour des etageres equipees d'etiquettes electroniques de gondole
US10949799B2 (en) * 2018-06-29 2021-03-16 Focal Systems, Inc. On-shelf image based out-of-stock detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6112436B2 (ja) 1976-02-04 1986-04-08 Victor Company Of Japan
JPH0581552A (ja) * 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US20090204512A1 (en) * 2008-02-11 2009-08-13 Connell Ii Jonathan H Method and system for determining a restocking state of a product
JP2015103153A (ja) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
JP2017209440A (ja) 2016-05-27 2017-11-30 株式会社三洋物産 遊技機

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021080087A (ja) * 2019-11-21 2021-05-27 株式会社Ｒｅｔａｉｌ ＡＩ Ｌａｂ 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JP7404038B2 (ja) 2019-11-21 2023-12-25 株式会社Retail AI 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
CN113011933A (zh) * 2019-12-19 2021-06-22 京东方智慧物联科技有限公司 一种商品陈列管理方法及系统
WO2022024364A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および記録媒体
JP7464129B2 (ja) 2020-07-31 2024-04-09 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
JP2021034037A (ja) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP2021034064A (ja) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP7336708B2 (ja) 2020-08-05 2023-09-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
CN113727029A (zh) * 2021-11-03 2021-11-30 武汉星巡智能科技有限公司 多视角采集图像后合并的智能生成订单方法及智能售货机
JP7449505B2 (ja) 2022-04-13 2024-03-14 株式会社マーケットヴィジョン 情報処理システム

Also Published As

Publication number Publication date
US20200334620A1 (en) 2020-10-22
JP7236665B2 (ja) 2023-03-10
EP3706056A1 (en) 2020-09-09
US11640576B2 (en) 2023-05-02
CN111295684A (zh) 2020-06-16
JP2023057118A (ja) 2023-04-20
JPWO2019087519A1 (ja) 2020-11-26
EP3706056A4 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
WO2019087519A1 (ja) 棚監視装置、棚監視方法、及び、棚監視プログラム
WO2019087792A1 (ja) 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
WO2020048492A1 (zh) 商品状态识别
US10334965B2 (en) Monitoring device, monitoring system, and monitoring method
US10387897B2 (en) Retail sales opportunity loss cause analysis based on image analysis of shelf display
JP6791534B2 (ja) 商品管理装置、商品管理方法及びプログラム
CN108175227B (zh) 货架控制方法、装置和电子设备
US10169738B2 (en) Stock level indication apparatus and method
JP2020518044A (ja) 商品配置適合結果の判定
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
JP2012174154A (ja) 在庫状況管理方法および在庫状況管理装置
JP2016224800A (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
JP7476938B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Maizi et al. Building a digital twin for IoT smart stores: A case in retail and apparel industry
WO2020195763A1 (ja) 情報処理装置、情報処理方法と記録媒体
JP7130945B2 (ja) 在庫検出プログラム、在庫検出方法及び在庫検出装置
US20220129821A1 (en) Retail traffic analysis statistics to actionable intelligence
WO2021100525A1 (ja) 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
JP2021082364A (ja) 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
WO2021214986A1 (ja) 処理装置、処理方法及びプログラム
US20240135319A1 (en) Methods and apparatus for machine learning system for edge computer vision and active reality
WO2022024364A1 (ja) 商品検知装置、商品検知システム、商品検知方法および記録媒体
JP2021080087A (ja) 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JP2023129403A (ja) 情報処理システム、管理サーバ、管理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874773

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549874

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018874773

Country of ref document: EP

Effective date: 20200602