WO2019087792A1 - 棚札検出装置、棚札検出方法、及び、棚札検出プログラム - Google Patents

棚札検出装置、棚札検出方法、及び、棚札検出プログラム Download PDF

Info

Publication number
WO2019087792A1
WO2019087792A1 PCT/JP2018/038772 JP2018038772W WO2019087792A1 WO 2019087792 A1 WO2019087792 A1 WO 2019087792A1 JP 2018038772 W JP2018038772 W JP 2018038772W WO 2019087792 A1 WO2019087792 A1 WO 2019087792A1
Authority
WO
WIPO (PCT)
Prior art keywords
shelf label
shelf
label position
position set
image
Prior art date
Application number
PCT/JP2018/038772
Other languages
English (en)
French (fr)
Inventor
一寛 柳
若子　武士
哲郎 柿沢
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP18872498.3A priority Critical patent/EP3705423A4/en
Priority to JP2019551064A priority patent/JP7165884B2/ja
Priority to CN201880071158.4A priority patent/CN111315670B/zh
Priority to US16/759,616 priority patent/US11380098B2/en
Publication of WO2019087792A1 publication Critical patent/WO2019087792A1/ja
Priority to US17/745,324 priority patent/US11823126B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Definitions

  • the present disclosure relates to a shelf label detection device, a shelf label detection method, and a shelf label detection program.
  • a system may be used to monitor the inventory of goods based on an image obtained by photographing a display area (for example, a display shelf) of goods with a surveillance camera.
  • a display area for example, a display shelf
  • the number of items in stock for example, a shortage or lack of a product
  • the trays to be monitored in other words, the monitoring area or monitoring range
  • the number of individual goods actually displayed in the display area (the number of actual stocks) and, for example, the number of stocks of individual goods managed by the stock management system (the number of theoretical stocks) It may not match.
  • a non-limiting example of the present disclosure contributes to the provision of a shelf label detection device, a shelf label detection method, and a shelf label detection program capable of accurately detecting a shelf label position from a camera image obtained by capturing a display shelf.
  • a shelf label detection device including: an acquisition unit configured to acquire a first camera image and a second camera image including an image of a shelf label disposed on a display shelf; A first shelf label position set including a shelf label position preset by the user, and a second shelf label including a shelf label position for a shelf label image detected by image recognition from the second camera image A correction unit that corrects using a position set and generates a corrected shelf label position set, and a specifying unit that specifies a shelf label position for the second camera image using the corrected shelf label position set.
  • a first camera image and a second camera image including a video of the shelf label disposed on the display shelf are acquired, and the first camera image is acquired.
  • the first shelf label position set including the shelf label position preset by the user, the second shelf label position including the shelf label position with respect to the shelf label image detected by image recognition from the second camera image The set is used for correction, a correction shelf label position set is generated, and the correction shelf label position set is used to specify a shelf label position for the second camera image.
  • a shelf label detection program acquires a first camera video and a second camera video including a video of a shelf label arranged on a display shelf, and the first camera video and the second camera video are acquired.
  • a first shelf label position set including a shelf label position preset by the user, and a second shelf label position set including a shelf label position for a shelf label image detected by image recognition from the second camera image The computer is caused to execute a process of using and correcting, generating a corrected shelf label position set, and using the corrected shelf label position set to specify a shelf label position for the second camera image.
  • FIG. 1 A diagram showing a configuration example of an inventory management system according to an embodiment
  • a schematic front view of a shelf with a shelf label according to one embodiment A partially enlarged view of the front view of the display shelf shown in FIG. 2
  • Block diagram showing an example of the configuration of the computer illustrated in FIG. 1 A flowchart showing an operation example of the computer (inventory monitoring device) illustrated in FIGS. 1 and 5 The figure which shows the example from which a shelf label is detected by image recognition in the inventory monitoring apparatus illustrated in FIG.1 and FIG.5.
  • FIG. 1 and 5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG.1 and FIG.5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG.1 and FIG.5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG.1 and FIG.5 The figure which shows an example of the flow of the shelf label correlation process by the inventory monitoring apparatus illustrated to FIG.1 and FIG.5
  • FIG. 1 and 5 (A) and (B) is a figure which shows an example of the search order in the shelf label detection process by the inventory monitoring apparatus illustrated in FIG.1 and FIG.5 The figure which shows the setting example of the monitoring area using the shelf allocation information by the inventory monitoring apparatus illustrated to FIG. 1 and FIG. A diagram showing an example of correction of a shelf label detection result by the inventory monitoring device illustrated in FIGS. 1 and 5 A diagram showing an example of correction of a shelf label detection result by the inventory monitoring device illustrated in FIGS. 1 and 5 A diagram showing an example of correction of a shelf label detection result by the inventory monitoring device illustrated in FIGS. 1 and 5 A diagram for explaining an example in which a PTZ (pan, tilt, and zoom) camera is applied to the camera illustrated in FIG. FIG.
  • PTZ pan, tilt, and zoom
  • FIG. 20 is a view showing an example in which a recognition model used for pattern matching of image recognition in FIG. (A)-(C) is a figure which shows the example of a setting of the stepwise inventory level by the inventory monitoring apparatus illustrated to FIG. 1 and FIG. 5
  • (A) and (B) is a figure which shows an example of the moving body removal process by the inventory monitoring apparatus illustrated in FIG.1 and FIG.5.
  • a diagram for describing a problem when manually entering a shelf label position according to the second embodiment A diagram for explaining an outline of a method for identifying a shelf label position according to Embodiment 2.
  • Block diagram showing a configuration example of a shelf label detection device according to Embodiment 2 Flow chart showing an operation example of the shelf label detection device according to the second embodiment Flow chart showing an operation example of the shelf label detection device according to the second embodiment Flow chart showing a processing example of the shelf label position correction unit Diagram for explaining an example of calculation of movement amount (offset amount)
  • Block diagram showing a configuration example of the shelf label detection device according to the third embodiment Diagram for describing a specific example of notification processing of the first update request alert Flow chart showing an example of the notification process of the first update request alert Diagram for explaining a specific example of the notification process of the second update request alert Flow chart showing an example of the notification process of the second update request alert Diagram for explaining a specific example of automatic correction processing of manual shelf label position set
  • FIG. 1 is a diagram showing a configuration example of an inventory management system according to an embodiment.
  • the inventory management system 1 illustrated in FIG. 1 may include, for example, a camera 10 and a computer 20.
  • the "inventory management system” may be paraphrased as an "inventory monitoring system”.
  • the camera 10 is installed, for example, in a store that sells a product, and captures an image including an area in which the product is displayed, for example, an area in which the display shelf 50 of the product is installed.
  • the type or type of business of the store in which the display rack 50 is installed, and the types of products handled by the store are not limited.
  • the display rack 50 may be provided in a supermarket, convenience store, department store, mass sales store, discount store, or a store or sales booth (or sales corner) installed in various facilities. Moreover, the display rack 50 may be provided not only indoors but also outdoors.
  • the camera 10 may be a dedicated camera that captures an area in which the display rack 50 is included, or may be a camera that is used for other purposes or applications, such as a security camera. Further, a plurality of cameras 10 may be provided in the stock management system 1.
  • An object to be photographed by the camera 10 (which may be referred to as a “monitoring object”) and the display rack 50 may be associated with one to one, or may be associated with one to many or many to one.
  • one display shelf 50 may be taken as a shooting target with one camera 10, or a plurality of display shelves 50 may be taken as a shooting target with one camera 10.
  • the camera 10 can include a plurality of different display shelves 50 as shooting targets with one PTZ camera 10 .
  • different areas or spaces of one display rack 50 can be included in the imaging target.
  • the width direction can be controlled by variably controlling the shooting direction of one or more PTZ cameras 10
  • a plurality of regions or spaces different in height direction can be included in the camera image.
  • the camera 10 does not have to be installed for each display shelf 50 or for each different area or space of the display shelf 50.
  • the number of installed can be reduced.
  • the computer 20 illustrated in FIG. 1 is an example of an information processing apparatus, and may be a personal computer (PC) or a server.
  • the server may include a cloud server.
  • the computer 20 and the camera 10 are connected, for example, by wire or wirelessly to communicate with each other. Also, the computer 20 and the camera 10 may be connected via a network.
  • the "network” may be a wired network or a wireless network.
  • Examples of the wired network include an intranet, the Internet, and a wired LAN (Local Area Network).
  • a wireless network is a wireless LAN.
  • the computer 20 receives video data (hereinafter, may be abbreviated as “camera video”) captured by the camera 10, and analyzes the received camera video.
  • the computer 20 monitors the stock of goods on the display rack 50 by video-recognizing the camera image of the display rack 50, and detects a shortage or a shortage of goods.
  • image recognition may be paraphrased as “image recognition”.
  • detection of a shortage or a shortage of goods may be collectively referred to as “shortage detection” for convenience.
  • Detection may be translated into “detection”.
  • the camera image may be received from the camera 10 or, for example, a recording device for recording the video data captured by the camera 10.
  • the shelf label may indicate information on a product (hereinafter referred to as “product information”) such as, for example, a product name and / or a price.
  • product information such as, for example, a product name and / or a price.
  • the shelf label may be a paper shelf label or an electronic shelf label.
  • the electronic shelf label may be configured of a liquid crystal display or the like, or may be configured of electronic paper or the like.
  • the electronic shelf label may have a wireless communication function or the like, and the information to be presented may be rewritten remotely.
  • the “shelf tag” may be called by another name such as a shelf tag, a shelf card, or a shelf label.
  • the computer 20 detects the position of the shelf label attached to the display shelf 50 by image recognition of camera images, for example, and based on the detected shelf label position, the area or space to be monitored for inventory in the display shelf 50 You may set
  • an area or space for monitoring a stock of goods may be collectively referred to as a “monitoring area” or a “monitoring range”.
  • a monitoring area or a “monitoring range”.
  • a setting example of the monitoring area in the display rack 50 based on the position of the shelf label 51 detected by the image recognition will be described later.
  • FIG. 2 shows a schematic front view of the display rack 50 to which the shelf label 51 is attached.
  • FIG. 3 is a partially enlarged front view of the display rack 50 shown in FIG.
  • FIGS. 2 and 3 show an aspect in which the display space of the display rack 50 is divided into four spaces in the height direction of the display rack 50 by the three shelf boards 52. There is.
  • region enclosed by the dotted line frame represents the condition where the shortage of goods 70 arose.
  • the video data of the display shelf 50 captured by the camera 10 is recognized by the computer 20, and a shortage or a shortage of goods is made in the monitoring area set based on the detected position of the shelf label 51.
  • An example of outputting the information when detected is also described.
  • the display spaces divided in the height direction in the display rack 50 may be referred to as “shelf”.
  • FIG. 2 shows an example focusing on two trays.
  • the method of division of the display space in one display rack 50 is not limited. Not limited to the height direction of the display rack 50, the display space may be divided in the width direction of the display rack 50.
  • the shelf label 51 may be attached to any position of the display rack 50 where the correspondence with the displayed product 70 can be visually recognized.
  • the shelf label 51 may be attached to the shelf board 52.
  • the products 70 are displayed, for example, in an area or space corresponding to the position of the corresponding shelf label 51 in each of the display spaces (the upper space of the shelf label 51 in the example of FIGS. 2 and 3).
  • shelf allocation information Information on shelf allocation (hereinafter referred to as “shelf allocation information”) may be used in addition to the detected position information of the shelf label 51 for setting the monitoring area and / or monitoring the inventory. “Shelf allocation” indicates, for example, planning how many items to be displayed (or assigned) in which display space of the display rack 50.
  • the shelf allocation information 400 may include, for example, information indicating a position at which the product 70 is displayed, and information on the product 70 displayed at the position.
  • information indicating the position where the product 70 is displayed may be referred to as “display position information”, and information regarding the product 70 may be referred to as “product information”.
  • the display position information may include information indicating any one or more of a store number, a floor number, an aisle number, a shelf number, a tray number, and a display position of the tray.
  • the item information may include, for example, information that can identify or identify the individual item 70, such as the type or content of the item 70.
  • information that can specify or identify the product 70 includes a product name such as “XXX pasta” or “YYY curry”, or a product code.
  • the product information may include, for example, information indicating the size (at least one of width, height, and depth) of the product 70, or information indicating the number of products 70 to be displayed, in other words, Then, information indicating the number of displays may be included. Further, the product information may include information indicating the price of the product 70.
  • the “number of displays” may indicate, for example, the number of displays of the product 70 in one or more of the width direction, height direction, and depth direction of the tray. Based on one or both of the information indicating the size of the product 70 and the information indicating the number of displays of the product 70, for example, it is possible to improve the accuracy of specifying a space or a region occupied by a plurality of products 70 in a shelf It is possible.
  • the computer 20 can improve the setting accuracy of the monitoring area based on the shelf label position by referring to the shelf allocation information 400, and as a result, the shortage detection accuracy of the product 70 can be improved.
  • the computer 20 may correct the detection result (for example, the shelf label position) of the shelf label 51 attached to the display shelf 50 based on the image recognition based on the shelf allocation information 400.
  • Correcting the shelf label position may include, for example, correcting a detection omission of the shelf label 51 due to image recognition based on the shelf allocation information 400.
  • a setting example of the monitoring area using the shelf allocation information 400 and a correction example of the shelf label position will be described later.
  • shelf allocation information 400 When the shelf allocation information 400 is not used, specific information such as what kind of product 70 is the product 70 that is missing or out of stock in the monitoring area is not specified, but the monitoring area set based on the shelf label position From the result of image recognition (for example, the ratio of the background image appearing in the monitoring area), it can be detected at which position of which tray a shortage or a stockout of the product 70 occurs.
  • the shelving allocation information 400 in combination in such detection processing, it becomes possible to specify specific information as to what kind of product 70 the product 70 related to the shortage detection is. For example, it is possible to present information such as "XXX pasta missing" or "X row of XXX pasta missing".
  • the computer 20 may include, for example, a processor 201, an input device 202, an output device 203, a memory 204, a storage 205, and a communication unit 206.
  • the processor 201 controls the operation of the computer 20.
  • the processor 201 is an example of a circuit or a device provided with computing capability.
  • the processor 201 for example, at least one of a central processing unit (CPU), a micro processing unit (MPU), and a graphics processing unit (GPU) may be used.
  • CPU central processing unit
  • MPU micro processing unit
  • GPU graphics processing unit
  • the input device 202 may include, for example, at least one of a keyboard, a mouse, an operation button, and a microphone. Data or information may be input to processor 201 through input device 202.
  • the output device 203 may include, for example, at least one of a display (or monitor), a printer, and a speaker.
  • the display may be, for example, a touch panel display.
  • the touch panel display may be considered to correspond to both the input device 202 and the output device 203.
  • the memory 204 stores, for example, a program executed by the processor 201 and data or information processed in response to the execution of the program.
  • the memory 204 may include a random access memory (RAM) and a read only memory (ROM).
  • the RAM may be used as a work memory of the processor 201.
  • the "program” may be referred to as "software” or "application”.
  • the storage 205 stores a program executed by the processor 201 and data or information processed in response to the execution of the program.
  • the storage allocation information 400 described above may be stored in the storage 205.
  • the shelf allocation information 400 may be stored in advance in the storage 205, or may be provided from, for example, a shelf allocation system (not shown) that manages the shelf allocation information 400 and stored in the storage 205.
  • the storage 205 may include a solid state drive device such as a hard disk drive (HDD) or a solid state drive (SSD).
  • a solid state drive device such as a hard disk drive (HDD) or a solid state drive (SSD).
  • Non-volatile memory such as flash memory, may be included in storage 205, in addition to or instead of semiconductor drive devices.
  • the program may include an inventory monitoring program that monitors the inventory of the product 70 by image recognition as described above. All or a part of the program code forming the stock monitoring program may be stored in the memory 204 and / or the storage 205, or may be incorporated in a part of the operating system (OS).
  • OS operating system
  • the program and / or data may be provided in a form recorded on a recording medium readable by the computer 20.
  • a recording medium a flexible disc, a CD-ROM, a CD-R, a CD-RW, an MO, a DVD, a Blu-ray disc, a portable hard disk and the like can be mentioned.
  • a semiconductor memory such as a USB (Universal Serial Bus) memory is also an example of the recording medium.
  • program and / or data may be provided (downloaded) from, for example, a server (not shown) to the computer 20 via a communication line.
  • programs and / or data may be provided to the computer 20 through the communication unit 206 and stored in the memory 204 and / or the storage 205.
  • programs and / or data may be provided to the computer 20 through the input device 202 and stored in the memory 204 and / or the storage 205.
  • the communication unit 206 includes, for example, a communication interface (IF) 261 for communicating with the camera 10.
  • the communication IF 261 may be either a wired interface or a wireless interface.
  • the communication IF 261 receives video data captured by the camera 10.
  • the received video data is stored, for example, in the memory 204 and / or the storage 205 via the processor 201.
  • the communication unit 206 may control the imaging direction and / or the angle of view of the PTZ camera 10 by communicating with the PTZ camera 10 according to an instruction from the processor 201, for example.
  • the communication unit 206 may also include a communication IF 262 for communicating with “another computer” (not shown) different from the computer 20.
  • the “other computer” may be, for example, a server connected to a wired or wireless network, or a user terminal connected to a wired or wireless network.
  • the “other computer” may correspond to the computer in the shelving system described above.
  • the user terminal may be held, for example, by the stock manager of the product 70.
  • Non-limiting examples of user terminals include PCs, mobile phones (including smart phones), and tablet terminals.
  • the user terminal may be provided with information relating to inventory management or inventory monitoring of the product.
  • the processor 201 causes the computer 20 to function as an inventory monitoring device that monitors the inventory of the product 70 by image recognition by reading and executing the inventory monitoring program stored in the memory 204 and / or the storage 205, for example. it can.
  • the inventory monitoring device 20 including the shelf label detection unit 211, the monitoring area setting unit 212, the shortage detection unit 213, and the output unit 214 illustrated in FIG. Be embodied.
  • the stock monitoring device 20 one or both of the shelf label associating unit 215 and the detected shelf label correction unit 216 may be embodied according to the execution of the stock monitoring program.
  • the shelf label detection unit 211 detects the shelf label 51 included in the camera image by image recognition of the camera image including all or part of the display shelf 50, for example.
  • the shelf label detection unit 211 may detect the shelf label 51 by performing pattern matching on a camera image using a template image corresponding to the shape and / or color of the shelf label 51.
  • the monitoring area setting unit 212 sets a monitoring area in the display shelf 50 based on the position of the shelf label 51 detected by the shelf label detection unit 211, for example.
  • the out-of-stock detection unit 213 is an example of a monitoring unit, and, for example, the inventory of the product 70 in the display shelf 50 based on a change in video corresponding to the presence or absence of the product in the monitoring area set by the monitoring area setting unit 212 Or monitor the “display status”.
  • the out-of-stock detection unit 213 performs pattern matching on the camera image in the monitoring area using the background image appearing in the monitoring area when the product 70 is insufficient or out of stock as a template image. A shortage or a shortage may be detected.
  • the shape of the shelf label 51 may change in the camera image depending on the installation position of the camera 10 and / or the shooting direction.
  • the shape of the shelf label 51 is different between a camera image in which the display shelf 50 is captured from the front and a camera image in which the display shelf 50 is captured from an oblique direction shifted from the front.
  • the background image appearing in the camera image when the product 70 runs out or is out of stock may change. .
  • an image in the front direction of a back plate positioned on the back of the display rack 50 may correspond to a background image.
  • the surface where the goods 70 of the shelf board 52 are displayed may correspond to a background image, for example.
  • the surface of a partition plate (not shown) that divides the shelf in the left-right direction may correspond to a background image.
  • a template image (which may be reworded as a "recognition model") used for pattern matching of image recognition is prepared corresponding to the camera position. May be done.
  • the recognition model is a template image and is described as recognizing a shelf label shape and / or a background image by pattern matching, other mounting methods are also possible.
  • a shelf model and / or a background image may be recognized using a learned model generated by machine learning for each of the shelf label and / or the background image as a recognition model.
  • a plurality of template images may be prepared.
  • the template image is stored, for example, in the storage 205 and read out by the processor 201 in a timely manner.
  • the output unit 214 is an example of a notification information generation unit that generates and outputs information to be presented (for example, notified) to the stock manager, for example.
  • the output unit 214 generates notification information including, for example, a detection result by the out-of-stock detection unit 213 and / or information based on the detection result, and outputs the notification information to the output device 203 and / or the communication unit 206.
  • information for notifying a shortage detection of the product 70 (may be referred to as “notification information”, “lack information”, or “alert information”) is an example of the output device 203. It may be output to some display and / or printer.
  • the output unit 214 is notified of notification information based on information in which the shelf allocation information 400 is associated with either or both of the detection result by the out-of-stock detection unit 213 and the detection result by the shelf label detection unit 211. It may be generated.
  • the output unit 214 is a place (out-of-stock area) related to out-of-stock detection of the product 70
  • the notification information including the product name of the detected product 70 can be generated.
  • the notification information may be transmitted to, for example, the “other computer” via the communication unit 206.
  • electronic mail may be used for transmission of notification information via the communication unit 206.
  • the shelf label associating unit 215 associates, for example, the shelf allocation information 400 (for example, product information) with each of the shelf labels 51 detected by the shelf label detection unit 211.
  • the detection shelf label correction unit 216 detects the shelf label position detected by the shelf label detection unit 211 as the product information. It may be corrected based on
  • the configuration of the computer (inventory monitoring device) 20 illustrated in FIG. 5 is merely an example.
  • the hardware and / or functional blocks may be increased or decreased in the stock monitoring device 20 as appropriate.
  • addition, deletion, division or integration of hardware and / or functional blocks may be appropriately performed in the inventory monitoring apparatus 20.
  • the inventory monitoring device 20 acquires a camera image (S11), and the shelf label detection unit 211 analyzes the acquired camera image, for example, to obtain a shelf label 51 included in the camera image. It detects (S12). For example, as illustrated with a thick frame 500 in FIG. 7, eight shelf labels 51 are detected by image recognition.
  • two shelf labels 51 are detected in the shelf board 52 of the m-th stage from the bottom, and the shelf board 52 located at the upper stage thereof (m + 1st-stage from the bottom) and further located at the upper stage Three shelf labels 51 are detected in the shelf board 52 of the (m + 2) th step from the bottom).
  • m is an integer of 1 or more.
  • the positions of the two shelf labels 51 detected on the m-th shelf board 52 from the bottom are, for example, the n-th and n + 1-th (n is an integer of 1 or more) positions in order from the left.
  • the positions of the three shelf labels 51 detected in the (m + 1) -th shelf board 52 from the bottom are, for example, the n-th, n + 1-th, and n + 2-th positions in order from the left.
  • the positions of the three shelf labels 51 detected in the (m + 2) th shelf board 52 from the bottom are, for example, the nth, n + 1st, and n + 2th positions in order from the left.
  • the position of "m-th stage and n-th" may be described as the position of "m-th stage n-th" or "m-stage n-th column".
  • the inventory monitoring device 20 acquires, for example, information indicating the position of the camera and the shelf label detection unit 211 may be provided (S11a in FIG. 6).
  • the information indicating the camera position may be associated in advance with the shelf allocation information 400, for example.
  • the shelf label detection unit 211 identifies which camera direction of which camera 10 the camera image of the camera 10 is based on, for example, the information indicating the camera position and the shelf allocation information 400, and A recognition model suitable for detection may be set. Note that an example of the association between the information indicating the camera position and the shelving information 400 will be described later.
  • the inventory monitoring device 20 sets a monitoring area for monitoring the inventory of the product 70, for example, by the monitoring area setting unit 212 (S13 in FIG. 6).
  • the monitoring area setting unit 212 sets one of the detected shelf labels 51 as the reference shelf label 51.
  • FIG. 7 shows a mode in which the lower left (first row, first) shelf label 51 is set as the reference shelf label 51.
  • the stock shelf label 51 may be set by the stock monitoring device 20 (for example, the monitoring area setting unit 212) autonomously, or is designated (manually designated) by the user (for example, stock manager) of the stock monitoring device 20. May be
  • the reference shelf label 51 can be set autonomously by image recognition is there.
  • information such as the shelf label 51 of “X rank ⁇ number” may be input to the monitoring area setting unit 212 through the input device 202 as information specifying the reference shelf label 51.
  • Manual designation may also be used to supplement autonomous settings.
  • the monitoring area setting unit 212 for example, based on the shelf allocation information 400 (for example, display position information) illustrated in FIG.
  • the shelf labels 51 adjacent in the left-right direction may be detected.
  • the shelf label 51 adjacent to an up-down direction and / or the left-right direction may be called “the adjacent shelf label 51" for convenience.
  • the “detection” of the adjacent shelf label 51 may be paraphrased as “search” or “search” of the adjacent shelf label 51.
  • the monitoring area setting unit 212 may set the monitoring area based on the detected distance between the shelf labels 51.
  • a setting example of the monitoring area is shown in FIG.
  • the monitoring area setting unit 212 sets the position between the reference shelf label 51 and the adjacent shelf label 51. Find the distance of
  • the distance Rx between the m-th n-th reference shelf label 51 and the right-hand m-th n + 1-th shelf label 51 is detected, and the reference shelf label 51 and the m + 1-th row n-th in the upward direction
  • the distance Ry between the shelf label 51 and the is detected.
  • the monitoring area setting unit 212 sets, for example, a monitoring area MA (see a dotted line frame) having a size and a shape determined by the distances Rx and Rx in the monitoring area of the first shelf label 51.
  • the monitoring area setting unit 212 sets the monitoring area MA for each of the shelf labels 51 detected by the image recognition by detecting the distances Rx and Ry between the other shelf labels 51 and the adjacent shelf labels 51 as well. Do.
  • the monitoring area setting unit 212 calculates, for each of the shelf labels 51 detected by image recognition, the distance between the shelf label 51 and the adjacent shelf label that is the adjacent shelf label, and calculates the calculated distance.
  • the monitoring area MA corresponding to each shelf label 51 is set based on that. Therefore, the monitoring area MA for the product 70 displayed corresponding to the shelf label 51 can be set appropriately.
  • the shape of the monitoring area MA may be rectangular or circular such as elliptical.
  • the shelf labels 51 may be arranged in accordance with predetermined rules (rules) for each space in which the product 70 is displayed.
  • the shelf label 51 may be installed according to a certain rule such as installing the shelf label 51 at the lower left of the product 70. If a certain rule is defined, the exact monitoring area MA can be set based on the position of each shelf label 51 or the distance between the shelf labels 51 and the certain rule. For example, if the shelf label 51 is disposed at the lower left of the product 70, it is understood that the monitoring area is present on the right side of the shelf label 51.
  • the dummy shelf label 51 is installed to obtain the distance between the shelf labels 51 including the dummy shelf label 51 It may be done.
  • the dummy shelf 51 may be installed on "POP" installed on the shelf.
  • POP is an advertising medium in which a product name, a product price, a catch copy, an explanatory note, and / or an illustration are written on paper, for example.
  • the distance between the shelf labels 51 may be determined based on the distance to another shelf (for example, the lower shelf). For example, for the shelf labels 51 where the adjacent shelf labels 51 do not exist, the distances Ry calculated for the other shelf labels 51 may be reused. For example, Ry of a tray immediately below with little distortion of perspective may be reused, or Ry of another tray may be converted based on camera parameters to estimate Ry. Alternatively, the distance between the shelf labels 51 may be set manually for the shelf tiers on which the shelf labels 51 are not installed.
  • the distance between the shelf labels 51 as the distance between the shelf label 51 attached to the display shelf 50 May be required.
  • the distance from the image edge of the camera image may be set as the distance between the shelf labels 51.
  • the shelf allocation information 400 may include, for example, information regarding one or more of the width, height, depth, and the number of displays of the product 70 to be monitored.
  • the detected shelf label correction unit 216 may correct the shelf label position detected by the shelf label detection unit 211 (S12a in FIG. 6).
  • the shelf allocation information 400 may be used to confirm and / or correct the accuracy of the detection result of the shelf label 51 by image recognition.
  • the shelf label 51 shelf label position By correcting the shelf label 51 shelf label position, it is possible to enhance the detection accuracy of the out-of-stock items of the product 70 to be monitored. An example of correction of the shelf label position will be described later with reference to FIGS. 17 to 19.
  • the inventory monitoring device 20 runs out of stock items 70 in the monitoring area MA, for example, by pattern matching between the camera video of each monitoring area MA and the background video in the stockout detection unit 213. A product area is detected (S14 in FIG. 6).
  • the out-of-stock detection unit 213 detects that the product 70 is not displayed in the area where the background video appears, by matching the background video appearing in the monitoring area MA with the template image in pattern matching. In other words, the shortage or stockout of the product 70 corresponding to the shelf label 51 is detected.
  • the inventory monitoring device 20 In response to the detection of the shortage or shortage of the product 70, the inventory monitoring device 20 generates and outputs information for notifying the shortage detection of the product 70, for example, by the output unit 214 (S15 in FIG. 6). Character information and / or voice information may be included in the information for notifying the shortage detection of the product 70, and for example, in a display on which a camera image is displayed, for highlighting the area related to the shortage detection. Information may be included.
  • the following may be mentioned.
  • the following highlighting modes may be combined as appropriate.
  • the color of an area (hereinafter, may be collectively referred to as “out of stock area”) related to the detection of a shortage is changed to a color (emphasis color) that is more prominent than the color of other regions.
  • ⁇ The missing area is displayed blinking.
  • Display the out-of-stock area with a solid line frame or a dotted line frame.
  • the solid line frame or the dotted line frame may be colored (emphasized color).
  • the solid line frame or dotted line frame attached to the out-of-stock area blinks.
  • the monitoring area for the display shelf 50 in the camera video is detected based on the position of the shelf label 51 detected by the video recognition of the camera video including the display shelf 50 Since the setting is performed, for example, the monitoring area can be appropriately set for the camera image including the display rack 50 regardless of the manual operation.
  • manual operation can not be completely eliminated in setting the monitoring area, but most of the setting of the monitoring area can be automated, and an accurate reference shelf label can be set. Therefore, the monitoring area can be set more accurately and quickly than in the past.
  • setting of the display space to be monitored in the display rack 50 can be automated. Therefore, for example, even if the relative positional relationship between the display rack 50 and the camera 10 changes due to an external factor such as vibration, it is possible to reset the monitoring area appropriately by detecting the shelf label 51 by image recognition. It is.
  • the stock monitoring device 20 monitors the stock of the goods 70 in the display shelf 50 based on the video change corresponding to the presence or absence of the goods 70 in the set monitoring area, and notifies the monitoring result to the stock manager, for example. It is possible to suppress the case where a specific product is left out of stock. Therefore, it is possible to suppress the loss of product sales opportunities and to improve the image of customers.
  • shelf label associating process (S14a) may be performed by the shelf label associating unit 215 between the shortage detection (S14) and the information output (S15).
  • the shelf label associating process indicated by S14a in FIG. 6 may be performed, for example, as follows. First, as shown in FIG. 9, for example, the shelf label associating unit 215 sets one of the shelf labels 51 detected by image recognition (for example, “3rd tier 1” in the upper left) as a reference shelf label. .
  • the shelf label associating unit 215 makes a reference to the reference shelf label 51, for example, as shown in FIG.
  • the tag 51 is detected as the adjacent shelf label 51.
  • the shelf label 51 of "3rd level 2nd" is detected.
  • the shelf label associating unit 215 detects the adjacent shelf label 51 illustrated in FIG. 10 by using the shelf label 51 located at the end of the shelf to which the reference shelf label 51 belongs, for example, the shelf label 51 of “3rd tier 3”. Repeat until detected.
  • the shelf label associating unit 215 compares the shelf label 51 positioned at the end of the shelf row to which the reference shelf label 51 belongs. The coordinate is the closest, and the shelf label 51 is detected. For example, as shown in FIG. 11, the shelf label 51 of "2nd level 3rd" is detected.
  • the shelf label associating unit 215 When the shelf label 51 located at the end of the shelf to which the reference shelf label 51 belongs is detected, the shelf label associating unit 215 returns the search criteria to the reference shelf label 51 as shown in FIG. It is also possible to detect the shelf label 51 having the closest coordinates. In this case, the shelf label 51 of "two-tiered No. 1" is detected.
  • the shelf label associating unit 215 repeats the shelf label detection process illustrated in FIGS. 10 and 11 or 10 and 12 until all the shelf labels 51 are detected.
  • FIG. 15A shows an example of the search order in the shelf label detection process exemplified in FIGS. 10 and 11, and
  • FIG. 15B shows the search in the shelf label detection process exemplified in FIGS. An example of the order is shown.
  • the search order of the shelf label 51 is not restricted to the order illustrated to FIG. 15 (A) and FIG. 15 (B).
  • the shelf label associating unit 215 associates the shelf label 51 (see FIG. 13) of the “m-th row n” with the shelf allocation information 400 (for example, product information). .
  • Shelf assignment information 400 including product information is associated with each shelf label 51 detected by image recognition by the shelf label association processing. Therefore, even if the monitoring area MA is set based on the distance between the shelf labels 51 as described above (see FIG. 14), it is possible to specify the product information of the monitoring target in each of the monitoring areas MA.
  • the height of the uppermost monitoring area MA may be set based on, for example, the height of the lower tray.
  • the setting of the reference shelf label 51 may be stored in the storage 205, for example. In the second and subsequent shelf label association processing, the setting of the stored reference shelf label 51 may be performed. Therefore, resetting the reference shelf label 51 may be unnecessary.
  • shelf label associating unit 215 may, for example, select one or both of the information indicating the out-of-stock area detected by the out-of-stock detection unit 213 and the information on the shelf label 51 detected by image recognition. It may be associated with 400.
  • the output unit 214 may generate notification information based on the shelf allocation information 400. For example, based on the association information between the information indicating the out-of-stock area and the information on the detection shelf label 51, the output unit 214 detects the location (out-of-stock area) related to the out-of-stock detection of the product 70 and / or the out-of-stock detection Notification information including the product name and / or the product code of the selected product 70 may be generated.
  • the generated notification information is output to, for example, the output device 203 and / or the communication unit 206.
  • the inventory monitoring device 20 can notify, for example, the stock manager of information including the product name and / or the product code of each product 70 related to the detection of a shortage by using the shelf allocation information 400.
  • the stock manager can, for example, properly and smoothly replenish the products 70 to the individual trays.
  • shelf allocation information 400 includes, for example, information indicating the size of the product 70 and information indicating the number of displays of the product 70, a setting example of the monitoring area MA using these information will be described.
  • the information of “display three items 70 of width X and height Y with respect to the shelf label 51 of m-th step n” is included in the shelf allocation information 400.
  • the monitoring area setting unit 212 may set a monitoring area MA of a size (width X and height Y) in which three products 70 are included.
  • the size of the product 70 in the depth direction may be arbitrary.
  • monitoring area MA set in FIG. 16 and the monitoring area set in FIG. 8 have the same size as a result, if the size and / or the number of displays of the product 70 are different in the example of FIG.
  • the size of the set monitoring area MA also results differently from the example of FIG.
  • the monitoring area setting unit 212 is configured to obtain information on the width, height, and number of displays of the product 70. Even if part of the information is lacking, it can be supplemented by the detected distance. Also, the width and / or height of the product 70 may be complemented based on the size of the shelf label 51 detected by video recognition. The size of the shelf label 51 may be known, or may be detected by image recognition of the shelf label 51.
  • the monitoring area setting unit 212 Based on the information indicating the height of the product 70, the size of the monitoring area MA in the y-axis direction can be appropriately set.
  • stepwise shortage detection since the number of products 70 to be monitored in the monitoring area MA can be grasped, for example, in the stockout detection unit 213, it is possible to enhance the accuracy of stepwise stockout detection. An example of stepwise shortage detection will be described later.
  • shelf allocation information 400 includes, for example, information indicating the type of the product 70 and information indicating the number of displays of the product 70, a correction example of the shelf label detection result using the shelf allocation information 400 will be described. .
  • the detection shelf label correction unit 216 On the basis of the information, it is possible to detect and correct the detection omission of the shelf label 51 by the image recognition.
  • FIG. 17 shows a case where detection omission of the shelf label 51 may occur.
  • the shelf allocation information 400 for each of the three shelf labels 51, information represented by C1, C2 and C3 in FIG. 18 and information on which products 70 of different widths (X1, X2 and X3) are displayed is displayed. included.
  • the second shelf label 51 is detected depending on the image recognition. May fail.
  • the detection shelf label correction unit 216 may correct the detection omission by including the estimated shelf label 51 in the shelf label 51 detected by the image recognition.
  • the omission in detection due to the image recognition can be corrected based on the shelf allocation information 400.
  • the setting accuracy of the monitoring area MA based on the position of can be enhanced.
  • FIG. 20 shows an example in which two PTZ cameras 10 are installed on, for example, a ceiling portion of one of the two display shelves 50 adjacent in the depth direction.
  • each of the PTZ cameras 10 captures, for example, the other front of the two display racks 50 from obliquely above.
  • the PTZ camera 10 may be installed, for example, on the ceiling of a store where the display shelf 50 is installed, and the front of the display shelf 50 may be photographed from diagonally above.
  • N is an integer of 2 or more that represents the number of shooting directions.
  • the change of the imaging direction may be controlled, for example, by the inventory monitoring device 20 communicating with the PTZ camera 10 via the communication IF 261 (see FIG. 5).
  • the change control of the imaging direction may be performed periodically at a predetermined cycle, or may be performed irregularly at a specific timing.
  • the shooting direction may be changed according to the user's instruction. For example, when a time zone in which a specific product 70 is likely to be out of stock can be grasped in advance within a predetermined unit period such as one day, one week, or one month, the product 70 which is easily out of stock at least in that time zone
  • the imaging direction may be controlled so that the subject is included in the monitoring target.
  • a sales promotion time zone sales time zone
  • sales time zone sales time zone
  • Information indicating the shooting direction of the PTZ camera 10 may be associated with the shelf allocation information 400 described above.
  • an ID may be assigned to the PTZ camera 10 and N pieces of angle information (N is an integer of 2 or more), and the ID may be associated with the ID in the shelving information 400 (see FIG. 4).
  • association of IDs makes it possible to identify, for example, which tray of which display rack 50 is to be monitored by which imaging direction of which PTZ camera 10.
  • the association of the IDs may be performed by, for example, the shelf label associating unit 215 (see FIG. 5).
  • a recognition model may be prepared in advance for each different shooting direction.
  • the recognition model suitable for image recognition may also change depending on, for example, whether or not a glass door is attached to the front of the display rack 50. Therefore, for example, a recognition model suitable for image recognition may be prepared in advance according to the photographing direction and / or the presence or absence of the glass door.
  • FIG. 21 shows an example in which recognition models # 1, # 2 and # 3 are set for three imaging directions #A, #B and #C, respectively.
  • a plurality of recognition models may be switched, and a recognition model in which the number of detected shelf labels 51 most matches the shelf allocation information may be selected.
  • the PTZ camera 10 for the camera 10, it is possible to monitor and grasp inventory at a plurality of points with one PTZ camera 10, so the total number of cameras installed in the inventory management system 1 is It can be reduced. Therefore, the total cost of the inventory management system 1 can be reduced.
  • Stepwise shortage detection Even if the out-of-stock information is output after the out-of-stock area of the product 70 is detected, the replenishment of the product 70 may not be in time.
  • the inventory monitoring device 20 can change the inventory level of the product 70 (may be rephrased as the “out-of-stock level”) according to the area ratio of the background image appearing in the monitoring area set by the monitoring area setting unit 212. It may be presented to the stock manager in stages.
  • FIGS. 22 (A) to 22 (C) show an example of graded stockout levels.
  • FIG. 22 (A) shows a state (out-of-stock level 0) in which three products 70 are displayed at the positions of "m-th stage n-th" to "m-th stage n + 2-th".
  • FIG. 22 (B) shows the situation where one of the three products 70 is out of stock (out of stock level 1)
  • FIG. 22 (C) shows the situation where the three products 70 are out of stock (out of stock).
  • Product level 3 is shown.
  • the inventory monitoring device 20 (for example, the stockout detection unit 213) associates the area level of the background image appearing in the monitoring area at the stockout level with the stockout level and sets it in the monitoring area. Determine the shortage level for the area ratio of the appearing background image. Information indicating the determined shortage level is output to the output unit 214, for example.
  • the output unit 214 generates notification information including information indicating an out-of-stock level, and outputs the notification information to the output device 203 and / or the communication unit 206. Thereby, information indicating the stepwise stockout level is presented to, for example, the stock manager.
  • the stock manager may be set adaptively.
  • the threshold level of notification in advance which notification level is to be notified
  • the stock manager May be set adaptively.
  • the “out-of-stock level 1” may be set as the notification threshold level. Note that the notification may be made at all shortage levels.
  • the inventory monitoring device 20 can present a gradual stock shortage level to the inventory manager. Therefore, the inventory manager can be alerted at a stage before the product 70 is completely out of stock, and timely replenishment of the product becomes possible.
  • the inventory monitoring device 20 is, for example, as shown in FIG. 23 and FIG.
  • the item level may be presented to the inventory manager. For example, it can be presented that only the product 70 in the front row is out of stock.
  • the shelf allocation information 400 includes information indicating the number of displayed products 70 in the depth direction from the front of the shelf, the depth direction of the tray based on the video recognition result of the monitoring area and the shelf allocation information 400
  • the out-of-stock level may be set, for example, in the out-of-stock detection unit 213.
  • the person appearing in the camera image is a temporary obstacle to shelf label detection and stock shortage detection by image recognition.
  • the presence of temporary obstacles can reduce the accuracy of shelf label detection and stockout detection.
  • the inventory monitoring device 20 for example, the shelf label detection unit 212 and / or the out-of-stock detection unit 213, as shown in FIG. Moving bodies may be removed.
  • the inventory monitoring device 20 may set the moving body removal mode to ON by communicating with the camera 10 via the communication IF 261 (see FIG. 5), for example.
  • the specific procedure of moving body removal since the above-mentioned nonpatent literature 2 grade
  • the monitoring area is set for the display shelf 50 in the camera video based on the position of the shelf label 51 detected by the video recognition of the camera video including the display shelf 50 Therefore, the monitoring area can be appropriately set for the camera image including the display rack 50 without manual operation, for example.
  • setting of the display space to be monitored in the display rack 50 can be automated. Therefore, for example, even if the relative positional relationship between the display rack 50 and the camera 10 changes due to an external factor such as vibration, it is possible to reset the monitoring area appropriately by detecting the shelf label 51 by image recognition. It is.
  • the effect of embodiment mentioned above is not restricted to what can automate all the settings of the display space made into monitoring object. In the case where a reference shelf label is specified manually, accuracy can also be improved by making part manual.
  • the stock monitoring device 20 monitors the stock of the goods 70 in the display shelf 50 based on the video change corresponding to the presence or absence of the goods 70 in the set monitoring area, and notifies the monitoring result to the stock manager, for example. It is possible to suppress the case where a specific product is left out of stock. Therefore, it is possible to suppress the loss of product sales opportunities and to improve the image of customers.
  • the inventory monitoring device 20 can notify, for example, the inventory manager of the product information of the individual products 70 related to the shortage detection by using the shelf allocation information 400.
  • the shelf allocation information 400 For example, any product 70 in any tray stage It is possible to make the stock manager accurately grasp whether the stock is out of stock. Therefore, even if it is difficult to specify individual product names and the like depending on the video analysis of the camera video, the stock manager may properly and smoothly replenish the products 70 to the individual trays, for example. it can.
  • the inventory monitoring device 20 can correct a detection omission due to image recognition based on the shelf allocation information 400.
  • the setting accuracy of the monitoring area MA based on the position of the shelf label 51 can be enhanced.
  • the inventory monitoring device 20 can improve the accuracy of identifying the space or area occupied by the plurality of products 70 in the shelf based on the shelf allocation information 400, so that the setting accuracy of the monitoring area based on the shelf label position As a result, the shortage detection accuracy of the product 70 can be improved.
  • the camera 10 need not be installed for each display shelf 50 or for each different area or space of the display shelf 50. The number of installed can be reduced.
  • the PTZ camera has been described as an example of the camera 10.
  • the camera can change the shooting direction, it is also possible to use a camera without a zoom function.
  • the camera 10 does not have to have both the pan function and the tilt function.
  • the plurality of display racks 50 can be photographed even with the camera 10 having only the tilt function.
  • the camera 10 may be an omnidirectional camera.
  • the captured image is an omnidirectional image including images of a plurality of display shelves 50 present around the camera 10.
  • the change control of the imaging direction corresponds to a process of changing and controlling a portion cut out from the captured omnidirectional image.
  • the inventory monitoring device 20 uses the PTZ camera by performing shelf label detection and / or stock shortage detection using a recognition model suitable for each of the virtual shooting directions corresponding to the portion extracted from the omnidirectional image. The same control as in the case can be realized.
  • portions corresponding to each of the plurality of display racks 50 are simultaneously cut out, and shelf tag detection is performed using a recognition model suitable for each.
  • a plurality of display racks 50 can also be monitored simultaneously by performing stockout detection.
  • the inventory monitoring device 20 may use shelf model detection and / or stock shortage detection by using a recognition model suitable for image recognition according to, for example, the shooting direction of the display rack 50 and / or the presence or absence of a glass door. Accuracy can be improved.
  • the inventory monitoring device 20 can present the gradual stock shortage level to the inventory manager. Therefore, the inventory manager can be alerted at a stage before the product 70 is completely out of stock, and timely replenishment of the product becomes possible.
  • the inventory monitoring device 20 can improve the accuracy of shelf label detection and out-of-stock detection by image recognition.
  • the monitoring target by the computer 20 is the product 70 displayed on the display rack 50
  • the monitoring target by the computer 20 is not limited to the product 70 related to commerce.
  • the monitoring target by the computer 20 may be an "article” such as a display item displayed on a showcase.
  • the computer 20 can detect the loss of the "article” in the showcase and notify the administrator or the like.
  • the computer 20 that monitors the inventory or display status of the "article” may be referred to as, for example, a “shelf monitoring device", an “article monitoring device”, or an “article display status monitoring device”.
  • a program that causes the computer 20 to function as an apparatus for monitoring the inventory or display status of "articles” is referred to as a “shelf monitoring program", an "article monitoring program”, or an “article display status monitoring program” Good.
  • Second Embodiment In the second embodiment, a shelf label detecting device for enhancing the accuracy of the shelf label position will be described. In the second embodiment, parts different from the first embodiment will be described, and description of parts common to the first embodiment will be omitted.
  • FIG. 26 is a diagram for explaining the problem in the case of identifying the shelf label position only by the known video recognition technology.
  • the shelf label image is recognized from the camera image obtained by photographing the display rack 50 by pattern matching, and the shelf label position is specified.
  • recognition of a shelf label image by the image recognition technology may cause false detection and / or false detection, for example, in the following cases (A1) to (A3).
  • A1 When the resolution of the shelf label image 301 is low as shown in (A) of FIG. (A2) As shown to (B) of FIG. 26, when the shelf label image 302 is covered by obstacles, such as display goods.
  • A3 As shown in (C) of FIG. 26, there is an object image 304 similar to the shelf label image 303.
  • the four shelf label images 301 and 302 can be obtained by the image recognition technology alone. , 305, 306, only the two shelf label images 305, 306 may be detected, and the remaining two shelf label images 301, 302 may leak out of the detection.
  • FIG. 27 is a diagram for describing the problem in the case of manually inputting the shelf label position.
  • FIG. 28 is a diagram for describing an outline of a method for identifying a shelf label position according to the present embodiment. Next, with reference to FIG. 28, a method for specifying the shelf label position according to the present embodiment for solving the above-described problem will be described.
  • the method for specifying the shelf label position is the monitoring camera image, the manual shelf label position set 503 including the shelf label position previously input by the user with respect to the reference camera image 501. Correction is performed using an automatic shelf label position set 504 including a shelf label position detected by the image recognition technology from 502 to generate a corrected shelf label position set 505. Then, using the correction shelf label position set 505, the shelf label position in the monitoring camera image 502 is specified.
  • the shelf label position may be information (for example, XY coordinate points) indicating the position of the shelf label image in the camera image. Then, the correction shelf label position set 505 approaches as many shelf label positions as possible included in the automatic shelf label position set 504 according to the monitoring camera image 502 as many shelf label positions as possible included in the manual shelf label position set 503 As such, the position of the manual shelf label position set 503 may be moved.
  • information for example, XY coordinate points
  • the shelf label position may include, in addition to the information indicating the position of the shelf label image, information indicating an area of the shelf label image (hereinafter referred to as “shelf label area”).
  • the correction shelf label position set 505 is the manual shelf label position set 503 so that the shelf label area included in the manual shelf label position set 503 and the shelf label area included in the automatic shelf label position set 504 most overlap. The position of may be moved.
  • the user can specify the shelf label position from the camera image with high accuracy without manually re-entering the position of the shelf label image.
  • the method of specifying the shelf label position according to the present embodiment may be incorporated into the stock monitoring device 20 described in the first embodiment.
  • FIG. 29 is a block diagram showing a configuration example of the shelf label detection device 2 according to the present embodiment.
  • the shelf label detection apparatus 2 includes an image acquisition unit 401, a manual shelf label setting unit 402, an automatic shelf label detection unit 403, a shelf label position correction unit 404, and a shelf label position specification unit 405.
  • the video acquisition unit 401 acquires a camera video from the camera 10 at a predetermined timing (for example, a predetermined cycle), and stores the camera video in the memory 204 and / or the storage 205 (hereinafter referred to as “memory etc.”).
  • a camera image used by the manual shelf label setting unit 402 is referred to as a reference camera image 501
  • a camera image used by the automatic shelf label detection unit 403 is referred to as a monitoring camera image 502.
  • the manual shelf label setting unit 402 acquires the reference camera image 501 from a memory or the like, displays the reference camera image 501 on the output device 203 (for example, a display device), and the user can input the position of the shelf label image in the reference camera image 501 Accept the input of shelf label position). Then, the manual shelf label setting unit 402 generates the manual shelf label position set 503 including the information of each input shelf label position, and stores it in the memory or the like.
  • the automatic shelf label detection unit 403 acquires the monitoring camera image 502 from a memory or the like, detects each shelf label image from the monitoring camera image 502 by image recognition technology, and specifies the position of each shelf label. Then, the automatic shelf label detection unit 403 generates an automatic shelf label position set 504 including information on each specified shelf label position, and stores the automatic shelf label position set 504 in a memory or the like.
  • the shelf label position correction unit 404 corrects the manual shelf label position set 503 so as to fit the surveillance camera image 502 using the automatic shelf label position set 504, and generates a corrected shelf label position set 505. Then, the shelf label position correction unit 404 stores the generated correction shelf label position set 505 in a memory or the like. For example, the shelf label position correction unit 404 sets the overlap area between the plurality of shelf label areas included in the manual shelf label position set 503 and the plurality of shelf label areas included in the automatic shelf label position set 504 to a maximum. The offset amount (moving amount) of the shelf label position set 503 is calculated. Then, the shelf label position correction unit 404 moves the manual shelf label position set 503 by the calculated offset amount, and generates the corrected shelf label position set 505. The details of the processing of the shelf label position correction unit 404 will be described later.
  • the shelf label position specifying unit 405 specifies the position of each shelf label in the monitoring camera image 502 using the correction shelf label position set 505.
  • the shelf label position identified by the shelf label position identification unit 405 may be used, for example, by the shelf label detection unit 211 of the inventory monitoring device 20 in FIG. 5.
  • each shelf label position specified by the shelf label position specification part 405 may be input and used for the display condition detection process of S14 of the flowchart shown in FIG. .
  • the accuracy of the shelf label position is enhanced, and the accuracy of display condition detection is also enhanced.
  • the manual shelf label setting unit 402 displays the reference camera image 501 (S101), and receives an input of the shelf label position from the user (S102).
  • the user inputs the position of each shelf label image included in the displayed reference camera image 501, for example, via the input device 202 (S103).
  • the manual shelf label setting unit 402 generates shelf label position information corresponding to each shelf label image from the position of each shelf label image input in S103. Then, the manual shelf label setting unit 402 generates the manual shelf label position set 503 from the generated shelf label positions, and stores it in the memory or the like (S104).
  • the manual shelf label setting unit 402 generates the manual shelf label position set 503, and stores the manual shelf label position set 503 in a memory or the like.
  • shelf label position correction unit 404 (Details of shelf label position correction section) Next, the details of the shelf label position correction unit 404 will be described with reference to the flowchart of FIG. Note that this process may be performed each time the monitoring camera image 502 is updated.
  • the shelf label position correction unit 404 sets a plurality of mutually different offset amounts based on the manual shelf label position set 503 (S201). The details of the setting of the plurality of offset amounts will be described later.
  • the shelf label position correction unit 404 repeats the offset loop processing (S202 to S205) by the number of the plurality of offset amounts set in S201 (S202). At this time, the shelf label position correction unit 404 selects a different offset amount from the plurality of offset amounts set in S201 for each offset loop process. In the description of the offset loop process, this selected offset amount is referred to as "selected offset amount”.
  • the shelf label position correction unit 404 moves the position of the manual shelf label position set 503 by the selected offset amount. Then, the shelf label position correction unit 404 calculates an overlapping area of the shelf label area of the moved manual shelf label position set 503 and the shelf label area of the automatic shelf label position set 504 with respect to the monitoring camera image 502 (S203). ).
  • the shelf label position correction unit 404 associates the selected offset amount with the overlapping area calculated in S203, and stores the amount in the memory or the like (S204).
  • the shelf label position correction unit 404 After completion of the offset loop process (S205), the shelf label position correction unit 404 refers to a memory or the like and specifies the offset amount associated with the largest overlapping area (S206).
  • the shelf label position correction unit 404 moves the manual shelf label position set 503 by the offset amount specified in S206, generates a corrected shelf label position set 505 that matches the monitoring camera image 502, and the like. (S207).
  • the shelf label position correction unit 404 calculates the average size and shape of the shelf label area (hereinafter referred to as "average shelf label area") from the size and shape of each shelf label area included in the manual shelf label position set 503. Do.
  • the shape of the average shelf label area may be rectangular as shown in the hatched area 601 of FIG.
  • the shelf label position correction unit 404 sets ⁇ x, which is half the length of the average shelf label area in the X-axis direction, and the length of the average shelf label area in the Y-axis direction.
  • a unit length of the offset amount is set to ⁇ y which is a half length of and a plurality of different offset amounts are set.
  • FIG. 33 shows a case where a total of 25 offset amounts of -2 ⁇ x, - ⁇ x, 0, + ⁇ x, + 2 ⁇ x in the X-axis direction and -2 ⁇ y, - ⁇ y, 0, + ⁇ y, + 2 ⁇ y in the Y-axis direction are set. ing.
  • the number of repetitions of the offset loop process (S202) in FIG. 32 is 25 times.
  • the shelf label position correction unit 404 determines the manual shelf label position set 503 in S203.
  • Each shelf label area is moved by an offset amount ( ⁇ x, + ⁇ y) to calculate an overlapping area.
  • a point 603 in FIG. 33 indicates the shelf label position (coordinate point) when the shelf label area 601 is moved by the offset amount.
  • the shelf label position may be coordinates of the center (or center of gravity) of the shelf label area.
  • the shelf label position correction unit 404 calculates an offset amount at which the manual shelf label position set 503 and the automatic shelf label position set 504 most overlap, and using the calculated offset amount, the corrected shelf label A position set 505 is generated.
  • the shape of the average shelf label area shown in FIG. 33 is an example, and for example, as shown in FIG. 26, when the shape of each shelf label image in the camera image is distorted due to perspective, the shape of the average shelf label area May be similar to the shape of the distorted shelf label image.
  • overlapping area can be replaced with “overlapping rate” indicating the overlapping rate of the shelf label area of the manual shelf label position set 503 and the shelf label area of the automatic shelf label position set 504.
  • the shelf label position correcting unit 404 may notify an alert that the overlapping area is extremely small. This condition typically occurs when the installation environment of the camera 10 changes significantly. By this notification, the user can quickly notice a large change in the installation environment of the camera 10.
  • the number of repetitions of the offset loop process (S202) is 25 but may be more or less.
  • the change of the offset amount may be made finer, and when the number is reduced, the change of the offset amount may be made more rough.
  • the degree of change of the offset amount and the time required for processing are in a trade-off relationship. That is, setting the change in the offset amount more finely improves the accuracy, and setting it more roughly reduces the time required for processing.
  • part of the processing for correcting the shelf label position may be performed by the user's input or the like.
  • processing of offset loop processing S202
  • setting of maximum value of offset S
  • setting of offset change amount specification of position of some shelf labels (for example, shelf label on upper left)
  • the input to assist can be considered.
  • a plurality of offset amounts and an overlapping amount of the manual shelf label position set 503 and the automatic shelf label position set 504 in each case are output, and the determination of the offset amount to be finally adopted is determined by the user's judgment. You may.
  • the generation of the correction shelf label position set 505 in the present embodiment may be performed when an operation such as pan and tilt with respect to the camera occurs, or may be performed at a predetermined cycle. In the former case, the number of corrections can be reduced. In the latter case, correction can be performed relatively quickly even when the camera moves due to an unintended impact or the like.
  • the shelf label detection device 2 uses the automatic shelf label position set 504 generated for the monitoring camera image 502 using the manual shelf label position set 503 generated for the reference camera image 501.
  • the correction is performed to generate a correction shelf label position set 505 that matches the surveillance camera image 502. Since the correction shelf label position set 505 is corrected to apply the manual shelf label position set 503 having high accuracy to the monitoring camera image 502, it is possible to detect the shelf label position in the monitoring camera image 502 with high accuracy.
  • the shelf label detection device 2 according to the third embodiment is different from the shelf label detection device 2 according to the second embodiment in having various notification functions.
  • the third embodiment only the parts different from the second embodiment will be described, and the description of the parts common to the second embodiment will be omitted.
  • FIG. 34 is a block diagram showing a configuration example of the shelf label detection device 2 according to the present embodiment.
  • the shelf label detection apparatus 2 includes a change detection unit 406 and a correction unit 407 in addition to the configuration of the shelf label detection apparatus 2 shown in FIG.
  • the change detection unit 406 detects a change in the arrangement of the shelf labels 51 on the display shelf 50. In addition, the change detection unit 406 notifies an alert according to the detection content. Note that the change detection unit 406 may be called a “notification unit”.
  • the change detection unit 406 detects a mismatch between the manual shelf label position set 503 and the automatic shelf label position set 504 for a predetermined period or more
  • the first update request alert related to the manual shelf label position set 503 is Notice.
  • the misalignment typically occurs when the arrangement of the shelf labels 51 of the display shelf 50 is changed and the manual shelf label position set 503 is not changed.
  • the details of the notification process of the first update request alert will be described later.
  • the change detection unit 406 when detecting a mismatch between the shelf allocation information 400 and the correction shelf label position set 505, the change detection unit 406 notifies a second update request alert related to the manual shelf label position set 503.
  • the misalignment typically occurs when the shelf allocation information 400 is updated after the arrangement of the shelf labels 51 of the display shelf 50 is changed, but the manual shelf label position set 503 is not updated, or This occurs when the manual shelf label position set 503 is updated but the shelf allocation information 400 is not updated. The details of the notification process of the second update request alert will be described later.
  • the correction unit 407 automatically corrects the manual shelf label position set 503 when a mismatch between the manual shelf label position set 503 and the automatic shelf label position set 504 is detected for a predetermined period or more.
  • the misalignment typically occurs when the manual shelf label position set 503 is not changed after the arrangement of the shelf labels 51 of the display shelf 50 is changed.
  • the correction unit 407 deletes a shelf label position existing in the correction shelf label position set 505 but not existing in the automatic shelf label position set 504 from the manual shelf label position set 503, and exists in the automatic shelf label position set 504. Is added to the manual shelf label position set 503, and the manual shelf label position set 503 is corrected. The details of the process of the correction unit 407 will be described later.
  • the change detection unit 406 detects manual shelf label positions (hereinafter referred to as “non-overlapping manual shelf labels”) 701, 702, 703 which do not overlap with the automatic shelf label position set 504 in the first process.
  • non-overlapping manual shelf labels 701 and 702 are detected
  • non-overlapping manual shelf label 703 is detected.
  • the “non-overlap” is not limited to the case where the shelf label area of the manual shelf label position set 503 and the shelf label area of the automatic shelf label position set 504 do not overlap at all.
  • a threshold of the overlap ratio may be provided in advance, and when the overlap ratio is less than the threshold, it may be determined that the overlap is not performed.
  • the number of times of detection of the non-overlapping manual shelf label 703 becomes “3”.
  • the threshold of the number of detections to be notified is “3”
  • the non-overlapping manual shelf label 703 has been detected three consecutive times (that is, a predetermined period or more), so the change detection unit 406 performs the first update Notify request alerts.
  • the change detection unit 406 compares the manual shelf label position set 503 with the automatic shelf label position set 504, and the manual shelf label position not overlapping with the automatic shelf label position set 504 (that is, "non-overlapping manual shelf label") Detection processing (S301).
  • the change detection unit determines whether a non-overlapping manual shelf label is detected in S301 (S302).
  • the change detection unit 406 ends the process.
  • the change detection unit 406 repeats the change detection loop process (S303 to S310) by the number of the detected non-overlapping manual shelf labels. At this time, the change detection unit 406 selects different non-overlapping manual shelf labels for each change detection loop process. In the description of FIG. 36, the selected non-overlapping manual shelf label is referred to as “selected non-overlapping manual shelf label”.
  • the change detection unit 406 determines whether the selected non-overlapping manual shelf label is registered in the exceptional shelf label table (not shown) (S304).
  • the exceptional shelf label table for example, a manual shelf label position corresponding to the shelf label 51 that can not be recognized by the image recognition technology due to a shield or the like is registered.
  • the change detection unit 406 determines whether the selected non-overlapping manual shelf label is registered in the focused shelf label table or not. (S305).
  • the not-overlapping manual shelf labels detected in the previous S301 are registered in the focused shelf label table.
  • the change detection unit 406 registers the selected non-overlapping manual shelf tag in the target shelf label table (S306) ), Shift to S307.
  • the change detection unit 406 adds “1” to the detection count of the selected non-overlapping manual shelf label (S307).
  • the change detection unit 406 determines whether the number of times of detection of the selected non-overlapping manual shelf label is equal to or more than a predetermined threshold (S308).
  • the change detection unit 406 proceeds to the next change detection loop processing (S310).
  • the change detection unit 406 If the number of times of detection of the selected non-overlapping manual shelf label is equal to or greater than the predetermined threshold (S308: YES), the change detection unit 406 notifies the first update request alert (S309), and shifts to the next change detection loop processing (S310). At this time, the change detection unit 406 may also notify that the non-matching target is the selected non-overlapping manual shelf label.
  • the change detection unit 406 After completing the change detection loop process (S310), the change detection unit 406 deletes the non-overlapping manual shelf label not detected in S301 this time from the target shelf label table (S311). As a result, the notable overlapping manual shelf labels which are continuously detected remain in the focused shelf label table. Then, the change detection unit 406 ends the present process.
  • the change detection unit 406 notifies the first update request alert when the non-overlapping manual shelf label is detected a predetermined number of times or more continuously (that is, a predetermined period or more). This notification allows the user to know that the manual shelf label position set 503 needs to be updated.
  • the condition for notifying the first update request alert is not limited to the condition that the same non-overlapping manual shelf labels are continuously detected as described above.
  • the condition for notifying the first update request alert may be a condition that the same non-overlapping manual shelf label is detected with a frequency equal to or higher than a predetermined threshold.
  • FIG. 37 shows that in the shelf allocation information 400, the number of shelf labels 51 arranged on the shelf board 52 at the first stage is “6” to “5” and the shelf board arranged at the shelf board 52 at the third stage Although the number of tags 51 is changed from “6” to "7", the manual shelf label position set 503 is not changed (the number of shelf labels 51 of any shelf board 52 remains “6") Show.
  • the change detection unit 406 determines that the misalignment occurs between the shelf allocation information 400 and the manual shelf label position set 503 in the first shelf 52 and the third shelf 52. Notify 2 update request alerts. At this time, the change detection unit 406 may notify by notifying the number of steps of the shelf board 52 in which the misalignment occurs.
  • the change detection unit 406 specifies the number of stages of the shelf board 52 of the display shelf 50 to be monitored from the shelf allocation information 400 (S401).
  • the change detection unit 406 repeats the shelf loop process (S402 to S405) for the number of trays 52 specified in S401 (S402).
  • the change detection unit 406 selects a different shelf board 52 for each tray stage loop process.
  • the selected shelf board 52 is referred to as a "selected shelf”.
  • the change detection unit 406 compares the number of shelf labels 51 in the selection shelf of the shelf allocation information 400 with the number of shelf labels 51 in the selection shelf of the manual shelf label position set 503, and the number of two shelf labels does not match It is determined whether or not (S403).
  • the change detection unit 406 proceeds to the next rack stage loop processing (S405).
  • the change detection unit 406 notifies the second update request alert (S404), and shifts to the next rack stage loop processing (S405).
  • the change detection unit 406 ends the process.
  • the change detection unit 406 notifies a second update request alert. By this notification, the user can know that the update of the manual shelf label position set 503 or the update of the shelf allocation information 400 is necessary.
  • condition of the notification of the second update request alert is the inconsistency between the shelf allocation information 400 and the manual shelf label position set 503
  • condition of the notification is the shelf allocation information 400 and the correction shelf label It may be a misalignment with the position set 505.
  • the correction shelf label position set 505 is obtained by correcting the manual shelf label position set 503 using the information of the automatic shelf label position set 504, the correction shelf label position set 505 is arranged on the shelf board 52 even if there is a shift in the image. The number of existing shelf labels 51 can be accurately confirmed.
  • the shelf labels 51 It can be considered to check whether or not the interval between the two is consistent with the shelf allocation information 400.
  • FIG. 39 in the change of a certain shelf board 52, the second shelf label 801 from the left is removed, and the shelf label 802 is attached between the fifth and sixth from the left.
  • the manual shelf label position set 503 is not changed, as shown in the first to third times in FIG. 39, a mismatch occurs between the corrected shelf label position set 505 and the shelf label image.
  • the correction unit 407 exists in the unknown shelf label 803 existing in the correction shelf label position set 505 but not existing in the automatic shelf label position set 504 and the automatic shelf label position set 504 in the first to third processing.
  • the unknown shelf label 804 which does not exist in the correction shelf label position set 505 is detected.
  • the threshold value of the number of times of detection for automatic correction is “3”
  • the unknown shelf labels 803 and 804 are detected three consecutive times, so the correction unit 407 checks the unknown shelf label from the manual shelf label position set 503
  • the tag 803 (805) is deleted, and the unknown shelf label 804 (806) is added to the manual shelf label position set 503.
  • the inconsistency between the correction shelf label position set 505 and the shelf label image is eliminated.
  • the automatic correction process of the manual shelf label position set 503 will be described with reference to the flowchart of FIG. The process may be performed after S13a of FIG.
  • the correction unit 407 compares the correction manual shelf label position set 503 with the automatic shelf label position set 504, and performs detection processing of a shelf label position (that is, an unknown shelf label) existing in either one and not the other ( S501).
  • the correction unit 407 determines whether an unknown shelf label is detected in S501 (S502).
  • the correction unit 407 ends the process.
  • the correction unit 407 determines whether all the detected unknown shelf labels are registered in the unknown shelf label table (not shown) (S503).
  • the unknown shelf label detected in the previous S501 is registered in the unknown shelf label table.
  • the correction unit 407 registers the unregistered unknown shelf label in the unknown shelf label table (S 504), Transfer to S505.
  • the correction unit 407 adds "1" to the number of detections of each unknown shelf label registered in the unknown shelf label table (S505).
  • the correction unit 407 determines whether an unknown shelf label whose number of times of detection is equal to or more than a predetermined threshold value exists in the unknown shelf label table (S506).
  • the correction unit 407 proceeds to S508.
  • the correction unit 407 sets the manual shelf label position set 503 using the unknown shelf label greater than or equal to the threshold. It corrects (S507) and progresses to S508. Specifically, the correction unit 407 deletes from the manual shelf label position set 503 the unknown shelf labels that are present in the corrected shelf label position set 505 but not present in the automatic shelf label position set 504 and whose detection count is equal to or more than the threshold. Do.
  • the correction unit 407 adds an unknown shelf label existing in the automatic shelf label position set 504 but not in the correction shelf label position set 505 and having a detection count equal to or more than the value to the manual shelf label position set 503. At this time, the correction unit 407 may notify an alert indicating that the manual shelf label position set 503 is to be corrected, and may correct the manual shelf label position set 503 only when the user permits.
  • the correction unit 407 deletes the unknown shelf label not detected in S501 from the unknown shelf label table (S508). As a result, in the unknown shelf label table, the continuously detected unknown shelf labels remain. Then, the correction unit 407 ends the present process.
  • the correction unit 407 automatically corrects the manual shelf label position set 503 when an unknown shelf label is detected continuously a predetermined number of times or more (that is, a predetermined period or more). This automatic correction reduces the work of the user manually updating the manual shelf label position set 503 after changing the layout of the shelf labels.
  • condition for notifying the second update request alert is not limited to the condition that the same unknown shelf label is continuously detected as described above.
  • the condition for notifying the second update request alert may be a condition that the same unknown shelf label is detected with a frequency equal to or higher than a predetermined threshold.
  • the threshold of the condition for automatically adding the unknown shelf label 804 to the manual shelf label position set 503 and the threshold for the condition for automatically deleting the unknown shelf label 803 from the manual shelf label position set 503 may be set to different values.
  • the threshold of the condition to be automatically added may be set higher than the threshold of the condition to be automatically deleted. This is because the automatic shelf label position set 504 is likely to erroneously detect a nonexistent shelf label due to the accuracy limit of image recognition.
  • the number of unknown shelf labels 803 deleted by the correction unit 407 exceeds a predetermined number, or the ratio of the number of deleted unknown shelf labels 803 in all the shelf labels exceeds a predetermined ratio, etc. May be notified of further alerts. This is because when many shelf labels are automatically corrected, it is highly likely that the information in the manual shelf label position set 503 is already outdated. By notifying such an alert, the user can be urged to review the manual shelf label position set 503 itself.
  • the shelf label detection device 2 when the shelf label detection device 2 detects a mismatch between the manual shelf label position set 503 and the automatic shelf label position set 504 for a predetermined period of time or more, the first type of manual shelf label position set 503 is selected. Notify of update request alerts. Further, when the shelf label detection device 2 detects a mismatch between the shelf allocation information 400 and the correction shelf label position set 505, the shelf label detection device 2 may notify the second update request alert of the manual shelf label position set 503. . These notices can prevent the user from forgetting to update the manual shelf label position set 503 after changing the arrangement of the shelf labels 51.
  • the shelf label detecting device 2 automatically corrects the manual shelf label position set 503 when detecting a mismatch between the manual shelf label position set 503 and the automatic shelf label position set 504 for a predetermined period or more. This automatic correction makes it possible to reduce the work of the user manually updating the manual shelf label position set 503 after changing the arrangement of the shelf labels 51.
  • Each function block employed in the description of the above embodiments may typically be implemented as an LSI constituted by an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include some or all. Although an LSI is used here, it may be called an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • a programmable field programmable gate array FPGA
  • a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI may be used.
  • the shelf label detection device includes an acquisition unit that acquires a first camera image and a second camera image including images of the shelf labels disposed on the display shelf, and the first camera image in advance.
  • a first shelf label position set including the set shelf label position and a second shelf label position set including the shelf label position with respect to the shelf label image detected by image recognition from the second camera image A correction unit that corrects and generates a corrected shelf label position set, and a specifying unit that specifies a shelf label position for the second camera image using the corrected shelf label position set.
  • the correction unit includes an area of the shelf label position included in the first shelf label position set and an area of the shelf label position included in the second shelf label position set.
  • the amount of movement of the first shelf label position set may be calculated based on the size of the amount of overlap, and the correction shelf label position set may be generated using the amount of movement.
  • the shelf label detection device performs a first predetermined notification when the first shelf label position set and the second shelf label position set are inconsistent for a predetermined period or more. And a notification unit.
  • a predetermined second notification when the shelf allocation information, which is information on the arrangement position of the shelf label on the display shelf, and the corrected shelf label position set are inconsistent, a predetermined second notification
  • the method may further include: performing a second notification unit.
  • the second label when the shelf label position existing in any one of the corrected shelf label position set and the second shelf label position set is detected for a predetermined period or more, the second label And a correction unit that corrects the first shelf label position set using the shelf label position set.
  • the first camera image and the second camera image including the images of the shelf labels disposed on the display shelf are acquired and set in advance for the first camera image.
  • the first shelf label position set including the determined shelf label position is corrected using the second shelf label position set including the shelf label position with respect to the shelf label image detected by image recognition from the second camera image Generating a corrected shelf label position set, and using the corrected shelf label position set to specify a shelf label position for the second camera image.
  • the shelf label detection program acquires a first camera image and a second camera image including images of the shelf labels disposed on the display shelf, and sets the first camera image in advance.
  • the first shelf label position set including the determined shelf label position is corrected using the second shelf label position set including the shelf label position with respect to the shelf label image detected by image recognition from the second camera image And causing the computer to execute a process of generating a correction shelf label position set and specifying the shelf label position for the second camera image using the correction shelf label position set.
  • the present disclosure is suitable for a system for detecting shelf labels of display shelves.
  • shelf label detection device 10 camera 20 computer (inventory monitoring device) Reference Signs List 50 display shelf 51 shelf label 52 shelf board 70 commodity 201 processor 202 input device 203 output device 204 memory 205 storage 206 communication unit 211 shelf label detection unit 212 monitoring area setting unit 213 shortage detection unit 214 output unit 215 shelf label association unit 216 Detected shelf label correction unit 261, 262 Communication interface (IF) 400 shelf allocation information MA monitoring area 401 image acquisition unit 402 manual shelf label setting unit 403 automatic shelf label detection unit 404 shelf label position correction unit 405 shelf label position identification unit 406 change detection unit 407 correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Toxicology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Display Racks (AREA)

Abstract

陳列棚に配置されている棚札の位置を的確に検出する。棚札検出装置（２）は、棚札位置補正部（４０４）と、棚札位置特定部（４０５）とを備えてよい。棚札位置補正部（４０４）は、基準カメラ映像（５０１）に対して予め設定された棚札位置を含む手動棚札位置セット（５０３）を、監視カメラ映像（５０２）から映像認識により検出された棚札位置を含む自動棚札位置セット（５０４）を用いて補正し、補正棚札位置セット（５０５）を生成する。棚札位置特定部（４０５）は、補正棚札位置セット（５０５）を用いて、監視カメラ映像（５０２）における棚札位置を特定する。

Description

棚札検出装置、棚札検出方法、及び、棚札検出プログラム
　本開示は、棚札検出装置、棚札検出方法、及び、棚札検出プログラムに関する。
　リテール業界において、例えば、商品の在庫及び／又は売り上げの管理をシステム化することによって、業務の効率化が進んでいる。在庫管理については、例えば、商品の陳列エリア（例えば、陳列棚）を監視カメラで撮影した映像に基づいて、商品の在庫を監視するシステムが利用されることがある。
特開２０１５－１０３１５３号公報 特許第６１１２４３６号公報
　しかし、例えば、陳列棚が含まれる映像に対して、監視対象に含める棚段（別言すると、監視エリア又は監視範囲）を適切に設定しないと、商品の在庫数（例えば、商品の不足又は欠品）を的確に監視することが困難になる場合がある。
　そのため、結局、人の目視によって個々の商品の在庫を確認せざるを得ないことがある。人の目視による確認では、陳列エリアに実際に陳列されている個々の商品数（実在庫数）と、例えば在庫管理システムによって管理されている個々の商品の在庫数（理論在庫数）と、が一致しないことがある。
　実在庫数と理論在庫数とが一致しない場合、例えば、目視によって確認した実在庫数に合わせて理論在庫数を修正するといった、在庫管理データの人手による修正作業が生じ、修正に時間がかかる。
　そのような修正作業を毎日及び／又は毎時間に行なうことは在庫管理者にとって負担であるため、例えば、特定の商品が欠品した状態で放置されるケースが生じ得る。欠品したままの状態が放置されてしまうと、商品販売の機会が失われ、場合によっては、顧客に対するイメージダウンにつながる。
　そのため、商品の在庫数を自動的に監視する在庫監視システムが求められている。しかし、当該システムを実現するためには、カメラ映像に含まれる棚札位置を的確に検出する必要がある。
　本開示の非限定的な実施例は、陳列棚が撮影されたカメラ映像から棚札位置を的確に検出可能な棚札検出装置、棚札検出方法、及び、棚札検出プログラムの提供に資する。
　本開示の一態様に係る棚札検出装置は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、を備える。
　また、本開示の一態様に係る棚札検出方法は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する。
　本開示の一態様に係る棚札検出プログラムは、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する、処理を、コンピュータに実行させる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様によれば、カメラ映像に含まれる棚札位置を的確に検出できる。
　本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
一実施の形態に係る在庫管理システムの構成例を示す図 一実施の形態に係る、棚札が付された陳列棚の模式的な正面図 図２に示された陳列棚の正面図を部分的に拡大して示す図 一実施の形態に係る棚割情報の一例を示す図 図１に例示したコンピュータの構成例を示すブロック図 図１及び図５に例示したコンピュータ（在庫監視装置）の動作例を示すフローチャート 図１及び図５に例示した在庫監視装置において映像認識によって棚札が検出される例を示す図 図１及び図５に例示した在庫監視装置によって監視エリアが設定される例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による監視エリアの設定例を示す図 （Ａ）及び（Ｂ）は、図１及び図５に例示した在庫監視装置による棚札検出処理での探索順序の一例を示す図 図１及び図５に例示した在庫監視装置による、棚割情報を用いた監視エリアの設定例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１に例示したカメラにＰＴＺ（パン、チルト、及び、ズーム）カメラを適用した例を説明する図 図２０において、映像認識のパターンマッチングに用いる認識モデルが撮影方向毎に異なる例を示す図 （Ａ）～（Ｃ）は、図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 （Ａ）及び（Ｂ）は、図１及び図５に例示した在庫監視装置による動体除去処理の一例を示す図 実施の形態２に関し、既知の映像認識技術のみで棚札位置を特定する場合の課題を説明するための図 実施の形態２に関し、手動で棚札位置を入力する場合の課題を説明するための図 実施の形態２に係る棚札位置の特定方法の概要を説明するための図 実施の形態２に係る棚札検出装置の構成例を示すブロック図 実施の形態２に係る棚札検出装置の動作例を示すフローチャート 実施の形態２に係る棚札検出装置の動作例を示すフローチャート 棚札位置補正部の処理例を示すフローチャート 移動量（オフセット量）の算出例を説明するための図 実施の形態３に係る棚札検出装置の構成例を示すブロック図 第１の更新要求アラートの通知処理の具体例を説明するための図 第１の更新要求アラートの通知処理の一例を示すフローチャート 第２の更新要求アラートの通知処理の具体例を説明するための図 第２の更新要求アラートの通知処理の一例を示すフローチャート 手動棚札位置セットの自動修正処理の具体例を説明するための図 手動棚札位置セットの自動修正処理の一例を示すフローチャート
　以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　図１は、一実施の形態に係る在庫管理システムの構成例を示す図である。図１に示す在庫管理システム１は、例えば、カメラ１０と、コンピュータ２０と、を備えてよい。なお、「在庫管理システム」は、「在庫監視システム」と言い換えられてもよい。
　カメラ１０は、例えば、商品を販売する店舗内に設置されて、商品が陳列されるエリア、例えば、商品の陳列棚５０が設置されたエリアを含む映像を撮影する。陳列棚５０が設置される店舗の業種又は業態、及び、店舗が扱う商品の種類は限定されない。
　例えば、陳列棚５０は、スーパーマーケット、コンビニエンスストア、百貨店、量販店、ディスカウントストア、あるいは、各種施設に設置された売店や販売ブース（又は販売コーナー）に設けられてよい。また、陳列棚５０は、屋内に限らず屋外に設けられてもよい。
　カメラ１０は、陳列棚５０が含まれるエリアを撮影する専用のカメラであってもよいし、防犯カメラのように他の目的あるいは用途で利用されるカメラと兼用であってもよい。また、カメラ１０は、在庫管理システム１に、複数台設けられてもよい。
　カメラ１０による撮影対象（「監視対象」と言い換えてもよい）と陳列棚５０とは、１対１に対応付けられてもよいし、１対多あるいは多対１に対応付けられてもよい。例えば、１つのカメラ１０で１つの陳列棚５０を撮影対象としてもよいし、１つのカメラ１０で複数の陳列棚５０を撮影対象としてもよい。
　例えば、カメラ１０に、ＰＴＺカメラのような、撮影方向及び／又は画角が可変のカメラを用いることで、１台のＰＴＺカメラ１０で、異なる複数の陳列棚５０を撮影対象に含めることができる。あるいは、１台のＰＴＺカメラ１０で、１つの陳列棚５０の異なる領域又は空間を撮影対象に含めることができる。
　例えば、１つの陳列棚５０の幅方向又は高さ方向を１台のカメラ１０ではカメラ映像に収めることが困難な場合、１台以上のＰＴＺカメラ１０の撮影方向を可変制御することで、幅方向又は高さ方向の異なる複数の領域又は空間をカメラ映像に収めることができる。
　このように、カメラ１０にＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
　図１に例示したコンピュータ２０は、情報処理装置の一例であって、パーソナルコンピュータ（ＰＣ）でもよいし、サーバでもよい。サーバには、クラウドサーバが含まれてよい。コンピュータ２０とカメラ１０とは、例えば、有線又は無線によって接続されて、互いに通信する。また、コンピュータ２０とカメラ１０とは、ネットワークを介して接続されてもよい。
　「ネットワーク」は、有線ネットワークでもよいし、無線ネットワークでもよい。有線ネットワークの一例としては、イントラネット、インターネット、及び、有線ＬＡＮ（Local Area Network）が挙げられる。無線ネットワークの一例としては、無線ＬＡＮが挙げられる。
　コンピュータ２０は、例えば、カメラ１０で撮影された映像データ（以下「カメラ映像」と略称することがある）を受信し、受信したカメラ映像を解析する。例えば、コンピュータ２０は、陳列棚５０のカメラ映像を映像認識することによって、陳列棚５０における商品の在庫を監視し、商品の不足あるいは欠品を検知する。
　なお、「映像認識」は、「画像認識」と言い換えられてもよい。また、商品の不足あるいは欠品を検知することを、便宜的に、「欠品検知」と総称することがある。「検知」は、「検出」に言い換えられてもよい。また、カメラ映像の受信元は、カメラ１０でもよいし、例えば、カメラ１０で撮影された映像データを録画する録画装置でもよい。
　商品の在庫を監視することには、陳列棚５０に付された棚札の位置を検知することが含まれてよい。棚札には、例えば、商品名及び／又は価格といった、商品に関する情報（以下「商品情報」と称する）が示されてよい。棚札は、紙棚札であってもよいし、電子棚札であってもよい。電子棚札は、液晶ディスプレイ等で構成されていてもよいし、電子ペーパー等で構成されていてもよい。また、電子棚札は、無線通信機能等を備えており、提示する情報を遠隔で書き換えられるものであってもよい。なお、「棚札」は、棚タグ、棚カード、又は、棚ラベルといった別の呼称で呼ばれてもよい。
　コンピュータ２０は、例えば、カメラ映像の映像認識によって、陳列棚５０に付された棚札の位置を検知し、検知した棚札位置に基づいて、陳列棚５０において在庫を監視する対象の領域又は空間を設定してよい。
　以下において、商品の在庫を監視する対象の領域又は空間を、「監視エリア」又は「監視範囲」と総称することがある。映像認識によって検知された棚札５１の位置に基づいた、陳列棚５０における監視エリアの設定例については、後述する。
　図２に、棚札５１が付された陳列棚５０の模式的な正面図を示す。図３には、図２に示された陳列棚５０の正面図が部分的に拡大されて示されている。非限定的な一例として、図２及び図３には、陳列棚５０の陳列スペースが、３つの棚板５２によって、陳列棚５０の高さ方向に４つの空間に区分された態様が示されている。また、図２及び図３において、点線枠で囲んだ領域は、商品７０の欠品が生じた状況を表している。
　また、図３には、陳列棚５０をカメラ１０で撮影した映像データをコンピュータ２０において映像認識し、検出された棚札５１の位置に基づいて設定された監視エリアにおいて商品の不足又は欠品を検出した場合に、その情報を出力する例が併記されている。
　陳列棚５０において高さ方向に区分された陳列スペースは、「棚段」と称されてもよい。図２には、２つの棚段に着目した例が示されている。なお、１つの陳列棚５０における陳列スペースの区分の仕方は限定されない。陳列棚５０の高さ方向に限らず、陳列棚５０の幅方向に陳列スペースが区分されてもよい。
　棚札５１は、陳列される商品７０との対応関係を視認可能な、陳列棚５０のいずれかの位置に付されてよい。例えば、棚札５１は、棚板５２に付されてよい。商品７０は、例えば、陳列スペースのそれぞれにおいて、対応する棚札５１の位置に対応した領域又は空間（図２及び図３の例では、棚札５１の上部空間）に陳列される。
　監視エリアの設定、及び／又は、在庫の監視には、検知された棚札５１の位置情報に加えて、棚割に関する情報（以下「棚割情報」と称する）が用いられてよい。「棚割」とは、例えば、陳列棚５０のどの陳列スペースに、どのような商品を幾つ陳列するか（又は、割り当てる）かを計画することを表す。
　図４に、棚割情報４００の一例を示す。図４に示すように、棚割情報４００には、例えば、商品７０が陳列される位置を示す情報と、その位置に陳列される商品７０に関する情報と、が含まれてよい。なお、以下において、商品７０が陳列される位置を示す情報を「陳列位置情報」と称することがあり、商品７０に関する情報を「商品情報」と称することがある。
　非限定的な一例として、陳列位置情報には、店舗番号、階数、通路番号、棚番号、棚段番号、及び、棚段における陳列位置のいずれか１つ以上を示す情報が含まれてよい。
　商品情報には、例えば、商品７０の種類又は内容といった個々の商品７０を特定又は識別可能な情報が含まれてよい。商品７０を特定又は識別可能な情報の非限定的な一例としては、「ＸＸＸパスタ」又は「ＹＹＹカレー」といった商品名、あるいは、商品コードが挙げられる。
　なお、商品情報には、例えば、商品７０のサイズ（幅、高さ、及び、奥行きの少なくとも１つ）を示す情報が含まれてもよいし、陳列する商品７０の個数を示す情報、別言すると、陳列数を示す情報が含まれてもよい。また、商品情報には、商品７０の価格を示す情報が含まれてもよい。
　「陳列数」は、例えば、棚段の幅方向、高さ方向、及び、奥行き方向の１つ以上についての、商品７０の陳列数を示してよい。商品７０のサイズを示す情報と、商品７０の陳列数を示す情報と、の一方又は双方を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上することが可能である。
　したがって、コンピュータ２０は、棚割情報４００を参照することで、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
　また、コンピュータ２０は、陳列棚５０に付された棚札５１の、映像認識に基づく検知結果（例えば、棚札位置）を、棚割情報４００に基づいて補正してもよい。棚札位置を補正することには、例えば映像認識による棚札５１の検知漏れを、棚割情報４００に基づいて訂正することが含まれてよい。
　棚割情報４００を用いた監視エリアの設定例及び棚札位置の補正例については、後述する。
　なお、棚割情報４００を用いない場合、監視エリアにおいて不足又は欠品した商品７０がどのような商品７０なのかといった具体的な情報は特定されないが、棚札位置に基づいて設定された監視エリアを画像認識した結果（例えば、監視エリアに現れる背景画像の割合）から、何れの棚段の何れの位置において商品７０の不足又は欠品が生じているかは検知できる。このような検知処理において棚割情報４００を併用することで、欠品検知に係る商品７０がどのような商品７０であるのかという具体的な情報を特定することが可能になる。例えば、「ＸＸＸパスタが欠品」あるいは「〇段△列のＸＸＸパスタが欠品」といった情報の提示が可能になる。
　（コンピュータ２０の構成例）
　次に、図５を参照して、コンピュータ２０の構成例について説明する。図５に示すように、コンピュータ２０は、例示的に、プロセッサ２０１、入力装置２０２、出力装置２０３、メモリ２０４、ストレージ２０５、及び、通信部２０６を備えてよい。
　プロセッサ２０１は、コンピュータ２０の動作を制御する。プロセッサ２０１は、演算能力を備えた回路又はデバイスの一例である。プロセッサ２０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、及び、ＧＰＵ（Graphics Processing Unit）の少なくとも１つが用いられてよい。
　入力装置２０２は、例えば、キーボードや、マウス、操作ボタン、及び、マイクロフォンの少なくとも１つを含んでよい。入力装置２０２を通じて、プロセッサ２０１にデータ又は情報が入力されてよい。
　出力装置２０３は、例えば、ディスプレイ（又はモニタ）、プリンタ、及び、スピーカの少なくも１つを含んでよい。ディスプレイは、例示的に、タッチパネル式のディスプレイであってもよい。タッチパネル式のディスプレイは、入力装置２０２及び出力装置２０３の双方に該当すると捉えてよい。
　メモリ２０４は、例えば、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。メモリ２０４には、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）が含まれてよい。ＲＡＭは、プロセッサ２０１のワークメモリに用いられてよい。「プログラム」は、「ソフトウェア」あるいは「アプリケーション」と称されてもよい。
　ストレージ２０５は、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。ストレージ２０５に、既述の棚割情報４００が記憶されてよい。なお、棚割情報４００は、予めストレージ２０５に記憶されてもよいし、例えば、棚割情報４００を管理する棚割システム（不図示）から提供されてストレージ２０５に記憶されてもよい。
　ストレージ２０５は、ハードディスクドライブ（ＨＤＤ）、又は、ソリッドステートドライブ（ＳＳＤ）といった半導体ドライブ装置を含んでよい。半導体ドライブ装置の追加で又は代替で、フラッシュメモリのような不揮発性メモリが、ストレージ２０５に含まれてもよい。
　プログラムには、上述したように映像認識によって商品７０の在庫を監視する在庫監視プログラムが含まれてよい。在庫監視プログラムを成すプログラムコードの全部又は一部は、メモリ２０４及び／又はストレージ２０５に記憶されてもよいし、オペレーティングシステム（ＯＳ）の一部に組み込まれてよい。
　プログラム及び／又はデータは、コンピュータ２０が読取可能な記録媒体に記録された形態で提供されてよい。記録媒体の一例としては、フレキシブルディスク、ＣＤ－ＲＯＭ，ＣＤ－Ｒ，ＣＤ－ＲＷ，ＭＯ，ＤＶＤ、ブルーレイディスク、ポータブルハードディスク等が上げられる。また、ＵＳＢ（Universal Serial Bus）メモリ等の半導体メモリも記録媒体の一例である。
　また、プログラム及び／又はデータは、例えば、サーバ（不図示）から通信回線を介してコンピュータ２０に提供（ダウンロード）されてもよい。例えば、通信部２０６を通じてプログラム及び／又はデータがコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてよい。また、プログラム及び／又はデータは、入力装置２０２を通じてコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてもよい。
　通信部２０６は、例えば、カメラ１０と通信するための通信インタフェース（ＩＦ）２６１を備える。通信ＩＦ２６１は、有線インタフェース及び無線インタフェースのいずれであってもよい。
　例えば、通信ＩＦ２６１は、カメラ１０で撮影された映像データを受信する。受信した映像データは、例えば、プロセッサ２０１を介して、メモリ２０４及び／又はストレージ２０５に記憶される。カメラ１０がＰＴＺカメラである場合、通信部２０６は、例えば、プロセッサ２０１からの指示に応じてＰＴＺカメラ１０と通信することで、ＰＴＺカメラ１０の撮影方向及び／又は画角を制御してよい。
　また、通信部２０６は、コンピュータ２０とは異なる「他のコンピュータ」（不図示）と通信するための通信ＩＦ２６２を備えてもよい。「他のコンピュータ」は、例えば、有線又は無線のネットワークに接続されたサーバでもよいし、有線又は無線のネットワークに接続されたユーザ端末でもよい。「他のコンピュータ」が、既述の棚割システムにおけるコンピュータに該当してもよい。
　ユーザ端末は、例えば、商品７０の在庫管理者に所持されてよい。ユーザ端末の非限定的な一例としては、ＰＣ、携帯電話（スマートフォンを含む）、及び、タブレット端末が挙げられる。ユーザ端末に、商品の在庫管理又は在庫監視に係る情報が提供されてよい。
　プロセッサ２０１が、例えば、メモリ２０４及び／又はストレージ２０５に記憶された在庫監視プログラムを読み出して実行することにより、コンピュータ２０を、映像認識によって商品７０の在庫を監視する在庫監視装置として機能させることができる。
　例えば、プロセッサ２０１が在庫監視プログラムを実行することによって、図５に例示する、棚札検出部２１１、監視エリア設定部２１２、欠品検出部２１３、及び、出力部２１４を含む在庫監視装置２０が具現される。オプションとして、在庫監視装置２０において、棚札関連付け部２１５、及び、検出棚札補正部２１６の一方又は双方が、在庫監視プログラムの実行に応じて具現されてもよい。
　棚札検出部２１１は、例えば、陳列棚５０の全部又は一部が含まれるカメラ映像の映像認識によって、カメラ映像に含まれる棚札５１を検出する。例えば、棚札検出部２１１は、棚札５１の形状及び／又は色に対応したテンプレート画像を用いて、カメラ映像に対してパターンマッチングを行うことにより、棚札５１を検出してよい。
　監視エリア設定部２１２は、例えば、棚札検出部２１１によって検出された棚札５１の位置に基づいて、陳列棚５０における監視エリアを設定する。
　欠品検出部２１３は、監視部の一例であって、例えば、監視エリア設定部２１２によって設定された監視エリアにおける商品の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫（又は「陳列状況」と称してもよい）を監視する。
　例えば、欠品検出部２１３は、商品７０が不足又は欠品した場合に監視エリアに現れる背景映像をテンプレート画像に用いて、監視エリアのカメラ映像に対してパターンマッチングを行うことにより、商品７０の不足又は欠品を検出してよい。
　なお、カメラ１０の設置位置及び／又は撮影方向によって、カメラ映像において棚札５１の形状が変わり得る。例えば、陳列棚５０を正面から捉えたカメラ映像と、陳列棚５０を正面からずれた斜め方向から捉えたカメラ映像とでは、棚札５１の形状が異なる。
　また、カメラ１０の設置位置及び／又は撮影方向（以下、便宜的に「カメラ位置」と総称することがある）によって、商品７０が不足又は欠品した場合にカメラ映像に現れる背景映像も変わり得る。
　例えば、陳列棚５０を正面から捉えたカメラ映像では、陳列棚５０の背面に位置する背板の正面方向の画像が背景映像に相当し得る。また、陳列棚５０を斜め上方から捉えたカメラ映像では、例えば、棚板５２の商品７０が陳列される面が背景映像に相当し得る。陳列棚５０を斜め側方から捉えたカメラ映像では、例えば、棚段を左右方向に仕切る仕切り板（図示せず）の表面が背景映像に相当し得る。
　このように、カメラ位置によって棚札５１の形状及び／又は背景映像が変わるため、映像認識のパターンマッチングに用いるテンプレート画像（「認識モデル」と言い換えてもよい）は、カメラ位置に対応して用意されてよい。なお、本実施の形態では、認識モデルはテンプレート画像であり、パターンマッチングによって棚札の形状及び／又は背景映像を認識するものとして説明するが、他の実装方法も可能である。例えば、棚札及び／又は背景映像それぞれについて機械学習を行うことにより生成した学習済モデルを認識モデルとして用いて、棚札及び／又は背景映像を認識してもよい。
　例えば、カメラ１０が複数の場所に設置されている場合、及び／又は、ＰＴＺカメラ１０のように撮影方向が可変である場合には、複数のテンプレート画像が用意されてよい。テンプレート画像は、例えば、ストレージ２０５に記憶され、プロセッサ２０１によって適時に読み出される。
　出力部２１４は、例えば在庫管理者に提示（例えば、通知）する情報を生成して出力する通知情報生成部の一例である。出力部２１４は、例えば、欠品検出部２１３による検出結果、及び／又は、検出結果に基づく情報を含む通知情報を生成して出力装置２０３及び／又は通信部２０６へ出力する。
　非限定的な一例として、商品７０の欠品検知を通知する情報（「通知情報」、「欠品情報」、又は、「アラート情報」と称されてもよい）が、出力装置２０３の一例であるディスプレイ及び／又はプリンタへ出力されてよい。
　なお、出力部２１４は、欠品検出部２１３による検出結果及び棚札検出部２１１による検出結果のいずれか一方又は双方と、棚割情報４００と、が関連付けられた情報に基づいて、通知情報を生成してもよい。
　例えば、欠品検出部２１３による検出結果と棚割情報４００とが関連付けられた情報を基に、出力部２１４は、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名を含む通知情報を生成できる。
　なお、通知情報は、例えば、通信部２０６を介して「他のコンピュータ」へ送信されてもよい。通信部２０６を介した通知情報の送信には、電子メールが利用されてもよい。
　棚札関連付け部２１５は、例えば、棚札検出部２１１によって検出された棚札５１のそれぞれに対して、棚割情報４００（例えば、商品情報）を関連付ける。
　検出棚札補正部２１６は、例えば、棚割情報４００に商品情報の一例として商品７０のサイズ及び陳列数に関する情報が含まれる場合に、棚札検出部２１１によって検出された棚札位置を商品情報に基づいて補正してよい。
　なお、図５に例示したコンピュータ（在庫監視装置）２０の構成は、あくまでも例示である。在庫監視装置２０においてハードウェア及び／又は機能ブロックの増減が適宜に行なわれてよい。例えば、ハードウェア及び／又は機能ブロックの追加、削除、分割、又は、統合が、在庫監視装置２０において、適宜に行なわれてよい。
　（動作例）
　次に、在庫監視装置２０の動作例について説明する。
　図６に示すように、在庫監視装置２０は、例えば、カメラ映像を取得し（Ｓ１１）、取得したカメラ映像を例えば棚札検出部２１１において解析することによって、カメラ映像に含まれる棚札５１を検出する（Ｓ１２）。例えば図７において太枠５００を付して示すように、映像認識によって８個の棚札５１が検出される。
　図７の例では、下からｍ段目の棚板５２において２つの棚札５１が検出され、その上段に位置する（下からｍ＋１段目の）棚板５２、及び、更に上段に位置する（下からｍ＋２段目）の棚板５２において、それぞれ、３つの棚札５１が検出されている。なお、ｍは１以上の整数である。
　下からｍ段目の棚板５２において検出された２つの棚札５１の位置は、例えば左から順に、ｎ番目及びｎ＋１番目（ｎは１以上の整数）の位置である。同様に、下からｍ＋１番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。下からｍ＋２番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。なお、「ｍ段目及びｎ番目」の位置を、「ｍ段ｎ番」又は「ｍ段ｎ列」の位置と表記することがある。
　在庫管理システム１に複数台のカメラ１０が備えられている場合、あるいは、カメラ１０にＰＴＺカメラが用いられる場合、在庫監視装置２０は、例えば、カメラ位置を示す情報を取得して棚札検出部２１１に与えてよい（図６のＳ１１ａ）。
　カメラ位置を示す情報は、例えば、棚割情報４００と予め関連付けられていてよい。棚札検出部２１１は、例えば、カメラ位置を示す情報と棚割情報４００に基づいて、何れのカメラ１０の何れの撮影方向のカメラ映像であるかを識別して、映像認識による棚札５１の検出に適した認識モデルを設定してよい。なお、カメラ位置を示す情報と棚割情報４００との関連付けの一例については後述する。
　棚札５１の検出（図６のＳ１２）に応じて、在庫監視装置２０は、例えば監視エリア設定部２１２によって、商品７０の在庫を監視する監視エリアを設定する（図６のＳ１３）。例えば、監視エリア設定部２１２は、検出された棚札５１のうちの１つを基準棚札５１に設定する。非限定的な一例として、図７には、左下（１段１番）の棚札５１が基準棚札５１に設定される態様が示されている。
　基準棚札５１は、在庫監視装置２０（例えば、監視エリア設定部２１２）が自律的に設定してもよいし、在庫監視装置２０のユーザ（例えば、在庫管理者）によって指定（マニュアル指定）されてもよい。
　例えば、基準棚札５１の色（例えば、フレームカラー）及び／又は形状といった外観を他の棚札５１の外観とは異ならせておくことで、映像認識によって基準棚札５１を自律的に設定可能である。
　あるいは、「○段△番」の棚札５１といった情報が、基準棚札５１を指定する情報として入力装置２０２を通じて監視エリア設定部２１２に入力されてもよい。また、マニュアル指定は、自律的な設定の補完に用いられてもよい。
　基準棚札５１の設定に応じて、監視エリア設定部２１２は、例えば、図４に例示した棚割情報４００（例えば、陳列位置情報）を基に、基準棚札５１に対して上下方向及び／又は左右方向に隣り合う棚札５１を検出してよい。
　なお、上下方向及び／又は左右方向に隣り合う棚札５１を、便宜的に、「隣接棚札５１」と称することがある。隣接棚札５１の「検出」は、隣接棚札５１の「検索」又は「探索」と言い換えられてもよい。
　監視エリア設定部２１２は、検出した棚札５１間の距離に基づいて、監視エリアを設定してよい。監視エリアの設定例を図８に示す。
　図８において、例えば、ｍ（＝１）段ｎ（＝１）番の棚札５１を基準棚札に設定した場合、監視エリア設定部２１２は、基準棚札５１と隣接棚札５１との間の距離を求める。
　例えば、ｍ段ｎ番の基準棚札５１と、右方向のｍ段ｎ＋１番の棚札５１と、の間の距離Ｒｘが検出され、また、基準棚札５１と、上方向のｍ＋１段ｎ番の棚札５１と、の間の距離Ｒｙが検出される。
　監視エリア設定部２１２は、例えば、距離Ｒｘ及びＲｘによって定まるサイズ及び形状の監視エリアＭＡ（点線枠参照）を、１段１番の棚札５１についての監視エリアに設定する。監視エリア設定部２１２は、他の棚札５１についても、隣接棚札５１との間の距離Ｒｘ及びＲｙを検出することで、映像認識によって検出された棚札５１のそれぞれについて監視エリアＭＡを設定する。
　以上のように、監視エリア設定部２１２は、映像認識によって検出した棚札５１それぞれについて、当該棚札５１と隣り合う棚札である隣接棚札との間の距離を算出し、算出した距離に基づいて棚札５１それぞれに対応する監視エリアＭＡを設定する。したがって、棚札５１に対応して陳列される商品７０についての監視エリアＭＡを的確に設定できる。
　なお、監視エリアＭＡの形状は、矩形でもよいし楕円形のような円形でもよい。また、棚札５１は、商品７０が陳列されるスペースそれぞれに対して所定の規則（ルール）に従って配置されてよい。例えば、商品７０の左下に棚札５１を設置するといった一定のルールに従って棚札５１が設置されてよい。一定のルールが定められていれば、各棚札５１の位置又は棚札５１間の距離と、一定のルールと、に基づいて、正確な監視エリアＭＡを設定することができる。例えば、商品７０の左下に棚札５１が配置されるのであれば、監視エリアは当該棚札５１の右側に存在することが分かる。
　また、棚札５１が設置されない棚段（例えば、最上段の棚段）が存在する場合、ダミーの棚札５１を設置することで、ダミーの棚札５１を含む棚札５１間の距離が求められてよい。なお、ダミーの棚札５１を使って最上段の棚段より上の距離Ｒｙを求める場合には、例えば棚に設置する「ＰＯＰ」にダミーの棚段５１を設置するなどとしてもよい。「ＰＯＰ」とは、商品名、商品の価格、キャッチコピー、説明文、及び／又は、イラストを例えば紙に記した広告媒体である。あるいは、棚札５１が設置されない棚段における距離Ｒｙについては、他の棚段（例えば、下段の棚段）との距離に基づいて、棚札５１間の距離が求められてもよい。例えば、隣接棚札５１の存在しない棚札５１については、他の棚札５１について算出された距離Ｒｙが再利用されてもよい。例えば、パースの歪みの少ない直下の棚段のＲｙを再利用したり、あるいは、カメラのパラメータを踏まえて他の棚段のＲｙを変換してＲｙを推定したりしてもよい。あるいは、棚札５１が設置されない棚段については、手動で棚札５１間の距離が設定されてもよい。
　また、棚段の右端に位置する棚札５１については、隣り合う別の陳列棚５０が存在すれば、その陳列棚５０に付された棚札５１との間の距離として棚札５１間の距離が求められてよい。あるいは、棚段の右端に位置する棚札５１については、カメラ映像の画像端との距離が棚札５１間の距離として設定されてもよい。
　なお、棚割情報４００には、例えば、監視対象である商品７０の幅、高さ、奥行き、及び、陳列数の１つ以上に関する情報が含まれてよい。この場合、当該情報を基に、検出棚札補正部２１６において、棚札検出部２１１によって検出された棚札位置が補正されてよい（図６のＳ１２ａ）。
　別言すると、棚割情報４００は、映像認識による棚札５１の検出結果の精度確認及び／又は補正に用いられてよい。棚札５１棚札位置の補正によって、監視対象である商品７０の欠品検出精度を高めることができる。棚札位置の補正例については図１７～図１９を用いて後述する。
　監視エリアＭＡの設定後、在庫監視装置２０は、欠品検出部２１３にて、例えば、個々の監視エリアＭＡのカメラ映像と背景映像とのパターンマッチングによって、監視エリアＭＡにおいて商品７０が不足又は欠品している領域を検出する（図６のＳ１４）。
　例えば図８において、ｍ段ｎ列の棚札５１に対しては、３つの商品７０を陳列できるスペースに、２つの商品７０しか陳列されていない。そのため、監視エリアＭＡのカメラ映像において、商品７０の１つ分に相当する背景映像が現れる。
　欠品検出部２１３は、監視エリアＭＡに現れた背景映像とテンプレート画像とがパターンマッチングにおいて一致することによって、背景映像の現れた領域に商品７０が陳列されていないことを検出する。別言すると、棚札５１に対応する商品７０の不足又は欠品が検出される。
　商品７０の不足又は欠品の検出に応じて、在庫監視装置２０は、例えば出力部２１４によって、商品７０の欠品検知を通知する情報を生成して出力する（図６のＳ１５）。商品７０の欠品検知を通知する情報には、文字情報及び／又は音声情報が含まれてもよいし、例えばカメラ映像が表示されるディスプレイにおいて、欠品検知に係る領域を強調表示するための情報が含まれてもよい。
　強調表示の非限定的な態様の一例としては、以下が挙げられる。以下の強調表示態様は、適宜に、組み合わされてもよい。
　・カメラ映像において、欠品検知に係る領域（以下、便宜的に「欠品エリア」と総称することがある）の色を、他の領域の色よりも目立つ色（強調色）に変更する。
　・欠品エリアを点滅表示する。
　・欠品エリアを、実線枠又は点線枠を付して表示する。実線枠又は点線枠には、色（強調色）が付されてもよい。
　・欠品エリアに付した実線枠又は点線枠を点滅表示する。
　以上のように、上述した在庫監視装置２０によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。なお、基準棚札をマニュアル指定する場合は、監視エリアの設定にあたってマニュアル操作を完全に排除することはできないが、監視エリアの設定の大部分を自動化でき、また、正確な基準棚札を設定できるため、従来と比べて精度よく、かつ、素早く監視エリアを設定することができる。
　別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。
　そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
　（棚札関連付け処理）
　なお、図６に点線で示すように、欠品検出（Ｓ１４）と情報出力（Ｓ１５）との間において、棚札関連付け処理（Ｓ１４ａ）が棚札関連付け部２１５によって行われてもよい。
　図６にＳ１４ａで示す棚札関連付け処理は、例えば、以下のように行われてよい。まず、棚札関連付け部２１５は、例えば図９に示すように、映像認識によって検出された棚札５１のうちの１つ（例えば、左上の「３段１番」）を基準棚札に設定する。
　次いで、棚札関連付け部２１５は、棚割情報４００を基に、基準棚札５１に対して、例えば図１０に示すように、「ｙ座標が近い棚札５１の中でｘ座標が最も近い棚札５１」を隣接棚札５１として検出する。図１０の例では、「３段２番」の棚札５１が検出される。
　棚札関連付け部２１５は、図１０に例示した隣接棚札５１の検出処理を、基準棚札５１が属する棚段の最後に位置する棚札５１、例えば「３段３番」の棚札５１が検出されるまで繰り返す。
　基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、棚札関連付け部２１５は、基準棚札５１が属する棚段の最後に位置する棚札５１に対して「ｙ座標が最も近い」棚札５１を検出する。例えば図１１に示すように、「２段３番」の棚札５１が検出される。
　なお、基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、図１２に示すように、棚札関連付け部２１５は、探索基準を基準棚札５１に戻して「ｙ座標が最も近い」棚札５１を検出してもよい。この場合、「２段１番」の棚札５１が検出される。
　棚札関連付け部２１５は、図１０及び図１１、又は、図１０及び図１２に例示した棚札検出処理を全ての棚札５１が検出されるまで繰り返す。図１５（Ａ）は、図１０及び図１１に例示した棚札検出処理での探索順序の一例を示し、図１５（Ｂ）は、図１０及び図１２に例示した棚札検出処理での探索順序の一例を示す。なお、棚札５１の探索順序は、図１５（Ａ）及び図１５（Ｂ）に例示した順序に限られない。
　全ての棚札５１の検出が終了した場合、棚札関連付け部２１５は、「ｍ段ｎ番」の棚札５１（図１３参照）と、棚割情報４００（例えば、商品情報）と、を関連付ける。
　棚札関連付け処理によって、映像認識によって検出された棚札５１のそれぞれに、商品情報を含む棚割情報４００が関連付けられる。したがって、既述のように棚札５１間の距離に基づいて監視エリアＭＡが設定されても（図１４参照）、監視エリアＭＡのそれぞれにおける監視対象の商品情報を特定できる。なお、最上段の監視エリアＭＡの高さは、例えば、下段の棚段の高さに基づいて設定されてよい。
　なお、基準棚札５１の設定は、例えばストレージ２０５に記憶されてよい。２回目以降の棚札関連付け処理においては、記憶された基準棚札５１の設定に従えばよい。そのため、基準棚札５１を再設定することは不要でもよい。
　また、棚札関連付け部２１５は、例えば、欠品検出部２１３によって検出された欠品エリアを示す情報と、映像認識によって検出された棚札５１の情報と、の一方又は双方を、棚割情報４００と関連付けてもよい。
　（棚割情報に基づいた通知情報の生成）
　図６のＳ１５において、出力部２１４は、棚割情報４００に基づいて通知情報を生成してよい。例えば、出力部２１４は、欠品エリアを示す情報と検出棚札５１の情報との関連付け情報を基に、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名及び／又は商品コードを含む通知情報を生成してよい。生成した通知情報は、例えば、出力装置２０３及び／又は通信部２０６へ出力される。
　このように、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品名及び／又は商品コードを含む情報を例えば在庫管理者へ通知できる。
　したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。よって、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
　（棚割情報を用いた監視エリアの設定例)
　次に、棚割情報４００に、例えば、商品７０のサイズを示す情報及び商品７０の陳列数を示す情報が含まれる場合に、これらの情報を用いた監視エリアＭＡの設定例について説明する。
　例えば、「ｍ段ｎ番の棚札５１に対して幅Ｘ及び高さＹの商品７０を３つ陳列する」という情報が棚割情報４００に含まれる。この場合、監視エリア設定部２１２は、図１６に示すように、３つの商品７０が含まれるサイズ（幅Ｘ及び高さＹ）の監視エリアＭＡを設定してよい。なお、図１６の例において、商品７０の奥行き方向のサイズは任意でよい。
　図１６において設定される監視エリアＭＡと、図８において設定される監視エリアとは、結果的に同じサイズであるが、図１６の例において、商品７０のサイズ及び／又は陳列数が異なれば、設定される監視エリアＭＡのサイズも図８の例とは異なる結果になる。
　例えば、図１６の例において、商品７０のサイズが図８の例よりも小さい場合、あるいは、商品７０の陳列数が図８の例よりも少ない場合、図１６の例において設定される監視エリアＭＡのサイズは、図８の例よりも小さくなる。
　なお、監視エリアＭＡを設定するにあたって、商品７０の幅、高さ、及び、陳列数の情報のすべてがそろう必要はない。監視エリアＭＡを設定するにあたって、既述のように映像認識によって棚札５１間の距離が検出されるため、監視エリア設定部２１２は、商品７０の幅、高さ、及び、陳列数の情報のうちの一部の情報が不足していても、検出された距離によって補完できる。また、商品７０の幅及び／又は高さは、映像認識によって検出された棚札５１のサイズに基づいて補完されてもよい。棚札５１のサイズは、既知でもよいし、棚札５１の映像認識によって検出されてもよい。
　また、陳列棚の最上段に位置する棚段のように、ｙ軸方向の棚札５１間の距離を求める基準となる棚札５１が設置されない場合であっても、監視エリア設定部２１２は、商品７０の高さを示す情報を基に、ｙ軸方向の監視エリアＭＡのサイズを適切に設定できる。
　また、監視エリアＭＡにおける監視対象の商品７０の個数を把握できるため、例えば、欠品検出部２１３において、段階的な欠品検知の精度を高めることができる。段階的な欠品検知の例については後述する。
　（棚割情報を用いた棚札検出結果の補正例）
　次に、棚割情報４００に、例えば、商品７０の種類を示す情報及び商品７０の陳列数を示す情報が含まれる場合に、棚割情報４００を用いた棚札検出結果の補正例について説明する。
　例えば、棚割情報４００に「ｍ＋１段の棚板５２に幅（Ｘ）の異なる３種類の商品７０を陳列する。」という情報が含まれる場合、検出棚札補正部２１６（図５参照）は、その情報を基に、映像認識による棚札５１の検知漏れを検出して訂正することができる。
　図１７に、棚札５１の検知漏れが生じ得るケースを示す。図１７の例においては、ｍ＋１（＝２）段の棚板５２について、本来、３つの棚札５１が検出されるはずである。なお、棚割情報４００には、３つの棚札５１のそれぞれに対して、図１８においてＣ１、Ｃ２及びＣ３で表され、異なる幅（Ｘ１、Ｘ２及びＸ３）の商品７０が陳列される情報が含まれる。
　しかし、２段２番の棚札５１に、例えば、「ＳＡＬＥ！」という別の札（障害物）が部分的に重なっているため、２段２番の棚札５１は、映像認識によっては検知に失敗することがある。
　検知が失敗した場合に、検出棚札補正部２１６は、例えば図１９に示すように、商品７０毎の幅（Ｘ１，Ｘ２及びＸ３）及び陳列数を、ｍ＋１（＝２）段の棚板５２にあてはめることで、２段２番の位置に棚札５１が存在することを推測できる。検出棚札補正部２１６は、推測した棚札５１を、映像認識によって検出された棚札５１に含めることで検出漏れを訂正してよい。
　このように、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
　（ＰＴＺカメラの適用）
　カメラ１０に例えばＰＴＺカメラを適用し、ＰＴＺカメラ１０の撮影方向を変更制御することで、複数の陳列棚５０あるいは１つの陳列棚５０の異なる複数の陳列スペースを監視対象に収めることができる。
　図２０に、ＰＴＺカメラ１０の適用例を示す。図２０には、奥行き方向に隣り合う２つの陳列棚５０の一方の例えば天井部分に、２台のＰＴＺカメラ１０が設置された例が示されている。
　したがって、ＰＴＺカメラ１０のそれぞれは、例えば２つの陳列棚５０のうちの他方の正面を斜め上方から撮影する。なお、ＰＴＺカメラ１０は、例えば、陳列棚５０が設置された店舗の天井部分に設置されて、陳列棚５０の正面を斜め上方から撮影してもよい。
　ＰＴＺカメラ１０のそれぞれは、例えば、陳列棚５０の幅方向に複数の方向（例えば、Ｎ＝３方向）に撮影方向が変更されてよい。なお、「Ｎ」は、撮影方向の数を表す２以上の整数である。撮影方向の変更は、例えば在庫監視装置２０が通信ＩＦ２６１（図５参照）を介してＰＴＺカメラ１０と通信することによって制御されてよい。
　撮影方向の変更制御は、事前に設定された周期で定期的に行われてもよいし、特定のタイミングで不定期に行われてもよい。また、ユーザの指示によって撮影方向を変更してもよい。例えば、１日、１週間、あるいは１ヶ月といった所定の単位期間のうち、特定の商品７０が欠品し易い時間帯が事前に把握できる場合、少なくとも、その時間帯には欠品し易い商品７０が監視対象に含まれるように撮影方向が制御されてよい。特定の商品７０が欠品し易い時間帯の非限定的な一例としては、特定の商品７０について定期的又は不定期に開催される販促時間帯（セール時間帯）が挙げられる。
　ＰＴＺカメラ１０の撮影方向を示す情報（例えば、角度情報）は、既述の棚割情報４００と関連付けられてよい。例えば、ＰＴＺカメラ１０及びＮ個（Ｎは２以上の整数）の角度情報にＩＤを割り当て、当該ＩＤと棚割情報４００におけるＩＤ（図４参照）とを関連付けてよい。
　このようなＩＤの関連付けによって、例えば、何れの陳列棚５０の何れの棚段が、何れのＰＴＺカメラ１０の何れの撮影方向によって監視されるかを識別できる。なお、ＩＤの関連付けは、例えば、棚札関連付け部２１５（図５参照）によって行われてよい。
　また、既述のように、撮影方向によって映像認識に適した認識モデルが変わるため、異なる撮影方向毎に、認識モデルが事前に用意されてよい。
　また、陳列棚５０の正面に例えばガラス扉が取り付けられているか否かによっても、映像認識に適した認識モデルは変わり得る。そのため、例えば、撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルが事前に用意されてもよい。
　図２１には、３つの撮影方向＃Ａ、＃Ｂ及び＃Ｃに対して、それぞれ、認識モデル＃１、＃２及び＃３が設定される例が示されている。あるいは、例えば、複数の認識モデルを切り替えて、検出される棚札５１の数が棚割情報に最も適合する認識モデルが選択されてもよい。
　以上のように、カメラ１０にＰＴＺカメラ１０を用いることで、１台のＰＴＺカメラ１０で複数地点の在庫を監視して把握することが可能なため、在庫管理システム１においてトータルのカメラ設置台数を削減できる。したがって、在庫管理システム１のトータルコストを削減できる。
　（段階的な欠品検知）
　商品７０の欠品エリアが検出されてから欠品情報が出力されても、商品７０の補充が間に合わない場合がある。
　そこで、例えば、在庫監視装置２０は、監視エリア設定部２１２によって設定された監視エリアに現れる背景映像の面積割合に応じて、商品７０の在庫レベル（「欠品レベル」と言い換えてもよい）を段階的に在庫管理者に提示してよい。図２２（Ａ）～図２２（Ｃ）に、段階的な欠品レベルの一例を示す。
　図２２（Ａ）には、「ｍ段ｎ番」から「ｍ段ｎ＋２番」の位置に３つの商品７０が陳列された状況（欠品レベル０）が示されている。図２２（Ｂ）には、３つの商品７０のうちの１つが欠品した状況（欠品レベル１）が示され、図２２（Ｃ）には、３つの商品７０が欠品した状況（欠品レベル３）が示されている。
　在庫監視装置２０（例えば、欠品検出部２１３）は、例えば、欠品レベルと、欠品レベルにおいて監視エリアに現れる背景映像の面積割合と、を関連付けて設定しておくことで、監視エリアに現れた背景映像の面積割合に対する欠品レベルを決定する。決定した欠品レベルを示す情報は、例えば出力部２１４に出力される。
　出力部２１４は、欠品レベルを示す情報を含む通知情報を生成して、出力装置２０３及び／又は通信部２０６へ出力する。これにより、段階的な欠品レベルを示す情報が例えば在庫管理者に提示される。
　なお、段階的な欠品レベルのうち、何れの欠品レベルで通知を行うか（別言すると、通知の閾値レベル）は、事前に所定のレベルに設定されてもよいし、例えば在庫管理者によって適応的に設定されてもよい。図２２（Ａ）～図２２（Ｃ）の例では、例えば「欠品レベル１」が通知の閾値レベルに設定されてよい。なお、全ての欠品レベルで通知を行う設定であってもよい。
　このように、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することが可能である。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
　なお、カメラ１０が棚段を斜め上方から撮影する位置に設置されている場合、在庫監視装置２０は、例えば図２３及び図２４に示すように、棚段の奥行き方向（ｚ軸方向）の欠品レベルを在庫管理者に提示してもよい。例えば、最前列の商品７０だけが欠品している旨を提示することなどができる。
　棚割情報４００に、棚段正面から奥行き方向への商品７０の陳列数を示す情報が含まれる場合、監視エリアの映像認識結果と、棚割情報４００と、を基に、棚段の奥行き方向の欠品レベルが例えば欠品検出部２１３において設定されてよい。
　（動体除去処理）
　陳列棚５０の正面を人物（例えば、顧客）が通り過ぎたり、陳列棚５０の正面に人物が一時的に立ち止まったりすることにより、例えば図２５（Ａ）に示すように、カメラ映像において棚札５１の一部又は全部が人物に隠れてしまうことがある。
　このような場合、カメラ映像に映った人物は、映像認識による棚札検出及び欠品検知に対する一時的な障害物となる。一時的な障害物の存在によって棚札検出及び欠品検知の精度が低下し得る。
　そのため、在庫監視装置２０（例えば、棚札検出部２１２及び／又は欠品検出部２１３）は、映像認識の前処理の一例として、図２５（Ｂ）に示すように、カメラ映像から人物のような動体を除去してよい。
　カメラ１０が動体除去モードをサポートしている場合、在庫監視装置２０は、例えば通信ＩＦ２６１（図５参照）を介してカメラ１０と通信することによって、動体除去モードをＯＮに設定してよい。なお、動体除去の具体的な手順については、前掲の非特許文献２などが知られているので、説明を省略する。
　動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、映像認識による棚札検出及び欠品検知の精度を向上できる。
　（実施の形態１の効果）
　以上説明したように、上述した実施形態によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。
　別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。なお、上述した実施形態の効果は、監視対象とする陳列スペースの設定をすべて自動化できるものには限られない。基準棚札をマニュアルで指定する場合など、一部をマニュアル化することで精度を向上させることもできる。
　そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
　また、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品情報を例えば在庫管理者へ通知できるため、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
　また、在庫監視装置２０は、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
　また、在庫監視装置２０は、棚割情報４００を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上できるため、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
　また、カメラ１０に、例えばＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
　なお、本実施の形態では、ＰＴＺカメラをカメラ１０の例として説明したが、撮影方向を変更できるカメラであればズーム機能のないカメラを用いることも可能である。また、陳列棚５０の配置方向に制約がある場合、カメラ１０はパン機能とチルト機能の両方を備えている必要はない。
　例えば、陳列棚５０が略水平方向にしか配置されないのであれば、チルト機能しかないカメラ１０であっても複数の陳列棚５０を撮影することができる。また、カメラ１０は、全方位カメラであっても構わない。
　カメラ１０に全方位カメラを使用する場合、撮像される画像は、カメラ１０の周囲に存在する複数の陳列棚５０の映像が含まれた全方位画像となる。この場合、撮影方向の変更制御は、撮像した全方位画像から切り出す部分を変更制御する処理に相当する。
　在庫監視装置２０は、全方位画像から切り出した部分に対応する仮想的な撮影方向それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、ＰＴＺカメラを使用した場合と同様の制御を実現することができる。
　なお、全方位画像には複数の陳列棚５０の映像を含むことが可能であるため、複数の陳列棚５０それぞれに対応する部分を同時に切り出し、それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、複数の陳列棚５０を同時に監視することもできる。
　また、在庫監視装置２０は、例えば、陳列棚５０の撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルを用いることで、棚札検出及び／又は欠品検出の精度を向上できる。
　また、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することができる。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
　また、動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、在庫監視装置２０において、映像認識による棚札検出及び欠品検知の精度を向上できる。
　（その他）
　上述した実施の形態においては、コンピュータ２０による監視対象が、陳列棚５０において陳列される商品７０である例について説明したが、コンピュータ２０による監視対象は、商取引に係る商品７０に限られない。例えば、コンピュータ２０による監視対象は、ショーケースに陳列される展示品などの「物品」であってもよい。この場合、例えば、ショーケースにおける「物品」の喪失をコンピュータ２０によって検知して管理者などに通知できる。
　「物品」の在庫又は陳列状況を監視するコンピュータ２０は、例えば、「棚監視装置」、「物品監視装置」、又は、「物品陳列状況監視装置」などと称されてよい。また、コンピュータ２０を、「物品」の在庫又は陳列状況を監視する装置として機能させるプログラムは、「棚監視プログラム」、「物品監視プログラム」、又は、「物品陳列状況監視プログラム」などと称されてよい。
　（実施の形態２）
　実施の形態２では、棚札位置の精度を高める棚札検出装置について説明する。なお、実施の形態２では、実施の形態１と異なる部分について説明し、実施の形態１と共通する部分についての説明を省略する。
（概要）
　図２６は、既知の映像認識技術のみで棚札位置を特定する場合の課題を説明するための図である。
　既知の映像認識技術によって棚札位置を特定する場合、典型的には、陳列棚５０を撮影したカメラ映像の中からパターンマッチングによって棚札映像を認識し、棚札位置を特定する。
　しかし、映像認識技術による棚札映像の認識は、例えば次の（Ａ１）～（Ａ３）のような場合、誤検出及び／又は検出漏れが発生し得る。
（Ａ１）図２６の（Ａ）に示すように、棚札映像３０１の解像度が低い場合。
（Ａ２）図２６の（Ｂ）に示すように、棚札映像３０２が陳列商品等の障害物に覆われている場合。
（Ａ３）図２６の（Ｃ）に示すように、棚札映像３０３に類似する物体映像３０４が存在する場合。
　例えば、図２６の（Ｄ）に示すように、カメラ映像に上記（Ａ１）及び（Ａ２）の棚札映像３０１，３０２が存在する場合、映像認識技術のみでは、４つの棚札映像３０１，３０２，３０５，３０６が存在するにも関わらず、２つの棚札映像３０５、３０６しか検出されず、残り２つの棚札映像３０１、３０２が検出から漏れてしまうことがある。
　図２７は、手動で棚札位置を入力する場合の課題を説明するための図である。
　例えば、図２７の（Ａ）に示すように、ユーザがカメラ映像の中から棚札映像の位置を入力することにより、映像認識技術のように棚札映像の誤検出又は検出漏れが発生することを防止できる。
　しかし、手動による棚札位置の特定は、例えば次の（Ｂ１）、（Ｂ２）のような場合、図２７の（Ｂ）に示すように、ユーザが入力した棚札位置とカメラ映像内の棚札映像の位置とがずれてしまう。
（Ｂ１）パン又はチルトによってカメラ映像が変化した場合。
（Ｂ２）カメラ１０が衝撃等を受けて、カメラ映像が変化した場合。
　このようにカメラ映像が変化する度に、ユーザに棚札映像の位置を再入力させることは、ユーザに非常に大きな作業負荷を課すことになる。なお、（Ｂ１）の場合、パン又はチルトの角度を変化させる前のものに戻すことで、ずれを解消することは難しい。なぜなら、物理的に完全に同一の角度を再現することは難しく、また、カメラと被写体との距離が離れていると僅かなずれが映像の大きなずれとなるからである。そのため、（Ｂ１）の場合にパン又はチルトの角度を元に戻したとしても、棚札映像の位置ずれを何らかの手段で修正する必要がある。
　図２８は、本実施の形態に係る棚札位置の特定方法の概要を説明するための図である。次に、図２８を参照しながら、上記の課題を解決するための、本実施の形態に係る棚札位置の特定方法について説明する。
　図２８に示すように、本実施の形態に係る棚札位置の特定方法は、基準カメラ映像５０１に対してユーザによって予め入力された棚札位置を含む手動棚札位置セット５０３を、監視カメラ映像５０２から映像認識技術により検出された棚札位置を含む自動棚札位置セット５０４を用いて補正し、補正棚札位置セット５０５を生成する。そして、当該補正棚札位置セット５０５を用いて、監視カメラ映像５０２における棚札位置を特定する。
　棚札位置は、カメラ映像における棚札映像の位置を示す情報（例えばＸＹ座標点）であってよい。そして、補正棚札位置セット５０５は、手動棚札位置セット５０３に含まれるできるだけ多くの棚札位置が、監視カメラ映像５０２に係る自動棚札位置セット５０４に含まれるできるだけ多くの棚札位置に近づくように、手動棚札位置セット５０３の位置が移動されたものであってよい。
　なお、棚札位置は、棚札映像の位置を示す情報に加えて、棚札映像の領域（以下「棚札領域」という）を示す情報を含んでもよい。そして、補正棚札位置セット５０５は、手動棚札位置セット５０３に含まれる棚札領域と、自動棚札位置セット５０４に含まれる棚札領域とが最も重複するように、手動棚札位置セット５０３の位置が移動されたものであってよい。
　これにより、カメラ映像が多少変化した場合であっても、ユーザが棚札映像の位置を手動で再入力することなく、高い精度で、カメラ映像から棚札位置を特定できる。
　以下、本実施の形態について詳細に説明する。なお、本実施の形態に係る棚札位置の特定方法は、実施の形態１で説明した在庫監視装置２０に組み込まれてもよい。
（棚札検出装置の構成）
　図２９は、本実施の形態に係る棚札検出装置２の構成例を示すブロック図である。図２９に示すように、棚札検出装置２は、映像取得部４０１、手動棚札設定部４０２、自動棚札検出部４０３、棚札位置補正部４０４、棚札位置特定部４０５を備える。
　映像取得部４０１は、所定のタイミング（例えば所定の周期）で、カメラ１０からカメラ映像を取得し、メモリ２０４及び／又はストレージ２０５（以下「メモリ等」と表現する）にカメラ映像を格納する。ここで、手動棚札設定部４０２によって使用されるカメラ映像を基準カメラ映像５０１、自動棚札検出部４０３によって使用されるカメラ映像を監視カメラ映像５０２と呼ぶ。
　手動棚札設定部４０２は、メモリ等から基準カメラ映像５０１を取得して、出力装置２０３（例えばディスプレイ装置）に表示し、入力装置２０２を通じてユーザから、基準カメラ映像５０１における棚札映像の位置（棚札位置）の入力を受け付ける。そして、手動棚札設定部４０２は、入力された各棚札位置の情報を含む手動棚札位置セット５０３を生成し、メモリ等に格納する。
　自動棚札検出部４０３は、メモリ等から監視カメラ映像５０２を取得し、映像認識技術によって、監視カメラ映像５０２の中から各棚札映像を検出し、各棚札位置を特定する。そして、自動棚札検出部４０３は、特定された各棚札位置の情報を含む自動棚札位置セット５０４を生成し、メモリ等に格納する。
　棚札位置補正部４０４は、自動棚札位置セット５０４を用いて、手動棚札位置セット５０３を監視カメラ映像５０２に適合するように補正し、補正棚札位置セット５０５を生成する。そして、棚札位置補正部４０４は、生成された補正棚札位置セット５０５をメモリ等に格納する。例えば、棚札位置補正部４０４は、手動棚札位置セット５０３に含まれる複数の棚札領域と、自動棚札位置セット５０４に含まれる複数の棚札領域との重複面積が最大となる、手動棚札位置セット５０３のオフセット量（移動量）を算出する。そして、棚札位置補正部４０４は、その算出されたオフセット量の分、手動棚札位置セット５０３を移動させて、補正棚札位置セット５０５を生成する。なお、棚札位置補正部４０４の処理の詳細については後述する。
　棚札位置特定部４０５は、補正棚札位置セット５０５を用いて、監視カメラ映像５０２における各棚札位置を特定する。棚札位置特定部４０５によって特定された棚札位置は、例えば図５における在庫監視装置２０の棚札検出部２１１で用いられてよい。
　なお、図３０のフローチャートのＳ１３ａに示すように、棚札位置特定部４０５によって特定された各棚札位置は、図６に示したフローチャートのＳ１４の陳列状況検出処理に入力されて用いられてよい。これにより、棚札位置の精度が高くなり、陳列状況検出の精度も高くなる。
＜手動棚札設定部の詳細＞
　次に、図３１のフローチャートを参照しながら、手動棚札設定部４０２の詳細について説明する。
　手動棚札設定部４０２は、基準カメラ映像５０１を表示し（Ｓ１０１）、ユーザから棚札位置の入力を受け付ける（Ｓ１０２）。
　ユーザは、例えば入力装置２０２を介して、表示された基準カメラ映像５０１に含まれる各棚札映像の位置を入力する（Ｓ１０３）。
　手動棚札設定部４０２は、Ｓ１０３で入力された各棚札映像の位置から、各棚札映像に対応する棚札位置の情報を生成する。そして、手動棚札設定部４０２は、それら生成された棚札位置から、手動棚札位置セット５０３を生成し、メモリ等に格納する（Ｓ１０４）。
　以上の処理により、手動棚札設定部４０２は、手動棚札位置セット５０３を生成し、当該手動棚札位置セット５０３をメモリ等に格納する。
（棚札位置補正部の詳細）
　次に、図３２のフローチャートを参照しながら、棚札位置補正部４０４の詳細について説明する。なお、本処理は、監視カメラ映像５０２が更新される毎に実行されてよい。
　棚札位置補正部４０４は、手動棚札位置セット５０３に基づいて、複数の互いに異なるオフセット量を設定する（Ｓ２０１）。なお、複数のオフセット量の設定の詳細については後述する。
　次に、棚札位置補正部４０４は、Ｓ２０１で設定された複数のオフセット量の数の分、オフセットループ処理（Ｓ２０２～Ｓ２０５）を繰り返す（Ｓ２０２）。このとき、棚札位置補正部４０４は、オフセットループ処理毎に、Ｓ２０１で設定された複数のオフセット量の中から、異なるオフセット量を選択する。オフセットループ処理の説明において、この選択されたオフセット量を、「選択オフセット量」と呼ぶ。
　次に、棚札位置補正部４０４は、選択オフセット量の分、手動棚札位置セット５０３の位置を移動させる。そして、棚札位置補正部４０４は、この移動させた手動棚札位置セット５０３の棚札領域と、監視カメラ映像５０２に対する自動棚札位置セット５０４の棚札領域との重複面積を算出する（Ｓ２０３）。
　次に、棚札位置補正部４０４は、選択オフセット量と、Ｓ２０３で算出された重複面積とを対応付けて、メモリ等に格納する（Ｓ２０４）。
　棚札位置補正部４０４は、オフセットループ処理の完了後（Ｓ２０５）、メモリ等を参照し、最も大きい重複面積に対応付けられているオフセット量を特定する（Ｓ２０６）。
　次に、棚札位置補正部４０４は、Ｓ２０６で特定されたオフセット量の分、手動棚札位置セット５０３を移動させ、監視カメラ映像５０２に適合する補正棚札位置セット５０５を生成し、メモリ等に格納する（Ｓ２０７）。
　次に、図３３を参照しながら、図３２のＳ２０１の処理の詳細について説明する。
　まず、棚札位置補正部４０４は、手動棚札位置セット５０３に含まれる各棚札領域のサイズ及び形状から、棚札領域の平均のサイズ及び形状（以下「平均棚札領域」という）を算出する。平均棚札領域の形状は、図３３の斜線領域６０１に示すように、長方形であってよい。
　次に、棚札位置補正部４０４は、図３３に示すように、平均棚札領域のＸ軸方向の長さの半分の長さであるΔｘと、平均棚札領域のＹ軸方向の長さの半分の長さであるΔｙと、をオフセット量の単位量とし、複数の互いに異なるオフセット量を設定する。例えば、図３３は、Ｘ軸方向に－２Δｘ，－Δｘ，０、＋Δｘ，＋２Δｘ、Ｙ軸方向に－２Δｙ，－Δｙ，０，＋Δｙ，＋２Δｙの合計２５個のオフセット量を設定した場合を示している。このように２５個のオフセット量を設定した場合、図３２のオフセットループ処理（Ｓ２０２）の繰り返し回数は、２５回となる。
　また、例えば、オフセットループ処理における選択オフセット量が、図３３の網掛領域６０２に相当する（－Δｘ，＋Δｙ）である場合、棚札位置補正部４０４は、Ｓ２０３において、手動棚札位置セット５０３の各棚札領域を、オフセット量（－Δｘ，＋Δｙ）の分、移動させて、重複面積を算出する。なお、図３３における点６０３は、棚札領域６０１を、オフセット量の分、移動させたときの棚札位置（座標点）を示す。棚札位置は、棚札領域の中心（又は重心）の座標であってよい。
　以上の処理により、棚札位置補正部４０４は、手動棚札位置セット５０３と自動棚札位置セット５０４とが最も重複するオフセット量を算出し、その算出されたオフセット量を用いて、補正棚札位置セット５０５を生成する。
　なお、図３３に示す平均棚札領域の形状は一例であり、例えば図２６に示すように、カメラ映像内の各棚札映像の形状が遠近関係により歪んでいる場合、平均棚札領域の形状は、その歪んでいる棚札映像の形状の相似形であってもよい。
　また、上記の「重複面積」は、手動棚札位置セット５０３の棚札領域と、自動棚札位置セット５０４の棚札領域との重複の割合を示す「重複率」に置換可能である。
　また、棚札位置補正部４０４は、重複面積が所定の閾値未満の場合、重複面積が極端に小さい旨のアラートを通知してもよい。この状態は、典型的には、カメラ１０の設置環境が大きく変化した場合に生じる。この通知により、ユーザは、カメラ１０の設置環境の大きな変化に素早く気づくことができる。
　また、本実施の形態では、オフセットループ処理（Ｓ２０２）の繰り返し回数は２５回としたが、より多い回数またはより少ない回数であってもよい。例えば、回数を増やす場合はオフセット量の変化をより細かくし、回数を減らす場合はオフセット量の変化をより荒くすればよい。ここで、オフセット量の変化の程度と処理に要する時間はトレードオフの関係にある。すなわち、オフセット量の変化をより細かく設定すると精度が向上し、より荒く設定すると処理に要する時間が短くなる。
　また、本実施の形態では、棚札位置を補正する処理の一部をユーザの入力等で行ってもよい。ユーザからの入力の例としては、オフセットの最大値の設定、オフセットの変化量の設定、一部の棚札（例えば左上の棚札）の位置の指定など、オフセットループ処理（Ｓ２０２）の処理を補助する入力が考えられる。また、例えば、複数のオフセット量とそれぞれの場合における手動棚札位置セット５０３と自動棚札位置セット５０４の重複量とを出力し、最終的に採用すべきオフセット量の決定をユーザの判断で決定するとしてもよい。
　また、本実施の形態における補正棚札位置セット５０５の生成は、カメラに対するパン・チルトなどの動作が発生した場合に行うものとしてもよいし、定められた周期で行うものとしてもよい。前者の場合は補正を行う回数を低減できる。後者の場合はカメラが意図しない衝撃等で動いた場合にも比較的速やかに補正を行うことができる。
（実施の形態２の効果）
　本実施の形態では、棚札検出装置２は、基準カメラ映像５０１に対して生成された手動棚札位置セット５０３を、監視カメラ映像５０２に対して生成された自動棚札位置セット５０４を用いて補正し、監視カメラ映像５０２に適合する補正棚札位置セット５０５を生成する。補正棚札位置セット５０５は、高い精度を有する手動棚札位置セット５０３を監視カメラ映像５０２に適用するよう補正したものであるため、監視カメラ映像５０２内の棚札位置を高い精度で検出できる。
　（実施の形態３）
　実施の形態３に係る棚札検出装置２は、実施の形態２に係る棚札検出装置２に対して、各種通知機能を備える点において相違する。なお、実施の形態３では、実施の形態２と異なる部分について説明し、実施の形態２と共通する部分についての説明を省略する。
　図３４は、本実施の形態に係る棚札検出装置２の構成例を示すブロック図である。図３４に示すように、棚札検出装置２は、図２９に示す棚札検出装置２の構成に加えて、変更検出部４０６と、修正部４０７とを備える。
　変更検出部４０６は、陳列棚５０における棚札５１の配置の変更を検出する。また、変更検出部４０６は、検出内容に応じたアラートを通知する。なお、変更検出部４０６は、「通知部」を呼ばれてもよい。
　変更検出部４０６は、例えば、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３に係る第１の更新要求アラートを通知する。当該不整合は、典型的には、陳列棚５０の棚札５１の配置が変更され、手動棚札位置セット５０３が変更されていない場合に生じる。ここで、「所定期間以上」という条件を設けることにより、棚札５１の配置が変更されていないにも関わらず、映像認識技術の誤認識等によって一時的に不整合が検知された場合に、誤ってアラートが通知されることを防止している。なお、第１の更新要求アラートの通知処理の詳細については後述する。
　また、変更検出部４０６は、例えば、棚割情報４００と補正棚札位置セット５０５との間の不整合を検出した場合、手動棚札位置セット５０３に係る第２の更新要求アラートを通知する。当該不整合は、典型的には、陳列棚５０の棚札５１の配置が変更された後、棚割情報４００が更新されたが、手動棚札位置セット５０３が更新されていない場合、或いは、手動棚札位置セット５０３が更新されたが、棚割情報４００が更新されていない場合に生じる。なお、第２の更新要求アラートの通知処理の詳細については後述する。
　修正部４０７は、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３を自動的に修正する。当該不整合は、典型的には、陳列棚５０の棚札５１の配置が変更された後、手動棚札位置セット５０３が変更されていない場合に生じる。例えば、修正部４０７は、補正棚札位置セット５０５に存在するが自動棚札位置セット５０４に存在しない棚札位置を、手動棚札位置セット５０３から削除し、自動棚札位置セット５０４に存在するが補正棚札位置セット５０５に存在しない棚札位置を、手動棚札位置セット５０３に追加して、手動棚札位置セット５０３を修正する。なお、修正部４０７の処理の詳細については後述する。
（第１の更新要求アラートの通知の詳細）
　次に、図３５を参照しながら、第１の更新要求アラートの通知処理の具体例について説明する。
　図３５の場合、変更検出部４０６は、１回目の処理で自動棚札位置セット５０４と未重複である手動棚札位置（以下「未重複手動棚札」という）７０１、７０２、７０３を検出し、２回目の処理で未重複手動棚札７０２、７０３を検出し、３回目の処理で未重複手動棚札７０３を検出する。なお、この「未重複」は、手動棚札位置セット５０３の棚札領域と、自動棚札位置セット５０４の棚札領域とが全く重複していない場合に限られない。例えば、変更検出部４０６は、未重複であるか否かを判定するため、重複率の閾値を予め設け、重複率が当該閾値未満の場合、未重複と判定してもよい。図３５の場合、３回目の時点において、未重複手動棚札７０３の検出回数が「３」となる。ここで、通知を行う検出回数の閾値が「３」である場合、未重複手動棚札７０３は３回連続（つまり所定期間以上）で検出されたので、変更検出部４０６は、第１の更新要求アラートを通知する。
　次に、図３６のフローチャートを参照しながら、第１の更新要求アラートの通知処理の詳細について説明する。なお、当該処理は、図３０のＳ１３ａの後に実行されてよい。
　変更検出部４０６は、手動棚札位置セット５０３と、自動棚札位置セット５０４とを対比し、自動棚札位置セット５０４と未重複である手動棚札位置（つまり「未重複手動棚札」）の検出処理を行う（Ｓ３０１）。
　次に、変更検知部は、Ｓ３０１において未重複手動棚札が検出されたか否かを判定する（Ｓ３０２）。
　未重複手動棚札が検出されなかった場合（Ｓ３０２：ＮＯ）、変更検出部４０６は、本処理を終了する。
　未重複手動棚札が検出された場合（Ｓ３０２：ＹＥＳ）、変更検出部４０６は、検出された未重複手動棚札の数の分、変更検出ループ処理（Ｓ３０３～Ｓ３１０）を繰り返す。このとき、変更検出部４０６は、変更検出ループ処理毎に、互いに異なる未重複手動棚札を選択する。図３６の説明において、当該選択された未重複手動棚札を、「選択未重複手動棚札」という。
　変更検出部４０６は、選択未重複手動棚札が例外棚札テーブル（図示せず）に登録されているか否かを判定する（Ｓ３０４）。ここで、例外棚札テーブルには、例えば遮蔽物等によって映像認識技術では認識できない棚札５１に対応する手動棚札位置が登録されている。
　選択未重複手動棚札が例外棚札テーブルに登録されている場合（Ｓ３０４：ＹＥＳ）、変更検出部４０６は、次回の変更検出ループ処理に移行する（Ｓ３１０）。
　選択未重複棚札が例外棚札テーブルに登録されていない場合（Ｓ３０４：ＮＯ）、変更検出部４０６は、選択未重複手動棚札が、注目棚札テーブルに登録されているか否かを判定する（Ｓ３０５）。ここで、注目棚札テーブルには、前回のＳ３０１において検出された未重複手動棚札が登録されている。
　選択未重複手動棚札が注目棚札テーブル（図示せず）に登録されていない場合（Ｓ３０５：ＮＯ）、変更検出部４０６は、選択未重複手動棚札を注目棚札テーブルに登録し（Ｓ３０６）、Ｓ３０７に移行する。
　選択未重複手動棚札が注目棚札テーブルに登録されている場合（Ｓ３０５：ＹＥＳ）、変更検出部４０６は、Ｓ３０７に移行する。
　Ｓ３０７において、変更検出部４０６は、選択未重複手動棚札の検出回数に「１」を加算する（Ｓ３０７）。
　次に、変更検出部４０６は、選択未重複手動棚札の検出回数が所定の閾値以上であるか否かを判定する（Ｓ３０８）。
　選択未重複手動棚札の検出回数が所定の閾値未満である場合（Ｓ３０８：ＮＯ）、変更検出部４０６は、次回の変更検出ループ処理に移行する（Ｓ３１０）。
　選択未重複手動棚札の検出回数が所定の閾値以上である場合（Ｓ３０８：ＹＥＳ）、変更検出部４０６は、第１の更新要求アラートを通知し（Ｓ３０９）、次回の変更検出ループ処理に移行する（Ｓ３１０）。このとき、変更検出部４０６は、不整合の対象が選択未重複手動棚札であることを合わせて通知してもよい。
　変更検出部４０６は、変更検出ループ処理の完了後（Ｓ３１０）、注目棚札テーブルから今回のＳ３０１で検出されなかった未重複手動棚札を削除する（Ｓ３１１）。これにより、注目棚札テーブルには、連続して検出された未重複手動棚札が残る。そして、変更検出部４０６は、本処理を終了する。
　以上の処理により、変更検出部４０６は、未重複手動棚札を所定回数以上連続して（つまり所定期間以上）検出した場合に、第１の更新要求アラートを通知する。この通知により、ユーザは、手動棚札位置セット５０３の更新が必要であることを知ることができる。
　なお、第１の更新要求アラートを通知する条件は、上記のように同じ未重複手動棚札が連続して検出されるという条件に限られない。例えば、第１の更新要求アラートを通知する条件は、同じ未重複手動棚札が所定の閾値以上の頻度で検出されるという条件であってもよい。
（第２の更新要求アラートの通知の詳細）
　次に、図３７を参照しながら、第２の更新要求アラートの通知処理の具体例について説明する。
　図３７は、棚割情報４００において、１段目の棚板５２に配置されている棚札５１の数が「６」から「５」に、３段目の棚板５２に配置されている棚札５１の数が「６」から「７」に変更されたが、手動棚札位置セット５０３が未変更（何れの棚板５２の棚札５１の数も「６」のまま）であることを示す。この場合、変更検出部４０６は、１段目の棚板５２と３段目の棚板５２において、棚割情報４００と手動棚札位置セット５０３との間に不整合が生じているので、第２の更新要求アラートを通知する。このとき、変更検出部４０６は、不整合が生じている棚板５２の段数を合わせて通知してもよい。
　次に、図３８のフローチャートを参照しながら、第２の更新要求アラートの通知処理の詳細について説明する。なお、当該処理は、図３０のＳ１３ａの後に実行されてよい。
　変更検出部４０６は、棚割情報４００から監視対象の陳列棚５０の棚板５２の段数を特定する（Ｓ４０１）。
　変更検出部４０６は、棚段ループ処理（Ｓ４０２～Ｓ４０５）を、Ｓ４０１で特定した棚板５２の段数、繰り返す（Ｓ４０２）。ここで、変更検出部４０６は、棚段ループ処理毎に、異なる棚板５２を選択する。棚段ループ処理の説明において、当該選択された棚板５２を、「選択棚」という。
　変更検出部４０６は、棚割情報４００の選択棚における棚札５１の数と、手動棚札位置セット５０３の選択棚における棚札５１の数とを対比し、２つの棚札数が不一致であるか否かを判定する（Ｓ４０３）。
　２つの棚札数が不一致でない場合（Ｓ４０３：ＮＯ）、変更検出部４０６は、次回の棚段ループ処理に移行する（Ｓ４０５）。
　２つの棚札数が不一致である場合（Ｓ４０３：ＹＥＳ）、変更検出部４０６は、第２の更新要求アラートを通知し（Ｓ４０４）、次回の棚段ループ処理に移行する（Ｓ４０５）。
　変更検出部４０６は、棚段ループ処理の完了後（Ｓ４０５）、本処理を終了する。
　以上の処理により、変更検出部４０６は、棚割情報４００と手動棚札位置セット５０３との間に不整合が生じている場合に、第２の更新要求アラートを通知する。この通知により、ユーザは、手動棚札位置セット５０３の更新又は棚割情報４００の更新が必要であることを知ることができる。
　なお、上記では、第２の更新要求アラートの通知の条件を棚割情報４００と手動棚札位置セット５０３との間の不整合としたが、当該通知の条件を棚割情報４００と補正棚札位置セット５０５との間の不整合としてもよい。この場合、補正棚札位置セット５０５は、手動棚札位置セット５０３を自動棚札位置セット５０４の情報を用いて補正したものであるので、映像にずれがあっても棚板５２に配置されている棚札５１の数を正確に確認できる。
　また、上記では、各棚板５２に配置されている棚札５１の数から不整合の有無を確認していたが、他の条件に基づいて不整合の有無を確認してもよい。例えば、棚の各列における棚札の数が棚割情報４００と整合しているか否かを確認したり、棚割情報４００に棚札５１の間隔等の情報が含まれていれば棚札５１の間隔が棚割情報４００と整合しているか否かを確認したりすることなどが考えられる。
（手動棚札位置セットの自動修正の詳細）
　次に、図３９を参照しながら、手動棚札位置セット５０３の自動修正処理の具体例について説明する。
　図３９では、或る棚板５２の変更において、左から２番目の棚札８０１が取り外され、左から５番目と６番目との間に棚札８０２が取り付けられている。この場合、手動棚札位置セット５０３が未変更であると、図３９の１～３回目に示すように、補正棚札位置セット５０５と棚札映像との間に不整合が生じてしまう。
　そこで、修正部４０７は、１～３回目の処理において、補正棚札位置セット５０５に存在するが自動棚札位置セット５０４に存在しない不明棚札８０３と、自動棚札位置セット５０４に存在するが補正棚札位置セット５０５に存在しない不明棚札８０４とを検出する。ここで、自動修正を行う検出回数の閾値が「３」である場合、不明棚札８０３、８０４は３回連続して検出されたので、修正部４０７は、手動棚札位置セット５０３から不明棚札８０３（８０５）を削除し、手動棚札位置セット５０３に不明棚札８０４（８０６）を追加する。この処理により、図３９の４回目に示すように、補正棚札位置セット５０５と棚札映像との間の不整合が解消される。
　図４０のフローチャートを参照しながら、手動棚札位置セット５０３の自動修正処理について説明する。なお、当該処理は、図３０のＳ１３ａの後に実行されてよい。
　修正部４０７は、補正手動棚札位置セット５０３と、自動棚札位置セット５０４とを対比し、何れか一方に存在し他方に存在しない棚札位置（つまり不明棚札）の検出処理を行う（Ｓ５０１）。
　次に、修正部４０７は、Ｓ５０１において不明棚札が検出されたか否かを判定する（Ｓ５０２）。
　不明棚札が検出されなかった場合（Ｓ５０２：ＮＯ）、修正部４０７は、本処理を終了する。
　不明棚札が検出された場合（Ｓ５０２：ＹＥＳ）、修正部４０７は、検出された不明棚札が全て不明棚札テーブル（図示せず）に登録されているか否かを判定する（Ｓ５０３）。ここで、不明棚札テーブルには、前回のＳ５０１において検出された不明棚札が登録されている。
　検出された不明棚札の少なくとも１つが不明棚札テーブルに未登録である場合（Ｓ５０３：ＮＯ）、修正部４０７は、未登録の不明棚札を、不明棚札テーブルに登録し（Ｓ５０４）、Ｓ５０５に移行する。
　検出された不明棚札が全て不明棚札テーブルに登録されている場合（Ｓ５０３：ＹＥＳ）、修正部４０７は、Ｓ５０５に移行する。
　Ｓ５０５において、修正部４０７は、不明棚札テーブルに登録されている各不明棚札の検出回数に「１」を加算する（Ｓ５０５）。
　次に、修正部４０７は、不明棚札テーブルに、検出回数が所定の閾値以上である不明棚札が存在するか否かを判定する（Ｓ５０６）。
　不明棚札テーブルに、検出回数が所定の閾値以上である不明棚札が存在しない場合（Ｓ５０６：ＮＯ）、修正部４０７は、Ｓ５０８に移行する。
　不明棚札テーブルに、検出回数が所定の閾値以上である不明棚札が存在する場合（Ｓ５０６：ＹＥＳ）、修正部４０７は、当該閾値以上の不明棚札を用いて手動棚札位置セット５０３を修正し（Ｓ５０７）、Ｓ５０８へ進む。具体的には、修正部４０７は、補正棚札位置セット５０５に存在するが自動棚札位置セット５０４に存在しない、検出回数が当該閾値以上の不明棚札を、手動棚札位置セット５０３から削除する。また、修正部４０７は、自動棚札位置セット５０４に存在するが補正棚札位置セット５０５に存在しない、検出回数が当該値以上の不明棚札を、手動棚札位置セット５０３に追加する。このとき、修正部４０７は、手動棚札位置セット５０３を修正する旨のアラートを通知し、ユーザが許可した場合にのみ手動棚札位置セット５０３を修正してもよい。
　次に、修正部４０７は、Ｓ５０１で検出されなかった不明棚札を、当該不明棚札テーブルから削除する（Ｓ５０８）。これにより、不明棚札テーブルには、連続して検出された不明棚札が残る。そして、修正部４０７は、本処理を終了する。
　以上の処理により、修正部４０７は、不明棚札を所定回数以上連続して（つまり所定期間以上）検出した場合に、手動棚札位置セット５０３を自動的に修正する。この自動修正により、棚札の配置を変更した後、ユーザが手動棚札位置セット５０３を手動で更新する作業が軽減される。
　なお、第２の更新要求アラートを通知する条件は、上記のように同じ不明棚札が連続して検出されるという条件に限られない。例えば、第２の更新要求アラートを通知する条件は、同じ不明棚札が所定の閾値以上の頻度で検出されるという条件であってもよい。
　また、本実施の形態において、不明棚札８０４を手動棚札位置セット５０３に自動的に追加する条件の閾値と、不明棚札８０３を手動棚札位置セット５０３から自動的に削除する条件の閾値とを、異なる値に設定してもよい。例えば、自動的に追加する条件の閾値を、自動的に削除する条件の閾値よりも高く設定してよい。自動棚札位置セット５０４は、画像認識の精度上の限界により、存在しない棚札を誤検出し易いためである。
　また、修正部４０７によって削除された不明棚札８０３の数が所定の数を上回ったり、全棚札のうちの削除された不明棚札８０３の数の比率が所定の比率を上回ったりした場合等に、更なるアラートを通知してもよい。多くの棚札が自動的に修正された場合、手動棚札位置セット５０３の情報が既に古くなっている可能性が高いためである。このようなアラートを通知することによって、ユーザに手動棚札位置セット５０３自体の見直しを促すことができる。
（実施の形態３の効果）
　本実施の形態では、棚札検出装置２は、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３に係る第１の更新要求アラートを通知する。また、棚札検出装置２は、棚割情報４００と補正棚札位置セット５０５との間の不整合を検出した場合、手動棚札位置セット５０３の第２の更新要求アラートを通知してもよい。これらの通知により、棚札５１の配置を変更した後、ユーザが手動棚札位置セット５０３を更新し忘れることを防止できる。
　また、棚札検出装置２は、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３を自動的に修正する。この自動修正により、棚札５１の配置を変更した後、ユーザが手動棚札位置セット５０３を手動で更新する作業を軽減できる。
　以上、本開示に係る幾つかの実施の形態について説明した。
　上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
（本開示のまとめ）
　本開示における棚札検出装置は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、前記第１のカメラ映像に対して予め設定された棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、を備える。
　また、本開示における棚札検出装置において、前記補正部は、前記第１の棚札位置セットに含まれる棚札位置の領域と、前記第２の棚札位置セットに含まれる棚札位置の領域との重複量の大きさに基づいて、前記第１の棚札位置セットの移動量を算出し、前記移動量を用いて、前記補正棚札位置セットを生成してよい。
　また、本開示における棚札検出装置は、所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う第１通知部、をさらに備えてよい。
　また、本開示における棚札検出装置は、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部、をさらに備えてよい。
　また、本開示における棚札検出装置は、所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在する棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する修正部、をさらに備えてよい。
　また、本開示における棚札検出方法では、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対して予め設定された棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する。
　また、本開示における棚札検出プログラムは、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対して予め設定された棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する、処理を、コンピュータに実行させる。
　本特許出願は２０１７年１０月３０日に出願した日本国特許出願第２０１７－２０９４４７号に基づきその優先権を主張するものであり、日本国特許出願第２０１７－２０９４４７号の全内容を本願に援用する。
　本開示は、陳列棚の棚札を検出するシステムに好適である。
　１　在庫管理システム
　２　棚札検出装置
　１０　カメラ
　２０　コンピュータ（在庫監視装置）
　５０　陳列棚
　５１　棚札
　５２　棚板
　７０　商品
　２０１　プロセッサ
　２０２　入力装置
　２０３　出力装置
　２０４　メモリ
　２０５　ストレージ
　２０６　通信部
　２１１　棚札検出部
　２１２　監視エリア設定部
　２１３　欠品検出部
　２１４　出力部
　２１５　棚札関連付け部
　２１６　検出棚札補正部
　２６１，２６２　通信インタフェース（ＩＦ）
　４００　棚割情報
　ＭＡ　監視エリア
　４０１　映像取得部
　４０２　手動棚札設定部
　４０３　自動棚札検出部
　４０４　棚札位置補正部
　４０５　棚札位置特定部
　４０６　変更検出部
　４０７　修正部

Claims (11)

  1. 　陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、
    　前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、
    　前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、
    　を備える棚札検出装置。
  2. 　前記補正部は、
    　前記第１の棚札位置セットに含まれる棚札位置の領域と、前記第２の棚札位置セットに含まれる棚札位置の領域との重複量の大きさに基づいて、前記第１の棚札位置セットの移動量を算出し、
    　前記移動量を用いて、前記補正棚札位置セットを生成する、
    　請求項１に記載の棚札検出装置。
  3. 　所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う第１通知部、
    　をさらに備える請求項１に記載の棚札検出装置。
  4. 　前記第１通知部は、
    　前記不整合の対象が予め設定された例外棚札である場合、前記第１の通知を行わない、
    　請求項３に記載の棚札検出装置。
  5. 　前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部、
    　をさらに備える請求項１に記載の棚札検出装置。
  6. 　前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記第１の棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部、
    　をさらに備える請求項１に記載の棚札検出装置。
  7. 　所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在し他方に存在しない棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する修正部、
    　をさらに備える請求項１に記載の棚札検出装置。
  8. 　前記修正部は、
    　前記所定期間以上、前記補正棚札位置セットに存在し、前記第２の棚札位置セットに存在しない棚札位置が検出された場合、前記第１の棚札位置セットから当該検出された棚札位置を削除する、
    　請求項７に記載の棚札検出装置。
  9. 　前記修正部は、
    　前記所定期間以上、前記補正棚札位置セットに存在せず、前記第２の棚札位置セットに存在する棚札位置が検出された場合、前記第１の棚札位置セットに当該検出された棚札位置を追加する、
    　請求項７に記載の棚札検出装置。
  10. 　陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    　前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    　前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する、
    　棚札検出方法。
  11. 　陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    　前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    　前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する、
    　処理を、コンピュータに実行させる、
    　棚札検出プログラム。
PCT/JP2018/038772 2017-10-30 2018-10-18 棚札検出装置、棚札検出方法、及び、棚札検出プログラム WO2019087792A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP18872498.3A EP3705423A4 (en) 2017-10-30 2018-10-18 SHELF LABEL DETECTION DEVICE, SHELF LABEL DETECTION METHOD AND SHELF LABEL DETECTION PROGRAM
JP2019551064A JP7165884B2 (ja) 2017-10-30 2018-10-18 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
CN201880071158.4A CN111315670B (zh) 2017-10-30 2018-10-18 货架标签检测装置、货架标签检测方法、以及记录介质
US16/759,616 US11380098B2 (en) 2017-10-30 2018-10-18 Shelf label detection device, shelf label detection method, and shelf label detection program
US17/745,324 US11823126B2 (en) 2017-10-30 2022-05-16 Shelf label detection device, shelf label detection method, and shelf label detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017209447 2017-10-30
JP2017-209447 2017-10-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/759,616 A-371-Of-International US11380098B2 (en) 2017-10-30 2018-10-18 Shelf label detection device, shelf label detection method, and shelf label detection program
US17/745,324 Continuation US11823126B2 (en) 2017-10-30 2022-05-16 Shelf label detection device, shelf label detection method, and shelf label detection program

Publications (1)

Publication Number Publication Date
WO2019087792A1 true WO2019087792A1 (ja) 2019-05-09

Family

ID=66332869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038772 WO2019087792A1 (ja) 2017-10-30 2018-10-18 棚札検出装置、棚札検出方法、及び、棚札検出プログラム

Country Status (5)

Country Link
US (2) US11380098B2 (ja)
EP (1) EP3705423A4 (ja)
JP (1) JP7165884B2 (ja)
CN (1) CN111315670B (ja)
WO (1) WO2019087792A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052919A (zh) * 2019-06-05 2020-12-08 联咏科技股份有限公司 具有货物信息的操作方法和其非暂时性计算机可读介质
JP2021034037A (ja) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP2021080087A (ja) * 2019-11-21 2021-05-27 株式会社Ｒｅｔａｉｌ ＡＩ Ｌａｂ 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JPWO2022024367A1 (ja) * 2020-07-31 2022-02-03
JP2022059613A (ja) * 2019-07-16 2022-04-13 Ｒｆルーカス株式会社 位置検出システム
US11508149B2 (en) 2019-06-05 2022-11-22 Novatek Microelectronics Corp. Operating method with goods information and non-transitory computer readable medium thereof
WO2023148928A1 (ja) * 2022-02-04 2023-08-10 日本電気株式会社 棚札管理システム、棚札管理方法、および記録媒体
WO2023148927A1 (ja) * 2022-02-04 2023-08-10 日本電気株式会社 棚札管理システム、棚札管理方法、および記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019108146A1 (en) * 2017-12-01 2019-06-06 Vispera Bilgi Teknolojileri Sanayi Ic Ve Dis Ticaret A.S. Electronic detection of products, poses of products, and arrangement of products in a display structure, electronic scoring of the detected product poses and product arrangement, and electronic generation of a reference image of a product in its canonical pose
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US11341663B2 (en) * 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) * 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
CA3144811A1 (en) * 2019-07-09 2021-01-14 Pricer Ab Stitch images
US11599746B2 (en) * 2020-06-30 2023-03-07 Microsoft Technology Licensing, Llc Label shift detection and adjustment in predictive modeling

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6112436B2 (ja) 1976-02-04 1986-04-08 Victor Company Of Japan
JPH06143297A (ja) * 1992-10-30 1994-05-24 Rhythm Watch Co Ltd 金型監視装置およびその方法
JPH10307352A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2002232875A (ja) * 2001-02-06 2002-08-16 Matsushita Electric Ind Co Ltd 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体
JP2004159039A (ja) * 2002-11-06 2004-06-03 Etou Denki Kk 監視装置，該監視装置を用いたズレ補正方法及びズレ補正を用いた監視方法
JP2014048752A (ja) * 2012-08-29 2014-03-17 Teraoka Seiko Co Ltd 表示札処理システム
JP2015103153A (ja) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2016052379A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、棚札管理システム、制御方法、及びプログラム
JP2017209447A (ja) 2016-05-27 2017-11-30 株式会社平和 遊技機

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008214098A (ja) * 2007-02-06 2008-09-18 Sanden Corp 在庫管理システム
AU2011262494B2 (en) 2010-06-04 2016-01-21 Tiumbio Co., Ltd. Fusion protein having factor VII activity
KR20140011697A (ko) * 2012-07-18 2014-01-29 삼성전기주식회사 전자 선반 라벨 시스템
JP6048741B2 (ja) * 2013-03-04 2016-12-21 日本電気株式会社 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム
US9886678B2 (en) * 2013-09-25 2018-02-06 Sap Se Graphic representations of planograms
US10417696B2 (en) * 2015-12-18 2019-09-17 Ricoh Co., Ltd. Suggestion generation based on planogram matching
JP6112436B1 (ja) 2016-06-20 2017-04-12 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6112436B2 (ja) 1976-02-04 1986-04-08 Victor Company Of Japan
JPH06143297A (ja) * 1992-10-30 1994-05-24 Rhythm Watch Co Ltd 金型監視装置およびその方法
JPH10307352A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2002232875A (ja) * 2001-02-06 2002-08-16 Matsushita Electric Ind Co Ltd 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体
JP2004159039A (ja) * 2002-11-06 2004-06-03 Etou Denki Kk 監視装置，該監視装置を用いたズレ補正方法及びズレ補正を用いた監視方法
JP2014048752A (ja) * 2012-08-29 2014-03-17 Teraoka Seiko Co Ltd 表示札処理システム
JP2015103153A (ja) 2013-11-27 2015-06-04 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2016052379A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、棚札管理システム、制御方法、及びプログラム
JP2017209447A (ja) 2016-05-27 2017-11-30 株式会社平和 遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3705423A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052919A (zh) * 2019-06-05 2020-12-08 联咏科技股份有限公司 具有货物信息的操作方法和其非暂时性计算机可读介质
TWI799712B (zh) * 2019-06-05 2023-04-21 聯詠科技股份有限公司 具有貨物資訊的操作方法和其非暫時性電腦可讀取媒體及電腦程式產品
US11508149B2 (en) 2019-06-05 2022-11-22 Novatek Microelectronics Corp. Operating method with goods information and non-transitory computer readable medium thereof
JP7220857B2 (ja) 2019-07-16 2023-02-13 Ｒｆルーカス株式会社 位置検出システム
JP2022059613A (ja) * 2019-07-16 2022-04-13 Ｒｆルーカス株式会社 位置検出システム
JP7404038B2 (ja) 2019-11-21 2023-12-25 株式会社Retail AI 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JP2021080087A (ja) * 2019-11-21 2021-05-27 株式会社Ｒｅｔａｉｌ ＡＩ Ｌａｂ 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JPWO2022024367A1 (ja) * 2020-07-31 2022-02-03
WO2022024367A1 (ja) * 2020-07-31 2022-02-03 日本電気株式会社 学習モデル生成装置、学習モデル生成システム、学習モデル生成方法および記録媒体
JP7396499B2 (ja) 2020-07-31 2023-12-12 日本電気株式会社 学習モデル生成装置、学習モデル生成システム、学習モデル生成方法および学習モデル生成プログラム
JP2021034037A (ja) * 2020-08-05 2021-03-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
WO2023148928A1 (ja) * 2022-02-04 2023-08-10 日本電気株式会社 棚札管理システム、棚札管理方法、および記録媒体
WO2023148927A1 (ja) * 2022-02-04 2023-08-10 日本電気株式会社 棚札管理システム、棚札管理方法、および記録媒体

Also Published As

Publication number Publication date
EP3705423A1 (en) 2020-09-09
JP7165884B2 (ja) 2022-11-07
CN111315670A (zh) 2020-06-19
US20220277563A1 (en) 2022-09-01
US20200279113A1 (en) 2020-09-03
JPWO2019087792A1 (ja) 2020-12-10
US11380098B2 (en) 2022-07-05
CN111315670B (zh) 2021-11-26
US11823126B2 (en) 2023-11-21
EP3705423A4 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
WO2019087792A1 (ja) 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
WO2019087519A1 (ja) 棚監視装置、棚監視方法、及び、棚監視プログラム
WO2020048492A1 (zh) 商品状态识别
JP6791534B2 (ja) 商品管理装置、商品管理方法及びプログラム
US20170295953A1 (en) Monitoring device, monitoring system, and monitoring method
CN108175227B (zh) 货架控制方法、装置和电子设备
US11887051B1 (en) Identifying user-item interactions in an automated facility
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
JP2020061158A (ja) 画像処理装置、表示制御装置、画像処理方法、および、記録媒体
US20170178061A1 (en) Planogram Generation
JP2010113662A (ja) 購買分析システム
US20240168700A1 (en) Systems, methods, and apparatus for updating an electronic shelf label display
JP2022183305A (ja) 情報処理装置、情報処理方法、およびプログラム
US11238401B1 (en) Identifying user-item interactions in an automated facility
WO2020195763A1 (ja) 情報処理装置、情報処理方法と記録媒体
JP7130945B2 (ja) 在庫検出プログラム、在庫検出方法及び在庫検出装置
JP7336708B2 (ja) 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
US11494729B1 (en) Identifying user-item interactions in an automated facility
JP2021081911A (ja) 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
US12002008B2 (en) Methods and apparatus for machine learning system for edge computer vision and active reality
US20240135319A1 (en) Methods and apparatus for machine learning system for edge computer vision and active reality
US20230376893A1 (en) Method for classifying product organization in an inventory structure
JP2021080087A (ja) 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JP2007220991A (ja) 不良品情報入力装置及び不良品情報入力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872498

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019551064

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018872498

Country of ref document: EP

Effective date: 20200602