WO2018104998A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2018104998A1
WO2018104998A1 PCT/JP2016/086039 JP2016086039W WO2018104998A1 WO 2018104998 A1 WO2018104998 A1 WO 2018104998A1 JP 2016086039 W JP2016086039 W JP 2016086039W WO 2018104998 A1 WO2018104998 A1 WO 2018104998A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
monitoring area
camera
product
captured
Prior art date
Application number
PCT/JP2016/086039
Other languages
English (en)
French (fr)
Inventor
哲夫 井下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2016/086039 priority Critical patent/WO2018104998A1/ja
Priority to JP2018555333A priority patent/JP6702434B2/ja
Priority to US16/466,345 priority patent/US11140363B2/en
Publication of WO2018104998A1 publication Critical patent/WO2018104998A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Definitions

  • the present invention relates to an information processing apparatus, a control method, and a program.
  • Patent Literature 1 discloses a system that detects that a product has run out using a marker provided on a product shelf. Specifically, a marker is provided in advance on the product shelf at a position where the product shelf becomes visible when the product is exhausted. Then, this system analyzes an image in which the product shelf is imaged, and detects that the product is lost when a marker is detected from the image.
  • Patent Document 2 discloses a system that outputs a product replenishment instruction when an area of a base portion of a display shelf is larger than a predetermined amount in an image obtained by imaging a product display shelf than when the store was opened. ing.
  • Patent Document 1 and Patent Document 2 detect that the remaining amount of the product has decreased in order to replenish the product. On the other hand, when some of the displayed products are stolen, many products may remain in the product shelf. Therefore, when trying to detect theft of goods using the systems of Patent Literature 1 and Patent Literature 2, there is a high probability that occurrence of theft cannot be accurately detected.
  • the present invention has been made in view of the above problems.
  • One of the objects of the present invention is to provide a technique for accurately detecting theft of goods.
  • the control method of the present invention is executed by a computer.
  • the control method includes (1) a first captured image in which a display place where merchandise is displayed is imaged, and a second image in which the display place is imaged at a time point later than the first captured image.
  • the program of the present invention causes a computer to execute each step of the control method of the present invention.
  • FIG. 3 is a diagram conceptually illustrating an operation of the information processing apparatus according to the first embodiment.
  • 1 is a diagram illustrating an information processing apparatus according to a first embodiment. It is a figure which illustrates the computer for implement
  • 3 is a flowchart illustrating a flow of processing executed by the information processing apparatus according to the first embodiment. It is a figure which illustrates the case where the captured image produced
  • FIG. 6 is a block diagram illustrating an information processing apparatus according to a second embodiment. It is a figure which illustrates the input method of a reference value. It is the 1st figure which illustrates the method of inputting a reference value by methods other than key input.
  • FIG. 10 is a block diagram illustrating an information processing apparatus according to a third embodiment.
  • each block diagram represents a functional unit configuration, not a hardware unit configuration.
  • FIG. 1 is a diagram conceptually illustrating the operation of the information processing apparatus 2000 according to the first embodiment.
  • FIG. 1 is an illustration for the purpose of facilitating understanding of the operation of the information processing apparatus 2000, and the operation of the information processing apparatus 2000 is not limited by FIG.
  • the camera 10 repeatedly images a display place (for example, a product shelf) where products are displayed, and generates a plurality of captured images 12.
  • a display place for example, a product shelf
  • the plurality of captured images 12 to be generated is a group of frames that make up moving image data.
  • the information processing apparatus 2000 acquires a reference image 13 (first captured image) and a comparative image 14 (second captured image) from among the plurality of captured images 12.
  • the comparison image 14 is a captured image generated at a later time than the reference image 13.
  • the reference image 13 and the comparison image 14 include a monitoring area 15.
  • the monitoring area 15 is an area in the captured image 12 and includes an area to be monitored (hereinafter referred to as a monitoring place).
  • the monitoring target area includes products to be monitored.
  • the monitoring area 15 of the reference image 13 and the monitoring area 15 of the comparison image 14 represent the same monitoring place.
  • the information processing apparatus 2000 calculates the reduction amount of the product in the monitoring area 15 by analyzing the monitoring area 15 of the reference image 13 and the monitoring area 15 of the comparison image 14.
  • the number of products included in the monitoring area 15 of the reference image 13 is six less than the number of products included in the monitoring area 15 of the comparison image 14. Therefore, for example, in the case of FIG.
  • the scale of the amount of reduction of the product is not limited to the number.
  • the information processing apparatus 2000 outputs a warning when the reduction amount of the product is equal to or greater than the reference value. For example, in the case of FIG. 1, it is assumed that there are five reference values. In this case, the reduction amount of the product is equal to or greater than the reference value. Therefore, the information processing apparatus 2000 outputs a warning.
  • FIG. 2 is a diagram illustrating an information processing apparatus 2000 according to the first embodiment.
  • the information processing apparatus 2000 includes a calculation unit 2040 and a warning unit 2060.
  • the calculation unit 2040 acquires the reference image 13 in which the display place of the product is captured.
  • the calculation unit 2040 acquires the comparison image 14 in which the product shelf is captured at a time later than the reference image 13.
  • the calculation unit 2040 calculates the amount of reduction of the product in the monitoring area 15 included in both the reference image 13 and the comparison image 14.
  • the warning unit 2060 outputs a warning when the calculated amount of decrease is greater than or equal to a reference value.
  • the reference image 13 and the comparison image 14 are compared, and a warning is output when the reduction amount of the product is equal to or greater than the reference value. In this way, a warning can be output when the product is stolen. Therefore, the theft of the product can be detected with high accuracy.
  • Each functional component of the information processing apparatus 2000 may be realized by hardware (eg, a hard-wired electronic circuit) that implements each functional component, or a combination of hardware and software (eg: It may be realized by a combination of an electronic circuit and a program for controlling it).
  • hardware eg, a hard-wired electronic circuit
  • software eg: It may be realized by a combination of an electronic circuit and a program for controlling it.
  • FIG. 3 is a diagram illustrating a computer 1000 for realizing the information processing apparatus 2000.
  • the computer 1000 is an arbitrary computer.
  • the computer 1000 is a Personal Computer (PC), a server machine, a tablet terminal, or a smartphone.
  • the computer 1000 may be the camera 10 that generates the captured image 12.
  • the computer 1000 may be a dedicated computer designed for realizing the information processing apparatus 2000 or a general-purpose computer.
  • the computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input / output interface 1100, and a network interface 1120.
  • the bus 1020 is a data transmission path through which the processor 1040, the memory 1060, the storage device 1080, the input / output interface 1100, and the network interface 1120 transmit / receive data to / from each other.
  • the method of connecting the processors 1040 and the like is not limited to bus connection.
  • the processor 1040 is an arithmetic device such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 1060 is a main storage device realized using a RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized by using a hard disk, an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory). However, the storage device 1080 may be configured by hardware similar to the hardware configuring the main storage device such as a RAM.
  • the input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device.
  • the network interface 1120 is an interface for connecting the computer 1000 to a communication network.
  • This communication network is, for example, “LAN (Local Area Network)” or “WAN (Wide Area Network)”.
  • a method of connecting the network interface 1120 to the communication network may be a wireless connection or a wired connection.
  • the computer 1000 is communicably connected to the camera 10 via a network.
  • the method of connecting the computer 1000 so as to be communicable with the camera 10 is not limited to connection via a network.
  • the computer 1000 may not be connected to the camera 10 so as to be communicable.
  • the storage device 1080 stores a program module that implements each functional component (calculation unit 2040 and warning unit 2060) of the information processing apparatus 2000.
  • the processor 1040 implements a function corresponding to each program module by reading each program module into the memory 1060 and executing the program module.
  • the camera 10 is an arbitrary camera that can repeatedly capture images and generate a plurality of captured images 12.
  • the camera 10 may be a video camera that generates moving image data or a still camera that generates still image data.
  • the captured image 12 is a frame that constitutes moving image data.
  • the computer 1000 that implements the information processing apparatus 2000 may be the camera 10.
  • the camera 10 analyzes the captured image 12 generated by itself, and outputs a warning when the reduction amount of the product is equal to or greater than the reference value.
  • the camera 10 having such a function is, for example, an intelligent camera, a network camera, or a camera called an IP (Internet Protocol) camera.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the information processing apparatus 2000 according to the first embodiment.
  • the calculation unit 2040 acquires the reference image 13 and the comparison image 14 (S102).
  • the calculation unit 2040 calculates the reduction amount of the product in the monitoring area 15 included in the reference image 13 and the comparison image 14 (S104).
  • the warning unit 2060 determines whether or not the reduction amount of the product is greater than or equal to the reference value (S106). When the reduction amount of the product is equal to or greater than the reference value (S106: YES), the warning unit 2060 outputs a warning (S108). If the reduction amount of the product is less than the reference value (S106: NO), the process of FIG. 4 ends.
  • one captured image 12 may include a plurality of monitoring areas 15.
  • the monitoring area 15 is set individually for each shelf. In this case, the processing of S104 to S108 is executed for each of the plurality of monitoring areas 15.
  • the captured images 12 used for each of the plurality of monitoring areas 15 may be different.
  • the processing of S102 to S108 is executed for each of the plurality of monitoring areas 15.
  • the calculation unit 2040 acquires the reference image 13 and the comparison image 14 (S102).
  • the method by which the calculation unit 2040 acquires the captured image 12 is arbitrary.
  • the calculation unit 2040 receives the captured image 12 transmitted from the camera 10.
  • the calculation unit 2040 accesses the camera 10 and acquires the captured image 12 stored in the camera 10.
  • the camera 10 may store the captured image 12 in a storage device provided outside the camera 10.
  • the calculation unit 2040 accesses the storage device and acquires the captured image 12.
  • the information processing apparatus 2000 acquires the captured image 12 generated by the information processing apparatus 2000 itself.
  • the captured image 12 is stored in, for example, the memory 1060 or the storage device 1080 (see FIG. 3) inside the information processing apparatus 2000. Therefore, the calculation unit 2040 acquires the captured image 12 from the memory 1060 or the storage device 1080.
  • the reference image 13 is an image that is treated as a reference for calculating how much the product included in the monitoring area 15 of the comparison image 14 has decreased.
  • the calculation unit 2040 acquires a reference image 13 to be treated as this reference from the captured image 12 generated by the camera 10.
  • Example 1 The information processing apparatus 2000 treats the captured image 12 generated at a predetermined time as the reference image 13.
  • FIG. 5 is a diagram illustrating a case where the captured image 12 generated at a predetermined time is handled as the reference image 13.
  • the predetermined time points are Tr1, Tr2, and Tr3.
  • the captured image generated at the predetermined time point Tr1 12 is a reference image (reference image 13-1).
  • the reduction amount of the product for the comparison image 14 (for example, the comparison image 14-3 and the comparison image 14-4) generated at each time point t satisfying Tr2 ⁇ t ⁇ Tr3, it is generated at a predetermined time point Tr2.
  • the captured image 12 is set as a reference image (reference image 13-2).
  • the method for determining the predetermined point described above is arbitrary.
  • the information processing apparatus 2000 is used during business hours of a store where a product to be monitored is placed.
  • the opening time of a store on a certain day is set as the first predetermined time Tr1 on that day.
  • a predetermined time point after that is determined at predetermined time intervals from Tr1. For example, 10 minutes after the predetermined time point “Tr1” is determined as the predetermined time point “Tr2”, and another 10 minutes after the predetermined time point “Tr2” is determined as the predetermined time point “Tr3”.
  • Example 2 The information processing apparatus 2000 treats the captured image 12 generated a predetermined time (for example, 10 minutes) before the time when the comparison image 14 is generated as the reference image 13.
  • FIG. 6 is a diagram illustrating a case where the captured image 12 generated a predetermined time before the time when the comparison image 14 is generated is handled as the reference image 13.
  • the captured image 12 generated at each of the points t1, t2, and t3 is treated as the comparative image 14. Further, the predetermined time described above is p. Therefore, the captured image 12 generated at each time point t1-p, t2-p, t3-p is treated as the reference image 13.
  • the comparison image 14 is a captured image 12 generated by the camera 10 and is generated at a time later than the reference image 13. There are various methods for determining which of the plurality of captured images 12 generated by the camera 10 is treated as the comparison image 14.
  • the calculation unit 2040 treats all the captured images 12 generated by the camera 10 as the comparison images 14.
  • the calculation unit 2040 extracts the captured image 12 to be treated as the comparative image 14 from the plurality of captured images 12 generated by the camera 10 at predetermined time intervals.
  • the i th comparison image 14 is the captured image 12 generated at time Ts + (i ⁇ 1) * q *.
  • Ts is the generation time point of the first comparison image 14
  • q is a predetermined time interval.
  • the calculation unit 2040 uses the captured image 12 generated after a predetermined time from the generation time of the reference image 13 as the comparison image 14. May be treated as For example, when the reference image 13 is generated at the predetermined time points Tr1, Tr2, and Tr3, the captured images 12 generated at the time points Tr1-p, Tr2-p, and Tr3-p are respectively handled as the comparative images 14 (p is described above). Predetermined time).
  • ⁇ About monitoring area> There are various methods for determining the position of the monitoring region 15 in the captured image 12. For example, the position of the monitoring area 15 in the captured image 12 is determined in advance using coordinates on the captured image 12. For example, when the shape of the monitoring area 15 is a rectangle, the coordinates of the upper left vertex of the monitoring area 15 and the coordinates of the lower right vertex of the monitoring area 15 are determined. When the shape of the monitoring area 15 is another polygon, for example, the coordinates of each vertex of the monitoring area 15 are determined.
  • the monitoring area 15 may be determined at a position in the real world to be monitored.
  • the information processing apparatus 2000 converts a position in the real world to be monitored into a position on the captured image 12.
  • the process of converting the position in the real world into the position on the captured image can be realized using the camera parameters (installation position, imaging direction, angle of view, etc.) of the camera that generated the captured image.
  • An existing technique can be used for the process of converting the position in the real world into the position of the captured image using the camera parameter.
  • the calculation unit 2040 calculates the reduction amount of the product in the monitoring area 15 included in the reference image 13 and the comparison image 14 (S104). For example, the calculation unit 2040 extracts a difference area between the monitoring area 15 in the comparison image 14 and the monitoring area 15 in the reference image 13 and calculates a reduction amount of the product based on the size of the difference area.
  • the calculation unit 2040 calculates the difference of the upper surface of the place where the product is placed (for example, the upper surface of the product shelf) as the difference region of the monitoring region 15.
  • FIG. 7 is a diagram illustrating an example of the difference area of the shelf portion.
  • the calculation unit 2040 calculates the difference between the reference image 13 and the comparison image 14 for the shelf 60 included in the monitoring region 15.
  • a difference area 17 is calculated as a difference area between the reference image 13 and the comparison image 14.
  • the camera 10 is installed so as to look down on the display place of the goods from above.
  • the calculation unit 2040 is a reference image 13 that is generated before the comparison image 14 for the reference image 13 to be compared with a certain comparison image 14, and the generation time is the comparison.
  • the reference image 13 is the closest to the generation point of the image 14.
  • a scale that represents the amount of decrease in merchandise is the area of the difference area.
  • the calculation unit 2040 treats the size of the difference area itself as a reduction amount of the product. Specifically, when the size of the difference area is n pixels (n is a positive integer), the calculation unit 2040 uses the n pixels as a reduction amount of the product.
  • a scale representing the amount of merchandise is, for example, the ratio of the difference area to the monitoring area 15.
  • the size of the monitoring region 15 is m pixels (m is a positive integer) and the size of the difference region is n pixels.
  • the calculation unit 2040 sets the reduction amount of the product as “n / m”.
  • a scale representing the amount of a product is the quantity (number, volume, weight, etc.) of the product. For example, when the number of reduced products is n, the reduction amount of the product is “n”.
  • the calculation unit 2040 calculates the quantity of the product corresponding to the size of the difference area, and treats the quantity as a reduction amount of the product.
  • a scale representing the amount of a product is an evaluation value of the product.
  • the evaluation value of the product is, for example, the price of the product. For example, when the total amount of the reduced product is n yen, the reduction amount of the product is “n yen”.
  • the evaluation value of a product is a score representing the value or importance of the product. For example, in the case where the score per unit quantity (for example, 1 item) of a product is s (s is a positive real number) and the product is reduced by ⁇ n, the score indicating the reduction amount of the product is s * n. .
  • the calculation unit 2040 calculates a product evaluation value corresponding to the size of the difference area, and treats the evaluation value as a product reduction amount.
  • the scale by which the calculation unit 2040 calculates the reduction amount of the product may be determined in advance by the calculation unit 2040 or may be stored in a storage device accessible from the calculation unit 2040.
  • the calculation unit 2040 may acquire information indicating on which scale the reference value of the monitoring area 15 is determined, and calculate the reduction amount of the product on the same scale as the reference value.
  • the calculation unit 2040 may calculate the reduction amount of the product using the depth of the monitoring area 15 in the reference image 13 and the depth of the monitoring area 15 in the comparison image 14.
  • the calculation unit 2040 may calculate the reduction amount of the product using the depth of the monitoring area 15 in the reference image 13 and the depth of the monitoring area 15 in the comparison image 14.
  • FIG. 8 and FIG. 9 are diagrams for explaining a method of calculating the reduction amount of the product using the depth of the monitoring area 15.
  • FIG. 8A is a plan view of the shelf 60 included in the monitoring area 15 as viewed from above when the reference image 13 is generated.
  • FIG. 8B is a diagram showing a graph showing the depth on the shelf 60 in FIG. The place where the product is placed has a small depth. Then, the area of the shelf 60 in the portion where the product is placed is the area of the region 80.
  • FIG. 9A is a plan view of the shelf 60 included in the monitoring region 15 as viewed from above when the comparison image 14 is generated. In FIG. 9A, commodities are reduced as compared to FIG. 8A.
  • FIG. 9 (b) shows a graph showing the depth on the shelf 60 in FIG. 9 (a).
  • the area of the shelf 60 where the product is placed is the area of the region 82.
  • the area of the region 82 is smaller than the area of the region 80 because the number of products is reduced.
  • the calculation unit 2040 calculates the reduction amount of the product based on the difference between the area 82 and the area 80.
  • the method of calculating the amount of reduction of the product in consideration of the depth of the monitoring region 15 has an advantage that the amount of reduction of the product can be calculated with higher accuracy than the case of not considering the depth of the monitoring region 15.
  • the upper surface of the shelf may be hardly reflected in the captured image 12.
  • the calculation unit 2040 calculates the product quantity and evaluation value corresponding to the size of the difference area. For this purpose, a correspondence between the size of the difference area and the amount of products in each scale is defined in advance. For example, for each scale, the amount of products per unit area (for example, one pixel) of the monitoring region 15 is determined in advance.
  • FIG. 10 is a diagram showing the amount of products per unit area of the monitoring area 15 on various scales.
  • the table shown in FIG. In this example, the unit area of the image region is one pixel.
  • the table 500 has a monitoring area ID 502, a scale 504, and a value 506.
  • a monitoring area ID (Identifier) 502 indicates an identifier of the monitoring area.
  • the scale 504 indicates the name of the scale (number, volume, weight, price, etc.).
  • a value 506 indicates the amount of products per unit area of the image area.
  • the record in the first row of the table 500 indicates that the amount of the product per unit area is “0.01 yen” on the scale of “price” for the monitoring area 15 having the identifier “001”.
  • the record in the second line indicates that the amount of products per unit area of the monitoring area 15 is “0.05” on a scale of “number” for the monitoring area 15 whose identifier is 001.
  • the table 500 may be stored inside the information processing apparatus 2000, or may be stored outside the information processing apparatus 2000.
  • the table 500 displays the monitoring area ID 502. You don't have to.
  • the reduction amount of the product is calculated based on the depth of the monitoring region 15 using a three-dimensional camera, for example, instead of the amount of the product per unit area of the monitoring region 15, it is included in the monitoring region 15. Define the quantity of products per unit area of the shelf.
  • the information processing apparatus 2000 receives an input specifying the amount of products per unit area of the monitoring area 15 from a user of the information processing apparatus 2000 (a salesclerk or a monitoring staff of a store to be monitored).
  • the user can obtain in advance information indicating how much products are displayed in each display place. Therefore, the user manually inputs the amount of products per unit area of the monitoring area 15 based on this information.
  • the user may input the total amount of products included in the monitoring area 15 instead of the amount of products per unit area of the monitoring area 15.
  • the monitoring area 15 is one shelf of a product shelf
  • the user inputs the total number and the total amount of products displayed on the shelf.
  • the information processing apparatus 2000 calculates the amount of products per unit area of the monitoring region 15 by dividing the input amount of products by the area of the monitoring region 15.
  • the amount of products per unit area of the monitoring area 15 may be set by the following method.
  • FIG. 11 is a diagram illustrating a method for setting the quantity of products per unit area of the monitoring area 15.
  • the setting screen 40 is a screen for setting the amount of products per unit area of the monitoring area 15.
  • the user inputs to specify the two captured images 12-1 and 12-2.
  • the user designates the captured image 12-1 and the captured image 12-2 from the captured images 12 stored in the storage device.
  • the user designates the picked-up image 12-1 and the picked-up image 12-2 that have different product quantities in the monitoring area 15.
  • the information processing apparatus 2000 calculates a difference area between the captured image 12-1 and the captured image 12-2. Then, the information processing apparatus 2000 sets the captured image 12-3, which is an image obtained by superimposing the difference area 42 representing the difference between the captured image 12-1 and the captured image 12-2, on the captured image 12-2. To display.
  • the user inputs the amount of the product corresponding to the difference area 42 in the input area 44. Specifically, the user first selects a scale that represents the amount of merchandise. Then, the user inputs the amount of the product corresponding to the difference area 42 with the selected scale. For example, in the example of FIG. 7, “quantity” is selected as the scale. Therefore, the user inputs the number “1”.
  • the information processing apparatus 2000 calculates the amount of products per unit area of the monitoring region 15 by dividing the amount of products input to the input area 44 by the area of the difference region 42.
  • the captured image 12-1 and the captured image 12-2 may be monitoring captured images generated by operating the camera 10 to monitor the display location, and are used on the setting screen 40. Therefore, a captured image for setting generated by operating the camera 10 separately may be used.
  • the warning unit 2060 determines whether or not the reduction amount of the product is greater than or equal to the reference value (S106). It is assumed that the reference value is determined on the same scale as the scale representing the amount of decrease in the product. For example, when the reduction amount of the product is represented by the size of the difference area, the reference value indicates a predetermined number of pixels. In addition, for example, when the reduction amount of the product represents the quantity or evaluation value of the product, the reference value indicates a predetermined quantity or evaluation value.
  • a warning is output when there is no product with a value greater than the value represented by the reference value. Therefore, there is an advantage that the magnitude of the theft damage that the warning unit 2060 should give a warning can be expressed on a scale that is intuitive and easy to understand for the person, that is, the value of the stolen product.
  • the method for determining the reference value is arbitrary.
  • the warning unit 2060 uses a reference value fixed in advance in the warning unit 2060.
  • a setting file in which a reference value is described may be read from the storage device, and the reference value described in the setting file may be used.
  • Other examples of the method for determining the reference value will be described in an embodiment described later.
  • the reference value is preferably a value corresponding to 50% or less of the amount of products included in the reference image 13, for example.
  • the warning unit 2060 If the reduction amount of the product is greater than or equal to the reference value, the warning unit 2060 outputs a warning (S108).
  • a warning there are various methods by which the warning unit 2060 outputs a warning.
  • the warning unit 2060 outputs a warning from an output device connected to the information processing apparatus 2000.
  • the output device is, for example, a display device or a speaker.
  • FIG. 12 is a diagram illustrating a warning screen 30 displayed on the display device.
  • the warning screen 30 displays a comparative image 14 that has been determined that the reduction amount of the product is greater than or equal to the reference value.
  • An area 36 represents the monitoring area 15 in which it is determined that the reduction amount of the product is greater than or equal to the reference value.
  • the information 32 indicates a message for notifying the amount of decrease in the product and that the amount of decrease in the product exceeds the reference value.
  • the information 34 indicates information related to the comparative image 14 that is determined that the reduction amount of the product is equal to or greater than the reference value. Specifically, the information 34 indicates the generation time of the comparison image 14, the identifier of the camera 10 that generated the comparison image 14, and the location monitored by the camera 10.
  • the store clerk, the supervisor, etc. can easily grasp (1) that theft may have occurred and (2) when, where, and how much the product has decreased. can do.
  • the warning output from the warning unit 2060 may be output to one or more mobile terminals.
  • this portable terminal is a portable terminal possessed by a store clerk or a security guard.
  • the mobile terminal that has acquired the warning output from the warning unit 2060 outputs the warning from the display device or speaker of the mobile terminal.
  • a warning screen similar to that in FIG. 12 is output to the display device of the portable terminal.
  • FIG. 13 is a block diagram illustrating an information processing apparatus 2000 according to the second embodiment. Except for the items described below, the information processing apparatus 2000 of the second embodiment has the same functions as the information processing apparatus 2000 of the first embodiment.
  • the information processing apparatus 2000 includes an input reception unit 2080.
  • the input receiving unit 2080 receives an input of a reference value.
  • the input receiving unit 2080 may receive an input of one reference value common to all the monitoring areas, or an individual reference value for each monitoring area. Input may be accepted.
  • FIG. 14 is a diagram illustrating a reference value input method.
  • the setting screen 20 is a screen for receiving an input of a reference value from the user.
  • the window 22 is a window for designating a monitoring area for setting a reference value.
  • the window 24 is a window for inputting a reference value for a designated monitoring area.
  • the user designates the monitoring area 15 that is a target for inputting the reference value from the monitoring areas 15 on the captured image 12 displayed in the window 22. For example, the user specifies the monitoring area 15 by tapping or clicking the monitoring area 15 to be specified. However, when setting a common reference value for all the monitoring areas 15, it is not necessary to select the monitoring area 15.
  • a new monitoring area 15 may be added in the window 22.
  • the user can draw an area on the captured image 12 by performing an operation such as dragging. Then, the drawn area is added as a new monitoring area 15.
  • the user inputs a reference value for the designated monitoring area 15.
  • the input area 26 is an area for designating the type of reference value (a scale representing the amount of products). In FIG. 14, “product price” is designated.
  • the input area 28 is an area for inputting a reference value at a specified scale.
  • the reference value is input at a price of “2000 yen”.
  • the user inputs a numerical value representing the reference value by performing a key input while the input area 28 is in focus.
  • the reference value input method is not limited to key input.
  • several methods for inputting a reference value other than key input will be exemplified.
  • the input receiving unit 2080 receives an input for drawing an area in the monitoring area 15. Then, the input receiving unit 2080 calculates a reference value using the size of the drawn area.
  • FIG. 15 is a first diagram illustrating a method of inputting a reference value by a method other than key input. In FIG. 15, the user performs an input for drawing an area 16 in the designated monitoring area 15-1. The input receiving unit 2080 calculates a reference value using the size of the region 16.
  • the method of inputting the reference value by drawing the region 16 in the monitoring region 15 has an advantage that the reference value can be easily and intuitively input compared to the method of directly inputting the reference value as a numerical value. There is.
  • the input receiving unit 2080 uses the size of the region 16 as the reference value as it is. For example, if the size of the region 16 is 10,000 pixels, the input receiving unit 2080 sets “10,000 pixels” as a reference value.
  • the input reception unit 2080 sets the ratio of the size of the area 16 to the size of the monitoring area 15 as the reference value. For example, it is assumed that the size of the monitoring region 15 is 30,000 pixels and the size of the region 16 is 10,000 pixels. In this case, the input receiving unit 2080 uses “1/3” as a reference value.
  • the input receiving unit 2080 calculates the reference value based on the total quantity of products included in the monitoring area 15, the size of the monitoring area 15, and the size of the area 16. To do. For example, it is assumed that the total quantity of products included in the monitoring area 15 is 30, the size of the monitoring area 15 is 30,000 pixels, and the size of the area 16 is 10,000 pixels. In this case, the input receiving unit 2080 uses “10” which is 30 1/3 as a reference value.
  • the total quantity of products included in the monitoring area 15 may be input by the user, or may be determined in advance for the monitoring area 15.
  • the input reception unit 2080 may calculate the total quantity of products included in the monitoring area 15 by performing object recognition on the monitoring area 15 of the captured image 12 displayed in the window 22.
  • the input receiving unit 2080 determines the reference value based on the total price of the products included in the monitoring area 15, the size of the monitoring area 15, and the size of the area 16. calculate. For example, it is assumed that the total price of products included in the monitoring area 15 is 3,000 yen, the size of the monitoring area 15 is 30,000 pixels, and the size of the area 16 is 10,000 pixels. In this case, the input receiving unit 2080 uses “1,000 yen” that is 1/3 of 3,000 yen as a reference value.
  • the total price of the products included in the monitoring area 15 may be input by the user, or may be predetermined for the monitoring area 15. Further, the input receiving unit 2080 may perform object recognition on the monitoring area 15 of the captured image 12 displayed in the window 22 to calculate the total price of the products included in the monitoring area 15. Specifically, the input receiving unit 2080 performs object recognition on the monitoring area 15 to identify the product included in the monitoring area 15 and calculate the number of products. Next, the input receiving unit 2080 searches for a product database in which product price information is stored, thereby acquiring the unit price of the product included in the monitoring area 15. Then, the calculation unit 2040 calculates the total price of the products included in the monitoring area 15 by multiplying the acquired unit price by the number of products.
  • Example of hardware configuration The hardware configuration of a computer that implements the information processing apparatus 2000 according to the second embodiment is represented by, for example, FIG.
  • the storage device 1080 of the computer 1000 that implements the information processing apparatus 2000 of this embodiment further stores a program module that implements the functions of the information processing apparatus 2000 of this embodiment.
  • the information processing apparatus 2000 receives a reference value input from a user. By doing so, the user can freely set the reference value. Therefore, the convenience of the information processing apparatus 2000 is improved.
  • FIG. 16 is a block diagram illustrating an information processing apparatus 2000 according to the third embodiment. Except for the items described below, the information processing apparatus 2000 of the third embodiment has the same functions as the information processing apparatus 2000 of the first embodiment or the information processing apparatus 2000 of the second embodiment.
  • the information processing apparatus 2000 calculates the reduction amount of the product by comparing the captured images 12 generated before and after the period in which the captured image 12 includes a person.
  • the information processing apparatus 2000 includes a detection unit 2100.
  • the detection unit 2100 detects that a person has entered the imaging range of the camera 10 using the plurality of captured images 12 generated by the camera 10, and the time when the person has entered the imaging range of the camera 10 (hereinafter referred to as “the person”). , First time point).
  • the detection unit 2100 detects that a person has come out of the imaging range of the camera 10 using the plurality of captured images 12 generated by the camera 10, and the person comes out of the imaging range of the camera 10.
  • Time point (hereinafter, second time point) is calculated.
  • calculation part 2040 of Embodiment 3 handles the captured image 12 produced
  • FIG. The calculation unit 2040 handles the captured image 12 generated at or after the second time point as the comparison image 14.
  • Example of hardware configuration The hardware configuration of a computer that implements the information processing apparatus 2000 according to the third embodiment is represented by, for example, FIG.
  • the storage device 1080 of the computer 1000 that implements the information processing apparatus 2000 of this embodiment further stores a program module that implements the functions of the information processing apparatus 2000 of this embodiment.
  • the detection unit 2100 detects that a person has entered the monitoring area 15, and calculates the time when the person has entered the monitoring area 15 as the first time point. May be. In this case, instead of detecting that a person has come out from the imaging range of the camera 10, the detection unit 2100 detects that a person has come out from the monitoring area 15, and sets the second Calculate as time.
  • the information processing apparatus 2000 calculates the reduction amount of the product before and after the period when the person is in the monitoring area 15. By doing so, it is possible to reduce the amount of calculation of the information processing apparatus 2000 while accurately detecting theft of goods.
  • the calculation unit 2040 when a plurality of monitoring areas 15 are included in the captured image 12, it is only for the monitoring area 15 that the amount of decrease in the product is calculated before and after a period in which a person is in the certain monitoring area 15. Alternatively, it may be for all the monitoring areas 15. In the former case, the calculation unit 2040 generates the reference image 13 generated at the first time point when a person enters a certain monitoring area 15-1, and the second time point when a person leaves the monitoring area 15-1. Using the comparison image 14, the reduction amount of the product is calculated only for the monitoring area 15-1. By doing so, it is possible to reduce the target for calculating the reduction amount of the product, and thus the calculation amount of the information processing apparatus 2000 can be further reduced.
  • a part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
  • a calculating means for calculating a reduction amount of the product in the monitoring area
  • An information processing apparatus comprising: warning means for outputting a warning when the calculated amount of decrease is equal to or greater than a reference value.
  • Each of the captured images is provided with a plurality of the monitoring areas, The reference value is determined for each monitoring area.
  • Display control means for acquiring a third captured image in which the display location is captured, superimposing a first graphic representing the monitoring area on the acquired third captured image, and displaying the superimposed image on a display device.
  • the input receiving means receives an input for drawing a second graphic in the first graphic displayed on the display device, and based on the size of the second graphic, 2. determining the reference value corresponding to the monitored area represented;
  • the information processing apparatus described in 1. 5 The calculation means calculates the amount of the product reduced in the monitoring area as a reduction amount of the product in the monitoring area,
  • the warning means outputs a warning when the reduction amount of the product in the monitoring area is larger than a reference amount.
  • the information processing apparatus according to any one of the above. 6).
  • a first time point when a person enters the imaging range of the camera and a second time point when a person comes out from the imaging range of the camera are calculated using a plurality of captured images generated by the camera that images the display place.
  • the calculation means uses the captured image generated by the camera as the first captured image before or after the first time point, and uses the captured image generated by the camera as the first time point or after that.
  • the second captured image is used.
  • Detection means for calculating a first time point when a person enters the monitoring area and a second time point when a person leaves the monitoring area using a plurality of captured images generated by a camera that images the display place is provided.
  • the calculation means uses the captured image generated by the camera as the first captured image before or after the first time point, and uses the captured image generated by the camera as the first time point or after that.
  • the second captured image is used.
  • the reference value is 50% or less of the amount of the commodity included in the first captured image.
  • a control method executed by a computer A monitoring area included in both the first captured image in which the display location where the product is displayed is captured and the second captured image in which the display location is captured at a time point later than the first captured image
  • a calculation step for calculating a reduction amount of products in the monitoring area A warning step of outputting a warning when the calculated amount of decrease is equal to or greater than a reference value.
  • Each of the captured images is provided with a plurality of the monitoring areas, 8. the reference value is determined for each monitoring area; The control method described in 1. 11. 8. an input receiving step of receiving an input designating the reference value; Or 10.
  • an input for drawing a second graphic in the first graphic displayed on the display device is received, and the first graphic is based on the size of the second graphic. 10.
  • the amount of the product reduced in the monitoring area is calculated as a reduction amount of the product in the monitoring area, 8.
  • a warning is output when the reduction amount of the product in the monitoring area is larger than a reference amount; To 12.
  • a first time point when a person enters the imaging range of the camera and a second time point when a person comes out from the imaging range of the camera are calculated using a plurality of captured images generated by the camera that images the display place. Having a detection step; In the calculation step, the captured image generated by the camera at or before the first time point is defined as the first captured image, and the captured image generated by the camera at or after the second time point is defined as the first captured image. 8. the second captured image; Thru 13. The control method as described in any one. 15.
  • the reference value is 50% or less of the amount of the commodity included in the first captured image. To 15. The control method as described in any one.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】商品の盗難を精度良く検出する。 【解決手段】情報処理装置（２０００）は、商品の陳列場所が撮像された基準画像（１３）を取得する。また、情報処理装置（２０００）は、基準画像（１３）よりも後の時点においてその商品棚が撮像された比較画像（１４）を取得する。さらに、情報処理装置（２０００）は、基準画像（１３）及び比較画像（１４）の双方に含まれる監視領域（１５）内における商品の減少量を算出する。そして、情報処理装置（２０００）は、上記算出した減少量が基準値以上である場合に警告を出力する。

Description

情報処理装置、制御方法、及びプログラム
　本発明は情報処理装置、制御方法、及びプログラムに関する。
　店舗において、陳列されている商品が盗まれることがある。そこで、商品の盗難を防ぐため、警備員が店舗内を歩き回って警備を行ったり、監視カメラの映像を監視したりしている。
　しかし、人手で行う監視には多くの労力を要する。また、商品が陳列されている場所全てを常に人手で監視することは難しく、監視漏れが発生する可能性がある。
　ここで、情報処理技術を活用して商品の陳列状況を管理するシステムが開発されている。例えば特許文献１は、商品棚に設けられたマーカを利用して、商品が無くなったことを検出するシステムを開示している。具体的には、商品棚に対し、商品が無くなった時に見えるようになる位置に、予めマーカを設けておく。そして、このシステムは、商品棚が撮像された画像を解析し、画像からマーカが検出された場合に、商品が無くなったことを検出する。
　また、特許文献２は、商品の陳列棚が撮像された画像において、陳列棚の下地部分の面積が開店時よりも所定量以上大きくなった場合に、商品の補充命令を出力するシステムを開示している。
特開２０１２－１７４１５４号公報 特開平５－８１５５２号公報
　特許文献１や特許文献２のシステムは、商品の補充などを行うために、商品の残量が少なくなったことを検出する。これに対し、陳列されている商品の一部が盗難される場合、商品棚に多くの商品が残る可能性がある。そのため、特許文献１や特許文献２のシステムを使って商品の盗難を検出しようとすると、盗難の発生を精度良く検出できない蓋然性が高い。
　本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、商品の盗難を精度良く検出する技術を提供することである。
　本発明の情報処理装置は、（１）商品が陳列されている陳列場所が撮像された第１の撮像画像、及び前記第１の撮像画像よりも後の時点において前記陳列場所が撮像された第２の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出手段と、（２）前記算出された減少量が基準値以上である場合に警告を出力する警告手段と、を有する。
　本発明の制御方法は、コンピュータによって実行される。
　当該制御方法は、（１）商品が陳列されている陳列場所が撮像された第１の撮像画像、及び前記第１の撮像画像よりも後の時点において前記陳列場所が撮像された第２の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出ステップと、（２）前記算出された減少量が基準値以上である場合に警告を出力する警告ステップと、を有する。
　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
　本発明によれば、商品の盗難を精度良く検出する技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態１に係る情報処理装置の動作を概念的に例示する図である。 実施形態１に係る情報処理装置を例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 所定時点で生成された撮像画像が基準画像として扱われるケースを例示する図である。 比較画像が生成された時点よりも所定時間前に生成された撮像画像が基準画像として扱われるケースを例示する図である。 棚部分の差分領域を例示する図である。 監視領域の奥行きを利用して商品の減少量を算出する方法を説明するための図である。 監視領域の奥行きを利用して商品の減少量を算出する方法を説明するための図である。 監視領域の単位面積当たりの商品の量を種々の尺度で示す図である。 監視領域の単位面積当たりの商品の量を設定する方法を例示する図である。 ディスプレイ装置に表示される警告画面を例示する図である。 実施形態２の情報処理装置を例示するブロック図である。 基準値の入力方法を例示する図である。 キー入力以外の方法で基準値を入力する方法を例示する第１の図である。 実施形態３の情報処理装置を例示するブロック図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
［実施形態１］
＜情報処理装置２０００の動作の概要＞
　図１は、実施形態１に係る情報処理装置２０００の動作を概念的に例示する図である。なお図１は、情報処理装置２０００の動作の理解を容易にすることを目的とする例示のための図であり、情報処理装置２０００の動作は図１によって何ら限定されない。
　カメラ１０は、商品が陳列されている陳列場所（例えば商品棚）を繰り返し撮像して、複数の撮像画像１２を生成する。例えば、生成される複数の撮像画像１２は、動画データを構成するフレーム群である。
　情報処理装置２０００は、複数の撮像画像１２の中から、基準画像１３（第１の撮像画像）及び比較画像１４（第２の撮像画像）を取得する。比較画像１４は、基準画像１３よりも後に時点で生成された撮像画像である。
　基準画像１３及び比較画像１４には、監視領域１５が含まれている。監視領域１５は、撮像画像１２内の領域であって、監視対象の場所（以下、監視場所）が含まれる領域である。監視対象の領域には、監視対象の商品が含まれる。基準画像１３の監視領域１５と比較画像１４の監視領域１５は、同一の監視場所を表している。
　情報処理装置２０００は、基準画像１３の監視領域１５と比較画像１４の監視領域１５を解析することで、監視領域１５における商品の減少量を算出する。基準画像１３の監視領域１５に含まれている商品は、比較画像１４の監視領域１５に含まれている商品よりも６個少なくなっている。そのため、例えば図１のケースにおける商品の減少量は６個である。なお、後述するように、商品の減少量の尺度は個数に限定されない。
　情報処理装置２０００は、商品の減少量が基準値以上である場合に警告を出力する。例えば図１のケースにおいて、基準値が５個であるとする。この場合、商品の減少量は基準値以上である。よって、情報処理装置２０００は警告を出力する。
＜情報処理装置２０００の構成の概要＞
　図２は、実施形態１に係る情報処理装置２０００を例示する図である。情報処理装置２０００は、算出部２０４０及び警告部２０６０を有する。算出部２０４０は、商品の陳列場所が撮像された基準画像１３を取得する。また、算出部２０４０は、基準画像１３よりも後の時点においてその商品棚が撮像された比較画像１４を取得する。さらに、算出部２０４０は、基準画像１３及び比較画像１４の双方に含まれる監視領域１５内における商品の減少量を算出する。警告部２０６０は、上記算出した減少量が基準値以上である場合に警告を出力する。
＜作用・効果＞
　本実施形態の情報処理装置２０００によれば、基準画像１３と比較画像１４とを比較し、商品の減少量が基準値以上である場合に警告が出力される。こうすることで、商品が盗難にあった場合に警告が出力されるようにすることができる。よって、商品の盗難を精度良く検出することができる。
　以下、本実施形態についてさらに詳細に説明する。
＜情報処理装置２０００のハードウエア構成例＞
　情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。その他にも例えば、計算機１０００は、撮像画像１２を生成するカメラ１０であってもよい。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算装置である。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。
　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　例えば計算機１０００は、ネットワークを介して、カメラ１０と通信可能に接続されている。ただし、計算機１０００をカメラ１０と通信可能に接続する方法は、ネットワークを介した接続に限定されない。また、計算機１０００は、カメラ１０と通信可能に接続されていなくてもよい。
　ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部（算出部２０４０及び警告部２０６０）を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
＜カメラ１０について＞
　カメラ１０は、繰り返し撮像を行って複数の撮像画像１２を生成することができる任意のカメラである。カメラ１０は、動画データを生成するビデオカメラであってもよいし、静止画像データを生成するスチルカメラであってもよい。なお、前者の場合、撮像画像１２は、動画データを構成するフレームである。
　前述したように、情報処理装置２０００を実現する計算機１０００は、カメラ１０であってもよい。この場合、カメラ１０は、自身で生成した撮像画像１２を解析し、商品の減少量が基準値以上になった場合に、警告を出力する。このような機能を持たせるカメラ１０は、例えば、インテリジェントカメラ、ネットワークカメラ、又は IP（Internet Protocol）カメラなどと呼ばれるカメラである。
＜処理の流れ＞
　図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。算出部２０４０は、基準画像１３及び比較画像１４を取得する（Ｓ１０２）。算出部２０４０は、基準画像１３及び比較画像１４に含まれる監視領域１５における商品の減少量を算出する（Ｓ１０４）。警告部２０６０は、商品の減少量が基準値以上であるか否かを判定する（Ｓ１０６）。商品の減少量が基準値以上である場合（Ｓ１０６：ＹＥＳ）、警告部２０６０は警告を出力する（Ｓ１０８）。商品の減少量が基準値未満である場合（Ｓ１０６：ＮＯ）、図４の処理は終了する。
　ここで、１つの撮像画像１２には、監視領域１５が複数含まれてもよい。例えば撮像画像１２に複数の棚段を持つ商品棚が含まれる場合に、各棚段について個別に監視領域１５を設定しておく。この場合、Ｓ１０４～Ｓ１０８の処理は、複数の監視領域１５それぞれについて実行される。
　また、複数の監視領域１５それぞれについて利用する撮像画像１２が異なってもよい。この場合、Ｓ１０２～Ｓ１０８の処理が、複数の監視領域１５それぞれについて実行される。
＜撮像画像１２の取得方法：Ｓ１０２＞
　算出部２０４０は基準画像１３及び比較画像１４を取得する（Ｓ１０２）。ここで、算出部２０４０が撮像画像１２を取得する方法は任意である。例えば算出部２０４０は、カメラ１０から送信される撮像画像１２を受信する。また例えば、算出部２０４０は、カメラ１０にアクセスし、カメラ１０に記憶されている撮像画像１２を取得する。
　なお、カメラ１０は、カメラ１０の外部に設けられている記憶装置に撮像画像１２を記憶してもよい。この場合、算出部２０４０は、この記憶装置にアクセスして撮像画像１２を取得する。
　情報処理装置２０００がカメラ１０で実現される場合、情報処理装置２０００は、情報処理装置２０００自身によって生成された撮像画像１２を取得する。この場合、撮像画像１２は、例えば情報処理装置２０００の内部にあるメモリ１０６０やストレージデバイス１０８０（図３参照）に記憶されている。そこで算出部２０４０は、メモリ１０６０やストレージデバイス１０８０から撮像画像１２を取得する。
＜基準画像１３について＞
　基準画像１３は、比較画像１４の監視領域１５に含まれる商品がどの程度減少したかを算出するための基準として扱われる画像である。算出部２０４０は、カメラ１０によって生成される撮像画像１２の中から、この基準として扱う基準画像１３を取得する。
　どの撮像画像１２を基準画像１３として扱うかを定めるには、様々な方法がある。以下、その方法をいくつか例示する。なお、どの撮像画像１２を比較画像１４として扱うかを定める方法については後述する。
＜＜例１＞＞
　情報処理装置２０００は、所定時点で生成された撮像画像１２を、基準画像１３として扱う。図５は、所定時点で生成された撮像画像１２が基準画像１３として扱われるケースを例示する図である。図５において、所定時点は Tr1、Tr2、及び Tr3 である。
　Tr1≦t＜Tr2 を満たす各時点 t において生成された比較画像１４（例えば比較画像１４－１や比較画像１４－２）について商品の減少量を算出する場合、所定時点 Tr1 で生成された撮像画像１２を基準画像とする（基準画像１３－１）。一方、Tr2≦t＜Tr3 を満たす各時点 t において生成された比較画像１４（例えば比較画像１４－３や比較画像１４－４）について商品の減少量を算出する場合、所定時点 Tr2 で生成された撮像画像１２を基準画像とする（基準画像１３－２）。
　上述した所定時点の定め方は任意である。例えば情報処理装置２０００が、監視対象の商品が置かれている店舗の営業時間に利用されるとする。この場合、例えば或る日の店舗の開店時点をその日の最初の所定時点 Tr1 とする。さらに、Tr1 から所定時間間隔で、それ以降の所定時点を定める。例えば、所定時点 Tr1 から１０分後を所定時点 Tr2 として定め、所定時点 Tr2 からさらに１０分後を所定時点 Tr3 として定める。
＜＜例２＞＞
　情報処理装置２０００は、比較画像１４が生成された時点よりも所定時間前（例えば１０分前）に生成された撮像画像１２を基準画像１３として扱う。図６は、比較画像１４が生成された時点よりも所定時間前に生成された撮像画像１２が基準画像１３として扱われるケースを例示する図である。
　図６では、時点 t1、t2、t3 それぞれで生成された撮像画像１２が、比較画像１４として扱われる。また、上述した所定時間は p である。そこで、時点 t1-p、t2-p、t3-p それぞれでの時点で生成された撮像画像１２が、基準画像１３として扱われる。
＜比較画像１４について＞
　比較画像１４は、カメラ１０によって生成される撮像画像１２であって、基準画像１３よりも後の時点に生成されるものである。カメラ１０によって生成される複数の撮像画像１２のうち、どれを比較画像１４として扱うかを定める方法は様々である。
　例えば算出部２０４０は、カメラ１０によって生成される全ての撮像画像１２それぞれを、比較画像１４として扱う。その他にも例えば、算出部２０４０は、カメラ１０によって生成される複数の撮像画像１２の中から、所定の時間間隔で、比較画像１４として扱う撮像画像１２を抽出する。より具体的には、i 番目の比較画像１４は、時点 Ts+(i-1)*q に生成された撮像画像１２である。ここで、Ts は、１番目の比較画像１４の生成時点であり、q は所定の時間間隔である。
　その他にも例えば、基準画像１３が所定時点に生成される場合（上述の例１のケース）、算出部２０４０は、基準画像１３の生成時点から所定時間後に生成される撮像画像１２を比較画像１４として扱ってもよい。例えば、所定時点 Tr1、Tr2、及び Tr3 に基準画像１３が生成される場合、時点 Tr1-p、Tr2-p、Tr3-p に生成される撮像画像１２をそれぞれ比較画像１４として扱う（p は上述の所定時間）。
＜監視領域について＞
　撮像画像１２における監視領域１５の位置を定める方法は様々である。例えば、撮像画像１２における監視領域１５の位置は、予め撮像画像１２上の座標を用いて定めておく。例えば監視領域１５の形状が矩形である場合、監視領域１５の左上の頂点の座標、及び監視領域１５の右下の頂点の座標を定めておく。監視領域１５の形状がその他の多角形である場合、例えば、監視領域１５の各頂点の座標を定めておく。
　その他にも例えば監視領域１５は、監視対象の実世界上の位置で定められていてもよい。この場合、情報処理装置２０００は、監視対象の実世界上の位置を撮像画像１２上の位置に変換する。実世界上の位置を撮像画像上の位置に変換する処理は、その撮像画像を生成したカメラのカメラパラメタ（設置位置、撮像方向、及び画角など）を使って実現できる。なお、カメラパラメタを使って実世界上の位置を撮像画像の位置に変換する処理には、既存の技術を利用することができる。
＜商品の減少量の算出：Ｓ１０４＞
　算出部２０４０は、基準画像１３及び比較画像１４に含まれる監視領域１５における商品の減少量を算出する（Ｓ１０４）。例えば算出部２０４０は、比較画像１４における監視領域１５と基準画像１３における監視領域１５との差分領域を抽出し、その差分領域の大きさに基づいて、商品の減少量を算出する。
　ここで、算出部２０４０は、監視領域１５の差分領域として、商品が置かれる場所の上面（例えば商品棚の上面）の差分を算出することが好適である。図７は、棚部分の差分領域を例示する図である。算出部２０４０は、監視領域１５に含まれる棚段６０について、基準画像１３と比較画像１４との差分を算出する。その結果、基準画像１３と比較画像１４との間の差分領域として、差分領域１７を算出する。なお、このように商品が置かれる場所の上面の差分を差分領域とする場合、カメラ１０は、商品の陳列場所を上方から見下ろすように設置されることが好ましい。
　基準画像１３が複数ある場合、例えば算出部２０４０は、或る比較画像１４と比較する基準画像１３を、その比較画像１４よりも前に生成された基準画像１３であり、なおかつ生成時点がその比較画像１４の生成時点に最も近い基準画像１３とする。
　商品の減少量を表す尺度としては、様々なものを利用できる。例えば商品の減少量を表す尺度は、差分領域の面積である。この場合、算出部２０４０は、差分領域の大きさそのものを、商品の減少量として扱う。具体的には、差分領域の大きさが n 画素（n は正の整数）である場合、算出部２０４０は、この n 画素を商品の減少量とする。
　その他にも例えば、例えば商品の量を表す尺度は、監視領域１５に対する差分領域の割合である。例えば、監視領域１５の大きさが m 画素（m は正の整数）であり、差分領域の大きさが n 画素であるとする。この場合、算出部２０４０は、商品の減少量を「n/m」とする。
　その他にも例えば、商品の量を表す尺度は、商品の数量（数、容積、又は重さなど）である。例えば減少した商品の個数が n 個である場合、商品の減少量は「n 個」となる。算出部２０４０は、差分領域の大きさに相当する商品の数量を算出し、その数量を商品の減少量として扱う。
　その他にも例えば、商品の量を表す尺度は、商品の評価値である。商品の評価値は、例えば商品の価格である。例えば減少した商品の合計金額が n 円である場合、商品の減少量は「n 円」となる。その他にも例えば、商品の評価値は、商品の価値や重要度などを表すスコアである。例えば、商品の単位数量（例えば１個）当たりのスコアが s（s は正の実数）で、なおかつ商品が n 個減少しているケースでは、商品の減少量を表すスコアが s*n となる。算出部２０４０は、差分領域の大きさに相当する商品の評価値を算出し、その評価値を商品の減少量として扱う。
　算出部２０４０がどの尺度で商品の減少量を算出するかは、算出部２０４０に予め定められていてもよいし、算出部２０４０からアクセス可能な記憶装置に記憶されていてもよい。その他に例えば、算出部２０４０は、監視領域１５の基準値がどの尺度で定められているかを示す情報を取得し、基準値と同じ尺度で商品の減少量を算出してもよい。
＜＜３次元カメラを利用して商品の減少量を算出する方法＞＞
　カメラ１０として３次元カメラを利用するとする。３次元カメラを使うと、画像に加え、画像領域ごと（例えば画素ごと）の奥行きを得ることができる。
　そこで算出部２０４０は、基準画像１３における監視領域１５の奥行きと、比較画像１４における監視領域１５の奥行きとを用いて、商品の減少量を算出してもよい。以下、その方法の具体例を説明する。
　図８及び図９は、監視領域１５の奥行きを利用して商品の減少量を算出する方法を説明するための図である。図８（ａ）は、基準画像１３が生成された時点において、監視領域１５に含まれる棚段６０を上方から見た平面図である。
　図８（ｂ）は、図８（ａ）の棚段６０上の奥行きを示すグラフを示す図である。商品が置かれている場所は、奥行きが小さくなっている。そして、商品が置かれている部分の棚段６０の面積は、領域８０の面積となる。
　図９（ａ）は、比較画像１４が生成された時点において、監視領域１５に含まれる棚段６０を上方から見た平面図である。図９（ａ）では、図８（ａ）と比較して、商品が減少している。
　図９（ｂ）は、図９（ａ）の棚段６０上の奥行きを示すグラフを示す。商品が置かれている部分の棚段６０の面積は、領域８２の面積となる。
　ここで、図９（ｂ）の領域８２と図８（ｂ）の領域８０を比較すると、商品が減った分、領域８２の面積の方が領域８０の面積よりも小さくなっている。
　よって、算出部２０４０は、領域８２の面積と領域８０の面積との差分に基づいて、商品の減少量を算出する。
　このように監視領域１５の奥行きを考慮して商品の減少量を算出する方法には、監視領域１５の奥行きを考慮しない場合と比較し、商品の減少量を精度良く算出することができるという利点がある。特に、商品の陳列場所を正面に近い方向から撮像する場合、棚段の上面が撮像画像１２にほとんど写らないおそれがある。しかし、このように商品の陳列場所を正面に近い方向から撮像する場合でも、３次元カメラによって監視領域１５の奥行きを得ることは可能である。よって、商品の陳列場所を正面に近い方向から撮像する場合には、監視領域１５の奥行きを考慮することが特に好適である。
＜＜差分領域の大きさと商品の量との対応付け＞＞
　前述したように、商品の数量や評価値を尺度とする場合、算出部２０４０は、差分領域の大きさに相当する商品の数量や評価値を算出する。そのために、差分領域の大きさと各尺度における商品の量との対応付けを予め定義しておく。例えば、各尺度について、監視領域１５の単位面積（例えば１画素）辺りの商品の量を予め定めておく。
　図１０は、監視領域１５の単位面積当たりの商品の量を種々の尺度で示す図である。図１０のテーブルをテーブル５００と呼ぶ。この例において、画像領域の単位面積は１画素である。テーブル５００は、監視領域ＩＤ５０２、尺度５０４、及び値５０６を有する。監視領域ＩＤ（Identifier）５０２は、監視領域の識別子を示す。尺度５０４は、尺度の名称（個数、容積、重さ、又は価格など）を示す。値５０６は、画像領域の単位面積当たりの商品の量を示す。
　例えばテーブル５００の１行目のレコードは、識別子が 001 である監視領域１５について、単位面積当たりの商品の量が、「価格」という尺度で「0.01 円」であることを示している。また、２行目のレコードは、識別子が 001 である監視領域１５について、監視領域１５の単位面積当たりの商品の量が、「個数」という尺度で「0.05 個」であることを示している。
　テーブル５００は、情報処理装置２０００の内部に記憶されていてもよいし、情報処理装置２０００の外部に記憶されていてもよい。
　なお、撮像画像１２に監視領域１５が１つしか含まれない場合や、監視領域１５の単位面積当たりの商品の量が全ての監視領域１５で共通である場合、テーブル５００は、監視領域ＩＤ５０２を有さなくてもよい。
　また、３次元カメラを利用し、監視領域１５の奥行きに基づいて商品の減少量を算出するケースでは、例えば、監視領域１５の単位面積当たりの商品の量の代わりに、監視領域１５に含まれる棚段の単位面積当たりの商品の量を定義しておく。
　監視領域１５の単位面積当たりの商品の量を設定する方法（テーブル５００のレコードを生成する方法）は様々である。例えば情報処理装置２０００は、情報処理装置２０００のユーザ（監視対象の店舗の店員や監視員など）から、監視領域１５の単位面積当たりの商品の量を指定する入力を受け付ける。ユーザは、各陳列場所にどの商品がどの程度陳列されるかを示す情報を予め得ることが可能である。そこでユーザは、この情報に基づいて、監視領域１５の単位面積当たりの商品の量を手動で入力する。
　この際ユーザは、監視領域１５の単位面積当たりの商品の量の代わりに、監視領域１５に含まれる商品の合計量を入力してもよい。例えば監視領域１５が商品棚の１つの棚段である場合、ユーザは、その棚段に陳列する商品の合計数や合計金額を入力する。この場合、情報処理装置２０００は、入力された商品の量を、監視領域１５の面積で割ることで、監視領域１５の単位面積当たりの商品の量を算出する。
　その他にも例えば、以下の方法で、監視領域１５の単位面積当たりの商品の量を設定してもよい。図１１は、監視領域１５の単位面積当たりの商品の量を設定する方法を例示する図である。設定画面４０は、監視領域１５の単位面積当たりの商品の量を設定するための画面である。
　ユーザは、２つの撮像画像１２－１及び１２－２を指定する入力を行う。例えばユーザは、記憶装置に記憶されている撮像画像１２の中から、撮像画像１２－１及び撮像画像１２－２を指定する。ここでユーザは、撮像画像１２－１と撮像画像１２－２として、監視領域１５における商品の量が互いに異なるものを指定する。
　情報処理装置２０００は、撮像画像１２－１と撮像画像１２－２の差分領域を算出する。そして情報処理装置２０００は、撮像画像１２－１と撮像画像１２－２との間の差分を表す差分領域４２が撮像画像１２－２に重畳された画像である撮像画像１２－３を設定画面４０に表示する。
　ユーザは、差分領域４２に相当する商品の量を、入力エリア４４に入力する。具体的には、まずユーザは、商品の量を表す尺度を選択する。そしてユーザは、選択した尺度で、差分領域４２に相当する商品の量を入力する。例えば図７の例では、尺度として「数量」が選択されている。そこでユーザは、「１個」という個数を入力している。
　情報処理装置２０００は、入力エリア４４に入力された商品の量を、差分領域４２の面積で割ることで、監視領域１５の単位面積当たりの商品の量を算出する。
　なお、撮像画像１２－１と撮像画像１２－２は、陳列場所を監視するためにカメラ１０を動作させることで生成された監視用の撮像画像であってもよいし、設定画面４０で利用するために別途カメラ１０を動作させることで生成された設定用の撮像画像であってもよい。
＜基準値との比較：Ｓ１０６＞
　警告部２０６０は、商品の減少量が基準値以上であるか否かを判定する（Ｓ１０６）。基準値は、商品の減少量を表す尺度と同じ尺度で定められているとする。例えば、商品の減少量が差分領域の大きさで表される場合、基準値は、所定の画素数を示す。その他にも例えば、商品の減少量が商品の数量や評価値を表す場合、基準値は、所定の数量や評価値を示す。
　なお、基準値として商品の評価値を利用する場合、基準値で表される価値よりも大きな価値の商品が無くなった場合に警告が出力されるようになる。よって、警告部２０６０が警告を出すべき盗難の被害の大きさを、盗まれた商品の価値という、人にとって直感的でわかりやすい尺度で表すことができるという利点がある。
　基準値を定める方法は任意である。例えば警告部２０６０は、予め警告部２０６０に固定で設定されている基準値を利用する。その他にも例えば、基準値が記述されている設定ファイルなどを記憶装置から読み出し、その設定ファイルに記述されている基準値を利用してもよい。基準値を定める方法のその他の例については、後述の実施形態で説明する。なお基準値は、例えば、基準画像１３に含まれる商品の量の５０％以下に相当する値であることが好適である。
＜警告の出力：Ｓ１０８＞
　商品の減少量が基準値以上である場合、警告部２０６０は警告を出力する（Ｓ１０８）。ここで、警告部２０６０が警告を出力する方法は様々である。例えば警告部２０６０は、情報処理装置２０００に接続されている出力装置から、警告を出力する。出力装置は、例えばディスプレイ装置やスピーカなどである。
　図１２は、ディスプレイ装置に表示される警告画面３０を例示する図である。警告画面３０には、商品の減少量が基準値以上であると判定された比較画像１４が表示されている。領域３６は、商品の減少量が基準値以上であると判定された監視領域１５を表す。情報３２は、商品の減少量、及びその商品の減少量が基準値を超えていることを通知するメッセージを示す。情報３４は、商品の減少量が基準値以上であると判定された比較画像１４に関する情報を示す。具体的には、情報３４には、比較画像１４の生成時点、比較画像１４を生成したカメラ１０の識別子、及びそのカメラ１０によって監視されている場所が示されている。
　警告画面３０を見ることで、店員や監視員等は、（１）盗難が起こった可能性があること、及び（２）いつ、どこで、どの程度の量の商品が減少したかを容易に把握することができる。
　警告部２０６０から出力される警告は、１つ以上の携帯端末に出力されてもよい。例えばこの携帯端末は、店舗の店員や警備員などが所持する携帯端末である。警告部２０６０から出力された警告を取得した携帯端末は、その携帯端末のディスプレイ装置やスピーカから警告を出力する。例えば携帯端末のディスプレイ装置には、図１２と同様の警告画面が出力される。
［実施形態２］
　図１３は、実施形態２の情報処理装置２０００を例示するブロック図である。下記で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。
　実施形態２の情報処理装置２０００は入力受付部２０８０を有する。入力受付部２０８０は、基準値の入力を受け付ける。なお、撮像画像１２に監視領域１５が複数含まれる場合、入力受付部２０８０は、全ての監視領域に共通する１つの基準値の入力を受け付けてもよいし、監視領域ごとに個別の基準値の入力を受け付けてもよい。
　以下、基準値の入力方法について具体的に説明する。
　図１４は、基準値の入力方法を例示する図である。設定画面２０は、ユーザから基準値の入力を受け付けるための画面である。ウインドウ２２は、基準値を設定する監視領域を指定するためのウインドウである。ウインドウ２４は、指定された監視領域について基準値を入力するウインドウである。
　まずユーザは、ウインドウ２２に表示されている撮像画像１２上の監視領域１５の中から、基準値の入力の対象とする監視領域１５を指定する。例えばユーザは、指定したい監視領域１５に対してタップやクリックなどを行うことで、監視領域１５の指定を行う。ただし、全ての監視領域１５について共通の基準値を設定する場合、監視領域１５を選択できるようにする必要はない。
　またウインドウ２２において、新たな監視領域１５を追加できるようにしてもよい。例えば、ユーザがドラッグなどの操作を行うことで、撮像画像１２上に領域を描けるようにする。そして、描かれた領域を、新たな監視領域１５として追加する。
　ユーザは、指定した監視領域１５について基準値を入力する。入力エリア２６は、基準値の種類（商品の量を表す尺度）を指定するためのエリアである。図１４では「商品の価格」が指定されている。
　入力エリア２８は、指定した尺度で基準値を入力するためのエリアである。図１４では、尺度として商品の価格が指定されているため、「2000円」という価格で基準値が入力されている。
　例えばユーザは、この入力エリア２８にフォーカスが合った状態でキー入力を行うことで、基準値を表す数値を入力する。ただし、基準値の入力方法はキー入力に限定されない。以下、キー入力以外で基準値を入力する方法をいくつか例示する。
　例えば入力受付部２０８０は、監視領域１５の中に領域を描く入力を受け付ける。そして、入力受付部２０８０は、描かれた領域の大きさを用いて基準値を算出する。図１５は、キー入力以外の方法で基準値を入力する方法を例示する第１の図である。図１５において、ユーザは、指定した監視領域１５－１の中に領域１６を描く入力を行う。入力受付部２０８０は、領域１６の大きさを用いて基準値を算出する。
　このように、監視領域１５の中に領域１６を描く方法で基準値を入力する方法には、基準値を直接数値で入力する方法と比較し、基準値を容易かつ直感的に入力できるという利点がある。
　基準値の種類が「面積」である場合、入力受付部２０８０は、領域１６の大きさをそのまま基準値とする。例えば、領域１６の大きさが１万画素であれば、入力受付部２０８０は、「１万画素」を基準値とする。
　基準値の種類が「比率」である場合、入力受付部２０８０は、監視領域１５の大きさに対する領域１６の大きさの比率を基準値とする。例えば、監視領域１５の大きさが３万画素であり、領域１６の大きさが１万画素であるとする。この場合、入力受付部２０８０は、「1/3」を基準値とする。
　基準値の種類が「数量」である場合、入力受付部２０８０は、監視領域１５に含まれる商品の合計数量、監視領域１５の大きさ、及び領域１６の大きさに基づいて、基準値を算出する。例えば、監視領域１５に含まれる商品の合計数量が 30 個であり、監視領域１５の大きさが３万画素であり、領域１６の大きさが１万画素であるとする。この場合、入力受付部２０８０は、30 個の 1/3 である「10 個」を基準値とする。
　なお、監視領域１５に含まれる商品の合計数量は、ユーザによって入力されてもよいし、監視領域１５に対して予め定められていてもよい。また、入力受付部２０８０が、ウインドウ２２に表示されている撮像画像１２の監視領域１５についてオブジェクト認識を行うことで、監視領域１５の中に含まれる商品の合計数量を算出してもよい。
　基準値の種類が「価格」である場合、入力受付部２０８０は、監視領域１５に含まれる商品の価格の合計、監視領域１５の大きさ、及び領域１６の大きさに基づいて、基準値を算出する。例えば、監視領域１５に含まれる商品の価格の合計が 3,000 円であり、監視領域１５の大きさが３万画素であり、領域１６の大きさが１万画素であるとする。この場合、入力受付部２０８０は、3,000 円の 1/3 である「1,000 円」を基準値とする。
　なお、監視領域１５に含まれる商品の価格の合計は、ユーザが入力するようにしてもよいし、監視領域１５に対して予め定められていてもよい。また、入力受付部２０８０が、ウインドウ２２に表示されている撮像画像１２の監視領域１５についてオブジェクト認識を行うことで、監視領域１５の中に含まれる商品の価格の合計を算出してもよい。具体的には、入力受付部２０８０は、監視領域１５についてオブジェクト認識を行うことで、監視領域１５に含まれている商品の識別、及び商品の個数の算出を行う。次に入力受付部２０８０は、商品の価格の情報が記憶されている商品データベースを検索することで、監視領域１５に含まれる商品の単価を取得する。そして算出部２０４０は、取得した単価に商品の個数をかけることで、監視領域１５に含まれる商品の価格の合計を算出する。
＜ハードウエア構成の例＞
　実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
＜作用・効果＞
　本実施形態の情報処理装置２０００は、ユーザから基準値の入力を受け付ける。こうすることで、ユーザが自由に基準値を設定することができる。よって、情報処理装置２０００の利便性が向上する。
［実施形態３］
　図１６は、実施形態３の情報処理装置２０００を例示するブロック図である。下記で説明する事項を除き、実施形態３の情報処理装置２０００は、実施形態１の情報処理装置２０００又は実施形態２の情報処理装置２０００と同様の機能を有する。
　商品が盗まれる場合、犯行が行われている間、その商品の陳列場所が撮像された撮像画像１２に犯人が含まれている可能性が高い。そこで、本実施形態の情報処理装置２０００は、撮像画像１２に人が含まれている期間の前後それぞれに生成された撮像画像１２を比較することで、商品の減少量を算出する。
　実施形態３の情報処理装置２０００は、検出部２１００を有する。検出部２１００は、カメラ１０によって生成された複数の撮像画像１２を用いて、そのカメラ１０の撮像範囲に人が入ったことを検出し、そのカメラ１０の撮像範囲に人が入った時点（以下、第１時点）を算出する。同様に、検出部２１００は、そのカメラ１０によって生成された複数の撮像画像１２を用いて、そのカメラ１０の撮像範囲から人が出たことを検出し、そのカメラ１０の撮像範囲から人が出た時点（以下、第２時点）を算出する。
　そして実施形態３の算出部２０４０は、第１時点又はそれより前に生成された撮像画像１２を、基準画像１３として扱う。また、算出部２０４０は、第２時点又はそれより後に生成された撮像画像１２を、比較画像１４として扱う。
　商品の減少量の算出対象とする撮像画像１２をこのように決定することで、商品が盗まれた可能性が高い状況についてのみ、警告の出力を行うか否かの判定が行われることとなる。よって、商品が盗まれたことを精度良く検出しつつ、情報処理装置２０００の処理量を削減することができるという効果がある。
　なお、カメラによって生成された撮像画像を用いて、或るオブジェクトがそのカメラの撮像範囲に入ったこと、及びそのオブジェクトがそのカメラの撮像範囲から出たことを検出すること自体は、既存のオブジェクト認識技術を利用して実現することができる。
＜ハードウエア構成の例＞
　実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
［実施形態３の変形例］
　検出部２１００は、カメラ１０の撮像範囲に人が入ったことを検出する代わりに、監視領域１５に人が入ったことを検出し、監視領域１５に人が入った時点を第１時点として算出してもよい。この場合、検出部２１００は、カメラ１０の撮像範囲から人が出たことを検出する代わりに、監視領域１５から人が出たことを検出し、監視領域１５から人が出た時点を第２時点として算出する。
　例えば、人がカメラ１０の撮像範囲の端に入った後にすぐ撮像範囲から出た場合など、その人が監視領域１５に入らなかった場合には、商品が盗まれた蓋然性が低いといえる。そこで、変形例の情報処理装置２０００は、監視領域１５に人が入っている期間の前後で商品の減少量を算出する。こうすることで、商品の盗難などを精度良く検出しつつ、情報処理装置２０００の計算量を削減することができる。
　ここで、撮像画像１２に複数の監視領域１５が含まれる場合、或る監視領域１５に人が入っている期間の前後で商品の減少量を算出するのは、その監視領域１５についてのみであってもよいし、全ての監視領域１５についてであってもよい。前者の場合、算出部２０４０は、或る監視領域１５－１に人が入った第１時点に生成された基準画像１３と、その監視領域１５－１から人が出た第２時点に生成された比較画像１４とを用いて、監視領域１５－１についてのみ、商品の減少量を算出する。こうすることで、商品の減少量を算出する対象を少なくすることができるため、情報処理装置２０００の計算量をさらに削減することができる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　商品が陳列されている陳列場所が撮像された第１の撮像画像、及び前記第１の撮像画像よりも後の時点において前記陳列場所が撮像された第２の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出手段と、
　前記算出された減少量が基準値以上である場合に警告を出力する警告手段と、を有する情報処理装置。
２．　各前記撮像画像には前記監視領域が複数設けられており、
　前記基準値が前記監視領域ごとに定められている、１．に記載の情報処理装置。
３．　前記基準値を指定する入力を受け付ける入力受付手段を有する、１．又は２．に記載の情報処理装置。
４．　前記陳列場所が撮像された第３の撮像画像を取得し、前記取得した第３の撮像画像に前記監視領域を表す第１の図形を重畳して、ディスプレイ装置に表示させる表示制御手段を有し、
　前記入力受付手段は、前記ディスプレイ装置に表示された前記第１の図形の中に第２の図形を描画する入力を受け付け、前記第２の図形の大きさに基づいて、前記第１の図形によって表される前記監視領域に対応する前記基準値を決定する、３．に記載の情報処理装置。
５．　前記算出手段は、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
　前記警告手段は、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、１．乃至４．いずれか一つに記載の情報処理装置。
６．　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記カメラの撮像範囲に人が入った第１時点、及び前記カメラの撮像範囲から人が出た第２時点を算出する検出手段を有し、
　前記算出手段は、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、１．乃至５．いずれか一つに記載の情報処理装置。
７．　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記監視領域に人が入った第１時点、及び前記監視領域から人が出た第２時点を算出する検出手段を有し、
　前記算出手段は、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、１．乃至５．いずれか一つに記載の情報処理装置。
８．　前記基準値は、前記第１の撮像画像に含まれる前記商品の量の５０％以下である、１．乃至７．いずれか一つに記載の情報処理装置。
９．　コンピュータによって実行される制御方法であって、
　商品が陳列されている陳列場所が撮像された第１の撮像画像、及び前記第１の撮像画像よりも後の時点において前記陳列場所が撮像された第２の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出ステップと、
　前記算出された減少量が基準値以上である場合に警告を出力する警告ステップと、を有する制御方法。
１０．　各前記撮像画像には前記監視領域が複数設けられており、
　前記基準値が前記監視領域ごとに定められている、９．に記載の制御方法。
１１．　前記基準値を指定する入力を受け付ける入力受付ステップを有する、９．又は１０．に記載の制御方法。
１２．　前記陳列場所が撮像された第３の撮像画像を取得し、前記取得した第３の撮像画像に前記監視領域を表す第１の図形を重畳して、ディスプレイ装置に表示させる表示制御ステップを有し、
　前記入力受付ステップにおいて、前記ディスプレイ装置に表示された前記第１の図形の中に第２の図形を描画する入力を受け付け、前記第２の図形の大きさに基づいて、前記第１の図形によって表される前記監視領域に対応する前記基準値を決定する、１１．に記載の制御方法。
１３．　前記算出ステップにおいて、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
　前記警告ステップにおいて、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、９．乃至１２．いずれか一つに記載の制御方法。
１４．　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記カメラの撮像範囲に人が入った第１時点、及び前記カメラの撮像範囲から人が出た第２時点を算出する検出ステップを有し、
　前記算出ステップにおいて、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、９．乃至１３．いずれか一つに記載の制御方法。
１５．　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記監視領域に人が入った第１時点、及び前記監視領域から人が出た第２時点を算出する検出ステップを有し、
　前記算出ステップにおいて、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、９．乃至１３．いずれか一つに記載の制御方法。
１６．　前記基準値は、前記第１の撮像画像に含まれる前記商品の量の５０％以下である、９．乃至１５．いずれか一つに記載の制御方法。
１７．　９．乃至１５．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Claims (17)

  1. 　商品が陳列されている陳列場所が撮像された第１の撮像画像、及び前記第１の撮像画像よりも後の時点において前記陳列場所が撮像された第２の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出手段と、
    　前記算出された減少量が基準値以上である場合に警告を出力する警告手段と、を有する情報処理装置。
  2. 　各前記撮像画像には前記監視領域が複数設けられており、
    　前記基準値が前記監視領域ごとに定められている、請求項１に記載の情報処理装置。
  3. 　前記基準値を指定する入力を受け付ける入力受付手段を有する、請求項１又は２に記載の情報処理装置。
  4. 　前記陳列場所が撮像された第３の撮像画像を取得し、前記取得した第３の撮像画像に前記監視領域を表す第１の図形を重畳して、ディスプレイ装置に表示させる表示制御手段を有し、
    　前記入力受付手段は、前記ディスプレイ装置に表示された前記第１の図形の中に第２の図形を描画する入力を受け付け、前記第２の図形の大きさに基づいて、前記第１の図形によって表される前記監視領域に対応する前記基準値を決定する、請求項３に記載の情報処理装置。
  5. 　前記算出手段は、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
    　前記警告手段は、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、請求項１乃至４いずれか一項に記載の情報処理装置。
  6. 　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記カメラの撮像範囲に人が入った第１時点、及び前記カメラの撮像範囲から人が出た第２時点を算出する検出手段を有し、
    　前記算出手段は、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、請求項１乃至５いずれか一項に記載の情報処理装置。
  7. 　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記監視領域に人が入った第１時点、及び前記監視領域から人が出た第２時点を算出する検出手段を有し、
    　前記算出手段は、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、請求項１乃至５いずれか一項に記載の情報処理装置。
  8. 　前記基準値は、前記第１の撮像画像に含まれる前記商品の量の５０％以下である、請求項１乃至７いずれか一項に記載の情報処理装置。
  9. 　コンピュータによって実行される制御方法であって、
    　商品が陳列されている陳列場所が撮像された第１の撮像画像、及び前記第１の撮像画像よりも後の時点において前記陳列場所が撮像された第２の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出ステップと、
    　前記算出された減少量が基準値以上である場合に警告を出力する警告ステップと、を有する制御方法。
  10. 　各前記撮像画像には前記監視領域が複数設けられており、
    　前記基準値が前記監視領域ごとに定められている、請求項９に記載の制御方法。
  11. 　前記基準値を指定する入力を受け付ける入力受付ステップを有する、請求項９又は１０に記載の制御方法。
  12. 　前記陳列場所が撮像された第３の撮像画像を取得し、前記取得した第３の撮像画像に前記監視領域を表す第１の図形を重畳して、ディスプレイ装置に表示させる表示制御ステップを有し、
    　前記入力受付ステップにおいて、前記ディスプレイ装置に表示された前記第１の図形の中に第２の図形を描画する入力を受け付け、前記第２の図形の大きさに基づいて、前記第１の図形によって表される前記監視領域に対応する前記基準値を決定する、請求項１１に記載の制御方法。
  13. 　前記算出ステップにおいて、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
    　前記警告ステップにおいて、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、請求項９乃至１２いずれか一項に記載の制御方法。
  14. 　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記カメラの撮像範囲に人が入った第１時点、及び前記カメラの撮像範囲から人が出た第２時点を算出する検出ステップを有し、
    　前記算出ステップにおいて、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、請求項９乃至１３いずれか一項に記載の制御方法。
  15. 　前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記監視領域に人が入った第１時点、及び前記監視領域から人が出た第２時点を算出する検出ステップを有し、
    　前記算出ステップにおいて、前記第１時点又はそれより前に前記カメラによって生成された前記撮像画像を第１の前記撮像画像とし、前記第２時点又はそれより後に前記カメラによって生成された前記撮像画像を第２の前記撮像画像とする、請求項９乃至１３いずれか一項に記載の制御方法。
  16. 　前記基準値は、前記第１の撮像画像に含まれる前記商品の量の５０％以下である、請求項９乃至１５いずれか一項に記載の制御方法。
  17. 　請求項９乃至１５いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2016/086039 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム WO2018104998A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/086039 WO2018104998A1 (ja) 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム
JP2018555333A JP6702434B2 (ja) 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム
US16/466,345 US11140363B2 (en) 2016-12-05 2016-12-05 Information processing apparatus, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086039 WO2018104998A1 (ja) 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018104998A1 true WO2018104998A1 (ja) 2018-06-14

Family

ID=62491498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086039 WO2018104998A1 (ja) 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11140363B2 (ja)
JP (1) JP6702434B2 (ja)
WO (1) WO2018104998A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110889A (ja) * 1993-10-14 1995-04-25 Tec Corp 商品販売登録データ処理装置
US8325036B1 (en) * 2008-11-06 2012-12-04 Target Brands, Inc. In stock analytic monitoring

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581552A (ja) 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US20060282323A1 (en) * 2003-12-08 2006-12-14 Walker Jay S Systems and methods for vending machine jackpots
JP4960501B2 (ja) * 2007-04-24 2012-06-27 フリーダム ショッピング，インコーポレイティド 無線周波数識別による販売時点管理によって、小売取引及びデジタルメディアを援助されずに行うキオスク
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
JP2012174154A (ja) 2011-02-24 2012-09-10 Fujitsu Frontech Ltd 在庫状況管理方法および在庫状況管理装置
US10268983B2 (en) * 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110889A (ja) * 1993-10-14 1995-04-25 Tec Corp 商品販売登録データ処理装置
US8325036B1 (en) * 2008-11-06 2012-12-04 Target Brands, Inc. In stock analytic monitoring

Also Published As

Publication number Publication date
JP6702434B2 (ja) 2020-06-03
JPWO2018104998A1 (ja) 2019-10-24
US20200084417A1 (en) 2020-03-12
US11140363B2 (en) 2021-10-05

Similar Documents

Publication Publication Date Title
US11373408B2 (en) Image processing apparatus, monitoring system, image processing method, and program
US9558398B2 (en) Person behavior analysis device, person behavior analysis system, person behavior analysis method, and monitoring device for detecting a part of interest of a person
JP2020126679A (ja) 陳列状況解析システム、陳列状況解析方法およびプログラム
US10180326B2 (en) Staying state analysis device, staying state analysis system and staying state analysis method
US9794508B2 (en) Monitoring device, monitoring system, and monitoring method
JP5942173B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
CN108476304B (zh) 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视系统以及丢弃物体监视方法
JP6484956B2 (ja) 陳列状況管理方法、陳列状況管理プログラムおよび情報処理装置
JP2017046196A (ja) 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム
CN109961472B (zh) 3d热力图生成的方法、系统、存储介质及电子设备
WO2018235198A1 (ja) 情報処理装置、制御方法、及びプログラム
WO2019021628A1 (ja) 情報処理装置、制御方法、及びプログラム
EP4133404A1 (en) System and method for determining object distance and/or count in a video stream
CN107533783A (zh) 产品登记装置、程序和控制方法
JP6206627B1 (ja) 情報処理装置、制御方法、及びプログラム
JPWO2018074027A1 (ja) 異常検出装置、制御方法、及びプログラム
CN107301373B (zh) 数据处理方法、装置及存储介质
WO2018104998A1 (ja) 情報処理装置、制御方法、及びプログラム
US20230130735A1 (en) Real-time risk tracking
JP2023031766A (ja) セルフレジ監視システム及びセルフレジ監視方法
JP7229698B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110852770B (zh) 数据处理方法、装置、计算设备及显示设备
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
US20200184797A1 (en) Information processing apparatus, control method, and program
JP6863390B2 (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923276

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018555333

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923276

Country of ref document: EP

Kind code of ref document: A1