WO2021090753A1 - 処理装置、処理方法及びプログラム - Google Patents

処理装置、処理方法及びプログラム Download PDF

Info

Publication number
WO2021090753A1
WO2021090753A1 PCT/JP2020/040581 JP2020040581W WO2021090753A1 WO 2021090753 A1 WO2021090753 A1 WO 2021090753A1 JP 2020040581 W JP2020040581 W JP 2020040581W WO 2021090753 A1 WO2021090753 A1 WO 2021090753A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreign matter
region
captured image
matter region
management target
Prior art date
Application number
PCT/JP2020/040581
Other languages
English (en)
French (fr)
Inventor
淳 内村
裕司 田原
莉奈 富田
康代 加増
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021554913A priority Critical patent/JP7476905B2/ja
Priority to US17/771,230 priority patent/US20220366695A1/en
Publication of WO2021090753A1 publication Critical patent/WO2021090753A1/ja
Priority to US18/232,763 priority patent/US20230386210A1/en
Priority to US18/232,760 priority patent/US20230386209A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Definitions

  • the present invention relates to a processing device, a processing method and a program.
  • Patent Document 1 stores the state of the shelves (reference state) after the store clerk organizes the products, and detects the change by comparing the state of the shelves after the customer acts on the shelves with the reference state. , Discloses a device that notifies that it is necessary to organize products on the shelves according to the detection result.
  • Foreign substances include items other than products placed on the product shelves, other products placed in the area where product A is displayed on the product shelves, floors in stores, tables, copy machines, counters, and parking lots in stores. Items that are not related to store management, etc.
  • An object of the present invention is to provide a technique for detecting a foreign substance existing in a managed object related to a store.
  • An acquisition method for acquiring captured images including management targets related to the store, A foreign matter region detecting means for detecting a foreign matter region which is a region where a foreign matter exists in the management target included in the captured image, and a foreign matter region detecting means.
  • a warning means for executing warning processing according to the size of the foreign matter region, and A processing device having the above is provided.
  • the computer Acquire the captured image including the management target related to the store, A foreign matter region, which is a region in which a foreign matter exists in the management target included in the captured image, is detected.
  • a processing method for executing warning processing is provided according to the size of the foreign matter region.
  • Computer Acquisition method for acquiring captured images including management targets related to stores, A foreign matter region detecting means for detecting a foreign matter region, which is a region in which a foreign matter exists in the management target included in the captured image.
  • a warning means that executes warning processing according to the size of the foreign matter region,
  • a program is provided to function as.
  • the present invention it is possible to detect a foreign substance existing in a management target related to a store.
  • FIG. 1 It is a figure which shows an example of the hardware composition of the processing apparatus of this embodiment. It is an example of the functional block diagram of the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment. It is a figure which shows typically an example of the information processed by the processing apparatus of this embodiment.
  • the processing device acquires a photographed image including a management target related to the store.
  • the management target is a target for which detection / removal of foreign matter is desired, and is not limited to, for example, a product display shelf, a floor, a table, a copier, a counter, a parking lot, and the like.
  • the processing device detects a foreign matter region, which is a region in which the foreign matter exists in the management target included in the captured image, and executes warning processing according to the size of the detected foreign matter region.
  • the processing device capable of detecting the foreign matter region in the management target included in the captured image, it is possible to automatically detect the foreign matter existing in the management target by image analysis. Then, since the processing device can perform warning processing according to the size of the detected foreign matter region, it is possible to warn against foreign matter of a negligible size that does not affect the store operation and noise of image data that is not foreign matter in the first place. False warnings based on can be avoided.
  • the functional unit included in the processing device of this embodiment is a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded in the memory, and a storage unit such as a hard disk for storing the program (from the stage of shipping the device in advance).
  • a storage unit such as a hard disk for storing the program (from the stage of shipping the device in advance).
  • it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and any combination of hardware and software centered on the network connection interface. Realized by. And, it is understood by those skilled in the art that there are various modifications of the realization method and the device.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the processing device of the present embodiment.
  • the processing device includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the peripheral circuit 4A does not have to be provided.
  • the processing device may be composed of one physically and / or logically integrated device, or may be composed of a plurality of physically and / or logically separated devices. When composed of a plurality of physically and / or logically separated devices, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuits 4A, and the input / output interface 3A to send and receive data to and from each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, a touch panel, a physical button, a camera, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue commands to each module and perform calculations based on the calculation results thereof.
  • FIG. 2 shows an example of a functional block diagram of the processing device 10.
  • the processing device 10 includes an acquisition unit 11, a foreign matter region detection unit 12, and a warning unit 13.
  • the acquisition unit 11 acquires a photographed image including a management target related to the store.
  • the controlled object is an object for which the detection / removal of foreign matter is desired, and includes at least one of a product display shelf, a floor, a table, a copier, a counter, and a parking lot.
  • the management target may include other targets.
  • the acquisition unit 11 acquires a captured image generated by the camera that captures the management target.
  • the acquisition unit 11 may acquire a captured image after editing the captured image generated by the camera.
  • the editing process can be performed as needed according to the type of camera to be used, the orientation of the installed camera, etc. For example, a projective transformation, a process of expanding an image taken by a fisheye camera in a plane, and the like are exemplified. However, it is not limited to these.
  • the acquisition unit 11 may perform the editing.
  • an external device different from the processing device 10 may perform the editing, and the acquisition unit 11 may acquire the edited captured image.
  • the camera is fixed in place so as to shoot the managed object.
  • the orientation of the camera may also be fixed.
  • the camera may continuously capture moving images, or may capture still images at predetermined timings.
  • a plurality of cameras may be installed, and the acquisition unit 11 may acquire the captured image generated by each of the plurality of cameras, or one camera may be installed and the acquisition unit 11 acquires the captured image generated by the camera. You may.
  • a plurality of cameras are installed, and the acquisition unit 11 acquires captured images generated by each of the plurality of cameras.
  • FIG. 3 schematically shows an example of the photographed image P.
  • the management target is a product display shelf. The situation where the product 101 is displayed on the shelf board 100 is shown.
  • the foreign matter region detection unit 12 detects the foreign matter region in the management target included in the captured image.
  • the foreign matter region is a region where foreign matter is presumed to be present.
  • the foreign matter region detection unit 12 detects as a foreign matter region a region that is different from the designated color in the management target included in the captured image.
  • the foreign matter region detection unit 12 determines whether or not a permitted object exists in the region, and determines that the region different from the designated color in which the permitted object does not exist is a foreign matter region. May be detected as. Then, although the foreign matter region detection unit 12 is a region having a color different from the designated color, it is not necessary to detect the region where it is determined that the permitted object exists as the foreign matter region.
  • the designated color is determined for each management target.
  • the designated color is the color of the shelf board on which the product or thing is placed.
  • the designated color is the floor color.
  • the designated color is the color of the table on which the table objects are placed.
  • the designated color is the color of the upper surface of the copier on which an object may be placed.
  • the designated color is the color of the ground of the parking lot.
  • the processing device 10 may store information indicating an area in the captured image in which the management target exists and information indicating a designated color for each camera. Then, the foreign matter region detection unit 12 may specify a management target in the captured image generated by each camera based on the information, and specify a region having a color different from the designated color in the specified management target. Good.
  • the camera identification information that identifies each camera, the management target information that indicates the area in which the management target exists in the captured image, and the designated color of each management target are associated with each other.
  • the area where the management target exists is shown by specifying the quadrangular area by using the coordinates of the two-dimensional coordinate system defined for the captured image, but this is just an example.
  • the method is not limited to this method. As shown in the figure, there may be one management target in one captured image, or a plurality of management targets in one captured image. Which one will be used depends on how the camera is installed.
  • one color may be designated pinpointly, or it may be designated with a certain width.
  • a permit is an object that is permitted to exist in the management target.
  • the permit is a product.
  • the management target is a product display shelf, the permitted items may be set for each display area.
  • the permit is a product displayed in each display area. That is, the product A displayed in the display area A is a permitted item in the display area A, but is not a permitted item in the display area B.
  • the permitted items are deliveries that are temporarily placed on the floor.
  • the permitted items are goods, customer's luggage, and the like.
  • the permitted items are the customer's luggage, copy paper, and the like. If the management target is a parking lot, the permitted items are automobiles, motorcycles, and the like.
  • the processing device 10 may store information indicating a permitted object for each camera. Then, the foreign matter region detection unit 12 may grasp the permitted object in the management target included in the captured image generated by each camera based on the information.
  • the processing device 10 may store information indicating a permitted object for each camera. Then, the foreign matter region detection unit 12 may grasp the permitted object in the management target included in the captured image generated by each camera based on the information.
  • one management target is classified into a plurality of areas (plurality of display areas) like a product display shelf and a permit is specified for each area, as in the example of the camera identification information "C001" shown in the figure.
  • an estimation model for estimating an article type eg, rice ball, lunch box, automobile, motorcycle, customer's luggage, etc.
  • the foreign matter region detection unit 12 estimates the type of article existing in the region by inputting an image of the region having a color different from the designated color into the estimation model, and based on the estimation result, uses a color different from the designated color. It may be determined whether or not a permit exists in a certain area.
  • collation processing is performed between the image (template image) of the permitted object registered in the processing device 10 in advance for each display area and the image of the area having a color different from the designated color.
  • template matching etc.
  • the warning unit 13 executes warning processing according to the size of the foreign matter region detected by the foreign matter region detection unit 12. Specifically, the warning unit 13 executes a warning process when the size of the foreign matter region detected by the foreign matter region detecting unit 12 is equal to or larger than the reference value. In addition, the warning unit 13 determines whether or not the size is equal to or larger than the reference value for each foreign matter region that is a mass. That is, when a plurality of foreign matter regions separated from each other are detected, the warning unit 13 determines whether the size of each foreign matter region is equal to or larger than the reference value.
  • the reference value can be indicated by, for example, the number of pixels, but is not limited to this.
  • the reference value may be the same value for all captured images. However, for the following reasons, a reference value may be set for each camera that generated the captured image, and for each region in the captured image.
  • the size of foreign matter that needs to be removed may differ depending on the management target. For example, in the case of product display shelves, it is desirable to remove relatively small foreign substances in order to maintain a high level of cleanliness. On the other hand, in the case of parking lots, floors, etc., the level of cleanliness required is lower than that of product display shelves. For this reason, it may be permissible to leave relatively small foreign substances as they are, in balance with the burden on workers. Further, among the product display shelves, the required level of cleanliness may differ depending on the type of product to be displayed (eg, food, miscellaneous goods, books, etc.). In this way, the size of the foreign matter that needs to be removed may differ even within the same controlled object.
  • the type of product to be displayed eg, food, miscellaneous goods, books, etc.
  • the size in the captured image may differ depending on the orientation of the camera, the distance between the camera and the subject, and the like.
  • the processing device 10 may store information for which a reference value is set for each camera. Then, the warning unit 13 may determine a reference value based on the camera that generated the captured image including the detected foreign matter region, and determine whether the size of the detected foreign matter region is equal to or larger than the determined reference value. ..
  • the processing device 10 may store information in which a reference value is set for each position in the captured image. Then, the warning unit 13 may determine a reference value based on the position of the detected foreign matter region in the captured image, and may determine whether the size of the detected foreign matter region is equal to or larger than the determined reference value.
  • the warning process may be a process of notifying a predetermined user that a foreign substance has been detected by real-time processing in response to the detection by the foreign substance area detection unit 12.
  • the warning process accumulates information indicating a foreign matter area whose size is equal to or larger than the reference value, and is accumulated up to that point at a predetermined timing (eg, every hour, when a user has entered a browsing input, etc.).
  • It may be a process of notifying a predetermined user of the information (eg, transmitting a predetermined information to a predetermined terminal device).
  • the notification to the user may be the output of information via an output device such as a display, a projection device, or a speaker, the transmission of information via a mailer, or the like, or on an application or a web page.
  • Information may be displayed, a warning lamp may be lit, or the like, or the like.
  • the information output in the process of notifying the user may include a captured image in which a foreign matter region whose size is equal to or larger than the reference value is detected. Further, it may further include information for highlighting a foreign matter region whose size is equal to or larger than the reference value with a frame or the like. An example is shown in FIG. In the illustrated example, in the photographed image showing the product display shelf (managed object), the foreign matter region 103 whose detected size is equal to or larger than the reference value is highlighted by surrounding it with a frame 102.
  • the captured image generated before the captured image is generated by the camera that generated the captured image (eg, the frame image immediately before, the frame image several frames before, etc.). May be output together. This makes it easy to compare the state in which the foreign matter is present and the state in which the foreign matter is not present.
  • the information output in the process of notifying the user may include information indicating an instruction to the worker (eg, foreign matter removal, notification to a predetermined user, etc.).
  • the foreign matter region detection unit 12 performs a process of detecting a foreign matter region, which is a region in which a foreign matter exists in the management target included in the captured image (S11).
  • FIG. 10 shows an example of the flow of processing for detecting a foreign matter region in S11.
  • the foreign matter region detection unit 12 detects a region of the management target included in the captured image that is different from the designated color (S21). For example, the foreign body region detection unit 12 identifies the management target in the captured image and designates the management target based on the information shown in FIG. 4 and the information for identifying the camera that generated the acquired captured image. Identify the color. Then, the foreign matter region detection unit 12 detects a region having a color different from the designated color specified in the specified management target.
  • the foreign matter region detection unit 12 determines that there is no foreign matter region (S28).
  • the foreign matter region detection unit 12 classifies the detected region into a group of regions and designates one of them (Yes). S23). Then, the foreign matter region detection unit 12 determines whether or not the permitted object exists in the designated region (S24). For example, the foreign matter region detection unit 12 corresponds to the designated region based on the information shown in FIG. 5, the information for identifying the camera that generated the acquired captured image, the position of the designated region in the captured image, and the like. Identify the permit. Then, the foreign matter region detection unit 12 determines whether or not the permitted object exists in the designated region by using the method using the estimation model described above, template matching, or the like.
  • the foreign matter region detection unit 12 determines that the designated region is not a foreign matter region (S26). On the other hand, when it is determined that the permitted object does not exist (No in S24), the foreign matter region detection unit 12 determines that the designated region is a foreign matter region (S25).
  • the processing apparatus 10 ends the processing.
  • the warning unit 13 determines whether the size of the detected foreign matter region is equal to or larger than the reference value (S13). For example, the warning unit 13 determines a reference value based on the information shown in FIG. 6 or 7, information for identifying the camera that generated the acquired captured image, the position of the detected foreign matter region in the captured image, and the like. .. Then, the warning unit 13 determines whether the size of the detected foreign matter region is equal to or larger than the determined reference value.
  • the warning unit 13 executes a warning process. Since the details of the warning process are as described above, the description here will be omitted.
  • the processing apparatus 10 ends the processing.
  • the processing device 10 capable of detecting the foreign matter region in the management target included in the captured image
  • the foreign matter existing in the management target can be automatically detected by the image analysis.
  • the processing device 10 performs warning processing when the size of the detected foreign matter region is equal to or larger than the reference value, and does not perform warning processing when the size of the detected foreign matter region is less than the reference value. It is possible to avoid warnings about foreign substances that do not affect the operation and can be ignored, and false warnings based on noise of image data that is not foreign substances in the first place.
  • each management target or each predetermined area within the management target (example: display area of the product display shelf).
  • an appropriate reference value can be set according to, for example, the required cleanliness.
  • the reference value can be set for each camera or for each position in the captured image according to the orientation of the camera and the distance between the camera and the subject, the desired size is set regardless of the orientation of the camera and the distance between the camera and the subject. It is possible to detect more foreign substances with high accuracy.
  • the designated color can be specified and the region having a color different from the designated color can be detected as the foreign matter region, the computer burden of the process of detecting the foreign matter region can be relatively lightened.
  • the permitted object can be determined in advance and the area where the permitted object does not exist can be detected as a foreign substance area, the inconvenience of detecting an object whose existence in the management target does not matter as a foreign substance can be avoided.
  • the processing device 10 of the present embodiment differs from the first embodiment in the content of the process of detecting the foreign matter region by the foreign matter region detecting unit 12.
  • the foreign matter region detection unit 12 detects a region in which an object exists in the management target included in the captured image based on a well-known object detection technique. After that, the foreign matter region detection unit 12 determines whether or not the permitted object exists in the region where the object exists. Specifically, the foreign matter region detection unit 12 determines whether or not the detected object is a permitted object based on the characteristics of the appearance of the detected object and the permitted object. The determination is realized by the same method as "determination of whether or not a permitted object exists in a region having a color different from the designated color" described in the first embodiment. Then, the foreign matter region detection unit 12 detects the region (the region where the object exists) determined that the permitted object does not exist as the foreign matter region. On the other hand, the foreign matter region detection unit 12 does not detect the region (the region where the object exists) determined to have the permitted object as the foreign matter region.
  • FIG. 11 shows an example of the flow of processing for detecting a foreign matter region in S11.
  • the foreign matter region detection unit 12 performs a process of detecting an object in the management target included in the captured image based on an arbitrary object detection technique (S31). For example, the foreign matter region detection unit 12 identifies the management target in the captured image based on the information shown in FIG. 12 and the information that identifies the camera that generated the acquired captured image. Then, the foreign matter region detection unit 12 detects an object in the specified management target based on an arbitrary object detection technique.
  • S31 arbitrary object detection technique
  • the foreign matter region detection unit 12 determines that there is no foreign matter region (S38).
  • the foreign matter region detection unit 12 designates one of the detected objects (S33). Then, the foreign matter region detection unit 12 determines whether or not the permitted object exists in the region where the designated object exists (S34). For example, the foreign matter region detection unit 12 is designated based on the information shown in FIG. 5, the information for identifying the camera that generated the acquired captured image, the position in the captured image of the region where the designated object exists, and the like. Identify the permit corresponding to the object. Then, the foreign matter region detection unit 12 determines whether or not the permitted object exists in the region where the designated object exists by using the method using the above-mentioned estimation model, template matching, or the like.
  • the foreign matter region detection unit 12 determines that the region in which the designated object exists is not the foreign matter region (S36). On the other hand, when it is determined that the permitted object does not exist (No in S34), the foreign matter region detection unit 12 determines that the region in which the designated object exists is the foreign matter region (S35).
  • the operation and effect of the processing device 10 of the present embodiment will be described. According to the processing device 10 of the present embodiment, the same effects as those of the processing device 10 of the first embodiment are realized. In addition, since pre-registration of the designated color is not required, the processing load is reduced accordingly.
  • acquisition means “the own device goes to retrieve the data stored in another device or storage medium” based on the user input or the instruction of the program (active). Acquisition) ”, for example, requesting or inquiring about another device to receive the data, accessing another device or a storage medium to read the data, and the like. Further, “acquisition” means “inputting data output from another device to the own device (passive acquisition)” based on user input or program instruction, for example, distribution (or distribution (or). , Transmission, push notification, etc.) may be included. In addition, “acquisition” means to select and acquire from received data or information, and “edit data (text conversion, data sorting, partial data extraction, file format change, etc.)". It may include “to generate new data and acquire the new data”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明は、店舗に関連する管理対象を含む撮影画像を取得する取得部（１１）と、撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出部（１２）と、異物領域の大きさに応じて、警告処理を実行する警告部（１３）と、を有する処理装置（１０）を提供する。

Description

処理装置、処理方法及びプログラム
　本発明は、処理装置、処理方法及びプログラムに関する。
　特許文献１は、店員が商品整理した後の棚の状態（基準状態）を記憶しておき、客が棚に対して行動した後の棚の状態と基準状態とを比較して変化を検出し、検出結果に応じて棚の商品整理が必要となった旨を通知する装置を開示している。
特開２０１６－８１３６４号公報
　売上向上、安全確保等の観点から、店内に存在する異物を早期に検出し、それを取り除くことが望まれる。特に、近年検討されている無人店舗や省人店舗においては、店員が存在しなかったり店員の数が少なかったりするので、異物検出が遅れたり、異物の存在に気付かない等という不都合が発生し得る。なお、異物は、商品棚に置かれた商品以外の物や、商品棚の商品Ａを陳列する領域に置かれた他の商品や、店内の床、テーブル、コピー機、カウンター、店舗の駐車場等に置かれた店舗運営に関係ないもの等が挙げられる。
　本発明は、店舗に関連する管理対象に存在する異物を検出する技術を提供することを課題とする。
　本発明によれば、
　店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
　前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
　前記異物領域の大きさに応じて、警告処理を実行する警告手段と、
を有する処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　　店舗に関連する管理対象を含む撮影画像を取得し、
　　前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
　　前記異物領域の大きさに応じて、警告処理を実行する処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　　店舗に関連する管理対象を含む撮影画像を取得する取得手段、
　　前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
　　前記異物領域の大きさに応じて、警告処理を実行する警告手段、
として機能させるプログラムが提供される。
　本発明によれば、店舗に関連する管理対象に存在する異物を検出することが可能となる。
本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
＜第１の実施形態＞
　まず、本実施形態の処理装置の概要を説明する。処理装置は、店舗に関連する管理対象を含む撮影画像を取得する。管理対象は、異物の検出／除去が望まれる対象であり、例えば商品の陳列棚、床、テーブル、コピー機、カウンター、駐車場等であるが、これらに限定されない。そして、処理装置は、撮影画像に含まれる管理対象において異物が存在する領域である異物領域を検出し、検出した異物領域の大きさに応じて、警告処理を実行する。
　このように、撮影画像に含まれる管理対象において異物領域を検出することができる処理装置によれば、管理対象に存在する異物を画像解析で自動的に検出することが可能となる。そして、処理装置は、検出した異物領域の大きさに応じて警告処理を行うことができるので、店舗運営に影響しない無視してよい大きさの異物に対する警告や、そもそも異物でない画像データのノイズに基づく誤った警告を回避することができる。
　次に、処理装置のハードウエア構成の一例を説明する。本実施形態の処理装置が備える機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａは有さなくてもよい。なお、処理装置は物理的及び／又は論理的に一体となった１つの装置で構成されてもよいし、物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　次に、処理装置の機能構成を説明する。図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、異物領域検出部１２と、警告部１３とを有する。
　取得部１１は、店舗に関連する管理対象を含む撮影画像を取得する。管理対象は、異物の検出／除去が望まれる対象であり、商品の陳列棚、床、テーブル、コピー機、カウンター及び駐車場の中の少なくとも１つを含む。なお、管理対象はその他の対象を含んでもよい。
　取得部１１は、管理対象を撮影するカメラが生成した撮影画像を取得する。なお、取得部１１は、当該カメラが生成した撮影画像に対して編集処理を行った後の撮影画像を取得してもよい。編集処理は、利用するカメラの種類や設置したカメラの向き等に応じ必要に応じて行うことが可能であり、例えば、射影変換や、魚眼カメラで撮影した画像を平面展開する処理等が例示されるがこれらに限定されない。取得部１１が当該編集を行ってもよい。その他、処理装置１０と異なる外部装置が当該編集を行い、取得部１１は編集後の撮影画像を取得してもよい。
　カメラは、管理対象を撮影するように所定位置に固定されている。なお、カメラの向きも固定されていてもよい。カメラは動画像を連続的に撮影してもよいし、所定のタイミングで静止画像を撮影してもよい。また、複数のカメラが設置され、取得部１１は複数のカメラ各々が生成した撮影画像を取得してもよいし、１つのカメラが設置され、取得部１１はそのカメラが生成した撮影画像を取得してもよい。本実施形態は、複数のカメラが設置され、取得部１１は複数のカメラ各々が生成した撮影画像を取得するものとする。
　図３に、撮影画像Ｐの一例を模式的に示す。当該例の場合、管理対象は商品の陳列棚である。棚板１００の上に商品１０１が陳列されている状況が示されている。
　図２に戻り、異物領域検出部１２は、撮影画像に含まれる管理対象において異物領域を検出する。異物領域は、異物が存在すると推定される領域である。
　異物領域検出部１２は、撮影画像に含まれる管理対象において指定色と異なる色である領域を異物領域として検出する。なお、異物領域検出部１２は、指定色と異なる色である領域を検出した場合、その領域に許可物が存在するか判断し、許可物が存在しないと判断した指定色と異なる領域を異物領域として検出してもよい。そして、異物領域検出部１２は、指定色と異なる色の領域であるが、許可物が存在すると判断された領域を、異物領域として検出しなくてもよい。
　指定色は、管理対象毎に定められる。例えば、管理対象が商品の陳列棚である場合、指定色は、商品や物が置かれる棚板の色となる。また、管理対象が床である場合、指定色は、床の色となる。また、管理対象がテーブルである場合、指定色は、テーブルの物が置かれる台の色となる。また、管理対象がコピー機である場合、指定色は、物が置かれる可能性があるコピー機の上面の色となる。また、管理対象が駐車場である場合、指定色は、駐車場の地面の色となる。
　例えば、処理装置１０は、図４に示すように、カメラ毎に撮影画像内の管理対象が存在する領域を示す情報、及び、指定色を示す情報を記憶していてもよい。そして、異物領域検出部１２は、当該情報に基づき、各カメラが生成した撮影画像内で管理対象を特定し、特定した管理対象内で指定色と異なる色となっている領域を特定してもよい。図４に示す例では、各カメラを識別するカメラ識別情報と、撮影画像内の管理対象が存在する領域を示す管理対象情報と、各管理対象の指定色とが互いに紐付けられている。図示する管理対象情報の例では、撮影画像に対して定められた２次元座標系の座標を利用して四角形の領域を特定することで、管理対象が存在する領域を示しているが、あくまで一例であり当該手法に限定されない。図示するように、１つの撮影画像内に１つの管理対象が存在する場合もあれば、１つの撮影画像内に複数の管理対象が存在する場合もある。いずれになるかは、カメラの設置の仕方次第である。
　管理対象の指定色は、ピンポイントで１つの色を指定してもよいし、一定の幅を持たせて指定してもよい。
　許可物は、管理対象に存在することが許可される物体である。例えば、管理対象が商品の陳列棚である場合、許可物は商品である。なお、管理対象が商品の陳列棚である場合、許可物は陳列エリア毎に定められてもよい。この場合、許可物は各陳列エリアに陳列される商品である。すなわち、陳列エリアＡに陳列される商品Ａは、陳列エリアＡにおいては許可物であるが、陳列エリアＢにおいては許可物でない。
　また、管理対象が床である場合、許可物は、床に一時的に配置される配送物等である。また、管理対象がテーブルである場合、許可物は、商品や客の荷物等である。また、管理対象がコピー機である場合、許可物は、客の荷物やコピー用紙等である。また、管理対象が駐車場である場合、許可物は、自動車や二輪車等である。
　例えば、処理装置１０は、図５に示すように、カメラ毎に許可物を示す情報を記憶していてもよい。そして、異物領域検出部１２は、当該情報に基づき、各カメラが生成した撮影画像に含まれる管理対象における許可物を把握してもよい。なお、商品の陳列棚のように、１つの管理対象を複数の領域（複数の陳列エリア）に分類し、領域毎に許可物を指定する場合、図示するカメラ識別情報「Ｃ００１」の例のように、撮影画像内で領域を指定し、指定した領域毎に許可物を紐付けて記録することができる。
　指定色と異なる色である領域に許可物が存在するか否かの判断手法は特段制限されず、あらゆる画像解析処理を利用することができる。例えば、機械学習により、画像から、物品種別（例：おにぎり、弁当、自動車、二輪車、客の荷物等）を推定する推定モデルが予め生成されていてもよい。そして、異物領域検出部１２は、指定色と異なる色である領域の画像を当該推定モデルに入力することで当該領域に存在する物品種別を推定し、推定結果に基づき、指定色と異なる色である領域に許可物が存在するか否かを判断してもよい。
　その他、管理対象が商品の陳列棚である場合、陳列エリア毎に予め処理装置１０に登録されている許可物の画像（テンプレート画像）と、指定色と異なる色である領域の画像との照合処理（テンプレートマッチング等）により、指定色と異なる色である領域に許可物が存在するか否かを判断してもよい。
　図２に戻り、警告部１３は、異物領域検出部１２により検出された異物領域の大きさに応じて、警告処理を実行する。具体的には、警告部１３は、異物領域検出部１２により検出された異物領域の大きさが基準値以上である場合、警告処理を実行する。なお、警告部１３は、一塊となっている異物領域毎に、大きさが基準値以上であるか判断する。すなわち、互いに離れた複数の異物領域が検出された場合、警告部１３は、異物領域毎に大きさが基準値以上であるか判断する。
　基準値は、例えば画素数で示すことができるが、これに限定されない。
　なお、基準値は全ての撮影画像に対して一律同じ値であってもよい。しかし、以下の理由から、撮影画像を生成したカメラ毎に、さらには撮影画像内の領域毎に、基準値が定められてもよい。
　管理対象毎に除去する必要がある異物の大きさは異なり得る。例えば、商品の陳列棚の場合、清潔さを高いレベルで維持するため、比較的小さい異物も除去することが望まれる。一方、駐車場や床等の場合、商品の陳列棚に比べて清潔さの要求レベルが低くなる。このため、労働者負担とのバランスをとり、比較的小さい異物はそのまま放置することが許容される場合がある。また、商品の陳列棚の中でも、陳列する商品の種類（例：食品、雑貨、本等）に応じて清潔さの要求レベルが異なり得る。このように、同一の管理対象の中でも、除去する必要がある異物の大きさは異なり得る。
　また、同一の異物であっても、カメラの向きやカメラと被写体との距離等に応じて、撮影画像内での大きさは異なり得る。
　撮影画像を生成したカメラ毎に、さらには撮影画像内の領域毎に基準値を定めることで、不要な警告処理を回避し、適切な警告処理のみを行うことが可能となる。
　例えば、処理装置１０は、図６に示すように、カメラ毎に基準値を定めた情報を記憶しておいてもよい。そして、警告部１３は、検出された異物領域を含む撮影画像を生成したカメラに基づき基準値を決定し、検出された異物領域の大きさが決定した基準値以上であるか判断してもよい。
　また、処理装置１０は、図７に示すように、撮影画像内の位置毎に基準値を定めた情報を記憶しておいてもよい。そして、警告部１３は、検出された異物領域の撮影画像内の位置に基づき基準値を決定し、検出された異物領域の大きさが決定した基準値以上であるか判断してもよい。
　警告処理は、異物領域検出部１２による検出に応じて、リアルタイム処理で、異物を検出した旨を所定のユーザに通知する処理であってもよい。その他、警告処理は、大きさが基準値以上である異物領域を示す情報を蓄積し、所定のタイミング（例：１時間毎、ユーザからの閲覧入力があったタイミング等）でそれまでに蓄積された情報を所定のユーザに通知（例：所定の端末装置に所定の情報を送信）する処理であってもよい。ユーザへの通知は、ディスプレイ、投影装置、スピーカ等の出力装置を介した情報の出力であってもよいし、メーラ等を介した情報の送信であってもよいし、アプリやウェブページ上での情報の表示であってもよいし、警告ランプの点灯等であってもよいし、その他であってもよい。
　ユーザに通知する処理で出力される情報は、大きさが基準値以上である異物領域を検出した撮影画像を含んでもよい。また、大きさが基準値以上である異物領域を枠等で強調表示する情報をさらに含んでもよい。図８に一例を示す。図示する例では、商品の陳列棚（管理対象）を示す撮影画像において、検出した大きさが基準値以上である異物領域１０３を枠１０２で囲んで強調表示している。
　また、異物領域を検出した撮影画像に加えて、その撮影画像を生成したカメラが、その撮影画像を生成する前に生成した撮影画像（例：直前のフレーム画像、数フレーム前のフレーム画像等）を合わせて出力してもよい。これにより、異物が存在する状態と、異物が存在しない状態との比較が容易になる。
　また、ユーザに通知する処理で出力される情報は、作業者への指示（例：異物除去、所定のユーザへの通知等）を示す情報が含まれてもよい。
　次に、図９及び図１０のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　取得部１１が撮影画像を取得すると、図９に示す処理が実行される。まず、異物領域検出部１２は、撮影画像に含まれる管理対象において異物が存在する領域である異物領域を検出する処理を行う（Ｓ１１）。
　図１０は、Ｓ１１の異物領域を検出する処理の流れの一例を示す。まず、異物領域検出部１２は、撮影画像に含まれる管理対象において指定色と異なる色である領域を検出する（Ｓ２１）。例えば、異物領域検出部１２は、図４に示す情報、及び、取得された撮影画像を生成したカメラを識別する情報に基づき、撮影画像の中の管理対象を特定するとともに、その管理対象の指定色を特定する。そして、異物領域検出部１２は、特定した管理対象において特定した指定色と異なる色である領域を検出する。
　指定色と異なる色である領域が検出されなかった場合（Ｓ２２のＮｏ）、異物領域検出部１２は、異物領域はないと判定する（Ｓ２８）。
　一方、指定色と異なる色である領域が検出された場合（Ｓ２２のＹｅｓ）、異物領域検出部１２は、検出された領域を一塊の領域毎に分類し、その中から１つを指定する（Ｓ２３）。そして、異物領域検出部１２は、指定した領域に許可物が存在するか判断する（Ｓ２４）。例えば、異物領域検出部１２は、図５に示す情報、取得された撮影画像を生成したカメラを識別する情報、指定された領域の撮影画像内の位置等に基づき、指定された領域に対応する許可物を特定する。そして、異物領域検出部１２は、上述した推定モデルを利用する手法や、テンプレートマッチング等を利用して、指定した領域に許可物が存在するか判断する。
　許可物が存在すると判定した場合（Ｓ２４のＹｅｓ）、異物領域検出部１２は、指定した領域は異物領域でないと判定する（Ｓ２６）。一方、許可物が存在しないと判定した場合（Ｓ２４のＮｏ）、異物領域検出部１２は、指定した領域は異物領域であると判定する（Ｓ２５）。
　そして、Ｓ２３で指定していない領域が残っている場合（Ｓ２７のＹｅｓ）、Ｓ２３に戻って同様の処理を繰り返す。
　図９に戻り、Ｓ１１の処理で異物領域が検出されなかった場合（Ｓ１２のＮｏ）、処理装置１０は処理を終了する。一方、Ｓ１１の処理で異物領域が検出された場合（Ｓ１２のＹｅｓ）、警告部１３は、検出された異物領域の大きさが基準値以上であるか判定する（Ｓ１３）。例えば、警告部１３は、図６又は図７に示す情報、取得された撮影画像を生成したカメラを識別する情報、検出された異物領域の撮影画像内の位置等に基づき、基準値を決定する。そして、警告部１３は、検出された異物領域の大きさが決定した基準値以上であるか判定する。
　検出された異物領域の中に大きさが基準値以上であるものが含まれる場合（Ｓ１３のＹｅｓ）、警告部１３は、警告処理を実行する。警告処理の詳細は上述の通りであるので、ここでの説明は省略する。一方、検出された異物領域の中に大きさが基準値以上のものが含まれない場合（Ｓ１３のＮｏ）、処理装置１０は処理を終了する。
　次に、本実施形態の処理装置１０の作用効果を説明する。撮影画像に含まれる管理対象において異物領域を検出することができる処理装置１０によれば、管理対象に存在する異物を画像解析で自動的に検出することが可能となる。そして、処理装置１０は、検出した異物領域の大きさが基準値以上である場合に警告処理を行い、検出した異物領域の大きさが基準値未満である場合に警告処理を行わないので、店舗運営に影響しない無視してよい異物に対する警告や、そもそも異物でない画像データのノイズに基づく誤った警告を回避することができる。
　また、処理装置１０によれば、上記基準値をカメラ毎や撮影画像内の位置毎に設定できるので、管理対象毎や、管理対象内の所定のエリア毎（例：商品の陳列棚の陳列エリア毎）に、例えば要求される清潔さ等に応じて適切な基準値を設定することができる。結果、適切に異物を検出して取り除きつつ、不要に多くの警告を発して労働者の負担（例：異物確認／除去作業）が増大する不都合を回避することができる。
　また、カメラの向きやカメラと被写体との距離等に応じてカメラ毎や撮影画像内の位置毎に基準値を設定できるので、カメラの向きやカメラと被写体との距離に関わらず、所望の大きさ以上の異物を精度よく検出することが可能となる。
　また、指定色を指定しておき、指定色と異なる色である領域を異物領域として検出することができるので、異物領域を検出する処理のコンピュータ負担を比較的軽くすることができる。
　また、予め許可物を定めておき、許可物が存在しない領域を異物領域として検出できるので、管理対象に存在することが問題でない物体を異物として検出する不都合を回避できる。
＜第２の実施形態＞
　本実施形態の処理装置１０は、異物領域検出部１２による異物領域を検出する処理の内容が、第１の実施形態と異なる。
　具体的には、異物領域検出部１２は、周知の物体検出技術に基づき撮影画像に含まれる管理対象において物体が存在する領域を検出する。その後、異物領域検出部１２は、物体が存在する領域に許可物が存在するか判断する。具体的には、異物領域検出部１２は、検出した物体及び許可物の外観の特徴に基づき、検出した物体が許可物か否かを判断する。当該判断は、第１の実施形態で説明した「指定色と異なる色である領域に許可物が存在するか否かの判断」と同様の手法で実現される。そして、異物領域検出部１２は、許可物が存在しないと判断した領域（物体が存在する領域）を異物領域として検出する。一方、異物領域検出部１２は、許可物が存在すると判断した領域（物体が存在する領域）を異物領域として検出しない。
　次に、図９及び図１１のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　取得部１１が撮影画像を取得すると、図９に示す処理が実行される。図９に示す処理は第１の実施形態で説明した通りであるので、ここでの説明は省略する。
　図１１は、Ｓ１１の異物領域を検出する処理の流れの一例を示す。まず、異物領域検出部１２は、任意の物体検出技術に基づき、撮影画像に含まれる管理対象において物体を検出する処理を行う（Ｓ３１）。例えば、異物領域検出部１２は、図１２に示す情報、及び、取得された撮影画像を生成したカメラを識別する情報に基づき、撮影画像の中の管理対象を特定する。そして、異物領域検出部１２は、任意の物体検出技術に基づき、特定した管理対象において物体を検出する。
　物体が検出されなかった場合（Ｓ３２のＮｏ）、異物領域検出部１２は、異物領域はないと判定する（Ｓ３８）。
　一方、物体が検出された場合（Ｓ３２のＹｅｓ）、異物領域検出部１２は、検出された物体の中から１つを指定する（Ｓ３３）。そして、異物領域検出部１２は、指定した物体が存在する領域に許可物が存在するか判断する（Ｓ３４）。例えば、異物領域検出部１２は、図５に示す情報、取得された撮影画像を生成したカメラを識別する情報、指定された物体が存在する領域の撮影画像内の位置等に基づき、指定された物体に対応する許可物を特定する。そして、異物領域検出部１２は、上述した推定モデルを利用する手法や、テンプレートマッチング等を利用して、指定された物体が存在する領域に許可物が存在するか判断する。
　許可物が存在すると判定した場合（Ｓ３４のＹｅｓ）、異物領域検出部１２は、指定した物体が存在する領域は異物領域でないと判定する（Ｓ３６）。一方、許可物が存在しないと判定した場合（Ｓ３４のＮｏ）、異物領域検出部１２は、指定した物体が存在する領域は異物領域であると判定する（Ｓ３５）。
　そして、Ｓ３３で指定していない領域が残っている場合（Ｓ３７のＹｅｓ）、Ｓ３３に戻って同様の処理を繰り返す。
　処理装置１０のその他の構成は、第１の実施形態と同様である。
　次に、本実施形態の処理装置１０の作用効果を説明する。本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、指定色の事前登録などが不要となるので、その分の処理負担が軽減される。
　なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１９年１１月５日に出願された日本出願特願２０１９－２００５９０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１Ａ　　プロセッサ
　２Ａ　　メモリ
　３Ａ　　入出力Ｉ／Ｆ
　４Ａ　　周辺回路
　５Ａ　　バス
　１０　　処理装置
　１１　　取得部
　１２　　異物領域検出部
　１３　　警告部
　１００　棚板
　１０１　商品
　１０２　枠
　１０３　異物領域

Claims (11)

  1. 　店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
    　前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
    　前記異物領域の大きさに応じて、警告処理を実行する警告手段と、
    を有する処理装置。
  2. 　前記警告手段は、前記異物領域の大きさが基準値以上である場合、前記警告処理を実行する請求項１に記載の処理装置。
  3. 　前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において指定色と異なる色である領域を前記異物領域として検出する請求項１又は２に記載の処理装置。
  4. 　前記異物領域検出手段は、前記指定色と異なる色である領域に許可物が存在するか判断し、前記許可物が存在しないと判断した前記指定色と異なる領域を前記異物領域として検出する請求項３に記載の処理装置。
  5. 　前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において物体が存在する領域を検出した後、前記物体が存在する領域に許可物が存在するか判断し、前記許可物が存在しないと判断した前記物体が存在する領域を前記異物領域として検出する請求項１又は２に記載の処理装置。
  6. 　前記管理対象は商品の陳列棚であり、
    　前記許可物は、前記陳列棚に陳列される商品である請求項４又は５に記載の処理装置。
  7. 　前記許可物は、前記陳列棚の陳列エリア毎に定められている請求項６に記載の処理装置。
  8. 　前記取得手段は、所定位置に固定されたカメラが生成した前記撮影画像を取得し、
    　前記基準値は、前記撮影画像内の位置毎に定められており、
    　前記警告手段は、検出された前記異物領域の前記撮影画像内の位置に基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する請求項１から７のいずれか１項に記載の処理装置。
  9. 　前記取得手段は、所定位置に固定された複数のカメラが生成した前記撮影画像を取得し、
    　前記基準値は、前記カメラ毎に定められており、
    　前記警告手段は、検出された前記異物領域を含む前記撮影画像を生成した前記カメラに基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する請求項１から８のいずれか１項に記載の処理装置。
  10. 　コンピュータが、
    　　店舗に関連する管理対象を含む撮影画像を取得し、
    　　前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
    　　前記異物領域の大きさに応じて、警告処理を実行する処理方法。
  11. 　コンピュータを、
    　　店舗に関連する管理対象を含む撮影画像を取得する取得手段、
    　　前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
    　　前記異物領域の大きさに応じて、警告処理を実行する警告手段、
    として機能させるプログラム。
PCT/JP2020/040581 2019-11-05 2020-10-29 処理装置、処理方法及びプログラム WO2021090753A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021554913A JP7476905B2 (ja) 2019-11-05 2020-10-29 処理装置、処理方法及びプログラム
US17/771,230 US20220366695A1 (en) 2019-11-05 2020-10-29 Processing device, processing method, and non-transitory storage medium
US18/232,763 US20230386210A1 (en) 2019-11-05 2023-08-10 Processing device, processing method, and non-transitory storage medium
US18/232,760 US20230386209A1 (en) 2019-11-05 2023-08-10 Processing device, processing method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019200590 2019-11-05
JP2019-200590 2019-11-05

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US17/771,230 A-371-Of-International US20220366695A1 (en) 2019-11-05 2020-10-29 Processing device, processing method, and non-transitory storage medium
US18/232,763 Continuation US20230386210A1 (en) 2019-11-05 2023-08-10 Processing device, processing method, and non-transitory storage medium
US18/232,760 Continuation US20230386209A1 (en) 2019-11-05 2023-08-10 Processing device, processing method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2021090753A1 true WO2021090753A1 (ja) 2021-05-14

Family

ID=75848247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040581 WO2021090753A1 (ja) 2019-11-05 2020-10-29 処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (3) US20220366695A1 (ja)
JP (1) JP7476905B2 (ja)
WO (1) WO2021090753A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005399A (ja) * 2006-06-26 2008-01-10 Matsushita Electric Ind Co Ltd 放置物検出装置及び放置物検出方法
JP2017182653A (ja) * 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2018133042A (ja) * 2017-02-17 2018-08-23 セコム株式会社 放置物検出装置
JP2018151819A (ja) * 2017-03-13 2018-09-27 日本電気株式会社 管理装置、管理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005399A (ja) * 2006-06-26 2008-01-10 Matsushita Electric Ind Co Ltd 放置物検出装置及び放置物検出方法
JP2017182653A (ja) * 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2018133042A (ja) * 2017-02-17 2018-08-23 セコム株式会社 放置物検出装置
JP2018151819A (ja) * 2017-03-13 2018-09-27 日本電気株式会社 管理装置、管理方法及びプログラム

Also Published As

Publication number Publication date
US20230386210A1 (en) 2023-11-30
US20230386209A1 (en) 2023-11-30
US20220366695A1 (en) 2022-11-17
JP7476905B2 (ja) 2024-05-01
JPWO2021090753A1 (ja) 2021-05-14

Similar Documents

Publication Publication Date Title
US20140003655A1 (en) Method, apparatus and system for providing image data to represent inventory
TWI578272B (zh) Shelf detection system and method
JP2018041261A (ja) 情報処理装置及びプログラム
JP6147676B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5826801B2 (ja) 商品認識装置及び商品認識プログラム
WO2016158438A1 (ja) 検品処理装置及び方法、及びプログラム
JP2021168151A (ja) 処理システム、処理方法及びプログラム
JP2022017307A (ja) 管理装置及び管理方法
WO2021090753A1 (ja) 処理装置、処理方法及びプログラム
JP7038328B2 (ja) 物品管理システム及び物品管理方法
WO2020179480A1 (ja) 物品推定装置、物品推定方法、及びプログラム
JP7070654B2 (ja) 登録装置、登録方法及びプログラム
JP7405144B2 (ja) 処理装置、処理方法及びプログラム
JP5529982B2 (ja) 情報処理装置
US20230070529A1 (en) Processing apparatus, processing method, and non-transitory storage medium
JP2021107989A (ja) 情報処理装置、情報処理方法、プログラム
JPWO2019181033A1 (ja) 登録システム、登録方法及びプログラム
WO2021214986A1 (ja) 処理装置、処理方法及びプログラム
JP7020538B2 (ja) 会計装置、会計システム、商品識別方法、およびプログラム
WO2021033285A1 (ja) 処理装置、処理方法及びプログラム
JP7435021B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021245813A1 (ja) 処理装置、処理方法及びプログラム
JP7380869B2 (ja) 処理装置、前処理装置、処理方法、及び前処理方法
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
US20200342518A1 (en) Item recognition and presention within images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883882

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554913

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883882

Country of ref document: EP

Kind code of ref document: A1