WO2017163282A1 - 監視装置及び監視システム - Google Patents

監視装置及び監視システム Download PDF

Info

Publication number
WO2017163282A1
WO2017163282A1 PCT/JP2016/004148 JP2016004148W WO2017163282A1 WO 2017163282 A1 WO2017163282 A1 WO 2017163282A1 JP 2016004148 W JP2016004148 W JP 2016004148W WO 2017163282 A1 WO2017163282 A1 WO 2017163282A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
time
person
monitoring
video
Prior art date
Application number
PCT/JP2016/004148
Other languages
English (en)
French (fr)
Inventor
伊藤　智祥
秦　秀彦
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2018506503A priority Critical patent/JP6688975B2/ja
Priority to EP16895322.2A priority patent/EP3435665A4/en
Publication of WO2017163282A1 publication Critical patent/WO2017163282A1/ja
Priority to US16/139,527 priority patent/US10863142B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a monitoring device and a monitoring system for identifying a person reflected in a camera and tracking the identified person.
  • Patent Document 1 discloses a monitoring system including a plurality of monitoring cameras.
  • the surveillance camera extracts feature information of the object shown in the video and transmits the feature information to other surveillance cameras.
  • a plurality of monitoring cameras can cooperate to track and monitor an object having the same feature information.
  • This disclosure provides a monitoring device and a monitoring system effective for accurately tracking an object.
  • a monitoring apparatus is a monitoring apparatus that identifies an object from videos captured by a plurality of cameras having a predetermined positional relationship including a first camera and a second camera, and receives videos from the plurality of cameras.
  • a storage unit that stores feature information that represents the feature of the object, camera placement information that represents the placement position of the camera, and a control unit that identifies the object from the video based on the feature information.
  • the control unit can identify an object that can be identified from the video captured by the first camera but cannot be identified from the video captured by the second camera, based on the camera arrangement information. It is specified in the shot video.
  • the monitoring device and the monitoring system according to the present disclosure are effective for accurately tracking an object.
  • FIG. 1 is a block diagram showing a configuration of a monitoring system according to a first embodiment.
  • 7 is a flowchart for explaining an operation of calculating a moving time between a person identification and a monitoring camera in the first embodiment.
  • (A) is a figure for demonstrating the feature extraction of a person
  • (b) is a figure which shows an example of the feature information table in Embodiment 1.
  • FIG. FIG. 5 is a diagram illustrating an example of a shooting time information table according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a camera arrangement information table according to the first embodiment. 6 is a flowchart for explaining an operation for correcting a shooting time information table according to the first embodiment.
  • FIG. The figure for demonstrating scoring of distribution of the number of people who move between the some surveillance cameras in other embodiment
  • Embodiment 1 will be described with reference to the drawings. In this embodiment, even if a situation occurs in which a feature of an object cannot be extracted from a part of a plurality of monitoring cameras, a monitoring system effective for tracking the object is provided.
  • FIG. 1 shows the configuration of the monitoring system of the first embodiment.
  • the monitoring system 100 uses a plurality of monitoring cameras 1 (monitoring cameras a, b, c, and d) and images captured by the plurality of monitoring cameras 1, and identifies a person shown in the images. And a monitoring device 2 for identifying and tracking.
  • monitoring cameras 1 monitoring cameras a, b, c, and d
  • images captured by the plurality of monitoring cameras 1 and identifies a person shown in the images.
  • a monitoring device 2 for identifying and tracking.
  • Each monitoring camera 1 includes a photographing unit 11 that photographs a video, and a transmission unit 12 that transmits the video photographed by the photographing unit 11 to the monitoring device 2.
  • the photographing unit 11 can be realized by a CCD image sensor, a CMOS image sensor, an NMOS image sensor, or the like.
  • the transmission unit 12 includes an interface circuit for performing communication with an external device in compliance with a predetermined communication standard (for example, LAN, WiFi).
  • the monitoring device 2 includes a receiving unit 21 that receives the video from each monitoring camera 1, a video storage unit 22a that stores the received video, and an object shown in the video stored in the video storage unit 22a (this embodiment) And a control unit 23 that identifies the person) and tracks the identified object.
  • the receiving unit 21 includes an interface circuit for performing communication with an external device in accordance with a predetermined communication standard (for example, LAN, WiFi).
  • the control unit 23 can be realized by a semiconductor element or the like.
  • the function of the control unit 23 may be configured only by hardware, or may be realized by combining hardware and software.
  • the control unit 23 can be configured by, for example, a microcomputer, CPU, MPU, DSP, FPGA, and ASIC.
  • the control unit 23 includes a recognition unit 23a for identifying an object shown in the video stored in the video storage unit 22a.
  • the recognizing unit 23a extracts the feature of the object shown in the video stored in the video storage unit 22a, generates feature information representing the feature, and the target having the extracted feature is sent to the monitoring camera 1.
  • Shooting time information representing the time zone being shown is generated.
  • the feature information and the shooting time information are recognition information obtained by recognizing an object.
  • the monitoring device 2 further includes a recognition information storage unit 22b that stores a feature information table T1 and a shooting time information table T2, and a camera placement information storage unit 22c that stores a camera placement information table T3.
  • the feature information table T1 includes feature information of the object generated by the recognition unit 23a.
  • the shooting time information table T2 includes shooting time information generated by the recognition unit 23a.
  • the camera arrangement information table T3 includes information representing the arrangement position of the monitoring camera 1 and the time taken for the object to move between the monitoring cameras.
  • the control unit 23 further calculates a time required for the movement between the monitoring cameras based on the photographing time information table T2, and updates the camera arrangement information table T3.
  • the feature information table T1 A recognition information correction unit 23c that corrects the shooting time information table T2 based on the camera arrangement information table T3.
  • the recognition information correction unit 23c identifies the monitoring camera 1 where the object is to be reflected, determines whether or not the object is reflected in the identified monitoring camera 1, and displays the identified image.
  • the time zone in which the subject that is not reflected is supposed to appear in the surveillance camera 1 is calculated (estimated).
  • one of the object candidates displayed on the monitoring camera 1 in the calculated (estimated) time zone is specified as the object determined not to be displayed, and the photographing time information table T2 is corrected.
  • the video storage unit 22a, the recognition information storage unit 22b, and the camera arrangement information storage unit 22c are the same or separate storage units that can be realized by, for example, a DRAM, a ferroelectric memory, a flash memory, or a magnetic disk.
  • the monitoring device 2 further has a display unit 24.
  • the display unit 24 can display the video stored in the video storage unit 22a, the feature information table T1, and the shooting time information table T2.
  • the display unit 23 can be realized by a liquid crystal display or the like.
  • FIG. 2 the example of arrangement
  • positioning of the surveillance camera 1 is shown.
  • the surveillance camera 1 is provided in a store, for example.
  • the four surveillance cameras 1 (surveillance cameras a, b, c, d) are arranged in different places.
  • the monitoring cameras a, b, and c are arranged in the order of the traveling direction (the direction from the left side to the right side in FIG. 2).
  • the number of surveillance cameras 1 and their locations are merely examples, and can be arbitrarily changed.
  • Each of the monitoring cameras 1 transmits the video imaged by the imaging unit 11 from the transmission unit 12 to the monitoring device 2.
  • the transmitted video is stored in the video storage unit 22a of the monitoring device 2.
  • FIG. 3 shows a process of identifying a person and calculating a moving distance between the monitoring cameras by the control unit 23.
  • the control unit 23 performs the person identification process shown in FIG. 3 at a predetermined timing.
  • the predetermined timing may be when the user instructs the monitoring device 2 or may be every predetermined time (for example, 24 hours).
  • the monitoring camera 1 captures a person who has moved in the traveling direction indicated by the arrow in FIG. 2 will be described as an example.
  • the recognition unit 23a reads the video stored in the video storage unit 22a, and extracts the characteristics of the person shown in the video (S301). For example, the recognizing unit 23a sequentially analyzes the video from the video of the monitoring camera a. The recognition unit 23a extracts, for example, the shape, color, size, or position of a part of the face as the feature of the person.
  • FIG. 4A shows an example of person feature extraction
  • FIG. 4B shows an example of the feature information table T1.
  • the recognizing unit 23a as the characteristics of a person, for example, as shown in FIG. 4A, the distance between both eyes (distance between “I-II”) and the distance between one eye and the nose (“II-III”). ”Is extracted, and feature information 41 including the extracted feature (distance) is added to the feature information table T1 as shown in FIG.
  • the recognizing unit 23a determines whether or not the feature information 41 indicating the feature that matches the extracted feature already exists in the feature information table T1 (S302).
  • the identification information (ID) for identifying the person is generated, and the generated identification information and the characteristics of the person (the distance between “I-II” and “II-III” are generated.
  • the feature information 41 including the distance between them is added to the feature information table T1 (S303).
  • the recognizing unit 23a generates shooting time information indicating when the person is shown on which monitoring camera 1, and adds the shooting time information to the shooting time information table T2 (S304).
  • FIG. 5 shows an example of the shooting time information table T2.
  • the shooting time information 51 includes the identification information (ID) of the person, the identification information of the monitoring camera 1 that shot the person, the time when the person started to appear on the monitoring camera 1 (IN time), and the time when the reflection ends (OUT time). ).
  • the recognizing unit 23a determines whether or not the reading of the images from all the monitoring cameras 1 has been completed (S305). If the reading has not been completed, the processing of steps S301 to S304 is performed for the remaining monitoring camera 1 images. repeat.
  • the moving time information updating unit 23b updates the camera arrangement information table T3 based on the shooting time information table T2 generated by the recognizing unit 23a.
  • FIG. 6 shows an example of the camera arrangement information table T3.
  • the camera arrangement information table T3 includes arrangement information 61 indicating the arrangement position of the monitoring camera 1 and movement time information 62 indicating the time taken for movement between the monitoring cameras 1.
  • the arrangement information 61 is identification information of “current camera (current)” and “next camera (next)” that appears when a person travels along the movement path (in the traveling direction indicated by the arrow in FIG. 2). including.
  • the arrangement information 61 is input in advance.
  • the movement time information 62 includes information on the shortest time and the longest time required for movement from the “current camera” to the “next camera”.
  • the movement time information update unit 23b updates the shortest time and the longest time in the camera arrangement information table T3 based on the IN time and the OUT time in the photographing time information table T2.
  • the travel time information updating unit 23b may update the travel time information 62 in the camera arrangement information table T3 periodically without being limited to the timing of step S306.
  • the person can be identified by extracting the characteristics of the person from the video photographed by the monitoring camera 1, and when the person identified by referring to the photographing time information table T2 appears in which monitoring camera 1. You can recognize what happened. Accordingly, it is possible to track a person using the images of the plurality of monitoring cameras 1.
  • monitoring cameras 1 for example, monitoring cameras a, b, c
  • the person from some monitoring cameras 1 cannot be extracted, and the tracking of the person may be interrupted.
  • the same person is extracted using the camera arrangement information table T3, and the photographing time information table T2 is corrected.
  • FIG. 7 shows a process of correcting the photographing time information table T2 by the recognition information correcting unit 23c.
  • the recognition information correction unit 23c reads out the photographing time information table T2 and rearranges them in the descending order of the number of person entries (S701).
  • FIG. 8 shows the photographing time information table T2 after rearrangement.
  • the recognition information correction unit 23c extracts one person in descending order of the number of entries (S702), and refers to the camera arrangement information table T3 to check whether or not the shooting time information 51 is missing for the extracted person. (S703). Whether or not the shooting time information 51 is missing is confirmed by referring to the arrangement information 61 in the camera arrangement information table T3 and specifying the monitoring camera 1 where a person should appear.
  • the recognition information correction unit 23c can determine that it should be reflected on the monitoring camera b before being displayed on the monitoring camera c. That is, when there is the shooting time information 51 of the monitoring camera c, the monitoring camera b is specified as the monitoring camera 1 that should appear, and the presence or absence of the shooting time information 51 of the monitoring camera b is confirmed. In this way, it is determined whether or not the shooting time information 51 is missing.
  • the recognition information correcting unit 23c refers to the photographing time information table T2 and the camera arrangement information table T3 and is reflected in the monitoring camera 1 in which the photographing time information 51 is missing.
  • An estimated time zone is estimated (calculated) (S705). For example, as shown in FIG. 8, for the person B, the shooting time information 51 of the monitoring camera b is missing.
  • the recognition information correction unit 23c outputs the OUT time (10:19) of the monitoring camera a of the person B in the shooting time information table T2 and the shortest time required for the movement from the monitoring camera a to the monitoring camera b in the camera arrangement information table T3.
  • a time zone (10:29 to 10:31) at which the person B starts to appear on the monitoring camera b is estimated.
  • the recognition information correcting unit 23c is related to the IN time (10:41) of the monitoring camera c of the person B in the shooting time information table T2 and the movement from the monitoring camera b to the monitoring camera c in the camera arrangement information table T3. From the shortest time (5 minutes) and the longest time (6 minutes), the time period (10:35 to 10:36) at which the person B finishes appearing on the surveillance camera b is estimated.
  • the recognition information correction unit 23c extracts a person appearing in the estimated time zone from the shooting time information table T2 (S706).
  • the IN time (10:31) of the monitoring camera b of the person E is included in the estimated start time zone (between 10:29 and 10:31) and Since the OUT time (10:36) of the monitoring camera b is included in the estimated end time zone (between 10:35 and 10:36), the recognition information correction unit 23c extracts the person E. .
  • the recognition information correction unit 23c extracts the shooting time information 51 from the missing persons. If the extracted person is one, it is determined that the person (person E) is the same person (person B), and the photographing time information table T2 is corrected.
  • the identification information of the person B is recorded in “corrected person identification information (ID)” for the person E.
  • the recognition information correcting unit 23c determines that the person with the closest feature information 41 is the same person based on the feature information table T1, and the shooting time information table T2 is corrected (S707).
  • the recognition information correcting unit 23c displays the shooting time information table T2 on the display unit 24 ( S709). The user can confirm the tracking of the person photographed by the plurality of monitoring cameras 1 by referring to the corrected photographing time information table T2 displayed on the display unit 24.
  • the recognition information correction unit 23c compensates for the lack of the shooting time information 51 by using the feature information table T1, the shooting time information table T2, and the camera arrangement information table T3.
  • the recognition information correction unit 23c corrects the shooting time information 51 of the monitoring camera b for the person B by correcting the person E as the person B as shown in FIG.
  • the control unit 23 can track the person B from the images shot in the order of the monitoring camera a, the monitoring camera b, and the monitoring camera c with reference to the corrected shooting time information table T2. Become.
  • the monitoring device 2 of the present embodiment was photographed by the plurality of monitoring cameras 1 including the first camera (monitoring camera c) and the second camera (monitoring camera b) and having a predetermined positional relationship.
  • a monitoring device for identifying an object from video a receiving unit 21 for receiving video from a plurality of monitoring cameras 1, a recognition information storage unit 22b for storing characteristic information 41 representing characteristics of the target, and a camera arrangement
  • a camera arrangement information storage unit 22c that stores arrangement information 61 representing a position; and a control unit 23 that identifies an object from the video based on the feature information 41.
  • the recognition information correction unit 23c of the control unit 23 includes Based on the arrangement information 61, an object that could be identified from the video captured by the first camera (monitoring camera c) but could not be identified from the video captured by the second camera (monitoring camera b) Second mosquito Identified in image photographed by the La (surveillance cameras b). As described above, since the object that cannot be identified by the feature information 41 is specified using the arrangement information 61, the object can be accurately tracked.
  • the movement time information update unit 23b of the control unit 23 calculates the movement time of the person between the first camera and the second camera, the calculated movement time, and the time when the object is photographed by the first camera. Based on the above, the time zone in which the object passes through the shooting area of the second camera is calculated, and the object is specified in the video shot by the second camera in the calculated time zone. Specifically, shooting time information 51 representing a time zone in which each object identified based on the feature information 41 is reflected in the monitoring camera 1 is generated, and between the monitoring cameras 1 based on the generated shooting time information 51 Calculate the time taken to move.
  • control unit 23 identifies the monitoring camera 1 on which each object should appear based on the arrangement information 61, and when the object is not reflected on the identified monitoring camera 1, the calculated movement between the monitoring cameras Based on the time it takes, the time zone in which the object that is not shown is supposed to appear in the specified surveillance camera 1 is estimated, and the shooting time information 51 is referred to, and the subject is reflected in the specified surveillance camera 1 in the estimated time zone. It identifies that the other target object is not reflected, and rewrites the shooting time information 51. Thus, even if the feature information 41 does not match and the shooting time information 51 is missing, the missing information is obtained by referring to the camera placement information table T3 including the placement information 61 and the travel time information 62.
  • the generated shooting time information 51 can be supplemented. Therefore, the feature information 41 of the object (person) acquired from the video of some monitoring cameras 1 is not acquired from the video of other monitoring cameras 1, but is different from that of other monitoring cameras 1. Even when it is recognized as an object (person), it can be re-recognized as the same object (person) by referring to the camera arrangement information table T3. Therefore, it is possible to accurately track the object (person).
  • the control unit 23 selects two or more target object candidates based on the feature information 41. One of them is identified as an object. Thereby, even when two or more target object candidates are shown in the video, it is possible to accurately specify the target object determined not to be shown from the target object candidates.
  • control unit 23 extracts the feature of the object from the video received by the receiving unit 21, generates the feature information 41, and stores it in the recognition information storage unit 22b. Thereby, even when a feature of a target object is newly extracted, the target object can be identified and tracked.
  • the monitoring system 100 represents a plurality of monitoring cameras 1 including a first camera and a second camera and having a predetermined positional relationship, feature information 41 representing features of an object, and an arrangement position of the monitoring camera 1.
  • a second camera that has an arrangement information 61, and based on the feature information 41, the object can be identified from the images photographed by the plurality of surveillance cameras 1 and can be identified from the images photographed by the first camera.
  • a monitoring device 2 that identifies an object that could not be identified from the video imaged in (2) based on the arrangement information 61 in the video imaged by the second camera.
  • an object person
  • the monitoring system 100 is also useful for simulating a change in the flow line and analyzing the value of the store area.
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like have been made as appropriate.
  • the recognition information correction unit 23c refers to the shooting time information table T2 and the camera arrangement information table T3, and the lower time of the time zone in which the person B starts to appear on the monitoring camera b (10:29)
  • the person shown in the surveillance camera b is extracted in any time zone (for example, 10:32 to 10:35) from the time until the upper limit time (10:36) (S706).
  • a first predetermined time for example, 3 minutes is further determined from the lower limit time (10:29) of the estimated start time zone of the projection.
  • the second predetermined time (for example, 3 minutes) is added to the upper limit time (10:36) of the estimated end time of the projection, and a new time zone (10:26 to 10:39) is subtracted. Minutes) and is reflected in the monitoring camera b in any time zone (for example, 10: 28-10: 34) in the new time zone (10: 26-10: 39) A person may be extracted.
  • the most similar person may be extracted from a plurality of persons according to the sum of the similarity degree based on the feature information 41 and the appearance degree based on the probability distribution of the time required for movement between the monitoring cameras.
  • a case will be described below in which the person A cannot be detected from the video of the monitoring camera b in FIG. 2 and the person A is searched from the persons B, C, and D shown on the monitoring camera b.
  • the similarity S f (A, x) based on the feature information and the appearances S ab (t 1 ), S bc (t 2 ) based on the probability distribution of the time required for movement between the monitoring cameras are functionalized.
  • the person whose total value (total score) S (A, x) represented by the following formula (1) satisfies the predetermined condition is the person A.
  • the person with the highest total value S (A, x) is determined as person A.
  • S (A, x) S f (A, x) + ⁇ S ab (t 1 ) + ⁇ S bc (t 2 )
  • X is person B, C, D
  • S f (A, x) is the similarity between the feature information of person A and the feature information of person x)
  • ⁇ and ⁇ are predetermined weighting coefficients
  • T 1 is the time from when the person A appears on the surveillance camera a until the person x appears on the surveillance camera b
  • T 2 is the time from appearing in person x surveillance cameras b, to the person A is reflected in surveillance camera c
  • S ab (t) is the degree of appearance based on the time taken to move from the surveillance camera a to the surveillance camera b and the appearance frequency distribution of the person
  • S bc (t) is the degree of appearance based on the time taken to move from the surveillance camera b to the surveillance camera c and the appearance frequency distribution of the person)
  • FIG. 9A shows an example of the appearance degree S ab (t).
  • the degree of appearance S ab (t) is determined for each time period from when the person no longer appears on the monitoring camera a until the person starts to appear on the monitoring camera b (ie, the time taken to move from the monitoring camera a to the monitoring camera b). This is a function of the distribution of appearance frequencies.
  • FIG. 9B shows an example of the appearance degree S bc (t).
  • the degree of appearance S bc (t) is determined for each time period from when the person stops appearing on the monitoring camera b until the person starts to appear on the monitoring camera c (that is, the time taken to move from the monitoring camera b to the monitoring camera c). This is a function of the distribution of appearance frequencies.
  • the recognition information correction unit 23c refers to the shooting time information table T2, calculates the appearance frequency of the person for each time required for movement between the monitoring cameras, and calculates the time required for the movement between the monitoring cameras and the calculated appearance frequency of the person. Based on the above, the function S ab (t) and S bc (t) of the appearance degree as shown in FIG. 9A and FIG. 9B are generated.
  • FIG. 10 shows an example in which the numerical value of the total value S (A, x) represented by the above formula (1) is obtained by the numerical values of S f (A, x), t 1 , and t 2 , respectively.
  • the total value S (A, x) of the person D is the highest, the person D is determined to be the person A.
  • the functions S ab (t) and S bc (t) may change depending on the person, the time zone, the store situation, and the like.
  • the functions S ab (t) and S bc (t) may be generated for each time zone based on the current time (9:00 to 10:00, etc.).
  • the recognition information correction unit 23c determines that the person (person B) from which the shooting time information 51 is missing is estimated.
  • the feature information 41 with the person (person E) shown in the band may be compared. If the feature information 41 is not similar, the recognition information correction unit 23c determines that the person (person E) who is reflected in the estimated time zone is the person (person B) from which the shooting time information 51 is missing. It is not necessary to correct the photographing time information table T2 by determining that the person is another person.
  • the monitoring system 100 of the present disclosure can be realized by cooperating with hardware resources such as a processor, a memory, and a program.
  • the present disclosure is applicable to a monitoring apparatus that tracks a target object using a plurality of monitoring cameras and a monitoring system having the monitoring apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

精度良く対象物を追跡するのに有効な監視装置及び監視システムを提供する。監視装置（２）は、第一及び第二のカメラを含み所定の位置関係を有する複数のカメラ（１）によって撮影された映像から対象物を識別する監視装置であって、複数のカメラから映像を受信する受信部（２１）と、対象物の特徴を表す特徴情報と、カメラの配置位置を表すカメラ配置情報とを格納する記憶部（２２ｂ，２２ｃ）と、特徴情報に基づいて映像から対象物を識別する制御部（２３）と、を備え、制御部（２３）は、第一のカメラで撮影された映像から識別できたが、第二のカメラで撮影された映像から識別できなかった対象物を、カメラ配置情報に基づいて、第二のカメラで撮影された映像において特定する。

Description

監視装置及び監視システム
　本開示は、カメラに映っている人物を識別して、識別した人物を追跡するための監視装置及び監視システムに関する。
　特許文献１は、複数の監視カメラを備えた監視システムを開示する。この監視システムにおいて、監視カメラは映像に映った対象物の特徴情報を抽出して、その特徴情報を他の監視カメラに伝送する。これにより、複数の監視カメラが連携して、同一の特徴情報を持つ対象物を追跡して監視することを可能にしている。
特開２００３－３２４７２０号公報
　本開示は、精度良く対象物を追跡するのに有効な監視装置及び監視システムを提供する。
　本開示にかかる監視装置は、第一及び第二のカメラを含み所定の位置関係を有する複数のカメラによって撮影された映像から対象物を識別する監視装置であって、複数のカメラから映像を受信する受信部と、対象物の特徴を表す特徴情報と、カメラの配置位置を表すカメラ配置情報とを格納する記憶部と、特徴情報に基づいて映像から対象物を識別する制御部と、を備え、制御部は、第一のカメラで撮影された映像から識別できたが、第二のカメラで撮影された映像から識別できなかった対象物を、カメラ配置情報に基づいて、第二のカメラで撮影された映像において特定する。
　本開示における監視装置及び監視システムは、精度良く対象物を追跡するのに有効である。
実施形態１の監視システムの構成を示すブロック図 実施形態１における複数の監視カメラの配置例を示す図 実施形態１における人物の識別と監視カメラ間の移動時間の算出の動作を説明するためのフローチャート （ａ）は人物の特徴抽出を説明するための図、（ｂ）は実施形態１における特徴情報テーブルの一例を示す図 実施形態１における撮影時刻情報テーブルの一例を示す図 実施形態１におけるカメラ配置情報テーブルの一例を示す図 実施形態１における撮影時刻情報テーブルの修正の動作を説明するためのフローチャート 実施形態１における撮影時刻情報の修正を説明するための図 他の実施形態における複数の監視カメラ間を移動する人数の分布のスコア化を説明するための図 他の実施形態における人物の類似度に基づく候補者選択を説明するための図
　以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施形態１）
　実施形態１について、図面を用いて説明する。本実施形態において、複数の監視カメラのうちの一部において対象物の特徴を抽出できない状況が生じても、その対象物を追跡するのに有効な監視システムを提供する。
［１．構成］
　図１は、実施形態１の監視システムの構成を示している。本実施形態の監視システム１００は、複数の監視カメラ１（監視カメラａ，ｂ，ｃ，ｄ）と、複数の監視カメラ１で撮影された映像を使用して、その映像に映っている人物を識別して追跡する監視装置２とを含む。
　各監視カメラ１は、それぞれ、映像を撮影する撮影部１１と、撮影部１１が撮影した映像を監視装置２に送信する送信部１２とを有する。撮影部１１は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどで実現できる。送信部１２は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
　監視装置２は、各監視カメラ１からの映像を受信する受信部２１と、受信した映像を格納する映像蓄積部２２ａと、映像蓄積部２２ａに蓄積された映像に映っている対象物（本実施形態において、人物）を識別して、識別した対象物を追跡する制御部２３と、を有する。受信部２１は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
　制御部２３は、半導体素子などで実現可能である。制御部２３の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２３は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。
　制御部２３は、映像蓄積部２２ａに蓄積された映像に映っている対象物を識別する認識部２３ａを含む。認識部２３ａは、映像蓄積部２２ａに蓄積された映像に映っている対象物の特徴を抽出して、その特徴を表す特徴情報を生成すると共に、抽出した特徴を持つ対象物が監視カメラ１に映っている時間帯を表す撮影時刻情報を生成する。特徴情報と撮影時刻情報は、対象物を認識することによって得られる認識情報である。
　監視装置２は、さらに、特徴情報テーブルＴ１と撮影時刻情報テーブルＴ２を格納する認識情報蓄積部２２ｂと、カメラ配置情報テーブルＴ３を格納するカメラ配置情報蓄積部２２ｃと、を有する。特徴情報テーブルＴ１は、認識部２３ａによって生成された対象物の特徴情報を含む。撮影時刻情報テーブルＴ２は、認識部２３ａによって生成された撮影時刻情報を含む。カメラ配置情報テーブルＴ３は、監視カメラ１の配置位置と、対象物が監視カメラ間の移動にかかる時間とを表す情報を含む。
　制御部２３は、さらに、撮影時刻情報テーブルＴ２に基づいて、監視カメラ間の移動にかかる時間を算出して、カメラ配置情報テーブルＴ３を更新する移動時間情報更新部２３ｂと、特徴情報テーブルＴ１とカメラ配置情報テーブルＴ３とに基づいて撮影時刻情報テーブルＴ２を修正する認識情報修正部２３ｃとを有する。認識情報修正部２３ｃは、カメラ配置情報テーブルＴ３に基づいて、対象物が映るはずの監視カメラ１を特定し、特定した監視カメラ１に対象物が映っているか否かを判断し、特定した映るはずの監視カメラ１に対象物が映っていないと判断した場合に、監視カメラ間の移動にかかる時間に基づいて、映っていない対象物が監視カメラ１に映るはずの時間帯を算出（推定）し、算出（推定）した時間帯に監視カメラ１に映っている対象物候補の中から一つを、映っていないと判断した対象物として特定して、撮影時刻情報テーブルＴ２を修正する。
　映像蓄積部２２ａ、認識情報蓄積部２２ｂ、及びカメラ配置情報蓄積部２２ｃは、例えば、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスクなどで実現できる、同一の又は別個の記憶部である。
　監視装置２は、さらに表示部２４を有する。表示部２４は、映像蓄積部２２ａに蓄積された映像と、特徴情報テーブルＴ１及び撮影時刻情報テーブルＴ２とを表示可能である。表示部２３は、液晶ディスプレイなどで実現できる。
［２．対象物の識別（撮影時刻情報の生成）］
　図２に、監視カメラ１の配置例を示す。監視カメラ１は、例えば、店舗に設けられる。４台の監視カメラ１（監視カメラａ，ｂ，ｃ，ｄ）は、それぞれ異なる場所に配置される。図２においては、監視カメラａ，ｂ，ｃが進行方向（図２の左側から右側の方向）の順に配置されている。なお、監視カメラ１の数とその配置箇所は単なる例であって、任意に変更可能である。監視カメラ１はそれぞれ、撮影部１１が撮影した映像を、送信部１２から監視装置２に送信する。送信された映像は、監視装置２の映像蓄積部２２ａに格納される。
　図３は、制御部２３による人物の識別と監視カメラ間の移動距離の算出の処理を示している。制御部２３は、図３に示す人物の識別の処理を所定のタイミングで行う。例えば、所定のタイミングは、ユーザが監視装置２に指示したときであっても良いし、所定時間（例えば、２４時間）毎であっても良い。以下、監視カメラ１が、図２の矢印で示す進行方向に移動した人物を撮影した場合を例にして説明する。
　認識部２３ａは、映像蓄積部２２ａに蓄積されている映像を読み出して、映像に映っている人物の特徴を抽出する（Ｓ３０１）。認識部２３ａは、例えば、監視カメラａの映像から順に映像を解析する。認識部２３ａは、人物の特徴として、例えば、顔の一部の、形状、色、大きさ、又は位置を抽出する。図４（ａ）に人物の特徴抽出の例を示し、図４（ｂ）に特徴情報テーブルＴ１の一例を示す。認識部２３ａは、人物の特徴として、例えば、図４（ａ）に示すような両目の間の距離（「Ｉ－ＩＩ」間の距離）と一方の目と鼻との距離（「ＩＩ－ＩＩＩ」間の距離）を抽出し、抽出した特徴（距離）を含む特徴情報４１を図４（ｂ）に示すような特徴情報テーブルＴ１に追加する。
　このとき、認識部２３ａは、抽出した特徴と一致する特徴を示す特徴情報４１が既に特徴情報テーブルＴ１にあるか否かを判断し（Ｓ３０２）、一致する特徴情報４１がなければ、映像から新たに人物を抽出したと判断して、その人物を識別するための識別情報（ＩＤ）を生成し、生成した識別情報とその人物の特徴（「Ｉ－ＩＩ」間の距離と「ＩＩ－ＩＩＩ」間の距離）とを含む特徴情報４１を特徴情報テーブルＴ１に追加する（Ｓ３０３）。
　認識部２３ａは、人物がどの監視カメラ１にいつ映っていたかを表す撮影時刻情報を生成して、撮影時刻情報テーブルＴ２に追加する（Ｓ３０４）。図５に、撮影時刻情報テーブルＴ２の一例を示す。撮影時刻情報５１は、人物の識別情報（ＩＤ）と、その人物を撮影した監視カメラ１の識別情報と、監視カメラ１にその人物が映り始めた時刻（ＩＮ時刻）と映り終える時刻（ＯＵＴ時刻）とを含む。
　認識部２３ａは、全ての監視カメラ１からの映像の読み出しが完了したか否かを判断し（Ｓ３０５）、完了していなければ、残りの監視カメラ１の映像について、ステップＳ３０１～Ｓ３０４の処理を繰り返す。
　認識部２３ａが全ての監視カメラ１の映像から人物を抽出し終えると、移動時間情報更新部２３ｂは、認識部２３ａが生成した撮影時刻情報テーブルＴ２に基づいて、カメラ配置情報テーブルＴ３を更新する（Ｓ３０６）。図６に、カメラ配置情報テーブルＴ３の一例を示す。カメラ配置情報テーブルＴ３は、監視カメラ１の配置位置を示す配置情報６１と、監視カメラ１間の移動にかかる時間を示す移動時間情報６２とを含む。配置情報６１は、人物が移動経路に沿って（図２の矢印で示す進行方向に向かって）進んだ場合に映る「現在のカメラ（現）」と「次のカメラ（次）」の識別情報を含む。配置情報６１は、予め入力されている。例えば、監視カメラ１が設置されたときに、ユーザによって配置情報６１が入力される。移動時間情報６２は、「現在のカメラ」から「次のカメラ」の移動にかかる最短の時間と最長の時間の情報を含む。移動時間情報更新部２３ｂは、カメラ配置情報テーブルＴ３の最短時間と最長時間を、撮影時刻情報テーブルＴ２のＩＮ時刻とＯＵＴ時刻に基づいて、更新する。なお、移動時間情報更新部２３ｂは、ステップＳ３０６のタイミングに限らず、定期的に、カメラ配置情報テーブルＴ３の移動時間情報６２の更新を行っても良い。
　以上のようにして、監視カメラ１によって撮影された映像から人物の特徴を抽出することによってその人物を識別でき、撮影時刻情報テーブルＴ２を参照することによって識別した人物がどの監視カメラ１にいつ映っていたかを認識することができる。よって、複数の監視カメラ１の映像を使用した人物の追跡が可能になる。
［３．対象物の特定（撮影時刻情報の修正）］
　撮影したときの角度や照明条件によって同一人物であっても映像への映り方が異なることがある。そのため、複数の監視カメラ１で撮影した映像から抽出される同一人物の特徴が一致しないことがある。たとえば、明るい場所で高い位置に設置された監視カメラ１と、暗い場所で低い位置に設置された監視カメラ１では、撮影される映像が大きく異なるため、両者で撮影される映像から抽出される人物の特徴は異なる場合がある。この場合、同一人物であっても、抽出した特徴が異なるために、他の人物として認識してしまう。そのため、同一人物が複数の監視カメラ１（例えば、監視カメラａ，ｂ，ｃ）の前を順に通った場合であっても、一部の監視カメラ１（例えば、監視カメラｂ）からはその人物の特徴を抽出できず、その人物の追跡が途切れてしまうことがある。
　そこで、本実施形態では、複数の監視カメラ１のうちの一部において人物の特徴を抽出できない状況が生じてもその人物を追跡できるように、特徴が一致せずに別人であると判断した人物の中から、カメラ配置情報テーブルＴ３を使用して、同一人物を抽出し、撮影時刻情報テーブルＴ２を修正する。
　図７に、認識情報修正部２３ｃによる撮影時刻情報テーブルＴ２の修正の処理を示す。認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２を読み出して、人物のエントリ数が多い順に並べ替える（Ｓ７０１）。図８に、並べ替えた後の撮影時刻情報テーブルＴ２を示す。認識情報修正部２３ｃは、エントリ数が多い順に、人物を一名抽出し（Ｓ７０２）、カメラ配置情報テーブルＴ３を参照して、抽出した人物に関して撮影時刻情報５１の欠落があるか否かを確認する（Ｓ７０３）。撮影時刻情報５１の欠落の有無は、カメラ配置情報テーブルＴ３の配置情報６１を参照して、人物が映るはずの監視カメラ１を特定することによって、確認する。図２のような監視カメラ１の配置例においては、人物が図２の矢印で示す進行方向に進めば、監視カメラａの次は監視カメラｂ又は監視カメラｄに映り、監視カメラｂの次は監視カメラｃに映る。認識情報修正部２３ｃは、カメラ配置情報テーブルＴ３の配置情報６１を参照することによって、監視カメラｃに映る前に必ず監視カメラｂに映るはずであると判断できる。すなわち、監視カメラｃの撮影時刻情報５１がある場合、監視カメラｂを、映るはずの監視カメラ１として特定して、監視カメラｂの撮影時刻情報５１の有無を確認する。このようにして、撮影時刻情報５１の欠落があるか否かを判断する。
　欠落がなければ（Ｓ７０４でＮｏ）、撮影時刻情報テーブルＴ２に記録されている人物の全員についての撮影時刻情報５１の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ２から次の人物を新たに抽出して、撮影時刻情報５１の欠落の有無を確認する。
　欠落があれば（Ｓ７０４でＹｅｓ）、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２とカメラ配置情報テーブルＴ３とを参照して、撮影時刻情報５１が欠落している監視カメラ１に映っているはずの時間帯を推定（算出）する（Ｓ７０５）。例えば、図８に示すように、人物Ｂについては、監視カメラｂの撮影時刻情報５１が欠落している。認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２における人物Ｂの監視カメラａのＯＵＴ時刻（１０時１９分）と、カメラ配置情報テーブルＴ３の監視カメラａから監視カメラｂへの移動にかかる最短時間（１０分）と最長時間（１２分）とから、人物Ｂが監視カメラｂに映り始める時間帯（１０時２９分～１０時３１分）を推定する。また、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２の人物Ｂの監視カメラｃのＩＮ時刻（１０時４１分）と、カメラ配置情報テーブルＴ３の監視カメラｂから監視カメラｃへの移動にかかる最短時間（５分）と最長時間（６分）とから、人物Ｂが監視カメラｂに映り終わる時間帯（１０時３５分～１０時３６分）を推定する。
　認識情報修正部２３ｃは、推定した時間帯に映っている人物を撮影時刻情報テーブルＴ２から抽出する（Ｓ７０６）。図８の例では、人物Ｅの監視カメラｂのＩＮ時刻（１０時３１分）が推定した映り始めの時間帯（１０時２９分～１０時３１分の間）に含まれ、且つ人物Ｅの監視カメラｂのＯＵＴ時刻（１０時３６分）が推定した映り終わりの時間帯（１０時３５分～１０時３６分の間）に含まれるため、認識情報修正部２３ｃは、人物Ｅを抽出する。このとき、認識情報修正部２３ｃは、撮影時刻情報５１が欠落している人物の中から抽出する。抽出した人物が１人であれば、その人物（人物Ｅ）が同一人物（人物Ｂ）であると判断して、撮影時刻情報テーブルＴ２を修正する。図８の例では、人物Ｅについての「修正後の人物の識別情報（ＩＤ）」に人物Ｂの識別情報を記録する。
　推定した時間帯に映っている人物が複数いた場合、認識情報修正部２３ｃは、特徴情報テーブルＴ１に基づいて、特徴情報４１が最も近い人物が同一人物であると判断して、撮影時刻情報テーブルＴ２を修正する（Ｓ７０７）。
　撮影時刻情報テーブルＴ２に記録されている人物の全員について、撮影時刻情報５１の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ２から次の人物を新たに抽出して、撮影時刻情報５１の欠落の有無を確認する。撮影時刻情報テーブルＴ２に記録されている人物の全員について、撮影時刻情報５１の欠落の有無の確認が完了すれば、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２を表示部２４に表示する（Ｓ７０９）。ユーザは、表示部２４に表示された修正後の撮影時刻情報テーブルＴ２を参照することによって、複数の監視カメラ１で撮影された人物の追跡を確認することができる。
　このように、認識情報修正部２３ｃは、特徴情報テーブルＴ１と撮影時刻情報テーブルＴ２とカメラ配置情報テーブルＴ３とを使用して、撮影時刻情報５１の欠落を補う。例えば、認識情報修正部２３ｃは、図８のように、人物Ｅを人物Ｂとして修正することによって、人物Ｂについての監視カメラｂの撮影時刻情報５１を補う。これにより、制御部２３は、修正後の撮影時刻情報テーブルＴ２を参照して、監視カメラａ，監視カメラｂ，監視カメラｃの順にそれぞれ撮影された映像から、人物Ｂを追跡することが可能になる。
［４．効果等］
　以上のように、本実施形態の監視装置２は、第一のカメラ（監視カメラｃ）及び第二のカメラ（監視カメラｂ）を含み所定の位置関係を有する複数の監視カメラ１によって撮影された映像から対象物を識別する監視装置であって、複数の監視カメラ１から映像を受信する受信部２１と、対象物の特徴を表す特徴情報４１を格納する認識情報蓄積部２２ｂと、カメラの配置位置を表す配置情報６１を格納するカメラ配置情報蓄積部２２ｃと、特徴情報４１に基づいて映像から対象物を識別する制御部２３と、を備え、制御部２３の認識情報修正部２３ｃは、第一のカメラ（監視カメラｃ）で撮影された映像から識別できたが、第二のカメラ（監視カメラｂ）で撮影された映像から識別できなかった対象物を、配置情報６１に基づいて、第二のカメラ（監視カメラｂ）で撮影された映像において特定する。このように、特徴情報４１で識別できなかった対象物を、配置情報６１を使用して特定するため、対象物の追跡を精度良く実現できる。
　制御部２３の移動時間情報更新部２３ｂは、第一のカメラと第二のカメラ間の人物の移動時間を算出し、算出した移動時間と、第一のカメラにおいて対象物が撮影された時間とに基づき、第二のカメラの撮影領域を対象物が通過した時間帯を算出し、算出した時間帯に第二のカメラにより撮影された映像において対象物を特定する。具体的には、特徴情報４１に基づいて識別した各対象物が監視カメラ１に映っている時間帯を表す撮影時刻情報５１を生成し、生成した撮影時刻情報５１に基づいて、監視カメラ１間の移動にかかる時間を算出する。さらに、制御部２３は、配置情報６１に基づいて、各対象物が映るはずの監視カメラ１を特定し、対象物が特定した監視カメラ１に映っていない場合に、算出した監視カメラ間の移動にかかる時間に基づいて、映っていない対象物が特定した監視カメラ１に映るはずの時間帯を推定し、撮影時刻情報５１を参照して、推定した時間帯に、特定した監視カメラ１に映っている他の対象物が映っていない対象物であると特定して、撮影時刻情報５１を書き換える。これにより、特徴情報４１が一致せずに、撮影時刻情報５１の欠落が生じた場合であっても、配置情報６１と移動時間情報６２を含むカメラ配置情報テーブルＴ３を参照することによって、欠落が生じた撮影時刻情報５１を補うことができる。そのため、一部の監視カメラ１の映像から取得した対象物（人物）の特徴情報４１が、他の監視カメラ１の映像からは取得されずに、他の監視カメラ１の映像においては別の対象物（人物）として認識した場合であっても、カメラ配置情報テーブルＴ３を参照することによって、同一の対象物（人物）であると認識し直すことができる。よって、対象物（人物）の追跡を精度良く実現できる。
　また、制御部２３は、算出した時間帯に第二のカメラにより撮影された映像において２つ以上の対象物候補が映っている場合、特徴情報４１に基づいて、２つ以上の対象物候補の中から一つを対象物として特定する。これにより、２つ以上の対象物候補が映像に映っている場合であっても、その対象物候補の中から、映っていないと判断した対象物を精度良く特定することができる。
　さらに、制御部２３は、受信部２１が受信した映像から対象物の特徴を抽出して特徴情報４１を生成して、認識情報蓄積部２２ｂに格納する。これにより、新たに対象物の特徴を抽出した場合でも、その対象物を識別して追跡することが可能になる。
　本実施形態の監視システム１００は、第一及び第二のカメラを含み所定の位置関係を有する複数の監視カメラ１と、対象物の特徴を表す特徴情報４１と、監視カメラ１の配置位置を表す配置情報６１とを有し、特徴情報４１に基づいて、複数の監視カメラ１によって撮影された映像から対象物を識別し、第一のカメラで撮影された映像から識別できたが第二のカメラで撮影された映像から識別できなかった対象物を、配置情報６１に基づいて、第二のカメラで撮影された映像において特定する監視装置２と、を有する。本実施形態の監視システム１００を使用すれば、精度良く対象物（人物）を追跡できるため、本実施形態の監視システム１００は動線可視化及び動線分析に有用である。例えば、局所に設けた監視カメラ１の映像を使用して、全体の動線を推測することができる。また、監視システム１００は、動線の変更をシミュレーションしたり、店舗エリアの価値を分析するのにも有用である。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態１で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
　時間帯推定（Ｓ７０５）及び人物抽出（Ｓ７０６）の他の例について説明する。図８の例において、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２とカメラ配置情報テーブルＴ３とを参照し、人物Ｂが監視カメラｂに映り始める時間帯の下限の時刻（１０時２９分）から映り終わる時間帯の上限の時刻（１０時３６分）までの間のいずれかの時間帯（例えば、１０時３２分～１０時３５分）に監視カメラｂに映っている人物を抽出しても良い（Ｓ７０６）。また、この推定した時間帯に人物が抽出できなかった場合には、さらに、推定した映り始めの時間帯の下限の時刻（１０時２９分）から第１の所定時間（例えば、３分）を減算し、推定した映り終わりの時間帯の上限の時刻（１０時３６分）に第２の所定時間（例えば、３分）を加算して、新たな時間帯（１０時２６分～１０時３９分）を算出し、新たな時間帯（１０時２６分～１０時３９分）の中のいずれかの時間帯（例えば、１０時２８分～１０時３４分）に監視カメラｂに映っている人物を抽出しても良い。
　複数の人物から最も類似している人物を抽出する処理（Ｓ７０７）の他の例について説明する。例えば、特徴情報４１に基づく類似度と、監視カメラ間の移動にかかる時間の確率分布に基づく出現度との合計に応じて、複数の人物から最も類似している人物を抽出しても良い。以下に、図２の監視カメラｂの映像から人物Ａを検出できずに、監視カメラｂに映った人物Ｂ，Ｃ，Ｄの中から人物Ａを探す場合について説明する。この場合、特徴情報に基づく類似度Ｓｆ（Ａ，ｘ）と監視カメラ間の移動にかかる時間の確率分布に基づく出現度Ｓａｂ（ｔ１），Ｓｂｃ（ｔ２）とを関数化して、下記式（１）で示す、それらの合計値（トータルスコア）Ｓ（Ａ，ｘ）が所定の条件を満たす人物が、人物Ａであると判断する。例えば、合計値Ｓ（Ａ，ｘ）が最も高い人物を人物Ａと判断する。
　　Ｓ（Ａ，ｘ）＝Ｓｆ（Ａ，ｘ）＋αＳａｂ（ｔ１）＋βＳｂｃ（ｔ２）・・・（１）
　（ｘは、人物Ｂ，Ｃ，Ｄ）
　（Ｓｆ（Ａ，ｘ）は、人物Ａの特徴情報と人物ｘの特徴情報の類似度）
　（α、βは、所定の重み付けの係数）
　（ｔ１は、人物Ａが監視カメラａに映ってから、人物ｘが監視カメラｂに映るまでの時間）
　（ｔ２は、人物ｘが監視カメラｂに映ってから、人物Ａが監視カメラｃに映るまでの時間）
　（Ｓａｂ（ｔ）は、監視カメラａから監視カメラｂへの移動にかかる時間と人物の出現頻度の分布に基づく出現度）
　（Ｓｂｃ（ｔ）は、監視カメラｂから監視カメラｃへの移動にかかる時間と人物の出現頻度の分布に基づく出現度）
　図９（ａ）に、出現度Ｓａｂ（ｔ）の例を示す。出現度Ｓａｂ（ｔ）は、人物が監視カメラａに映らなくなってから監視カメラｂに映り始めるまでの時間（すなわち、監視カメラａから監視カメラｂへの移動にかかる時間）毎の、人物の出現頻度の分布を関数化したものである。図９（ｂ）に、出現度Ｓｂｃ（ｔ）の例を示す。出現度Ｓｂｃ（ｔ）は、人物が監視カメラｂに映らなくなってから監視カメラｃに映り始めるまでの時間（すなわち、監視カメラｂから監視カメラｃへの移動にかかる時間）毎の、人物の出現頻度の分布を関数化したものである。認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２を参照して、監視カメラ間の移動にかかる時間毎に人物の出現頻度を算出し、監視カメラ間の移動にかかる時間と算出した人物の出現頻度とに基づいて、図９（ａ）及び図９（ｂ）に示すような出現度の関数Ｓａｂ（ｔ），Ｓｂｃ（ｔ）を生成する。
　図１０に、人物Ａの特徴情報との類似度Ｓｆ（Ａ，ｘ）、人物Ａが監視カメラａに映ってから人物ｘ（ｘ＝Ｂ，Ｃ，Ｄ）が監視カメラｂに映るまでの時間ｔ１、人物ｘ（ｘ＝Ｂ，Ｃ，Ｄ）が監視カメラｂに映ってから人物Ａが監視カメラｃに映るまでの時間ｔ２、及び合計値Ｓ（Ａ，ｘ）の数値例を示す。図１０では、それぞれＳｆ（Ａ，ｘ）、ｔ１、ｔ２の数値によって、上記式（１）で示す合計値Ｓ（Ａ，ｘ）の数値が得られた例を示している。図１０の例では、人物Ｄの合計値Ｓ（Ａ，ｘ）が最も高いため、人物Ｄを人物Ａと判断する。
　なお、関数Ｓａｂ（ｔ），Ｓｂｃ（ｔ）は、人物、時間帯、及び店舗の状況などで変化するものであってもよい。例えば、関数Ｓａｂ（ｔ）、Ｓｂｃ（ｔ）を、現在時刻に基づく時間帯毎（９時～１０時など）に生成しても良い。
　人物抽出（Ｓ７０６）において、推定した時間帯に映っている人物が１人だけのときに、認識情報修正部２３ｃは、撮影時刻情報５１が欠落している人物（人物Ｂ）と、推定した時間帯に映っている人物（人物Ｅ）との特徴情報４１を比較しても良い。そして、特徴情報４１が類似していない場合は、認識情報修正部２３ｃは、撮影時刻情報５１が欠落している人物（人物Ｂ）と推定した時間帯に映っている人物（人物Ｅ）とが別人であると判断して、撮影時刻情報テーブルＴ２を修正しなくても良い。
　本開示の監視システム１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
　以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、複数の監視カメラを使用して対象物を追跡する監視装置及びその監視装置を有する監視システムに適用可能である。
　　１　　　監視カメラ
　　２　　　監視装置
　　１１　　撮影部
　　１２　　送信部
　　２１　　受信部
　　２２ａ　映像蓄積部
　　２２ｂ　認識情報蓄積部
　　２２ｃ　カメラ配置情報蓄積部
　　２３　　制御部
　　２３ａ　認識部
　　２３ｂ　移動時間情報更新部
　　２３ｃ　認識情報修正部
　　２４　　表示部
　　１００　監視システム
　　Ｔ１　　特徴情報テーブル
　　Ｔ２　　撮影時刻情報テーブル
　　Ｔ３　　カメラ配置情報テーブル

Claims (9)

  1. 　第一及び第二のカメラを含み所定の位置関係を有する複数のカメラによって撮影された映像から対象物を識別する監視装置であって、
    　前記複数のカメラから映像を受信する受信部と、
    　前記対象物の特徴を表す特徴情報と、前記カメラの配置位置を表すカメラ配置情報とを格納する記憶部と、
    　前記特徴情報に基づいて前記映像から前記対象物を識別する制御部と、
    　を備え、
    　前記制御部は、前記第一のカメラで撮影された映像から識別できたが、前記第二のカメラで撮影された映像から識別できなかった前記対象物を、前記カメラ配置情報に基づいて、前記第二のカメラで撮影された映像において特定する、
    　監視装置。
  2. 　前記制御部は、
    　　前記第一のカメラと前記第二のカメラ間の前記対象物の移動時間を算出し、
    　　前記算出した移動時間と、前記第一のカメラにおいて前記対象物が撮影された時間とに基づき、前記第二のカメラの撮影領域を前記対象物が通過した時間帯を算出し、
    　　前記算出した時間帯に前記第二のカメラにより撮影された映像において前記対象物を特定する、請求項１に記載の監視装置。
  3. 　前記制御部は、前記算出した時間帯に前記第二のカメラにより撮影された映像において２つ以上の対象物候補が映っている場合、前記特徴情報に基づいて、前記２つ以上の対象物候補の中から一つを前記対象物として特定する、請求項２に記載の監視装置。
  4. 　前記制御部は、前記受信部が受信した映像から前記対象物の特徴を抽出して前記特徴情報を生成して、前記記憶部に格納する、請求項１に記載の監視装置。
  5. 　前記第一のカメラと前記第二のカメラは、前記対象物の移動経路に沿った撮影領域を撮影する位置に配置される、請求項１に記載の監視装置。
  6. 　前記第一のカメラと前記第二のカメラは、前記対象物の移動経路に沿った撮影領域を撮影する位置に配置され、
    　前記配置が、前記対象物が前記第一のカメラの撮影領域の次に前記第二のカメラの撮影領域を通過する配置の場合、前記制御部は、前記第一のカメラの撮影終了時刻に、前記算出した移動時間を加算して、前記第二のカメラの撮影領域を前記対象物が通過した時間帯の開始時刻を算出し、
    　前記配置が、前記対象物が前記第二のカメラの撮影領域の次に前記第一のカメラの撮影領域を通過する配置の場合、前記制御部は、前記第一のカメラの撮影開始時刻から、前記算出した移動時間を減算して、前記第二のカメラの撮影領域を前記対象物が通過した時間帯の終了時刻を算出する、請求項２に記載の監視装置。
  7. 　前記算出した時間帯に、前記第二のカメラにより撮影された映像において対象物候補が映っていない場合、前記制御部は、前記開始時刻から第１の所定時間を減算し、又は前記終了時刻に第２の所定時間を加算することによって、新たな時間帯を算出する、請求項６に記載の監視装置。
  8. 　前記制御部は、前記算出した時間帯に前記第二のカメラにより撮影された映像において２つ以上の対象物候補が映っている場合、前記第一のカメラと前記第二のカメラ間の移動時間の確率分布に基づいて、前記２つ以上の対象物候補の中から一つを前記対象物として特定する、請求項２に記載の監視装置。
  9. 　第一及び第二のカメラを含み所定の位置関係を有する複数のカメラと、
    　対象物の特徴を表す特徴情報と、前記カメラの配置位置を表すカメラ配置情報とを有し、前記特徴情報に基づいて、前記複数のカメラによって撮影された映像から前記対象物を識別し、前記第一のカメラで撮影された映像から識別できたが、前記第二のカメラで撮影された映像から識別できなかった前記対象物を、前記カメラ配置情報に基づいて、前記第二のカメラで撮影された映像において特定する、請求項１から請求項８のいずれかに記載の監視装置と、
    　を含む、監視システム。
PCT/JP2016/004148 2016-03-25 2016-09-12 監視装置及び監視システム WO2017163282A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018506503A JP6688975B2 (ja) 2016-03-25 2016-09-12 監視装置及び監視システム
EP16895322.2A EP3435665A4 (en) 2016-03-25 2016-09-12 MONITORING AND MONITORING SYSTEM
US16/139,527 US10863142B2 (en) 2016-03-25 2018-09-24 Monitoring device and monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016062031 2016-03-25
JP2016-062031 2016-03-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/139,527 Continuation US10863142B2 (en) 2016-03-25 2018-09-24 Monitoring device and monitoring system

Publications (1)

Publication Number Publication Date
WO2017163282A1 true WO2017163282A1 (ja) 2017-09-28

Family

ID=59899998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004148 WO2017163282A1 (ja) 2016-03-25 2016-09-12 監視装置及び監視システム

Country Status (4)

Country Link
US (1) US10863142B2 (ja)
EP (1) EP3435665A4 (ja)
JP (1) JP6688975B2 (ja)
WO (1) WO2017163282A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049290A (zh) * 2019-04-24 2019-07-23 北京市亚太安设备安装有限责任公司 公共建筑物智能监控系统
CN112689132A (zh) * 2021-03-15 2021-04-20 成都点泽智能科技有限公司 目标对象监控方法和监控设备
JP2021093052A (ja) * 2019-12-12 2021-06-17 清水建設株式会社 情報修正装置、情報修正方法およびプログラム
US11250251B2 (en) * 2018-09-06 2022-02-15 Nec Corporation Method for identifying potential associates of at least one target person, and an identification device
JP2022051683A (ja) * 2020-09-22 2022-04-01 グラスパー テクノロジーズ エーピーエス 訓練データの生成と再識別に使用するための機械学習モデルの訓練とについての概念

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501568B2 (en) * 2018-03-23 2022-11-15 Nec Corporation Information processing apparatus, person search system, place estimation method, and non-transitory computer readable medium storing program
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174016A (ja) * 2005-12-20 2007-07-05 Matsushita Electric Ind Co Ltd 情報配信システム
WO2013179335A1 (ja) * 2012-05-30 2013-12-05 株式会社 日立製作所 監視カメラ制御装置及び映像監視システム
WO2014171258A1 (ja) * 2013-04-16 2014-10-23 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999561B2 (ja) 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP4929102B2 (ja) 2007-08-28 2012-05-09 株式会社東芝 映像検索システム及び映像検索装置
TWI405457B (zh) * 2008-12-18 2013-08-11 Ind Tech Res Inst 應用攝影機換手技術之多目標追蹤系統及其方法，與其智慧節點
JP2011170565A (ja) 2010-02-17 2011-09-01 Toshiba Tec Corp 顧客動向収集方法、装置及びプログラム
WO2013108686A1 (ja) 2012-01-17 2013-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2013192154A (ja) 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
US9589192B2 (en) * 2012-09-27 2017-03-07 Nec Corporation Information processing system, information processing method, and program
AU2013339935A1 (en) * 2012-10-29 2015-05-07 Nec Corporation Information processing system, information processing method, and program
FR2999706B1 (fr) * 2012-12-14 2015-03-20 Commissariat Energie Atomique Dispositif de mesure de couple moteur dans un cycle
WO2014103673A1 (ja) * 2012-12-28 2014-07-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
US10347100B2 (en) * 2013-04-26 2019-07-09 Nec Corporation Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not
WO2015025490A1 (ja) 2013-08-21 2015-02-26 日本電気株式会社 店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラム
JP6520783B2 (ja) 2016-03-22 2019-05-29 株式会社デンソー 車両検知装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174016A (ja) * 2005-12-20 2007-07-05 Matsushita Electric Ind Co Ltd 情報配信システム
WO2013179335A1 (ja) * 2012-05-30 2013-12-05 株式会社 日立製作所 監視カメラ制御装置及び映像監視システム
WO2014171258A1 (ja) * 2013-04-16 2014-10-23 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3435665A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250251B2 (en) * 2018-09-06 2022-02-15 Nec Corporation Method for identifying potential associates of at least one target person, and an identification device
US20220114826A1 (en) * 2018-09-06 2022-04-14 Nec Corporation Method for identifying potential associates of at least one target person, and an identification device
CN110049290A (zh) * 2019-04-24 2019-07-23 北京市亚太安设备安装有限责任公司 公共建筑物智能监控系统
JP2021093052A (ja) * 2019-12-12 2021-06-17 清水建設株式会社 情報修正装置、情報修正方法およびプログラム
JP7355632B2 (ja) 2019-12-12 2023-10-03 清水建設株式会社 情報修正装置、情報修正方法およびプログラム
JP2022051683A (ja) * 2020-09-22 2022-04-01 グラスパー テクノロジーズ エーピーエス 訓練データの生成と再識別に使用するための機械学習モデルの訓練とについての概念
JP7186269B2 (ja) 2020-09-22 2022-12-08 グラスパー テクノロジーズ エーピーエス 訓練データの生成と同一物判定に使用するための機械学習モデルの訓練とについての概念
CN112689132A (zh) * 2021-03-15 2021-04-20 成都点泽智能科技有限公司 目标对象监控方法和监控设备

Also Published As

Publication number Publication date
US10863142B2 (en) 2020-12-08
JP6688975B2 (ja) 2020-04-28
JPWO2017163282A1 (ja) 2018-12-13
EP3435665A4 (en) 2019-03-20
US20190132556A1 (en) 2019-05-02
EP3435665A1 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
WO2017163282A1 (ja) 監視装置及び監視システム
US10417773B2 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
US9213896B2 (en) Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
JP4700477B2 (ja) 移動体監視システムおよび移動体特徴量算出装置
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
JP6540330B2 (ja) 追跡システム、追跡方法および追跡プログラム
US9615019B2 (en) Image capturing apparatus and control method for image capturing apparatus with particle filter for main object detection and selecting focus detection area based on priority
JP6280020B2 (ja) 移動物体追跡装置
US20140198229A1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
US10997398B2 (en) Information processing apparatus, authentication system, method of controlling same, and medium
JP2019204518A (ja) 人物追跡方法、装置、機器及び記憶媒体
CN110651274A (zh) 可移动平台的控制方法、装置和可移动平台
WO2017163283A1 (ja) 監視装置及び監視システム
US10839552B2 (en) Image processing apparatus, tracking method, and program
JP6833483B2 (ja) 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
US11074696B2 (en) Image processing device, image processing method, and recording medium storing program
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
CN106254861A (zh) 摄像头的检验方法和装置
JP2010056720A (ja) ネットワークカメラおよびネットワークカメラシステム
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP6548306B2 (ja) カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法
US11507768B2 (en) Information processing apparatus, information processing method, and storage medium
JP2005326966A (ja) 人数カウント装置
CN110706250B (zh) 一种对象的跟踪方法、装置、系统及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018506503

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016895322

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016895322

Country of ref document: EP

Effective date: 20181025

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16895322

Country of ref document: EP

Kind code of ref document: A1