WO2022030558A1 - 人物を検出または追跡する装置、システム、方法及びプログラム - Google Patents

人物を検出または追跡する装置、システム、方法及びプログラム Download PDF

Info

Publication number
WO2022030558A1
WO2022030558A1 PCT/JP2021/028994 JP2021028994W WO2022030558A1 WO 2022030558 A1 WO2022030558 A1 WO 2022030558A1 JP 2021028994 W JP2021028994 W JP 2021028994W WO 2022030558 A1 WO2022030558 A1 WO 2022030558A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tracking
person
whole body
similarity
Prior art date
Application number
PCT/JP2021/028994
Other languages
English (en)
French (fr)
Inventor
鮎美 松本
哲希 柴田
育弘 宇田
真一 根本
篤 佐藤
知也 児玉
貴司 塩崎
拓磨 宮原
友幸 角守
Original Assignee
エヌ・ティ・ティ・コミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020135133A external-priority patent/JP7500335B2/ja
Priority claimed from JP2020135151A external-priority patent/JP7424940B2/ja
Priority claimed from JP2020135146A external-priority patent/JP7424939B2/ja
Application filed by エヌ・ティ・ティ・コミュニケーションズ株式会社 filed Critical エヌ・ティ・ティ・コミュニケーションズ株式会社
Publication of WO2022030558A1 publication Critical patent/WO2022030558A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • One aspect of the present invention relates to a device, system, method and program for detecting or tracking a person.
  • Patent Document 2 provides a technique of transmitting a person's face recognition result extracted from a surveillance image acquired by a surveillance camera to an external terminal such as a surveillance device via a communication interface unit and displaying it on the screen display unit. is suggesting.
  • Patent Document 1 monitors suspicious persons and customers when a visitor's face image can be reliably obtained, such as a surveillance camera installed at an entrance of a building or a store. It is a very effective technology for detecting the visit of the target person.
  • the orientation of the tracked subject's face changes in various ways as the tracked subject moves, and there are many cases where the surveillance camera cannot capture the tracked subject's face.
  • the face image cannot be acquired by the surveillance camera in this way, the person cannot be identified by the conventional person identification technique, and therefore the tracked person cannot be tracked.
  • the present invention has been made by paying attention to the above circumstances, and on one aspect, it is intended to provide a technique capable of tracking a tracked subject even if the face image of the tracked subject cannot be acquired by a surveillance camera.
  • Another aspect of the present invention is to provide a technique capable of detecting and tracking a person who corresponds to a prescribed symptom corresponding to an infectious disease or the like from a surveillance image acquired by a surveillance camera.
  • the present invention is intended to provide a technique in which a monitor can easily recognize the certainty of the authentication result.
  • the first aspect of the person tracking device is a registration unit for registering a face image and a whole body image of a tracked person to be tracked, and a plurality of surveillance cameras on a regular basis.
  • a detection unit that detects at least one of a face image similar to the registered face image and a whole body image similar to the registered whole body image, and the detected face image.
  • an output unit that outputs at least one of the whole body images.
  • a whole body image of a person is extracted from each of the surveillance images, and the whole body feature amount, which is the feature amount thereof, and the whole body feature amount are extracted from the whole body image.
  • the whole body image, the whole body feature amount, and the face feature amount extracted by the extraction unit are acquired from the extraction unit that extracts the face image of the person and extracts the face feature amount which is the feature amount from the face image.
  • the image storage unit that stores the acquired whole body image, the whole body feature amount, and the face feature amount together with the monitoring image is further provided, and the registration unit is the face of the tracking target person from the monitoring terminal operated by the monitor.
  • the whole body image, the whole body feature amount and the face feature amount, and the face image from which the face feature amount is extracted are obtained by accepting the designation of the image and accumulating in the image storage unit corresponding to the designated face image.
  • the monitoring image is registered as a whole body image for tracking, a whole body feature amount for tracking, a facial feature amount for tracking, and a face image for tracking, and the detection unit is accumulated in the image storage unit from the time of registration by the registration unit.
  • the whole-body image similarity which is the similarity between the whole-body feature amount extracted by the extraction unit and the tracking whole-body feature amount, and the extraction unit extracted for each of the matching images.
  • the similarity calculation unit that calculates the face image similarity, which is the similarity between the face feature amount and the tracking face feature amount, the whole body image similarity and the face image similarity calculated by the similarity calculation unit.
  • a set of the tracking face image and the tracking whole body image is acquired, and it is determined whether or not at least one of the whole body image similarity and the face image similarity is larger than the corresponding threshold value, and the threshold value is higher than the threshold value.
  • a display result for displaying the position information of the surveillance camera that has acquired the surveillance image as together with the tracking whole body image and the tracking face image registered by the registration unit is created, and the output unit is used.
  • one aspect of the person detection device is a similarity calculation method for calculating two or more similarities of a target image to a specific image by using each of two or more similarity calculation methods having different judgment criteria.
  • a threshold storage unit that stores a plurality of thresholds for classifying the target image into a plurality of stages based on each of the similarity calculated by the unit for each similarity calculation method, and a plurality of surveillance cameras, respectively.
  • the plurality of units are used. From the images of the similarity calculation target person extracted from the surveillance image of each surveillance camera, an image similar to the image of the specific person is detected, and a plurality of the detected images of the similarity calculation target person are present. It is provided with a detection unit for detecting which of the caution stages of.
  • a third aspect of the person tracking device according to the present invention is similar to one aspect of the person detection device according to the present invention and an image of the specific person presented by the person detection device on the output screen together with the step display.
  • the designation of the face image of the tracking target person to be tracked is received from the monitoring terminal operated by the monitor, and the specified image is registered as the tracking image.
  • the tracking image which is the registered image of the tracking target person to be tracked, is used as the specific image, and the similarity calculation unit is used with at least two or more similarity calculation methods.
  • An image of the tracking target person detected from the registration unit for extracting at least two similarities of the image of the degree calculation target person and the at least two or more similarities acquired from the similarity calculation unit by the detection unit. It is provided with a tracking output screen generation unit that generates a tracking output screen that presents each of two or more images of a subject for similarity calculation similar to the above together with a stage display indicating the attention stage detected by the detection unit. It is the one that was made.
  • a fourth aspect of the person tracking device is a similarity that calculates two or more similarities of a target image to a specific image by using each of two or more similarity calculation methods having different judgment criteria.
  • the observer Based on each of the similarity calculated by the degree calculation unit, the observer operates a threshold storage unit that stores a plurality of thresholds for classifying the target image into a plurality of stages for each similarity calculation method.
  • the target image extracted from each of the registration unit that registers the image of the tracked person to be tracked specified by the monitoring terminal as the specific image and the monitoring images periodically acquired by each of the plurality of monitoring cameras.
  • At least one similarity degree to the specific image of the image of the similarity calculation target person is acquired from the similarity degree calculation unit and used for the calculation of the at least one similarity degree in the similarity degree calculation unit. From the images of the similarity calculation target person extracted from the surveillance images of each of the plurality of surveillance cameras based on the plurality of thresholds stored in the threshold storage unit corresponding to the degree calculation method.
  • the detection unit that detects an image similar to the image of the tracking target person and detects which of the plurality of attention stages the detected image of the similarity calculation target person is, and the detection unit are similar to each other.
  • a tracking output screen generation unit for generating a tracking output screen of the above.
  • a fifth aspect of the person tracking device is to monitor a plurality of types of state information related to a person's health state included in each of the surveillance images periodically acquired by each of the plurality of surveillance cameras.
  • the plurality of types of state information detected by the information extraction unit are acquired from the information extraction unit detected from each of the images, and based on the acquired plurality of types of state information, the above-mentioned included in each of the monitoring images.
  • An image of a person extracted from the surveillance image of each of the plurality of surveillance cameras based on the discrimination unit that determines whether or not the person is a specific person corresponding to a predetermined symptom and the discrimination result of the discrimination unit.
  • the registration unit is from each of the registration unit that registers the image of the specific person corresponding to the specified symptom as the image of the person to be tracked and the surveillance image that is periodically acquired by each of the plurality of surveillance cameras.
  • the tracking target person can be tracked even when the face image of the tracking target person cannot be acquired by the surveillance camera.
  • the observer can easily recognize the certainty of the authentication result.
  • a person corresponding to a predetermined symptom can be detected and tracked from a surveillance image acquired by a surveillance camera.
  • FIG. 1 is a diagram showing an example of the overall configuration of the person tracking system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the configuration of the video analysis function unit shown in FIG.
  • FIG. 3 is a block diagram showing a software configuration of the Web server shown in FIG. 1 as a person tracking device according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of the stored contents of the past search data storage unit shown in FIG.
  • FIG. 5 is a diagram showing an example of the storage contents of the detection history data storage unit shown in FIG.
  • FIG. 6 is a diagram showing an example of the storage contents of the management data storage unit shown in FIG.
  • FIG. 7 is a diagram showing an example of the description contents of the camera information table storage unit shown in FIG. FIG.
  • FIG. 8 is a diagram showing an example of the description contents of the past search data table storage unit shown in FIG.
  • FIG. 9 is a diagram showing an example of the description contents of the detection history table storage unit shown in FIG.
  • FIG. 10 is a diagram showing an example of the description contents of the management table storage unit shown in FIG.
  • FIG. 11 is a block diagram showing a hardware configuration of the Web server of FIG.
  • FIG. 12 is a diagram showing an example of a detection alert screen displayed on the Web browser of the monitoring terminal shown in FIG. 1.
  • FIG. 13 is a flowchart showing a processing procedure of the image registration process by the image registration function unit shown in FIG.
  • FIG. 14 is a flowchart showing a processing procedure of the monitoring / tracking process by the monitoring / tracking execution function unit shown in FIG. 2.
  • FIG. 13 is a flowchart showing a processing procedure of the image registration process by the image registration function unit shown in FIG.
  • FIG. 14 is a flowchart showing a processing procedure of the monitoring / tracking
  • FIG. 15 is a flowchart showing a processing procedure of the detection / tracking result determination process by the detection / tracking result determination function unit shown in FIG.
  • FIG. 16 is a diagram showing an example of a detection alert output screen displayed on the Web browser of the monitoring terminal shown in FIG. 1.
  • FIG. 17 is a diagram showing another example of the detection alert output screen displayed on the Web browser of the monitoring terminal shown in FIG. 1.
  • FIG. 18 is a block diagram showing a software configuration of the Web server shown in FIG. 1 as a person detection device and a person tracking device according to a second embodiment of the present invention.
  • FIG. 19 is a diagram showing an example of the description contents of the camera information table storage unit shown in FIG.
  • FIG. 20 is a diagram showing an example of the description contents of the tracking table storage unit shown in FIG. FIG.
  • FIG. 21 is a flowchart showing a processing procedure of monitoring processing by the monitoring / tracking execution function unit in the second embodiment.
  • FIG. 22 is a flowchart showing a processing procedure of the detection result determination process by the detection / tracking result determination function unit in the second embodiment.
  • FIG. 23 is a flowchart showing a processing procedure of the detection alert output process by the detection alert output function unit in the second embodiment.
  • FIG. 24 is a diagram showing an example of a detection alert screen displayed on the Web browser of the monitoring terminal according to the second embodiment.
  • FIG. 25 is a flowchart showing a processing procedure of tracking processing by the monitoring / tracking execution function unit in the second embodiment.
  • FIG. 26 is a flowchart showing a processing procedure of tracking result determination processing by the detection / tracking result determination function unit in the second embodiment.
  • FIG. 27 is a flowchart showing the first part of the processing procedure of the tracking alert output processing by the tracking alert output function unit in the second embodiment.
  • FIG. 28 is a flowchart showing a second part of the processing procedure of the tracking alert output processing by the tracking alert output function unit in the second embodiment.
  • FIG. 29 is a flowchart showing a third part of the processing procedure of the tracking alert output processing by the tracking alert output function unit in the second embodiment.
  • FIG. 30 is a diagram showing an example of a tracking alert screen displayed on the Web browser of the monitoring terminal according to the second embodiment.
  • FIG. 31 is a diagram showing another example of the tracking alert screen displayed on the Web browser of the monitoring terminal according to the second embodiment.
  • FIG. 32 is a block diagram showing an example of the configuration of the video analysis function unit in the person tracking system according to the third embodiment of the present invention.
  • FIG. 33 is a diagram showing an example of the stored contents of the past search data storage unit according to the third embodiment.
  • FIG. 34 is a diagram showing an example of the storage contents of the detection history data storage unit according to the third embodiment.
  • FIG. 35 is a diagram showing an example of the description contents of the camera information table storage unit in the third embodiment.
  • FIG. 36 is a diagram showing an example of the description contents of the detection history table storage unit in the third embodiment.
  • FIG. 37 is a diagram showing an example of the description contents of the management table storage unit in the third embodiment.
  • FIG. 38 is a diagram showing an example of the description contents of the tracking table storage unit in the third embodiment.
  • FIG. 33 is a diagram showing an example of the stored contents of the past search data storage unit according to the third embodiment.
  • FIG. 34 is a diagram showing an example of the storage contents of the detection history data storage
  • FIG. 39 is a flowchart showing a processing procedure of the detection result determination process by the detection / tracking result determination function unit in the third embodiment.
  • FIG. 40 is a flowchart showing the first part of the processing procedure of the detection alert output process by the detection alert output function unit in the third embodiment.
  • FIG. 41 is a flowchart showing a second part of the processing procedure of the detection alert output process by the detection alert output function unit in the third embodiment.
  • FIG. 42 is a diagram showing an example of a detection alert screen displayed on the Web browser of the monitoring terminal according to the third embodiment.
  • FIG. 43 is a diagram showing another example of the detection alert screen displayed on the Web browser of the monitoring terminal according to the third embodiment.
  • FIG. 44 is a diagram showing an example of a tracking alert screen displayed on the Web browser of the monitoring terminal according to the third embodiment.
  • FIG. 45 is a diagram showing another example of the tracking alert screen displayed on the Web browser of the monitoring terminal according to the third embodiment.
  • FIG. 46 is a flowchart showing a part of the processing procedure of the detection alert output processing by the detection alert output function unit in the person tracking system according to the fourth embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of the overall configuration of the person tracking system 1 according to the first embodiment of the present invention.
  • the person tracking system 1 is a system for tracking a specific person in a large facility having a wide monitoring range such as a building having a plurality of floors such as an office building or a department store, a commercial facility including a plurality of stores, and the like.
  • the person tracking system 1 includes a plurality of surveillance cameras 10, a video analysis function unit 20 provided corresponding to each surveillance camera 10, and a Web server 30 that functions as a person tracking device according to the first embodiment of the present invention.
  • Each surveillance camera 10, the server device SV, and the surveillance terminal 40 are connected via a network NET.
  • the network NET is a private network, for example, a wireless LAN (Local Area Network) or a wired LAN.
  • the network NET may be a wide area network such as the Internet.
  • the plurality of surveillance cameras 10 are network cameras distributed in a large facility so that the shooting ranges do not overlap each other or partially overlap each other.
  • the surveillance camera 10 may be a video camera that captures a moving image within the shooting range, and each frame image constituting the moving image can be acquired as a surveillance image in the shooting range. Further, the surveillance camera 10 may be a still camera that periodically acquires surveillance images by capturing still images at regular time intervals.
  • Each of the plurality of video analysis function units 20 arranged in the server device SV has various analysis functions for the surveillance image acquired from the corresponding surveillance camera 10. The details of the analysis function provided by the video analysis function unit 20 will be described later.
  • the video analysis function unit 20 is not arranged inside the server device SV in this way, but is independently arranged in a dedicated arithmetic unit, cloud, or the like, and is associated with the surveillance camera 10 via the network NET. It is also possible to exchange data with and from the server device SV. Further, if the surveillance camera 10 has a calculation function, the video analysis function unit 20 can be arranged inside the camera. In the present embodiment, the surveillance camera 10 and the video analysis function unit 20 are configured to have a one-to-one correspondence, but one video analysis function unit 20 is assigned to a plurality of surveillance cameras 10. Is also good.
  • the Web server 30 of the server device SV is composed of a server computer, and has a file server 31, a database (hereinafter abbreviated as DB) server 32, a Web application 35, a searcher detection result storage function unit 33, and a function unit as functional units. , The detection / tracking result determination function unit 34 is included. Details of each of these functional units will be described later.
  • the monitoring terminal 40 is composed of a computer such as a personal computer, and can execute the program of the Web browser 41. With the Web browser 41, a monitor such as a security guard who operates the monitoring terminal 40 can view the person tracking result provided by the Web application 35 of the Web server 30. Although only one monitoring terminal 40 is shown in FIG. 1, the person tracking system 1 may include a plurality of monitoring terminals 40.
  • server device SV may have the function of the monitoring terminal 40.
  • FIG. 2 is a block diagram showing an example of the configuration of the video analysis function unit 20 shown in FIG.
  • the video analysis function unit 20 includes an image acquisition module 21, a person detection information extraction function unit 22, and a monitoring / tracking execution function unit 23.
  • the image acquisition module 21 acquires a frame image transmitted from the surveillance camera 10 via a network NET according to a predetermined communication protocol such as RTSP (Real Time Streaming Protocol).
  • the image acquisition module 21 transmits the acquired frame image to the Web server 30 by in-server communication, Websocket, or the like, and stores the acquired frame image in the file server 31.
  • the image acquisition module 21 transmits the acquired frame image to the Web server 30 via the network NET. Further, the image acquisition module 21 sends the acquired frame image to the human detection information extraction function unit 22.
  • the person detection information extraction function unit 22 extracts a whole body image of a person from the input image, extracts a whole body feature amount which is a feature amount and a face image of the person from the whole body image, and further extracts the feature from the face image. It functions as an extraction unit that extracts the amount of facial features, which is an amount.
  • the human detection information extraction function unit 22 includes a whole body detection module 221, an area tracking module 222, a whole body feature amount extraction module 223, a face detection module 224, and a face feature amount extraction module 225.
  • the whole body detection module 221 is a whole body image extraction unit that detects the whole body of each person in the frame image that is the input image and extracts the whole body image.
  • the whole body detection module 221 can detect the whole body of a person based on a whole body image of the person trained in advance by machine learning such as deep learning.
  • the whole body detection module 221 transmits the extracted whole body image to the Web server 30 by in-server communication, Websocket, or the like, and stores the extracted whole body image in the file server 31.
  • the whole body detection module 221 transmits the extracted whole body image to the Web server 30 via the network NET. Further, the whole body detection module 221 also sends the extracted whole body image to the whole body feature amount extraction module 223 and the face detection module 224. Further, the whole body detection module 221 sends the frame image and the extracted whole body image to the area tracking module 222.
  • the area tracking module 222 detects the area position of the whole body image in the frame image input from the whole body detection module 221.
  • the whole body feature amount extraction module 223 is a whole body feature amount extraction unit that extracts the whole body feature amount from the input whole body image.
  • the whole body feature amount is an objective quantification of the body features of a person included in a whole body image.
  • the whole body feature amount can be a numerical value of the attribute information of the person itself such as the body shape, height, gender, age, etc. estimated from the image.
  • the whole body feature amount extraction module 223 can extract the whole body feature amount by using a pre-learned model such as deep learning (for example, Deep-person-reid etc.).
  • the whole body feature amount extraction module 223 can also calculate these whole body feature amounts as local image feature amounts such as HOG (Histogram of Oriented Gradients) and SIFT (Scaled Invariance Feature Transform).
  • the whole body feature amount extraction module 223 transmits the extracted whole body feature amount to the Web server 30 by in-server communication, Websocket, or the like, and stores the extracted whole body feature amount in the file server 31.
  • the whole body feature amount extraction module 223 transmits the extracted whole body feature amount to the Web server 30 via the network NET. Further, the whole body feature amount extraction module 223 sends the extracted whole body feature amount to the monitoring / tracking execution function unit 23.
  • the face detection module 224 is a face image extraction unit that detects a person's face from the input whole body image and extracts the face image.
  • the face detection module 224 can detect the face of a person based on the face image of the person previously learned by machine learning such as deep learning.
  • the face detection module 224 sends the extracted face image to the face feature amount extraction module 225.
  • the face feature amount extraction module 225 is a face feature amount extraction unit that extracts the face feature amount from the input face image.
  • the facial feature amount is an objective quantification of the facial features of a person included in a facial image.
  • the face feature amount extraction module 225 can extract the face feature amount using a model learned in advance by deep learning or the like. Further, the face detection module 224 may calculate these face feature amounts as local image feature amounts such as HOG and SIFT.
  • the face detection module 224 transmits the extracted face feature amount to the Web server 30 by in-server communication, Web socket, or the like, and stores it in the file server 31.
  • the face feature amount extraction module 225 transmits the extracted face feature amount to the Web server 30 via the network NET. Further, the face detection module 224 sends the extracted face feature amount to the monitoring / tracking execution function unit 23.
  • the monitoring / tracking execution function unit 23 calculates the whole body image similarity, which is the similarity of the whole body features of the two input images, and the face image similarity, which is the similarity of the face features of the two input images. Functions as a similarity calculation unit. Specifically, the monitoring / tracking execution function unit 23 includes a whole body matching module 231 and a face matching module 232.
  • the whole body collation module 231 calculates the degree of similarity between the whole body feature amount input from the whole body feature amount extraction module 223 and the whole body feature amount of the person to be tracked instructed by the monitoring terminal 40.
  • the whole body feature amount of the person to be tracked is, for example, extracted in advance by the whole body feature amount extraction module 223 and registered in the file server 31 of the Web server 30.
  • the whole body collation module 231 transmits the calculated similarity to the Web server 30 by in-server communication, Websocket, or the like.
  • the whole body collation module 231 transmits the calculated similarity to the Web server 30 via the network NET.
  • the face matching module 232 calculates the degree of similarity between the face feature amount input from the face feature amount extraction module 225 and the face feature amount of the person to be tracked instructed by the monitoring terminal 40.
  • the face feature amount of the person to be tracked is, for example, extracted in advance by the face feature amount extraction module 225 and registered in the file server 31 of the Web server 30.
  • the face matching module 232 transmits the calculated similarity to the Web server 30 by in-server communication, Websocket, or the like.
  • the face matching module 232 transmits the calculated similarity to the Web server 30 via the network NET.
  • FIG. 3 is a block diagram showing a software configuration of the Web server 30.
  • the Web server 30 has a file server 31, a DB server 32, a searcher detection result storage function unit 33, a detection / tracking result determination function unit 34, and a Web application 35 as functional units.
  • the file server 31 stores various data files.
  • the file server 31 can include a past search data storage unit 311, a detection history data storage unit 312, and a management data storage unit 313.
  • the past search data storage unit 311 stores the past search data, which is the data acquired by each of the plurality of video analysis function units 20.
  • FIG. 4 is a diagram showing an example of past search data stored in the past search data storage unit 311.
  • the past search data can be stored in the past search data storage unit 311 for each whole body image detected by the whole body detection module 221 of each video analysis function unit 20 from the frame image.
  • the past search data includes the frame image 3111 acquired by the image acquisition module 21 of the image analysis function unit 20, the whole body image 3112 extracted by the whole body detection module 221, the whole body feature amount 3113 extracted by the whole body feature amount extraction module 223, and the whole body feature amount 3113.
  • the facial feature amount 3114 extracted by the facial feature amount extraction module 225 can be included.
  • These frame image 3111, whole body image 3112, whole body feature amount 3113, and face feature amount 3114 are associated with each other, for example, by storing them in the same path or attaching the same character string to a part of the file name. be
  • the detection history data storage unit 312 stores detection history data which is data related to each person detected as a specific monitoring target such as a suspicious person, a lost child, and a good customer.
  • FIG. 5 is a diagram showing an example of the detection history data of the detected person stored in the detection history data storage unit 312.
  • the detection history data can include a detected face image 3121 which is a face image of the detected person and a face feature amount 3122 corresponding to the detected face image 3121.
  • the detected face image 3121 and the face feature amount 3122 can be linked, for example, by storing them in the same path or by attaching the same character string to a part of the file name.
  • the data related to the monitored person is stored in advance in the file server 31.
  • the data related to the monitored person can be stored in the file server 31 by inputting the face image of the monitored person from the monitoring terminal 40 to the Web server 30 via the network NET, for example.
  • the Web server 30 inputs the face image to the face feature amount extraction module 225 of one video analysis function unit 20 by in-server communication, Web socket, or the like, so that the face feature amount can be obtained from the face feature amount extraction module 225. It can be acquired and stored in the file server 31.
  • the whole body image 3112 of a plurality of persons stored in the past search data storage unit 311 is browsed by the Web browser 41 of the monitoring terminal 40 via the network NET, and an arbitrary whole body image 3112 is viewed from the monitoring terminal 40.
  • the Web server 30 inputs the designated whole body image 3112 to the face detection module 224 of one video analysis function unit 20 by in-server communication, Web socket, or the like, so that the face image is input from the face detection module 224. It can be acquired and stored in the file server 31 as a face image of the monitored person.
  • the Web server 30 acquires the face feature amount 3114 from the past search data having the designated whole body image 3112 stored in the past search data storage unit 311 and stores it in the file server 31. be able to.
  • the monitored person table in which the information about the monitored person is described is also stored in the DB server 32.
  • the suspicious person ID which is the identification information uniquely identifying the monitored person, the name of the suspicious person who is the name of the monitored person, and the reason why the monitored person is the monitored person. It is possible to describe the type of degree, the physical characteristics and behavior of the person to be monitored, and explanations such as precautions.
  • the detected face image 3121 in the detection history data is a detection history data storage unit when the Web server 30 detects the monitored person by comparison with the data related to the monitored person, for example, from the monitored image of any of the surveillance cameras 10. It can be stored in 312. That is, the Web server 30 transfers the whole body image acquired from the monitoring image and stored in the past search data storage unit 311 to the face detection module 224 of one video analysis function unit 20 by in-server communication, Web socket, or the like. By inputting the image, a face image can be acquired from the face detection module 224 and stored in the detection history data storage unit 312 as the detection face image 3121.
  • the video analysis function unit 20 may be the video analysis function unit 20 corresponding to the surveillance camera 10 that has acquired the surveillance image detected by the person to be monitored.
  • the Web server 30 detects the face image by requesting the face image buffered in the face detection module 224.
  • the face image 3121 may be acquired.
  • the management data storage unit 313 stores management data, which is data related to each tracked person.
  • FIG. 6 is a diagram showing an example of management data for each tracking target person stored in the management data storage unit 313.
  • the management data for each tracking target person can be stored in the management data storage unit 313 according to the designation from the monitoring terminal 40.
  • the management data includes a registered face image 3131 which is a face image of a designated tracked subject, a facial feature amount 3132 which is a feature extracted from the registered face image 3131, and a registered whole body image which is a whole body image of the tracked subject. It can include 3133 and a whole body feature amount 3134 which is a feature extracted from the registered whole body image 3133.
  • These registered face image 3131, face feature amount 3132, registered whole body image 3133, and whole body feature amount 3134 are stored in the same path, or by adding the same character string to a part of the file name, for example. Can be linked.
  • the Web server 30 uses the Web browser 41 of the monitoring terminal 40 to monitor the detected face image 3121 in the detection history data for the monitoring target stored in the detection history data storage unit 312. Let me browse. Then, when the monitoring terminal 40 designates the person as the tracking target person, the Web server 30 stores the detected face image 3121 in the detection history data as the registered face image 3131 in the management data. Further, the Web server 30 can store the face feature amount 3122 in the detection history data as the face feature amount 3132 in the management data. Further, the Web server 30 acquires the whole body image which is the source of the detected face image 3121 in the designated detection history data from the past search data stored in the past search data storage unit 311 and the whole body feature amount thereof. Is also acquired from the past search data and stored as the registered whole body image 3133 and the whole body feature amount 3134 in this management data.
  • the Web server 30 causes the Web browser 41 of the monitoring terminal 40 to browse the full-body images 3112 of a plurality of persons stored in the past search data storage unit 311 and designates an arbitrary full-body image from the monitoring terminal 40.
  • the person may be designated as the tracked person.
  • the Web server 30 inputs the designated whole body image 3112 to the face detection module 224 of one video analysis function unit 20 by in-server communication, Web socket, or the like, so that the face image is input from the face detection module 224. It can be acquired and stored as a registered face image 3131 in the management data storage unit 313.
  • the face feature amount 3132, the registered whole body image 3133, and the whole body feature amount 3134 those stored in the past search data storage unit 311 may be acquired and stored.
  • the face image and the whole body image of the tracked person can also be input to the Web server 30 from the monitoring terminal 40 via the network NET in the same manner as the face image of the monitored person, and the face registered in the management data storage unit 313. It may be stored as the image 3131 and the registered whole body image 3133.
  • the Web server 30 may send the input face image and whole body image to the video analysis function unit 20 by in-server communication, Websocket, or the like to acquire the face feature amount 3132 and the whole body feature amount 3134. ..
  • the DB server 32 stores various data tables.
  • the DB server 32 can include a camera information table storage unit 321, a past search data table storage unit 322, a detection history table storage unit 323, a management table storage unit 324, and the like.
  • the camera information table storage unit 321 is provided corresponding to each of the plurality of surveillance cameras 10, and stores in advance a camera information table 3211 in which various information related to the corresponding surveillance cameras 10 is described.
  • FIG. 7 is a diagram showing an example of the description contents of the camera information table 3211 for each surveillance camera 10 stored in the camera information table storage unit 321.
  • a camera ID for example, a camera ID, a camera name, an aspect ratio, a camera position X, a camera position Y, a camera angle, a face matching threshold, a whole body matching threshold, and the like are described.
  • the camera ID is identification information that uniquely identifies the corresponding surveillance camera 10.
  • the camera name is the name of the corresponding surveillance camera 10. This can be a name associated with the installation position of the corresponding surveillance camera 10 in a large facility.
  • the aspect ratio is the aspect ratio of the image acquired by the corresponding surveillance camera 10.
  • the camera position X and the camera position Y are XY coordinates in a large facility indicating the installation position of the corresponding surveillance camera 10.
  • the camera angle indicates the installation orientation of the corresponding surveillance camera 10.
  • the face matching threshold value and the whole body matching threshold value are threshold values for comparison with the similarity calculated by the whole body matching module 231 and the face matching module 232 of the video analysis function unit 20.
  • the Web server 30 indicates that the whole body image or face image of the person extracted from the surveillance image of the corresponding surveillance camera 10 is the whole body image or face image of the surveillance target person or the tracking target person. Can be determined. Since the face matching threshold value and the whole body matching threshold value depend on the characteristics and installation conditions of the surveillance camera 10 itself, they are adjusted to appropriate values between the time when the surveillance camera 10 is installed and the time when the actual operation is started. To. The face matching threshold value and the whole body matching threshold value may be separately described in the camera information table 3211 as different values for the monitoring target person and the tracking target person.
  • the past search data table storage unit 322 corresponds to each of the past search data stored in the past search data storage unit 311 and describes various data related to the past search data.
  • the Web server 30 stores the past search data in the past search data storage unit 311, the Web server 30 creates the past search data table 3221 and stores it in the past search data table storage unit 322.
  • FIG. 8 is a diagram showing an example of the description contents of the past search data table 3221 stored in the past search data table storage unit 322.
  • the detection ID, the detection date and time, the detection camera ID, the tracking ID, the frame ID, the detection coordinate information X, the detection coordinate information Y, the detection coordinate information With, the detection coordinate information Height, etc. are described. Will be done.
  • the detection ID is identification information assigned to each whole body image 3112 in the frame image 3111 detected by the whole body detection module 221 of the video analysis function unit 20.
  • the detection date and time is the date and time when the whole body detection module 221 detects the whole body image 3112.
  • the detection camera ID is the camera ID of the surveillance camera 10 that has acquired the frame image 3111.
  • the tracking ID is identification information for associating a whole body image 3112 of the same person between a plurality of frame images.
  • the frame ID is identification information for uniquely identifying the frame image 3111.
  • the detected coordinate information X, the detected coordinate information Y, the detected coordinate information Wide, and the detected coordinate information Hight are information indicating the region position of the whole body image 3112 in the frame image 3111 detected by the region tracking module 222, and are information indicating the region position of the whole body image 3112. For example, the XY coordinates in the frame image in the upper left corner, and the image width and image height from the XY coordinates are shown.
  • the Web server 30 can assign the tracking ID of the past search data table 3221, for example, as follows.
  • the Web server 30 is in the area position of the whole body image given by the person detection information extraction function unit 22 of the video analysis function unit 20 and the front frame image of the monitoring camera 10 stored in the past search data table storage unit 322.
  • the identity of the person in the whole body image is determined by comparing with the area position of each whole body image of the past search data table 3221 and considering the overlapping area and the like. If the same person does not appear in the previous frame image, the Web server 30 assigns a new tracking ID. If the same person appears in the previous frame image, the tracking ID is inherited from the past search data table 3221 corresponding to the whole body image 3112 of the person. It should be noted that the Web server 30 may determine the identity of the person by comparing the whole body feature amount instead of the position of the whole body image, and determine whether or not a new tracking ID is assigned.
  • the detection history table storage unit 323 stores the detection history table 3231 in which various data related to the detection history data are described corresponding to each of the detection history data stored in the detection history data storage unit 312.
  • the Web server 30 stores the detection history data in the detection history data storage unit 312
  • the Web server 30 creates the detection history table 3231 and stores it in the detection history table storage unit 323.
  • FIG. 9 is a diagram showing an example of the description contents of the detection history table 3231 stored in the detection history table storage unit 323.
  • the detection history table 3231 for example, a detection ID, a detection date and time, a detection camera ID, a suspicious person ID, a face authentication score, a face left / right angle, a face up / down angle, a tracking ID, and the like are described.
  • the suspicious person ID is a detected suspicious person ID of the monitored person described in the monitored person table (not shown).
  • the face recognition score is the degree of similarity with the image of the monitored person calculated by the whole body matching module 231 and the face matching module 232 of the video analysis function unit 20.
  • the face left-right angle and the face up-down angle indicate the orientation of the face in the detected face image 3121 of the corresponding detection history data.
  • the management table storage unit 324 stores the management table 3241 in which various data related to the management data are described corresponding to each of the management data stored in the management data storage unit 313.
  • the Web server 30 creates the management table 3241 and stores it in the management table storage unit 324.
  • FIG. 10 is a diagram showing an example of the description contents of the management table 3241 stored in the management table storage unit 324.
  • a suspicious person ID, a suspicious person name, a risk type, a description, a query face image path, a face feature amount file path, a monitoring status, a pinning flag, a long-term stay flag, etc. are described. To.
  • the query face image path and the face feature amount file path indicate the storage paths of the registered face image 3131 and the face feature amount 3132 of the management data in the management data storage unit 313.
  • the monitoring status is attribute information other than the risk type, which is arbitrarily set from the monitoring terminal 40 for the tracked person.
  • the pinning flag is a flag set to indicate that when designated as a tracked person.
  • the long-term stay flag is a flag that is set when the person is not designated as a tracked person but stays at the facility for a specified time or longer.
  • the Web server 30 stores the face image and the amount of facial features of the person in the management data storage unit 313 and stores the person in the management table storage unit 324.
  • the management table can be stored. This makes it possible to discover new suspicious persons and new customer candidates.
  • the search person detection result storage function unit 33 and the detection / tracking result determination function unit 34 are provided as back-end functions of the Web server.
  • the search person detection result storage function unit 33 receives the output of each function unit of the person detection information extraction function unit 22 of the video analysis function unit 20 and creates a search data table to be stored in the past search data table storage unit 322. do.
  • the detection / tracking result determination function unit 34 receives the output of each function unit of the monitoring / tracking execution function unit 23 of the video analysis function unit 20 and has the same person as the face image of the monitored person stored in advance.
  • a detection history table that detects the appearance in the surveillance image of any of the surveillance cameras 10 and stores it in the detection history table storage unit 323 is created, and is extracted by each function unit of the person detection information extraction function unit 22.
  • the detected face image 3121 and the face feature amount 3122 of the person are stored in the detection history data storage unit 312.
  • the detection / tracking result determination function unit 34 also receives the output of each function unit of the monitoring / tracking execution function unit 23 of the video analysis function unit 20 and monitors the tracking target person across the shooting range of the plurality of surveillance cameras 10. Track and generate display results that show the tracking results.
  • the Web application 35 is an application program that performs various processes in response to a request from the Web browser 41 of the monitoring terminal 40 and creates data for viewing showing the processing results.
  • the Web application 35 provides the Web server 30 with functions as a login function unit 351, a monitoring function unit 352, a tracking function unit 353, and a past search function unit 354.
  • the login function unit 351 accepts a login from the Web browser 41, authenticates the user, and permits a legitimate user to use the function provided by the Web application 35.
  • the monitoring function unit 352 generates an alert when the detection / tracking result determination function unit 34 detects the same person as the face image of the monitored person, and presents it to the Web browser 41.
  • the tracking function unit 353 tracks the person in real time across a plurality of surveillance cameras 10 with a face image and a whole body image of the same person as the face image of the monitored person detected by the detection / tracking result determination function unit 34.
  • the tracking result is presented to the Web browser 41. Therefore, the tracking function unit 353 includes an image registration function unit 3531 and a detection alert output function unit 3532.
  • the image registration function unit 3531 receives the designation of the face image of the tracking target person to be tracked by the observer on the Web browser 41, and registers the face image 3131 and the face feature amount in the management data storage unit 313.
  • the 3132 is stored, and the management table 3241 is created and stored in the management table storage unit 324.
  • the detection alert output function unit 3532 presents the display result generated by the detection / tracking result determination function unit 34 to the Web browser 41.
  • the past search function unit 354 receives the time and place designation from the Web browser 41, displays a list of people who have visited the designated time and place, and accepts the designation of the person to be searched from among them. Then, the past search function unit 354 searches the Web for the result of the detection / tracking result determination function unit 34 searching for a similar person stored in the past search data storage unit 311 from the face image and the whole body image of the designated person. Present to the browser 41.
  • FIG. 11 is a block diagram showing the hardware configuration of the Web server 30.
  • the Web server 30 includes, for example, a hardware processor 301A such as a CPU (Central Processing Unit), a program memory 301B, a storage device 302, and a communication interface device 303.
  • the program memory 301B, the storage device 302, and the communication interface device 303 are connected to the hardware processor 301A via the bus 304.
  • the communication interface device 303 includes, for example, one or more wired or wireless communication interface units, and transmits / receives various information between the video analysis function unit 20 and the monitoring terminal 40 according to the communication protocol used in the network NET. Enables.
  • the program memory 301B includes, for example, a non-volatile memory such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive) that can be written and read at any time, and a non-volatile memory such as a ROM (Read Only Memory).
  • a program required for executing various control processes according to the first embodiment of the present invention is stored by being executed by a hardware processor 301A such as a CPU. That is, the hardware processor 301A functions as the searcher detection result storage function unit 33 and the detection / tracking result determination function unit 34 as shown in FIG. 3 by reading and executing the program stored in the program memory 301B. be able to.
  • these processing function units may be realized by separate hardware processors. That is, the Web server 30 may include a plurality of hardware processors. In addition, at least a part of these processing functions is a variety of other hardware circuits including integrated circuits such as ASIC (Application Specific Integrated Circuit), FPGA (field-programmable gate array), and GPU (Graphics Processing Unit). It may be realized in the form of. Further, the program stored in the program memory 301B can include a program of the Web application as shown in FIG.
  • the storage device 302 is used as a storage medium in combination with a non-volatile memory such as an HDD or SSD that can be written and read at any time and a volatile memory such as a RAM (RandomAccessMemory). It is used to store various data acquired and created in the process of processing. Further, the storage device 302 can be configured with a file server 31 and a DB server 32 as shown in FIG.
  • the Web server 30 performs an authentication operation by the login function unit 351 provided by the Web application 35. do. Then, if it is confirmed that the user is a legitimate user, the Web server 30 generates a monitoring screen for browsing on the Web browser 41 by the monitoring function unit 352 provided by the Web application 35, and sends the Web browser 41 to the Web browser 41. Send.
  • the monitoring screen can be generated as follows.
  • Each of the plurality of surveillance cameras 10 periodically acquires the surveillance image and inputs the acquired surveillance image to the corresponding video analysis function unit 20.
  • the image acquisition module 21 of the video analysis function unit 20 acquires a frame image which is a surveillance image from the corresponding surveillance camera 10, and the person detection information extraction function unit 22 obtains a full-body image of a person in the frame image. The region position, the whole body feature amount, and the face feature amount of the whole body image are extracted. Then, the video analysis function unit 20 transmits the frame image, the whole body image, the area position of the whole body image, the whole body feature amount, and the face feature amount to the Web server 30 by in-server communication, Websocket, or the like.
  • the Web server 30 uses the frame image, the whole body image, the whole body feature amount, and the face feature amount transmitted from each of the plurality of video analysis function units 20 as the past search data, and is the past search data storage unit of the file server 31. Accumulate in 311.
  • the search person detection result storage function unit 33 of the Web server 30 creates a past search data table including the area position of the whole body image transmitted from each of the plurality of video analysis function units 20, and creates a DB. It is stored in the past search data table storage unit 322 of the server 32. In this way, each time the surveillance image is acquired by each surveillance camera 10, the past search data is accumulated in the past search data storage unit 311 and is linked to the past search data in the past search data table storage unit 322. The data table for past search that was there is accumulated.
  • the monitoring function unit 352 can generate a monitoring screen by arranging the frame images from each monitoring camera 10 accumulated in the past search data storage unit 311 on one screen. By viewing this monitoring screen displayed on the Web browser 41 of the monitoring terminal 40, a monitor such as a security guard can grasp the real-time situation of each part in the facility.
  • the monitoring / tracking execution function unit 23 of each video analysis function unit 20 accesses the file server 31 by in-server communication, Web socket, or the like, and the facial features of each of the plurality of monitored persons stored in advance there. And the facial feature amount extracted by the person detection information extraction function unit 22, the degree of similarity is calculated. Then, the monitoring / tracking execution function unit 23 transmits the calculated similarity to the facial feature amount of each monitored person to the Web server 30 by in-server communication, Websocket, or the like.
  • the detection / tracking result determination function unit 34 of the Web server 30 transfers the similarity transmitted from each of the plurality of video analysis function units 20 to the camera information table 3211 of the corresponding surveillance camera 10 of the camera information table storage unit 321. Compare with the memorized face matching threshold and whole body matching threshold. Then, when the similarity is larger than the threshold value, the detection / tracking result determination function unit 34 determines that the person having the facial feature amount extracted by the person detection information extraction function unit 22 is the monitoring target, and displays the detection alert screen. Generate. Further, the detection / tracking result determination function unit 34 stores the detected face image 3121 and the face feature amount 3122 as the detection history data in the detection history data storage unit 312, and also generates the detection history table 3231 to detect it. It is stored in the history table storage unit 323.
  • the monitoring function unit 352 transmits the detection alert screen generated by the detection / tracking result determination function unit 34 to the Web browser 41 via the network NET and displays it.
  • the Web browser 41 displays this detection alert screen in the alert screen display area provided in a part of the monitoring screen or by opening a window different from the monitoring screen.
  • FIG. 12 is a diagram showing an example of the detection alert screen 42 displayed on the Web browser 41.
  • the detection alert screen 42 includes a detection person card 421 for each detected person.
  • the detected person card 421 may include a monitored person face image 4211, a detected face image 4212, a warning message 4213, a detection ID 4214, a similarity degree 4215, a detection information 4216, and a tracking start button 4217 as display contents. can.
  • a monitoring target face image and "detection face image” in FIG. 12
  • characters are actually images, not characters.
  • the monitored face image 4211 is a face image of the monitored person stored in advance in the file server 31, and the detected face image 4212 is the detection of the person detected to be the monitored person. It is a detected face image 3121 stored in the history data storage unit 312.
  • the alert message 4213 is a message for calling the attention of the observer, and the blinking indicator light may be identified and displayed.
  • the detection ID 4214 is identification information posted from the past search data table 3221 or the detection history table 3231.
  • the similarity degree 4215 is the degree of similarity between the face image of the monitored person and the face image of the detected person.
  • the detection information 4216 includes detection camera location information based on the detection camera ID in the past search data table 3221 or detection history table 3231, and detection date and time information also based on the detection date and time.
  • the tracking start button 4217 is a button pressed when tracking the person.
  • the old detection person card 421 is shifted downward so that it is displayed at the top of the detection alert screen 42 every time a person is newly detected as a person to be monitored. No new detection person card 421 is added for the same person.
  • the history of the person stored in the detection history data storage unit 312 and the detection history table storage unit 323 is displayed in a list.
  • FIG. 13 is a flowchart showing a processing procedure of image registration processing by the image registration function unit 3531 of the tracking function unit 353.
  • the image registration function unit 3531 periodically performs the process shown in this flowchart, for example, in synchronization with the acquisition interval of the surveillance image of the surveillance camera 10.
  • the image registration function unit 3531 first determines whether or not the monitor has pressed the tracking start button 4217 on the detection alert screen 42 displayed on the Web browser 41 on the monitoring terminal 40 (step S11). If it is determined that the tracking start button 4217 has not been pressed, the image registration function unit 3531 ends this image registration process.
  • the image registration function unit 3531 acquires the face image of the person as the tracking face image (step S12). That is, the image registration function unit 3531 acquires the detected face image 3121 as a tracking face image from the detection history data storage unit 312 based on the tracking ID of the detection history table storage unit 323 having the detection ID of the detection alert screen 42. .. For example, the image registration function unit 3531 acquires the detected face image 3121 specified by the detection ID described in the detection history table 3231 having the tracking ID and whose detection date and time is a specific time, for example, the latest one. be able to.
  • the specific time is not limited to the latest, but may be the oldest, the latest or the oldest during the specified period, and the season (spring, summer, autumn, winter, etc.).
  • the image registration function unit 3531 generates a selection screen including the detected face image 3121 specified by the detection ID described in each of the detection history tables 3231 having the tracking ID in a list format, and creates a selection screen thereof in the Web browser 41. May be displayed so that the observer can select the detected face image 3121 as the tracking face image. Then, the image registration function unit 3531 stores the acquired tracking face image in the management data storage unit 313 as the registered face image 3131.
  • the image registration function unit 3531 creates a management table 3241 based on the information about the corresponding monitored person described in the monitored person table (not shown) stored in advance in the DB server 32, and creates the management table 3241. It is stored in the storage unit 324.
  • the management table 3241 includes a query face feature path indicating a storage path of the registered face image 3131 in the management data storage unit 313.
  • the image registration function unit 3531 acquires the whole body image corresponding to the detected face image 3121 acquired from the detection history data storage unit 312 as the tracking face image as the tracking whole body image (step S13). That is, the image registration function unit 3531 tracks the whole body image 3112 from the past search data storage unit 311 based on the detection ID described in the detection history table 3231 for the detected face image 3121 acquired as the tracking face image. Obtained as a full-body image.
  • the image registration function unit 3531 stores the acquired whole body image for tracking in the management data storage unit 313 as a registered whole body image 3133. Further, the image registration function unit 3531 adds a query whole body feature path indicating the storage path of the registered whole body image 3133 in the management data storage unit 313 to the management table 3241 stored in the management table storage unit 324.
  • the image registration function unit 3531 acquires the tracking face image feature amount and the tracking whole body image feature amount (step S14). That is, the image registration function unit 3531 acquires the face feature amount 3122 as the tracking face feature amount from the detection history data storage unit 312 based on the detection ID, and the whole body feature amount from the past search data storage unit 311. 3113 is acquired as a systemic feature for tracking.
  • the image registration function unit 3531 stores the acquired face feature amount for tracking and the whole body feature amount for tracking in the management data storage unit 313 as the face feature amount 3132 and the whole body feature amount 3134. Further, the image registration function unit 3531 adds a facial feature amount file path and a whole body feature amount file path indicating those feature amount storage paths to the management table 3241 stored in the management table storage unit 324.
  • the image registration function unit 3531 uses the registered face image 3131 and the registered whole body image 3133 stored in the management data storage unit 313 as tracking images, and the face feature amount 3132 and the whole body feature amount 3134 as tracking feature amounts. , It is transmitted to each of the plurality of image analysis function units 20 by in-server communication, Websocket, or the like (step S15). After that, the image registration function unit 3531 ends this image registration process.
  • FIG. 14 is a flowchart showing a processing procedure of monitoring / tracking processing by the monitoring / tracking execution function unit 23 of the video analysis function unit 20.
  • the monitoring / tracking execution function unit 23 periodically performs the process shown in this flowchart.
  • the time interval for performing the process shown in this flowchart may be any time interval, for example, every few seconds.
  • the monitoring / tracking execution function unit 23 may perform the process shown in this flowchart at a time interval that is an integral multiple of the acquisition interval of the surveillance image of the surveillance camera 10.
  • the monitoring / tracking execution function unit 23 first determines whether or not the tracking image and the feature amount have been received from the image registration function unit 3531 of the Web server 30 (step S21). If it is determined that the tracking image and the feature amount have not been received, the monitoring / tracking execution function unit 23 ends this monitoring / tracking process.
  • the monitoring / tracking execution function unit 23 obtains the whole body image at time t and the feature amount from the person detection information extraction function unit 22. , Acquired as a collation whole body image and a collation whole body feature amount (step S22).
  • the surveillance image of the corresponding surveillance camera 10 includes a whole body image of a plurality of persons
  • the monitoring / tracking execution function unit 23 acquires the matching whole body image and the matching whole body feature amount for each person.
  • the monitoring / tracking execution function unit 23 uses the whole body collation module 231 to make each of the collation whole body features from the human detection information extraction function unit 22 similar to the tracking whole body features from the image registration function unit 3531.
  • the degree of whole-body image similarity is calculated (step S23).
  • the monitoring / tracking execution function unit 23 acquires the face image at time t and its feature amount as the collation face image and the collation face feature amount from the person detection information extraction function unit 22 (step S24).
  • the surveillance image of the corresponding surveillance camera 10 includes the face images of a plurality of persons
  • the monitoring / tracking execution function unit 23 acquires the matching face image and the matching face feature amount for each person.
  • the whole body image may be extracted but the face image may not be extracted. Therefore, the number of collation whole body images acquired in step S22 does not always match the number of collation face images acquired in step S24.
  • the monitoring / tracking execution function unit 23 uses the face collation module 232 to make each of the collation face features from the person detection information extraction function 22 similar to the tracking face features from the image registration function unit 3531.
  • the degree of facial image similarity is calculated (step S25).
  • the monitoring / tracking execution function unit 23 detects / traces the set of the similarity and the matching image of the whole body image and the face image of the Web server 30 by in-server communication, Websocket, or the like.
  • the set of similarity and collation image includes both the set of whole body image similarity and collation full body image and the set of face image similarity and collation face image, and the face image. It is possible to include only the set of the whole body image similarity and the matching whole body image without the set of the similarity and the matching face image.
  • the monitoring / tracking execution function unit 23 determines whether or not the monitoring terminal 40 has pressed the tracking stop button on the detection alert output screen displayed on the Web browser 41 by the monitor (step S27). The details of the detection alert output screen having the tracking stop button will be described later. When it is determined that the tracking stop button has been pressed, the monitoring / tracking execution function unit 23 ends this monitoring / tracking process.
  • Step S28 the above process is repeated from the above step S22.
  • FIG. 15 is a flowchart showing a processing procedure of detection / tracking result determination processing by the detection / tracking result determination function unit 34 of the Web server 30.
  • the detection / tracking result determination function unit 34 periodically performs the processing shown in this flowchart, for example, in synchronization with the processing interval of the monitoring / tracking execution function unit 23 of the video analysis function unit 20.
  • the detection / tracking result determination function unit 34 first determines whether or not a set of similarity and collation images has been received from the monitoring / tracking execution function unit 23 (step S31). If it is determined that the set of similarity and matching images has not been received, the detection / tracking result determination function unit 34 ends this detection / tracking result determination process.
  • the detection / tracking result determination function unit 34 acquires the face matching threshold value and the whole body matching threshold value (step S32). That is, the detection / tracking result determination function unit 34 relates to the surveillance camera 10 corresponding to the video analysis function unit 20 that is stored in the camera information table storage unit 321 and is the source of the set of the similarity and the collation image.
  • the face matching threshold and the whole body matching threshold are acquired from the camera information table 3211 of the above.
  • the detection / tracking result determination function unit 34 compares each of the received whole body image similarity with the acquired whole body collation threshold value, and determines whether or not the whole body image similarity is larger than the whole body collation threshold value (there is a whole body image similarity degree). Step S33). When it is determined that the whole body image similarity is larger than the whole body collation threshold value, the detection / tracking result determination function unit 34 receives the whole body image similarity determined to be large in the corresponding collation in step S31. It is stored in a predetermined storage area of the storage device 302 together with the whole body image (step S34). That is, a person having a whole-body image similarity larger than the whole-body matching threshold value is regarded as a tracking target person, and the matching whole-body image and the whole-body image similarity are stored.
  • the detection / tracking result determination function unit 34 sets the acquired face matching threshold value for each of the received face image similarity. By comparing, it is determined whether or not there is a face image similarity larger than the face matching threshold value (step S35). When it is determined that the face image similarity is larger than the face matching threshold value, the detection / tracking result determination function unit 34 stores the face image similarity determined to be large together with the corresponding matching face image. It is stored in the device 302 (step S36). That is, a person having a face image similarity larger than the face matching threshold value is assumed to be a tracking target person, and the matching face image and the face image similarity are stored.
  • step S35 After that, or when it is determined in step S35 that there is no face image similarity larger than the face matching threshold value, is the detection / tracking result determination function unit 34 further storing the similarity with the matching image? It is determined whether or not (step S37). When it is determined that the similarity with the collation image is not saved, that is, when the tracking target person does not exist, the detection / tracking result determination function unit 34 ends the detection / tracking result determination process.
  • the detection / tracking result determination function unit 34 is based on the information stored in the predetermined storage area of the storage device 302. A display result is created (step S38). Then, the detection / tracking result determination function unit 34 transmits the created display result to the detection alert output function unit 3532 (step S39). After that, the detection / tracking result determination function unit 34 ends the detection / tracking result determination process.
  • the detection alert output function unit 3532 of the tracking function unit 353 generates a detection alert output screen based on the display result sent from the detection / tracking result determination function unit 34 by an alert output process (not shown). Then, the detection alert output function unit 3532 transmits it to the monitoring terminal 40 via the network NET and displays it on the Web browser 41.
  • the Web browser 41 displays the detection alert output screen in the alert screen display area provided in a part of the monitoring screen or by opening a window different from the monitoring screen.
  • FIG. 16 is a diagram showing an example of the detection alert output screen 43 displayed on the Web browser 41.
  • the detection alert output screen 43 is displayed for each tracked person to be tracked.
  • the detection alert output screen 43 includes a tracking target person information area 431, an elapsed time information area 432, and a tracking information card 433.
  • characters are shown as "face image”, “whole body image”, “image # 1", “image # 2", “image # 3", “image # 4", and "frame image”. But note that in reality they are images, not text.
  • the tracking target person information area 431 is an area for displaying information related to the tracking target.
  • the tracking target person information area 431 includes a warning message 4311, a detection ID 4312, a registered image 4313, a detection information 4314, a past detection image 4315, a suspicious person ID 4316, a risk type 4317, an explanation 4318, and a tracking stop button 4319. include.
  • the alert message 4311 is a message for calling the attention of the observer, and for example, the risk type of the monitored person designated as the tracked person can be displayed.
  • This risk type can be posted from the management table 3241.
  • the detection ID 4312 is the identification information posted from the management table 3241.
  • the registered image 4313 is a registered face image 3131 and a registered whole body image 3133 stored in the management data storage unit 313 of the tracking target person.
  • the detection information 4314 includes the detection camera location information based on the detection camera ID in the detection history table 3231 and the detection date and time information based on the detection date and time. In the display of the detection information 4314, the detection camera location information and the detection date / time information are added every time the tracking target person is detected from the surveillance image of the new surveillance camera 10.
  • the past detection image 4315 is a face image or a whole body image of the person stored in the past search data storage unit 311 or the detection history data storage unit 312. If the person has never been detected in the past, the past detection image 4315 is blank.
  • the suspicious person ID 4316, the risk type 4317, and the description 4318 can be posted from the management table 3241.
  • the tracking stop button 4319 is a button that is pressed when the tracking of the person is finished.
  • the elapsed time information area 432 is an area for displaying the elapsed time since the tracking start button 4217 on the detection alert screen 42 is pressed.
  • the tracking information card 433 presents the display result of the detection / tracking result determination function unit 34, and each time the detection / tracking result determination function unit 34 outputs the display result, the detection alert output screen 43 It will be additionally displayed at the top of.
  • the old tracking information card 433 is gradually shifted downward.
  • the tracking information card 433 includes detection date / time information 4331, detection camera location information 4332, detection image 4333, image similarity information 4334, and detection background image 4335 as display contents.
  • the detection date / time information 4331 is the date / time information detected by the tracking target person from the surveillance image of any of the surveillance cameras 10.
  • the detection camera location information 4332 is camera location information based on the detected surveillance camera ID.
  • the detected image 4333 is a face image for matching and / or a whole body image for matching of the tracked subject that has been detected and saved.
  • the image similarity information 4334 is a face image similarity and / or a whole body image similarity detected and stored.
  • the detection background image 4335 is a frame image which is an original monitoring image from which a face image for collation and / or a whole body image for collation is extracted. As this frame image, the frame image 3111 stored in the past search data storage unit 311 is used.
  • FIG. 17 is a diagram showing another example of the detection alert output screen 43 displayed on the Web browser 41.
  • the detection alert output screen 43 of FIG. 16 shows an example when the face and the whole body of the tracked subject are detected, but FIG. 17 shows another surveillance camera 10 when the tracked subject moves from there.
  • the surveillance image of the above shows the case where the tracked subject is detected from the whole body image.
  • the tracking target person is not detected from the face image, only the whole body image is displayed in the detected image 4333, and only the whole body image similarity is displayed in the image similarity information 4334. In this way, even when the face image of the tracking target person cannot be acquired by the surveillance camera 10, the tracking target person can be tracked.
  • the tracking operation by the tracking function unit 353 is a function of tracking a tracked person in real time. On the other hand, there are cases where it is desired to investigate whether a specific person has visited the facility in the past.
  • the past search function unit 354 receives the time and place designation from the Web browser 41, and based on the past search data table 3221 stored in the past search data table storage unit 322, the past search data.
  • a full-body image 3112 of a person who visited the designated time and place is extracted from the storage unit 311. Then, a selection screen displaying the extracted whole body image 3112 in a list is created and displayed on the Web browser 41.
  • the past search function unit 354 Upon receiving the selection designation of the person to be searched from the Web browser 41, the past search function unit 354 uses the selected and designated whole body image 3112 as the tracking whole body image, and replaces the surveillance image from the real-time surveillance camera 10. The same operation as the tracking function unit 353 is performed on the frame image 3111 stored in the past search data storage unit 311 for the designated time and place.
  • the past search function unit 354 searches for a person similar to the person selected and specified from the past visitors stored in the past search data storage unit 311 and detects the result on the alert output screen. It can be displayed on the Web browser 41 as 43.
  • the face image and the whole body image of the tracking target person to be tracked are registered by the image registration function unit 3531 as the registration unit. Then, by the detection / tracking result determination function unit 34 as the detection unit, each of the surveillance images periodically acquired by each of the plurality of surveillance cameras 10 is registered as a face image similar to the registered face image. At least one of the whole body image similar to the whole body image is detected, and at least one of the detected face image and the whole body image is output by the detection alert output function unit 3532 as an output unit. Therefore, even if the surveillance camera 10 cannot acquire the face image of the tracking target person, the tracking target person can be tracked by using the whole body image.
  • the image registration function unit 3531 receives the designation of the face image of the tracking target person from the monitoring terminal 40 operated by the monitor, and obtains the designated face image and the whole body image corresponding to the face image for tracking face image. And the whole body image for tracking is registered, and the detection / tracking result determination function unit 34 registers the face image similar to the registered tracking face image and the whole body similar to the registered tracking whole body image for each of the monitoring images. Detects at least one of the image. In this way, the tracking face image and the tracking whole body image can be easily registered from the monitoring terminal 40.
  • an image extracted from the surveillance image may be specified, or a photograph, an image file, or the like may be read by the surveillance terminal.
  • the person tracking device further extracts a whole body image of the person from each of the surveillance images, extracts the whole body feature amount which is the feature amount and the face image of the person from the whole body image, and is the feature amount from the face image.
  • the whole body image, the whole body feature amount, and the face feature amount extracted by the person detection information extraction function unit 22 as the extraction unit for extracting the face feature amount are acquired from the person detection information extraction function unit 22, and the acquired whole body image.
  • a file server 31 which is an image storage unit for accumulating whole body features and facial features together with monitoring images can be provided.
  • the image registration function unit 3531 receives the designation of the face image of the tracked person from the monitoring terminal 40 operated by the monitor, and the whole body image and the whole body feature stored in the file server 31 corresponding to the designated face image.
  • the amount and facial feature amount and the facial image from which the facial feature amount is extracted are registered as a tracking whole body image, a tracking whole body feature amount, a tracking facial feature amount, and a tracking facial image.
  • the detection / tracking result determination function unit 34 uses a monitoring image accumulated in the file server 31 from the time of registration by the image registration function unit 3531 as a collation image, and has a human detection information extraction function for each collation image.
  • the degree of similarity between the whole body feature amount extracted by the part 22 and the whole body feature amount for tracking, and the degree of similarity between the face feature amount extracted by the human detection information extraction function part 22 and the face feature amount for tracking From the monitoring / tracking execution function unit 23 as the similarity calculation unit for calculating the facial image similarity, the whole body image similarity and the facial image similarity calculated by the monitoring / tracking execution function unit 23, and the tracking facial image and A set with a whole body image for tracking is acquired, it is determined whether or not at least one of the whole body image similarity and the face image similarity is larger than the corresponding threshold value, and if it is larger than the threshold value, the human detection information extraction function unit.
  • the 22 is a monitoring obtained by acquiring an image corresponding to at least one similarity between a matching whole body image, which is a matching image extracted from the matching image, and a matching face image, which is a face image, and a monitoring image as a matching image.
  • a display result for displaying the position information of the camera 10 together with the tracking whole body image and the tracking face image registered by the image registration function unit 3531 is created.
  • the detection alert output function unit 3532 transmits the display result created by the detection / tracking result determination function unit 34 to the monitoring terminal 40, and causes the monitoring terminal 40 to display the display result. Therefore, based on the similarity of the feature amount, a person having a face or a whole body similar to the tracking image can be easily detected and tracked from the matching image.
  • the detection / tracking result determination function unit 34 may further include at least one display of the whole body image similarity and the face image similarity in the display result. This makes it possible to easily grasp how similar the detected persons are.
  • the detection / tracking result determination function unit 34 may further include the display of the collation image in the display result. This makes it possible to browse the image of the detected person and easily grasp how similar the person is.
  • the image registration function unit 3531 is stored at a specific time from the whole body images, whole body features, and facial features of the tracked subject stored in the file server 31 before the time of registration, for example, the latest.
  • the whole body image, the whole body feature amount and the face feature amount can be registered as the tracking whole body image, the tracking whole body feature amount and the tracking face feature amount. This allows people to be tracked based on the latest images.
  • the image registration function unit 3531 registers a whole body image for tracking and a whole body image for tracking from the whole body image, the whole body feature amount, and the face feature amount of the tracking target person accumulated in the file server 31 before the time of registration.
  • the selection of the whole body feature amount and the tracking face feature amount may be accepted from the monitoring terminal 40. As a result, it is possible to specify an image in which the person is most easily grasped, and it is possible to reduce the possibility of viewing.
  • the person tracking system includes a person tracking device according to the first embodiment, a plurality of surveillance cameras 10, a monitoring terminal 40 operated by a monitor, a person detection information extraction function unit 22, and a person detection information extraction function unit 22.
  • a video analysis function unit 20 as an analysis unit including a monitoring / tracking execution function unit 23 can be provided.
  • the human detection information extraction function unit 22 extracts the whole body feature amount from the whole body detection module 221 as the whole body image extraction unit that extracts the whole body image from the monitoring image and the whole body image extracted by the whole body detection module 221.
  • the whole body feature amount extraction module 223 as a quantity extraction unit
  • the face detection module 224 as a face image extraction unit that extracts a face image from the whole body image extracted by the whole body detection module 221 and the face extracted by the face detection module 224.
  • It can include a face feature amount extraction module 225 as a face feature amount extraction unit for extracting a face feature amount from an image.
  • the monitoring / tracking execution function unit 23 has a degree of similarity between the whole body feature amount extracted by the whole body feature amount extraction module 223 for each collation image and the whole body feature amount registered by the image registration function unit 3531.
  • the face feature amount extracted by the whole body matching module 231 as the whole body similarity calculation unit for calculating the image similarity and the face feature amount extraction module 225 for each of the matching images and the face registered by the image registration function unit 3531. It can include a face matching module 232 as a face similarity calculation unit for calculating a face image similarity which is a similarity with a feature amount.
  • the person tracking method according to the first embodiment is a person tracking method for tracking a person to be tracked from surveillance images acquired by a plurality of surveillance cameras 10, and a Web server 30 which is a computer can be used as a computer.
  • the surveillance images periodically acquired by each of the plurality of surveillance cameras 10 are stored in the file server 31 which is a storage device, the whole body image of the person is extracted from each of the surveillance images, and the whole body feature which is the feature amount is extracted from each of the surveillance images.
  • the person detection information extraction function unit from the person detection information extraction function unit 22 of the image analysis function unit 20 which is an extraction device that extracts the amount and the face image of the person and extracts the facial feature amount which is the feature amount from the face image.
  • the monitoring terminal 40 that acquires the whole body image, the whole body feature amount, and the face feature amount extracted by 22 and stores the acquired whole body image, the whole body feature amount, and the face feature amount in the file server 31 and is operated by the observer. Accepts the designation of the face image of the tracked subject to be tracked from, and extracts the whole body image, whole body feature amount, face feature amount, and face feature amount stored in the file server 31 corresponding to the specified face image.
  • the created face image is registered as a tracking whole body image, a tracking whole body feature amount, a tracking face feature amount, and a tracking face image, and the monitoring image accumulated in the file server 31 from the time of registration is used as a matching image.
  • the whole body image similarity which is the similarity between the whole body feature amount extracted by the person detection information extraction function unit 22 and the tracking whole body feature amount, and the person detection information extraction function unit 22 extracted for each of the matching images.
  • the monitoring / tracking execution function unit 23 of the video analysis function unit 20 which is a similarity calculation device for calculating the face image similarity, which is the similarity between the face feature amount and the tracking face feature amount, the monitoring / tracking execution function unit.
  • a set of the whole body image similarity and the face image similarity calculated by 23 and the tracking face image and the tracking whole body image is acquired, and at least one of the whole body image similarity and the face image similarity for each of the matching images is It is determined whether or not it is larger than the corresponding threshold, and when at least one of the whole body image similarity and the face image similarity is larger than the corresponding threshold, the whole body image for matching and the face are the whole body images extracted from the matching image.
  • the image corresponding to the similarity of at least one of the matching face images, which is an image, and the position information of the monitoring camera 10 that has acquired the monitoring image as the matching image are registered as a whole body image for tracking and a tracking image.
  • the person tracking system 1 according to the second embodiment of the present invention may be the same as the system 1 according to the first embodiment described with reference to FIG. The explanation is omitted.
  • the Web server 30 functions as a person detection device and a person tracking device according to the second embodiment of the present invention.
  • Video analysis function unit 20 may be the same as the video analysis function unit 20 in the first embodiment described with reference to FIG. 2, and the description thereof will be omitted.
  • FIG. 18 is a block diagram showing a software configuration of the Web server 30 in the second embodiment.
  • the Web server 30 is different from the Web server 30 in the first embodiment described with reference to FIG. 3 in the following points.
  • the hardware configuration is as described in the first embodiment with reference to FIG.
  • the DB server 32 includes a camera information table storage unit 321, a past search data table storage unit 322, a detection history table storage unit 323, a management table storage unit 324, and the like, and further tracks.
  • a table storage unit 325 can be included.
  • FIG. 19 is a diagram showing an example of the description contents of the camera information table 3211 for each surveillance camera 10 stored in the camera information table storage unit 321.
  • face matching threshold values 1 to 3 and whole body matching threshold values 1 to 3 are described in place of the face matching threshold value and the whole body matching threshold value in the first embodiment.
  • the face matching threshold values 1 to 3 and the whole body matching threshold values 1 to 3 are threshold values for comparison with the similarity calculated by the whole body matching module 231 and the face matching module 232 of the video analysis function unit 20.
  • the face matching threshold value 1 corresponds to a face image similarity for classifying whether or not the face image of a person extracted from the surveillance image of the corresponding surveillance camera 10 is the face image of the surveillance target person or the tracking target person. It is a threshold of 1.
  • the Web server 30 uses the Web server 30 to display the face image of the person extracted from the monitoring image of the corresponding monitoring camera 10. It can be determined that the image is the face image of the monitored person or the tracked person.
  • the face matching thresholds 2 and 3 correspond to face image similarity larger than the face matching threshold 1, and when the extracted face image of the person is the face image of the monitored person or the tracked person, the face image is displayed. It is a second threshold for classifying into a plurality of stages. That is, the magnitudes of these threshold values have a relationship of [face matching threshold value 1 ⁇ face matching threshold value 2 ⁇ face matching threshold value 3].
  • the whole body collation threshold value 1 is a whole body image similarity for classifying whether or not the whole body image of the person extracted from the surveillance image of the corresponding surveillance camera 10 is the whole body image of the monitored person or the tracked person. It is the corresponding first threshold.
  • the Web server 30 uses the whole body image of the person extracted from the surveillance image of the corresponding surveillance camera 10 as the monitoring target person or the tracking target. It can be determined that it is a full-body image of a person.
  • the whole body collation thresholds 2 and 3 correspond to the whole body image similarity larger than the whole body collation threshold value 1, and when the whole body image of the extracted person is the whole body image of the monitored person or the tracked person, the whole body image is displayed. It is a second threshold value for classifying into a plurality of stages. That is, the magnitudes of these threshold values have a relationship of [whole body collation threshold 1 ⁇ whole body collation threshold 2 ⁇ whole body collation threshold 3].
  • each threshold value is generally determined by the matching model used by the face matching module 232 and the matching model used by the whole body matching module 231 in the monitoring / tracking execution function unit 23 of the video analysis function unit 20 for calculating the similarity. Since each threshold value depends on the type, performance, installation conditions, etc. of the surveillance camera 10, the camera is adjusted to an appropriate value between the time when the surveillance camera 10 is installed and the time when the actual operation is started. It is described in the information table 3211.
  • the face matching threshold values 1 to 3 and the whole body matching threshold values 1 to 3 may be separately described in the camera information table 3211 as different values for the monitoring target person and the tracking target person. Further, it goes without saying that each threshold value is not limited to three stages. That is, the second threshold value may be at least one.
  • the face recognition score described in the detection history table 3231 stored in the detection history table storage unit 323 is the degree of similarity with the face image of the monitored person calculated by the face matching module 232 of the video analysis function unit 20. be.
  • the similarity the real value of the similarity calculated by the face matching module 232 is stored, and as will be described later, the face image similarity label ID in three stages is used for displaying the detection alert screen on the Web browser 41. Can be rewritten as.
  • the tracking table storage unit 325 is a whole-body image or face image of the tracked subject by the Web server 30 from the whole-body image similarity or face image similarity calculated by the whole-body matching module 231 or the face matching module 232 of the video analysis function unit 20.
  • the tracking table in which the similarity degree of the person extracted from the surveillance image of any of the surveillance cameras 10 determined to be determined is described is stored.
  • FIG. 20 is a diagram showing an example of the description contents of the tracking table 3251 stored in the tracking table storage unit 325.
  • the tracking table 3251 includes a record consisting of a detection ID, a whole body image similarity and a face image similarity for each suspicious person ID of the tracked person, and each record is a whole body image or a face image of the tracked person by the Web server 30.
  • the whole body image similarity and the face image similarity the real values of the similarity calculated by the whole body collation module 231 and the face collation module 232 of the image analysis function unit 20 are stored. It can be rewritten into a three-stage full-body image similarity label ID and a face image similarity label ID for displaying the alert screen.
  • the detection / tracking result determination function unit 34 provided as the back-end function of the Web server receives the output of each function unit of the monitoring / tracking execution function unit 23 of the video analysis function unit 20. , It is detected that the same person as the whole body image and / or the face image of the tracking target person designated by the observer appears in the surveillance image of any of the surveillance cameras 10. Then, in response to the detection, the detection / tracking result determination function unit 34 adds a record to the tracking table of the tracking target person stored in the tracking table storage unit 325.
  • the monitoring function unit 352 when the detection / tracking result determination function unit 34 detects the same person as the face image of the monitored person, the monitoring function unit 352 generates an alert and presents it to the Web browser 41. Therefore, in the second embodiment, the monitoring function unit 352 includes a detection alert output function unit 3521 that generates a detection alert screen for presenting to the Web browser 41.
  • the detection alert screen is an output screen for presenting an image of a person who is detected to be similar to the monitored person together with a stage display indicating a caution stage based on the degree of similarity.
  • the tracking function unit 353 uses a face image and a whole body image of the same person as the face image of the monitored person detected by the detection / tracking result determination function unit 34, and captures the corresponding person in real time across a plurality of surveillance cameras 10.
  • the tracked tracking result is presented to the Web browser 41. Therefore, the tracking function unit 353 in the second embodiment includes the image registration function unit 3531 and includes the tracking alert output function unit 3533 instead of the detection alert output function unit 3532 in the first embodiment.
  • the image registration function unit 3531 receives the designation of the face image of the tracking target person to be tracked by the observer on the Web browser 41, and registers the face image 3131 and the face feature amount in the management data storage unit 313.
  • the 3132 is stored, and the management table 3241 is created and stored in the management table storage unit 324.
  • the detection / tracking result determination function unit 34 detects the same person as the whole body image and / or the face image of the tracking target person
  • the tracking alert output function unit 3533 detects an image of the person who is similar to the tracking target person. Is presented to the Web browser 41 as a tracking alert screen, which is an output screen for presenting the image together with the stage display indicating the attention stage based on the similarity.
  • This monitoring target person visit detection operation includes monitoring processing by the monitoring / tracking execution function unit 23 of each video analysis function unit 20, detection result determination processing by the detection / tracking result determination function unit 34, and detection alert of the monitoring function unit 352. Includes detection alert output processing by the output function unit 3521.
  • FIG. 21 is a flowchart showing a processing procedure of monitoring processing by the monitoring / tracking execution function unit 23.
  • the monitoring / tracking execution function unit 23 performs the process shown in this flowchart every time the monitoring function unit 352 of the Web server 30 reports an update of the monitored person by, for example, in-server communication or Websocket.
  • the monitoring / tracking execution function unit 23 first accesses the file server 31 of the Web server 30 by in-server communication, Web socket, or the like, and the facial feature amount of each of the plurality of monitored persons stored in advance in the file server 31.
  • the monitoring face feature amount is acquired (step S101).
  • the monitoring / tracking execution function unit 23 acquires the face image at time t and its feature amount as the matching face image and the matching face feature amount from the person detection information extraction function unit 22 (step S102).
  • the surveillance image of the corresponding surveillance camera 10 includes a whole body image of a plurality of persons
  • the monitoring / tracking execution function unit 23 acquires a matching face image and a matching face feature amount for each person.
  • the monitoring / tracking execution function unit 23 uses the face matching module 232 to determine the face image similarity, which is the degree of similarity with the monitoring face feature amount, for each of the matching face feature amounts from the person detection information extraction function unit 22. Is calculated (step S103).
  • the monitoring / tracking execution function unit 23 detects / traces the result of the Web server 30 by using in-server communication, Websocket, or the like to set the calculated face image similarity of each monitored person and the matching face image. It is transmitted to the unit 34 (step S104).
  • the monitoring / tracking execution function unit 23 repeats the above processing from the above step S102 after adding the time interval t1 to the time t, that is, after updating to the next processing time (step S105).
  • the time interval t1 can be any time interval, for example, several seconds.
  • the time interval t1 may be a time interval that is an integral multiple of the acquisition interval of the surveillance image of the surveillance camera 10.
  • FIG. 22 is a flowchart showing a processing procedure of the detection result determination process by the detection / tracking result determination function unit 34 of the Web server 30.
  • the detection / tracking result determination function unit 34 can periodically perform the processing shown in this flowchart, for example, every time interval t1 in the monitoring / tracking execution function unit 23 of the video analysis function unit 20.
  • the detection / tracking result determination function unit 34 first determines whether or not a set of similarity and matching face images has been received from the monitoring / tracking execution function unit 23 (step S201). If it is determined that the set of similarity and matching images has not been received, the detection / tracking result determination function unit 34 ends this detection / tracking result determination process.
  • the detection / tracking result determination function unit 34 acquires the face matching threshold value 1 (step S202). That is, the detection / tracking result determination function unit 34 is the surveillance camera 10 corresponding to the video analysis function unit 20 that is stored in the camera information table storage unit 321 and is the source of the set of the similarity and the matching face image.
  • the face matching threshold value 1 is acquired from the camera information table 3211 of the above.
  • the detection / tracking result determination function unit 34 compares each of the received face image similarity with the acquired face matching threshold value 1 and determines whether or not there is a face image similarity larger than the face matching threshold value 1. (Step S203). When it is determined that there is no face image similarity larger than the face matching threshold value 1, the detection / tracking result determination function unit 34 ends the detection / tracking result determination process.
  • the detection / tracking result determination function unit 34 determines that the person having the facial feature amount is the monitored person. do. Therefore, in this case, the detection / tracking result determination function unit 34 stores the detected face image 3121 and the face feature amount 3122 as the detection history data in the detection history data storage unit 312, and generates the detection history table 3231. It is stored in the detection history table storage unit 323 (step S204). In the face authentication score of the generated detection history table 3231, a face image similarity having a value larger than the face matching threshold value 1 is described. After that, the detection / tracking result determination function unit 34 ends the detection / tracking result determination process.
  • FIG. 23 is a flowchart showing a processing procedure of the detection alert output process by the detection alert output function unit 3521 of the monitoring function unit 352.
  • the detection alert output function unit 3521 periodically performs the process shown in this flowchart, for example, every time interval t1 in the monitoring / tracking execution function unit 23 of the video analysis function unit 20.
  • the detection alert output function unit 3521 first acquires face matching thresholds 1 to 3 from the camera information table 3211 for each surveillance camera 10 stored in the camera information table storage unit 321 (step S301).
  • the detection alert output function unit 3521 acquires the information of the new detection history table 3231 from the detection history table storage unit 323 (step S302). That is, the detection alert output function unit 3521 extracts and acquires the face image score in the detection history table 3231 in which the real number of the face similarity is recorded instead of the face image similarity label ID.
  • the detection alert output function unit 3521 determines whether or not the value of the face image similarity described as the face authentication score in the acquired new detection history table 3231 is larger than the face matching threshold value 3 (step S303). .. When it is determined that the value of the face image similarity is larger than the face matching threshold 3, the detection alert output function unit 3521 calculates the value of the face image similarity in the detection history table 3231 of the detection history table storage unit 323 from a real number.
  • the face image similarity label ID, here ID 3, is rewritten (step S304).
  • the detection alert output function unit 3521 further determines whether the value of the face image similarity is larger than the face matching threshold value 2. It is determined whether or not (step S305). When it is determined that the value of the face image similarity is larger than the face matching threshold 2, the detection alert output function unit 3521 calculates the value of the face image similarity in the detection history table 3231 of the detection history table storage unit 323 from a real number.
  • the detection alert output function unit 3521 determines that the face image similarity in the detection history table 3231 of the detection history table storage unit 323.
  • the detection alert output function unit 3521 After rewriting the face image similarity value in the detection history table 3231 to the face image similarity label ID as described above, the detection alert output function unit 3521 creates a new detection person card which is a screen image. (Step S308).
  • This detection person card has a detection face image 3121 stored as detection history data in the detection history data storage unit 312, a caution stage display indicating a caution stage based on the face image similarity label ID in the corresponding detection history table 3231, and a caution stage display. It is a screen image including. The details of this detection person card will be described later.
  • the detection alert output function unit 3521 updates the detection alert screen to be displayed on the Web browser 41 by the newly created detection person card (step S309). Then, the detection alert output function unit 3521 transmits the updated detection alert screen to the Web browser 41 via the network NET and displays it there (step S310). The Web browser 41 displays this detection alert screen in the alert screen display area provided in a part of the monitoring screen or by opening a window different from the monitoring screen. Then, the detection alert output function unit 3521 ends the detection alert output process.
  • FIG. 24 is a diagram showing an example of the detection alert screen 42 in the second embodiment displayed on the Web browser 41.
  • the detection alert screen 42 includes a detection person card 421 for each detected person.
  • the detection person card 421 may include a monitored person face image 4211, a detection face image 4212, an attention message 4213, a detection information 4216, and a tracking start button 4217 as display contents thereof, as in the first embodiment. can.
  • the detection alert screen 42 in the second embodiment may include a suspicious person ID 4218 and a caution stage display 4219 instead of the detection ID 4214 and the similarity 4215 in the first embodiment.
  • the suspicious person ID 4218 is the identification information posted from the detection history table 3231.
  • the caution stage display 4219 shows the degree of similarity between the face image of the monitored person and the face image of the detected person. That is, the similarity is shown not as a numerical value but as a plurality of stages based on the face image similarity label ID in the detection history table 3231, here as a three-stage attention stage display 4219.
  • the number of the quadrangles identified and displayed by hatching in FIG. 24 corresponds to the face image similarity label ID.
  • the face image similarity label ID in the detection history table 3231 is "3" so that in the caution stage display 4219, three squares are displayed.
  • the face image similarity label ID in the detection history table 3231 is "2", so that two squares are identified and displayed. There is.
  • (2-2) Tracking operation When the observer presses the tracking start button 4217 on the detection alert screen 42, the Web server 30 is detected by the video analysis function unit 20 and the detection function unit 353 provided by the Web application 35. / Using the tracking result determination function unit 34, the tracking result of tracking the person is presented to the Web browser 41.
  • This tracking operation includes an image registration process by the image registration function unit 3531 of the tracking function unit 353, a tracking process by the monitoring / tracking execution function unit 23 of the video analysis function unit 20, and a tracking result by the detection / tracking result determination function unit 34. It includes a determination process and a tracking alert output process by the tracking alert output function unit 3533 of the tracking function unit 353.
  • step S12 the image registration function unit 3531 is detected by the detection history data storage unit 312 based on the tracking ID of the detection history table storage unit 323 having the detection ID of the detection alert screen 42.
  • Image 3121 is acquired as a tracking face image.
  • the image registration function unit 3531 is detected by the detection history data storage unit 312 based on the tracking ID of the detection history table storage unit 323 having the suspicious person ID of the detection alert screen 42.
  • Image 3121 is acquired as a tracking face image.
  • FIG. 25 is a flowchart showing a processing procedure of tracking processing by the monitoring / tracking execution function unit 23 of the video analysis function unit 20.
  • the monitoring / tracking execution function unit 23 receives, for example, a tracking image and a feature amount from the tracking function unit 353 image registration function unit 3531 of the Web server 30 by in-server communication, Websocket, or the like. , Perform the process shown in this flowchart.
  • the monitoring / tracking execution function unit 23 first acquires the tracking image and the feature amount received from the image registration function unit 3531 of the Web server 30 (step S111).
  • the monitoring / tracking execution function unit 23 acquires the whole body image at time T and its feature amount as the matching whole body image and the matching whole body feature amount from the person detection information extraction function unit 22 (step S112).
  • the surveillance image of the corresponding surveillance camera 10 includes a whole body image of a plurality of persons
  • the monitoring / tracking execution function unit 23 acquires the matching whole body image and the matching whole body feature amount for each person.
  • the monitoring / tracking execution function unit 23 uses the whole body collation module 231 to register the image registration function unit 3531 for each of the collation whole body features from the person detection information extraction function unit 22.
  • the whole-body image similarity which is the similarity with the whole-body feature amount for tracking from the above, is calculated (step S113).
  • the monitoring / tracking execution function unit 23 acquires the face image at time T and its feature amount as the collation face image and the collation face feature amount from the person detection information extraction function unit 22 (step S114).
  • the surveillance image of the corresponding surveillance camera 10 includes the face images of a plurality of persons
  • the monitoring / tracking execution function unit 23 acquires the matching face image and the matching face feature amount for each person.
  • the whole body image may be extracted but the face image may not be extracted. Therefore, the number of collation whole body images acquired in step S112 does not always match the number of collation face images acquired in step S114.
  • the monitoring / tracking execution function unit 23 uses the face collation module 232 to register the image registration function unit 3531 for each of the collation face features from the person detection information extraction function unit 22.
  • the facial image similarity which is the similarity with the tracking facial features from the above, is calculated (step S115).
  • the monitoring / tracking execution function unit 23 sets the similarity between the whole body image and the face image and the collation image to the Web server by in-server communication, Websocket, or the like. It is transmitted to the detection / tracking result determination function unit 34 of 30 (step S116).
  • the set of similarity and collation image includes both the set of whole body image similarity and collation full body image and the set of face image similarity and collation face image, and the face image. It is possible to include only the set of the whole body image similarity and the matching whole body image without the set of the similarity and the matching face image.
  • the monitoring / tracking execution function unit 23 determines whether or not the monitoring terminal 40 has pressed the tracking stop button on the tracking alert screen displayed on the Web browser 41 by the monitor (step S117). Details of the tracking alert screen with the tracking stop button will be described later. When it is determined that the tracking stop button has been pressed, the monitoring / tracking execution function unit 23 ends this monitoring / tracking process.
  • the monitoring / tracking execution function unit 23 adds the time interval t1 to the time T, that is, after updating to the next processing time (Ste S118), the above process is repeated from the above step S112.
  • the time interval t1 is as described above. Of course, a time interval different from this time interval t1 may be used.
  • FIG. 26 is a flowchart showing a processing procedure of tracking result determination processing by the detection / tracking result determination function unit 34 of the Web server 30.
  • the detection / tracking result determination function unit 34 periodically performs the processing shown in this flowchart, for example, in synchronization with the processing interval of the tracking processing of the monitoring / tracking execution function unit 23 of the video analysis function unit 20.
  • the detection / tracking result determination function unit 34 first determines whether or not a set of similarity and matching images has been received from the monitoring / tracking execution function unit 23, as in step S31 in the first embodiment (step S221). .. When it is determined that the set of the similarity and the matching image has not been received, the detection / tracking result determination function unit 34 ends the tracking result determination process.
  • the detection / tracking result determination function unit 34 acquires the face matching threshold value 1 and the whole body matching threshold value 1 (step S222). That is, the detection / tracking result determination function unit 34 relates to the surveillance camera 10 corresponding to the video analysis function unit 20 that is stored in the camera information table storage unit 321 and is the source of the set of the similarity and the collation image.
  • the face matching threshold value 1 and the whole body matching threshold value 1 are acquired from the camera information table 3211 of the above.
  • the detection / tracking result determination function unit 34 compares each of the received whole body image similarity with the acquired whole body collation threshold value 1 and determines whether or not the whole body image similarity is larger than the whole body collation threshold value 1 or has the whole body image similarity. (Step S223).
  • the detection / tracking result determination function unit 34 determines that the person having the whole body feature amount is the tracking target person. Therefore, in this case, the detection / tracking result determination function unit 34 stores the whole body image similarity determined to be large together with the corresponding matching whole body image received in step S221 in a predetermined storage area of the storage device 302.
  • the whole body image similarity is registered in the tracking table 3251 (step S224).
  • a tracking table 3251 is generated and the generated tracking table 251 is used as a tracking table. It is stored in the storage unit 325. Further, when the tracking table 3251 of the corresponding suspicious person ID is already stored in the tracking table storage unit 325, a record is added instead of generating a new tracking table 3251.
  • the whole body image similarity registered in the tracking table 3251 is a whole body image similarity having a value larger than the whole body matching threshold value 1.
  • the detection / tracking result determination function unit 34 After that, or when it is determined in step S223 that there is no whole body image similarity larger than the whole body matching threshold value 1, the detection / tracking result determination function unit 34 has acquired the face matching threshold value for each of the received face image similarity. Compared with No. 1, it is determined whether or not there is a face image similarity larger than the face matching threshold value 1 (step S225). When it is determined that the face image similarity is larger than the face matching threshold value 1, the detection / tracking result determination function unit 34 determines that the person having the facial feature amount is the tracking target person. Therefore, in this case, the detection / tracking result determination function unit 34 stores the face image similarity determined to be large together with the corresponding face image for matching received in step S221 in a predetermined storage area of the storage device 302.
  • the facial image similarity is registered in the tracking table 3251 (step S226).
  • a tracking table 3251 is generated and the generated tracking table 251 is used as a tracking table. It is stored in the storage unit 325. Further, when the tracking table 3251 of the corresponding suspicious person ID is already stored in the tracking table storage unit 325, a record is added instead of generating a new tracking table 3251.
  • the face image similarity registered in the tracking table 3251 is a whole body image similarity having a value larger than the face matching threshold value 1.
  • step S225 After that, or when it is determined in step S225 that there is no face image similarity greater than the face matching threshold value 1, the detection / tracking result determination function unit 34 ends this tracking result determination process.
  • FIGS. 27 to 29 are flowcharts showing the processing procedure of the tracking alert output processing by the tracking alert output function unit 3533 of the tracking function unit 353.
  • the tracking alert output function unit 3533 periodically performs the processing shown in this flowchart, for example, every time interval t1 in the monitoring / tracking execution function unit 23 of the video analysis function unit 20.
  • the tracking alert output function unit 3533 first determines whether or not the monitoring terminal 40 has performed the narrowing down designation operation on the tracking alert screen displayed on the Web browser 41 by the monitor (step S501). When it is determined that the narrowing down designation operation has been performed, the tracking alert output function unit 3533 proceeds to step S519 described later.
  • the tracking alert output function unit 3533 is stored in the camera information table storage unit 321 from the camera information table 3211 for each surveillance camera 10. Acquire the face matching thresholds 1 to 3 and the whole body matching thresholds 1 to 3 (step S502).
  • the tracking alert output function unit 3533 acquires a new tracking result from the tracking table 3251 stored in the tracking table storage unit 325 (step S503). That is, the tracking alert output function unit 3533 extracts and acquires the whole body image similarity and the face image similarity in the tracking table 3251 in which the real number of the similarity is recorded instead of the image similarity ID.
  • the tracking alert output function unit 3533 determines whether or not the value of the face image similarity in the tracking table 3251 is larger than the face matching threshold value 3 (step S504). When it is determined that the value of the face image similarity is larger than the face matching threshold 3, the tracking alert output function unit 3533 determines the value of the face image similarity in the tracking table 3251 of the tracking table storage unit 325 from the real number to the face image.
  • the similarity label ID, here ID 3, is rewritten (step S505).
  • the tracking alert output function unit 3533 further determines whether the value of the face image similarity is larger than the face matching threshold value 2. It is determined whether or not (step S506). When it is determined that the value of the face image similarity is larger than the face matching threshold 2, the tracking alert output function unit 3533 determines the value of the face image similarity in the tracking table 3251 of the tracking table storage unit 325 from the real number to the face image.
  • the tracking alert output function unit 3533 further determines whether or not the value of the face image similarity is larger than the face matching threshold value 1. (Step S508). When it is determined that the value of the face image similarity is larger than the face matching threshold 1, the tracking alert output function unit 3533 sets the value of the face image similarity in the tracking table 3251 of the tracking table storage unit 325 from the real number to the face image.
  • the face image similarity value is face matching. It is decided that it is larger than the threshold value 1.
  • both the facial image similarity and the whole body similarity are used, and the tracking table 3251 shows either the facial image similarity or the whole body similarity. There are cases where only one is registered. That is, when the value of the face image similarity is not larger than the face matching threshold 2, the face image similarity value larger than the face matching threshold 1 is registered, and the face image having the face matching threshold 1 or less is registered. There are cases where the similarity value is registered (or the face image similarity value is not registered). Therefore, it cannot be determined that the face image similarity value is larger than the face matching threshold value 1 just because the face image similarity value is not larger than the face matching threshold value 2.
  • the tracking alert output function unit 3533 moves to the determination operation of the whole body image similarity.
  • the tracking alert output function unit 3533 determines whether or not the value of the whole body image similarity in the tracking table 3251 is larger than the whole body matching threshold value 3 (step S510). When it is determined that the value of the whole body image similarity is larger than the whole body collation threshold value 3, the tracking alert output function unit 3533 changes the value of the whole body image similarity in the tracking table 3251 of the tracking table storage unit 325 from the real number to the whole body image.
  • the similarity label ID, here ID 3, is rewritten (step S511).
  • the tracking alert output function unit 3533 further determines whether the value of the whole body image similarity is larger than the whole body collation threshold value 2. It is determined whether or not (step S512).
  • the tracking alert output function unit 3533 changes the value of the whole body image similarity in the tracking table 3251 of the tracking table storage unit 325 from the real number to the whole body image.
  • the tracking alert output function unit 3533 further determines whether or not the value of the whole body image similarity is larger than the whole body collation threshold value 1. (Step S514). When it is determined that the value of the whole body image similarity is larger than the whole body collation threshold value 1, the tracking alert output function unit 3533 changes the value of the whole body image similarity in the tracking table 3251 of the tracking table storage unit 325 from the real number to the whole body image.
  • the tracking alert output function unit 3533 creates a new tracking information card which is a screen image (step S308).
  • This tracking information card includes a matching whole body image and a matching face image stored in a predetermined storage area of the storage device 302 in steps S224 and S226, and a whole body image similarity label ID and a corresponding tracking table 3251. It is a screen image including a caution stage display indicating a caution stage based on a face image similarity label ID, and a caution stage display. The details of this tracking information card will be described later.
  • the tracking alert output function unit 3533 updates the tracking alert screen to be displayed on the Web browser 41 with the newly created tracking information card (step S517). Then, the tracking alert output function unit 3533 transmits the updated tracking alert screen to the Web browser 41 via the network NET and displays it there (step S518). The Web browser 41 displays this tracking alert screen in the alert screen display area provided in a part of the monitoring screen or by opening a window different from the monitoring screen. Then, the tracking alert output function unit 3533 ends the tracking alert output process.
  • the tracking alert output function unit 3533 acquires the designated narrowing down level (step S519).
  • This narrowing down level is an index for narrowing down the tracking information card displayed on the tracking alert screen.
  • the tracking alert output function unit 3533 extracts a suspicious person ID according to the designated narrowing down level from the tracking table 3251 stored in the tracking table storage unit 325 (step S520).
  • the tracking alert output function unit 3533 has the whole body image 3112 stored as the past search data in the past search data storage unit 311 based on the detection ID of the extracted suspicious person ID, and the video analysis function unit 20.
  • the tracking alert output function unit 3533 creates a new tracking information card (step S522) in the same manner as in step S516, and updates the tracking alert screen with the created tracking information card in the same manner as in step S517 (step S523). ). Then, the tracking alert output function unit 3533 proceeds to the process of step S518, transmits the updated tracking alert screen to the Web browser 41, and displays it there.
  • FIG. 30 is a diagram showing an example of the tracking alert screen 44 displayed on the Web browser 41.
  • the tracking alert screen 44 includes a tracking target person information area 441, a tracking information card 442, and a narrowing instruction area 443.
  • the tracking target person information area 441 is an area for displaying information about the tracking target person, and each time a tracking target person is added, the tracking target person information area 441 is additionally displayed at the top of the tracking alert screen 44.
  • the old tracked person information area 441 is sequentially shifted downward.
  • the display content is different between the highest level, that is, the latest tracked person information area 441 and the other tracked person information area 441.
  • the top-level tracking target information area 441 includes a warning message 4411, a suspicious person ID 4412, a registered image 4413, tracking information 4414, and a tracking stop button 4415.
  • the tracked person information area 441 other than the highest level includes only the registered image 4413 and the tracked information 4414.
  • the alert message 4411 is a message for calling the attention of the observer, and for example, the risk type of the monitored person designated as the tracked person can be displayed. This risk type can be posted from the management table 3241.
  • the suspicious person ID 4412 is the identification information posted from the management table 3241.
  • the registered image 4413 is a registered face image 3131 and a registered whole body image 3133 stored in the management data storage unit 313 of the tracking target person.
  • the tracking information 4414 is information about the tracking target person, and the content is different between the tracking information 4414 of the highest tracking target person information area 441 and the tracking information 4414 of the other tracking target person information area 441.
  • the tracking information 4414 of the top-level tracking target person information area 441 includes a suspicious person ID, a risk type, and an explanatory note posted from the management table 3241.
  • the tracking information 4414 of the tracking target person information area 441 other than the top level includes the tracking status instead of the description.
  • the tracking stop button 4415 is a button that is pressed when the tracking of the person is finished.
  • the tracking information card 442 is additionally displayed at the top of the tracking alert screen 44 every time the tracking alert output function unit 3533 creates a new card.
  • the old tracking information card 442 is gradually shifted downward.
  • the tracking information card 442 has detection date and time information 4421, detection camera location information 4422, detection face image 4423, face attention stage display 4424, detection whole body image 4425, whole body attention stage display 4426, and detection background image. Includes 4427.
  • the detection date / time information 4421 is the date / time information detected by the tracking target person from the surveillance image of any of the surveillance cameras 10.
  • the detected camera location information 4422 is camera location information based on the detected surveillance camera ID.
  • the detected face image 4423 is a face image for collation of the tracked subject that has been detected and saved.
  • the face attention stage display 4424 indicates the stage of the degree of similarity between the face image of the tracked person and the face image of the detected person. That is, the similarity is shown not as a real number but as a plurality of stages based on the face image similarity label ID in the tracking table 3251, here as a three-stage attention stage display. In the face attention stage display 4424, the number of the quadrangles identified and displayed by hatching in FIG.
  • the face image similarity label ID in the tracking table 3251 was "2", so that in the face attention stage display 4424, two squares are identified and displayed, and two from the top.
  • the face image similarity label ID in the tracking table 3251 was "3", so that the face attention stage display 4424 identifies and displays three quadrangles.
  • the detected whole body image 4425 is a collation whole body image of the tracked subject that has been detected and saved.
  • the whole body attention stage display 4426 shows the stage of the degree of similarity between the whole body image of the tracked subject and the whole body image of the detected person. That is, the similarity is shown not as a real number but as a plurality of stages based on the whole body image similarity label ID in the tracking table 3251, here as a three-stage attention stage display. Similar to the face attention stage display 4424, the whole body attention stage display 4426 also corresponds to the number of the squares identified and displayed by hatching in FIG. 30 corresponding to the whole body image similarity label ID.
  • the whole body image similarity label ID in the tracking table 3251 was "3", so that in the whole body attention stage display 4426, three rectangles are identified and displayed, and two from the top.
  • the whole body image similarity label ID in the tracking table 3251 was "2", so that the two squares are identified and displayed in the whole body attention stage display 4426.
  • the detected background image 4427 is a frame image which is an original monitoring image from which a face image for collation and / or a whole body image for collation is extracted.
  • this frame image the frame image 3111 stored in the past search data storage unit 311 is used.
  • the tracking information card 442 does not necessarily include both the detected face image 4423 and the face attention stage display 4424, and the detected whole body image 4425 and the whole body attention stage display 4426, and may be used in only one of them. It is possible.
  • the narrowing down instruction area 443 is an area for receiving an instruction for narrowing down the tracking information card 442 displayed on the tracking alert screen 44.
  • the narrowing instruction area 443 includes a face image similarity selection button 4431, a face image similarity selection reset button 4432, a whole body image similarity selection button 4433, and a whole body image similarity selection reset button 4434.
  • the face image similarity selection button 4431 includes three buttons corresponding to the number of stages of the face attention stage display 4424. Only the tracking information card 442 including the face attention stage display 4424 of the specified number of stages or more corresponding to the pressing operation of the face image similarity selection button 4431 by the observer will be displayed on the tracking alert screen 44. In the example of FIG. 30, since the number of stages in the face image similarity selection button 4431 is not specified, the tracking information card 442 including one or more stages of face attention stage display 4424 is displayed on the tracking alert screen 44. ..
  • the face image similarity selection reset button 4432 is a button that is pressed when resetting the number of steps specified by the face image similarity selection button 4431.
  • the whole body image similarity selection button 4433 includes three buttons corresponding to the number of stages of the whole body attention stage display 4426. Only the tracking information card 442 including the specified number of stages or more of the whole body attention stage display 4426 corresponding to the pressing operation of the whole body image similarity selection button 4433 by the observer will be displayed on the tracking alert screen 44. In the example of FIG. 30, since the number of stages in the whole body image similarity selection button 4433 is not specified, the tracking information card 442 including one or more stages of whole body attention stage display 4426 is displayed on the tracking alert screen 44. ..
  • the whole body image similarity selection reset button 4434 is a button that is pressed when resetting the number of steps designation by the whole body image similarity selection button 4433.
  • FIG. 31 is a diagram showing another example of the tracking alert screen 44 displayed on the Web browser 41.
  • This example shows a case where three steps are specified by the face image similarity selection button 4431 and one step is designated by the whole body image similarity selection button 4433.
  • the pressed button is identified and displayed in FIG. 30, as shown by hatching.
  • the designation by the face image similarity selection button 4431 and the designation by the whole body image similarity selection button 4433 are AND conditions, and only the tracking information card 442 that matches the number of steps specified in both is displayed on the tracking alert screen 44. become.
  • the past search function unit 354 is designated by the past search data storage unit 311 after receiving the time and place designation from the Web browser 41.
  • a selection screen displaying a list of the extracted whole body images 3112 is extracted from the whole body image 3112 of the person who visited at the time and place, and is displayed on the Web browser 41.
  • the past search function unit 354 Upon receiving the selection designation of the person to be searched from the Web browser 41, the past search function unit 354 uses the selected and designated whole body image 3112 as the tracking whole body image, and replaces the surveillance image from the real-time surveillance camera 10. The same operation as the tracking function unit 353 is performed on the frame image 3111 stored in the past search data storage unit 311 for the designated time and place.
  • the past search function unit 354 searches for a person similar to the person selected and specified from the past visitors stored in the past search data storage unit 311 and tracks the result on the tracking alert screen 44. Can be displayed on the Web browser 41.
  • the target image for the specific image is used by using each of two or more similarity calculation methods having different judgment criteria.
  • a plurality of thresholds are stored in the camera information table storage unit 321 as the threshold storage unit for each similarity calculation method, and the detection / tracking result determination function unit 34 as the detection unit allows each of the plurality of surveillance cameras 10 to be stored.
  • Surveillance camera 10 Among the images of the similarity calculation target person extracted from each surveillance image, an image similar to the image of a specific person is detected, and the detected image of the similarity calculation target person is a plurality of cautions. Detect which of the stages it is.
  • any similarity calculation method is used by classifying the similarity, which is difficult to compare with each other due to different judgment criteria of the similarity calculation method, into multiple stages that do not depend on the similarity calculation method.
  • the degree of similarity can be reduced to the same evaluation criteria. More specifically, in the camera information table storage unit 321, for example, for each of at least one collation model, a plurality of thresholds for determining which of the plurality of attention stages the similarity is in are stored and detected. / Similarity calculation
  • the similarity between the image of the target person and the image of a specific person extracted from each of the surveillance images periodically acquired by each of the plurality of surveillance cameras 10 by the tracking result determination function unit 34 is, for example, at least one.
  • the similarity is acquired from the monitoring / tracking execution function unit 23 calculated using the collation model, and the acquired similarity is in any of the attention stages based on a plurality of thresholds stored in the camera information table storage unit 321. Detect if there is. With such a detected attention stage, the observer can easily recognize the certainty of the authentication result. Further, since the threshold value for each surveillance camera 10 is stored in the camera information table storage unit 321, it is possible to reduce the variation in the acquisition similarity between the surveillance cameras 10.
  • the Web server 30 presents an image similar to the image of the specific person detected by the detection / tracking result determination function unit 34 together with the stage display indicating the attention stage detected by the detection / tracking result determination function unit 34.
  • the detection alert output function unit 3521 as an output screen generation unit for generating the detection alert screen 42, which is the output screen of the above, can be further provided. More specifically, the detection alert output function unit 3521 is an image of a person whose similarity is calculated, which is extracted from the surveillance images of each of the plurality of surveillance cameras 10 based on the discrimination result of the detection / tracking result determination function unit 34. Among them, the detection alert screen 42 for presenting the image of the person whose similarity calculation target is similar to the image of the specific person together with the attention stage is generated.
  • the detection / tracking result determination function unit 34 includes a face image of a person to be calculated for similarity and a face image of a specific person extracted from each of the monitoring images of a plurality of monitoring cameras 10 from the monitoring / tracking execution function unit 23.
  • the detection alert output function unit 3521 may generate a detection alert screen 42 that acquires the similarity of the above and presents the face image of the person whose similarity calculation target is similar to the face image of a specific person together with the attention stage display 4219. ..
  • the observer can easily recognize the certainty of the authentication result of the face image.
  • the whole body image of the specific person and the face image of the person whose similarity is calculated may be used.
  • the plurality of threshold values are the first threshold value for classifying whether or not the image of the similarity calculation target person, which is the target image, is the image of the specific person, and the image of the similarity calculation target person is the specific person.
  • it can include at least one second threshold value for classifying the image of the similarity calculation target person into a plurality of stages.
  • the camera information table storage unit 321 has a face matching threshold value 1 corresponding to the degree of similarity in which the image of the person to be calculated for similarity is estimated to be an image of a specific person, as the first threshold value.
  • the face matching threshold value 2 and the face matching threshold value 3 corresponding to the similarity larger than the face matching threshold value 1, respectively, are stored.
  • the detection / tracking result determination function unit 34 detects an image of a similarity calculation target person having a similarity degree larger than the face matching threshold value 1, and the detection alert output function unit 3521 has a detection / tracking result determination function unit 34 having a face.
  • the image of the similarity calculation target person detected based on the collation threshold value 1 is presented together with the attention stage display 4219 indicating the attention stage determined by the detection / tracking result determination function unit 34 based on the face collation threshold value 2 and the face collation threshold value 3.
  • the detection alert screen 42 can be generated.
  • the image of the similarity calculation target person to be presented on the detection alert screen 42 can be easily detected by the face matching threshold value 1, and for each of the detected images, what kind of image is based on the face matching threshold value 2 and the face matching threshold value 3. It becomes possible to decide whether or not the attention stage display 4219 should be displayed.
  • the Web server 30 as the person tracking device is similar to the image of a specific person presented on the detection alert screen 42 together with the step display, in addition to the configuration of the Web server 30 as the person detection device.
  • the designation of the image of the tracking target to be tracked is received from the monitoring terminal 40 operated by the monitor from among the images of the plurality of similarity calculation targets, and the designated image is registered as the tracking image.
  • the tracking image which is the image of the tracking target person to be tracked, is used as a specific image in the monitoring / tracking execution function unit 23, and the similarity calculation target person uses at least two or more similarity calculation methods.
  • the image registration function unit 3531 as a registration unit for extracting at least two image similarities and the detection / tracking result determination function unit 34 detect from at least two or more similarities acquired from the monitoring / tracking execution function unit 23.
  • a tracking alert output function unit 3533 as a tracking output screen generation unit for generating the tracking alert screen 44 can be provided. More specifically, the image registration function unit 3531 should track a plurality of images of a person whose similarity is calculated to be similar to the image of a specific person presented on the detection alert screen 42 together with the step display.
  • the designation of the face image of the person is received from the monitoring terminal 40 operated by the monitor, and the designated face image and the whole body image of the tracking target person corresponding to the face image are combined with the tracking face image and the tracking whole body image.
  • the face image of the similarity calculation target person corresponds to the similarity estimated to be the tracking face image registered by the image registration function unit 3531.
  • the face matching threshold value 1 and the whole body matching threshold value 1 corresponding to the similarity estimated to be the tracking whole body image registered by the image registration function unit 3531 for the whole body image of the similarity calculation target are stored and stored.
  • the whole body collation threshold value 2 and the whole body collation threshold value 3 corresponding to the above are stored.
  • the detection / tracking result determination function unit 34 has a similarity degree extracted from each of the monitoring images of the plurality of monitoring cameras 10 calculated from the monitoring / tracking execution function unit 23, for example, using the first collation model.
  • the degree of similarity with the whole body image for tracking registered by the functional unit 3531 and the degree of similarity of the acquired face image are obtained, and the face of the person whose similarity is calculated to have a degree of similarity larger than the face matching threshold value 1.
  • the tracking alert output function unit 3533 detects at least one of the image and the whole body image of the similarity calculation target person having a similarity larger than the whole body collation threshold 1 from the acquired similarity of the whole body image.
  • At least one of the face image and the whole body image of the similarity calculation target person detected by the detection / tracking result determination function unit 34 based on at least one of the face matching threshold 1 and the whole body matching threshold 1 is the corresponding face matching threshold 2 and the face.
  • a tracking alert screen 44 is generated which is presented together with a stage display showing a attention stage determined based on at least one of the collation threshold 3, the whole body collation threshold 2, and the whole body collation threshold 3.
  • two or more similarity calculation methods having different criteria, for example, the first collation model for a facial image and the second collation model for a full-body image are similar in range or scale to each other. Even when the degree value is output, the similarity is displayed by the same step display on the tracking alert screen 44, so that the observer can easily recognize the identity of the similarity.
  • the Web server 30 as a person tracking device extracts a whole body image of a person from each of the surveillance images, extracts a whole body feature amount which is the feature amount and a face image of the person from the whole body image, and extracts the feature from the face image.
  • An image storage unit that stores the whole body image, the whole body feature amount, and the face feature amount extracted by the human detection information extraction function unit 22 of the image analysis function unit 20 which is an extraction unit for extracting the facial feature amount, together with the monitoring image.
  • the image registration function unit 3531 may further include a file server 31 as a whole body image, a whole body feature amount, and a face feature stored in the file server 31 corresponding to the face image of the tracking target person designated by the monitoring terminal 40.
  • the amount and the face image obtained by extracting the facial feature amount are registered as a whole body image for tracking, a whole body feature amount for tracking, a facial feature amount for tracking, and a face image for tracking, and the detection / tracking result determination function unit 34 registers the image.
  • the monitoring image accumulated in the file server 31 from the time of registration by the function unit 3531 is used as a collation image, and the whole body feature amount and the tracking whole body feature amount extracted by the human detection information extraction function unit 22 for each of the collation images.
  • a monitoring / tracking execution function that calculates the whole-body image similarity, which is the similarity with, and the face image similarity, which is the similarity between the face feature amount extracted by the human detection information extraction function unit 22 and the tracking face feature amount.
  • a set of the calculated whole body image similarity and the face image similarity and the tracking face image and the tracking whole body image is received, and at least one of the face image similarity and the whole body image similarity is the corresponding face matching threshold value. It is determined whether or not it is larger than at least one of 1 and the whole body matching threshold 1, and at least the face image and the whole body image of the subject for similarity calculation having a similarity larger than at least one of the face matching threshold 1 and the whole body matching threshold 1.
  • the detection alert output function unit 3521 detects at least one of the face image and the whole body image of the similarity calculation target person detected by the detection / tracking result determination function unit 34, and the corresponding face matching threshold value 2 and face matching threshold value.
  • An image registration function for displaying a stage indicating a attention stage determined based on at least one of 3 and the whole body collation threshold 2 and the whole body collation threshold 3 and the position information of the surveillance camera 10 that has acquired the surveillance image as a collation image.
  • the tracking alert screen 44 which is a tracking output screen presented together with the tracking whole body image and the tracking face image registered by the unit 3531, is generated. As a result, even if the surveillance camera 10 cannot acquire the face image of the tracking target person, the tracking target person can be tracked by using the whole body image.
  • the detection alert output function unit 3521 receives the number of stages specified from the monitoring terminal 40, and designates at least one of the face image and the whole body image of the similarity calculation target person detected by the detection / tracking result determination function unit 34.
  • a tracking alert as a narrowing output screen that presents at least one or more similarity between the face matching threshold value 2 and the face matching threshold value 3 and the whole body matching threshold value 2 and the whole body matching threshold value 3 corresponding to the stage display together with the stage display.
  • the screen 44 can be generated. If the number of false positives increases during tracking, the number of displayed items will increase, and results with low accuracy will also be displayed, making it difficult to identify the tracked person.
  • the Web server 30 as the person tracking device according to the second embodiment can promote viewing of only the tracking result with high accuracy by making it possible to set the standard of the display stage of the stage display indicating the attention stage.
  • the camera information table storage unit 321 as the threshold storage unit uses each of two or more similarity calculation methods having different judgment criteria.
  • a target image is set in a plurality of stages based on each of the similarity calculated by the monitoring / tracking execution function unit 23 of the video analysis function unit 20, which is a similarity calculation unit that calculates two or more similarities of the target image to a specific image.
  • a plurality of thresholds for classifying into are stored for each similarity calculation method, and the tracking target to be tracked specified by the monitoring terminal 40 operated by the monitor by the image registration function unit 3531 as a registration unit.
  • the image of the person is registered as a specific image.
  • the detection / tracking result determination function unit 34 as the detection unit identifies the image of the similarity calculation target person, which is the target image extracted from each of the surveillance images periodically acquired by each of the plurality of surveillance cameras 10.
  • the tracking alert output function unit 3533 as the tracking output screen generation unit is the detection / tracking result determination function unit 34.
  • the monitoring / tracking execution function unit monitors each of the images of two or more similarity calculation targets similar to the images of the tracking target person detected from at least two or more similarities acquired from the monitoring / tracking execution function unit 23.
  • a tracking alert screen 44 as a tracking output screen for presenting together with a stage display indicating the attention stage detected by the 23 is generated.
  • the camera information table storage unit 321 for example, for each of two or more collation models, a plurality of threshold values for determining which of the plurality of attention stages the similarity is in are stored.
  • the image registration function unit 3531 registers the image of the tracking target person to be tracked specified by the monitoring terminal 40 operated by the monitor.
  • the detection / tracking result determination function unit 34 calculates the similarity degree extracted from each of the image of the tracking target person registered by the image registration function unit 3531 and the surveillance image periodically acquired by each of the plurality of surveillance cameras 10. Two or more similarities are acquired from the monitoring / tracking execution function unit 23 that calculates the similarity with the image of the subject using each of the two or more collation models, and are stored in the camera information table storage unit 321.
  • the tracking alert output function unit 3533 is based on the discrimination result of the detection / tracking result determination function unit 34.
  • the image of the similarity calculation target similar to the image of the tracking target is displayed together with the stage display indicating each attention stage.
  • the tracking alert output function unit 3533 corresponds to the designated stage in the image of the similarity calculation target person detected by the detection / tracking result determination function unit 34 in response to the stage number designation from the monitoring terminal 40. It is possible to generate a tracking alert screen 44 as a narrowing output screen that presents those having a similarity equal to or higher than a threshold value together with a step display. In this way, by making it possible to set the standard of the display stage of the stage display indicating the attention stage, it is possible to encourage viewing of only the tracking results with high accuracy.
  • the camera information table storage unit 321 has a face matching threshold value 1 or a whole body matching threshold value 1 which is a first threshold value corresponding to the similarity in which the image of the similarity calculation target person is presumed to be the image of the tracking target person.
  • the detection / tracking result determination function unit 34 detects an image of the similarity calculation target person having a face similarity degree or a whole body similarity value larger than the face matching threshold value 1 or the whole body matching threshold value 1, and the tracking alert.
  • the detection / tracking result determination function unit 34 performs face matching on the image of the person whose similarity is calculated, which is detected by the detection / tracking result determination function unit 34 based on the face matching threshold value 1 or the whole body matching threshold value 1. It is possible to generate a tracking alert screen 44 to be presented together with a stage display indicating the attention stage determined based on the thresholds 2 and 3 or the whole body collation thresholds 2 and 3. As a result, the image of the similarity calculation target person to be presented on the tracking alert screen 44 can be easily detected by the face matching threshold value 1 or the whole body matching threshold value 1, and the face matching threshold value 2 and the face matching threshold value 3 are used for each of the detected images. Alternatively, it becomes possible to determine what kind of attention stage display 4219 should be set based on the whole body collation threshold value 2 and the whole body collation threshold value 3.
  • the person tracking system according to the second embodiment includes a person tracking device according to the second embodiment, a plurality of surveillance cameras 10, a monitoring terminal 40 operated by a monitor, and a person detection information extraction function unit 22.
  • a video analysis function unit 20 as an analysis unit to be provided can be provided.
  • the person detection method according to the second embodiment is a person detection method for detecting a specific person from the surveillance images acquired by a plurality of surveillance cameras 10, and the Web server 30 which is a computer determines different determination criteria. It was calculated by the monitoring / tracking execution function unit 23 of the video analysis function unit 20, which is a similarity calculation unit that calculates two or more similarities of the target image to a specific image using each of the two or more similarity calculation methods.
  • At least one of the images of the subject for similarity calculation which is the target image extracted from each of the surveillance images periodically acquired by each of the plurality of surveillance cameras 10, with respect to the image of the specific person, which is the specific image.
  • Two similarities are acquired from the monitoring / tracking execution function unit 23 and stored in the camera information table storage unit 321 corresponding to the similarity calculation method used for calculating at least one similarity in the monitoring / tracking execution function unit 23.
  • Based on the plurality of threshold values an image similar to the image of a specific person is detected from the images of the person to be calculated for similarity extracted from the surveillance images of each of the plurality of surveillance cameras 10, and the detection thereof is performed. It is attempted to detect which of the multiple attention stages the image of the person whose similarity is calculated is.
  • a plurality of thresholds for determining which of the plurality of attention stages the similarity is in are stored in the camera information table storage unit 321, and a plurality of units are stored.
  • Surveillance / tracking execution function that calculates the similarity between the image of the target person and the image of a specific person using at least one matching model.
  • the similarity is acquired from the unit 23, and it is detected which of the attention stages the acquired similarity is based on a plurality of thresholds stored in the camera information table storage unit 321. With such a detected attention stage, the observer can easily recognize the certainty of the authentication result.
  • the threshold value for each surveillance camera 10 is stored in the camera information table storage unit 321, it is possible to reduce the variation in the acquisition similarity between the surveillance cameras 10.
  • the person tracking method according to the second embodiment is a person tracking method for tracking a tracking target person to be tracked from surveillance images acquired by a plurality of surveillance cameras 10, and a computer Web server 30 can be used as a computer.
  • a detection alert screen 42 which is an output screen for presenting an image similar to the image of a specific person detected by the person detection method according to the second embodiment together with a stage display indicating the detected attention stage, is generated and a detection alert is generated.
  • the monitoring terminal 40 in which the observer operates the designation of the image of the tracking target person to be tracked from among the images of the plurality of similarity calculation target persons similar to the image of the specific person presented on the screen 42 together with the step display.
  • the designated image is registered as a tracking image in the management data storage unit 313 of the file server 31 provided in the storage device 302 which is a memory. Then, at least two or more similarity calculation methods are applied to the monitoring / tracking execution function unit 23 with the tracking image, which is the image of the tracking target person to be tracked registered in the management data storage unit 313, as a specific image. At least two similarities of the images of the similarity calculation target are extracted by using the image of the similarity calculation target, which is a specific image of the tracking target, which is the image of the similarity calculation target extracted from the surveillance images of each of the plurality of surveillance cameras 10.
  • At least two similarities to the image are acquired from the monitoring / tracking execution function unit 23, and the management data is stored corresponding to the similarity calculation method used for each calculation of the similarity in the monitoring / tracking execution function unit 23.
  • Two or more images similar to the image of the tracking target person from the images of the similarity calculation target person extracted from the monitoring images of each of the plurality of monitoring cameras 10 based on the plurality of thresholds stored in the unit 313.
  • At least two or more images obtained from the monitoring / tracking execution function unit 23 by detecting the image of the person whose similarity calculation target is, and detecting which of the plurality of attention stages the image of the detected similarity calculation target person is.
  • Tracking alert screen 44 as a tracking output screen for presenting each of two or more similarity calculation target image similar to the image of the tracked subject detected from the similarity of the image together with the stage display indicating the detected attention stage. I am trying to generate. More specifically, the tracking to be performed is performed from the images of the plurality of similarity calculation target persons extracted from each of the surveillance images of the plurality of surveillance cameras 10 presented together with the attention stage on the detection alert screen 42.
  • the designation of the face image of the target person is received from the monitoring terminal 40 operated by the monitor, and the designated face image and the whole body image of the tracking target person corresponding to the face image are combined with the tracking face image and the tracking whole body image. Is registered in the management data storage unit 313.
  • the similarity with the tracking face image and the similarity between the whole body image of the subject for which the similarity is calculated and the registered whole body image for tracking calculated by using, for example, the second collation model are acquired.
  • the face matching threshold value 1 and the similarity calculation corresponding to the similarity estimated to be the tracking face image in which the face image of the similarity calculation target person is registered are registered.
  • the face matching threshold value 2 and the face matching threshold value 3 corresponding to the similarity degree, and the whole body matching threshold value 2 and the whole body matching threshold value 3 corresponding to the similarity degree of the whole body image larger than the whole body matching threshold value 1 are stored. Then, from the acquired similarity, the face image of the similarity calculation target person having a similarity greater than the face matching threshold value 1 and the whole body image of the similarity calculation target person having a similarity degree larger than the whole body matching threshold value 1.
  • At least one of the face image and the whole body image of the similarity calculation target person detected based on at least one of the face matching threshold value 1 and the whole body matching threshold value 1 is detected as the corresponding face matching threshold value 2 and the face matching.
  • a tracking alert screen 44 is generated as a tracking output screen to be presented together with a stage display indicating a attention stage determined based on at least one of the threshold value 3, the whole body matching threshold value 2, and the whole body matching threshold value 3.
  • the person tracking method according to the second embodiment is a person tracking method for tracking a person to be tracked from surveillance images acquired by a plurality of surveillance cameras 10, and a Web server 30 which is a computer can be used as a computer.
  • Monitoring / tracking execution function of the video analysis function unit 20 which is a similarity calculation unit that calculates two or more similarities of a target image to a specific image using each of two or more similarity calculation methods having different judgment criteria.
  • a file server 31 stored in the table storage unit 321 and provided in the storage device 302 which is a memory as a specific image of the image of the tracking target person to be tracked specified by the monitoring terminal 40 operated by the monitor.
  • At least one similarity degree of the image of the subject for similarity calculation which is the target image extracted from each of the surveillance images registered in the data storage unit 313 and periodically acquired by each of the plurality of surveillance cameras 10, with respect to the specific image. It is stored in the camera information table storage unit 321 corresponding to the similarity calculation method acquired from the monitoring / tracking execution function unit 23 and used for calculating at least one similarity in the monitoring / tracking execution function unit 23.
  • an image similar to the image of the tracking target person is detected from the images of the similarity calculation target person extracted from the surveillance images of each of the plurality of surveillance cameras 10, and the detected similarities are detected.
  • a tracking alert screen 44 is generated as a tracking output screen for presenting each of the images of the person whose similarity is calculated in the above with a stage display indicating the detected attention stage.
  • a plurality of thresholds for determining which of the plurality of attention stages the similarity is in are stored in the camera information table storage unit 321 for monitoring.
  • the image of the tracking target to be tracked specified by the monitoring terminal 40 operated by the person is registered in the management data storage unit 313, and the registered image of the tracking target person and the plurality of monitoring cameras 10 are periodically acquired.
  • Similarity calculation extracted from each of the monitored images Two or more similarities are acquired from the monitoring / tracking execution function unit 23 that calculates the similarity with the image of the target person using each of two or more matching models.
  • the tracking alert screen 44 for presenting the image of the similarity calculation target person similar to the image of the tracking target person together with the stage display indicating each attention stage is generated.
  • the tracking alert screen 44 displays the similarity values.
  • FIG. 32 is a block diagram showing an example of the configuration of the video analysis function unit 20 in the third embodiment. Also in the third embodiment, the video analysis function unit 20 includes an image acquisition module 21, a person detection information extraction function unit 22, and a monitoring / tracking execution function unit 23.
  • the human detection information extraction function unit 22 is added to the whole body detection module 221, the area tracking module 222, the whole body feature amount extraction module 223, the face detection module 224, and the face feature amount extraction module 225. It includes a body temperature detection module 226, a pulse detection module 227, and a cough detection module 228.
  • the face detection module 224 sends the extracted face image to the body temperature detection module 226, the pulse detection module 227, and the cough detection module 228 in addition to the face feature amount extraction module 225.
  • the body temperature detection module 226 detects the body surface temperature of a person from the whole body image input from the whole body detection module 221 or the face image input from the face detection module 224.
  • Various methods for detecting the body surface temperature from the image have been conventionally proposed, and in the present embodiment, the body surface temperature detecting method to be used is not particularly limited.
  • the body temperature detection module 226 transmits the detected body temperature to the Web server by in-server communication, Websocket, or the like.
  • the body temperature detection module 226 transmits the detected body temperature to the Web server 30 via the network NET.
  • the pulse detection module 227 detects the pulse rate of a person from the face image input from the face detection module 224.
  • the following References 1 to 3 and the like have been proposed.
  • the pulse detection module 227 transmits the detected pulse rate to the Web server by in-server communication, Websocket, or the like.
  • the pulse detection module 227 transmits the detected pulse rate to the Web server 30 via the network NET.
  • the cough detection module 228 detects the cough symptom of a person from the face image input from the face detection module 224.
  • the cough detection module 228 detects, for example, whether or not a person is coughing and the degree of the cough based on the degree of blurring of the face image, changes in the face in a plurality of continuous face images, and the like.
  • the cough detection module 228 can detect cough symptoms based on, for example, a face image of a person trained in advance by machine learning such as deep learning.
  • the cough detection module 228 transmits the cough symptom indicating the degree of the detected cough symptom to the Web server by in-server communication, Websocket, or the like.
  • the image analysis function unit 20 is arranged independently from the server device SV, the cough detection module 228 transmits the detected cough symptom to the Web server 30 via the network NET.
  • (1-3) Web server 30 The software configuration of the Web server 30 in the third embodiment is the same as that of the Web server 30 in the second embodiment described with reference to FIG. Further, the hardware configuration is also as described in the first embodiment with reference to FIG. 11. In the third embodiment, the stored contents in the file server 31 and the DB server 32 of the Web server 30 may be different from those in the second embodiment.
  • FIG. 33 is a diagram showing an example of past search data stored in the past search data storage unit 311 of the file server 31.
  • the past search data can include body temperature 3115, pulse rate 3116 and cough symptom 3117, in addition to frame image 3111, whole body image 3112, whole body feature 3113 and facial feature 3114.
  • These body temperature 3115, pulse rate 3116 and cough symptom 3117 are state information detected by the whole body detection module 221 of the image analysis function unit 20.
  • These frame image 3111, whole body image 3112, whole body feature amount 3113, face feature amount 3114, body temperature 3115, pulse rate 3116 and cough symptom 3117 are stored in the same path, for example, or have the same character in a part of the file name. It can be linked by attaching a line.
  • the detection history data storage unit 312 stores detection history data which is data related to each specific person detected as a tracking candidate corresponding to a prescribed symptom such as influenza.
  • FIG. 34 is a diagram showing an example of the detection history data of the detected specific person stored in the detection history data storage unit 312.
  • the detection history data includes the detected face image 3121 which is a face image of the detected specific person and the face feature amount 3122 corresponding to the detected face image 3121, and in the third embodiment, the detected whole body image 3123 and the whole body feature amount. 3124 and can be included.
  • the detected whole body image 3123 is a whole body image of the detected specific person
  • the whole body feature amount 3124 is a whole body feature amount corresponding to the detected whole body image 3123.
  • These detected face image 3121, face feature amount 3122, detected whole body image 3123, and whole body feature amount 3124 are stored in the same path, or by adding the same character string to a part of the file name, for example. Can be linked.
  • the information in the detection history data is the detection history data storage unit when the Web server 30 detects, for example, a tracking candidate corresponding to a predetermined body temperature, pulse rate or cough symptom from the surveillance image of any of the surveillance cameras 10. It can be stored in 312. That is, the Web server 30 detects the whole body image 3112, the whole body feature amount 3113 and the face feature amount 3114 acquired from the monitoring image and stored in the past search data storage unit 311, and detects the whole body image 3123 and the whole body feature amount 3124. And it can be stored in the detection history data storage unit 312 as the facial feature amount 3122.
  • the Web server 30 uses the face detection module 224 of one video analysis function unit 20 for the whole body image 3112 acquired from the monitoring image and stored in the past search data storage unit 311 by in-server communication, Web socket, or the like.
  • a face image can be acquired from the face detection module 224 and stored in the detection history data storage unit 312 as the detection face image 3121.
  • the video analysis function unit 20 may be the video analysis function unit 20 corresponding to the surveillance camera 10 that has acquired the surveillance image detected by the tracking candidate.
  • the Web server 30 displays the detected face image 3121 in the detection history data for the monitoring target stored in the detection history data storage unit 312 in the monitoring terminal, as in the second embodiment. Have the observer browse with the Web browser 41 of 40. Further, in the third embodiment, the Web server 30 causes the observer to browse the state information that is the source of the detection of the detected face image 3121 on the Web browser 41 of the monitoring terminal 40.
  • the state information to be viewed here is obtained by correcting the body temperature 3115, the pulse rate 3116 and the cough symptom 3117 stored in the past search data storage unit 311 by the correction values for each surveillance camera 10 depending on the type and performance. Is.
  • the Web server 30 monitors the body temperature 3115, the pulse rate 3116, and the cough symptom 3117 in addition to the whole body image 3112 of the plurality of persons stored in the past search data storage unit 311. It may be browsed by the Web browser 41 of the above, and an arbitrary whole body image may be designated by the monitoring terminal 40, and that person may be designated as the designated tracking target person. In this case, the result of correcting the body temperature 3115, the pulse rate 3116 and the cough symptom 3117 by the correction values for the corresponding surveillance camera 10 may be viewed on the Web browser 41.
  • the Web server 30 inputs the designated whole body image 3112 into the face detection module 224 of one video analysis function unit 20 by in-server communication, Web socket, or the like, so that the face is concerned.
  • a face image can be acquired from the detection module 224 and stored as a registered face image 3131 in the management data storage unit 313.
  • FIG. 35 is a diagram showing an example of the description contents of the camera information table 3211 for each surveillance camera 10 stored in the camera information table storage unit 321 of the DB server 32.
  • the camera information table 3211 for example, the camera ID, the camera name, the aspect ratio, the camera position X, the camera position Y, the camera angle, the face matching thresholds 1 to 3, the whole body matching thresholds 1 to 3, as in the second embodiment. And so on.
  • the body temperature correction coefficient, the pulse correction coefficient, and the cough symptom correction coefficient are further described in the camera information table 3211.
  • the body temperature correction coefficient, the pulse correction coefficient, and the cough symptom correction coefficient correct the body temperature, the pulse rate, and the cough symptom detected by the body temperature detection module 226, the pulse detection module 227, and the cough detection module 228 of the image analysis function unit 20. It is a coefficient for. Since these correction coefficients depend on the type, performance, installation conditions, etc. of the corresponding surveillance camera 10, they are adjusted to appropriate values between the time when the surveillance camera 10 is installed and the time when the actual operation is started. It is described in the camera information table 3211.
  • the face matching threshold values 1 to 3 and the whole body matching threshold values 1 to 3 are threshold values for comparison with the similarity calculated by the whole body matching module 231 and the face matching module 232 of the video analysis function unit 20.
  • the face matching thresholds 1 to 3 were extracted from the surveillance image of the corresponding surveillance camera 10 in the third embodiment, whereas the second embodiment targeted the face image of the surveillance target person or the tracking target person. It is a first to third thresholds corresponding to the degree of face image similarity for classifying whether or not the face image of a person is a face image of a tracked person.
  • the whole body collation threshold value 1 lending 3 is for classifying whether or not the whole body image of the person extracted from the surveillance image of the corresponding surveillance camera 10 is the whole body image of the tracked person. It is a first to third threshold value corresponding to the whole body image similarity.
  • the face matching threshold value and the whole body matching threshold value are not limited to three stages, respectively.
  • the Web server 30 uses the tracking ID of the past search data table 3221 as the area position of the whole body image given by the person detection information extraction function unit 22 of the video analysis function unit 20 and the past search.
  • the tracking ID of the past search data table 3221 may be assigned.
  • the past search data table 3221 in the front frame image of the surveillance camera 10 stored in the past search data storage unit 311 is a full-body image of each. Region positions can be used.
  • FIG. 36 is a diagram showing an example of the description contents of the detection history table 3231 stored in the detection history table storage unit 323 of the DB server 32.
  • the detection history table 3231 for example, the detection ID, the detection date and time, the detection camera ID, the face left / right angle, the face up / down angle, the tracking ID, etc. Corrected pulse rate and corrected cough symptoms are described.
  • the detection ID and the person requiring attention ID are identification information uniquely identifying the tracking candidate, which is given when the detection history data is stored in the detection history data storage unit 312.
  • the corrected body temperature, the corrected pulse rate, and the corrected cough symptom are the correction results by the correction coefficient described in the camera information table 3211 stored in the camera information table storage unit 321.
  • FIG. 37 is a diagram showing an example of the description contents of the management table 3241 stored in the management table storage unit 324 of the DB server 32.
  • the management table 3241 for example, the query face image path, the face feature amount file path, the monitoring status, the pinning flag, the long-term stay flag, etc., as well as the person requiring attention ID and the corrected body temperature in the third embodiment.
  • Corrected pulse rate and corrected cough symptoms are described.
  • the person requiring attention ID, the corrected body temperature, the corrected pulse rate, and the corrected cough symptom are posted from the detection history table 3231.
  • FIG. 38 is a diagram showing an example of the description contents of the tracking table 3251 stored in the tracking table storage unit 325 of the DB server 32.
  • the tracking table 3251 includes a record for each suspicious person ID of the tracking target person, but in the third embodiment, the tracking table 3251 includes a record for each person requiring attention ID of the tracking target person.
  • the content of the record itself is the detection ID, the whole body image similarity and the face image similarity as in the second embodiment.
  • the detection / tracking result determination function unit 34 provided as the back-end function of the Web server receives the output of each function unit of the person detection information extraction function unit 22 of the image analysis function unit 20 and is defined.
  • a detection history table that detects that a tracking candidate corresponding to the symptom of the above appears in the surveillance image of the surveillance camera 10 and stores it in the detection history table storage unit 323 is created, and each of the person detection information extraction function units 22
  • the detected face image 3121, face feature amount 3122, detected whole body image 3123, and whole body feature amount 3124 of the person extracted by the functional unit are stored in the detection history data storage unit 312.
  • the monitoring function unit 352 of the Web application 35 generates an alert and presents it to the Web browser 41 when the detection / tracking result determination function unit 34 detects a tracking candidate. Therefore, the monitoring function unit 352 includes a detection alert output function unit 3521 that generates a detection alert screen for presenting to the Web browser 41.
  • the detection alert screen is an output screen for presenting an image of a tracking candidate who is a specific person corresponding to a predetermined symptom and a detected person together with the state information.
  • the tracking function unit 353 tracks the person in real time across a plurality of surveillance cameras 10 with a face image and a whole body image of the same person as the face image of the tracking candidate detected by the detection / tracking result determination function unit 34.
  • the tracking result is presented to the Web browser 41.
  • each image analysis function unit 20 has a body temperature in addition to a frame image, a whole body image, a region position of a whole body image, a whole body feature amount, and a face feature amount.
  • the pulse rate and the cough symptom are transmitted to the Web server 30 by in-server communication, Web socket, or the like.
  • the Web server 30 uses the frame image, the whole body image, the whole body feature amount, the face feature amount, the body temperature, the pulse rate, and the cough symptom transmitted from each of the plurality of image analysis function units 20 as the past search data as a file server. It is stored in the past search data storage unit 311 of 31.
  • the visit detection operation of the tracking candidate is performed in parallel with the real-time situation monitoring of each part.
  • This tracking candidate visit detection operation includes a detection result determination process by the detection / tracking result determination function unit 34 and a detection alert output process by the detection alert output function unit 3521 of the monitoring function unit 352.
  • FIG. 39 is a flowchart showing a processing procedure of the detection result determination process by the detection / tracking result determination function unit 34 of the Web server 30.
  • the detection / tracking result determination function unit 34 performs the process shown in this flowchart each time the past search data based on the surveillance image of any of the surveillance cameras 10 is stored in the past search data table storage unit 322. be able to.
  • the detection / tracking result determination function unit 34 stores the past search data based on the surveillance image of each surveillance camera 10 for a predetermined number of times in the past search data table storage unit 322, and the process shown in this flowchart is shown. May be carried out. In the latter case, any one of the plurality of times of past search data, for example, the latest one can be used as the processing target.
  • the detection / tracking result determination function unit 34 first acquires the body temperature 3115, the pulse rate 3116, and the cough symptom 3117, which are state information, from the past search data stored in the past search data storage unit 311 (step S1001). .. Further, the detection / tracking result determination function unit 34 is a correction value of the state information from the camera information table 3211 of the surveillance camera 10 which is the acquisition source of the past search data, which is stored in the camera information table storage unit 321. The body temperature correction value, the pulse rate correction value, and the cough symptom correction value are acquired (step S1002). Then, the acquired body temperature 3115, pulse rate 3116 and cough symptom 3117 are corrected by the body temperature correction value, pulse rate correction value and cough symptom correction value (step S1003).
  • the detection / tracking result determination function unit 34 determines whether or not the corrected body temperature is equal to or higher than the predetermined body temperature stored in advance (step S1004).
  • the detection / tracking result determination function unit 34 detects the detected face image 3121, the facial feature amount 3122, and the detected whole body image as the detection history data in the detection history data storage unit 312.
  • a detection history table 3231 is generated and stored in the detection history table storage unit 323 (step S1005).
  • the corrected body temperature, the corrected pulse rate, and the corrected cough symptom which are the corrected state information corrected in step S1003, are registered.
  • the detection / tracking result determination function unit 34 ends the detection / tracking result determination process. It is assumed that the specified body temperature to be compared, the specified pulse rate and the specified cough symptom, which will be described later, have values corresponding to the specified symptom such as influenza stored in the storage device 302 in advance.
  • step S1004 when it is determined in step S1004 that the corrected body temperature is not equal to or higher than the specified body temperature, the detection / tracking result determination function unit 34 determines that the corrected pulse rate is equal to or higher than the predetermined pulse rate stored in advance. (Step S1006). If it is determined that the corrected pulse rate is equal to or higher than the specified pulse rate, the detection / tracking result determination function unit 34 proceeds to the process of step S1005.
  • the detection / tracking result determination function unit 34 determines whether or not the corrected cough symptom is equal to or higher than the predetermined cough symptom stored in advance. (Step S1007). If it is determined that the corrected cough symptom is equal to or greater than the specified cough symptom, the detection / tracking result determination function unit 34 proceeds to the process of step S1005. When it is determined that the corrected cough symptom is not more than the specified cough symptom, the detection / tracking result determination function unit 34 ends the detection / tracking result determination process.
  • the detection history data is stored in 312, and the corrected body temperature, pulse rate, and cough symptom are registered in the detection history table 3231.
  • 40 and 41 are flowcharts showing a processing procedure of the detection alert output process by the detection alert output function unit 3521 of the monitoring function unit 352.
  • the detection alert output function unit 3521 periodically executes the processing shown in this flowchart at the same processing timing as the detection result determination processing by the monitoring / tracking execution function unit 23 of the video analysis function unit 20, for example.
  • the detection alert output function unit 3521 first determines whether or not the monitoring terminal 40 has performed the narrowing down designation operation on the detection alert screen displayed on the Web browser 41 by the monitor (step S2001). When it is determined that the narrowing down designation operation has been performed, the detection alert output function unit 3521 proceeds to step S2006 described later.
  • the detection alert output function unit 3521 acquires the information of the new detection history table 3231 from the detection history table storage unit 323 (step S2002). That is, the detection alert output function unit 3521 extracts and acquires the detection date and time in the detection history table 3231 in which the date and time after the previous processing date and time are recorded.
  • the detection alert output function unit 3521 creates a new detection person card which is a screen image based on the acquired information of the new detection history table 3231 (step S2003).
  • This detection person card is a screen image including a detection face image 3121 and a detection whole body image 3123 stored as detection history data in the detection history data storage unit 312, and corrected state information in the corresponding detection history table 3231. be. The details of this detection person card will be described later.
  • the detection alert output function unit 3521 updates the detection alert screen to be displayed on the Web browser 41 by the newly created detection person card (step S2004). Then, the detection alert output function unit 3521 transmits the updated detection alert screen to the Web browser 41 via the network NET and displays it there (step S2005). The Web browser 41 displays this detection alert screen in the alert screen display area provided in a part of the monitoring screen or by opening a window different from the monitoring screen. Then, the detection alert output function unit 3521 ends the detection alert output process.
  • the detection alert output function unit 3521 acquires the designated narrowing down level (step S2006).
  • This narrowing down level is an index for narrowing down the detected person card displayed on the detection alert screen.
  • the detection alert output function unit 3521 acquires the information of the detection history table 3231 to be processed from the detection history table storage unit 323 (step S2007). That is, the detection alert output function unit 3521 acquires the information of one detection history table in order from the newest one based on the detection date and time in the detection history table 3231.
  • the detection alert output function unit 3521 determines whether or not the acquired corrected body temperature is higher than the designated body temperature designated as the narrowing down level, that is, whether or not the corrected body temperature is equal to or higher than the designated body temperature (. Step S2008). When it is determined that the corrected body temperature is equal to or higher than the specified body temperature, the detection alert output function unit 3521 creates a detection person card which is a screen image based on the acquired information in the detection history table 3231 (step S2009). ..
  • the detection alert output function unit 3521 determines whether or not a predetermined number of detection person cards have been created (step S2010). This predetermined number can depend on the number that can be displayed on the detection alert screen. Alternatively, any number may be used. If it is determined that the predetermined number of detected person cards have not been created yet, the detection alert output function unit 3521 returns to the process of step S2007.
  • the detection alert output function unit 3521 determines that the acquired corrected pulse rate is equal to or higher than the designated pulse rate designated as the narrowing down level. It is determined whether or not it is (step S2011). If it is determined that the corrected pulse rate is equal to or higher than the designated pulse rate, the detection alert output function unit 3521 proceeds to the process of step S2009 to create a detection person card.
  • the detection alert output function unit 3521 determines that the acquired corrected cough symptom is the designated cough designated as the narrowing down level. It is determined whether or not it is more than a symptom (step S2012). If it is determined that the corrected cough symptom is equal to or greater than the designated cough symptom, the detection alert output function unit 3521 proceeds to the process of step S2009 to create a detection person card. If it is determined that the corrected cough symptom is not more than the designated cough symptom, the detection alert output function unit 3521 proceeds to the process of step S2010.
  • step S2010 when it is determined in step S2010 that a predetermined number of detected person cards have been created, the detection alert output function unit 3521 rearranges the created detected person cards in order of detection date and time, and updates the detection alert screen ( Step S2013). Then, the detection alert output function unit 3521 proceeds to the process of step S2005, transmits the updated detection alert screen to the Web browser 41 via the network NET, and displays the updated detection alert screen there.
  • step S2013 If the information in the detection history table 3231 of the processing target to be acquired in step S2007 is lost before creating a predetermined number of detection person cards, the process may proceed to step S2013.
  • FIG. 42 is a diagram showing an example of the detection alert screen 42 displayed on the Web browser 41.
  • the detection alert screen 42 includes a detected person card 422 for each detected person and a narrowing-down instruction area 423. It should be noted that although the “detected face image” and the “detected whole body image” are shown in characters in FIG. 24, they are actually images rather than characters.
  • the detection person card 422 includes a warning label 4221, a person requiring attention ID 4222, a tracking candidate image 4223, a detection body temperature 4224, a detection pulse rate 4225, a detection cough symptom 4226, and a tracking start button 4227 as display contents. Can be done.
  • the alert label 4221 is a message for calling the attention of the observer, and the blinking indicator lamp may be identified and displayed.
  • the person requiring attention ID 4222 is the identification information posted from the detection history table 3231.
  • the tracking candidate image 4223 is a detected face image 3121 and a detected whole body image 3123 stored in the detection history data storage unit 312 of the person detected as the tracking candidate.
  • the detected body temperature 4224, the detected pulse rate 4225, and the detected cough symptom 4226 are the corrected body temperature, the corrected pulse rate, and the corrected cough symptom posted from the detection history table 3231.
  • the tracking start button 4227 is a button pressed when tracking the person.
  • the old detection person card 422 is shifted downward so that it is displayed at the top of the detection alert screen 42 every time a specific person is newly detected as a tracking candidate. .. No new detection person card 422 is added for the same person.
  • the narrowing down instruction area 423 is an area for receiving an instruction for narrowing down the detection person card 422 displayed on the detection alert screen 42.
  • the narrowing instruction area 423 includes a body temperature presentation threshold setting slider 4231, a pulse rate presentation threshold setting slider 4232, and a cough symptom threshold setting button 4233.
  • the body temperature presentation threshold setting slider 4231 is a slider that is slid to set the presentation threshold indicating the designated body temperature used in step S2008.
  • the detection person card 421 including the corrected body temperature equal to or higher than the body temperature indicated by the slide operation of this slider by the observer is displayed on the detection alert screen 42.
  • the body temperature presentation threshold setting slider 4231 shows a state in which a defined body temperature of 37.5 ° C. is set.
  • the pulse rate presentation threshold setting slider 4232 is a slider operated by sliding to set the presentation threshold value indicating the designated pulse rate used in step S2011.
  • the detection person card 421 including the corrected pulse rate equal to or higher than the pulse rate instructed by the observer by sliding the slider is displayed on the detection alert screen 42.
  • the pulse rate presentation threshold setting slider 4232 shows a state in which a predetermined pulse rate of 110 is set.
  • the cough symptom threshold setting button 4233 indicates the degree of cough symptom in three stages in the present embodiment, it includes three buttons corresponding to the number of stages of cough symptom.
  • the detection person card 421 including the corrected cough symptom of the specified number of steps or more according to the operation of pressing the three buttons by the observer is displayed on the detection alert screen 42.
  • a state in which a prescribed cough symptom, which is one step as the number of steps in the cough symptom threshold setting button 4233, is set is shown.
  • the cough symptom threshold setting button 4233 also includes a reset button which is a button to be pressed when resetting the designated number of steps.
  • the detection alert screen 42 includes three detection person cards 422.
  • the detection person card 422 presented at the top is designated by the body temperature of 37.6 ° C, which is a body temperature of 37.5 ° C or higher specified by the body temperature presentation threshold setting slider 4231, or by the cough symptom threshold setting button 4233. It is a detection person card 422 that presents a follow-up candidate in which a two-stage cough symptom, which is a cough symptom degree of one or more stages, is detected.
  • the detection person card 422 presented in the second stage is designated by the body temperature of 38.8 ° C., which is the body temperature of 37.5 ° C. or higher specified by the body temperature presentation threshold setting slider 4231, and the pulse rate presentation threshold setting slider 4232.
  • the detection person card 422 presented in the third row has a pulse rate of 115, which is 110 or more pulses specified by the pulse rate presentation threshold setting slider 4232, or a cough symptom threshold setting button 4233. It is a detection person card 422 that presents a follow-up candidate in which a two-stage cough symptom, which is a degree of cough symptom of two or more stages, is detected.
  • FIG. 43 is an example of the detection alert screen 42 when 2 steps are specified by the body temperature presentation threshold setting slider 4231 at 37.8 ° C. and the cough symptom threshold setting button 4233.
  • the detection person card 422 of the tracking candidate presented at the top in the example of FIG. 42 is not presented.
  • the detection person card 422 presented in the second and third stages in the example of FIG. 42 is shifted upward, and is newly specified by the body temperature presentation threshold setting slider 4231 at 37.8 ° C.
  • the card 422 is presented in the third row.
  • step S12 the image registration function unit 3531 has a detection history having a person requiring attention ID on the detection alert screen 42. Based on the tracking ID of the table storage unit 323, the detected face image 3121 is acquired from the detection history data storage unit 312 as a tracking face image.
  • step S13 the image registration function unit 3531 uses the detected whole body image 3123 specified by the detection ID described in the detection history table 3231 for the detected face image 3121 acquired as the tracking face image as the tracking whole body image. get.
  • the image registration function unit 3531 acquires a whole body image 3112 as a tracking whole body image from the past search data storage unit 311 based on the detection ID.
  • step S14 the image registration function unit 3531 acquires the face feature amount 3122 and the whole body feature amount 3124 from the detection history data storage unit 312 as the tracking face feature amount and the tracking whole body feature amount based on the detection ID. do.
  • the processing procedure of the tracking process by the monitoring / tracking execution function unit 23 of the video analysis function unit 20 is the same as that of the second embodiment described with reference to FIG. 25, except for the following points. That is, in the third embodiment, the time interval t1 in step S118 is an arbitrary time interval, for example, several seconds. Alternatively, the time interval t1 may be a time interval that is an integral multiple of the acquisition interval of the surveillance image of the surveillance camera 10.
  • the suspicious person ID is set as the person requiring attention ID. Except for this, it is the same as the second embodiment. Further, in the comparison between the whole body image similarity and the whole body collation thresholds 1 to 3 and the comparison between the face image similarity and the face collation thresholds 1 to 3, it is not whether or not it is large or not. It doesn't matter as a judgment. Which one to use depends on how to select each threshold value.
  • FIG. 44 is a diagram showing an example of the tracking alert screen 44 displayed on the Web browser 41.
  • the tracking alert screen 44 is different from the tracking alert screen 44 in the second embodiment in the following points. That is, in the third embodiment, the top-level tracking target person information area 431 of the tracking alert screen 44 replaces the warning message 4411 and the suspicious person ID 4412 of the second embodiment with the warning label 4416 and the person requiring attention ID 4417. Also, the display content of the tracking information 4414 is different.
  • the alert label 4416 is a message for calling the attention of the observer, and the blinking indicator lamp may be identified and displayed.
  • the person requiring attention ID 4417 is the identification information posted from the management table 3241.
  • the tracking information 4414 is information about the tracking target person, and the content is different between the tracking information 4414 of the highest tracking target person information area 431 and the tracking information 4414 of the other tracking target person information area 431. That is, the tracking information 4414 of the top-level tracking subject information area 431 includes the corrected body temperature, the corrected pulse rate, and the corrected cough symptom, which are state information posted from the management table 3241.
  • the tracking information 4414 of the tracking target person information area 431 other than the highest level includes the tracking status instead of these state information.
  • FIG. 45 is a diagram showing another example of the tracking alert screen 44 displayed on the Web browser 41.
  • This example shows a case where three steps are specified by the face image similarity selection button 4431 and one step is designated by the whole body image similarity selection button 4433.
  • the pressed button is identified and displayed as shown by hatching in FIG. 44.
  • the designation by the face image similarity selection button 4431 and the designation by the whole body image similarity selection button 4433 are AND conditions, and only the tracking information card 442 that matches the number of steps specified in both is displayed on the tracking alert screen 44. become.
  • the Web server 30 as the person tracking device according to the third embodiment is the health condition of the person included in each of the surveillance images periodically acquired by each of the plurality of surveillance cameras 10. From the person detection information extraction function unit 22 as an information extraction unit that detects a plurality of types of state information related to each of the monitoring images, the plurality of types of state information detected by the person detection information extraction function unit 22 are acquired.
  • the detection / tracking result determination function unit 34 as a determination unit for determining whether or not the person included in each of the surveillance images is a specific person corresponding to the specified symptom, and Based on the discrimination result of the detection / tracking result determination function unit 34, among the images of the person extracted from the surveillance images of each of the plurality of surveillance cameras 10, the image of the specific person corresponding to the specified symptom such as influenza is displayed.
  • the detection / tracking result determination function unit 34 as a detection unit that detects an image of a person similar to the image of a person, and the tracking for presenting an image of a person similar to the image of a person to be tracked detected by the detection / tracking result determination function unit 34. It is provided with a tracking alert output function unit 3533 as a tracking output screen generation unit that generates a tracking alert screen 44 as an output screen. As a result, a person corresponding to a predetermined symptom can be detected and tracked from the surveillance image acquired by the surveillance camera 10.
  • the Web server 30 is a specific person who corresponds to a predetermined symptom among the images of the person extracted from the surveillance images of each of the plurality of surveillance cameras 10 based on the determination result of the detection / tracking result determination function unit 34.
  • the image registration function unit 3531 is further provided with a detection alert output function unit 3521 as a detection output screen generation unit that generates a detection alert screen 42 as a detection output screen for presenting the image of the above. From the monitoring terminal 40 that displays the detection alert screen 42 generated by the detection alert output function unit 3521, the designation of the image of the tracking target person to be tracked is acquired from the images of the person presented on the detection alert screen 42. , The acquired specified image is registered as a tracking target person image. Therefore, by presenting a plurality of tracking candidates together with the status information on the detection alert screen 42, the observer can easily recognize the tracking target person who must be tracked.
  • the detection / tracking result determination function unit 34 is a person extracted from the surveillance images of each of the plurality of surveillance cameras 10 when any one of the acquired plurality of types of state information is equal to or higher than the default value.
  • the image is determined to be an image of a specific person who corresponds to the specified symptom. Therefore, it is possible to reliably pick up a person who may fall under the prescribed symptoms even a little.
  • the detection alert output function unit 3521 acquires a presentation threshold value designated for each type of the plurality of types of state information, and based on the acquired presentation threshold value, the detection / tracking result determination function unit 34 determines the symptom. From the images of the specific person determined to correspond to the above, the images to be presented on the detection alert screen 42 are narrowed down. Therefore, by specifying the presentation threshold value by the observer, it is possible to narrow down the persons who may correspond to the prescribed symptom presented on the detection alert screen 42, and the observer can track the tracked person who must be tracked. It will be easy to recognize.
  • the detection alert output function unit 3521 should present an image of a specific person who has detected state information equal to or higher than any one of the presentation thresholds for each of the acquired types on the detection alert screen 42. I try to select as. Therefore, there is no possibility that the person who may correspond to the prescribed symptom is excluded from the narrowing down target.
  • the Web server 30 further includes a camera information table storage unit 321 as a camera information storage unit that stores correction coefficients for correcting state information for each of the plurality of surveillance cameras 10, and has a detection / tracking result determination function.
  • the unit 34 corrects the state information acquired from the person detection information extraction function unit 22 by the correction coefficient stored in the camera information table storage unit 321 and defines a person's image based on the corrected state information. It is attempted to determine whether or not the image is of a specific person corresponding to the symptom. Therefore, it is possible to reduce the variation between the state information depending on the type of the surveillance camera 10 and the like.
  • the state information can include at least one of the body temperature, the pulse rate, and the cough symptom extracted from the monitoring image, respectively.
  • the person tracking system according to the third embodiment includes a Web server 30 as a person tracking device according to the third embodiment, a plurality of surveillance cameras 10, a monitoring terminal 40 operated by a monitor, and person detection information.
  • a video analysis function unit 20 as an analysis unit including an extraction function unit 22 can be provided.
  • the person tracking method according to the third embodiment is a person tracking method for tracking a tracking target person to be tracked from surveillance images acquired by a plurality of surveillance cameras 10, and a Web server 30 which is a computer can be used as a computer.
  • Person detection information extraction function as an information extraction unit that detects a plurality of types of state information related to the health condition of a person included in each of the surveillance images periodically acquired by each of the plurality of surveillance cameras 10 from each of the surveillance images.
  • Multiple types of status information detected by the person detection information extraction function unit 22 are acquired from the unit 22, and based on the acquired multiple types of status information, the person included in each of the surveillance images corresponds to the specified symptom.
  • the image of the specific person corresponding to the specified symptom is selected from the images of the person extracted from the surveillance images of each of the plurality of surveillance cameras 10.
  • the image of a person similar to the registered tracked person image is detected from each of the monitored images periodically acquired by each of the plurality of surveillance cameras 10 registered in the file server 31 which is a memory as the tracked person image.
  • a tracking alert screen 44 for presenting an image of a person similar to the detected tracking target person image is generated.
  • a person corresponding to a predetermined symptom can be detected and tracked from the surveillance image acquired by the surveillance camera 10.
  • the detection person card 422 presented on the detection alert screen 42 is for a person who corresponds to a body temperature, a pulse rate, or a cough symptom equal to or higher than any of the presentation thresholds. It may be a condition that there is.
  • the processing procedure of the detection alert output function unit 3521 may be changed to the procedure shown in the flowchart shown in FIG. 46 instead of the procedure shown in the flowchart shown in FIG. 41.
  • step S2008 when it is determined in step S2008 that the corrected body temperature is not equal to or higher than the specified body temperature, when it is determined in step S2011 that the corrected pulse rate is not equal to or higher than the specified pulse rate, or in step S2012, the corrected cough symptom is equal to or higher than the specified cough symptom. If it is determined that this is not the case, the detection alert output function unit 3521 proceeds to the determination process in step S2010 without creating the detection person card. Then, in step S2008, it is determined that the corrected body temperature is equal to or higher than the designated body temperature, in step S2011, it is determined that the corrected pulse rate is equal to or higher than the designated pulse rate, and in step S2012, the corrected cough symptom is equal to or higher than the designated cough symptom. Only when it is determined that the detection alert output function unit 3521 proceeds to step S2009 to create a detection person card.
  • the detection alert output function unit 3521 displays an image of a specific person who has detected state information equal to or higher than the presentation threshold for all of the acquired presentation thresholds, on the detection alert screen 42. Select as the image to be presented to. Therefore, it is possible to easily narrow down the persons who are likely to correspond to the prescribed symptoms.
  • the attribute information of the person itself is quantified as the whole body image feature amount and the face image feature amount, but the present invention is not limited to this.
  • the whole body feature amount may include, for example, quantified information accompanying a person such as clothes, belongings (type and color of bag, stroller, etc.), ornaments (sunglasses, mask, etc.). Further, the whole body feature amount may include a numerical value of a person's internal information obtained from an image such as fever information, pulse, etc. or obtained from another sensor. Further, the facial feature amount may include a numerical value of accompanying information attached to the face such as ornaments (glasses, hats, etc.).
  • the whole-body image feature amount and the face image feature amount are limited to the numerical value of the attribute information of the person itself, and the numerical value of the accompanying information and the numerical value of the internal information of the person are used as different feature amounts.
  • another feature amount may be used as one of the detection criteria similar to the whole body image feature amount and the face image feature amount.
  • the frame image 3111, the whole body image 3112, the whole body feature amount 3113, and the face feature amount 3114 are stored as the past search data in the past search data storage unit 311 of the file server 31.
  • the face image from which the face feature amount 3114 is extracted may also be stored.
  • the image analysis function unit 20 first extracts a whole body image of a person from a frame image which is a monitoring image, and then extracts a face image from the extracted whole body image.
  • a frame image is used.
  • a person's face image may be extracted from the frame image, and a whole body image including the extracted face image may be extracted from the frame image.
  • the whole body image of a person is extracted from the surveillance image acquired by the surveillance camera 10, and the face image of the person is extracted from the extracted whole body image, but the present invention is not limited to this.
  • the face image may be extracted without extracting the whole body image.
  • the detection alert screen 42 shown in FIGS. 24, 42 and 43, and the tracking alert screen 44 shown in FIGS. 30, 31, 44 and 45 are also limited to this layout and display contents. is not it.
  • the attention stage display 4219, the detected cough symptom 4226, the face attention stage display 4424, and the whole body attention stage display 4426 are represented by the number of quadrangles that identify and display a plurality of squares, but one such as yellow, orange, and red.
  • the attention stage may be indicated by an identification display that changes the color of the rectangle.
  • the attention stage may be represented by letters, such as A to C and 1 to 3, instead of the number and color of the quadrangles.
  • each processing step may change the processing order as long as it does not conflict with the preceding or succeeding processing step.
  • the present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof.
  • various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. Furthermore, components over different embodiments may be combined as appropriate.
  • Detection person card 423,443 Narrowing down instruction area 431 ... Tracking target person information area 432 ... Elapsed time information area 433,442 ... Tracking information card 3111 ... Frame image 3112 ... Whole body image 3113, 3124, 3134 ... Whole body feature amount 3114, 3122, 3132... Face feature amount 3115... Body temperature 3116... Pulse rate 3117... Cough symptom 3121, 4212... Detection face image 3123... Detection whole body image 3131... Registered face image 3133... Registered whole body image 3211... Camera information Table 3221 ... Past search data table 3231 ... Detection history table 3241 ... Management table 3251 ... Tracking table 3521 ...
  • Detection alert output function unit 3531 ... Image registration function unit 3532 ... Detection alert output function unit 3533 ... Tracking alert output function unit 4211 ... Monitored person face image 4213, 4311 ... Attention message 4214, 4312 ... Detection ID 4215 ... Similarity 4216, 4314 ... Detection information 4217 ... Tracking start button 4218, 4412 ... Suspicious person ID 4219 ... Attention stage display 4221, 4416 ... Attention label 4222, 4417 ... Person requiring attention ID 4223 ... Tracking candidate image 4224 ... Detected body temperature 4225 ... Detected pulse rate 4226 ... Detected cough symptom 4227 ... Tracking start button 4231 ...
  • Body temperature presentation threshold setting slider 4232 Pulse rate presentation threshold setting slider 4233 ... Cough symptom threshold setting button 4313, 4413 ... Registered image 4315... Past detection image 4316... Suspicious person ID 4317 ... Danger level type 4318 ... Description 4319, 4415 ... Tracking stop button 4331, 4421 ... Detection date and time information 4332, 4422 ... Detection camera location information 4333 ... Detection image 4334 ... Image similarity information 4335, 4427 ... Detection background image 4411 ...
  • Attention message 4414 Tracking information 4423... Detected face image 4424... Face attention stage display 4425... Detection whole body image 4426... Whole body attention stage display 4431... Face image similarity selection button 4432... Face image similarity selection reset button 4433... Whole body image Similarity selection button 4434 ... Whole body image similarity selection reset button NET ... Network SV ... Server device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

この発明の一態様による人物追跡装置においては、画像登録機能部３５３１によって、追跡を行うべき追跡対象者の顔画像及び全身画像を登録したとき、検知／追跡結果判定機能部３４は、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれについて、登録された顔画像に類似する顔画像と、登録された全身画像に類似する全身画像と、の少なくとも一方を検知し、検知アラート出力機能部３５３２は、その検知／追跡結果判定機能部３４が検知した顔画像及び全身画像の少なくとも一方を出力する。

Description

人物を検出または追跡する装置、システム、方法及びプログラム
　この発明の一態様は、人物を検出または追跡する装置、システム、方法及びプログラムに関する。
　従来より、監視カメラによって取得した監視画像から人物の顔を抽出し、その顔の特徴量に基づいて、人物を識別する技術が各種提案されている。更に、近年、顔の特徴量と全身の特徴量とを組み合わせて人物の識別を行うことで、人物識別の精度を向上させる技術も提案されている（例えば、特許文献１参照）。
　また、近年、画像から抽出した人物の顔や全身の特徴量の類似度に基づいて人物認証を行う技術の発展に伴い、その認証技術の利用法が各種提案されている。例えば、特許文献２は、監視カメラによって取得した監視画像から抽出した人物の顔認証結果を、通信インタフェース部を介して監視装置等の外部の端末へ送信し、その画面表示部に表示する技術を提案している。
日本国特開２０１９－０２３７８５号公報 日本国特許第６６２７８９４号公報
　特許文献１に開示されている従来の人物識別技術は、建物や店舗等の入口に設置した監視カメラのように、来訪者の顔画像が確実に取得できる場合は、不審者や得意顧客といった監視対象者の来訪検知を行うために非常に有効な技術である。
　一方、監視対象者の来訪検知があった場合に、警備目的や販売促進目的により、その監視対象者がどこにいるのかリアルタイムで追跡したいという要望がある。
　しかしながら、追跡を行うべき追跡対象者の移動に伴って追跡対象者の顔の向きは様々に変化し、監視カメラが追跡対象者の顔を捕らえられない場合が多発する。このように監視カメラにより顔画像が取得できない場合には、従来の人物識別技術では人物を識別することができず、よって、追跡対象者の追跡を行うことができなかった。
　更に近年、インフルエンザやＣＯＶＩＤ－１９（新型コロナウイルス感染症）等の感染症対策が強く要請されている。従って、そのような感染症が疑われる人物の来訪検知を行うこと、更には、その人物の施設内移動を追跡する技術が望まれている。
　また、特許文献２に開示されている技術では、監視画像を取得する監視カメラの種類や性能により、顔認証の出力結果及び全身照合の出力結果は何れも区々である。そのため、監視装置の画面表示部に表示された認証結果から、監視者はその認証結果の確からしさを認識することが困難である。
　この発明は上記事情に着目してなされたもので、一側面では、監視カメラにより追跡対象者の顔画像が取得できない場合でも、追跡対象者を追跡できる技術を提供しようとするものである。
　この発明は、別の側面では、監視カメラによって取得した監視画像から感染症等に対応する規定の症状に該当する人物を検知し、追跡できる技術を提供しようとするものである。
　この発明は、更に別の側面では、認証結果の確からしさを監視者が容易に認識できる技術を提供しようとするものである。
　上記目的を達成するためにこの発明に係る人物追跡装置の第１の態様は、追跡を行うべき追跡対象者の顔画像及び全身画像を登録する登録部と、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれについて、前記登録された顔画像に類似する顔画像と、前記登録された全身画像に類似する全身画像と、の少なくとも一方を検知する検知部と、前記検知した顔画像及び全身画像の少なくとも一方を出力する出力部と、を具備するようにしたものである。
　ここで、この発明に係る人物追跡装置の第２の態様は、第１の態様において、前記監視画像のそれぞれから人物の全身画像を抽出し、前記全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、前記顔画像からその特徴量である顔特徴量を抽出する抽出部から、前記抽出部が抽出した前記全身画像、前記全身特徴量及び前記顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量を前記監視画像と共に蓄積する画像蓄積部を更に具備し、前記登録部は、監視者が操作する監視端末から前記追跡対象者の顔画像の指定を受け付け、その指定された顔画像に対応する前記画像蓄積部に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量と、前記顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、前記検知部は、前記登録部による登録の時点から前記画像蓄積部に蓄積されていく前記監視画像を照合用画像として、前記照合用画像それぞれについての、前記抽出部が抽出した前記全身特徴量と前記追跡用全身特徴量との類似度である全身画像類似度、及び、前記抽出部が抽出した前記顔特徴量と前記追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出部から、前記類似度算出部が算出した前記全身画像類似度及び前記顔画像類似度と前記追跡用顔画像及び前記追跡用全身画像とのセットを取得し、前記全身画像類似度及び前記顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、前記閾値よりも大きい場合に、前記抽出部が前記照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、前記照合用画像としての前記監視画像を取得した前記監視カメラの位置情報とを、前記登録部によって登録された前記追跡用全身画像及び前記追跡用顔画像と共に表示するための表示用結果を作成し、前記出力部は、前記検知部によって作成された前記表示用結果を前記監視端末に送信して、前記監視端末に前記表示用結果を表示させるようにすることができ、この発明に係る人物追跡システムの一態様は、この人物追跡装置の一態様と、前記複数台の監視カメラと、前記監視者が操作する前記監視端末と、前記抽出部及び前記類似度算出部を備える解析部と、を具備するようにしたものである。
　また、この発明に係る人物検出装置の一態様は、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する検出部と、を具備するようにしたものである。
　この発明に係る人物追跡装置の第３の態様は、この発明に係る人物検出装置の一態様と、前記人物検出装置によって前記出力画面に前記段階表示と共に提示された前記特定人物の画像に類似する複数の前記類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末から受け付け、その指定された画像を追跡用画像として登録し、前記登録された前記追跡を行うべき前記追跡対象者の画像である前記追跡用画像を前記特定画像として、前記類似度算出部に、少なくとも二つ以上の前記類似度算出手法を用いて前記類似度算出対象者の画像の前記類似度を少なくとも二つ抽出させる登録部と、前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、前記検出部が検出した前記注意段階を示す段階表示と共に提示する追跡出力画面を生成する追跡出力画面生成部と、を具備するようにしたものである。
　或いは、この発明に係る人物追跡装置の第４の態様は、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、監視者が操作する監視端末から指定された追跡を行うべき追跡対象者の画像を、前記特定画像として登録する登録部と、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する検出部と、前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する追跡出力画面生成部と、を具備するようにしたものである。
　また、この発明に係る人物追跡装置の第５の態様は、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、前記監視画像のそれぞれから検出する情報抽出部から、前記情報抽出部が検出した前記複数種類の状態情報を取得し、前記取得した前記複数種類の状態情報に基づいて、前記監視画像のそれぞれに含まれる前記人物が規定の症状に該当する特定人物であるか否か判別する判別部と、前記判別部の判別結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、追跡対象者画像として登録する登録部と、前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像のそれぞれから、前記登録部によって登録された前記追跡対象者画像に類似する人物の画像を検知する検知部と、前記検知部が検知した前記追跡対象者画像に類似する人物の画像を提示するための追跡出力画面を生成する追跡出力画面生成部と、を具備するようにしたものである。
　この発明の各態様によれば、監視カメラにより追跡対象者の顔画像が取得できない場合でも、追跡対象者を追跡できるようになる。
　また、この発明の各態様によれば、認証結果の確からしさを監視者が容易に認識できるようになる。
　また、この発明の各態様によれば、監視カメラによって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
図１は、この発明の第１実施形態に係る人物追跡システムの全体構成の一例を示す図である。 図２は、図１に示した映像解析機能部の構成の一例を示すブロック図である。 図３は、この発明の第１実施形態に係る人物追跡装置としての図１に示したＷｅｂサーバのソフトウェア構成を示すブロック図である。 図４は、図３に示した過去検索用データ記憶部の記憶内容の一例を示す図である。 図５は、図３に示した検知履歴データ記憶部の記憶内容の一例を示す図である。 図６は、図３に示した管理データ記憶部の記憶内容の一例を示す図である。 図７は、図３に示したカメラ情報テーブル記憶部の記載内容の一例を示す図である。 図８は、図３に示した過去検索用データテーブル記憶部の記載内容の一例を示す図である。 図９は、図３に示した検知履歴テーブル記憶部の記載内容の一例を示す図である。 図１０は、図３に示した管理テーブル記憶部の記載内容の一例を示す図である。 図１１は、図３のＷｅｂサーバのハードウェア構成を示すブロック図である。 図１２は、図１に示した監視端末のＷｅｂブラウザに表示される検知アラート画面の一例を示す図である。 図１３は、図３に示した画像登録機能部による画像登録処理の処理手順を示すフローチャートである。 図１４は、図２に示した監視／追跡実行機能部による監視／追跡処理の処理手順を示すフローチャートである。 図１５は、図３に示した検知／追跡結果判定機能部による検知／追跡結果判定処理の処理手順を示すフローチャートである。 図１６は、図１に示した監視端末のＷｅｂブラウザに表示される検知アラート出力画面の一例を示す図である。 図１７は、図１に示した監視端末のＷｅｂブラウザに表示される検知アラート出力画面の別の例を示す図である。 図１８は、この発明の第２実施形態に係る人物検出装置及び人物追跡装置としての図１に示したＷｅｂサーバのソフトウェア構成を示すブロック図である。 図１９は、図１８に示したカメラ情報テーブル記憶部の記載内容の一例を示す図である。 図２０は、図１８に示した追跡テーブル記憶部の記載内容の一例を示す図である。 図２１は、第２実施形態における監視／追跡実行機能部による監視処理の処理手順を示すフローチャートである。 図２２は、第２実施形態における検知／追跡結果判定機能部による検知結果判定処理の処理手順を示すフローチャートである。 図２３は、第２実施形態における検知アラート出力機能部による検知アラート出力処理の処理手順を示すフローチャートである。 図２４は、第２実施形態における監視端末のＷｅｂブラウザに表示される検知アラート画面の一例を示す図である。 図２５は、第２実施形態における監視／追跡実行機能部による追跡処理の処理手順を示すフローチャートである。 図２６は、第２実施形態における検知／追跡結果判定機能部による追跡結果判定処理の処理手順を示すフローチャートである。 図２７は、第２実施形態における追跡アラート出力機能部による追跡アラート出力処理の処理手順の第１の部分を示すフローチャートである。 図２８は、第２実施形態における追跡アラート出力機能部による追跡アラート出力処理の処理手順の第２の部分を示すフローチャートである。 図２９は、第２実施形態における追跡アラート出力機能部による追跡アラート出力処理の処理手順の第３の部分を示すフローチャートである。 図３０は、第２実施形態における監視端末のＷｅｂブラウザに表示される追跡アラート画面の一例を示す図である。 図３１は、第２実施形態における監視端末のＷｅｂブラウザに表示される追跡アラート画面の別の例を示す図である。 図３２は、この発明の第３実施形態に係る人物追跡システムにおける映像解析機能部の構成の一例を示すブロック図である。 図３３は、第３実施形態における過去検索用データ記憶部の記憶内容の一例を示す図である。 図３４は、第３実施形態における検知履歴データ記憶部の記憶内容の一例を示す図である。 図３５は、第３実施形態におけるカメラ情報テーブル記憶部の記載内容の一例を示す図である。 図３６は、第３実施形態における検知履歴テーブル記憶部の記載内容の一例を示す図である。 図３７は、第３実施形態における管理テーブル記憶部の記載内容の一例を示す図である。 図３８は、第３実施形態における追跡テーブル記憶部の記載内容の一例を示す図である。 図３９は、第３実施形態における検知／追跡結果判定機能部による検知結果判定処理の処理手順を示すフローチャートである。 図４０は、第３実施形態における検知アラート出力機能部による検知アラート出力処理の処理手順の第１の部分を示すフローチャートである。 図４１は、第３実施形態における検知アラート出力機能部による検知アラート出力処理の処理手順の第２の部分を示すフローチャートである。 図４２は、第３実施形態における監視端末のＷｅｂブラウザに表示される検知アラート画面の一例を示す図である。 図４３は、第３実施形態における監視端末のＷｅｂブラウザに表示される検知アラート画面の別の例を示す図である。 図４４は、第３実施形態における監視端末のＷｅｂブラウザに表示される追跡アラート画面の一例を示す図である。 図４５は、第３実施形態における監視端末のＷｅｂブラウザに表示される追跡アラート画面の別の例を示す図である。 図４６は、この発明の第４実施形態に係る人物追跡システムにおける検知アラート出力機能部による検知アラート出力処理の処理手順の一部分を示すフローチャートである。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［第１実施形態］
　（１）構成
　（１－１）全体構成
　図１は、この発明の第１実施形態に係る人物追跡システム１の全体構成の一例を示す図である。
　人物追跡システム１は、例えば、オフィスビルや百貨店等の複数フロアを有する建物、複数店舗を含む商業施設、等の広い監視範囲を有する大型施設において、特定の人物を追跡するシステムである。
　この人物追跡システム１は、複数台の監視カメラ１０と、各監視カメラ１０に対応して設けられた映像解析機能部２０及びこの発明の第１実施形態に係る人物追跡装置として機能するＷｅｂサーバ３０を備えるサーバ装置ＳＶと、監視端末４０と、を含む。各監視カメラ１０と、サーバ装置ＳＶと、監視端末４０とは、ネットワークＮＥＴを介して接続されている。
　ネットワークＮＥＴは、構内ネットワークであり、例えば、無線ＬＡＮ（Local Area Network）または有線ＬＡＮである。ネットワークＮＥＴは、インターネットのような広域ネットワークであっても良い。
　複数の監視カメラ１０は、互いの撮影範囲が重ならないように或いは一部重なるように、大型施設内に分散配置されたネットワークカメラである。監視カメラ１０は、撮影範囲内の動画像を撮影するビデオカメラであって良く、動画像を構成する各フレーム画像を撮影範囲の監視画像として取得することができる。また監視カメラ１０は、一定のタイムインターバルで静止画像を撮影することで、定期的に監視画像を取得するスチルカメラであっても良い。
　サーバ装置ＳＶ内に配置された複数の映像解析機能部２０のそれぞれは、対応する監視カメラ１０から取得した監視画像に対する様々な解析機能を有している。この映像解析機能部２０が提供する解析機能の詳細については、後述する。なお、映像解析機能部２０は、このようにサーバ装置ＳＶの内部に配置されるのではなく、専用の演算装置やクラウドなどに独立して配置し、ネットワークＮＥＴを介して対応する監視カメラ１０とサーバ装置ＳＶとの間でデータを授受することも可能である。また、映像解析機能部２０は、監視カメラ１０が演算機能を持つのであれば、そのカメラ内部に配置することも可能である。なお、本実施形態では、監視カメラ１０と映像解析機能部２０とを１対１に対応させて構成しているが、一つの映像解析機能部２０が複数台の監視カメラ１０に割り当てられていても良い。
　サーバ装置ＳＶのＷｅｂサーバ３０は、サーバコンピュータによって構成され、機能部として、ファイルサーバ３１、データベース（以下、ＤＢと略記する。）サーバ３２、Ｗｅｂアプリケーション３５、検索用人検知結果保存機能部３３、及び、検知／追跡結果判定機能部３４を含む。これら各機能部の詳細については、後述する。
　監視端末４０は、パーソナルコンピュータ等のコンピュータによって構成され、Ｗｅｂブラウザ４１のプログラムを実行することができる。Ｗｅｂブラウザ４１により、監視端末４０を操作する警備員等の監視者は、Ｗｅｂサーバ３０のＷｅｂアプリケーション３５が提供する人物追跡結果を閲覧することができる。なお、図１では、監視端末４０は、一台のみを示しているが、人物追跡システム１は、監視端末４０を複数含んでも良い。
　また、サーバ装置ＳＶが監視端末４０の機能を備えていても良い。
　（１－２）映像解析機能部２０
　図２は、図１に示した映像解析機能部２０の構成の一例を示すブロック図である。映像解析機能部２０は、画像取得モジュール２１、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える。
　画像取得モジュール２１は、ネットワークＮＥＴを介して監視カメラ１０からＲＴＳＰ（Real Time Streaming Protocol）等の所定の通信プロトコルに従って送信されてくるフレーム画像を取得する。画像取得モジュール２１は、取得したフレーム画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、画像取得モジュール２１は、取得したフレーム画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、画像取得モジュール２１は、取得したフレーム画像を人検知情報抽出機能部２２に送る。
　人検知情報抽出機能部２２は、入力された画像から人物の全身画像を抽出し、この全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、さらにこの顔画像からその特徴量である顔特徴量を抽出する抽出部として機能する。具体的には、人検知情報抽出機能部２２は、全身検出モジュール２２１、領域追跡モジュール２２２、全身特徴量抽出モジュール２２３、顔検出モジュール２２４及び顔特徴量抽出モジュール２２５を備える。
　全身検出モジュール２２１は、入力画像であるフレーム画像に写っている人物それぞれの全身を検出して、全身画像を抽出する全身画像抽出部である。全身検出モジュール２２１は、例えば、深層学習（Deep Leaning）等の機械学習により事前に学習させた人物の全身画像に基づいて、人物の全身を検出することができる。全身検出モジュール２２１は、抽出した全身画像を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身検出モジュール２２１は、抽出した全身画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、全身検出モジュール２２１は、抽出した全身画像を、全身特徴量抽出モジュール２２３及び顔検出モジュール２２４にも送る。さらに、全身検出モジュール２２１は、フレーム画像と抽出した全身画像を領域追跡モジュール２２２に送る。
　領域追跡モジュール２２２は、全身検出モジュール２２１から入力されたフレーム画像中の全身画像の領域位置を検出する。
　全身特徴量抽出モジュール２２３は、入力された全身画像から全身特徴量を抽出する全身特徴量抽出部である。全身特徴量は、全身画像に含まれる人物の体の特徴を客観的に数値化したものである。例えば、全身特徴量は、画像から推定される体型、身長、性別、年代、等の人物自体の属性情報を数値化したものとすることができる。全身特徴量抽出モジュール２２３は、深層学習（例えばDeep-person-reid等）等の事前に学習したモデルを用いて、全身特徴量を抽出することができる。また、全身特徴量抽出モジュール２２３は、これら全身特徴量を、ＨＯＧ（Histogram of Oriented Gradients）やＳＩＦＴ（Scaled Invariance Feature Transform）等の局所画像特徴量として算出することも可能である。全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身特徴量抽出モジュール２２３は、抽出した全身特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、監視／追跡実行機能部２３に送る。
　顔検出モジュール２２４は、入力された全身画像から人物の顔を検出して、顔画像を抽出する顔画像抽出部である。顔検出モジュール２２４は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、人物の顔を検出することができる。顔検出モジュール２２４は、抽出した顔画像を、顔特徴量抽出モジュール２２５に送る。
　顔特徴量抽出モジュール２２５は、入力された顔画像から顔特徴量を抽出する顔特徴量抽出部である。顔特徴量は、顔画像に含まれる人物の顔の特徴を客観的に数値化したものである。顔特徴量抽出モジュール２２５は、例えば、全身特徴量を抽出する全身特徴量抽出モジュール２２３と同様に、深層学習等で事前に学習したモデルを用いて顔特徴量を抽出することができる。また、顔検出モジュール２２４は、これら顔特徴量を、ＨＯＧやＳＩＦＴ等の局所画像特徴量として算出しても良い。顔検出モジュール２２４は、抽出した顔特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔特徴量抽出モジュール２２５は、抽出した顔特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、顔検出モジュール２２４は、抽出した顔特徴量を、監視／追跡実行機能部２３に送る。
　また、監視／追跡実行機能部２３は、二つの入力画像の全身特徴量の類似度である全身画像類似度、及び、二つの入力画像の顔特徴量の類似度である顔画像類似度を算出する類似度算出部として機能する。具体的には、監視／追跡実行機能部２３は、全身照合モジュール２３１及び顔照合モジュール２３２を備える。
　全身照合モジュール２３１は、全身特徴量抽出モジュール２２３から入力された全身特徴量と、監視端末４０から指示された追跡対象の人物の全身特徴量との類似度を算出する。追跡対象の人物の全身特徴量は、例えば、全身特徴量抽出モジュール２２３によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。全身照合モジュール２３１は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身照合モジュール２３１は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
　顔照合モジュール２３２は、顔特徴量抽出モジュール２２５から入力された顔特徴量と、監視端末４０から指示された追跡対象の人物の顔特徴量との類似度を算出する。追跡対象の人物の顔特徴量は、例えば、顔特徴量抽出モジュール２２５によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。顔照合モジュール２３２は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔照合モジュール２３２は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
　（１－３）Ｗｅｂサーバ３０
　図３は、Ｗｅｂサーバ３０のソフトウェア構成を示すブロック図である。前述したように、Ｗｅｂサーバ３０は、機能部として、ファイルサーバ３１、ＤＢサーバ３２、検索用人検知結果保存機能部３３、検知／追跡結果判定機能部３４、及び、Ｗｅｂアプリケーション３５を有する。
　ファイルサーバ３１は、各種のデータファイルを蓄積する。ファイルサーバ３１は、過去検索用データ記憶部３１１、検知履歴データ記憶部３１２及び管理データ記憶部３１３を含むことができる。
　過去検索用データ記憶部３１１は、複数の映像解析機能部２０それぞれで取得したデータである過去検索用データを記憶する。図４は、この過去検索用データ記憶部３１１に記憶される過去検索用データの一例を示す図である。過去検索用データは、各映像解析機能部２０の全身検出モジュール２２１がフレーム画像から検出した全身画像毎に、過去検索用データ記憶部３１１に記憶されることができる。過去検索用データは、映像解析機能部２０の画像取得モジュール２１が取得したフレーム画像３１１１、全身検出モジュール２２１が抽出した全身画像３１１２、全身特徴量抽出モジュール２２３が抽出した全身特徴量３１１３、及び、顔特徴量抽出モジュール２２５が抽出した顔特徴量３１１４を含むことができる。これらフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
　検知履歴データ記憶部３１２は、不審者、迷子、得意顧客といった特定の監視対象者として検知された人物それぞれに関するデータである検知履歴データを記憶する。図５は、この検知履歴データ記憶部３１２に記憶される検知された人物の検知履歴データの一例を示す図である。検知履歴データは、検知された人物の顔画像である検知顔画像３１２１と、その検知顔画像３１２１に対応する顔特徴量３１２２と、を含むことができる。これら検知顔画像３１２１と顔特徴量３１２２は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
　なお、特に図示はしていないが、監視対象者に関するデータは、ファイルサーバ３１に事前に記憶されている。この監視対象者に関するデータは、例えば、監視端末４０からネットワークＮＥＴを介してＷｅｂサーバ３０に、監視対象者の顔画像を入力することで、ファイルサーバ３１に記憶させることができる。そして、Ｗｅｂサーバ３０が、その顔画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔特徴量抽出モジュール２２５に入力することで、当該顔特徴量抽出モジュール２２５から顔特徴量を取得して、ファイルサーバ３１に記憶させることができる。また、ネットワークＮＥＴを介して、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２を監視端末４０のＷｅｂブラウザ４１にて閲覧し、監視端末４０から任意の全身画像３１１２を指定することで、その人物を監視対象者として指定することも可能である。この場合、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、ファイルサーバ３１に監視対象者の顔画像として記憶させることができる。また、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている、指定された全身画像３１１２を有する過去検索用データから顔特徴量３１１４を取得して、それをファイルサーバ３１に記憶させることができる。
　また、監視対象者に関するデータをファイルサーバ３１に記憶する際、当該監視対象者についての情報を記載した監視対象者テーブルもＤＢサーバ３２に記憶される。この監視対象者テーブルには、当該監視対象者を一意に識別する識別情報である不審者ＩＤ、監視対象者の名称である不審者名称、どのような理由の監視対象者であるかを示す危険度種別、当該監視対象者についての身体的特徴や行動様式、注意点等の説明文、等を記載しておくことができる。
　検知履歴データにおける検知顔画像３１２１は、Ｗｅｂサーバ３０が、例えば、何れかの監視カメラ１０の監視画像から、監視対象者に関するデータとの比較によって監視対象者を検知した時に、検知履歴データ記憶部３１２に記憶させることができる。すなわち、Ｗｅｂサーバ３０は、当該監視画像から取得されて過去検索用データ記憶部３１１に記憶されている全身画像を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得し、それを検知顔画像３１２１として検知履歴データ記憶部３１２に記憶させることができる。この一つの映像解析機能部２０は、監視対象者が検知された監視画像を取得した監視カメラ１０に対応する映像解析機能部２０であって良い。映像解析機能部２０の顔検出モジュール２２４が、抽出した顔画像をバッファリングしている場合には、Ｗｅｂサーバ３０は、当該顔検出モジュール２２４にバッファリングしている顔画像を要求することで検知顔画像３１２１を取得しても良い。
　管理データ記憶部３１３は、追跡対象者それぞれに関するデータである管理データを記憶する。図６は、この管理データ記憶部３１３に記憶される追跡対象者毎の管理データの一例を示す図である。追跡対象者毎の管理データは、監視端末４０からの指定に応じて管理データ記憶部３１３に記憶されることができる。管理データは、指定された追跡対象者の顔画像である登録顔画像３１３１と、その登録顔画像３１３１から抽出された特徴である顔特徴量３１３２と、追跡対象者の全身画像である登録全身画像３１３３と、その登録全身画像３１３３から抽出された特徴である全身特徴量３１３４と、を含むことができる。これら登録顔画像３１３１、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
　例えば、Ｗｅｂサーバ３０は、監視対象者が検知された際に、検知履歴データ記憶部３１２に記憶したその監視対象に対する検知履歴データにおける検知顔画像３１２１を監視端末４０のＷｅｂブラウザ４１にて監視者に閲覧させる。そして、監視端末４０から当該人物を追跡対象者とする指定が行われると、Ｗｅｂサーバ３０は、検知履歴データにおける検知顔画像３１２１をこの管理データにおける登録顔画像３１３１として記憶させる。さらに、Ｗｅｂサーバ３０は、検知履歴データにおける顔特徴量３１２２を、この管理データにおける顔特徴量３１３２として記憶させることができる。また、Ｗｅｂサーバ３０は、指定された検知履歴データにおける検知顔画像３１２１の元となった全身画像を過去検索用データ記憶部３１１に記憶された過去検索用データから取得すると共に、その全身特徴量も当該過去検索用データから取得し、それらをこの管理データにおける登録全身画像３１３３及び全身特徴量３１３４として記憶させる。
　或いは、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２を監視端末４０のＷｅｂブラウザ４１にて閲覧させ、監視端末４０から任意の全身画像の指定を受けて、その人物を指定の追跡対象者とするようにしても良い。この場合、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、管理データ記憶部３１３に登録顔画像３１３１として記憶させることができる。またこの場合、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４については、過去検索用データ記憶部３１１に記憶されているものを取得して記憶させれば良い。或いは、追跡対象者の顔画像及び全身画像についても、監視対象者の顔画像と同様に、監視端末４０からネットワークＮＥＴを介してＷｅｂサーバ３０に入力することで、管理データ記憶部３１３に登録顔画像３１３１及び登録全身画像３１３３として記憶させるようにしても構わない。この場合には、Ｗｅｂサーバ３０は、その入力された顔画像及び全身画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により映像解析機能部２０へ送って、顔特徴量３１３２及び全身特徴量３１３４を取得すれば良い。
　ＤＢサーバ３２は、各種のデータテーブルを蓄積する。ＤＢサーバ３２は、カメラ情報テーブル記憶部３２１、過去検索用データテーブル記憶部３２２、検知履歴テーブル記憶部３２３、管理テーブル記憶部３２４、等を含むことができる。
　カメラ情報テーブル記憶部３２１は、複数の監視カメラ１０のそれぞれに対応して設けられ、その対応する監視カメラ１０に関する各種情報が記載されたカメラ情報テーブル３２１１を予め記憶している。図７は、このカメラ情報テーブル記憶部３２１に記憶される、監視カメラ１０毎のカメラ情報テーブル３２１１の記載内容の一例を示す図である。カメラ情報テーブル３２１１には、例えば、カメラＩＤ、カメラ名称、アスペクト比、カメラ位置Ｘ、カメラ位置Ｙ、カメラ角度、顔照合閾値、全身照合閾値、等々が記載されている。
　ここで、カメラＩＤは、対応する監視カメラ１０を一意に識別する識別情報である。カメラ名称は、対応する監視カメラ１０の名称である。これは、対応する監視カメラ１０の大型施設における設置位置と関連付けた名称とすることができる。アスペクト比は対応する監視カメラ１０で取得される画像のアスペクト比である。カメラ位置Ｘ及びカメラ位置Ｙは、対応する監視カメラ１０の設置位置を示す大型施設内のＸＹ座標である。カメラ角度は、対応する監視カメラ１０の設置向きを示している。顔照合閾値及び全身照合閾値は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度と比較するための閾値である。類似度がこの閾値よりも大きい場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像又は顔画像が監視対象者或いは追跡対象者の全身画像又は顔画像であると判定することができる。この顔照合閾値及び全身照合閾値は、監視カメラ１０自体の特性や設置条件に依存するため、監視カメラ１０を設置してから実際の運用が開始されるまでの間に、適切な値に調整される。なお、この顔照合閾値及び全身照合閾値は、監視対象者に対する閾値と追跡対象者に対する閾値とで異なる値として、それぞれ別個にカメラ情報テーブル３２１１に記載しても良い。
　過去検索用データテーブル記憶部３２２は、過去検索用データ記憶部３１１に記憶される過去検索用データのそれぞれに対応して、その過去検索用データに関する各種データが記載された過去検索用データテーブル３２２１を記憶する。Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に過去検索用データを記憶する際に、この過去検索用データテーブル３２２１を作成して、過去検索用データテーブル記憶部３２２に記憶させる。図８は、この過去検索用データテーブル記憶部３２２に記憶される過去検索用データテーブル３２２１の記載内容の一例を示す図である。過去検索用データテーブル３２２１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、トラッキングＩＤ、フレームＩＤ、検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ、検知座標情報Ｈｅｉｇｈｔ、等々が記載される。
　ここで、検知ＩＤは、映像解析機能部２０の全身検出モジュール２２１が検出したフレーム画像３１１１中の全身画像３１１２毎に振られる識別情報である。検知日時は、全身検出モジュール２２１が当該全身画像３１１２を検出した日時である。検知カメラＩＤは、フレーム画像３１１１を取得した監視カメラ１０のカメラＩＤである。トラッキングＩＤは、複数フレーム画像間で、同一の人物の全身画像３１１２を紐付けるための識別情報である。フレームＩＤはフレーム画像３１１１を一意に識別するための識別情報である。検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ及び検知座標情報Ｈｅｉｇｈｔは、領域追跡モジュール２２２によって検出されたフレーム画像３１１１中の全身画像３１１２の領域位置を示す情報であり、全身画像３１１２の例えば左上隅のフレーム画像中のＸＹ座標と、そこからの画像幅及び画像高さを示す。
　なお、Ｗｅｂサーバ３０は、過去検索用データテーブル３２２１のトラッキングＩＤを、例えば、以下のようにして付与することができる。Ｗｅｂサーバ３０は、映像解析機能部２０の人検知情報抽出機能部２２から与えられる全身画像の領域位置と、過去検索用データテーブル記憶部３２２に記憶されている当該監視カメラ１０の前フレーム画像における過去検索用データテーブル３２２１それぞれの全身画像の領域位置とを比較して、重複領域等を考慮することで、全身画像の人物の同一性を判別する。同一人物が前フレーム画像に写っていなければ、Ｗｅｂサーバ３０は、新たなトラッキングＩＤを付与する。また、同一人物が前フレーム画像に写っていれば、当該人物の全身画像３１１２に対応する過去検索用データテーブル３２２１よりトラッキングＩＤを引き継ぐ。なお、Ｗｅｂサーバ３０は、全身画像の位置ではなくて、全身特徴量を比較することで、人物の同一性を判別し、新規トラッキングＩＤ付与の要否を決定するようにしても良い。
　検知履歴テーブル記憶部３２３は、検知履歴データ記憶部３１２に記憶される検知履歴データのそれぞれに対応して、その検知履歴データに関する各種データが記載された検知履歴テーブル３２３１を記憶する。Ｗｅｂサーバ３０は、検知履歴データ記憶部３１２に検知履歴データを記憶する際に、この検知履歴テーブル３２３１を作成して、検知履歴テーブル記憶部３２３に記憶させる。図９は、この検知履歴テーブル記憶部３２３に記憶される検知履歴テーブル３２３１の記載内容の一例を示す図である。検知履歴テーブル３２３１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、不審者ＩＤ、顔認証スコア、顔左右角度、顔上下角度、トラッキングＩＤ、等々が記載される。
　ここで、検知ＩＤ、検知日時、検知カメラＩＤ及びトラッキングＩＤは、過去検索用データテーブル３２２１について説明した通りである。不審者ＩＤは、図示しない監視対象者テーブルに記載されている、検知された監視対象者の不審者ＩＤである。顔認証スコアは、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した、その監視対象者の画像との類似度である。顔左右角度及び顔上下角度は、対応する検知履歴データの検知顔画像３１２１における顔の向きを示す。
　管理テーブル記憶部３２４は、管理データ記憶部３１３に記憶される管理データのそれぞれに対応して、その管理データに関する各種データが記載された管理テーブル３２４１を記憶する。Ｗｅｂサーバ３０は、管理データ記憶部３１３に管理データを記憶する際に、この管理テーブル３２４１を作成して、管理テーブル記憶部３２４に記憶させる。図１０は、この管理テーブル記憶部３２４に記憶される管理テーブル３２４１の記載内容の一例を示す図である。管理テーブル３２４１には、例えば、不審者ＩＤ、不審者名称、危険度種別、説明文、クエリ顔画像パス、顔特徴量ファイルパス、監視ステータス、ピン留めフラグ、長期間滞在フラグ、等々が記載される。
　ここで、不審者ＩＤ、不審者名称、危険度種別及び説明文は、図示しない監視対象者テーブルに記載されている、追跡対象者として指定された監視対象者についての情報が転記される。クエリ顔画像パス及び顔特徴量ファイルパスは、管理データ記憶部３１３における、管理データの登録顔画像３１３１及び顔特徴量３１３２の保存パスを示す。監視ステータスは、危険度種別以外の、追跡対象者に対して監視端末４０から任意に設定される属性情報である。ピン留めフラグは、追跡対象者として指定された際に、そのことを示すためにセットされるフラグである。長期間滞在フラグは、追跡対象者として指定されていないが、規定の時間以上、当該施設に滞在している場合にセットされるフラグである。すなわち、Ｗｅｂサーバ３０は、監視対象以外ではないが長期間滞在している人物が存在するとき、その人物の顔画像及び顔特徴量も管理データ記憶部３１３に記憶させ、管理テーブル記憶部３２４に管理テーブルを記憶させることができる。これにより、新たな不審者や新規顧客の候補を発見できるようになる。
　検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４は、Ｗｅｂサーバのバックエンド機能として提供される。検索用人検知結果保存機能部３３は、映像解析機能部２０の人検知情報抽出機能部２２の各機能部の出力を受けて、過去検索用データテーブル記憶部３２２に記憶する検索用データテーブルを作成する。検知／追跡結果判定機能部３４は、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、事前に記憶してある監視対象者の顔画像と同一の人物が何れかの監視カメラ１０の監視画像内に現れたことを検知し、検知履歴テーブル記憶部３２３に記憶する検知履歴テーブルを作成すると共に、人検知情報抽出機能部２２の各機能部で抽出した、その人物の検知顔画像３１２１及び顔特徴量３１２２を検知履歴データ記憶部３１２へ記憶させる。検知／追跡結果判定機能部３４は、また、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、複数の監視カメラ１０の撮影範囲を跨いで追跡対象者を追跡し、その追跡結果を示す表示用結果を生成する。
　Ｗｅｂアプリケーション３５は、監視端末４０のＷｅｂブラウザ４１からの要求に応じて各種処理を行い、その処理結果を示す閲覧用のデータを作成するアプリケーションプログラムである。Ｗｅｂアプリケーション３５は、Ｗｅｂサーバ３０に、ログイン機能部３５１、監視機能部３５２、追跡機能部３５３及び過去検索機能部３５４としての機能を提供する。
　ログイン機能部３５１は、Ｗｅｂブラウザ４１からのログインを受け付けて、認証を行い、正規ユーザに対して当該Ｗｅｂアプリケーション３５が提供する機能の利用を許可する。
　監視機能部３５２は、検知／追跡結果判定機能部３４が監視対象者の顔画像と同一の人物を検知した際にアラートを発生して、Ｗｅｂブラウザ４１に提示する。
　追跡機能部３５３は、検知／追跡結果判定機能部３４が検知した監視対象者の顔画像と同一の人物の顔画像及び全身画像で、複数の監視カメラ１０を跨いでリアルタイムに該当人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示する。そのために、追跡機能部３５３は、画像登録機能部３５３１と検知アラート出力機能部３５３２とを含む。画像登録機能部３５３１は、Ｗｅｂブラウザ４１上での監視者から指定操作による、追跡を行うべき追跡対象者の顔画像の指定を受けて、管理データ記憶部３１３に登録顔画像３１３１及び顔特徴量３１３２を記憶させると共に、管理テーブル３２４１を作成して管理テーブル記憶部３２４に記憶させる。検知アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が生成した表示用結果をＷｅｂブラウザ４１に提示する。
　過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、その指定された時間・場所に来訪した人物を一覧表示し、その中から検索する人物の指定を受け付ける。そして、過去検索機能部３５４は、検知／追跡結果判定機能部３４がその指定された人物の顔画像及び全身画像から、過去検索用データ記憶部３１１に記憶された類似人物を検索した結果をＷｅｂブラウザ４１に提示する。
　図１１は、Ｗｅｂサーバ３０のハードウェア構成を示すブロック図である。Ｗｅｂサーバ３０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサ３０１Ａ、プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３を備える。プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３は、バス３０４を介してハードウェアプロセッサ３０１Ａに接続されている。
　通信インタフェース装置３０３は、例えば一つ以上の有線または無線の通信インタフェースユニットを含んでおり、ネットワークＮＥＴで使用される通信プロトコルに従い、映像解析機能部２０及び監視端末４０との間で各種情報の送受信を可能にする。
　プログラムメモリ３０１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用したもので、ＣＰＵなどのハードウェアプロセッサ３０１Ａが実行することで、この発明の第１実施形態に係る各種制御処理を実行するために必要なプログラムを記憶している。すなわち、ハードウェアプロセッサ３０１Ａは、プログラムメモリ３０１Ｂに記憶されたプログラムを読み出して実行することで、図３に示すような検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４として機能することができる。なお、これらの処理機能部は、それぞれ別個のハードウェアプロセッサで実現されても良い。すなわち、Ｗｅｂサーバ３０は、複数のハードウェアプロセッサを備えていても良い。また、これらの処理機能部の少なくとも一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）などの集積回路を含む、他の多様なハードウェア回路の形式で実現されても良い。また、プログラムメモリ３０１Ｂに記憶されるプログラムは、図３に示すようなＷｅｂアプリケーションのブログラムを含むことができる。
　記憶装置３０２は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤなどの随時書込み及び読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）などの揮発性メモリとを組み合わせて使用したもので、人物追跡処理を行う過程で取得及び作成された各種データを記憶するために用いられる。また、記憶装置３０２には、図３に示すようなファイルサーバ３１及びＤＢサーバ３２を構成することができる。
　（２）動作
　次に、以上のように構成された人物追跡システム１の動作を説明する。
　（２－１）監視動作
　監視端末４０でＷｅｂブラウザ４１が起動されてＷｅｂサーバ３０に対するアクセス操作がなされると、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供するログイン機能部３５１により、認証動作を実施する。そして、正規ユーザであることが確認されたならば、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する監視機能部３５２により、Ｗｅｂブラウザ４１での閲覧用の監視画面を生成して、Ｗｅｂブラウザ４１へ送信する。監視画面は、以下のようにして生成されることができる。
　複数台の監視カメラ１０はそれぞれ、監視画像を定期的に取得し、取得した監視画像を対応する映像解析機能部２０に入力する。映像解析機能部２０の画像取得モジュール２１は、対応する監視カメラ１０からの監視画像であるフレーム画像を取得し、人検知情報抽出機能部２２は、そのフレーム画像に写っている人物の全身画像、その全身画像の領域位置、全身特徴量及び顔特徴量を抽出する。そして、映像解析機能部２０は、それらフレーム画像、全身画像、全身画像の領域位置、全身特徴量及び顔特徴量をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。
　Ｗｅｂサーバ３０は、複数の映像解析機能部２０のそれぞれから送信されてきたフレーム画像、全身画像、全身特徴量及び顔特徴量を、過去検索用データとして、ファイルサーバ３１の過去検索用データ記憶部３１１に蓄積する。またこのとき、Ｗｅｂサーバ３０の検索用人検知結果保存機能部３３は、複数の映像解析機能部２０のそれぞれから送信されてきた全身画像の領域位置を含む過去検索用データテーブルを作成して、ＤＢサーバ３２の過去検索用データテーブル記憶部３２２に記憶させる。こうして、各監視カメラ１０での監視画像の取得毎に、過去検索用データ記憶部３１１に過去検索用データが蓄積されていくと共に、過去検索用データテーブル記憶部３２２にそれら過去検索用データに紐付いた過去検索用データテーブルが蓄積されていく。
　監視機能部３５２は、こうして過去検索用データ記憶部３１１に蓄積されていく各監視カメラ１０からのフレーム画像を、一つの画面に並べることで、監視画面を生成することができる。監視端末４０のＷｅｂブラウザ４１に表示されたこの監視画面を閲覧することで、警備員等の監視者は、施設内の各部のリアルタイムな状況を把握することが可能となる。
　一方、各映像解析機能部２０の監視／追跡実行機能部２３は、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりファイルサーバ３１にアクセスし、そこに事前に記憶されている複数の監視対象者それぞれの顔特徴量と、人検知情報抽出機能部２２が抽出した顔特徴量と、の類似度を算出する。そして、監視／追跡実行機能部２３は、算出した各監視対象者の顔特徴量との類似度をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。
　Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４は、複数の映像解析機能部２０のそれぞれから送信されてきた類似度を、カメラ情報テーブル記憶部３２１の対応する監視カメラ１０のカメラ情報テーブル３２１１に記憶された顔照合閾値及び全身照合閾値と比較する。そして、類似度が閾値よりも大きい場合には、検知／追跡結果判定機能部３４は、人検知情報抽出機能部２２が抽出した顔特徴量を有する人物が監視対象であるとして、検知アラート画面を生成する。さらに、検知／追跡結果判定機能部３４は、検知履歴データ記憶部３１２に検知履歴データとして、検知顔画像３１２１と顔特徴量３１２２を記憶させると共に、検知履歴テーブル３２３１を生成して、それを検知履歴テーブル記憶部３２３に記憶させる。
　監視機能部３５２は、こうして検知／追跡結果判定機能部３４が生成した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、表示させる。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート画面を表示する。
　図１２は、Ｗｅｂブラウザ４１に表示される検知アラート画面４２の一例を示す図である。検知アラート画面４２は、検知された人物毎の検知人物カード４２１を含む。この検知人物カード４２１は、その表示内容として、監視対象者顔画像４２１１、検知顔画像４２１２、注意喚起メッセージ４２１３、検知ＩＤ４２１４、類似度４２１５、検知情報４２１６、及び、追跡開始ボタン４２１７を含むことができる。なお、図１２においては「監視対象顔画像」及び「検知顔画像」として文字で示しているが、実際には、それらは文字ではなく画像であることに注意されたい。
　ここで、監視対象者顔画像４２１１は、ファイルサーバ３１に事前に記憶されていた監視対象者の顔画像であり、検知顔画像４２１２は、その監視対象者であると検知された人物の、検知履歴データ記憶部３１２に記憶された検知顔画像３１２１である。注意喚起メッセージ４２１３は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。検知ＩＤ４２１４は、過去検索用データテーブル３２２１または検知履歴テーブル３２３１から転記される識別情報である。類似度４２１５は、監視対象者の顔画像と検知された人物の顔画像との類似度である。検知情報４２１６は、過去検索用データテーブル３２２１または検知履歴テーブル３２３１における検知カメラＩＤに基づく検出カメラ場所情報と、同じく検知日時に基づく検出日時情報と、を含む。追跡開始ボタン４２１７は、当該人物を追跡する場合に押下されるボタンである。
　なお、この検知人物カード４２１は、監視対象人物として新たに人物が検知される毎に、検知アラート画面４２の最上位に表示されるように、古い検知人物カード４２１が下方にシフトされていく。同一人物については新たな検知人物カード４２１は追加されない。一つの検知人物カード４２１を選択することで、検知履歴データ記憶部３１２及び検知履歴テーブル記憶部３２３に記憶されている当該人物の履歴が一覧表示される。
　（２－２）追跡動作
　監視者が検知アラート画面４２の追跡開始ボタン４２１７の押下操作を行うと、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する追跡機能部３５３により、映像解析機能部２０及び検知／追跡結果判定機能部３４を利用して、当該人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示させていく。この追跡動作は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理と、映像解析機能部２０の監視／追跡実行機能部２３による監視／追跡処理と、検知／追跡結果判定機能部３４による検知／追跡結果判定処理と、追跡機能部３５３の検知アラート出力機能部３５３２による検知アラート出力処理と、を含む。
　図１３は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理の処理手順を示すフローチャートである。画像登録機能部３５３１は、定期的に、例えば監視カメラ１０の監視画像の取得間隔に同期して、このフローチャートに示す処理を実施する。
　画像登録機能部３５３１は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート画面４２における追跡開始ボタン４２１７の押下操作が行われたか否か判断する（ステップＳ１１）。追跡開始ボタン４２１７の押下操作が行われていないと判断した場合には、画像登録機能部３５３１は、この画像登録処理を終了する。
　これに対して、追跡開始ボタン４２１７の押下操作が行われたと判断した場合には、画像登録機能部３５３１は、その人物の顔画像を追跡用顔画像として取得する（ステップＳ１２）。すなわち、画像登録機能部３５３１は、検知アラート画面４２の検知ＩＤを有する検知履歴テーブル記憶部３２３のトラッキングＩＤに基づいて、検知履歴データ記憶部３１２から検知顔画像３１２１を追跡用顔画像として取得する。例えば、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１の内、検知日時が特定時期のもの、例えば最新のものに記載された検知ＩＤで特定される検知顔画像３１２１を取得することができる。特定時期としては、最新に限らず、最古、指定期間の間での最新又は最古、季節（春夏秋冬など）であって良い。或いは、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１のそれぞれに記載された検知ＩＤで特定される検知顔画像３１２１を一覧形式で含む選択画面を生成し、それをＷｅｂブラウザ４１に表示させて、監視者に追跡用顔画像とする検知顔画像３１２１を選択させるようにしても良い。そして、画像登録機能部３５３１は、取得した追跡用顔画像を、管理データ記憶部３１３に登録顔画像３１３１として記憶させる。また、画像登録機能部３５３１は、ＤＢサーバ３２に事前に記憶されている図示しない監視対象者テーブルに記載された該当の監視対象者に関する情報に基づいて管理テーブル３２４１を作成し、それを管理テーブル記憶部３２４に記憶させる。管理テーブル３２４１は、管理データ記憶部３１３における登録顔画像３１３１の記憶パスを示すクエリ顔特徴パスを含む。
　そして、画像登録機能部３５３１は、追跡用顔画像として検知履歴データ記憶部３１２から取得された検知顔画像３１２１に対応する全身画像を追跡用全身画像として取得する（ステップＳ１３）。すなわち、画像登録機能部３５３１は、その追跡用顔画像として取得された検知顔画像３１２１について検知履歴テーブル３２３１に記載された検知ＩＤに基づいて、過去検索用データ記憶部３１１から全身画像３１１２を追跡用全身画像として取得する。画像登録機能部３５３１は、この取得した追跡用全身画像を、管理データ記憶部３１３に登録全身画像３１３３として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、管理データ記憶部３１３における登録全身画像３１３３の記憶パスを示すクエリ全身特徴パスを追記する。
　さらに、画像登録機能部３５３１は、追跡用顔画像特徴量と追跡用全身画像特徴量を取得する（ステップＳ１４）。すなわち、画像登録機能部３５３１は、上記検知ＩＤに基づいて、検知履歴データ記憶部３１２から顔特徴量３１２２を追跡用顔特徴量として取得し、また、過去検索用データ記憶部３１１から全身特徴量３１１３を追跡用全身特徴量として取得する。画像登録機能部３５３１は、これら取得した追跡用顔特徴量及び追跡用全身特徴量を、管理データ記憶部３１３に顔特徴量３１３２及び全身特徴量３１３４として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、それら特徴量記憶パスを示す顔特徴量ファイルパス及び全身特徴量ファイルパスを追記する。
　そして、画像登録機能部３５３１は、管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３を追跡用画像として、また、顔特徴量３１３２及び全身特徴量３１３４を追跡用特徴量として、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、複数の映像解析機能部２０のそれぞれへ送信する（ステップＳ１５）。その後、画像登録機能部３５３１は、この画像登録処理を終了する。
　図１４は、映像解析機能部２０の監視／追跡実行機能部２３による監視／追跡処理の処理手順を示すフローチャートである。監視／追跡実行機能部２３は、定期的に、このフローチャートに示す処理を実施する。このフローチャートに示す処理を実施する時間間隔は、例えば、数秒おきというように、任意の時間間隔とすることができる。或いは、監視／追跡実行機能部２３は、監視カメラ１０の監視画像の取得間隔の整数倍の時間間隔で、このフローチャートに示す処理を実施するようにしても良い。
　監視／追跡実行機能部２３は、まず、Ｗｅｂサーバ３０の画像登録機能部３５３１から追跡用画像と特徴量を受信したか否か判断する（ステップＳ２１）。追跡用画像と特徴量を受信していないと判断した場合には、監視／追跡実行機能部２３は、この監視／追跡処理を終了する。
　これに対して、追跡用画像と特徴量を受信したと判断した場合には、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻ｔの全身画像とその特徴量とを、照合用全身画像と照合用全身特徴量として取得する（ステップＳ２２）。対応する監視カメラ１０の監視画像に複数の人物の全身画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用全身画像と照合用全身特徴量を取得する。
　そして、監視／追跡実行機能部２３は、全身照合モジュール２３１により、人検知情報抽出機能部２２からの照合用全身特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用全身特徴量との類似度である全身画像類似度を算出する（ステップＳ２３）。
　また、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻ｔの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する（ステップＳ２４）。対応する監視カメラ１０の監視画像に複数の人物の顔画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。なお、人物の向きによって、全身画像は抽出できても顔画像が抽出できない場合も有る。よって、上記ステップＳ２２で取得される照合用全身画像の数とこのステップＳ２４で取得する照合用顔画像の数とは一致するとは限らない。また、一人も顔画像が抽出できず、照合用顔画像（及び照合用顔特徴量）が取得されない場合もあり得る。
　そして、監視／追跡実行機能部２３は、顔照合モジュール２３２により、人検知情報抽出機能部２２からの照合用顔特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用顔特徴量との類似度である顔画像類似度を算出する（ステップＳ２５）。
　その後、監視／追跡実行機能部２３は、それら全身画像及び顔画像についての類似度と照合用画像とのセットを、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４へ送信する（ステップＳ２６）。なお、類似度と照合用画像のセットは、全身画像類似度と照合用全身画像とのセットと顔画像類似度と照合用顔画像とのセットとの両方を含む場合も有れば、顔画像類似度と照合用顔画像とのセットの無い全身画像類似度と照合用全身画像とのセットのみを含む場合もあり得る。
　そして、監視／追跡実行機能部２３は、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート出力画面における追跡停止ボタンの押下操作が行われたか否か判断する（ステップＳ２７）。追跡停止ボタンを有する検知アラート出力画面の詳細については、後述する。追跡停止ボタンの押下操作が行われたと判断した場合には、監視／追跡実行機能部２３は、この監視／追跡処理を終了する。
　また、追跡停止ボタンの押下操作が行われていないと判断した場合には、監視／追跡実行機能部２３は、時刻ｔを「＋１」して、すなわち、次の処理タイミングとなるのを待った後（ステップＳ２８）、上記ステップＳ２２から上記の処理を繰り返す。
　図１５は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による検知／追跡結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３の処理間隔に同期して、このフローチャートに示す処理を実施する。
　検知／追跡結果判定機能部３４は、まず、監視／追跡実行機能部２３から類似度と照合用画像のセットを受信したか否か判断する（ステップＳ３１）。類似度と照合用画像のセットを受信していないと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
　これに対して、類似度と照合用画像のセットを受信したと判断した場合には、検知／追跡結果判定機能部３４は、顔照合閾値と全身照合閾値を取得する（ステップＳ３２）。すなわち、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶されている、それら類似度と照合用画像のセットの送信元である映像解析機能部２０に対応する監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値と全身照合閾値を取得する。
　そして、検知／追跡結果判定機能部３４は、受信した全身画像類似度のそれぞれについて、取得した全身照合閾値と比較し、全身照合閾値よりも大きいか全身画像類似度が有るか否か判断する（ステップＳ３３）。全身照合閾値よりも大きい全身画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その大きいと判断された全身画像類似度を、上記ステップＳ３１で受信した対応する照合用全身画像と共に、記憶装置３０２の所定の記憶領域に保存しておく（ステップＳ３４）。すなわち、全身照合閾値よりも大きい全身画像類似度を持つ人物は追跡対象者であるとして、その照合用全身画像と全身画像類似度を保存する。
　その後、或いは上記ステップＳ３３において全身照合閾値よりも大きい全身画像類似度が無いと判断した場合、検知／追跡結果判定機能部３４は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値と比較し、顔照合閾値よりも大きい顔画像類似度が有るか否か判断する（ステップＳ３５）。顔照合閾値よりも大きい顔画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その大きいと判断された顔画像類似度を、対応する照合用顔画像と共に、記憶装置３０２に保存しておく（ステップＳ３６）。すなわち、顔照合閾値よりも大きい顔画像類似度を持つ人物は追跡対象者であるとして、その照合用顔画像と顔画像類似度を保存する。
　その後、或いは上記ステップＳ３５において顔照合閾値よりも大きい顔画像類似度が無いと判断した場合には、検知／追跡結果判定機能部３４は、さらに、照合用画像と類似度を保存済みであるか否か判断する（ステップＳ３７）。照合用画像と類似度を保存済みではないと判断した場合、すなわち追跡対象者が存在しない場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
　これに対して、照合用画像と類似度を保存済みであると判断した場合には、検知／追跡結果判定機能部３４は記憶装置３０２の所定の記憶領域に保存されている情報に基づいて、表示用結果を作成する（ステップＳ３８）。そして、検知／追跡結果判定機能部３４は、その作成した表示用結果を、検知アラート出力機能部３５３２へ送信する（ステップＳ３９）。その後、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
　追跡機能部３５３の検知アラート出力機能部３５３２は、図示しないアラート出力処理により、検知／追跡結果判定機能部３４から送られてきた表示用結果に基づいて、検知アラート出力画面を生成する。そして、検知アラート出力機能部３５３２は、それをネットワークＮＥＴを介して監視端末４０に送信し、Ｗｅｂブラウザ４１に表示させる。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート出力画面を表示する。
　図１６は、Ｗｅｂブラウザ４１に表示される検知アラート出力画面４３の一例を示す図である。検知アラート出力画面４３は、追跡するべき追跡対象者毎に表示される。検知アラート出力画面４３は、追跡対象者情報領域４３１と、経過時間情報領域４３２と、追跡情報カード４３３と、を含む。なお、図１６においては「顔画像」、「全身画像」、「画像＃１」、「画像＃２」、「画像＃３」、「画像＃４」及び「フレーム画像」として文字で示しているが、実際には、それらは文字ではなく画像であることに注意されたい。
　追跡対象者情報領域４３１は、追跡対象に関する情報を表示する領域である。この追跡対象者情報領域４３１は、注意喚起メッセージ４３１１、検知ＩＤ４３１２、登録画像４３１３、検知情報４３１４、過去検知画像４３１５、不審者ＩＤ４３１６、危険度種別４３１７、説明文４３１８、及び、追跡停止ボタン４３１９を含む。
　ここで、注意喚起メッセージ４３１１は、監視者の注意を促すためのメッセージであり、例えば、追跡対象者として指定された監視対象者の危険度種別を表示することができる。この危険度種別は、管理テーブル３２４１から転記されることができる。検知ＩＤ４３１２は、管理テーブル３２４１から転記される識別情報である。登録画像４３１３は、追跡対象者の管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３である。検知情報４３１４は、検知履歴テーブル３２３１における検知カメラＩＤに基づく検出カメラ場所情報及び検知日時に基づく検出日時情報を含む。この検知情報４３１４の表示は、新しい監視カメラ１０の監視画像から追跡対象者が検知される毎に、その検出カメラ場所情報と検出日時情報とが追加されていく。過去検知画像４３１５は、過去検索用データ記憶部３１１または検知履歴データ記憶部３１２に記憶されている、当該人物の顔画像または全身画像である。当該人物が過去に検知されたことがない場合には、この過去検知画像４３１５は、ブランクとされる。不審者ＩＤ４３１６、危険度種別４３１７及び説明文４３１８は、管理テーブル３２４１から転記されることができる。追跡停止ボタン４３１９は、当該人物の追跡を終了する場合に押下されるボタンである。
　また、経過時間情報領域４３２は、検知アラート画面４２の追跡開始ボタン４２１７が押下されてからの経過時間を表示する領域である。
　また、追跡情報カード４３３は、検知／追跡結果判定機能部３４の表示用結果を提示するものであり、検知／追跡結果判定機能部３４が表示用結果を出力する毎に、検知アラート出力画面４３の最上位に追加表示されていく。古い追跡情報カード４３３は順次下方にシフトされていく。この追跡情報カード４３３は、その表示内容として、検出日時情報４３３１、検出カメラ場所情報４３３２、検出画像４３３３、画像類似度情報４３３４、及び、検出背景画像４３３５を含む。
　ここで、検出日時情報４３３１は、当該追跡対象者が何れかの監視カメラ１０の監視画像から検知された日時情報である。検出カメラ場所情報４３３２は、その検知した監視カメラＩＤに基づくカメラ場所情報である。検出画像４３３３は、検知されて保存された追跡対象者の照合用顔画像及び／または照合用全身画像である。画像類似度情報４３３４は、検知されて保存された顔画像類似度及び／または全身画像類似度である。検出背景画像４３３５は、照合用顔画像及び／または照合用全身画像を抽出した元の監視画像であるフレーム画像である。このフレーム画像は、過去検索用データ記憶部３１１に記憶されているフレーム画像３１１１が用いられる。
　図１７は、Ｗｅｂブラウザ４１に表示される検知アラート出力画面４３の別の例を示す図である。図１６の検知アラート出力画面４３は、追跡対象者の顔と全身が検知された場合の例を示しているが、図１７は、そこから当該追跡対象者が移動して、別の監視カメラ１０の監視画像により、全身画像から当該追跡対象者が検知された場合を示している。ここでは、顔画像からは追跡対象者が検知されていないので、検出画像４３３３には全身画像のみが表示され、また、画像類似度情報４３３４についても全身画像類似度のみが表示されている。このように、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、追跡対象者を追跡することができる。
　（２－３）過去検索動作
　追跡機能部３５３による追跡動作は、リアルタイムで追跡対象者を追跡する機能である。一方で、過去に特定の人物が当該施設に来訪していないか調査したい場合が存在する。
　そこで、過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、過去検索用データテーブル記憶部３２２に記憶されている過去検索用データテーブル３２２１に基づいて、過去検索用データ記憶部３１１からその指定された時間・場所に来訪した人物の全身画像３１１２を抽出する。そして、その抽出した全身画像３１１２を一覧表示した選択画面を作成し、Ｗｅｂブラウザ４１に表示させる。
　Ｗｅｂブラウザ４１から検索する人物の選択指定を受けて、過去検索機能部３５４は、その選択指定された全身画像３１１２を追跡用全身画像とし、また、リアルタイムの監視カメラ１０からの監視画像に代えて指定された時間・場所についての過去検索用データ記憶部３１１に記憶されたフレーム画像３１１１を対象として、追跡機能部３５３と同様の動作を行う。
　これにより、過去検索機能部３５４は、過去検索用データ記憶部３１１に記憶されている過去の来訪者の中から、選択指定された人物に類似する人物を検索し、その結果を検知アラート出力画面４３としてＷｅｂブラウザ４１に表示させることができる。
　（３）効果
　以上詳述したように第１実施形態に係る人物追跡装置では、登録部としての画像登録機能部３５３１によって、追跡を行うべき追跡対象者の顔画像及び全身画像を登録する。そして、検知部としての検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれについて、登録された顔画像に類似する顔画像と、登録された全身画像に類似する全身画像と、の少なくとも一方を検知し、出力部としての検知アラート出力機能部３５３２によって、その検知した顔画像及び全身画像の少なくとも一方を出力する。よって、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、全身画像を利用して追跡対象者を追跡できるようになる。
　なお、画像登録機能部３５３１は、監視者が操作する監視端末４０から追跡対象者の顔画像の指定を受け付け、指定された顔画像とその顔画像に対応する全身画像とを、追跡用顔画像及び追跡用全身画像として登録し、検知／追跡結果判定機能部３４は、監視画像のそれぞれについて、登録された追跡用顔画像に類似する顔画像と、登録された追跡用全身画像に類似する全身画像と、の少なくとも一方を検知する。このように、監視端末４０から追跡用顔画像及び追跡用全身画像を容易に登録することができる。登録する画像は、監視画像から抽出したものを指定しても良いし、写真や画像ファイル等を監視端末で読み込むようにしても良い。
　また、人物追跡装置は、更に、監視画像のそれぞれから人物の全身画像を抽出し、全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、顔画像からその特徴量である顔特徴量を抽出する抽出部としての人検知情報抽出機能部２２が抽出した、全身画像、全身特徴量及び顔特徴量を、人検知情報抽出機能部２２から取得して、それら取得した全身画像、全身特徴量及び顔特徴量を監視画像と共に蓄積する画像蓄積部であるファイルサーバ３１を備えることができる。また、画像登録機能部３５３１は、監視者が操作する監視端末４０から追跡対象者の顔画像の指定を受け付け、その指定された顔画像に対応するファイルサーバ３１に蓄積された全身画像、全身特徴量及び顔特徴量と、顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録する。そして、検知／追跡結果判定機能部３４は、画像登録機能部３５３１による登録の時点からファイルサーバ３１に蓄積されていく監視画像を照合用画像として、照合用画像それぞれについての、人検知情報抽出機能部２２が抽出した全身特徴量と追跡用全身特徴量との類似度である全身画像類似度、及び、人検知情報抽出機能部２２が抽出した顔特徴量と追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出部としての監視／追跡実行機能部２３から、当該監視／追跡実行機能部２３が算出した全身画像類似度及び顔画像類似度と追跡用顔画像及び追跡用全身画像とのセットを取得し、全身画像類似度及び顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、閾値よりも大きい場合に、人検知情報抽出機能部２２が照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、照合用画像としての監視画像を取得した監視カメラ１０の位置情報とを、画像登録機能部３５３１によって登録された追跡用全身画像及び追跡用顔画像と共に表示するための表示用結果を作成する。検知アラート出力機能部３５３２は、検知／追跡結果判定機能部３４によって作成された表示用結果を監視端末４０に送信して、監視端末４０に表示用結果を表示させる。よって、特徴量の類似度に基づいて、照合用画像から容易に追跡用画像に類似する顔または全身を持つ人物を検知して追跡することができる。
　なお、検知／追跡結果判定機能部３４は、表示用結果に、さらに、全身画像類似度及び顔画像類似度の少なくとも一方の表示を含めるようにしても良い。これにより、検知された人物がどの程度類似した人物であるのかを容易に把握できるようになる。
　また、検知／追跡結果判定機能部３４は、表示用結果に、さらに、照合用画像の表示を含めても良い。これにより、検知された人物の画像を閲覧して、どの程度類似した人物であるのかを容易に把握できるようになる。
　なお、画像登録機能部３５３１は、登録の時点以前にファイルサーバ３１に蓄積されていた追跡対象者についての全身画像、全身特徴量及び顔特徴量の中から、特定時期に蓄積された、例えば最新の、全身画像、全身特徴量及び顔特徴量を、追跡用全身画像、追跡用全身特徴量及び追跡用顔特徴量として登録することができる。これにより、最新の画像に基づいて人物を追跡することができる。
　或いは、画像登録機能部３５３１は、登録の時点以前にファイルサーバ３１に蓄積されていた追跡対象者についての全身画像、全身特徴量及び顔特徴量の中から、登録する追跡用全身画像、追跡用全身特徴量及び追跡用顔特徴量の選択を、監視端末４０から受け付けるようにしても良い。これにより、最も当該人物を把握しやすい画像を指定でき、ご見地の可能性を少なくすることができる。
　また、第１実施形態に係る人物追跡システムは、第１実施形態に係る人物追跡装置と、複数台の監視カメラ１０と、監視者が操作する監視端末４０と、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える解析部としての映像解析機能部２０と、を備えることができる。
　なお、人検知情報抽出機能部２２は、監視画像から全身画像を抽出する全身画像抽出部としての全身検出モジュール２２１と、全身検出モジュール２２１によって抽出された全身画像から全身特徴量を抽出する全身特徴量抽出部としての全身特徴量抽出モジュール２２３と、全身検出モジュール２２１によって抽出された全身画像から顔画像を抽出する顔画像抽出部としての顔検出モジュール２２４と、顔検出モジュール２２４によって抽出された顔画像から顔特徴量を抽出する顔特徴量抽出部としての顔特徴量抽出モジュール２２５と、を含むことがでる。このように専用のモジュールを有することで、全身画像、全身特徴量、顔画像及び顔特徴量を容易に抽出することができる。
　また、監視／追跡実行機能部２３は、照合用画像それぞれについての全身特徴量抽出モジュール２２３によって抽出された全身特徴量と画像登録機能部３５３１によって登録された全身特徴量との類似度である全身画像類似度を算出する全身類似度算出部としての全身照合モジュール２３１と、照合用画像のそれぞれについての顔特徴量抽出モジュール２２５によって抽出された顔特徴量と画像登録機能部３５３１によって登録された顔特徴量との類似度である顔画像類似度を算出する顔類似度算出部としての顔照合モジュール２３２と、を含むことができる。このように専用のモジュールを有することで、全身画像類似度と顔画像類似度を容易に算出することができる。
　また、第１実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、複数台の監視カメラ１０それぞれで定期的に取得した監視画像を記憶装置であるファイルサーバ３１に蓄積させ、監視画像のそれぞれから人物の全身画像を抽出し、全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、顔画像からその特徴量である顔特徴量を抽出する抽出装置である映像解析機能部２０の人検知情報抽出機能部２２から、当該人検知情報抽出機能部２２が抽出した全身画像、全身特徴量及び顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量をファイルサーバ３１に蓄積させ、監視者が操作する監視端末４０からの追跡を行うべき追跡対象者の顔画像の指定を受け付け、その指定された顔画像に対応するファイルサーバ３１に蓄積された全身画像、全身特徴量及び顔特徴量と、顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、登録の時点からファイルサーバ３１に蓄積されていく監視画像を照合用画像として、照合用画像それぞれについての、人検知情報抽出機能部２２が抽出した全身特徴量と追跡用全身特徴量との類似度である全身画像類似度、及び、人検知情報抽出機能部２２が抽出した顔特徴量と追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出装置である映像解析機能部２０の監視／追跡実行機能部２３から、当該監視／追跡実行機能部２３が算出した全身画像類似度及び顔画像類似度と追跡用顔画像及び追跡用全身画像とのセットを取得し、照合用画像それぞれについての全身画像類似度及び顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、全身画像類似度及び顔画像類似度の少なくとも一方が対応する閾値よりも大きい場合に、照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、照合用画像としての監視画像を取得した監視カメラ１０の位置情報とを、登録された追跡用全身画像及び追跡用顔画像と共に表示するための表示用結果を作成し、作成した表示用結果を監視端末４０に送信して、監視端末４０に表示用結果を表示させるようにしている。よって、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、全身画像を利用して追跡対象者を追跡できるようになる。
　［第２実施形態］
　第２実施形態では、第１実施形態と同様の構成については同一の符号を付し、その説明を省略する。第２実施形態では、主として、第１実施形態と異なる部分について説明する。
　（１）構成
　（１－１）全体構成
　この発明の第２実施形態に係る人物追跡システム１は、図１を用いて説明した第１の実施形態に係るシステム１と同様であっても良く、その説明を省略する。なお、第２実施形態では、Ｗｅｂサーバ３０は、この発明の第２実施形態に係る人物検出装置及び人物追跡装置として機能する。
　（１－２）映像解析機能部２０
　映像解析機能部２０についても、図２を用いて説明した第１実施形態における映像解析機能部２０と同様であって良く、その説明を省略する。
　（１－３）Ｗｅｂサーバ３０
　図１８は、第２実施形態におけるＷｅｂサーバ３０のソフトウェア構成を示すブロック図である。第２実施形態では、Ｗｅｂサーバ３０は、図３を参照して説明した第１実施形態におけるＷｅｂサーバ３０と以下の点が異なっている。なお、ハードウェア構成は、図１１を参照して第１実施形態で説明した通りである。
　ＤＢサーバ３２は、第１実施形態と同様に、カメラ情報テーブル記憶部３２１、過去検索用データテーブル記憶部３２２、検知履歴テーブル記憶部３２３、管理テーブル記憶部３２４、等を含むと共に、更に、追跡テーブル記憶部３２５を含むことができる。
　図１９は、カメラ情報テーブル記憶部３２１に記憶される、監視カメラ１０毎のカメラ情報テーブル３２１１の記載内容の一例を示す図である。第２実施形態におけるカメラ情報テーブル３２１１には、第１実施形態における顔照合閾値及び全身照合閾値に代えて、顔照合閾値１～３及び全身照合閾値１～３が記載されている。
　顔照合閾値１～３及び全身照合閾値１～３は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度と比較するための閾値である。顔照合閾値１は、対応する監視カメラ１０の監視画像から抽出された人物の顔画像が監視対象者或いは追跡対象者の顔画像であるか否か分類するための顔画像類似度に対応する第１の閾値である。顔照合モジュール２３２が算出した顔画像類似度がこの第１の閾値である顔照合閾値１よりも大きい場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の顔画像が監視対象者或いは追跡対象者の顔画像であると判定することができる。顔照合閾値２及び３は、顔照合閾値１よりも大きい顔画像類似度に対応し、抽出された人物の顔画像が監視対象者或いは追跡対象者の顔画像である場合に、その顔画像を複数の段階に分類するための第２の閾値である。すなわち、これら閾値の大きさは、［顔照合閾値１＜顔照合閾値２＜顔照合閾値３」の関係を有する。同様に、全身照合閾値１は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像であるか否か分類するための全身画像類似度に対応する第１の閾値である。全身照合モジュール２３１が算出した全身画像類似度がこの全身照合閾値１よりも大きい場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像であると判定することができる。全身照合閾値２及び３は、全身照合閾値１よりも大きい全身画像類似度に対応し、抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像である場合に、その全身画像を複数の段階に分類するための第２の閾値である。すなわち、これら閾値の大きさは、［全身照合閾値１＜全身照合閾値２＜全身照合閾値３」の関係を有する。
　各閾値の値は、概して、類似度を算出する映像解析機能部２０の監視／追跡実行機能部２３における顔照合モジュール２３２が用いる照合モデルと全身照合モジュール２３１が用いる照合モデルとによって決まる。各閾値は、監視カメラ１０自体の種類、性能、設置条件等に依存するため、監視カメラ１０を設置してから実際の運用が開始されるまでの間に、適切な値に調整されて、カメラ情報テーブル３２１１に記載される。なお、この顔照合閾値１～３及び全身照合閾値１～３は、監視対象者に対する閾値と追跡対象者に対する閾値とで異なる値として、それぞれ別個にカメラ情報テーブル３２１１に記載しても良い。また、それぞれの閾値は３段階に限定するものではないことは勿論である。すなわち、第２の閾値は、少なくとも一つあれば良い。
　また、検知履歴テーブル記憶部３２３が記憶する検知履歴テーブル３２３１に記載される顔認証スコアは、映像解析機能部２０の顔照合モジュール２３２が算出した、その監視対象者の顔画像との類似度である。この類似度は、顔照合モジュール２３２が算出した類似度の実数値が記憶されるが、後述するようにＷｅｂブラウザ４１での検知アラート画面の表示のために、３段階の顔画像類似度ラベルＩＤに書き換えられることができる。
　追跡テーブル記憶部３２５は、映像解析機能部２０の全身照合モジュール２３１又は顔照合モジュール２３２が算出した全身画像類似度又は顔画像類似度からＷｅｂサーバ３０によって追跡対象者の全身画像又は顔画像であると判定された、何れかの監視カメラ１０の監視画像から抽出された人物の類似度が記載された追跡テーブルを記憶する。図２０は、この追跡テーブル記憶部３２５に記憶される追跡テーブル３２５１の記載内容の一例を示す図である。追跡テーブル３２５１は、追跡対象者の不審者ＩＤ毎に、検知ＩＤ、全身画像類似度及び顔画像類似度でなるレコードを含み、各レコードはＷｅｂサーバ３０が追跡対象者の全身画像又は顔画像であると判定する毎に追加されていく。全身画像類似度及び顔画像類似度は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度の実数値が記憶されるが、後述するようにＷｅｂブラウザ４１での追跡アラート画面の表示のために、３段階の全身画像類似度ラベルＩＤ及び顔画像類似度ラベルＩＤに書き換えられることができる。
　また、Ｗｅｂサーバのバックエンド機能として提供される検知／追跡結果判定機能部３４は、第２実施形態では、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、監視者から指定された追跡対象者の全身画像及び／又は顔画像と同一の人物が何れかの監視カメラ１０の監視画像内に現れたことを検知する。そして、その検知に応じて、検知／追跡結果判定機能部３４は、追跡テーブル記憶部３２５に記憶している当該追跡対象者の追跡テーブルにレコードを追加していく。
　また、監視機能部３５２は、検知／追跡結果判定機能部３４が監視対象者の顔画像と同一の人物を検知した際に、アラートを発生して、Ｗｅｂブラウザ４１に提示する。そのために、第２実施形態においては、監視機能部３５２は、Ｗｅｂブラウザ４１に提示するための検知アラート画面を生成する検知アラート出力機能部３５２１を含む。検知アラート画面は、監視対象者に類似すると検知された人物の画像を、類似度に基づく注意段階を示す段階表示と共に提示するための出力画面である。
　また、追跡機能部３５３は、検知／追跡結果判定機能部３４が検知した監視対象者の顔画像と同一の人物の顔画像及び全身画像で、複数の監視カメラ１０を跨いでリアルタイムに該当人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示する。そのために、第２実施形態における追跡機能部３５３は、画像登録機能部３５３１を含むと共に、第１実施形態における検知アラート出力機能部３５３２に代えて、追跡アラート出力機能部３５３３を含む。画像登録機能部３５３１は、Ｗｅｂブラウザ４１上での監視者から指定操作による、追跡を行うべき追跡対象者の顔画像の指定を受けて、管理データ記憶部３１３に登録顔画像３１３１及び顔特徴量３１３２を記憶させると共に、管理テーブル３２４１を作成して管理テーブル記憶部３２４に記憶させる。追跡アラート出力機能部３５３３は、検知／追跡結果判定機能部３４が追跡対象者の全身画像及び／又は顔画像と同一の人物を検知した際に、追跡対象者に類似すると検知された人物の画像を、類似度に基づく注意段階を示す段階表示と共に提示するための出力画面である追跡アラート画面をＷｅｂブラウザ４１に提示する。
　（２）動作
　（２－１）監視動作
　第２実施形態に係る人物追跡システム１では、第１実施形態で説明したような各部のリアルタイムな状況監視と並行して、監視対象者の来訪検知動作が行われる。この監視対象者来訪検知動作は、各映像解析機能部２０の監視／追跡実行機能部２３による監視処理と、検知／追跡結果判定機能部３４による検知結果判定処理と、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理と、を含む。
　図２１は、監視／追跡実行機能部２３による監視処理の処理手順を示すフローチャートである。監視／追跡実行機能部２３は、例えば、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０の監視機能部３５２から監視対象者の更新が報告される毎に、このフローチャートに示す処理を実施する。
　監視／追跡実行機能部２３は、まず、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０のファイルサーバ３１にアクセスして、ファイルサーバ３１に事前に記憶されている複数の監視対象者それぞれの顔特徴量である監視用顔特徴量を取得する（ステップＳ１０１）。
　その後、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻ｔの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する（ステップＳ１０２）。対応する監視カメラ１０の監視画像に複数の人物の全身画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。
　そして、監視／追跡実行機能部２３は、顔照合モジュール２３２により、人検知情報抽出機能部２２からの照合用顔特徴量のそれぞれについて、監視用顔特徴量との類似度である顔画像類似度を算出する（ステップＳ１０３）。
　その後、監視／追跡実行機能部２３は、算出した各監視対象者の顔画像類似度と照合用顔画像とのセットを、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４へ送信する（ステップＳ１０４）。
　そして、監視／追跡実行機能部２３は、時刻ｔに時間間隔ｔ１加えてから、すなわち、次の処理時刻に更新した後（ステップＳ１０５）、上記ステップＳ１０２から上記の処理を繰り返す。ここで、時間間隔ｔ１は、例えば、数秒というように、任意の時間間隔とすることができる。或いは、時間間隔ｔ１は、監視カメラ１０の監視画像の取得間隔の整数倍の時間間隔としても良い。
　図２２は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による検知結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３における時間間隔ｔ１おきに、このフローチャートに示す処理を実施することができる。
　検知／追跡結果判定機能部３４は、まず、監視／追跡実行機能部２３から類似度と照合用顔画像のセットを受信したか否か判断する（ステップＳ２０１）。類似度と照合用画像のセットを受信していないと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
　これに対して、類似度と照合用顔画像のセットを受信したと判断した場合には、検知／追跡結果判定機能部３４は、顔照合閾値１を取得する（ステップＳ２０２）。すなわち、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶されている、それら類似度と照合用顔画像のセットの送信元である映像解析機能部２０に対応する監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１を取得する。
　そして、検知／追跡結果判定機能部３４は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値１と比較し、顔照合閾値１よりも大きい顔画像類似度が有るか否か判断する（ステップＳ２０３）。顔照合閾値１よりも大きい顔画像類似度が無いと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
　これに対して、顔照合閾値１よりも大きい顔画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その顔特徴量を有する人物は監視対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、検知履歴データ記憶部３１２に検知履歴データとして検知顔画像３１２１と顔特徴量３１２２を記憶させると共に、検知履歴テーブル３２３１を生成して、それを検知履歴テーブル記憶部３２３に記憶させる（ステップＳ２０４）。この生成した検知履歴テーブル３２３１の顔認証スコアには、顔照合閾値１よりも大きい値の顔画像類似度が記載されることとなる。そしてその後、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
　図２３は、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理の処理手順を示すフローチャートである。検知アラート出力機能部３５２１は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３における時間間隔ｔ１おきに、このフローチャートに示す処理を実施する。
　検知アラート出力機能部３５２１は、まず、カメラ情報テーブル記憶部３２１に記憶されている、各監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１～３を取得する（ステップＳ３０１）。
　また、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３から新規の検知履歴テーブル３２３１の情報を取得する（ステップＳ３０２）。すなわち、検知アラート出力機能部３５２１は、検知履歴テーブル３２３１における顔画像スコアとして、顔画像類似度ラベルＩＤではなくて顔類似度の実数が記録されているものを抽出して取得する。
　そして、検知アラート出力機能部３５２１は、取得した新規の検知履歴テーブル３２３１に顔認証スコアとして記載されている顔画像類似度の値が顔照合閾値３よりも大きいか否か判断する（ステップＳ３０３）。顔画像類似度の値が顔照合閾値３よりも大きいと判断した場合、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３の当該検知履歴テーブル３２３１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ３０４）。
　これに対して、顔画像類似度の値が顔照合閾値３よりも大きくないと判断した場合、検知アラート出力機能部３５２１は、更に、顔画像類似度の値が顔照合閾値２よりも大きいか否か判断する（ステップＳ３０５）。顔画像類似度の値が顔照合閾値２よりも大きいと判断した場合、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３の当該検知履歴テーブル３２３１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ３０６）。
　また、顔画像類似度の値が顔照合閾値２よりも大きくないと判断した場合には、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３の当該検知履歴テーブル３２３１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ３０７）。これは、そもそも検知履歴テーブル３２３１は、顔画像類似度の値が顔照合閾値１よりも大きくないと作成されないので、顔画像類似度の値が顔照合閾値２よりも大きくなければ、顔画像類似度の値は顔照合閾値１よりも大きいことは決まっているからである。
　以上のようにして、検知履歴テーブル３２３１における顔画像類似度の値を顔画像類似度ラベルＩＤに書き換えたならば、検知アラート出力機能部３５２１は、画面画像である新規の検知人物カードを作成する（ステップＳ３０８）。この検知人物カードは、検知履歴データ記憶部３１２に検知履歴データとして記憶した検知顔画像３１２１と、それに対応する検知履歴テーブル３２３１における顔画像類似度ラベルＩＤに基づく注意段階を示す注意段階表示と、を含む画面画像である。この検知人物カードについては、詳細を後述する。
　検知アラート出力機能部３５２１は、この作成した新規の検知人物カードにより、Ｗｅｂブラウザ４１にて表示するための検知アラート画面を更新する（ステップＳ３０９）。そして、検知アラート出力機能部３５２１は、この更新した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させる（ステップＳ３１０）。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート画面を表示する。そして、検知アラート出力機能部３５２１は、この検知アラート出力処理を終了する。
　図２４は、Ｗｅｂブラウザ４１に表示される第２実施形態における検知アラート画面４２の一例を示す図である。検知アラート画面４２は、検知された人物毎の検知人物カード４２１を含む。この検知人物カード４２１は、その表示内容として、第１実施形態と同様、監視対象者顔画像４２１１、検知顔画像４２１２、注意喚起メッセージ４２１３、検知情報４２１６、及び、追跡開始ボタン４２１７を含むことができる。そして、第２実施形態における検知アラート画面４２では、第１実施形態における検知ＩＤ４２１４及び類似度４２１５に代えて、不審者ＩＤ４２１８及び注意段階表示４２１９を含むことができる。
　不審者ＩＤ４２１８は、検知履歴テーブル３２３１から転記される識別情報である。
　注意段階表示４２１９は、監視対象者の顔画像と検知された人物の顔画像との類似度を示す。すなわち、類似度は、数値ではなくて、検知履歴テーブル３２３１における顔画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示４２１９として示されている。この注意段階表示４２１９では、図２４においてハッチングにより表している識別表示された四角形の数が、顔画像類似度ラベルＩＤに対応する。例えば、不審者ＩＤ４２１８が「00098842」である人物の検知人物カード４２１では、検知履歴テーブル３２３１における顔画像類似度ラベルＩＤが「３」であったので、注意段階表示４２１９では、３個の四角形が識別表示され、不審者ＩＤ４２１８が「00059820」である人物の検知人物カード４２１では、検知履歴テーブル３２３１における顔画像類似度ラベルＩＤが「２」であったので、２個の四角形が識別表示されている。
　（２－２）追跡動作
　監視者が検知アラート画面４２の追跡開始ボタン４２１７の押下操作を行うと、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する追跡機能部３５３により、映像解析機能部２０及び検知／追跡結果判定機能部３４を利用して、当該人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示させていく。この追跡動作は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理と、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理と、検知／追跡結果判定機能部３４による追跡結果判定処理と、追跡機能部３５３の追跡アラート出力機能部３５３３による追跡アラート出力処理と、を含む。
　追跡機能部３５３の画像登録機能部３５３１による画像登録処理の処理手順は、以下の点を除いて、図１３を参照して説明した第１実施形態と同様である。すなわち、第１実施形態では、ステップＳ１２において、画像登録機能部３５３１は、検知アラート画面４２の検知ＩＤを有する検知履歴テーブル記憶部３２３のトラッキングＩＤに基づいて、検知履歴データ記憶部３１２から検知顔画像３１２１を追跡用顔画像として取得する。これに対して、第２実施形態では、画像登録機能部３５３１は、検知アラート画面４２の不審者ＩＤを有する検知履歴テーブル記憶部３２３のトラッキングＩＤに基づいて、検知履歴データ記憶部３１２から検知顔画像３１２１を追跡用顔画像として取得する。
　図２５は、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理の処理手順を示すフローチャートである。第２実施形態においては、監視／追跡実行機能部２３は、例えば、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０の追跡機能部３５３画像登録機能部３５３１から追跡用画像と特徴量を受信する毎に、このフローチャートに示す処理を実施する。
　監視／追跡実行機能部２３は、まず、Ｗｅｂサーバ３０の画像登録機能部３５３１から受信した追跡用画像と特徴量を取得する（ステップＳ１１１）。
　その後、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻Ｔの全身画像とその特徴量とを、照合用全身画像と照合用全身特徴量として取得する（ステップＳ１１２）。対応する監視カメラ１０の監視画像に複数の人物の全身画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用全身画像と照合用全身特徴量を取得する。
　そして、監視／追跡実行機能部２３は、第１実施形態におけるステップＳ２３と同様、全身照合モジュール２３１により、人検知情報抽出機能部２２からの照合用全身特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用全身特徴量との類似度である全身画像類似度を算出する（ステップＳ１１３）。
　また、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻Ｔの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する（ステップＳ１１４）。対応する監視カメラ１０の監視画像に複数の人物の顔画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。なお、人物の向きによって、全身画像は抽出できても顔画像が抽出できない場合も有る。よって、上記ステップＳ１１２で取得される照合用全身画像の数とこのステップＳ１１４で取得する照合用顔画像の数とは一致するとは限らない。また、一人も顔画像が抽出できず、照合用顔画像（及び照合用顔特徴量）が取得されない場合もあり得る。
　そして、監視／追跡実行機能部２３は、第１実施形態におけるステップＳ２５と同様、顔照合モジュール２３２により、人検知情報抽出機能部２２からの照合用顔特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用顔特徴量との類似度である顔画像類似度を算出する（ステップＳ１１５）。
　その後、監視／追跡実行機能部２３は、第１実施形態におけるステップＳ２６と同様、それら全身画像及び顔画像についての類似度と照合用画像とのセットを、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４へ送信する（ステップＳ１１６）。なお、類似度と照合用画像のセットは、全身画像類似度と照合用全身画像とのセットと顔画像類似度と照合用顔画像とのセットとの両方を含む場合も有れば、顔画像類似度と照合用顔画像とのセットの無い全身画像類似度と照合用全身画像とのセットのみを含む場合もあり得る。
　そして、監視／追跡実行機能部２３は、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される追跡アラート画面における追跡停止ボタンの押下操作が行われたか否か判断する（ステップＳ１１７）。追跡停止ボタンを有する追跡アラート画面の詳細については、後述する。追跡停止ボタンの押下操作が行われたと判断した場合には、監視／追跡実行機能部２３は、この監視／追跡処理を終了する。
　また、追跡停止ボタンの押下操作が行われていないと判断した場合には、監視／追跡実行機能部２３は、時刻Ｔに時間間隔ｔ１加えてから、すなわち、次の処理時刻に更新した後（ステップＳ１１８）、上記ステップＳ１１２から上記の処理を繰り返す。ここで、時間間隔ｔ１は、上述した通りである。なお、この時間間隔ｔ１とは異なる時間間隔を用いても良いことは勿論である。
　図２６は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による追跡結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３の追跡処理の処理間隔に同期して、このフローチャートに示す処理を実施する。
　検知／追跡結果判定機能部３４は、まず、第１実施形態におけるステップＳ３１と同様、監視／追跡実行機能部２３から類似度と照合用画像のセットを受信したか否か判断する（ステップＳ２２１）。類似度と照合用画像のセットを受信していないと判断した場合には、検知／追跡結果判定機能部３４は、この追跡結果判定処理を終了する。
　これに対して、類似度と照合用画像のセットを受信したと判断した場合には、検知／追跡結果判定機能部３４は、顔照合閾値１と全身照合閾値１を取得する（ステップＳ２２２）。すなわち、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶されている、それら類似度と照合用画像のセットの送信元である映像解析機能部２０に対応する監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１と全身照合閾値１を取得する。
　そして、検知／追跡結果判定機能部３４は、受信した全身画像類似度のそれぞれについて、取得した全身照合閾値１と比較し、全身照合閾値１よりも大きいか全身画像類似度が有るか否か判断する（ステップＳ２２３）。全身照合閾値１よりも大きい全身画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その全身特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、その大きいと判断された全身画像類似度を、上記ステップＳ２２１で受信した対応する照合用全身画像と共に、記憶装置３０２の所定の記憶領域に保存しておくと共に、全身画像類似度を追跡テーブル３２５１に登録する（ステップＳ２２４）。この全身画像類似度の登録に際して、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が未だ記憶されていない場合には、追跡テーブル３２５１を生成し、その生成した追跡テーブル２５１を追跡テーブル記憶部３２５に記憶させる。また、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が既に記憶されている場合には、新たな追跡テーブル３２５１を生成するのではなく、レコードを追加する。追跡テーブル３２５１に登録される全身画像類似度は、全身照合閾値１よりも大きい値の全身画像類似度である。
　その後、或いは上記ステップＳ２２３において全身照合閾値１よりも大きい全身画像類似度が無いと判断した場合、検知／追跡結果判定機能部３４は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値１と比較し、顔照合閾値１よりも大きい顔画像類似度が有るか否か判断する（ステップＳ２２５）。顔照合閾値１よりも大きい顔画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その顔特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知／追跡結果判定機能部３４は、その大きいと判断された顔画像類似度を、上記ステップＳ２２１で受信した対応する照合用顔画像と共に、記憶装置３０２の所定の記憶領域に保存しておくと共に、顔画像類似度を追跡テーブル３２５１に登録する（ステップＳ２２６）。この顔画像類似度の登録に際して、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が未だ記憶されていない場合には、追跡テーブル３２５１を生成し、その生成した追跡テーブル２５１を追跡テーブル記憶部３２５に記憶させる。また、追跡テーブル記憶部３２５に、該当不審者ＩＤの追跡テーブル３２５１が既に記憶されている場合には、新たな追跡テーブル３２５１を生成するのではなく、レコードを追加する。追跡テーブル３２５１に登録される顔画像類似度は、顔照合閾値１よりも大きい値の全身画像類似度である。
　その後、或いは上記ステップＳ２２５において顔照合閾値１よりも大きい顔画像類似度が無いと判断した場合には、検知／追跡結果判定機能部３４は、この追跡結果判定処理を終了する。
　図２７乃至図２９は、追跡機能部３５３の追跡アラート出力機能部３５３３による追跡アラート出力処理の処理手順を示すフローチャートである。追跡アラート出力機能部３５３３は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３における時間間隔ｔ１おきに、このフローチャートに示す処理を実施する。
　追跡アラート出力機能部３５３３は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される追跡アラート画面における絞り込み指定操作が行われたか否か判断する（ステップＳ５０１）。絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部３５３３は、後述するステップＳ５１９へと進む。
　これに対して、絞り込み指定操作が行われていないと判断した場合、追跡アラート出力機能部３５３３は、カメラ情報テーブル記憶部３２１に記憶されている、各監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値１～３及び全身照合閾値１～３を取得する（ステップＳ５０２）。
　その後、追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５に記憶されている追跡テーブル３２５１から新規の追跡結果を取得する（ステップＳ５０３）。すなわち、追跡アラート出力機能部３５３３は、追跡テーブル３２５１における全身画像類似度及び顔画像類似度として、画像類似度ＩＤではなくて類似度の実数が記録されているものを抽出して取得する。
　そして、追跡アラート出力機能部３５３３は、追跡テーブル３２５１における顔画像類似度の値が顔照合閾値３よりも大きいか否か判断する（ステップＳ５０４）。顔画像類似度の値が顔照合閾値３よりも大きいと判断した場合、追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ５０５）。
　これに対して、顔画像類似度の値が顔照合閾値３よりも大きくないと判断した場合、追跡アラート出力機能部３５３３は、更に、顔画像類似度の値が顔照合閾値２よりも大きいか否か判断する（ステップＳ５０６）。顔画像類似度の値が顔照合閾値２よりも大きいと判断した場合、追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ５０７）。
　また、顔画像類似度の値が顔照合閾値２よりも大きくないと判断した場合、追跡アラート出力機能部３５３３は、更に、顔画像類似度の値が顔照合閾値１よりも大きいか否か判断する（ステップＳ５０８）。顔画像類似度の値が顔照合閾値１よりも大きいと判断した場合、追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における顔画像類似度の値を、実数から顔画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ５０９）。
　監視機能部３５２での検知動作に係わる処理では、顔画像類似度しか利用していないため、顔画像類似度の値が顔照合閾値２よりも大きくなければ、顔画像類似度の値は顔照合閾値１よりも大きいことは決まってしまう。これに対して、追跡機能部３５３の追跡動作に係わる処理では、顔画像類似度と全身類似度との両方を利用しており、追跡テーブル３２５１には顔画像類似度と全身類似度の何れか片方しか登録されない場合が存在する。すなわち、顔画像類似度の値が顔照合閾値２よりも大きくないときには、顔照合閾値１よりも大きい値の顔画像類似度の値が登録されている場合と、顔照合閾値１以下の顔画像類似度の値が登録されている（又は顔画像類似度の値が登録されていない）場合と、が存在する。そのため、顔画像類似度の値が顔照合閾値２よりも大きくないというだけで、顔画像類似度の値は顔照合閾値１よりも大きいと決めることができない。
　以上のようにして、追跡テーブル３２５１における顔画像類似度の値を顔画像類似度ラベルＩＤに書き換えたならば、或いは、上記ステップＳ５０８において顔画像類似度の値が顔照合閾値１よりも大きくないと判断した場合、追跡アラート出力機能部３５３３は、全身画像類似度の判定動作に移る。
　すなわち、追跡アラート出力機能部３５３３は、追跡テーブル３２５１における全身画像類似度の値が全身照合閾値３よりも大きいか否か判断する（ステップＳ５１０）。全身画像類似度の値が全身照合閾値３よりも大きいと判断した場合、追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝３に書き換える（ステップＳ５１１）。
　これに対して、全身画像類似度の値が全身照合閾値３よりも大きくないと判断した場合、追跡アラート出力機能部３５３３は、更に、全身画像類似度の値が全身照合閾値２よりも大きいか否か判断する（ステップＳ５１２）。全身画像類似度の値が全身照合閾値２よりも大きいと判断した場合、追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝２に書き換える（ステップＳ５１３）。
　また、全身画像類似度の値が全身照合閾値２よりも大きくないと判断した場合、追跡アラート出力機能部３５３３は、更に、全身画像類似度の値が全身照合閾値１よりも大きいか否か判断する（ステップＳ５１４）。全身画像類似度の値が全身照合閾値１よりも大きいと判断した場合、追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５の当該追跡テーブル３２５１における全身画像類似度の値を、実数から全身画像類似度ラベルＩＤ、ここではＩＤ＝１に書き換える（ステップＳ５１５）。
　以上のようにして、追跡テーブル３２５１における全身画像類似度の値を全身画像類似度ラベルＩＤに書き換えたならば、或いは、上記ステップＳ５１４において全身画像類似度の値が全身照合閾値１よりも大きくないと判断した場合、追跡アラート出力機能部３５３３は、画面画像である新規の追跡情報カードを作成する（ステップＳ３０８）。この追跡情報カードは、上記ステップＳ２２４及びステップＳ２２６で記憶装置３０２の所定の記憶領域に保存された照合用全身画像及び照合用顔画像と、それに対応する追跡テーブル３２５１における全身画像類似度ラベルＩＤ及び顔画像類似度ラベルＩＤに基づく注意段階を示す注意段階表示と、を含む画面画像である。この追跡情報カードについては、詳細を後述する。
　追跡アラート出力機能部３５３３は、この作成した新規の追跡情報カードにより、Ｗｅｂブラウザ４１にて表示するための追跡アラート画面を更新する（ステップＳ５１７）。そして、追跡アラート出力機能部３５３３は、この更新した追跡アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させる（ステップＳ５１８）。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この追跡アラート画面を表示する。そして、追跡アラート出力機能部３５３３は、この追跡アラート出力処理を終了する。
　一方、上記ステップＳ５０１において絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部３５３３は、その指定された絞り込みレベルを取得する（ステップＳ５１９）。この絞り込みレベルは、追跡アラート画面に表示する追跡情報カードを絞り込むための指標である。
　追跡アラート出力機能部３５３３は、追跡テーブル記憶部３２５に記憶されている追跡テーブル３２５１より、指定された絞り込みレベルに応じた不審者ＩＤを抽出する（ステップＳ５２０）。
　そして、追跡アラート出力機能部３５３３は、それら抽出した不審者ＩＤの検知ＩＤに基づいて、過去検索用データ記憶部３１１に過去検索用データとして記憶された全身画像３１１２と、映像解析機能部２０の人検知情報抽出機能部２２によってその全身画像３１１２から抽出した顔画像とを含む、追跡アラート画面に表示可能な個数分の追跡情報カードを作成する（ステップＳ５２１）。
　その後、追跡アラート出力機能部３５３３は、上記ステップＳ５１６と同様に、新規追跡情報カード作成し（ステップＳ５２２）、上記ステップＳ５１７と同様に、作成した追跡情報カードにより追跡アラート画面を更新する（ステップＳ５２３）。そして、追跡アラート出力機能部３５３３は、上記ステップＳ５１８の処理に進み、更新した追跡アラート画面をＷｅｂブラウザ４１に送信して、そこに表示させることとなる。
　図３０は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４４の一例を示す図である。追跡アラート画面４４は、追跡対象者情報領域４４１と、追跡情報カード４４２と、絞り込み指示領域４４３と、を含む。
　追跡対象者情報領域４４１は、追跡対象者に関する情報を表示する領域であり、追跡対象者を追加する毎に、追跡アラート画面４４の最上位に追加表示されていく。古い追跡対象者情報領域４４１は順次下方にシフトされていく。ここで、最上位つまり最新の追跡対象者情報領域４４１とその他の追跡対象者情報領域４４１とでは、表示内容が異なっている。すなわち、最上位の追跡対象者情報領域４４１は、注意喚起メッセージ４４１１、不審者ＩＤ４４１２、登録画像４４１３、追跡情報４４１４、及び、追跡停止ボタン４４１５を含む。これに対して、最上位以外の追跡対象者情報領域４４１は、登録画像４４１３と追跡情報４４１４のみを含む。
　ここで、注意喚起メッセージ４４１１は、監視者の注意を促すためのメッセージであり、例えば、追跡対象者として指定された監視対象者の危険度種別を表示することができる。この危険度種別は、管理テーブル３２４１から転記されることができる。不審者ＩＤ４４１２は、管理テーブル３２４１から転記される識別情報である。登録画像４４１３は、追跡対象者の管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３である。追跡情報４４１４は、当該追跡対象者に関する情報であり、最上位の追跡対象者情報領域４４１の追跡情報４４１４とその他の追跡対象者情報領域４４１の追跡情報４４１４とでは、内容が異なっている。すなわち、最上位の追跡対象者情報領域４４１の追跡情報４４１４は、管理テーブル３２４１から転記される不審者ＩＤ、危険度種別及び説明文を含む。最上位以外の追跡対象者情報領域４４１の追跡情報４４１４は、説明文に代えて、追跡状況を含んでいる。追跡停止ボタン４４１５は、当該人物の追跡を終了する場合に押下されるボタンである。
　また、追跡情報カード４４２は、追跡アラート出力機能部３５３３が新規カードを作成する毎に、追跡アラート画面４４の最上位に追加表示されていく。古い追跡情報カード４４２は順次下方にシフトされていく。この追跡情報カード４４２は、その表示内容として、検出日時情報４４２１、検出カメラ場所情報４４２２、検出顔画像４４２３、顔注意段階表示４４２４、検出全身画像４４２５、全身注意段階表示４４２６、及び、検出背景画像４４２７を含む。
　ここで、検出日時情報４４２１は、当該追跡対象者が何れかの監視カメラ１０の監視画像から検知された日時情報である。検出カメラ場所情報４４２２は、その検知した監視カメラＩＤに基づくカメラ場所情報である。検出顔画像４４２３は、検知されて保存された追跡対象者の照合用顔画像である。顔注意段階表示４４２４は、追跡対象者の顔画像と検知された人物の顔画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル３２５１における顔画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示として示されている。この顔注意段階表示４４２４では、図３０においてハッチングにより表している識別表示された四角形の数が、顔画像類似度ラベルＩＤに対応する。例えば、一番上の追跡情報カード４４２では、追跡テーブル３２５１における顔画像類似度ラベルＩＤが「２」であったので、顔注意段階表示４４２４では、２個の四角形が識別表示され、上から二番目の追跡情報カード４４２では、追跡テーブル３２５１における顔画像類似度ラベルＩＤが「３」であったので、顔注意段階表示４４２４では、３個の四角形が識別表示されている。
　同様に、検出全身画像４４２５は、検知されて保存された追跡対象者の照合用全身画像である。全身注意段階表示４４２６は、追跡対象者の全身画像と検知された人物の全身画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル３２５１における全身画像類似度ラベルＩＤに基づく複数段階、ここでは３段階の注意段階表示として示されている。この全身注意段階表示４４２６も顔注意段階表示４４２４と同様、図３０においてハッチングにより表している識別表示された四角形の数が、全身画像類似度ラベルＩＤに対応する。例えば、一番上の追跡情報カード４４２では、追跡テーブル３２５１における全身画像類似度ラベルＩＤが「３」であったので、全身注意段階表示４４２６では、３個の四角形が識別表示され、上から二番目の追跡情報カード４４２では、追跡テーブル３２５１における全身画像類似度ラベルＩＤが「２」であったので、全身注意段階表示４４２６では、２個の四角形が識別表示されている。
　検出背景画像４４２７は、照合用顔画像及び／または照合用全身画像を抽出した元の監視画像であるフレーム画像である。このフレーム画像は、過去検索用データ記憶部３１１に記憶されているフレーム画像３１１１が用いられる。
　なお、追跡情報カード４４２は、必ずしも、検出顔画像４４２３及び顔注意段階表示４４２４と、検出全身画像４４２５及び全身注意段階表示４４２６と、の両方を含むとは限らず、どちらか一方のみの場合も有り得る。
　絞り込み指示領域４４３は、追跡アラート画面４４に表示する追跡情報カード４４２を絞り込むための指示を受け付けるための領域である。この絞り込み指示領域４４３は、顔画像類似度選択ボタン４４３１、顔画像類似度選択リセットボタン４４３２、全身画像類似度選択ボタン４４３３、及び、全身画像類似度選択リセットボタン４４３４を含む。
　ここで、顔画像類似度選択ボタン４４３１は、顔注意段階表示４４２４の段数に対応する３個のボタンを含む。監視者によるこの顔画像類似度選択ボタン４４３１の押下操作に応じた指定段数以上の顔注意段階表示４４２４を含む追跡情報カード４４２のみが追跡アラート画面４４に表示されるようになる。図３０の例では、顔画像類似度選択ボタン４４３１での段数が指定されていないので、追跡アラート画面４４には、１段以上の顔注意段階表示４４２４を含む追跡情報カード４４２が表示されている。顔画像類似度選択リセットボタン４４３２は、顔画像類似度選択ボタン４４３１での段数指定をリセットする際に押下操作されるボタンである。
　同様に、全身画像類似度選択ボタン４４３３は、全身注意段階表示４４２６の段数に対応する３個のボタンを含む。監視者によるこの全身画像類似度選択ボタン４４３３の押下操作に応じた指定段数以上の全身注意段階表示４４２６を含む追跡情報カード４４２のみが追跡アラート画面４４に表示されるようになる。図３０の例では、全身画像類似度選択ボタン４４３３での段数が指定されていないので、追跡アラート画面４４には、１段以上の全身注意段階表示４４２６を含む追跡情報カード４４２が表示されている。全身画像類似度選択リセットボタン４４３４は、全身画像類似度選択ボタン４４３３での段数指定をリセットする際に押下操作されるボタンである。
　図３１は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４４の別の例を示す図である。この例は、顔画像類似度選択ボタン４４３１で３段が指定され、全身画像類似度選択ボタン４４３３で１段が指定された場合を示している。ここで、押下操作されたボタンは、図３０ではハッチングにより示すように、識別表示される。顔画像類似度選択ボタン４４３１による指定と全身画像類似度選択ボタン４４３３による指定はアンド条件となり、追跡アラート画面４４には、両方で指定された段数に合致する追跡情報カード４４２のみが表示されるようになる。
　（２－３）過去検索動作
　第１実施形態で説明したように、過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、過去検索用データ記憶部３１１からその指定された時間・場所に来訪した人物の全身画像３１１２を抽出し、その抽出した全身画像３１１２を一覧表示した選択画面を作成し、Ｗｅｂブラウザ４１に表示させる。
　Ｗｅｂブラウザ４１から検索する人物の選択指定を受けて、過去検索機能部３５４は、その選択指定された全身画像３１１２を追跡用全身画像とし、また、リアルタイムの監視カメラ１０からの監視画像に代えて指定された時間・場所についての過去検索用データ記憶部３１１に記憶されたフレーム画像３１１１を対象として、追跡機能部３５３と同様の動作を行う。
　これにより、過去検索機能部３５４は、過去検索用データ記憶部３１１に記憶されている過去の来訪者の中から、選択指定された人物に類似する人物を検索し、その結果を追跡アラート画面４４としてＷｅｂブラウザ４１に表示させることができる。
　（３）効果
　以上詳述したように第２実施形態に係る人物検出装置としてのＷｅｂサーバ３０では、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎に、閾値記憶部としてのカメラ情報テーブル記憶部３２１に記憶しておき、検出部としての検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像である特定人物の画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、その監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、特定人物の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出する。このように、類似度算出手法の判断基準が異なることによって互いに比較することが難しい類似度を、類似度算出手法に依らない複数段階に分類することで、何れの類似度算出手法を用いたとしても、類似度の度合いを同じ評価基準に落とし込むことができる。　
　より具体的には、カメラ情報テーブル記憶部３２１に、例えば少なくとも一つの照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値を記憶しておき、検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像と特定人物の画像との類似度を例えば少なくとも一つの照合モデルを用いて算出する監視／追跡実行機能部２３から、類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか検出する。　
　このような検出された注意段階により、認証結果の確からしさを監視者が容易に認識できるようになる。また、監視カメラ１０毎の閾値をカメラ情報テーブル記憶部３２１に記憶しているので、監視カメラ１０間における取得類似度のバラツキを減らすことができる。
　また、Ｗｅｂサーバ３０は、検知／追跡結果判定機能部３４が検出した特定人物の画像に類似する画像を、その検知／追跡結果判定機能部３４が検出した注意段階を示す段階表示と共に提示するための出力画面である検知アラート画面４２を生成する出力画面生成部としての検知アラート出力機能部３５２１をさらに備えることができる。　
　より具体的には、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、特定人物の画像に類似する類似度算出対象者の画像を、注意段階と共に提示するための検知アラート画面４２を生成する。　
　このように、認証結果である類似度を注意段階表示４２１９として提示するので、熟練監視者でなくても、画像の類似度を直感的に且つある程度正確に認識しやすくなる。よって、認証結果の確からしさを監視者が容易に認識できるようになる。
　なお、検知／追跡結果判定機能部３４は、監視／追跡実行機能部２３から、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と特定人物の顔画像との類似度を取得し、検知アラート出力機能部３５２１は、特定人物の顔画像に類似する類似度算出対象者の顔画像を注意段階表示４２１９と共に提示する検知アラート画面４２を生成するようにして良い。　
　これにより、顔画像の認証結果の確からしさを監視者が容易に認識できるようになる。なお、顔画像ではなく、特定人物の全身画像と類似度算出対象者の顔画像を用いるようにしても良い。
　ここで、複数の閾値は、対象画像である類似度算出対象者の画像が特定人物の画像であるか否か分類するための第１の閾値と、類似度算出対象者の画像が特定人物の画像である場合に、類似度算出対象者の画像を複数の段階に分類するための少なくとも一つの第２の閾値と、を含むことができる。　
　より具体的には、カメラ情報テーブル記憶部３２１は、第１の閾値としての、類似度算出対象者の画像が特定人物の画像であると推定される類似度に対応する顔照合閾値１と、第２の閾値としての、それぞれ顔照合閾値１よりも大きい類似度に対応する顔照合閾値２及び顔照合閾値３と、を記憶する。検知／追跡結果判定機能部３４は、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の画像を検出し、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４が顔照合閾値１に基づいて検出した類似度算出対象者の画像を、検知／追跡結果判定機能部３４が顔照合閾値２及び顔照合閾値３に基づいて判別した注意段階を示す注意段階表示４２１９と共に提示する検知アラート画面４２を生成することができる。　
　これにより、顔照合閾値１によって検知アラート画面４２に提示するべき類似度算出対象者の画像を容易に検出でき、検出した画像各々について、顔照合閾値２及び顔照合閾値３に基づいてどのような注意段階表示４２１９とするべきか決定することができるようになる。
　また、第２実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、上記人物検出装置としてのＷｅｂサーバ３０の構成に加えて、検知アラート画面４２に段階表示と共に提示された特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された画像を追跡用画像として登録し、この登録された追跡を行うべき追跡対象者の画像である追跡用画像を特定画像として監視／追跡実行機能部２３に、少なくとも二つ以上の類似度算出手法を用いて類似度算出対象者の画像の類似度を少なくとも二つ抽出させる登録部としての画像登録機能部３５３１と、検知／追跡結果判定機能部３４が、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、検知／追跡結果判定機能部３４が検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４４を生成する追跡出力画面生成部としての追跡アラート出力機能部３５３３と、を備えることができる。　
　より具体的には、画像登録機能部３５３１は、検知アラート画面４２に段階表示と共に提示された特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された顔画像と当該顔画像に対応する前記追跡対象者の全身画像とを追跡用顔画像及び追跡用全身画像として登録する。また、カメラ情報テーブル記憶部３２１には、第１の閾値として、類似度算出対象者の顔画像が画像登録機能部３５３１によって登録された追跡用顔画像であると推定される類似度に対応する顔照合閾値１と、類似度算出対象者の全身画像が画像登録機能部３５３１によって登録された追跡用全身画像であると推定される類似度に対応する全身照合閾値１と、を記憶すると共に、少なくとも一つの第２の閾値して、それぞれ顔照合閾値１よりも大きい顔画像の類似度に対応する顔照合閾値２及び顔照合閾値３と、それぞれ全身照合閾値１よりも大きい全身画像の類似度に対応する全身照合閾値２及び全身照合閾値３と、を記憶している。そして、検知／追跡結果判定機能部３４は、監視／追跡実行機能部２３から、例えば第１の照合モデルを用いて算出された、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と画像登録機能部３５３１によって登録された追跡用顔画像との類似度と、例えば第２の照合モデルを用いて算出された、類似度算出対象者の全身画像と画像登録機能部３５３１によって登録された追跡用全身画像との類似度と、を取得し、取得した顔画像の類似度の中から、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の顔画像と、取得した全身画像の類似度の中から、全身照合閾値１よりも大きい類似度を持つ類似度算出対象者の全身画像と、の少なくとも一方を検出し、追跡アラート出力機能部３５３３は、検知／追跡結果判定機能部３４が顔照合閾値１及び全身照合閾値１の少なくとも一方に基づいて検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方を、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と共に提示する追跡アラート画面４４を生成するようにしている。　
　これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば顔画像のための第１の照合モデルと全身画像のための第２の照合モデルとが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４４では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
　また、人物追跡装置としてのＷｅｂサーバ３０は、監視画像のそれぞれから人物の全身画像を抽出し、全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、顔画像からその特徴量である顔特徴量を抽出する抽出部である映像解析機能部２０の人検知情報抽出機能部２２が抽出した、全身画像、全身特徴量及び顔特徴量を、監視画像と共に蓄積する画像蓄積部としてのファイルサーバ３１を更に備えて良く、画像登録機能部３５３１は、監視端末４０から指定された追跡対象者の顔画像に対応するファイルサーバ３１に蓄積された全身画像、全身特徴量及び顔特徴量と、その顔特徴量を抽出した顔画像とを、追跡用全身画像、用全身特徴量、用顔特徴量及び追跡用顔画像として登録し、検知／追跡結果判定機能部３４は、画像登録機能部３５３１による登録の時点からファイルサーバ３１に蓄積されていく監視画像を照合用画像として、照合用画像それぞれについての、人検知情報抽出機能部２２が抽出した全身特徴量と追跡用全身特徴量との類似度である全身画像類似度、及び、人検知情報抽出機能部２２が抽出した顔特徴量と追跡用顔特徴量との類似度である顔画像類似度を算出する監視／追跡実行機能部２３から、算出した全身画像類似度及び顔画像類似度と追跡用顔画像及び追跡用全身画像とのセットを受け、顔画像類似度及び全身画像類似度の少なくとも一方が、対応する顔照合閾値１及び全身照合閾値１の少なくとも一方よりも大きいか否か判定し、顔照合閾値１及び全身照合閾値１の少なくとも一方よりも大きい類似度を持つ類似度算出対象者の顔画像及び全身画像の少なくとも一方を検出し、検知アラート出力機能部３５２１は、検知／追跡結果判定機能部３４が検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方と、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と、照合用画像としての監視画像を取得した監視カメラ１０の位置情報とを、画像登録機能部３５３１によって登録された追跡用全身画像及び追跡用顔画像と共に提示する追跡出力画面である追跡アラート画面４４を生成するようにしている。　
　これにより、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、全身画像を利用して追跡対象者を追跡できるようになる。
　なお、検知アラート出力機能部３５２１は、監視端末４０からの段数指定を受けて、検知／追跡結果判定機能部３４が検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方の内、指定された段階に対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方以上の類似度を有するものを、段階表示と共に提示する絞り込み出力画面としての追跡アラート画面４４を生成することができる。追跡中に誤検知が増えた場合、表示件数が多くなり、確度の低い結果も表示してしまうこことなり、追跡対象者の特定が困難になる。　
　第２実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、注意段階を示す段階表示の表示段階の基準を設定可能にすることで、確度の高い追跡結果のみの閲覧を促すことができる。
　或いは、第２実施形態に係る人物追跡装置としてのＷｅｂサーバ３０では、閾値記憶部としてのカメラ情報テーブル記憶部３２１に、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎に記憶しておき、登録部としての画像登録機能部３５３１によって、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象者の画像を、特定画像として登録する。そして、検知部としての検知／追跡結果判定機能部３４は、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、その監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、追跡対象者の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、追跡出力画面生成部としての追跡アラート出力機能部３５３３は、検知／追跡結果判定機能部３４が、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、監視／追跡実行機能部２３が検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４４を生成する。　
　より具体的には、カメラ情報テーブル記憶部３２１に、例えば二つ以上の照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値を記憶しておき、画像登録機能部３５３１によって、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象者の画像を登録する。そして、検知／追跡結果判定機能部３４は、画像登録機能部３５３１によって登録された追跡対象者の画像と複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像との類似度を二つ以上の照合モデルそれぞれを用いて算出する監視／追跡実行機能部２３から、二つ以上の類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した二つ以上の類似度それぞれが注意段階の何れであるか判別し、追跡アラート出力機能部３５３３は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、追跡対象者の画像に類似する類似度算出対象者の画像を、注意段階それぞれを示す段階表示と共に提示するための追跡アラート画面４４を生成する。　
　これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば二つ以上の照合モデルが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４４では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
　ここで、追跡アラート出力機能部３５３３は、監視端末４０からの段数指定を受けて、検知／追跡結果判定機能部３４が検出した類似度算出対象者の画像の内、指定された段階に対応する閾値以上の類似度を有するものを、段階表示と共に提示する絞り込み出力画面としての追跡アラート画面４４を生成することができる。　
　このように、注意段階を示す段階表示の表示段階の基準を設定可能にすることで、確度の高い追跡結果のみの閲覧を促すことができる。
　また、カメラ情報テーブル記憶部３２１は、類似度算出対象者の画像が追跡対象者の画像であると推定される類似度に対応する第１の閾値である顔照合閾値１又は全身照合閾値１と、それぞれ顔照合閾値１又は全身照合閾値１よりも大きい類似度に対応する少なくとも一つの第２の閾値である顔照合閾値２及び顔照合閾値３、又は、全身照合閾値２及び全身照合閾値３と、を記憶し、検知／追跡結果判定機能部３４は、顔照合閾値１又は全身照合閾値１よりも大きい顔類似度又は全身類似度を持つ前記類似度算出対象者の画像を検出し、追跡アラート出力機能部３５３３は、検知／追跡結果判定機能部３４が顔照合閾値１又は全身照合閾値１に基づいて検出した前記類似度算出対象者の画像を、検知／追跡結果判定機能部３４が顔照合閾値２，３又は全身照合閾値２，３に基づいて判別した注意段階を示す段階表示と共に提示する追跡アラート画面４４を生成することができる。　
　これにより、顔照合閾値１又は全身照合閾値１によって追跡アラート画面４４に提示するべき類似度算出対象者の画像を容易に検出でき、検出した画像各々について、顔照合閾値２及び顔照合閾値３、又は、全身照合閾値２及び全身照合閾値３に基づいて、どのような注意段階表示４２１９とするべきか決定することができるようになる。
　また、第２実施形態に係る人物追跡システムは、第２実施形態に係る人物追跡装置と、複数台の監視カメラ１０と、監視者が操作する監視端末４０と、人検知情報抽出機能部２２を備える解析部としての映像解析機能部２０と、を備えることができる。
　また、第２実施形態に係る人物検出方法は、複数台の監視カメラ１０が取得した監視画像から特定人物を検出する人物検出方法であって、コンピュータであるＷｅｂサーバ３０が、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎に、メモリである記憶装置３０２に設けたＤＢサーバ３２のカメラ情報テーブル記憶部３２１に記憶させておき、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像である特定人物の画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、特定人物の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出するようにしている。　
　より具体的には、例えば少なくとも一つの照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値をカメラ情報テーブル記憶部３２１に記憶させておき、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像と特定人物の画像との類似度を少なくとも一つの照合モデルを用いて算出する監視／追跡実行機能部２３から、類似度を取得し、カメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか検出するようにしている。　
　このような検出された注意段階により、認証結果の確からしさを監視者が容易に認識できるようになる。また、監視カメラ１０毎の閾値をカメラ情報テーブル記憶部３２１に記憶しているので、監視カメラ１０間における取得類似度のバラツキを減らすことができる。
　また、第２実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、上記第２実施形態に係る人物検出方法によって検出した特定人物の画像に類似する画像を、検出した注意段階を示す段階表示と共に提示するための出力画面である検知アラート画面４２を生成し、検知アラート画面４２に段階表示と共に提示された特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された画像を追跡用画像としてメモリである記憶装置３０２に設けたファイルサーバ３１の管理データ記憶部３１３に登録する。そして、この管理データ記憶部３１３に登録された追跡を行うべき追跡対象者の画像である追跡用画像を特定画像として、監視／追跡実行機能部２３に、少なくとも二つ以上の類似度算出手法を用いて類似度算出対象者の画像の類似度を少なくとも二つ抽出させ、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の、特定画像である追跡対象者の画像に対する少なくとも二つの類似度を監視／追跡実行機能部２３から取得して、この監視／追跡実行機能部２３での類似度のそれぞれの算出に用いた類似度算出手法に対応して管理データ記憶部３１３に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４４を生成するようにしている。　
　より具体的には、検知アラート画面４２に注意段階と共に提示された複数台の監視カメラ１０の監視画像のそれぞれから抽出された複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の顔画像の指定を、監視者が操作する監視端末４０から受け付け、その指定された顔画像と当該顔画像に対応する追跡対象者の全身画像とを追跡用顔画像及び追跡用全身画像として管理データ記憶部３１３に登録する。そして、監視／追跡実行機能部２３から、例えば第１の照合モデルを用いて算出された、複数台の監視カメラ１０の監視画像のそれぞれから抽出した類似度算出対象者の顔画像と登録された追跡用顔画像との類似度と、例えば第２の照合モデルを用いて算出された、類似度算出対象者の全身画像と登録された追跡用全身画像との類似度と、を取得する。また、カメラ情報テーブル記憶部３２１に第１の閾値として、類似度算出対象者の顔画像が登録された追跡用顔画像であると推定される類似度に対応する顔照合閾値１及び類似度算出対象者の全身画像が登録された追跡用全身画像であると推定される類似度に対応する全身照合閾値１と、少なくとも一つの第２の閾値として、それぞれ顔照合閾値１よりも大きい顔画像の類似度に対応する顔照合閾値２及び顔照合閾値３とそれぞれ全身照合閾値１よりも大きい全身画像の類似度に対応する全身照合閾値２及び全身照合閾値３と、を記憶させておく。そして、取得した前記類似度の中から、顔照合閾値１よりも大きい類似度を持つ類似度算出対象者の顔画像と全身照合閾値１よりも大きい類似度を持つ類似度算出対象者の全身画像との少なくとも一方を検出し、顔照合閾値１及び全身照合閾値１の少なくとも一方に基づいて検出した類似度算出対象者の顔画像及び全身画像の少なくとも一方を、対応する顔照合閾値２及び顔照合閾値３と全身照合閾値２及び全身照合閾値３との少なくとも一方に基づいて判別した注意段階を示す段階表示と共に提示する追跡出力画面としての追跡アラート画面４４を生成する。　
　これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば顔画像のための第１の照合モデルと全身画像のための第２の照合モデルとが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４４では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
　或いは、第２実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部である映像解析機能部２０の監視／追跡実行機能部２３が算出した類似度のそれぞれに基づいて、対象画像を複数の段階に分類するための複数の閾値を、類似度算出手法毎にメモリである記憶装置３０２に設けたＤＢサーバ３２のカメラ情報テーブル記憶部３２１に記憶させておき、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象者の画像を、特定画像としてメモリである記憶装置３０２に設けたファイルサーバ３１の管理データ記憶部３１３に登録し、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した対象画像である類似度算出対象者の画像の、特定画像に対する少なくとも一つの類似度を監視／追跡実行機能部２３から取得し、この監視／追跡実行機能部２３での少なくとも一つの類似度の算出に用いた類似度算出手法に対応してカメラ情報テーブル記憶部３２１に記憶されている複数の閾値に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の中から、追跡対象者の画像に類似する画像を検出すると共に、その検出した類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、監視／追跡実行機能部２３から取得した少なくとも二つ以上の類似度から検出した追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、検出した注意段階を示す段階表示と共に提示するための追跡出力画面としての追跡アラート画面４４を生成するようにしている。　
　より具体的には、例えば二つ以上の照合モデルのそれぞれについて、類似度が複数の注意段階の何れであるか判定するための複数の閾値をカメラ情報テーブル記憶部３２１に記憶させておき、監視者が操作する監視端末４０から指定された追跡を行うべき追跡対象の画像を管理データ記憶部３１３に登録し、登録された追跡対象者の画像と複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから抽出した類似度算出対象者の画像との類似度を二つ以上の照合モデルそれぞれを用いて算出する監視／追跡実行機能部２３から、二つ以上の類似度を取得し、記憶されている複数の閾値に基づいて、取得した類似度が注意段階の何れであるか判別し、判別の結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された類似度算出対象者の画像の内、追跡対象者の画像に類似する類似度算出対象者の画像を、注意段階それぞれを示す段階表示と共に提示するための追跡アラート画面４４を生成するようにしている。　
　これにより、互いに異なる判断基準を有する二つ以上の類似度算出手法、例えば二つ以上の照合モデルが、互いに範囲又はスケールが異なる類似度値を出力する場合であっても、追跡アラート画面４４では同様の段階表示により類似度が表示されることで、監視者は、類似度の同一性を容易に認識できるようになる。
　［第３実施形態］
　第３実施形態では、第１及び第２実施形態と同様の構成については同一の符号を付し、その説明を省略する。第３実施形態では、主として、第２実施形態と異なる部分について説明する。
　（１）構成
　（１－１）全体構成
　この発明の第３実施形態に係る人物追跡システム１は、図１を用いて説明した第１の実施形態に係るシステム１と同様であっても良く、その説明を省略する。
　（１－２）映像解析機能部２０
　図３２は、第３実施形態における映像解析機能部２０の構成の一例を示すブロック図である。第３実施形態においても、映像解析機能部２０は、画像取得モジュール２１、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える。
　そして、第３実施形態においては、人検知情報抽出機能部２２が、全身検出モジュール２２１、領域追跡モジュール２２２、全身特徴量抽出モジュール２２３、顔検出モジュール２２４及び顔特徴量抽出モジュール２２５に加えて、体温検出モジュール２２６、脈拍検出モジュール２２７及び咳検出モジュール２２８を備える。
　また、顔検出モジュール２２４は、抽出した顔画像を、顔特徴量抽出モジュール２２５に加えて、体温検出モジュール２２６、脈拍検出モジュール２２７及び咳検出モジュール２２８に送る。
　体温検出モジュール２２６は、全身検出モジュール２２１から入力された全身画像または顔検出モジュール２２４から入力された顔画像から、人物の体表面温度を検出する。画像から体表面温度を検出する手法は、従来より種々提案されてきており、本実施形態では、使用する体表面温度検出手法を特に限定しない。体温検出モジュール２２６は、検出した体温を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバに送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、体温検出モジュール２２６は、検出した体温をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
　脈拍検出モジュール２２７は、顔検出モジュール２２４から入力された顔画像から、人物の脈拍数を検出する。画像から脈拍数を検出する技術としては、例えば、以下の参考文献１乃至３等に提案されている。　
　［参考文献１］　小原一誠、外４名、“映像からの脈波情報抽出”［Online］、［２０２０年６月１９日検索］、インターネット＜URL: https://www.sairct.idac.tohoku.ac.jp/wp-content/uploads/2016/07/160728_c2_yoshizawa_DLpre2.pdf＞　
　［参考文献２］　阿部正英、外２名、“非接触センサを用いた脈拍数と呼吸数の計測”［Online］、［２０２０年６月１９日検索］、インターネット＜URL: http://www.mk.ecei.tohoku.ac.jp/papers/data/F05760013.pdf＞　
　［参考文献３］　“顔の画像からリアルタイムに脈拍を計測する技術を開発”［Online］、［２０２０年６月１９日検索］、インターネット＜URL: https://pr.fujitsu.com/jp/news/2013/03/18.html＞　
本実施形態では、使用する脈拍数検出手法を特に限定しない。脈拍検出モジュール２２７は、検出した脈拍数を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバに送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、脈拍検出モジュール２２７は、検出した脈拍数をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
　咳検出モジュール２２８は、顔検出モジュール２２４から入力された顔画像から、人物の咳の症状を検出する。咳検出モジュール２２８は、例えば、顔画像のブレ具合や、連続する複数の顔画像における顔の変化、等から咳をしているか否か及びその咳の程度を検出する。咳検出モジュール２２８は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、咳の症状を検出することができる。咳検出モジュール２２８は、検出した咳の症状の度合いを示す咳症状を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバに送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、咳検出モジュール２２８は、検出した咳の症状をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。
　（１－３）Ｗｅｂサーバ３０
　第３実施形態におけるＷｅｂサーバ３０のソフトウェア構成は、図１８を参照して説明した第２実施形態におけるＷｅｂサーバ３０と同様である。また、ハードウェア構成についても、図１１を参照して第１実施形態で説明した通りである。第３実施形態では、Ｗｅｂサーバ３０のファイルサーバ３１及びＤＢサーバ３２における記憶内容が第２実施形態と異なる場合がある。
　図３３は、ファイルサーバ３１の過去検索用データ記憶部３１１に記憶される過去検索用データの一例を示す図である。第３実施形態では、過去検索用データは、フレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４に加えて、体温３１１５、脈拍数３１１６及び咳症状３１１７を含むことができる。これら体温３１１５、脈拍数３１１６及び咳症状３１１７は、映像解析機能部２０の全身検出モジュール２２１が検出した状態情報である。これらフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３、顔特徴量３１１４、体温３１１５、脈拍数３１１６及び咳症状３１１７は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
　検知履歴データ記憶部３１２は、第３実施形態では、インフルエンザ等の規定の症状に該当する追跡候補者として検知された特定人物それぞれに関するデータである検知履歴データを記憶する。図３４は、この検知履歴データ記憶部３１２に記憶される検知された特定人物の検知履歴データの一例を示す図である。検知履歴データは、検知された特定人物の顔画像である検知顔画像３１２１及びその検知顔画像３１２１に対応する顔特徴量３１２２に加えて、第３実施形態では、検知全身画像３１２３と全身特徴量３１２４とを含むことができる。検知全身画像３１２３は、検知された特定人物の全身画像であり、全身特徴量３１２４は、その検知全身画像３１２３に対応する全身特徴量である。これら検知顔画像３１２１、顔特徴量３１２２、検知全身画像３１２３及び全身特徴量３１２４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
　検知履歴データにおける情報は、Ｗｅｂサーバ３０が、例えば、何れかの監視カメラ１０の監視画像から、規定の体温、脈拍数または咳症状に該当する追跡候補者を検知した時に、検知履歴データ記憶部３１２に記憶させることができる。すなわち、Ｗｅｂサーバ３０は、当該監視画像から取得されて過去検索用データ記憶部３１１に記憶されている全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４を、検知全身画像３１２３、全身特徴量３１２４及び顔特徴量３１２２として検知履歴データ記憶部３１２に記憶させることができる。また、Ｗｅｂサーバ３０は、当該監視画像から取得されて過去検索用データ記憶部３１１に記憶されている全身画像３１１２を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得し、それを検知顔画像３１２１として検知履歴データ記憶部３１２に記憶させることができる。この一つの映像解析機能部２０は、追跡候補者が検知された監視画像を取得した監視カメラ１０に対応する映像解析機能部２０であって良い。
　例えば、Ｗｅｂサーバ３０は、追跡候補者が検知された際に、第２実施形態と同様に、検知履歴データ記憶部３１２に記憶したその監視対象に対する検知履歴データにおける検知顔画像３１２１を、監視端末４０のＷｅｂブラウザ４１にて監視者に閲覧させる。さらに、第３実施形態では、Ｗｅｂサーバ３０は、監視者に、検知顔画像３１２１の検知の元となった状態情報を、監視端末４０のＷｅｂブラウザ４１にて閲覧させる。ここで閲覧させる状態情報は、過去検索用データ記憶部３１１に記憶されている体温３１１５、脈拍数３１１６及び咳症状３１１７を、種類や性能等に依存する監視カメラ１０毎の補正値によって補正したものである。
　或いは、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２に加えて、第３実施形態では、体温３１１５、脈拍数３１１６及び咳症状３１１７を監視端末４０のＷｅｂブラウザ４１にて閲覧させ、監視端末４０から任意の全身画像の指定を受けて、その人物を指定の追跡対象者とするようにしても良い。この場合、体温３１１５、脈拍数３１１６及び咳症状３１１７を対応する監視カメラ１０用の補正値により補正した結果をＷｅｂブラウザ４１にて閲覧させるようにしても良い。追跡対象者が指定されたならば、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、管理データ記憶部３１３に登録顔画像３１３１として記憶させることができる。
　図３５は、ＤＢサーバ３２のカメラ情報テーブル記憶部３２１に記憶される、監視カメラ１０毎のカメラ情報テーブル３２１１の記載内容の一例を示す図である。カメラ情報テーブル３２１１には、例えば、第２実施形態と同様にカメラＩＤ、カメラ名称、アスペクト比、カメラ位置Ｘ、カメラ位置Ｙ、カメラ角度、顔照合閾値１～３、全身照合閾値１～３、等々が記載されている。そして、第３実施形態では、カメラ情報テーブル３２１１には、更に、体温補正係数、脈拍補正係数及び咳症状補正係数が記載されている。
　ここで、体温補正係数、脈拍補正係数及び咳症状補正係数は、映像解析機能部２０の体温検出モジュール２２６、脈拍検出モジュール２２７及び咳検出モジュール２２８が検出した体温、脈拍数及び咳症状を補正するための係数である。これら補正係数は、対応する監視カメラ１０自体の種類、性能、設置条件等に依存するため、監視カメラ１０を設置してから実際の運用が開始されるまでの間に、適切な値に調整されて、カメラ情報テーブル３２１１に記載される。
　また、顔照合閾値１～３及び全身照合閾値１～３は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度と比較するための閾値である。顔照合閾値１～３は、第２実施形態が、監視対象者或いは追跡対象者の顔画像を対象としていたのに対し、第３実施形態では、対応する監視カメラ１０の監視画像から抽出された人物の顔画像が追跡対象者の顔画像であるか否か分類するための顔画像類似度に対応する第１乃至第３の閾値である。同様に、全身照合閾値１貸せ３についても、第３実施形態では、対応する監視カメラ１０の監視画像から抽出された人物の全身画像が追跡対象者の全身画像であるか否か分類するための全身画像類似度に対応する第１乃至第３の閾値である。なお、第３実施形態においても、この顔照合閾値及び全身照合閾値は、それぞれ３段階に限定するものではないことは勿論である。
　また、第２実施形態では、Ｗｅｂサーバ３０は、過去検索用データテーブル３２２１のトラッキングＩＤを、映像解析機能部２０の人検知情報抽出機能部２２から与えられる全身画像の領域位置と、過去検索用データテーブル記憶部３２２に記憶されている当該監視カメラ１０の前フレーム画像における過去検索用データテーブル３２２１それぞれの全身画像の領域位置とを比較して、全身画像の人物の同一性を判別することで、過去検索用データテーブル３２２１のトラッキングＩＤを付与しても良いことを説明した。第３実施形態では、過去検索用データテーブル記憶部３２２に代えて、過去検索用データ記憶部３１１に記憶されている当該監視カメラ１０の前フレーム画像における過去検索用データテーブル３２２１それぞれの全身画像の領域位置を用いることができる。
　図３６は、ＤＢサーバ３２の検知履歴テーブル記憶部３２３に記憶される検知履歴テーブル３２３１の記載内容の一例を示す図である。検知履歴テーブル３２３１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、顔左右角度、顔上下角度、トラッキングＩＤ、等々に加えて、第３実施形態では、要注意者ＩＤ、補正後体温、補正後脈拍数及び補正後咳症状が記載される。ここで、検知ＩＤ、要注意者ＩＤは、検知履歴データ記憶部３１２に検知履歴データを記憶する際に付与される、当該追跡候補者を一意に識別する識別情報である。補正後体温、補正後脈拍数及び補正後咳症状は、カメラ情報テーブル記憶部３２１に記憶されたカメラ情報テーブル３２１１に記載された補正係数による補正結果である。
　図３７は、ＤＢサーバ３２の管理テーブル記憶部３２４に記憶される管理テーブル３２４１の記載内容の一例を示す図である。管理テーブル３２４１には、例えば、クエリ顔画像パス、顔特徴量ファイルパス、監視ステータス、ピン留めフラグ、長期間滞在フラグ、等々に加えて、第３実施形態では、要注意者ＩＤ、補正後体温、補正後脈拍数及び補正後咳症状が記載される。ここで、要注意者ＩＤ、補正後体温、補正後脈拍数及び補正後咳症状は、検知履歴テーブル３２３１から転記される。
　図３８は、ＤＢサーバ３２の追跡テーブル記憶部３２５に記憶される追跡テーブル３２５１の記載内容の一例を示す図である。追跡テーブル３２５１は、第２実施形態では、追跡対象者の不審者ＩＤ毎のレコードを含んでいたが、第３実施形態では、追跡対象者の要注意者ＩＤ毎のレコードを含む。レコード自体の内容は、第２実施形態と同様、検知ＩＤ、全身画像類似度及び顔画像類似度でなる。
　Ｗｅｂサーバのバックエンド機能として提供される検知／追跡結果判定機能部３４は、第３実施形態では、映像解析機能部２０の人検知情報抽出機能部２２の各機能部の出力を受けて、規定の症状に該当する追跡候補者が監視カメラ１０の監視画像内に現れたことを検知し、検知履歴テーブル記憶部３２３に記憶する検知履歴テーブルを作成すると共に、人検知情報抽出機能部２２の各機能部で抽出した、その人物の検知顔画像３１２１、顔特徴量３１２２、検知全身画像３１２３及び全身特徴量３１２４を検知履歴データ記憶部３１２へ記憶させる。
　Ｗｅｂアプリケーション３５の監視機能部３５２は、第３実施形態では、検知／追跡結果判定機能部３４が追跡候補者を検知した際に、アラートを発生して、Ｗｅｂブラウザ４１に提示する。そのために、監視機能部３５２は、Ｗｅｂブラウザ４１に提示するための検知アラート画面を生成する検知アラート出力機能部３５２１を含む。検知アラート画面は、規定の症状に該当する特定人物である追跡候補者と検知された人物の画像を、その状態情報と共に提示するための出力画面である。
　追跡機能部３５３は、検知／追跡結果判定機能部３４が検知した追跡候補者の顔画像と同一の人物の顔画像及び全身画像で、複数の監視カメラ１０を跨いでリアルタイムに該当人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示する。
　（２）動作
　（２－１）監視動作
　第３実施形態においては、各映像解析機能部２０は、フレーム画像、全身画像、全身画像の領域位置、全身特徴量及び顔特徴量に加えて、体温、脈拍数及び咳症状を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。Ｗｅｂサーバ３０は、複数の映像解析機能部２０のそれぞれから送信されてきたフレーム画像、全身画像、全身特徴量、顔特徴量、体温、脈拍数及び咳症状を、過去検索用データとして、ファイルサーバ３１の過去検索用データ記憶部３１１に蓄積する。
　人物追跡システムでは、この各部のリアルタイムな状況監視と並行して、追跡候補者の来訪検知動作が行われる。この追跡候補者来訪検知動作は、検知／追跡結果判定機能部３４による検知結果判定処理と、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理と、を含む。
　図３９は、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による検知結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、過去検索用データテーブル記憶部３２２に、何れかの監視カメラ１０の監視画像に基づく過去検索用データが記憶される毎に、このフローチャートに示す処理を実施することができる。或いは、検知／追跡結果判定機能部３４は、過去検索用データテーブル記憶部３２２に、各監視カメラ１０の監視画像に基づく過去検索用データが所定回数分記憶される毎に、このフローチャートに示す処理を実施するようにしても良い。後者の場合、その複数回分の過去検索用データの内の何れか一つ、例えば最新のものを処理対象として使用することができる。
　検知／追跡結果判定機能部３４は、まず、過去検索用データ記憶部３１１に記憶されている過去検索用データから状態情報である体温３１１５、脈拍数３１１６及び咳症状３１１７を取得する（ステップＳ１００１）。また、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶避けている、その過去検索用データの取得元である監視カメラ１０のカメラ情報テーブル３２１１より状態情報の補正値である体温補正値、脈拍数補正値及び咳症状補正値を取得する（ステップＳ１００２）。そして、上記取得した体温３１１５、脈拍数３１１６及び咳症状３１１７を、この体温補正値、脈拍数補正値及び咳症状補正値により補正する（ステップＳ１００３）。
　その後、検知／追跡結果判定機能部３４は、補正後の体温が予め記憶している規定体温以上であるか否か判断する（ステップＳ１００４）。補正後体温が規定体温以上であると判断した場合には、検知／追跡結果判定機能部３４は、検知履歴データ記憶部３１２に検知履歴データとして検知顔画像３１２１、顔特徴量３１２２、検知全身画像３１２３及び全身特徴量３１２４を記憶させると共に、検知履歴テーブル３２３１を生成して、それを検知履歴テーブル記憶部３２３に記憶させる（ステップＳ１００５）。この生成した検知履歴テーブル３２３１には、上記ステップＳ１００３で補正した補正後の状態情報である補正後体温、補正後脈拍数及び補正後咳症状が登録されることとなる。そしてその後、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。なお、比較対象である規定体温と後述する規定脈拍数及び規定咳症状は、インフルエンザ等の規定の症状に応じた値が予め記憶装置３０２に記憶されているものとする。
　これに対して、ステップＳ１００４において補正後体温が規定体温以上ではないと判断した場合には、検知／追跡結果判定機能部３４は、補正後の脈拍数が、予め記憶している規定脈拍数以上であるか否か判断する（ステップＳ１００６）。補正後脈拍数が規定脈拍数以上であると判断した場合には、検知／追跡結果判定機能部３４は、上記ステップＳ１００５の処理に進む。
　また、補正後脈拍数が規定脈拍数以上ではないと判断した場合には、検知／追跡結果判定機能部３４は、補正後の咳症状が、予め記憶している規定咳症状以上か否か判断する（ステップＳ１００７）。補正後咳症状が規定咳症状以上であると判断した場合には、検知／追跡結果判定機能部３４は、上記ステップＳ１００５の処理に進む。補正後咳症状が規定咳症状以上ではないと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。
　以上のようにして、補正後の体温、脈拍数及び咳症状の何れかが既定の体温、脈拍数または咳症状以上である場合には、追跡候補者が検知されたとして、検知履歴データ記憶部３１２に検知履歴データが記憶され、検知履歴テーブル３２３１へ補正後の体温、脈拍数及び咳症状が登録されることになる。
　図４０及び図４１は、監視機能部３５２の検知アラート出力機能部３５２１による検知アラート出力処理の処理手順を示すフローチャートである。検知アラート出力機能部３５２１は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３による検知結果判定処理と同様の処理タイミングで、このフローチャートに示す処理を実施する。
　検知アラート出力機能部３５２１は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート画面における絞り込み指定操作が行われたか否か判断する（ステップＳ２００１）。絞り込み指定操作が行われたと判断した場合、検知アラート出力機能部３５２１は、後述するステップＳ２００６へと進む。
　これに対して、絞り込み指定操作が行われていないと判断した場合、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３から新規の検知履歴テーブル３２３１の情報を取得する（ステップＳ２００２）。すなわち、検知アラート出力機能部３５２１は、検知履歴テーブル３２３１における検知日時として、前回の処理日時以降の日時が記録されているものを抽出して取得する。
　そして、検知アラート出力機能部３５２１は、取得した新規の検知履歴テーブル３２３１の情報に基づいて、画面画像である新規の検知人物カードを作成する（ステップＳ２００３）。この検知人物カードは、検知履歴データ記憶部３１２に検知履歴データとして記憶した検知顔画像３１２１及び検知全身画像３１２３と、それに対応する検知履歴テーブル３２３１における補正後の状態情報と、を含む画面画像である。この検知人物カードについては、詳細を後述する。
　検知アラート出力機能部３５２１は、この作成した新規の検知人物カードにより、Ｗｅｂブラウザ４１にて表示するための検知アラート画面を更新する（ステップＳ２００４）。そして、検知アラート出力機能部３５２１は、この更新した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させる（ステップＳ２００５）。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート画面を表示する。そして、検知アラート出力機能部３５２１は、この検知アラート出力処理を終了する。
　一方、上記ステップＳ２００１において絞り込み指定操作が行われたと判断した場合、検知アラート出力機能部３５２１は、その指定された絞り込みレベルを取得する（ステップＳ２００６）。この絞り込みレベルは、検知アラート画面に表示する検知人物カードを絞り込むための指標である。
　また、検知アラート出力機能部３５２１は、検知履歴テーブル記憶部３２３から処理対象の検知履歴テーブル３２３１の情報を取得する（ステップＳ２００７）。すなわち、検知アラート出力機能部３５２１は、検知履歴テーブル３２３１における検知日時に基づいて、新しいものから順に一つの検知履歴テーブルの情報を取得する。
　その後、検知アラート出力機能部３５２１は、取得した補正後の体温が、上記絞り込みレベルとして指定された指定体温よりも高いか否か、つまり補正後体温が指定体温以上であるか否か判断する（ステップＳ２００８）。補正後体温が指定体温以上であると判断した場合には、検知アラート出力機能部３５２１は、取得した検知履歴テーブル３２３１の情報に基づいて、画面画像である検知人物カードを作成する（ステップＳ２００９）。
　そして、検知アラート出力機能部３５２１は、所定数の検知人物カードを作成したか否か判断する（ステップＳ２０１０）。この所定数は、検知アラート画面の表示可能個数に依存することができる。或いは、任意の個数としても良い。未だ所定数の検知人物カードを作成していないと判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２００７の処理に戻る。
　また、上記ステップＳ２００８において補正後体温が指定体温以上ではないと判断した場合には、検知アラート出力機能部３５２１は、取得した補正後の脈拍数が、上記絞り込みレベルとして指定された指定脈拍数以上であるか否か判断する（ステップＳ２０１１）。補正後脈拍数が指定脈拍数以上であると判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２００９の処理に進んで、検知人物カードを作成することとなる。
　また、上記ステップＳ２０１３において補正後脈拍数が指定脈拍数以上ではないと判断した場合には、検知アラート出力機能部３５２１は、取得した補正後の咳症状が、上記絞り込みレベルとして指定された指定咳症状以上であるか否か判断する（ステップＳ２０１２）。補正後咳症状が指定咳症状以上であると判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２００９の処理に進んで、検知人物カードを作成することとなる。補正後咳症状が指定咳症状以上ではないと判断した場合には、検知アラート出力機能部３５２１は、上記ステップＳ２０１０の処理に進む。
　そして、上記ステップＳ２０１０において所定数の検知人物カードを作成したと判断した場合には、検知アラート出力機能部３５２１は、作成した検知人物カードを検知日時順に並べ替えて、検知アラート画面を更新する（ステップＳ２０１３）。そして、検知アラート出力機能部３５２１は、上記ステップＳ２００５の処理に進んで、この更新した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、そこに表示させることとなる。
　なお、所定数の検知人物カードを作成する前に、上記ステップＳ２００７で取得するべき処理対象の検知履歴テーブル３２３１の情報が無くなってしまった場合には、ステップＳ２０１３に進んで良い。
　図４２は、Ｗｅｂブラウザ４１に表示される検知アラート画面４２の一例を示す図である。検知アラート画面４２は、検知された人物毎の検知人物カード４２２と、絞り込み指示領域４２３と、を含む。なお、図２４においては「検知顔画像」及び「検知全身画像」として文字で示しているが、実際には、それらは文字ではなく画像であることに注意されたい。
　検知人物カード４２２は、その表示内容として、注意喚起ラベル４２２１、要注意者ＩＤ４２２２、追跡候補者画像４２２３、検知体温４２２４、検知脈拍数４２２５、検知咳症状４２２６、及び、追跡開始ボタン４２２７を含むことができる。
　ここで、注意喚起ラベル４２２１は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。要注意者ＩＤ４２２２は、検知履歴テーブル３２３１から転記される識別情報である。追跡候補者画像４２２３は、その追跡候補者であると検知された人物の、検知履歴データ記憶部３１２に記憶された検知顔画像３１２１及び検知全身画像３１２３である。検知体温４２２４、検知脈拍数４２２５及び検知咳症状４２２６は、検知履歴テーブル３２３１から転記される補正後体温、補正後脈拍数及び補正後咳症状である。追跡開始ボタン４２２７は、当該人物を追跡する場合に押下されるボタンである。
　なお、この検知人物カード４２２は、追跡候補者として新たに特定人物が検知される毎に、検知アラート画面４２の最上位に表示されるように、古い検知人物カード４２２が下方にシフトされていく。同一人物については新たな検知人物カード４２２は追加されない。
　また、絞り込み指示領域４２３は、検知アラート画面４２に表示する検知人物カード４２２を絞り込むための指示を受け付けるための領域である。この絞り込み指示領域４２３は、体温提示閾値設定スライダ４２３１、脈拍数提示閾値設定スライダ４２３２及び咳症状閾値設定ボタン４２３３を含む。
　ここで、体温提示閾値設定スライダ４２３１は、上記ステップＳ２００８で用いる指定体温を示す提示閾値を設定するためにスライド操作されるスライダである。監視者によるこのスライダのスライド操作で指示される体温以上の補正後体温を含む検知人物カード４２１が検知アラート画面４２に表示されるようになる。図４２では、体温提示閾値設定スライダ４２３１は、３７．５℃である規定体温が設定されている状態を示している。
　同様に、脈拍数提示閾値設定スライダ４２３２は、上記ステップＳ２０１１で用いる指定脈拍数を示す提示閾値を設定するためにスライド操作されるスライダである。監視者によるこのスライダのスライド操作で指示される脈拍数以上の補正後脈拍数を含む検知人物カード４２１が検知アラート画面４２に表示されるようになる。図４２では、脈拍数提示閾値設定スライダ４２３２は、１１０である規定脈拍数が設定されている状態を示している。
　また、咳症状閾値設定ボタン４２３３は、本実施形態では咳症状の度合いを３段階で示すものとしているので、咳症状の段数に対応する３個のボタンを含む。監視者によるこの３個のボタンの押下操作に応じた指定段数以上の補正後咳症状を含む検知人物カード４２１が検知アラート画面４２に表示されるようになる。図４２の例では、咳症状閾値設定ボタン４２３３での段数として１段である規定咳症状が設定されている状態を示している。また、この咳症状閾値設定ボタン４２３３は、この指定段数をリセットする際に押下操作されるボタンであるリセットボタンも含む。
　図４２の例では、検知アラート画面４２は、３つの検知人物カード４２２を含む。最上部に提示された検知人物カード４２２は、体温提示閾値設定スライダ４２３１で指定される３７．５℃以上の体温である３７．６℃の体温、または、咳症状閾値設定ボタン４２３３で指定される１段以上の咳症状度合いである２段の咳症状が検知された追跡候補者を提示する検知人物カード４２２である。２段目に提示された検知人物カード４２２は、体温提示閾値設定スライダ４２３１で指定される３７．５℃以上の体温である３８．８℃の体温、脈拍数提示閾値設定スライダ４２３２で指定される１１０以上の脈拍である１１５の脈拍数、または、咳症状閾値設定ボタン４２３３で指定される１段以上の咳症状度合いである３段の咳症状が検知された追跡候補者を提示する検知人物カード４２２である。そして、３段目に提示された検知人物カード４２２は、脈拍数提示閾値設定スライダ４２３２で指定される１１０以上の脈拍である１１５の脈拍数、または、咳症状閾値設定ボタン４２３３で指定される１段以上の咳症状度合いである２段の咳症状が検知された追跡候補者を提示する検知人物カード４２２である。
　図４３は、体温提示閾値設定スライダ４２３１により３７．８℃、咳症状閾値設定ボタン４２３３で２段を指定した場合の検知アラート画面４２の例である。この例では、この体温と咳症状の提示閾値による絞り込みの結果、図４２の例において最上位に提示されていた追跡候補者の検知人物カード４２２が提示されなくなる。図４３の例では、図４２の例において２段目と３段目に提示されていた検知人物カード４２２が上方にシフトされ、新たに、体温提示閾値設定スライダ４２３１で指定される３７．８℃以上の体温である７．９℃の体温、または、咳症状閾値設定ボタン４２３３で指定される２段以上の咳症状度合いである２段の咳症状が検知された追跡候補者を提示する検知人物カード４２２が３段目に提示されている。
　（２－２）追跡動作
　追跡機能部３５３の画像登録機能部３５３１による画像登録処理の処理手順は、以下の点を除いて、第１実施形態と同様である。すなわち、第３実施形態においては、追跡開始ボタン４２２７の押下操作が行われたと判断した場合には、ステップＳ１２において、画像登録機能部３５３１は、検知アラート画面４２の要注意者ＩＤを有する検知履歴テーブル記憶部３２３のトラッキングＩＤに基づいて、検知履歴データ記憶部３１２から検知顔画像３１２１を追跡用顔画像として取得する。
　そして、ステップＳ１３において、画像登録機能部３５３１は、追跡用顔画像として取得された検知顔画像３１２１について検知履歴テーブル３２３１に記載された検知ＩＤで特定される検知全身画像３１２３を追跡用全身画像として取得する。或いは、画像登録機能部３５３１は、その検知ＩＤに基づいて、過去検索用データ記憶部３１１から全身画像３１１２を追跡用全身画像として取得する。
　さらに、ステップＳ１４において、画像登録機能部３５３１は、上記検知ＩＤに基づいて、検知履歴データ記憶部３１２から顔特徴量３１２２及び全身特徴量３１２４を追跡用顔特徴量及び追跡用全身特徴量として取得する。
　また、映像解析機能部２０の監視／追跡実行機能部２３による追跡処理の処理手順は、以下の点を除いて、図２５を参照して説明した第２実施形態と同様である。すなわち、第３実施形態では、ステップＳ１１８における時間間隔ｔ１は、例えば、数秒というように、任意の時間間隔とする。或いは、時間間隔ｔ１は、監視カメラ１０の監視画像の取得間隔の整数倍の時間間隔としても良い。
　Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４による追跡結果判定処理、及び追跡機能部３５３の追跡アラート出力機能部３５３３による追跡アラート出力処理については、不審者ＩＤを要注意者ＩＤとすることを除いては、第２実施形態と同様である。また、全身画像類似度と全身照合閾値１～３それぞれとの比較、及び顔画像類似度と顔照合閾値１～３それぞれとの比較においては、大きいか否かではなく以上であるか否かの判断としても構わない。何れとするのかは、それぞれの閾値をどう選択するのかに依存する。
　図４４は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４４の一例を示す図である。第３実施形態においては、追跡アラート画面４４は、以下の点が第２実施形態における追跡アラート画面４４と異なっている。すなわち、第３実施形態では、追跡アラート画面４４の最上位の追跡対象者情報領域４３１は、第２実施形態の注意喚起メッセージ４４１１及び不審者ＩＤ４４１２に代えて、注意喚起ラベル４４１６及び要注意者ＩＤ４４１７を含み、また、追跡情報４４１４の表示内容が異なっている。
　ここで、注意喚起ラベル４４１６は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。要注意者ＩＤ４４１７は、管理テーブル３２４１から転記される識別情報である。追跡情報４４１４は、当該追跡対象者に関する情報であり、最上位の追跡対象者情報領域４３１の追跡情報４４１４とその他の追跡対象者情報領域４３１の追跡情報４４１４とでは、内容が異なっている。すなわち、最上位の追跡対象者情報領域４３１の追跡情報４４１４は、管理テーブル３２４１から転記される状態情報である補正後体温、補正後脈拍数及び補正後咳症状を含む。最上位以外の追跡対象者情報領域４３１の追跡情報４４１４は、これら状態情報に代えて、追跡状況を含んでいる。
　図４５は、Ｗｅｂブラウザ４１に表示される追跡アラート画面４４の別の例を示す図である。この例は、顔画像類似度選択ボタン４４３１で３段が指定され、全身画像類似度選択ボタン４４３３で１段が指定された場合を示している。ここで、押下操作されたボタンは、図４４ではハッチングにより示すように、識別表示される。顔画像類似度選択ボタン４４３１による指定と全身画像類似度選択ボタン４４３３による指定はアンド条件となり、追跡アラート画面４４には、両方で指定された段数に合致する追跡情報カード４４２のみが表示されるようになる。
　（２－３）過去検索動作
　追跡機能部３５３による追跡動作は、第２実施形態と同様である。
　（３）効果
　以上詳述したように第３実施形態に係る人物追跡装置としてのＷｅｂサーバ３０は、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、監視画像のそれぞれから検出する情報抽出部としての人検知情報抽出機能部２２から、当該人検知情報抽出機能部２２が検出した複数種類の状態情報を取得し、それら取得した複数種類の状態情報に基づいて、監視画像のそれぞれに含まれる人物が規定の症状に該当する特定人物であるか否か判別する判別部としての検知／追跡結果判定機能部３４と、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像の内、インフルエンザ等の規定の症状に該当する特定人物の画像を、追跡対象者画像として登録する登録部としての画像登録機能部３５３１と、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから、画像登録機能部３５３１によって登録された追跡対象者画像に類似する人物の画像を検知する検知部としての検知／追跡結果判定機能部３４と、検知／追跡結果判定機能部３４が検知した追跡対象者画像に類似する人物の画像を提示するための追跡出力画面としての追跡アラート画面４４を生成する追跡出力画面生成部としての追跡アラート出力機能部３５３３と、を具備するようにしている。これにより、監視カメラ１０によって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
　なお、Ｗｅｂサーバ３０は、検知／追跡結果判定機能部３４の判別結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像の内、規定の症状に該当する特定人物の画像を、状態情報と共に提示するための検知出力画面としての検知アラート画面４２を生成する検知出力画面生成部としての検知アラート出力機能部３５２１を更に具備するようにし、画像登録機能部３５３１は、この検知アラート出力機能部３５２１が生成した検知アラート画面４２を表示する監視端末４０から、検知アラート画面４２に提示された人物の画像の中から追跡を行うべき追跡対象者の画像の指定を取得し、その取得した指定された画像を追跡対象者画像として登録するようにしている。よって、検知アラート画面４２に複数の追跡候補者をその状態情報と共に提示することで、追跡しなければならない追跡対象者を監視者が容易に認識できるようになる。
　また、検知／追跡結果判定機能部３４は、取得した複数種類の状態情報の内の何れか一種類でも既定値以上であるとき、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像が規定の症状に該当する特定人物の画像であると判別するようにしている。よって、少しでも規定の症状に該当する可能性がある人物を確実にピックアップすることができる。
　また、検知アラート出力機能部３５２１は、複数種類の状態情報それぞれの種類に対して指定された提示閾値を取得し、取得した提示閾値に基づいて、検知／追跡結果判定機能部３４が規定の症状に該当すると判別した特定人物の画像の中から、検知アラート画面４２に提示するべき画像を絞り込むようにしている。よって、監視者が提示閾値を指定することで、検知アラート画面４２に提示される規定の症状に該当する可能性がある人物を絞り込むことができ、追跡しなければならない追跡対象者を監視者が容易に認識できるようになる。
　この場合、検知アラート出力機能部３５２１は、取得したそれぞれの種類に対する提示閾値の中の何れか一つの提示閾値以上の状態情報を検出した特定人物の画像を、検知アラート画面４２に提示するべき画像として選択するようにしている。よって、少しでも規定の症状に該当する可能性がある人物を、絞り込み対象外としてしまうおそれがない。
　また、Ｗｅｂサーバ３０は、複数台の監視カメラ１０それぞれについて、状態情報を補正するための補正係数を記憶したカメラ情報記憶部としてのカメラ情報テーブル記憶部３２１を更に備え、検知／追跡結果判定機能部３４は、人検知情報抽出機能部２２から取得した状態情報を、このカメラ情報テーブル記憶部３２１に記憶された補正係数により補正し、補正後の状態情報に基づいて、人物の画像が規定の症状に該当する特定人物の画像であるか否か判別するようにしている。よって、監視カメラ１０の種類等の違いに依存する状態情報間のバラツキを減らすことができる。
　なお、状態情報は、監視画像からそれぞれ抽出される、体温、脈拍数及び咳症状の内の少なくとも一つを含むことができる。
　また、第３実施形態に係る人物追跡システムは、第３実施形態に係る人物追跡装置としてのＷｅｂサーバ３０と、複数台の監視カメラ１０と、監視者が操作する監視端末４０と、人検知情報抽出機能部２２を備える解析部としての映像解析機能部２０と、を備えることができる。
　また、第３実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、監視画像のそれぞれから検出する情報抽出部としての人検知情報抽出機能部２２から、当該人検知情報抽出機能部２２が検出した複数種類の状態情報を取得し、それら取得した複数種類の状態情報に基づいて、監視画像のそれぞれに含まれる人物が規定の症状に該当する特定人物であるか否か判別し、その判別の結果に基づいて、複数台の監視カメラ１０それぞれの監視画像から抽出された人物の画像の内、規定の症状に該当する特定人物の画像を、追跡対象者画像としてメモリであるファイルサーバ３１に登録し、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれから、登録された追跡対象者画像に類似する人物の画像を検知し、それら検知した追跡対象者画像に類似する人物の画像を提示するための追跡アラート画面４４を生成するようにしている。これにより、監視カメラ１０によって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
　［第４実施形態］
　第３実施形態では、検知アラート画面４２に提示される検知人物カード４２２は、提示閾値の何れか以上の体温、脈拍数または咳症状に該当する人物のものとしたが、全ての提示閾値以上であることを条件としても良い。この場合、検知アラート出力機能部３５２１の処理手順を、図４１に示すフローチャートに示す手順に代えて、図４６に示すフローチャートに示す手順のようにすれば良い。すなわち、ステップＳ２００８において補正後体温が指定体温以上でないと判断した場合、ステップＳ２０１１において補正後脈拍数が指定脈拍数以上でないと判断した場合、或いは、ステップＳ２０１２において補正後咳症状が指定咳症状以上でないと判断した場合には、検知アラート出力機能部３５２１は、検知人物カードを作成せずに、ステップＳ２０１０の判断処理へと進む。そして、ステップＳ２００８において補正後体温が指定体温以上であると判断し、ステップＳ２０１１において補正後脈拍数が指定脈拍数以上であると判断し、且つ、ステップＳ２０１２において補正後咳症状が指定咳症状以上であると判断した場合にのみ、検知アラート出力機能部３５２１は、ステップＳ２００９に進んで、検知人物カードを作成するようにする。
　このように、第４実施形態においては、検知アラート出力機能部３５２１は、取得したそれぞれの種類に対する提示閾値の全てについて、提示閾値以上の状態情報を検出した特定人物の画像を、検知アラート画面４２に提示するべき画像として選択する。よって、規定の症状に該当する可能性が高い人物を容易に絞り込むことができる。
　［他の実施形態］
　前記実施形態では、全身画像特徴量及び顔画像特徴量として、人物自体の属性情報を数値化したものとしたが、これに限定するものではない。全身特徴量は、例えば、服装、持ち物（バッグの種類や色、ベビーカー、等）、装飾品（サングラス、マスク、等）、等の人に付随する付随情報を数値化したものを含んでも良い。さらに、全身特徴量は、発熱情報、脈拍、等の画像から得られる又は他のセンサから得られる人の内部情報を数値化したものを含んでも良い。また、顔特徴量は、装飾品（メガネ、帽子、等）等の顔に付随する付随情報を数値化したものを含んでも良い。
　また、全身画像特徴量及び顔画像特徴量は人物自体の属性情報を数値化したもののみとし、それら付随情報を数値化したものや人の内部情報を数値化したものを別の特徴量として、全身画像特徴量及び顔画像特徴量と同様の検知基準の一つとして、その別の特徴量を使用するようにしても良い。
　また、前記実施形態では、ファイルサーバ３１の過去検索用データ記憶部３１１に、過去検索用データとしてフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４を記憶していくものとしたが、顔特徴量３１１４を抽出する元となった顔画像も記憶するようにしても良い。
　また、映像解析機能部２０は、監視画像であるフレーム画像から先ず人物の全身画像を抽出し、その抽出した全身画像から顔画像を抽出するものとしたが、これとは逆に、先ずフレーム画像から人物の顔画像を抽出し、その抽出した顔画像を含む全身画像をフレーム画像から抽出するものであっても良い。
　前記一実施形態では、監視カメラ１０で取得した監視画像から人物の全身画像を抽出し、その抽出した全身画像から人物の顔画像を抽出するものとして説明したが、これに限定するものではない。監視画像に人物の顔が写っている場合には、全身画像を抽出することなく顔画像を抽出するようにしても良い。
　また、図２４、図４２及び図４３に示した検知アラート画面４２、並びに、図３０、図３１、図４４及び図４５に示した追跡アラート画面４４についても、このレイアウト並びに表示内容に限定するものではない。例えば、注意段階表示４２１９、検知咳症状４２２６、顔注意段階表示４４２４及び全身注意段階表示４４２６を、複数の四角形を識別表示する個数で表しているが、例えばイエロー、オレンジ、レッドのように一つの四角形の色を変更する識別表示によって注意段階を表すようにしても良い。或いは、四角形の個数や色ではなく、Ａ～Ｃや１～３のように、注意段階を文字で表しても構わない。
　また、図１３乃至図１５、図２１乃至図２３、図２５乃至図２９、図３９乃至図４１、及び図４６のフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図１４において、ステップＳ２２及びＳ２３の処理とステップＳ２４及びＳ２５の処理とは、順番が逆でも良いし、並行して行っても良い。また、図１５において、ステップＳ３３及びＳ３４の処理とステップＳ３５及びＳ３６の処理とについても、その順番は逆でも良いし、並行して行っても良い。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序を変更して構わない。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。
　１…人物追跡システム
　１０…監視カメラ
　２０…映像解析機能部
　２１…画像取得モジュール
　２２…人検知情報抽出機能部
　２３…監視／追跡実行機能部
　３０…Ｗｅｂサーバ
　３１…ファイルサーバ
　３２…データベース（ＤＢ）サーバ
　３３…検索用人検知結果保存機能部
　３４…検知／追跡結果判定機能部
　３５…Ｗｅｂアプリケーション
　４０…監視端末
　４１…Ｗｅｂブラウザ
　４２…検知アラート画面
　４３…検知アラート出力画面
　４４…追跡アラート画面
　２２１…全身検出モジュール
　２２２…領域追跡モジュール
　２２３…全身特徴量抽出モジュール
　２２４…顔検出モジュール
　２２５…顔特徴量抽出モジュール
　２２６…体温検出モジュール
　２２７…脈拍検出モジュール
　２２８…咳検出モジュール
　２３１…全身照合モジュール
　２３２…顔照合モジュール
　２５１…追跡テーブル
　３０１Ａ…ハードウェアプロセッサ
　３０１Ｂ…プログラムメモリ
　３０２…記憶装置
　３０３…通信インタフェース装置
　３０４…バス
　３１１…過去検索用データ記憶部
　３１２…検知履歴データ記憶部
　３１３…管理データ記憶部
　３２１…カメラ情報テーブル記憶部
　３２２…過去検索用データテーブル記憶部
　３２３…検知履歴テーブル記憶部
　３２４…管理テーブル記憶部
　３２５…追跡テーブル記憶部
　３５１…ログイン機能部
　３５２…監視機能部
　３５３…追跡機能部
　３５４…過去検索機能部
　４２１，４２２…検知人物カード
　４２３，４４３…絞り込み指示領域
　４３１…追跡対象者情報領域
　４３２…経過時間情報領域
　４３３，４４２…追跡情報カード
　３１１１…フレーム画像
　３１１２…全身画像
　３１１３，３１２４，３１３４…全身特徴量
　３１１４，３１２２，３１３２…顔特徴量
　３１１５…体温
　３１１６…脈拍数
　３１１７…咳症状
　３１２１，４２１２…検知顔画像
　３１２３…検知全身画像
　３１３１…登録顔画像
　３１３３…登録全身画像
　３２１１…カメラ情報テーブル
　３２２１…過去検索用データテーブル
　３２３１…検知履歴テーブル
　３２４１…管理テーブル
　３２５１…追跡テーブル
　３５２１…検知アラート出力機能部
　３５３１…画像登録機能部
　３５３２…検知アラート出力機能部
　３５３３…追跡アラート出力機能部
　４２１１…監視対象者顔画像
　４２１３，４３１１…注意喚起メッセージ
　４２１４，４３１２…検知ＩＤ
　４２１５…類似度
　４２１６，４３１４…検知情報
　４２１７…追跡開始ボタン
　４２１８，４４１２…不審者ＩＤ
　４２１９…注意段階表示
　４２２１，４４１６…注意喚起ラベル
　４２２２，４４１７…要注意者ＩＤ
　４２２３…追跡候補者画像
　４２２４…検知体温
　４２２５…検知脈拍数
　４２２６…検知咳症状
　４２２７…追跡開始ボタン
　４２３１…体温提示閾値設定スライダ
　４２３２…脈拍数提示閾値設定スライダ
　４２３３…咳症状閾値設定ボタン
　４３１３，４４１３…登録画像
　４３１５…過去検知画像
　４３１６…不審者ＩＤ
　４３１７…危険度種別
　４３１８…説明文
　４３１９，４４１５…追跡停止ボタン
　４３３１，４４２１…検出日時情報
　４３３２，４４２２…検出カメラ場所情報
　４３３３…検出画像
　４３３４…画像類似度情報
　４３３５，４４２７…検出背景画像
　４４１１…注意喚起メッセージ
　４４１４…追跡情報
　４４２３…検出顔画像
　４４２４…顔注意段階表示
　４４２５…検出全身画像
　４４２６…全身注意段階表示
　４４３１…顔画像類似度選択ボタン
　４４３２…顔画像類似度選択リセットボタン
　４４３３…全身画像類似度選択ボタン
　４４３４…全身画像類似度選択リセットボタン
　ＮＥＴ…ネットワーク
　ＳＶ…サーバ装置

 

Claims (33)

  1. 　追跡を行うべき追跡対象者の顔画像及び全身画像を登録する登録部と、
    　複数台の監視カメラで取得する監視画像のそれぞれについて、前記登録された顔画像に類似する顔画像と、前記登録された顔画像を抽出した前記全身画像に類似する全身画像と、の少なくとも一方を検知する検知部と、
    　前記検知した顔画像及び全身画像の少なくとも一方を出力する出力部と、
    　を具備する、人物追跡装置。
  2. 　前記登録部は、
    　　監視者が操作する監視端末から前記追跡対象者の顔画像の指定を受け付け、
    　　前記指定された顔画像とその顔画像に対応する全身画像とを、追跡用顔画像及び追跡用全身画像として登録し、
    　前記検知部は、前記監視画像のそれぞれについて、前記登録された追跡用顔画像に類似する顔画像と、前記登録された追跡用全身画像に類似する全身画像と、の少なくとも一方を検知する、請求項１に記載の人物追跡装置。
  3. 　前記監視画像のそれぞれから人物の全身画像を抽出し、前記全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、前記顔画像からその特徴量である顔特徴量を抽出する抽出部から、前記抽出部が抽出した前記全身画像、前記全身特徴量及び前記顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量を前記監視画像と共に蓄積する画像蓄積部を更に具備し、
    　前記登録部は、
    　　監視者が操作する監視端末から前記追跡対象者の顔画像の指定を受け付け、
    　　その指定された顔画像に対応する前記画像蓄積部に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量と、前記顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、
    　前記検知部は、
    　　前記登録部による登録の時点から前記画像蓄積部に蓄積されていく前記監視画像を照合用画像として、前記照合用画像それぞれについての、前記抽出部が抽出した前記全身特徴量と前記追跡用全身特徴量との類似度である全身画像類似度、及び、前記抽出部が抽出した前記顔特徴量と前記追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出部から、前記類似度算出部が算出した前記全身画像類似度及び前記顔画像類似度と前記追跡用顔画像及び前記追跡用全身画像とのセットを取得し、
    　　前記全身画像類似度及び前記顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、
    　　前記閾値よりも大きい場合に、前記抽出部が前記照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、前記照合用画像としての前記監視画像を取得した前記監視カメラの位置情報とを、前記登録部によって登録された前記追跡用全身画像及び前記追跡用顔画像と共に表示するための表示用結果を作成し、
    　前記出力部は、前記検知部によって作成された前記表示用結果を前記監視端末に送信して、前記監視端末に前記表示用結果を表示させる、請求項１に記載の人物追跡装置。
  4. 　前記検知部は、前記表示用結果に、さらに、前記全身画像類似度及び前記顔画像類似度の少なくとも一方の表示を含める、請求項３に記載の人物追跡装置。
  5. 　前記検知部は、前記表示用結果に、さらに、前記照合用画像の表示を含める、請求項３に記載の人物追跡装置。
  6. 　前記登録部は、前記登録の時点以前に前記画像蓄積部に蓄積されていた前記追跡対象者についての前記全身画像、前記全身特徴量及び前記顔特徴量の中から、特定時期に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量を、前記追跡用全身画像、前記追跡用全身特徴量及び前記追跡用顔特徴量として登録する、請求項３に記載の人物追跡装置。
  7. 　前記登録部は、前記登録の時点以前に前記画像蓄積部に蓄積されていた前記追跡対象者についての前記全身画像、前記全身特徴量及び前記顔特徴量の中から、登録する前記追跡用全身画像、前記追跡用全身特徴量及び前記追跡用顔特徴量の選択を、前記監視端末から受け付ける、請求項３に記載の人物追跡装置。
  8. 　請求項３乃至７の何れかに記載の人物追跡装置と、
    　前記複数台の監視カメラと、
    　前記監視者が操作する前記監視端末と、
    　前記抽出部及び前記類似度算出部を備える解析部と、
    　を具備する人物追跡システム。
  9. 　前記抽出部は、
    　　前記監視画像から前記全身画像を抽出する全身画像抽出部と、
    　　前記全身画像抽出部によって抽出された前記全身画像から前記全身特徴量を抽出する全身特徴量抽出部と、
    　　前記全身画像抽出部によって抽出された前記全身画像から前記顔画像を抽出する顔画像抽出部と、
    　　前記顔画像抽出部によって抽出された前記顔画像から前記顔特徴量を抽出する顔特徴量抽出部と、
    を含む、請求項８に記載の人物追跡システム。
  10. 　前記類似度算出部は、
    　　前記照合用画像それぞれについての前記全身特徴量抽出部によって抽出された前記全身特徴量と前記登録部によって登録された前記全身特徴量との類似度である全身画像類似度を算出する全身類似度算出部と、
    　　前記照合用画像のそれぞれについての前記顔特徴量抽出部によって抽出された前記顔特徴量と前記登録部によって登録された前記顔特徴量との類似度である顔画像類似度を算出する顔類似度算出部と、
    を含む、請求項９に記載の人物追跡システム。
  11. 　複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、
    　コンピュータが、
    　　前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像を記憶装置に蓄積させ、
    　　前記監視画像のそれぞれから人物の全身画像を抽出し、前記全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、前記顔画像からその特徴量である顔特徴量を抽出する抽出装置から、前記抽出装置が抽出した前記全身画像、前記全身特徴量及び前記顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量を前記記憶装置に蓄積させ、
    　　監視者が操作する監視端末からの追跡を行うべき追跡対象者の顔画像の指定を受け付け、
    　　その指定された顔画像に対応する前記記憶装置に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量と、前記顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、
    　　前記登録の時点から前記記憶装置に蓄積されていく前記監視画像を照合用画像として、前記照合用画像それぞれについての、前記抽出装置が抽出した前記全身特徴量と前記追跡用全身特徴量との類似度である全身画像類似度、及び、前記抽出装置が抽出した前記顔特徴量と前記追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出装置から、前記類似度算出装置が算出した前記全身画像類似度及び前記顔画像類似度と前記追跡用顔画像及び前記追跡用全身画像とのセットを取得し、
    　　前記照合用画像それぞれについての前記全身画像類似度及び前記顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、
    　　前記全身画像類似度及び前記顔画像類似度の少なくとも一方が前記対応する閾値よりも大きい場合に、前記照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、前記照合用画像としての前記監視画像を取得した前記監視カメラの位置情報とを、前記登録された前記追跡用全身画像及び前記追跡用顔画像と共に表示するための表示用結果を作成し、
    　　前記作成した前記表示用結果を前記監視端末に送信して、前記監視端末に前記表示用結果を表示させる、
    　人物追跡方法。
  12. 　互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を少なくとも一つの照合モデルのそれぞれについて、複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、　複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるか検出する検出部と、
    　を具備する、人物検出装置。
  13. 　前記検出部が検出した前記特定人物の画像に類似する前記画像を、前記検出部が検出した前記注意段階を示す段階表示と共に提示するための出力画面を生成する出力画面生成部をさらに具備する、請求項１２に記載の人物検出装置。
  14. 　前記複数の閾値は、前記対象画像である前記類似度算出対象者の画像が前記特定人物の画像であるか否か分類するための第１の閾値と、前記類似度算出対象者の画像が前記特定人物の画像である場合に、前記類似度算出対象者の画像を前記複数の段階に分類するための少なくとも一つの第２の閾値と、を含む、請求項１２又は１３に記載の人物検出装置。
  15. 　請求項１３に記載の人物検出装置と、
    　前記人物検出装置によって前記出力画面に前記段階表示と共に提示された前記特定人物の画像に類似する複数の前記類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末から受け付け、その指定された画像を追跡用画像として登録し、前記登録された前記追跡を行うべき前記追跡対象者の画像である前記追跡用画像を前記特定画像として、前記類似度算出部に、少なくとも二つ以上の前記類似度算出手法を用いて前記類似度算出対象者の画像の前記類似度を少なくとも二つ抽出させる登録部と、
    　前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像それぞれを、前記検出部が検出した前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する追跡出力画面生成部と、
    　を具備する、人物追跡装置。
  16. 　互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎に記憶した閾値記憶部と、
    　監視者が操作する監視端末から指定された追跡を行うべき追跡対象者の画像を、前記特定画像として登録する登録部と、
    　複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記閾値記憶部に記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する検出部と、
    　前記検出部が、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する追跡出力画面生成部と、
    　を具備する、人物追跡装置。
  17. 　前記追跡出力画面生成部は、前記監視端末からの段数指定を受けて、前記検出部が検出した前記類似度算出対象者の前記画像の内、前記指定された段階に対応する閾値以上の類似度を有する画像を、前記段階表示と共に提示する絞り込み出力画面を生成する、請求項１５又は１６に記載の人物追跡装置。
  18. 　請求項１５乃至１７の何れかに記載の人物追跡装置と、
    　前記複数台の監視カメラと、
    　前記監視者が操作する前記監視端末と、
    　前記類似度算出部を備える解析部と、
    　を具備する人物追跡システム。
  19. 　複数台の監視カメラが取得した監視画像から特定人物を検出する人物検出方法であって、
    　コンピュータが、
    　　互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎にメモリに記憶させておき、
    　　複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像である特定人物の画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、
    　　前記類似度算出部での前記少なくとも一つの類似度の算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記特定人物の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出する、
    　人物検出方法。
  20. 　複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、
    　コンピュータが、
    　　請求項１９に記載の人物検出方法によって検出した前記特定人物の画像に類似する前記画像を、前記検出した前記注意段階を示す段階表示と共に提示するための出力画面を生成し、前記出力画面に前記段階表示と共に提示された前記特定人物の画像に類似する複数の類似度算出対象者の画像の中から、追跡を行うべき追跡対象者の画像の指定を、監視者が操作する監視端末から受け付け、
    　　その指定された画像を追跡用画像として前記メモリに登録し、
    　　前記メモリに登録された前記追跡を行うべき前記追跡対象者の画像である前記追跡用画像を前記特定画像として、前記類似度算出部に、少なくとも二つ以上の前記類似度算出手法を用いて前記類似度算出対象者の画像の前記類似度を少なくとも二つ抽出させ、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の、前記特定画像である前記追跡対象者の画像に対する前記少なくとも二つの類似度を前記類似度算出部から取得し、
    　　前記類似度算出部での前記類似度のそれぞれの算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を検出すると共に、その検出した前記類似度算出対象者の画像が前記複数の注意段階の何れであるのか検出し、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する前記二つ以上の類似度算出対象者の画像それぞれを、前記検出した前記注意段階を示す段階表示と共に提示する追跡出力画面を生成する、
    　人物追跡方法。
  21. 　複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、
    　コンピュータが、
    　　互いに異なる判断基準を有する二つ以上の類似度算出手法のそれぞれを用いて特定画像に対する対象画像の類似度を二つ以上算出する類似度算出部が算出した前記類似度のそれぞれに基づいて、前記対象画像を複数の段階に分類するための複数の閾値を、前記類似度算出手法毎にメモリに記憶させておき、
    　　監視者が操作する監視端末から指定された追跡を行うべき追跡対象者の画像を、前記特定画像として前記メモリに登録し、
    　　複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれから抽出した前記対象画像である類似度算出対象者の画像の、前記特定画像に対する少なくとも一つの類似度を前記類似度算出部から取得し、
    　　前記類似度算出部での前記類似度の算出に用いた前記類似度算出手法に対応して前記メモリに記憶されている前記複数の閾値に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記類似度算出対象者の画像の中から、前記追跡対象者の画像に類似する画像を検出すると共に、その検出した前記類似度算出対象者の画像が複数の注意段階の何れであるのか検出し、前記類似度算出部から取得した前記少なくとも二つ以上の類似度から検出した前記追跡対象者の画像に類似する二つ以上の類似度算出対象者の画像を、前記検出した前記注意段階を示す段階表示と共に提示するための追跡出力画面を生成する、
    　人物追跡方法。
  22. 　請求項１２乃至１４の何れかに記載の人物検出装置が具備する前記各部による処理を、前記人物検出装置が備えるプロセッサに実行させる人物検出プログラム。
  23. 　複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、前記監視画像のそれぞれから検出する情報抽出部から、前記情報抽出部が検出した前記複数種類の状態情報を取得し、前記取得した前記複数種類の状態情報に基づいて、前記監視画像のそれぞれに含まれる前記人物が規定の症状に該当する特定人物であるか否か判別する判別部と、
    　前記判別部の判別結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、追跡対象者画像として登録する登録部と、
    　前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像のそれぞれから、前記登録部によって登録された前記追跡対象者画像に類似する人物の画像を検知する検知部と、
    　前記検知部が検知した前記追跡対象者画像に類似する人物の画像を提示するための追跡出力画面を生成する追跡出力画面生成部と、
    　を具備する、人物追跡装置。
  24. 　前記判別部の判別結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、前記状態情報と共に提示するための検知出力画面を生成する検知出力画面生成部を更に具備し、　前記登録部は、前記検知出力画面生成部が生成した前記検知出力画面を表示する監視端末から、前記検知出力画面に提示された人物の画像の中から追跡を行うべき追跡対象者の画像の指定を取得し、前記取得した前記指定された画像を追跡対象者画像として登録する、請求項２３に記載の人物追跡装置。
  25. 　前記判別部は、前記取得した前記複数種類の状態情報の内の何れか一種類でも既定値以上であるとき、前記複数台の監視カメラそれぞれの前記監視画像から抽出された前記人物の画像が前記規定の症状に該当する前記特定人物の画像であると判別する、請求項２４に記載の人物追跡装置。
  26. 　前記検知出力画面生成部は、前記複数種類の状態情報それぞれの種類に対して指定された提示閾値を取得し、前記取得した前記提示閾値に基づいて、前記判別部が前記規定の症状に該当すると判別した前記特定人物の画像の中から、前記検知出力画面に提示するべき画像を絞り込む、請求項２４又は２５に記載の人物追跡装置。
  27. 　前記検知出力画面生成部は、前記取得した前記それぞれの種類に対する前記提示閾値の中の何れか一つの前記提示閾値以上の状態情報を検出した前記特定人物の画像を、前記検知出力画面に提示するべき画像として選択する、請求項２６に記載の人物追跡装置。
  28. 　前記検知出力画面生成部は、前記取得した前記それぞれの種類に対する前記提示閾値の全てについて、前記提示閾値以上の状態情報を検出した前記特定人物の画像を、前記検知出力画面に提示するべき画像として選択する、請求項２６に記載の人物追跡装置。
  29. 　前記複数台の監視カメラそれぞれについて、前記状態情報を補正するための補正係数を記憶したカメラ情報記憶部を更に備え、
    　前記判別部は、前記情報抽出部から取得した前記状態情報を、前記カメラ情報記憶部に記憶された前記補正係数により補正し、補正後の状態情報に基づいて、前記人物の画像が前記規定の症状に該当する前記特定人物の画像であるか否か判別する、請求項２３乃至２８の何れかに記載の人物追跡装置。
  30. 　前記状態情報は、前記監視画像からそれぞれ抽出される、体温、脈拍数及び咳症状の内の少なくとも一つを含む、請求項２３乃至２９の何れかに記載の人物追跡装置。
  31. 　請求項２３乃至３０の何れかに記載の人物追跡装置と、
    　前記複数台の監視カメラと、
    　監視者が操作する監視端末と、
    　前記情報抽出部を備える解析部と、
    　を具備する人物追跡システム。
  32. 　複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、
    　コンピュータが、
    　　複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、前記監視画像のそれぞれから検出する情報抽出部から、前記情報抽出部が検出した前記複数種類の状態情報を取得し、前記取得した前記複数種類の状態情報に基づいて、前記監視画像のそれぞれに含まれる前記人物が規定の症状に該当する特定人物であるか否か判別し、
    　　前記判別の結果に基づいて、前記複数台の監視カメラそれぞれの前記監視画像から抽出された人物の画像の内、前記規定の症状に該当する前記特定人物の画像を、追跡対象者画像としてメモリに登録し、
    　　前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像のそれぞれから、前記登録された前記追跡対象者画像に類似する人物の画像を検知し、
    　　前記検知した前記追跡対象者画像に類似する人物の画像を提示するための追跡出力画面を生成する、
    　人物追跡方法。
  33. 　請求項１乃至７、１５乃至１７、２３乃至３０の何れかに記載の人物追跡装置が具備する前記各部による処理を、前記人物追跡装置が備えるプロセッサに実行させる人物追跡プログラム。

     
PCT/JP2021/028994 2020-08-07 2021-08-04 人物を検出または追跡する装置、システム、方法及びプログラム WO2022030558A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020135133A JP7500335B2 (ja) 2020-08-07 2020-08-07 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
JP2020-135151 2020-08-07
JP2020-135146 2020-08-07
JP2020135151A JP7424940B2 (ja) 2020-08-07 2020-08-07 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
JP2020-135133 2020-08-07
JP2020135146A JP7424939B2 (ja) 2020-08-07 2020-08-07 人物検出装置、人物追跡装置、人物追跡システム、人物検出方法、人物追跡方法、人物検出プログラム及び人物追跡プログラム

Publications (1)

Publication Number Publication Date
WO2022030558A1 true WO2022030558A1 (ja) 2022-02-10

Family

ID=80117497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028994 WO2022030558A1 (ja) 2020-08-07 2021-08-04 人物を検出または追跡する装置、システム、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2022030558A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512304A (zh) * 2022-11-10 2022-12-23 成都大学 基于图像识别的地铁站安全监控系统
CN116362429A (zh) * 2023-06-01 2023-06-30 厦门畅享信息技术有限公司 基于社区网格信息采集的城域房屋租赁预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050518A1 (ja) * 2012-09-28 2014-04-03 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2015130155A (ja) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 防犯システム
JP2018037075A (ja) * 2016-08-29 2018-03-08 パナソニックＩｐマネジメント株式会社 不審者通報システム及び不審者通報方法
WO2020017190A1 (ja) * 2018-07-18 2020-01-23 株式会社日立製作所 映像解析装置、人物検索システムおよび人物検索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050518A1 (ja) * 2012-09-28 2014-04-03 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2015130155A (ja) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 防犯システム
JP2018037075A (ja) * 2016-08-29 2018-03-08 パナソニックＩｐマネジメント株式会社 不審者通報システム及び不審者通報方法
WO2020017190A1 (ja) * 2018-07-18 2020-01-23 株式会社日立製作所 映像解析装置、人物検索システムおよび人物検索方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512304A (zh) * 2022-11-10 2022-12-23 成都大学 基于图像识别的地铁站安全监控系统
CN115512304B (zh) * 2022-11-10 2023-03-03 成都大学 基于图像识别的地铁站安全监控系统
CN116362429A (zh) * 2023-06-01 2023-06-30 厦门畅享信息技术有限公司 基于社区网格信息采集的城域房屋租赁预测方法及系统
CN116362429B (zh) * 2023-06-01 2023-08-11 厦门畅享信息技术有限公司 基于社区网格信息采集的城域房屋租赁预测方法及系统

Similar Documents

Publication Publication Date Title
US10395262B2 (en) Systems and methods for sensor data analysis through machine learning
JP6013241B2 (ja) 人物認識装置、及び方法
US9530144B2 (en) Content output device, content output method, content output program, and recording medium having content output program recorded thereon
JP5740210B2 (ja) 顔画像検索システム、及び顔画像検索方法
WO2022030558A1 (ja) 人物を検出または追跡する装置、システム、方法及びプログラム
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
WO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6172551B1 (ja) 画像検索装置、画像検索システム及び画像検索方法
CN110717358B (zh) 访客人数统计方法、装置、电子设备及存储介质
KR20130095727A (ko) 비디오 내 객체들의 시맨틱 파싱
JP2012518846A (ja) 異常挙動を予測するためのシステムおよび方法
JP2013003964A (ja) 顔画像検索システム、及び顔画像検索方法
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
KR20140058409A (ko) 이미지에서 텍스트로 및 텍스트에서 이미지로 연관시키기 위한 시스템 및 방법
JP2024040203A (ja) 人物検出装置、人物追跡装置、人物追跡システム、人物検出方法、人物追跡方法、人物検出プログラム及び人物追跡プログラム
JP2019101664A (ja) 推定プログラム、推定システム、及び推定方法
JP7075460B2 (ja) 情報認識システムおよびその方法
JP2015090579A (ja) 行動分析システム
JP7487732B2 (ja) 情報処理装置、表示システム、情報処理方法およびプログラム
JP7424940B2 (ja) 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
JP7500335B2 (ja) 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
CN109871456A (zh) 一种看守所人员关系分析方法、装置和电子设备
JP5003536B2 (ja) サービス支援システム
Yang et al. Reranking optimization for person re-identification under temporal-spatial information and common network consistency constraints
JP7374632B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21852584

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21852584

Country of ref document: EP

Kind code of ref document: A1