WO2015166612A1 - 映像解析システム、映像解析方法および映像解析プログラム - Google Patents

映像解析システム、映像解析方法および映像解析プログラム Download PDF

Info

Publication number
WO2015166612A1
WO2015166612A1 PCT/JP2015/000528 JP2015000528W WO2015166612A1 WO 2015166612 A1 WO2015166612 A1 WO 2015166612A1 JP 2015000528 W JP2015000528 W JP 2015000528W WO 2015166612 A1 WO2015166612 A1 WO 2015166612A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring target
identification information
shooting
information
unit
Prior art date
Application number
PCT/JP2015/000528
Other languages
English (en)
French (fr)
Inventor
小山　和也
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/307,600 priority Critical patent/US10552713B2/en
Priority to JP2016515843A priority patent/JPWO2015166612A1/ja
Publication of WO2015166612A1 publication Critical patent/WO2015166612A1/ja
Priority to US16/523,619 priority patent/US11157778B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Definitions

  • the present invention relates to a video analysis system, a video analysis method, and a video analysis program for analyzing a monitoring target in a video.
  • Surveillance cameras are installed at stations and specific facilities, and various judgments are made by analyzing the video captured by the surveillance cameras. As one of them, a person or object that exists unnaturally for a long time within the range to be monitored is specified as a suspicious person or a suspicious object.
  • a behavior analysis method for tracking a specific person and analyzing the behavior of the person is known.
  • this behavior analysis method one person or a plurality of cameras with overlapping monitoring areas are used to recognize where a specific person is, and by tracking the time change of the position of the person, Identify where and how long you have stayed.
  • Patent Document 1 describes a face image recognition device that speeds up face image recognition processing and simplifies registration work.
  • the face image recognition apparatus described in Patent Document 1 registers a face image in the front direction of a person to be recognized and an average face image in a direction other than the front, and stores the face area extracted from the video.
  • the face image in the video is recognized by comparing the feature with the registered face image.
  • Patent Document 2 describes a suspicious person detection device that automatically detects a suspicious person from a camera image.
  • the apparatus described in Patent Document 2 periodically acquires an image with a camera having a shooting range in all directions around the vehicle, calculates an extracted person's behavior feature amount every predetermined time, and the behavior feature Judgment is made based on the frequency distribution of the quantity.
  • Patent Document 3 describes an image processing apparatus that associates a plurality of objects in an image.
  • the evaluation providing unit gives an evaluation to the object detected by the object detecting unit.
  • the related evaluation assigning means gives an evaluation based on the evaluation to another object related by the associating means to the object given the evaluation by the evaluation giving means.
  • the range in which a person's behavior can be analyzed depends on the shooting range of the camera. For example, when one camera is used, the range in which a person's behavior can be analyzed is limited to the range in which the camera can shoot. Also, when trying to cover a large range, it is necessary to use a large number of cameras so that there is no gap in the monitored range. Furthermore, even if an attempt is made to shoot a person in a crowded situation, it is often difficult to see a specific person because it is often invisible with another person.
  • the suspicious person detection device described in Patent Document 2 is premised on using temporally continuous images within a shooting range covered by the camera. This is because the behavior feature quantity used by the suspicious person detection device described in Patent Document 2 is a continuous image such as movement speed, movement direction variation, distance from the vehicle, and head height variation. This is because it uses information that can be obtained from. Therefore, in a situation where the range to be photographed cannot be covered, such as when the range to be monitored is wide, it is difficult to detect the suspicious person using the suspicious person detection device described in Patent Document 2.
  • the present invention provides a video analysis system and video that can analyze a suspicious movement from a captured video even when the monitoring range is wide or the monitoring target to be discovered in advance is not registered
  • An object is to provide an analysis method and a video analysis program.
  • the video analysis system extracts monitoring target identification information, which is identification information of a monitoring target, from each video as information used for estimating the identity of the monitoring target, and the extracted monitoring target identification information and the monitoring target are photographed.
  • Monitoring target shooting information generating means for generating monitoring target shooting information including the captured shooting time, and appearance history generation means for generating an appearance history of the monitoring target estimated to be the same from the plurality of generated monitoring target shooting information
  • a specifying means for specifying a monitoring target whose appearance history conforms to the prescribed rule.
  • the video analysis method extracts monitoring target identification information, which is identification information of a monitoring target, from each video as information used for estimating the identity of the monitoring target, and the extracted monitoring target identification information and the monitoring target are photographed.
  • the monitoring target shooting information including the captured shooting time is generated, the appearance history of the monitoring target estimated to be the same is generated from the generated plurality of monitoring target shooting information, and the appearance history conforms to the prescribed rule.
  • a monitoring target is specified.
  • the video analysis program extracts, from a video, monitoring target identification information that is identification information of a monitoring target as information used for estimating the identity of the monitoring target, and extracts the monitoring target identification information and the monitoring
  • monitoring target shooting information generation process for generating monitoring target shooting information including a shooting time when the target is shot, and an appearance history for generating an appearance history of a monitoring target estimated to be the same from a plurality of generated monitoring target shooting information
  • a generation process and a specific process for specifying a monitoring target whose appearance history conforms to a specified rule are executed.
  • the present invention even if the monitoring range is wide or the monitoring target to be discovered in advance is not registered, it is possible to analyze the monitoring target performing suspicious movement from the captured video.
  • the monitoring target is not limited to a person, and may be an object such as an automobile.
  • FIG. FIG. 1 is a block diagram showing a configuration example of a first embodiment of a video analysis system according to the present invention.
  • the video analysis system of the present embodiment includes a video acquisition unit 11, a person identification information analysis unit 12, a person identification information matching unit 15, an appearance history management unit 21, an appearance history storage unit 22, and a rule management unit 23. , A rule storage unit 24, an action detection unit 25, and a result output unit 17.
  • the video analysis system may be connected to an output result storage unit 20 that stores output results.
  • the video acquisition unit 11 acquires video in a predetermined monitoring range.
  • the video acquisition unit 11 also acquires the time at which the video was acquired (hereinafter referred to as the shooting time).
  • the video acquisition unit 11 inputs the video in the monitoring range and the time when the video was shot (that is, the shooting time) to the person identification information analysis unit 12.
  • the video acquisition unit 11 is realized by a photographing device such as a camera, for example.
  • the video analysis system illustrated in FIG. 1 includes only one video acquisition unit 11, the number of the video acquisition units 11 is not limited to one and may be two or more. Moreover, the range which each image
  • photographs may overlap, and all do not need to overlap.
  • the video analysis system includes a plurality of video acquisition units 11, when the acquired video is input to the person identification information analysis unit 12, information for identifying each video acquisition unit 11 (hereinafter, shooting) (Also referred to as device identification information).
  • the video acquisition unit 11 is installed so as to be able to photograph a particularly watched area in the facility to be monitored.
  • the video acquisition unit 11 does not have to be installed so as to capture the entire range in the facility.
  • the video shot in the present embodiment is not limited to video that is temporally continuous. That is, the video used for analysis in the present embodiment may be a set of temporally discontinuous images (video).
  • temporally discontinuous video includes not only video obtained by thinning out frames from video that is normally shot, but also video shot in completely different time zones and places. That is, in this embodiment, if the time and place where the image was taken can be grasped, the video is not questioned in terms of temporal continuity, and the completeness of the place taken is not questioned.
  • the video analysis system may include a video storage unit (not shown) that stores the video captured by the video acquisition unit 11 for a certain period.
  • the video storage unit is realized by a magnetic disk or the like. By providing such a storage unit, it is possible to use images shot in the past.
  • the person identification information analysis unit 12 analyzes the monitoring target shown in each video captured by each video acquisition unit 11. Specifically, when the person identification information analysis unit 12 detects a monitoring target in the video, the identification information of the monitoring target (hereinafter referred to as monitoring target identification information) and the shooting time when the monitoring target was shot. (Hereinafter referred to as monitoring target photographing information).
  • the monitoring target identification information is used when estimating the identity of the monitoring target.
  • the person identification information analysis unit 12 may generate monitoring target shooting information including a shooting position where the monitoring target is shot. This shooting position may be the position of the camera itself, camera identification information (shooting apparatus identification information), or the camera shooting range.
  • the content of the monitoring target identification information extracted by the person identification information analysis unit 12 is predetermined according to the content of the monitoring target. For example, when the monitoring target is a person, the person identification information analysis unit 12 may extract the face image of the person as the monitoring target identification information when detecting the person from the video. For example, when the monitoring target is an automobile, the person identification information analysis unit 12 may extract an image of a license plate of the automobile as monitoring target identification information when detecting the automobile from the video.
  • the information extracted by the person identification information analysis unit 12 is not limited to a face image or a license plate image.
  • the information to be extracted is arbitrary as long as it can identify the monitoring target.
  • the monitoring target identification information used for identifying a person can be referred to as person identification information. Since a method for extracting specific identification information from a target image is widely known, detailed description thereof is omitted here.
  • the person identification information analysis unit 12 receives each video acquisition unit that receives a video when the video is input from each video acquisition unit 11. 11 may be provided with the imaging device identification information.
  • the appearance history management unit 21 generates the appearance history of the monitoring target estimated to be the same from the monitoring target imaging information extracted by the person identification information analysis unit 12. Specifically, the appearance history management unit 21 generates, as an appearance history, the history of the monitoring target that is estimated to be the same as the image captured by the video acquisition unit 11 and stores it in the appearance history storage unit 22. The process of estimating the identity of the monitoring target is performed by the person identification information matching unit 15 described later.
  • the appearance history storage unit 22 stores the appearance history of the monitoring target. Specifically, the appearance history storage unit 22 stores an appearance history in which each piece of information including the shooting time is associated with each monitoring target. The shooting time can also be referred to as the appearance time of the monitoring target.
  • FIG. 2 is an explanatory diagram illustrating an example of information stored in the appearance history storage unit 22 of the present embodiment.
  • the appearance history storage unit 22 includes, for each person ID for identifying a monitoring target, a person image ID that is an identifier for identifying monitoring target photographing information, and person identification information indicating monitoring target identification information. And the photographing time and the name of the photographed camera (for example, photographing device identification information) are stored in association with each other.
  • the appearance history storage unit 22 may generate an appearance history including a shooting position.
  • the camera name and imaging device identification information set as the imaging position are information indicating the location where the monitoring target appears, the camera name and imaging device identification information can also be referred to as the appearance location.
  • the appearance history storage unit 22 includes the likelihood (identification accuracy) of the monitoring target estimated from the acquired video and the personal identification information included in the monitoring target estimated to be the same.
  • information representation image
  • the image is representatively used for comparison may be stored in association with the person ID. It is preferable to select a representative image having higher accuracy from the person identification information indicating the same monitoring target.
  • the person identification information collation unit 15 collates the monitoring target identification information and identifies the monitoring target estimated to be the same. For example, when the monitoring target face image is extracted as the monitoring target identification information, the person identification information collating unit 15 may collate the face image and specify the person estimated to be the same.
  • the person identification information collation unit 15 collates the monitoring target identification information extracted by the person identification information analysis unit 12 with the monitoring target identification information stored in the appearance history storage unit 22, and performs the same monitoring. It is determined whether the target has already been registered in the appearance history storage unit 22.
  • the appearance history management unit 21 uses the monitoring target identification information extracted by the person identification information analysis unit 12 as the appearance history of the monitoring target. Add to On the other hand, when it is determined that the same monitoring target is not registered in the appearance history storage unit 22, the appearance history management unit 21 creates an appearance history as a new monitoring target.
  • the person identification information analysis unit 12 extracts a face image as the monitoring target identification information (person identification information).
  • the person identification information collation unit 15 collates the generated person identification information with the person identification information stored in the appearance history storage unit 22, and the same person is identified. Determine if it exists.
  • the person identification information matching unit 15 compares the face images included in the generated monitoring target imaging information and estimates whether the monitoring targets are the same.
  • the appearance history management unit 21 adds the appearance history using the person ID of the person.
  • the appearance history management unit 21 generates a new person ID and adds the appearance history.
  • the person identification information matching unit 15 may calculate the probability (identification accuracy) of the monitoring target estimated to be the same when the monitoring target identification information is verified. Then, the appearance history management unit 21 may register the appearance history including the certainty in the appearance history storage unit 22.
  • the person identification information collating unit 15 may collate only the representative image illustrated in FIG. 2 among the monitoring object identification information included in the appearance history of each person. . By determining such a representative image, it is possible to speed up the processing by reducing the number of collations while improving the collation accuracy with new monitoring target imaging information.
  • the rule storage unit 24 stores a rule that defines a behavior pattern of a monitoring target to be extracted. When it is desired to extract a monitoring target that is performing suspicious movement as in the present embodiment, the rule storage unit 24 stores a suspicious movement pattern specified from the appearance history as a rule.
  • FIG. 3 is an explanatory diagram illustrating an example of the rules stored in the rule storage unit 24.
  • the rule storage unit 24 stores a rule name representing a monitoring target behavior pattern to be extracted in association with a rule name for identifying a rule.
  • a monitoring target that moves in a manner that deviates from that of a normal use of the facility can be determined as a monitoring target that moves suspiciously. Therefore, rules exemplified below can be defined.
  • the first rule is a rule that “appears in a specified number or more different areas within a certain time”. For example, it is assumed that there is a stadium having four areas: a north spectator seat, a south spectator seat, an east spectator seat, and a west spectator seat. If it is a normal audience, it usually appears in one area where there is a seat. There may be a spectator appearing in two areas by moving to adjacent areas from time to time, but the movements appearing in the three areas are suspicious movements.
  • the rule storage unit 24 specifies a monitoring target that conforms to the first rule by defining a rule of “having appearance history of more than a specified number of different shooting positions within a certain time”.
  • the second rule is a rule that “it appears more than a specified number of times in two or more specific places within a certain time with different places in between”. For example, it is assumed that there are a square A and a square B that are a little apart. A person whose appearance history is observed as A or A can be judged as a person who is simply walking around the square A. A person whose appearance history is observed as A, A, B, B can be determined as a person who has moved from the square A to the square B. On the other hand, a person whose appearance history is observed as A, B, A, B, A, B can be said to be a suspicious movement because it can be determined that the person is wandering between the square A and the square B unnaturally.
  • the rule storage unit 24 defines, for example, a rule “having an appearance history in which two or more different shooting positions change within a certain period of time”, so that a monitoring target that conforms to the second rule can be obtained. Identify.
  • the third rule is a rule that “a case of appearing at a designated place but not appearing at another place corresponding within a certain time is observed more than a designated number of times”. For example, after passing through the entrance of a store, it usually appears at a cash register which is a place necessary for achieving the original purpose within about one hour. Moreover, after passing through the entrance of a bank, it usually appears at a window which is a place necessary for achieving the original purpose within about one hour. There are people who do not use the facility even if they enter the facility, but for example, it is suspicious that it does not appear in the place necessary to achieve its original purpose although it has been repeatedly entering the facility in the morning and at night or on different days. It's a movement.
  • the rule storage unit 24 has, for example, “appearance history indicating other shooting positions expected to appear based on the shooting position within a certain period after the appearance history indicating the predetermined shooting position”. By defining the rule “No”, the monitoring target that matches the third rule is specified.
  • the fourth rule is a rule that “it appears repeatedly in a time zone where a normal person does not appear repeatedly”. For example, in a station where many people meet at a station, it is assumed that they are simply looking for a partner or are killing their time, so it is difficult to say suspicious movements even if they appear many times. However, movements that repeatedly appear during commuting hours, early mornings, late nights, etc. can be considered suspicious movements.
  • a monitoring target that conforms to the fourth rule is specified.
  • the rule storage unit 24 stores a rule defined by the relationship between two or more appearance histories including a shooting position and a shooting time. And the action detection part 25 specifies the monitoring object with which the produced
  • the defined rules are not limited to the four types of rules described above.
  • the rule management unit 23 manages the rules stored in the rule storage unit 24. For example, in response to an access request to the rule storage unit 24, the rule management unit 23 returns the contents of the rule storage unit 24, adds a rule, and updates the rule.
  • the behavior detection unit 25 identifies a monitoring target whose appearance history pattern conforms to a specified rule. Specifically, the behavior detection unit 25 compares the pattern specified from the appearance history stored in the appearance history storage unit 22 with the rule stored in the rule storage unit 24, and determines the pattern conforming to the rule. A monitoring target having an appearance history is specified.
  • the behavior detection unit 25 may operate when a new appearance history is registered in the appearance history storage unit 22, or may operate periodically like a batch process.
  • the result output unit 17 outputs the monitoring target specified by the behavior detection unit 25.
  • the result output unit 17 may store the output result in the output result storage unit 20.
  • FIG. 4 is an explanatory diagram illustrating an example of information stored in the output result storage unit 20. As illustrated in FIG. 4, the result output unit 17 may output a person image ID that identifies a person image, a shooting time when the person is shot, and a camera name. The result output unit 17 may output only the person image ID.
  • the person identification information analysis unit 12, the person identification information collation unit 15, the appearance history management unit 21, the rule management unit 23, the behavior detection unit 25, and the result output unit 17 are, for example, a program (video analysis program). It is realized by a CPU of a computer that operates according to the above.
  • the program is stored in a storage device (not shown) included in the video analysis system, and the CPU reads the program, and according to the program, the person identification information analysis unit 12, the person identification information matching unit 15, the appearance history
  • the management unit 21, the rule management unit 23, the behavior detection unit 25, and the result output unit 17 may be operated.
  • the person identification information analysis unit 12, the person identification information collation unit 15, the appearance history management unit 21, the rule management unit 23, the behavior detection unit 25, and the result output unit 17 each have dedicated hardware. It may be realized with. Further, the appearance history storage unit 22 and the rule storage unit 24 are realized by, for example, a magnetic disk.
  • FIG. 5 is an explanatory diagram illustrating an operation example of the video analysis system of the present embodiment.
  • the persons u1 to u10 to be monitored are identified from the video captured by the two cameras A and B corresponding to the video acquisition unit 11 in the direction of the time axis. Indicates.
  • a person to be photographed usually exists in a plurality of continuous frames S. Therefore, the number of appearances of a person specified continuously from a frame within a predetermined period is counted as one.
  • the person u2, the person u6, the person u7, and the person u9 are estimated to be the same person.
  • this person is P1
  • four appearance histories of this person P1 are created.
  • the appearance history is represented by a symbol obtained by combining a photographed camera symbol and time.
  • the appearance history is A02, B03, B08, A10.
  • FIG. 5 shows the appearance history of the person P1.
  • the person u2 and the person u6 are the same person. If this person is P2, two appearance histories of the person P2 (A03, A05) are created. In addition, it is estimated that the person u5 and the person u8 are the same person, and if this person is P3, two appearance histories of the person P3 (B05, A06) are also created.
  • the behavior detection unit 25 identifies the person P1 as a monitoring target that conforms to the rule, and the result output unit 17 outputs various types of information necessary to identify the monitoring target.
  • FIG. 6 is a flowchart showing an operation example of the video analysis system of the present embodiment.
  • the video acquisition unit 11 acquires a video in the shooting range (step S11), and inputs the shot video to the person identification information analysis unit 12.
  • the person identification information analysis unit 12 detects the monitoring target from the input video
  • the person identification information analysis unit 12 extracts the identification information of the monitoring target (step S12) and also acquires the shooting time.
  • the person identification information analysis unit 12 generates monitoring target shooting information including the monitoring target identification information and the shooting time (step S13).
  • the person identification information collation unit 15 collates the extracted monitoring target identification information with the monitoring target identification information stored in the appearance history storage unit 22 (step S14).
  • the appearance history management unit 21 adds the appearance history of the monitoring target (step S16).
  • the appearance history management unit 21 adds the monitoring target and adds the appearance history to the monitoring target (step S17).
  • the behavior detection unit 25 identifies a monitoring target whose appearance history matches the prescribed rule (step S18).
  • the result output unit 17 outputs the specified monitoring target (step S19).
  • the person identification information analysis unit 12 includes the monitoring target identification information of the monitoring target and the shooting time at which the monitoring target was shot from each video shot by the video acquisition unit 11.
  • the monitoring target shooting information is generated, and the appearance history management unit 21 generates the appearance history of the monitoring target estimated to be the same from the plurality of generated monitoring target shooting information.
  • the behavior detection unit 25 identifies a monitoring target whose appearance history matches the prescribed rule. Therefore, even when the monitoring range is wide or the monitoring target to be discovered in advance is not registered, it is possible to analyze the monitoring target performing suspicious movement from the captured video.
  • a feature of the present invention is that the identification result is expressed by a history based on time and place, and the suspiciousness can be determined only by the history pattern.
  • Embodiment 2 a second embodiment of the video analysis system according to the present invention will be described.
  • the appearance history management unit 21 generates the appearance history of the monitoring target estimated to be the same.
  • the video analysis system according to the present embodiment generates appearance histories collectively.
  • FIG. 7 is a block diagram showing a configuration example of the second embodiment of the video analysis system according to the present invention.
  • symbol same as FIG. 1 is attached
  • subjected and description is abbreviate
  • the video analysis system of the present embodiment includes a video acquisition unit 11, a person identification information analysis unit 12, a person identification information management unit 13, a person identification information matching unit 15, a person identification information storage unit 18, and an appearance history management.
  • the video analysis system of the present embodiment further includes a person identification information management unit 13 and a person identification information storage unit 18 as compared with the configuration of the video analysis system of the first embodiment.
  • a person identification information management unit 13 and a person identification information storage unit 18 as compared with the configuration of the video analysis system of the first embodiment.
  • a person identification information management unit 13 and a person identification information storage unit 18 as compared with the configuration of the video analysis system of the first embodiment.
  • a person identification information management unit 13 and a person identification information storage unit 18 as compared with the configuration of the video analysis system of the first embodiment.
  • a person identification information management unit 13 and a person identification information storage unit 18 as compared with the configuration of the video analysis system of the first embodiment.
  • a person identification information storage unit 18 is the same as that of 1st Embodiment.
  • the person identification information management unit 13 stores the monitoring target identification information extracted by the person identification information analysis unit 12 in the person identification information storage unit 18. Further, the person identification information management unit 13 extracts and returns necessary information from the person identification information storage unit 18 in response to a request from the appearance history management unit 21 and the person identification information matching unit 15.
  • the person identification information storage unit 18 stores the monitoring target photographing information extracted by the person identification information analysis unit 12. Specifically, the person identification information storage unit 18 stores an identifier for identifying individual monitoring target shooting information, monitoring target identification information included in the monitoring target shooting information, and the shooting time in association with each other.
  • FIG. 8 is an explanatory diagram illustrating an example of information stored in the person identification information storage unit 18.
  • the example shown in FIG. 8 is an example of the contents stored in the person identification information storage unit 18 when the monitoring target is a person.
  • the person image ID is used as the identifier for identifying the monitoring target photographing information
  • the person identification information is used as the monitoring target identification information.
  • the person identification information storage unit 18 holds the shooting time at which the person identification information extraction source video was shot in association with each other.
  • the person identification information storage unit 18 may store the name of the camera that acquired the video (for example, photographing apparatus identification information).
  • the appearance history management unit 21 generates the appearance history of the monitoring target estimated to be the same from the monitoring target shooting information stored in the person identification information storage unit 18. Further, the process of estimating the identity of the monitoring target is performed by the person identification information matching unit 15. The method for estimating the identity of the monitoring target and the contents of the process for generating the appearance history are the same as those in the first embodiment.
  • the person identification information analysis unit 12 creates monitoring target identification information and stores it in the person identification information storage unit 18. Then, the appearance history management unit 21 generates an appearance history as necessary. That is, in the video analysis system according to the present embodiment, the generation timing of the monitoring target identification information and the generation timing of the appearance history can be shifted. Therefore, a rule for specifying the monitoring target can be added later.
  • the person identification information analysis unit 12, the person identification information management unit 13, the person identification information matching unit 15, the appearance history management unit 21, the rule management unit 23, the behavior detection unit 25, and the result output unit 17 are: For example, it is realized by a CPU of a computer that operates according to a program (video analysis program).
  • the person identification information analysis unit 12, the person identification information management unit 13, the person identification information matching unit 15, the appearance history management unit 21, the rule management unit 23, the behavior detection unit 25, and the result output unit 17 may be realized by dedicated hardware.
  • the person identification information storage unit 18, the appearance history storage unit 27, and the rule storage unit 24 are realized by, for example, a magnetic disk.
  • FIG. 9 is a flowchart showing an operation example of the video analysis system of the present embodiment.
  • the processing from step S11 to step S13 until the monitoring target identification information is generated from the video is the same as the processing illustrated in FIG.
  • the person identification information management unit 13 stores the monitoring target identification information extracted by the person identification information analysis unit 12 in the person identification information storage unit 18 (step S21). Then, at a predetermined timing, the person identification information collation unit 15 collates the monitoring target identification information stored in the person identification information storage unit 18 with the monitoring target identification information stored in the appearance history storage unit 22 ( Step S14). In addition, when the appearance history storage unit 22 does not hold the monitoring target identification information but holds only the person image ID, for example, the person identification information matching unit 15 sets the corresponding monitoring target identification information to the person identification information storage unit 18. You can specify from.
  • step S15 to step S19 from the determination of the same monitoring target to the generation of the appearance history and the extraction of the monitoring target conforming to the rule are the same as the processes illustrated in FIG.
  • the person identification information management unit 13 causes the person identification information storage unit 18 to store the monitoring target identification information extracted by the person identification information analysis unit 12 once. Therefore, since the generation timing of the monitoring target identification information and the generation timing of the appearance history can be shifted, a rule for specifying the monitoring target can be added later.
  • Embodiment 3 a third embodiment of the video analysis system according to the present invention will be described.
  • the video analysis system of the present embodiment uses an event occurrence time and occurrence location in a rule.
  • the rules defined in the present embodiment extract more than a predetermined number of monitoring targets whose appearance history has a shooting time close to the event occurrence date and time and a shooting time close to the event occurrence location. This is the rule.
  • the shooting time close to the event occurrence date means that the time difference between the event occurrence time and the shooting time is equal to or less than a predetermined threshold
  • the shooting position close to the event occurrence location Means that the difference in the distance between the event occurrence location and the shooting position is equal to or less than a predetermined threshold.
  • the shooting position includes a camera installation location and a camera shooting range.
  • the time that can actually be moved between the respective shooting positions may be used as the distance. For example, even if two shooting positions are physically close to each other, when moving to each shooting position, if it is necessary to make a detour, their movement time will be longer, so even if it is determined that the distance is long Good. In addition, even when two physically distant shooting positions are used, if there are other means other than walking (for example, bicycles, so-called moving sidewalks, etc.) for moving to the respective shooting positions, their travel times May be determined to be short.
  • walking for example, bicycles, so-called moving sidewalks, etc.
  • FIG. 10 is a block diagram showing a configuration example of the third embodiment of the video analysis system according to the present invention.
  • symbol same as FIG. 1 is attached
  • subjected and description is abbreviate
  • the video analysis system of the present embodiment includes a video acquisition unit 11, a person identification information analysis unit 12, a person identification information matching unit 15, an appearance history management unit 21, an appearance history storage unit 22, an event management unit 28, and the like. , An event storage unit 29, a behavior detection unit 25, and a result output unit 17.
  • the video analysis system of the present embodiment includes an event management unit 28 instead of the rule management unit 23 and an event storage unit instead of the rule storage unit 24 as compared with the configuration of the video analysis system of the first embodiment. 29.
  • the video analysis system of the present embodiment includes an event management unit 28 instead of the rule management unit 23 and an event storage unit instead of the rule storage unit 24 as compared with the configuration of the video analysis system of the first embodiment. 29.
  • the video analysis system of the present embodiment includes an event management unit 28 instead of the rule management unit 23 and an event storage unit instead of the rule storage unit 24 as compared with the configuration of the video analysis system of the first embodiment. 29.
  • the video analysis system of the present embodiment includes an event management unit 28 instead of the rule management unit 23 and an event storage unit instead of the rule storage unit 24 as compared with the configuration of the video analysis system of the first embodiment. 29.
  • the video analysis system of the present embodiment includes an event management unit 28 instead of the rule management unit 23 and an event storage unit instead of the rule storage unit 24 as compared with the configuration of the video
  • the event storage unit 29 stores event information used by the behavior detection unit 25 to specify a monitoring target.
  • the event information includes the event occurrence time and location.
  • FIG. 11 is an example of information stored in the event storage unit 29. In the example illustrated in FIG. 11, the event storage unit 29 stores, as event information, the date and time when an event occurred and a location in association with each other.
  • the event information may include information for identifying the content of the event.
  • event information is preset in the event storage unit 29. In the event storage unit 29, at least two pieces of event information are set for each type of event to be analyzed.
  • the video analysis system (specifically, the behavior detection unit 25) has an appearance history having a shooting time close to the event occurrence date and time and a shooting time close to the event occurrence location in advance. Extract more than a specified number of monitoring targets. Therefore, it can be said that the content of the event stored in the event storage unit 29 represents the content of the rule stored in the rule storage unit 24. That is, it can be said that the rule storage unit 24 of the first embodiment has a list of events as a kind of rule.
  • the behavior detection unit 25 sets the shooting time and the event occurrence location close to the event occurrence date and time for each identical or similar event. You may count the appearance history which has the imaging
  • the event management unit 28 extracts necessary information from the event storage unit 29 and returns it in response to a request from the behavior detection unit 25.
  • the person identification information analysis unit 12, the person identification information collation unit 15, the appearance history management unit 21, the event management unit 28, the behavior detection unit 25, and the result output unit 17 are, for example, a program (video analysis program). It is realized by a CPU of a computer that operates according to the above.
  • the person identification information analysis unit 12, the person identification information collation unit 15, the appearance history management unit 21, the event management unit 28, the behavior detection unit 25, and the result output unit 17 each have dedicated hardware. It may be realized with. Further, the appearance history storage unit 22 and the event storage unit 29 are realized by a magnetic disk, for example.
  • the monitoring target that appears near the event in which the behavior detection unit 25 occurs is specified.
  • the behavior detection unit 25 identifies more than a predetermined number of monitoring targets whose appearance history has a shooting time close to the event occurrence date and time and a shooting position close to the event occurrence location.
  • the monitoring target can be specified according to the case.
  • Embodiment 4 FIG. Next, a fourth embodiment of the video analysis system according to the present invention will be described. Similarly to the third embodiment, the video analysis system according to the present embodiment also uses the event occurrence time and occurrence location in the rule. On the other hand, in the third embodiment, event information is set in the event storage unit 29 in advance, but in the present embodiment, event information is stored in the event storage unit 29 as appropriate.
  • FIG. 12 is a block diagram showing a configuration example of the fourth embodiment of the video analysis system according to the present invention.
  • symbol same as FIG. 10 is attached
  • subjected and description is abbreviate
  • the video analysis system of the present embodiment includes a video acquisition unit 11, a person identification information analysis unit 12, a person identification information matching unit 15, an appearance history management unit 21, an appearance history storage unit 22, an event management unit 28, and the like.
  • the event storage unit 29, the behavior detection unit 25, the result output unit 17, the video storage unit 30, and the event detection unit 31 are provided.
  • the video analysis system of the present embodiment further includes a video storage unit 30 and an event detection unit 31 as compared with the configuration of the video analysis system of the third embodiment.
  • a video storage unit 30 and an event detection unit 31 as compared with the configuration of the video analysis system of the third embodiment.
  • the video analysis system of the present embodiment further includes a video storage unit 30 and an event detection unit 31 as compared with the configuration of the video analysis system of the third embodiment.
  • the video storage unit 30 stores the video taken by the video acquisition unit 11.
  • the event detection unit 31 detects an event used by the behavior detection unit 25 to specify a monitoring target.
  • the type of event detected by the event detection unit 31 is arbitrary as long as it is an event that can be used to identify a monitoring target that is performing a suspicious movement.
  • the event detection unit 31 itself may detect the occurrence of the event, or may detect the occurrence of the event by receiving a notification that the event has occurred from another device (not shown).
  • the event detection unit 31 may include a sensor (not shown) and detect the occurrence of an event from an event detected by the center.
  • the event detection unit 31 may receive the location and time when the suspicious object leaving detection is detected as event information from an apparatus (not shown) that has analyzed the video. Then, the event detection unit 31 may instruct the event management unit 28 to register the received event information in the event storage unit 29.
  • the event detection unit 31 may instruct the event management unit 28 to register event information indicating the location and time at which the abnormal sound was detected in the event storage unit 29.
  • the event detection unit 31 may receive as event information that smoke has been detected from the smoke detector. Then, the event detection unit 31 instructs the event management unit 28 to register the time when the event information is received and the installation location of the smoke detector in the event storage unit 29 as event information indicating smoking. Good.
  • the event detection unit 31 may detect the occurrence of an event from information posted on the Internet, in addition to a sensor that detects the event that has occurred. For example, the event detection unit 31 analyzes a sentence posted on the website, specifies event information such as the event occurrence time and location, and the content of the event, and registers the specified event information in the event storage unit 29. As such, the event management unit 28 may be instructed. In this case, in order to increase the accuracy of the detected event, the event detection unit 31 may register the event information when a plurality of event information having the same content can be specified.
  • the event that the event detection unit 31 instructs the event management unit 28 to register is not limited to the event that occurred at that time.
  • the event detection unit 31 may instruct the event management unit 28 to receive manually input event information after the event occurs (after the event) and register the event information in the event storage unit 29.
  • the event detection unit 31 inputs the occurrence time and location of these incidents manually input, and instructs the event management unit 28 to register the input event information in the event storage unit 29. Also good. If such event information is registered, a suspicious person who appears repeatedly can be found by analyzing the video of the surveillance camera taken in the past.
  • the event detection unit 31 may instruct the event management unit 28 to receive event information that is expected to occur before the event occurs (in advance) and register the event information in the event storage unit 29. Good.
  • the event detection unit 31 may input the predicted information as event information and instruct the event management unit 28 to register the input event information in the event storage unit 29. If such event information is registered, a person who appears multiple times in an expected crime-prone district and time zone can be found.
  • the person identification information analysis unit 12 analyzes video captured during a certain period before and after the event occurrence time detected by the event detection unit 31 and extracts monitoring target shooting information (monitoring target identification information). To do.
  • the person identification information analysis unit 12 extracts from the video storage unit 30 a video of a certain period that was taken before the time when the event was detected, and analyzes the video. To extract monitoring target photographing information (monitoring target identification information). Furthermore, the person identification information analysis unit 12 inputs a video imaged for a certain period after the time when the event is detected from the video acquisition unit 11, analyzes the video image, and obtains monitoring target imaging information (monitoring target identification information). Extract.
  • the person identification information analysis unit 12 extracts videos taken during a certain period before and after the time at which the event occurred from the video storage unit 30, The video may be analyzed to extract monitoring target photographing information (monitoring target identification information).
  • the person identification information analysis unit 12 captures a video imaged for a certain period after the time at which the event is expected to occur. May be input, and the video may be analyzed to extract monitoring target photographing information (monitoring target identification information).
  • the person identification information analysis unit 12, the person identification information matching unit 15, the appearance history management unit 21, the event management unit 28, the behavior detection unit 25, the result output unit 17, and the event detection unit 31 are, for example, This is realized by a CPU of a computer that operates according to a program (video analysis program).
  • the person identification information analysis unit 12, the person identification information collation unit 15, the appearance history management unit 21, the event management unit 28, the behavior detection unit 25, and the result output unit 17 are the event detection unit 31.
  • Each may be realized by dedicated hardware.
  • the appearance history storage unit 22, the event storage unit 29, and the video storage unit 30 are realized by, for example, a magnetic disk.
  • FIG. 13 is a flowchart showing an operation example of the video analysis system of the present embodiment.
  • the video acquisition unit 11 acquires a video in the shooting range (step S11), and stores the shot video in the video storage unit 30 (step S31).
  • the event detection unit 31 does not detect an event (No in step S32)
  • the processes after step S11 are repeated.
  • the person identification information analysis unit 12 extracts the identification information of the monitoring target from the video of a certain period taken before and after the time when the event is detected. (Step S12).
  • the subsequent processing is the same as the processing from step S13 to step S19 illustrated in FIG.
  • the person identification information analysis unit 12 uses the video for a certain period before and after the time when the event is detected to identify the monitoring target identification information. To extract. Therefore, it is possible to suppress processing for analyzing video.
  • the video analysis system can detect an event using a sensor or the like even in a place where it is difficult to capture a video by installing a camera.
  • the monitoring target can be specified using the captured video.
  • Embodiment 5 a fifth embodiment of the video analysis system according to the present invention will be described.
  • the present embodiment not only the monitoring target conforming to the rule but also the monitoring target assumed to be related to the monitoring target is specified.
  • FIG. 14 is a block diagram showing a configuration example of the fifth embodiment of the video analysis system according to the present invention.
  • symbol same as FIG. 1 is attached
  • subjected and description is abbreviate
  • the video analysis system of the present embodiment includes a video acquisition unit 11, a person identification information analysis unit 12, a person identification information matching unit 15, an appearance history management unit 21, an appearance history storage unit 22, and a rule management unit 23. , A rule storage unit 24, a behavior detection unit 25, a result output unit 17, an appearance history comparison unit 32, a person relation management unit 33, and a person relation storage unit 34.
  • the video analysis system may be connected to an output result storage unit 20 that stores output results.
  • the video analysis system of the present embodiment further includes an appearance history comparison unit 32, a person relation management unit 33, and a person relation storage unit 34, as compared with the configuration of the video analysis system of the first embodiment. Yes.
  • the video analysis system of the present embodiment further includes an appearance history comparison unit 32, a person relation management unit 33, and a person relation storage unit 34, as compared with the configuration of the video analysis system of the first embodiment. Yes.
  • the video analysis system of the present embodiment further includes an appearance history comparison unit 32, a person relation management unit 33, and a person relation storage unit 34, as compared with the configuration of the video analysis system of the first embodiment. Yes.
  • the video analysis system of the present embodiment further includes an appearance history comparison unit 32, a person relation management unit 33, and a person relation storage unit 34, as compared with the configuration of the video analysis system of the first embodiment. Yes.
  • the video analysis system of the present embodiment further includes an appearance history comparison unit 32, a person relation management unit 33, and a person relation storage unit 34, as compared with
  • the appearance history comparison unit 32 identifies related monitoring targets based on the similarity of appearance histories of different monitoring targets. Specifically, the appearance history comparison unit 32 compares the appearance histories between different monitoring targets, and the appearance location (photographed location and imaging device identification information) and the appearance time (imaging time) are respectively between the monitoring targets. Count the number of adjacent appearance histories.
  • the appearance location is close means that the position where the monitoring target appears is close by being photographed by the same camera or by a nearby camera.
  • the movable time described in the first embodiment may be taken into consideration.
  • the fact that the appearance times are close means that the photographing times are close, and for example, a period of several tens of seconds is set as a period determined to be close.
  • the appearance history comparison unit 32 determines that there is a relationship between the monitoring targets.
  • This threshold is set to a minimum of 2, for example.
  • the appearance history comparison unit 32 executes the above-described process at an arbitrary timing before the behavior detection unit 25 compares the appearance history with the rule.
  • a situation where it can be determined that a plurality of monitoring targets are related for example, a situation where the group is roaming. For example, even if some people appear almost simultaneously in one place in a public facility, they can be judged as just passing. Also, if some people appear almost simultaneously in two separate places, they may be friends, but there is also a chance. However, if some people appear almost simultaneously in three or more places apart, it is possible that they are related because they are likely to be friends.
  • the person relation management unit 33 registers a list of monitoring targets determined to be related by the appearance history comparison unit 32 in the person relation storage unit 34.
  • the person-related storage unit 34 stores a list of related monitoring targets.
  • FIG. 15 is an explanatory diagram illustrating an example of information stored in the person-related storage unit 34.
  • the person-related storage unit 34 stores one or more person IDs identified as related persons for each person ID in association with each other.
  • the behavior detection unit 25 of the present embodiment identifies a monitoring target that conforms to a rule in which the pattern of appearance history is defined
  • the behavior detection unit 25 also identifies the monitoring target related to the monitoring target. Specifically, when the monitoring target that matches the rule is specified, the behavior detection unit 25 specifies the monitoring target related to the specified monitoring target from the person-related storage unit 34.
  • the result output unit 17 outputs the related monitoring target as well as the monitoring target conforming to the rule.
  • the behavior detection unit 25 identifies a monitoring target that appears in the vicinity of the generated event, and outputs a monitoring target related to the monitoring target. May be. That is, in this embodiment, the appearance history comparison unit 32 specifies related monitoring targets based on the similarity of appearance histories of different monitoring targets. Therefore, it is possible to specify not only the monitoring target that conforms to the rule but also the monitoring target that is estimated to be related to the monitoring target.
  • the person-related management unit 33 is realized by a CPU of a computer that operates according to a program (video analysis program), for example.
  • each person-related management unit 33 may be realized by dedicated hardware.
  • the appearance history storage unit 22, the rule storage unit 24, and the person-related storage unit 34 are realized by, for example, a magnetic disk.
  • the behavior detection unit 25 specifies a monitoring target that conforms to the rule, and also specifies a monitoring target related to the monitoring target.
  • the behavior detection unit 25 identifies a related monitoring target from among a plurality of monitoring targets that match the rule.
  • the behavior detection unit 25 specifies a plurality of monitoring targets that conform to the rule.
  • the behavior detection unit 25 determines whether or not a related monitoring target is included in the plurality of specified monitoring targets from the person related storage unit 34.
  • the behavior detection unit 25 identifies the related monitoring targets. As described above, for example, the following situation can be estimated by determining whether or not a monitoring target conforming to the rule is related.
  • the plurality of people may be a group pickpocket. However, it may be a coincidence that only one of those people takes suspicious behavior. However, if more than one related mate is taking suspicious behavior, these mate may be a suspicious group.
  • the behavior detection unit 25 may specify the monitoring target using information on the rule (event) used when specifying the monitoring target. In this way, for example, the following situation can be estimated by using the rule (event) used when specifying the monitoring target.
  • the behavior detection unit 25 may identify a monitoring target that is a related monitoring target among monitoring targets that conform to the rule and that conforms to a different rule.
  • the behavior detection unit 25 identifies the related monitoring target based on the similarity of the appearance history of the monitoring target from the plurality of monitoring targets that match the rule. The accuracy of specifying can be further increased.
  • FIG. 16 is a block diagram showing an outline of a video analysis system according to the present invention.
  • the video analysis system according to the present invention uses monitoring target identification information (for example, a face image and a license plate image) that is identification information of a monitoring target as information used for estimating the identity of the monitoring target (for example, a person, a car).
  • monitoring target identification information for example, a face image and a license plate image
  • Monitoring target shooting information generation for generating monitoring target shooting information including the extracted monitoring target identification information and the shooting time when the monitoring target was shot, extracted from the video (for example, each video shot by the video acquisition unit 11)
  • Appearance history generating means 82 for example, person identification information collation
  • Constant means 83 e.g., behavior detecting unit 25 and a.
  • the monitoring target shooting information generating unit 81 generates monitoring target shooting information including a shooting position (for example, camera installation position, shooting device identification information, camera shooting range, etc.) at which the monitoring target was shot, and appearance history.
  • the generation unit 82 may generate an appearance history including a shooting position.
  • the specifying unit 83 generates an appearance that is generated according to a rule (for example, the first rule to the fourth rule described above) defined by the relationship between two or more appearance histories including the shooting position and the shooting time.
  • a monitoring target to which the history is applicable may be specified. According to such a configuration, the monitoring target can be specified based on the appearance information included in the appearance history.
  • the specifying unit 83 may specify monitoring targets having a predetermined number or more of appearance histories having shooting times close to the event occurrence date and time and shooting positions close to the event occurrence location.
  • the video analysis system may include a detection unit (for example, event detection unit 31) that detects an event that occurs. Then, the monitoring target shooting information generation unit 81 may generate monitoring target shooting information for a certain period of time before and after the event that has occurred. According to such a configuration, the amount of video to be analyzed can be reduced.
  • a detection unit for example, event detection unit 31
  • the monitoring target shooting information generation unit 81 may generate monitoring target shooting information for a certain period of time before and after the event that has occurred. According to such a configuration, the amount of video to be analyzed can be reduced.
  • the video analysis system may include a relevance specifying unit (for example, an appearance history comparison unit 32) that specifies related monitoring targets based on the similarity of appearance histories of different monitoring targets. According to such a configuration, it is possible to specify not only the monitoring target that conforms to the rule, but also the monitoring target that is estimated to be related to the monitoring target.
  • a relevance specifying unit for example, an appearance history comparison unit 32
  • the relevance specifying means may specify a related monitoring target based on the similarity of the appearance history of the monitoring target from among a plurality of monitoring targets that match the rule. According to such a configuration, it is possible to further increase the accuracy of specifying the monitoring target.
  • the monitoring target photographing information generation means 81 may extract a face image as monitoring target identification information. Then, the appearance history generation unit 82 may estimate whether the monitoring targets are the same by comparing the face images included in the generated monitoring target shooting information.
  • a rule that defines that there is no appearance history indicating another shooting position that is supposed to appear based on the shooting position within a certain period is defined.
  • the rule storage unit 24 may store this rule.
  • the specifying unit 83 may specify a monitoring target that conforms to this rule.
  • the present invention is preferably applied to, for example, a video analysis system that automatically detects a person who moves according to a specific rule in a specific area by using video captured by a surveillance camera.

Abstract

　監視対象撮影情報生成手段８１は、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する。出現履歴生成手段８２は、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。特定手段８３は、規定されたルールに出現履歴が適合する監視対象を特定する。

Description

映像解析システム、映像解析方法および映像解析プログラム
　本発明は、映像中の監視対象を解析する映像解析システム、映像解析方法および映像解析プログラムに関する。
　駅や特定の施設などに監視カメラを設置し、その監視カメラで撮影される映像を解析して、各種の判断を行うことが行われている。その一つとして、監視する範囲内に不自然に長期間存在している人物や物体を、不審者あるいは不審物として特定することも行われている。
　関連する技術として、特定の人物を追跡し、その人物の行動を解析する行動解析方法が知られている。例えば、この行動解析方法では、１つのカメラまたは監視エリアが重複する複数のカメラを用いて特定の人物がどこの場所にいるか認識し、その人物の位置の時間変化を追跡することで、その人物がどこにどの程度の時間滞在していたかを識別する。
　また、撮影された画像から特定の人物を認識するために顔照合を行う人物認識方法も知られている。特許文献１には、顔画像認識処理を高速化し、登録作業の簡単化を図る顔画像認識装置が記載されている。特許文献１に記載された顔画像認識装置は、認識対象となる人物の正面の向きの顔画像及び正面以外の向きの平均的な顔画像を登録しておき、映像から抽出された顔領域の特徴と登録されている顔画像とを照合して、映像中の顔画像を認識する。
　また、特許文献２には、カメラ画像から不審者を自動的に検知する不審者検知装置が記載されている。特許文献２に記載された装置は、車両周囲の全方向を撮影範囲とするカメラで定期的に画像を取得し、抽出された人物の行動特徴量を所定時間おきに算出して、その行動特徴量の度数分布から不審者か否かを判断する。
　なお、特許文献３には、画像中の複数の対象を関連付ける画像処理装置が記載されている。特許文献３に記載された装置では、評価付与手段が、対象検出手段により検出された対象に対して評価を与える。そして、関連評価付与手段が、評価付与手段により評価が与えられた対象に関連付け手段により関連付けられた他の対象に対して、評価に基づく評価を与える。このようにすることで、第一の対象に関連付けられた第二の対象に対して、第一の対象に与えられた評価に基づく評価が与えられる。
特開２０１２－２３８１１１号公報 特開２０１３－８８８７０号公報 特開２００８－２５２５１９号公報
　上述する行動解析方法では、人物の行動を解析できる範囲は、カメラの撮影範囲に依存する。例えば、１つのカメラを使用する場合、人物の行動を解析できる範囲は、そのカメラで撮影できる範囲に限定される。また、多くの範囲を網羅しようとする場合、監視する範囲に隙間ができないように、多数のカメラを使用する必要がある。さらに、混雑している状況下で人物を撮影しようとしても、他の人物に重なって見えなくなる場合も多いため、特定の人物を完全に追跡することは困難である。
　また、特許文献１に記載された顔画像認識装置を用いる場合、事前に発見すべき不審者の情報が提供されている必要がある。すなわち、そもそも誰が不審者かわからない状況では、特許文献１に記載された顔画像認識装置を利用することはできない。
　また、特許文献２に記載された不審者検知装置は、カメラが網羅する撮影範囲内で時間的に連続した映像を利用することを前提としている。これは、特許文献２に記載された不審者検知装置が利用する行動特徴量が、移動速度、移動方向の変動量、車両との間の距離、頭の高さの変動量といった、連続する画像から取得できる情報を利用するものだからである。したがって、監視する範囲が広い場合など、撮影する範囲が網羅できない状況の場合、特許文献２に記載された不審者検知装置を利用して不審者を検出することは困難である。
　そこで、本発明は、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる映像解析システム、映像解析方法および映像解析プログラムを提供することを目的とする。
　本発明による映像解析システムは、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成手段と、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成手段と、規定されたルールに出現履歴が適合する監視対象を特定する特定手段とを備えたことを特徴とする。
　本発明による映像解析方法は、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成し、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成し、規定されたルールに出現履歴が適合する監視対象を特定することを特徴とする。
　本発明による映像解析プログラムは、コンピュータに、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成処理、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成処理、および、規定されたルールに出現履歴が適合する監視対象を特定する特定処理を実行させることを特徴とする。
　本発明によれば、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる。
本発明による映像解析システムの第１の実施形態の構成例を示すブロック図である。 出現履歴記憶部２２が記憶する情報の例を示す説明図である。 ルール記憶部２４が記憶するルールの例を示す説明図である。 出力結果記憶部２０が記憶する情報の例を示す説明図である。 第１の実施形態の映像解析システムの動作例を示す説明図である。 第１の実施形態の映像解析システムの動作例を示すフローチャートである。 本発明による映像解析システムの第２の実施形態の構成例を示すブロック図である。 人物識別情報記憶部１８が記憶する情報の例を示す説明図である。 第２の実施形態の映像解析システムの動作例を示すフローチャートである。 本発明による映像解析システムの第３の実施形態の構成例を示すブロック図である。 イベント記憶部２９が記憶する情報の例である。 本発明による映像解析システムの第４の実施形態の構成例を示すブロック図である。 第４の実施形態の映像解析システムの動作例を示すフローチャートである。 本発明による映像解析システムの第５の実施形態の構成例を示すブロック図である。 人物関連記憶部３４が記憶する情報の例を示す説明図である。 本発明による映像解析システムの概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。以下の説明では、人物を監視対象として処理を行う場合を例示する。ただし、監視対象は、人物に限定されず、例えば、自動車などの物であってもよい。
実施形態１．
　図１は、本発明による映像解析システムの第１の実施形態の構成例を示すブロック図である。本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、ルール管理部２３と、ルール記憶部２４と、行動検出部２５と、結果出力部１７とを備えている。映像解析システムは、出力結果を記憶する出力結果記憶部２０に接続されていてもよい。
　映像取得部１１は、予め定めた監視範囲の映像を取得する。また、映像取得部１１は、映像を取得した時刻（以下、撮影時刻と記す。）も併せて取得する。映像取得部１１は、監視範囲の映像とその映像が撮影された時刻（すなわち、撮影時刻）とを人物識別情報解析部１２に入力する。映像取得部１１は、例えば、カメラなどの撮影装置により実現される。
　なお、図１に例示する映像解析システムでは、映像取得部１１を１台のみ備えているが、映像取得部１１の台数は１台に限定されず、２台以上であってもよい。また、各映像取得部１１が撮影する範囲は、一部が重なっていてもよく、全て重なっていなくてもよい。映像解析システムが映像取得部１１を複数台備えている場合、映像取得部１１は、取得した映像を人物識別情報解析部１２に入力する際、各映像取得部１１を識別する情報（以下、撮影装置識別情報と記す。）も併せて入力してもよい。
　また、本実施形態では、映像取得部１１は、監視対象とする施設内で、特に注視される範囲を撮影できるように設置されることが好ましい。ただし、映像取得部１１は施設内全ての範囲を撮影できるように設置される必要はない。
　また、本実施形態で撮影される映像は、時間的に連続している映像に限定されない。すなわち、本実施形態で解析に用いられる映像は、時間的に不連続な画像（映像）の集合であってもよい。なお、時間的に不連続な映像とは、通常撮影される映像から適宜フレームを間引いた映像だけでなく、全く異なる時間帯および場所で撮影される映像も含む。すなわち、本実施形態では、撮影した時刻と場所が把握できれば、その映像に時間的な連続性は問われず、また、撮影場所の網羅性も問われない。
　また、映像解析システムは、映像取得部１１が撮影した映像を一定期間保存する映像記憶部（図示せず）を備えていてもよい。映像記憶部は、磁気ディスクなどにより実現される。このような記憶部を備えることで、過去に撮影した映像を利用することが可能になる。
　人物識別情報解析部１２は、各映像取得部１１が撮影した各映像に映る監視対象を解析する。具体的には、人物識別情報解析部１２は、映像中に監視対象を検出すると、その監視対象の識別情報（以下、監視対象識別情報と記す。）と、その監視対象が撮影された撮影時刻とを含む情報（以下、監視対象撮影情報と記す。）を生成する。監視対象識別情報は、監視対象の同一性の推定をする際に用いられる。また、人物識別情報解析部１２は、監視対象が撮影された撮影位置を含む監視対象撮影情報を生成してもよい。この撮影位置は、カメラそのものの位置でもよいし、カメラの識別情報（撮影装置識別情報）でもよいし、カメラの撮影範囲でもよい。
　人物識別情報解析部１２が抽出する監視対象識別情報の内容は、監視対象の内容に応じて予め定められる。例えば、監視対象が人物の場合、人物識別情報解析部１２は、映像中から人物を検出したときに、その人物の顔画像を監視対象識別情報として抽出してもよい。また、例えば、監視対象が自動車の場合、人物識別情報解析部１２は、映像中から自動車を検出したときに、その自動車のナンバープレートの画像を監視対象識別情報として、抽出してもよい。
　ただし、人物識別情報解析部１２が抽出する情報は、顔画像やナンバープレートの画像に限定されない。監視対象を特定可能な情報であれば、抽出される情報は任意である。また、人物の識別に用いられる監視対象識別情報のことを、人物識別情報と言うことができる。なお、対象とする画像から特定の識別情報を抽出する方法は広く知られているため、ここでは詳細な説明を省略する。
　また、各映像取得部１１から明示的な撮影装置識別情報が送信されない場合、人物識別情報解析部１２は、各映像取得部１１から映像が入力されたときに、映像を入力した各映像取得部１１に応じて撮影装置識別情報を付与してもよい。
　出現履歴管理部２１は、人物識別情報解析部１２が抽出した監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。具体的には、出現履歴管理部２１は、映像取得部１１によって撮影された同一と推定される監視対象の履歴を出現履歴として生成し、出現履歴記憶部２２に記憶する。監視対象の同一性を推定する処理は、後述する人物識別情報照合部１５によって行われる。
　出現履歴記憶部２２は、監視対象の出現履歴を記憶する。具体的には、出現履歴記憶部２２は、監視対象ごとに、撮影時刻を含む各情報を対応付けた出現履歴を記憶する。なお、撮影時刻はその監視対象の出現時刻と言うこともできる。図２は、本実施形態の出現履歴記憶部２２が記憶する情報の例を示す説明図である。
　図２に示す例では、出現履歴記憶部２２は、監視対象を識別するための人物ＩＤごとに、監視対象撮影情報を識別する識別子である人物画像ＩＤと、監視対象識別情報を示す人物識別情報と、撮影時刻と、撮影したカメラ名（例えば、撮影装置識別情報）とを対応付けて記憶している。
　図２に例示する出現履歴を記憶するため、出現履歴記憶部２２は、撮影位置を含む出現履歴を生成してもよい。なお、撮影位置に設定されるカメラ名や撮影装置識別情報は、監視対象が出現した場所を示す情報であることから、カメラ名や撮影装置識別情報を、出現場所と言うこともできる。
　また、図２に例示するように、出現履歴記憶部２２は、取得された映像から推定される監視対象の確からしさ（識別精度）や、同一と推定された監視対象に含まれる人物識別情報のうち代表して比較に用いられる画像であることを示す情報（代表画像）を人物ＩＤと対応付けて記憶していてもよい。代表画像には、同一の監視対象を示す人物識別情報の中から、より精度が高いものを選出することが好ましい。
　人物識別情報照合部１５は、監視対象識別情報を照合して、同一と推定される監視対象を特定する。例えば、監視対象識別情報として監視対象の顔画像が抽出されている場合、人物識別情報照合部１５は、顔画像を照合して、同一と推定される人物を特定してもよい。
　具体的には、人物識別情報照合部１５は、人物識別情報解析部１２が抽出した監視対象識別情報と、出現履歴記憶部２２に記憶されている監視対象識別情報とを照合し、同一の監視対象がすでに出現履歴記憶部２２に登録されているか判定する。
　同一の監視対象がすでに出現履歴記憶部２２に登録されていると判定された場合、出現履歴管理部２１は、人物識別情報解析部１２が抽出した監視対象識別情報を、その監視対象の出現履歴に追加する。一方、同一の監視対象が出現履歴記憶部２２に登録されていないと判定された場合、出現履歴管理部２１は、新たな監視対象として出現履歴を作成する。
　例えば、監視対象が人物の場合、人物識別情報解析部１２は、監視対象識別情報（人物識別情報）として顔画像を抽出する。人物識別情報解析部１２が人物識別情報を生成すると、人物識別情報照合部１５は、生成された人物識別情報と出現履歴記憶部２２に記憶されている人物識別情報とを照合し、同一人物が存在するか判定する。具体的には、人物識別情報照合部１５は、生成された監視対象撮影情報に含まれる顔画像を比較して、監視対象が同一か否か推定する。
　同一人物と推定された場合、出現履歴管理部２１は、その人物の人物ＩＤを用いて出現履歴を追加する。一方、同一人物が存在しないと判定された場合、出現履歴管理部２１は、新しい人物ＩＤを生成して、出現履歴を追加する。
　また、人物識別情報照合部１５は、監視対象識別情報を照合する際、同一と推定する監視対象の確からしさ（識別精度）を算出してもよい。そして、出現履歴管理部２１は、この確からしさを含む出現履歴を出現履歴記憶部２２に登録してもよい。
　また、人物識別情報照合部１５は、監視対象識別情報を照合する際、各人物の出現履歴に含まれる監視対象識別情報のうち、図２に例示する代表画像とだけ照合するようにしてもよい。このような代表画像を決めておくことで、新たな監視対象撮影情報との照合精度を高めつつ、照合回数を削減して処理を高速化できる。
　なお、画像同士を比較して、両者が一致するか否かを判断する方法、および、両者が一致する確からしさを算出する方法は広く知られているため、ここでは、詳細な説明を省略する。
　ルール記憶部２４は、抽出したい監視対象の行動パターンを定義したルールを記憶する。本実施形態のように、不審な動きをしている監視対象を抽出したい場合、ルール記憶部２４は、出現履歴から特定される不審な動きのパターンをルールとして記憶する。
　図３は、ルール記憶部２４が記憶するルールの例を示す説明図である。図３に示す例では、ルール記憶部２４は、ルールを識別するためのルール名に、抽出したい監視対象の行動パターンを表すルール記述を対応付けて記憶する。
　以下、定義されるルールの例を説明する。施設を通常利用する際の動きと逸脱した動きをしている監視対象は、不審な動きをしている監視対象と判断できる。そこで、以下に例示するルールを定義することができる。
　第１のルールは、「一定時間内に指定数以上の異なるエリアに出現する」というルールである。
　例えば、北側観客席、南側観客席、東側観客席、西側観客席の４つのエリアを有するスタジアムがあるとする。普通の観客であれば、通常、自席がある１つのエリアに出現する。時々隣接するエリアに移動することで、２つのエリアに出現する観客はいるかもしれないが、３つのエリアに現れる動きは、不審な動きと言える。
　したがって、ルール記憶部２４には、例えば、「一定時間内に指定数以上の異なる撮影位置の出現履歴を有する」というルールを定義することで、第１のルールに適合する監視対象を特定する。
　第２のルールは、「一定時間内に特定の２つ以上の場所で、異なる場所を間に挟んで指定回数以上出現する」というルールである。
　例えば、少し離れた広場Ａおよび広場Ｂがあるとする。出現履歴がＡ，Ａと観測された人は、単に広場Ａをうろうろしている人と判断できる。また、出現履歴がＡ，Ａ，Ｂ，Ｂと観測された人は、広場Ａから広場Ｂへ移動した人と判断できる。一方、出現履歴がＡ，Ｂ，Ａ，Ｂ，Ａ，Ｂと観測された人は、広場Ａと広場Ｂの間を不自然にうろついている人と判断できるため、不審な動きと言える。
　したがって、ルール記憶部２４には、例えば、「一定時間内に２以上の異なる撮影位置が相互に変化する出現履歴を有する」というルールを定義することで、第２のルールに適合する監視対象を特定する。
　第３のルールは、「指定場所に出現しながら一定時間内に対応する別の場所に出現しない、というケースが指定回数以上観測される」というルールである。
　例えば、店舗の入り口を通ったら、通常、１時間程度以内には、本来の目的達成に必要な場所であるレジにも出現するのが普通である。また、銀行の入り口を通ったら、通常、１時間程度以内には、本来の目的達成に必要な場所である窓口にも出現するのが普通である。施設に入ってもその施設を利用しない人は存在するが、例えば、朝と夜や、異なる日に繰り返し施設に入っているのに本来の目的達成に必要な場所に出現しない動きは、不審な動きと言える。
　したがって、ルール記憶部２４には、例えば、「所定の撮影位置を示す出現履歴の後、一定期間内に、その撮影位置に基づいて出現が想定される他の撮影位置を示す出現履歴を有さない」というルールを定義することで、第３のルールに適合する監視対象を特定する。
　第４のルールは、「通常の人が繰り返し現れない時間帯に繰り返し現れる」というルールである。
　例えば、駅において、多くの人が待ち合わせをする時間帯では、単に相手を探していたり、暇を潰していたりすることが想定されため、何度も現れても不審な動きとは言い難い。しかし、通勤時間帯や、早朝、深夜などの時間帯に繰り返し現れる動きは、不審な動きと言える。
　したがって、ルール記憶部２４には、例えば、「所定の時間帯に指定回数以上の出現履歴を有する」というルールを定義することで、第４のルールに適合する監視対象を特定する。
　以上の４つのルールに例示するように、ルール記憶部２４には、撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールを記憶する。そして、行動検出部２５は、生成された出現履歴がこのルールに適合する監視対象を特定する。なお、このルールには、第３のルールで例示するように、２つ目の出現履歴が存在しないという関係性も含まれる。ただし、定義されるルールは、上述する４種類のルールに限定されない。
　ルール管理部２３は、ルール記憶部２４が記憶するルールを管理する。ルール管理部２３は、例えば、ルール記憶部２４へのアクセス要求に応じて、ルール記憶部２４の内容の返却、ルールの追加、およびルールの更新を行う。
　行動検出部２５は、出現履歴のパターンが、規定されたルールに適合する監視対象を特定する。具体的には、行動検出部２５は、出現履歴記憶部２２に記憶された出現履歴から特定されるパターンと、ルール記憶部２４に記憶されたルールとを比較し、ルールに適合されるパターンの出現履歴を有する監視対象を特定する。
　行動検出部２５は、新たに出現履歴が出現履歴記憶部２２に登録されたときに動作してもよく、バッチ処理のように定期的に動作してもよい。
　結果出力部１７は、行動検出部２５によって特定された監視対象を出力する。結果出力部１７は、出力結果を出力結果記憶部２０に記憶してもよい。図４は、出力結果記憶部２０が記憶する情報の例を示す説明図である。結果出力部１７は、図４に例示するように、人物画像を特定する人物画像ＩＤ、その人物を撮影した撮影時刻およびカメラ名を出力してもよい。また、結果出力部１７は、人物画像ＩＤのみを出力するようにしてもよい。
　人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、映像解析システム内に含まれる記憶装置（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、人物識別情報解析部１２、人物識別情報照合部１５、出現履歴管理部２１、ルール管理部２３、行動検出部２５および結果出力部１７として動作してもよい。
　また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、ルール記憶部２４とは、例えば、磁気ディスク等により実現される。
　次に、本実施形態の映像解析システムの動作を説明する。図５は、本実施形態の映像解析システムの動作例を示す説明図である。図５に示す例では、映像取得部１１に対応する２台のカメラＡおよびカメラＢによって撮影された映像から、時間軸の方向に向かって監視対象である人物ｕ１～ｕ１０が特定されていることを示す。
　なお、図５に例示するように、通常、撮影される人物は連続する複数のフレームＳに存在する。そのため、所定の期間内のフレームから連続して特定される人物の出現回数は１回とカウントされる。
　また、図５に示す例では、人物ｕ２、人物ｕ６、人物ｕ７および人物ｕ９が同一人物と推定されている。この人物をＰ１とすると、この人物Ｐ１の出現履歴は、４件作成される。ここでは、出現履歴の説明を簡略化するため、撮影されたカメラの記号と時間とを結合した記号で出現履歴を表す。この人物Ｐ１の場合、出現履歴は、Ａ０２，Ｂ０３，Ｂ０８，Ａ１０になる。図５には、人物Ｐ１の出現履歴を示している。
　同様に、図５に示す例では、人物ｕ２および人物ｕ６が同一人物と推定されており、この人物をＰ２とすると、人物Ｐ２の出現履歴は、２件（Ａ０３，Ａ０５）作成される。また、人物ｕ５および人物ｕ８が同一人物と推定されており、この人物をＰ３とすると、人物Ｐ３の出現履歴も、２件（Ｂ０５，Ａ０６）作成される。
　ここで、『期間「１０」以内に３回以上、異なるエリアに出現する』というルールが規定されているとする。この規定に適合する出現履歴を有する人物はＰ１である。したがって、行動検出部２５は、人物Ｐ１をルールに適合する監視対象と特定し、結果出力部１７は、この監視対象を特定するために必要な各種情報を出力する。
　次に、本実施形態の映像解析システムの動作を説明する。図６は、本実施形態の映像解析システムの動作例を示すフローチャートである。
　まず、映像取得部１１が、撮影範囲の映像を取得し（ステップＳ１１）、撮影した映像を人物識別情報解析部１２に入力する。人物識別情報解析部１２は、入力された映像から監視対象を検出すると、その監視対象の識別情報を抽出し（ステップＳ１２）、併せて撮影時刻も取得する。そして、人物識別情報解析部１２は、監視対象識別情報と撮影時刻とを含む監視対象撮影情報を生成する（ステップＳ１３）。
　人物識別情報照合部１５は、抽出された監視対象識別情報と、出現履歴記憶部２２に記憶されている監視対象識別情報とを照合する（ステップＳ１４）。同一の監視対象が存在する場合（ステップＳ１５におけるＹｅｓ）、出現履歴管理部２１は、その監視対象の出現履歴を追加する（ステップＳ１６）。一方、同一の監視対象が存在しない場合（ステップＳ１５におけるＮｏ）、出現履歴管理部２１は、監視対象を追加し、その監視対象に出現履歴を追加する（ステップＳ１７）。
　行動検出部２５は、規定されたルールに出現履歴が適合する監視対象を特定する（ステップＳ１８）。特定される監視対象が存在する場合、結果出力部１７は、特定した監視対象を出力する（ステップＳ１９）。
　以上のように、本実施形態では、人物識別情報解析部１２が、映像取得部１１によって撮影される各映像から、監視対象の監視対象識別情報と、監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成し、出現履歴管理部２１が、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。そして、行動検出部２５が、規定されたルールに出現履歴が適合する監視対象を特定する。そのため、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる。
　すなわち、本発明では、全く異なる時間や場所（カメラ）で撮影された複数の画像を扱い、その異なる画像間で同一人物（監視対象）を識別するために、顔画像などの特徴量を扱う。そして、この識別結果を時間や場所に基づく履歴で表現し、その履歴のパターンだけでも不審性を判定できることを本発明の特徴としている。
実施形態２．
　次に、本発明による映像解析システムの第２の実施形態を説明する。第１の実施形態では、人物識別情報解析部１２が監視対象撮影情報を抽出するごとに、出現履歴管理部２１が、同一と推定される監視対象の出現履歴を生成していた。一方、本実施形態の映像解析システムは、出現履歴を一括で生成する。
　図７は、本発明による映像解析システムの第２の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
　本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報管理部１３と、人物識別情報照合部１５と、人物識別情報記憶部１８と、出現履歴管理部２１と、出現履歴記憶部２２と、ルール管理部２３と、ルール記憶部２４と、行動検出部２５と、結果出力部１７とを備えている。
　すなわち、本実施形態の映像解析システムは、第１の実施形態の映像解析システムの構成と比較すると、人物識別情報管理部１３と、人物識別情報記憶部１８とをさらに備えている。それ以外の構成については、第１の実施形態と同様である。
　人物識別情報管理部１３は、人物識別情報解析部１２が抽出した監視対象識別情報を人物識別情報記憶部１８に記憶させる。また、人物識別情報管理部１３は、出現履歴管理部２１や、人物識別情報照合部１５の要求に応じて、人物識別情報記憶部１８から必要な情報を抽出して返却する。
　人物識別情報記憶部１８は、人物識別情報解析部１２が抽出した監視対象撮影情報を記憶する。具体的には、人物識別情報記憶部１８は、個々の監視対象撮影情報を識別する識別子と、その監視対象撮影情報に含まれる監視対象識別情報と、その撮影時刻とを対応付けて記憶する。
　図８は、人物識別情報記憶部１８が記憶する情報の例を示す説明図である。図８に示す例は、監視対象が人物の場合に人物識別情報記憶部１８が記憶する内容の例である。図８に示す例では、監視対象撮影情報を識別する識別子として人物画像ＩＤが用いられ、監視対象識別情報として人物識別情報が用いられていることを示す。また、図８に例示するように、人物識別情報記憶部１８は、人物識別情報の抽出元映像が撮影された撮影時刻を対応付けて保持する。また、人物識別情報記憶部１８は、その映像を取得したカメラ名（例えば、撮影装置識別情報）を記憶してもよい。
　本実施形態の出現履歴管理部２１は、人物識別情報記憶部１８に記憶された監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。また、監視対象の同一性を推定する処理は、人物識別情報照合部１５によって行われる。監視対象の同一性を推定する方法や、出現履歴を生成する処理の内容は、第１の実施形態と同様である。
　このように、本実施形態の映像解析システムでは、人物識別情報解析部１２が監視対象識別情報を作成して、人物識別情報記憶部１８に記憶しておく。そして、出現履歴管理部２１が、必要に応じて出現履歴を生成する。すなわち、本実施形態映像解析システムでは、監視対象識別情報の生成タイミングと出現履歴の生成タイミングとをずらすことができる。そのため、監視対象を特定するためのルールを後から追加することが可能になる。
　人物識別情報解析部１２と、人物識別情報管理部１３と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　また、人物識別情報解析部１２と、人物識別情報管理部１３と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、それぞれが専用のハードウェアで実現されていてもよい。また、人物識別情報記憶部１８と、出現履歴記憶部２７と、ルール記憶部２４とは、例えば、磁気ディスク等により実現される。
　次に、本実施形態の映像解析システムの動作を説明する。図９は、本実施形態の映像解析システムの動作例を示すフローチャートである。映像から監視対象識別情報を生成するまでのステップＳ１１からステップＳ１３の処理は、図６に例示する処理と同様である。
　人物識別情報管理部１３は、人物識別情報解析部１２が抽出した監視対象識別情報を人物識別情報記憶部１８に記憶させる（ステップＳ２１）。そして、所定のタイミングで、人物識別情報照合部１５は、人物識別情報記憶部１８に記憶された監視対象識別情報と、出現履歴記憶部２２に記憶されている監視対象識別情報とを照合する（ステップＳ１４）。なお、出現履歴記憶部２２が監視対象識別情報を保持せず、例えば、人物画像ＩＤのみ保持している場合、人物識別情報照合部１５は、対応する監視対象識別情報を人物識別情報記憶部１８から特定すればよい。
　以降、同一の監視対象を判定して出現履歴を生成し、ルールに適合する監視対象を抽出するまでのステップＳ１５からステップＳ１９までの処理は、図６に例示する処理と同様である。
　以上のように、本実施形態では、人物識別情報管理部１３が、人物識別情報解析部１２が抽出した監視対象識別情報を、一度人物識別情報記憶部１８に記憶させる。よって、監視対象識別情報の生成タイミングと出現履歴の生成タイミングとをずらすことができため、監視対象を特定するためのルールを後から追加することが可能になる。
実施形態３．
　次に、本発明による映像解析システムの第３の実施形態を説明する。本実施形態の映像解析システムは、ルールにイベントの発生時刻および発生場所を利用する。具体的には、本実施形態で規定されるルールは、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影時刻を有する出現履歴が予め定めた数以上の監視対象を抽出する、というルールである。
　ここで、イベントの発生日時に近接する撮影時刻とは、イベントの発生時刻と撮影時刻との時間の差が予め定めた閾値以下であることを意味し、イベントの発生場所に近接する撮影位置とは、イベントの発生場所と撮影位置との距離の差が予め定めた閾値以下であることを意味する。また、撮影位置には、カメラの設置場所、カメラの撮影範囲も含まれる。
　なお、イベントの発生場所と撮影位置との距離を判定する際、それぞれの撮影位置間で実際に移動可能な時間を距離として利用してもよい。例えば、物理的には近接する２つの撮影位置であっても、それぞれの撮影位置へ移動する場合、遠回りする必要があれば、それらの移動時間は長くなるため、距離が長いと判定してもよい。また、物理的には遠い２つの撮影位置であっても、それぞれの撮影位置への移動に徒歩以外の別の手段（例えば、自転車、いわゆる動く歩道、など）が存在する場合、それらの移動時間は短くなるため、距離が短いと判断してもよい。
　図１０は、本発明による映像解析システムの第３の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
　本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、イベント管理部２８と、イベント記憶部２９と、行動検出部２５と、結果出力部１７とを備えている。
　すなわち、本実施形態の映像解析システムは、第１の実施形態の映像解析システムの構成と比較すると、ルール管理部２３の代わりにイベント管理部２８を備え、ルール記憶部２４の代わりにイベント記憶部２９を備えている。それ以外の構成については、第１の実施形態と同様である。
　イベント記憶部２９は、行動検出部２５が監視対象を特定するために用いるイベント情報を記憶する。イベント情報には、イベントの発生時刻および発生場所が含まれる。図１１は、イベント記憶部２９が記憶する情報の例である。図１１に示す例では、イベント記憶部２９は、イベント情報として、イベントが発生した日時と場所とを対応付けて記憶する。
　また、イベント情報は、イベントの内容を識別するための情報を含んでいてもよい。本実施形態では、イベント記憶部２９にイベント情報が予め設定されているものとする。また、イベント記憶部２９には、解析対象とするイベントの種類ごとに、少なくとも２以上のイベント情報が設定される。
　本実施形態の映像解析システム（具体的には、行動検出部２５）は、上述するように、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影時刻を有する出現履歴が予め定めた数以上の監視対象を抽出する。そのため、イベント記憶部２９が記憶するイベントの内容は、ルール記憶部２４が記憶するルールの内容を表していると言える。すなわち、第１の実施形態のルール記憶部２４がルールの一種としてイベントのリストを有していると言うこともできる。
　また、イベント記憶部２９がイベントの内容を識別する情報を保持している場合、行動検出部２５は、同一または類似するイベントごとに、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影時刻を有する出現履歴をカウントしてもよい。そして、行動検出部２５は、イベントごとに定めた閾値以上の出現履歴を有する監視対象を抽出してもよい。
　イベント管理部２８は、行動検出部２５の要求に応じ、イベント記憶部２９から必要な情報を抽出して返却する。
　人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、イベント記憶部２９とは、例えば、磁気ディスク等により実現される。
　以上のように、本実施形態では、行動検出部２５が発生したイベントの近くに出現する監視対象を特定する。具体的には、行動検出部２５が、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影位置を有する出現履歴が予め定めた数以上の監視対象を特定する。
　このように、本実施形態では、イベント発生の観点からルールを規定しているため、事案に則して監視対象を特定できる。
実施形態４．
　次に、本発明による映像解析システムの第４の実施形態を説明する。本実施形態の映像解析システムも、第３の実施形態と同様、ルールにイベントの発生時刻および発生場所を利用する。一方、第３の実施形態では、イベント記憶部２９にイベント情報が予め設定されていたが、本実施形態では、イベント情報が適宜イベント記憶部２９に記憶される。
　図１２は、本発明による映像解析システムの第４の実施形態の構成例を示すブロック図である。なお、第３の実施形態と同様の構成については、図１０と同一の符号を付し、説明を省略する。
　本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、イベント管理部２８と、イベント記憶部２９と、行動検出部２５と、結果出力部１７と、映像記憶部３０と、イベント検知部３１とを備えている。
　すなわち、本実施形態の映像解析システムは、第３の実施形態の映像解析システムの構成と比較すると、映像記憶部３０と、イベント検知部３１をさらに備えている。それ以外の構成については、第３の実施形態と同様である。
　映像記憶部３０は、映像取得部１１が撮影した映像を記憶する。
　イベント検知部３１は、行動検出部２５が監視対象を特定するために用いるイベントを検知する。イベント検知部３１が検知するイベントは、不審な動きをしている監視対象を特定するために利用可能なイベントであれば、その種類は任意である。また、イベント検知部３１自身がイベントの発生を検知してもよく、他の装置（図示せず）からイベントが発生した旨の通知を受信することにより、イベントの発生を検知してもよい。例えば、イベント検知部３１がセンサ（図示せず）を備え、そのセンタにより検知される事象から、イベントの発生を検知してもよい。
　例えば、別の監視カメラで撮影された映像を解析することにより、不審物置き去りなどの問題事象を検知したとする。この場合、イベント検知部３１は、この映像を解析した装置（図示せず）から、イベント情報として不審物置き去りを検知した場所および時刻を受信してもよい。そして、イベント検知部３１は、受信したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
　また、例えば、イベント検知部３１がマイクロフォンを有している場合に、そのマイクロフォンで、異常音（器物破壊音、叫び声等）を検知したとする。この場合、イベント検知部３１は、異常音を検知した場所および時刻を示すイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
　また、例えば、禁煙エリアに設置された煙探知機（図示せず）が、煙を検知したとする。この場合、イベント検知部３１は、この煙探知機から煙を検知したことをイベント情報として受信してもよい。そして、イベント検知部３１は、そのイベント情報を受信した時刻およびその煙探知機の設置場所を、喫煙を示すイベント情報としてイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
　また、イベント検知部３１は、発生した事象を検知するセンサ以外にも、インターネット上に投稿された情報からイベントの発生を検知してもよい。例えば、イベント検知部３１は、ウェブサイトに投稿された文章を解析して、イベントの発生時刻および場所、イベントの内容などのイベント情報を特定し、特定したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。この場合、検知したイベントの精度を上げるため、イベント検知部３１は、同内容の複数のイベント情報を特定できた時に、そのイベント情報を登録させるようにしてもよい。
　なお、イベント検知部３１がイベント管理部２８に対して登録を指示するイベントは、その時点で発生したイベントに限定されない。イベント検知部３１は、人手で入力されたイベント情報をイベント発生後（事後）に受け取り、そのイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
　例えば、盗難や器物破損、放火や傷害などの事件が多発したとする。この場合、イベント検知部３１は、人手で入力されたこれらの事件の発生時刻および発生場所を入力し、入力したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。このようなイベント情報が登録されれば、過去に撮影された監視カメラの映像を解析することで、繰り返し現れる怪しい人物を発見できる。
　他にも、イベント検知部３１は、発生が予想されるイベント情報をイベント発生前（事前）に受け取り、そのイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
　例えば、過去の犯罪発生履歴などから、犯罪多発地区および時間帯を予想したとする。この場合、イベント検知部３１は、予想されたこれらの情報をイベント情報として入力し、入力したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。このようなイベント情報が登録されれば、予想される犯罪多発地区および時間帯に複数回現れる人物を発見できる。
　本実施形態の人物識別情報解析部１２は、イベント検知部３１によって検知されたイベントの発生時刻の前後一定期間に撮影された映像を解析して、監視対象撮影情報（監視対象識別情報）を抽出する。
　例えば、センサなどによってイベントが検知されると、人物識別情報解析部１２は、そのイベントを検知した時刻より前に撮影された一定期間の映像を映像記憶部３０から抽出し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出する。さらに、人物識別情報解析部１２は、そのイベントを検知した時刻から後に一定期間撮影される映像を映像取得部１１から入力し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出する。
　このようにすることで、解析が必要な映像量を削減できるため、不要な処理を抑えることが可能になる。
　なお、過去に発生したイベントがイベント検知部３１に入力された場合、人物識別情報解析部１２は、そのイベントが発生した時刻の前後一定期間に撮影された映像を映像記憶部３０から抽出し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出してもよい。
　また、将来発生が予想されるイベントがイベント検知部３１に入力された場合、人物識別情報解析部１２は、そのイベントの発生が予想される時刻から後に一定期間撮影される映像を映像取得部１１から入力し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出してもよい。
　人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７と、イベント検知部３１とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７とは、イベント検知部３１とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、イベント記憶部２９と、映像記憶部３０とは、例えば、磁気ディスク等により実現される。
　次に、本実施形態の映像解析システムの動作を説明する。図１３は、本実施形態の映像解析システムの動作例を示すフローチャートである。まず、映像取得部１１が、撮影範囲の映像を取得し（ステップＳ１１）、撮影した映像を映像記憶部３０に保存する（ステップＳ３１）。イベント検知部３１がイベントを検知しない場合（ステップＳ３２におけるＮｏ）、ステップＳ１１以降の処理が繰り返される。
　一方、イベント検知部３１がイベントを検知すると（ステップＳ３２におけるＹｅｓ）、人物識別情報解析部１２は、そのイベントを検知した時刻の前後に撮影された一定期間の映像から監視対象の識別情報を抽出する（ステップＳ１２）。以降の処理は、図６に例示するステップＳ１３からステップＳ１９までの処理と同様である。
　以上のように、本実施形態では、イベント検知部３１がイベントを検出すると、人物識別情報解析部１２が、そのイベントを検知した時刻の前後に撮影された一定期間の映像から監視対象の識別情報を抽出する。そのため、映像を解析する処理を抑制することが可能になる。
　また、本実施形態の映像解析システムは、カメラを設置して映像を撮影することが難しい場所であっても、センサ等を用いてイベントを検出することができれば、その周囲に設置されたカメラにより撮影される映像を利用して、監視対象を特定することができる。
実施形態５．
　次に、本発明による映像解析システムの第５の実施形態を説明する。本実施形態では、ルールに適合する監視対象だけでなく、その監視対象に関連すると想定される監視対象も併せて特定する。
　図１４は、本発明による映像解析システムの第５の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
　本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、ルール管理部２３と、ルール記憶部２４と、行動検出部２５と、結果出力部１７と、出現履歴比較部３２と、人物関連管理部３３と、人物関連記憶部３４とを備えている。映像解析システムは、出力結果を記憶する出力結果記憶部２０に接続されていてもよい。
　すなわち、本実施形態の映像解析システムは、第１の実施形態の映像解析システムの構成と比較すると、出現履歴比較部３２と、人物関連管理部３３と、人物関連記憶部３４とをさらに備えている。それ以外の構成については、第１の実施形態と同様である。
　出現履歴比較部３２は、異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する。具体的には、出現履歴比較部３２は、異なる監視対象間で出現履歴を比較し、監視対象間で、出現場所（撮影された場所や撮影装置識別情報）および出現時刻（撮影時刻）がそれぞれ近接する出現履歴の数をカウントする。
　ここで、出現場所が近接するとは、同一のカメラで撮影されていたり、近傍のカメラで撮影されていたりすることにより、監視対象が出現した位置が近いことを意味する。この出現場所の近接を判断する際、第１の実施形態で説明した移動可能時間が考慮されてもよい。また、出現時刻が近接するとは、撮影時刻が近いことを意味し、近接すると判断される期間として、例えば、数十秒以内の期間が設定される。
　そして、出現履歴比較部３２は、出現履歴の数が閾値以上である場合、その監視対象間で関連があると判断する。このように、異なる監視対象間で、近接する出現履歴を複数有するということは、出現履歴が類似すると言える。なお、この閾値は、例えば、最低２に設定される。出現履歴比較部３２は、行動検出部２５が出現履歴とルールとを比較する前までに、任意のタイミングで上述する処理を実行する。
　複数の監視対象が関連すると判断できる状況として、例えば、集団でうろついている状況が挙げられる。例えば、公共施設において、ある人達が１か所でのみほぼ同時に出現したとしてしても、この人達は、ただの通りすがりと判断できる。また、ある人達が離れた２か所でほぼ同時に出現した場合、この人達は、仲間かもしれないが、偶然の可能性もある。しかし、ある人達が離れた３か所以上でほぼ同時に出現した場合、仲間の可能性が高いため、これらの人達は関連があると推定できる。
　人物関連管理部３３は、出現履歴比較部３２により関連があると判断された監視対象のリストを人物関連記憶部３４に登録する。また、人物関連記憶部３４は、関連する監視対象のリストを記憶する。図１５は、人物関連記憶部３４が記憶する情報の例を示す説明図である。図１５に示す例では、人物関連記憶部３４は、人物ＩＤごとに関連人物と特定された１人以上の人物ＩＤを対応付けて記憶している。
　本実施形態の行動検出部２５は、出現履歴のパターンが規定されたルールに適合する監視対象を特定すると、その監視対象に関連する監視対象も併せて特定する。具体的には、行動検出部２５は、ルールに適合する監視対象を特定すると、その特定した監視対象に関連する監視対象を人物関連記憶部３４から特定する。結果出力部１７は、ルールに適合する監視対象とともに、関連する監視対象も出力する。
　また、行動検出部２５は、第３の実施形態または第４の実施形態で説明したように、発生したイベントの近くに出現する監視対象を特定し、その監視対象に関連する監視対象を出力してもよい。すなわち、本実施形態では、出現履歴比較部３２が、異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する。したがって、ルールに適合する監視対象だけでなく、その監視対象と関連性を有すると推定される監視対象も併せて特定できる。
　なお、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７と、出現履歴比較部３２と、人物関連管理部３３とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７と、出現履歴比較部３２と、人物関連管理部３３とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、ルール記憶部２４と、人物関連記憶部３４とは、例えば、磁気ディスク等により実現される。
　次に、第５の実施形態の変形例を説明する。第５の実施形態では、行動検出部２５は、ルールに適合する監視対象を特定し、その監視対象に関連する監視対象を合わせて特定していた。本変形例では、行動検出部２５は、ルールに適合する複数の監視対象の中から、関連する監視対象を特定する。
　具体的には、行動検出部２５は、ルールに適合する監視対象を複数特定する。行動検出部２５は、特定した複数の監視対象の中に関連する監視対象が含まれているか否かを人物関連記憶部３４から判定する。関連する監視対象が予め定めた件数以上含まれている場合、行動検出部２５は、その関連する監視対象を特定する。このように、ルールに適合する監視対象が関連するか否かを判定することで、例えば、以下の状況を推定できる。
　例えば、公共施設を利用する複数の人物のうち、一人の行動がスリの下見のような行動パターンに適合する場合、その複数の人物は、集団スリの可能性がある。ただし、それらの人物の一人だけが不審な行動をとるのは、偶然の可能性もある。しかし、関連する仲間の複数人が不審行動をとっていたら、これらの仲間は不審な動きをする集団の可能性がある。
　さらに、行動検出部２５は、監視対象を特定する際に利用したルール（イベント）の情報を利用して、監視対象を特定するようにしてもよい。このように、監視対象を特定する際に利用したルール（イベント）を利用することで、例えば、以下の状況を推定できる。
　例えば、１０回の類似犯罪イベント（例えば、スリ）が発生したとする。このうち、５回以上イベントに現れる人物はおらず、２～３回程度イベント現れる人物が非常に多かった（例えば、１００人）とする。ルールに適合するか否かだけで判断した場合、ルールを５回に設定した時には不審人物は特定できず、ルールを２～３回に設定した時には不審人物の数は多すぎてしまう。
　しかし、この１００人の中に仲間がおり、かつ、仲間が異なるイベントで観測されていたら、それはスリ集団と推定することが可能である。また、仲間が同じイベントで観測されたら、それは単に一緒に行動している人と推定することが可能である。このような場合、行動検出部２５は、ルールに適合する監視対象のうち、関連する監視対象であって、異なるルールに適合する監視対象を特定すればよい。
　このように、本変形例では、行動検出部２５が、ルールに適合する複数の監視対象の中から、その監視対象の出現履歴の類似性に基づいて関連する監視対象を特定するため、監視対象を特定する精度を、より高めることができる。
　次に、本発明の概要を説明する。図１６は、本発明による映像解析システムの概要を示すブロック図である。本発明による映像解析システムは、監視対象（例えば、人物、自動車）の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報（例えば、顔画像、ナンバープレート画像）を各映像（例えば、映像取得部１１によって撮影される各映像）から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成手段８１（例えば、人物識別情報解析部１２）と、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成手段８２（例えば、人物識別情報照合部１５、出現履歴管理部２１）と、規定されたルール（例えば、ルール記憶部２４に記憶されたルール）に出現履歴が適合する監視対象を特定する特定手段８３（例えば、行動検出部２５）とを備えている。
　そのような構成により、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる。すなわち、本発明によれば、監視対象の出現履歴に基づいて監視対象の動きを推定するため、監視を所望する全ての範囲を監視するカメラを設定することが不要になる。
　また、監視対象撮影情報生成手段８１は、監視対象が撮影された撮影位置（例えば、カメラの設置位置、撮影装置識別情報、カメラの撮影範囲など）を含む監視対象撮影情報を生成し、出現履歴生成手段８２は、撮影位置を含む出現履歴を生成してもよい。そして、特定手段８３は、撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルール（例えば、上述する第１のルールから第４のルールなど）に、生成された出現履歴が適合する監視対象を特定してもよい。そのような構成によれば、出現履歴に含まれる出現情報に基づいて監視対象を特定できる。
　具体的には、特定手段８３は、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影位置を有する出現履歴が予め定めた数以上の監視対象を特定すればよい。
　また、映像解析システムは、発生するイベントを検知する検知手段（例えば、イベント検知部３１）を備えていてもよい。そして、監視対象撮影情報生成手段８１は、発生したイベントの前後一定期間の映像を対象として、監視対象撮影情報を生成してもよい。そのような構成によれば、解析する映像の量を削減できる。
　また、映像解析システムは、異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する関連性特定手段（例えば、出現履歴比較部３２）を備えていてもよい。そのような構成によれば、ルールに適合する監視対象だけでなく、その監視対象と関連性を有すると推定される監視対象も併せて特定できる。
　また、関連性特定手段は、ルールに適合する複数の監視対象の中から、その監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定してもよい。そのような構成によれば、監視対象を特定する精度を、より高めることできる。
　また、監視対象撮影情報生成手段８１は、監視対象識別情報として顔画像を抽出してもよい。そして、出現履歴生成手段８２は、生成された監視対象撮影情報に含まれる顔画像を比較して、監視対象が同一か否か推定してもよい。
　例えば、所定の撮影位置を示す出現履歴の後、一定期間内に、撮影位置に基づいて出現が想定される他の撮影位置を示す出現履歴を有さないことを規定したルールが定義されていてもよい（例えば、ルール記憶部２４がこのルールを記憶していてもよい）。このとき、特定手段８３は、このルールに適合する監視対象を特定してもよい。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１４年４月２８日に出願された日本特許出願２０１４－０９２４０１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、監視カメラで撮影した映像を用いて、特定のエリアで特定のルールに合致する動きをしている人物を、映像解析により自動発見する映像解析システムに好適に適用される。
　１１　映像取得部
　１２　人物識別情報解析部
　１３　人物識別情報管理部
　１５　人物識別情報照合部
　１７　結果出力部
　１８　人物識別情報記憶部
　２０　出力結果記憶部
　２１　出現履歴管理部
　２２　出現履歴記憶部
　２３　ルール管理部
　２４　ルール記憶部
　２５　行動検出部
　２８　イベント管理部
　２９　イベント記憶部
　３１　イベント検知部
　３２　出現履歴比較部
　３３　人物関連管理部
　３４　人物関連記憶部
　ｕ１～ｕ１０　人物

Claims (12)

  1. 　監視対象の同一性の推定に用いられる情報として当該監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成手段と、
    　生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成手段と、
    　規定されたルールに前記出現履歴が適合する監視対象を特定する特定手段とを備えた
    　ことを特徴とする映像解析システム。
  2. 　監視対象撮影情報生成手段は、監視対象が撮影された撮影位置を含む監視対象撮影情報を生成し、
    　出現履歴生成手段は、前記撮影位置を含む出現履歴を生成し、
    　特定手段は、前記撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールに、生成された出現履歴が適合する監視対象を特定する
    　請求項１記載の映像解析システム。
  3. 　特定手段は、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影位置を有する出現履歴が予め定めた数以上の監視対象を特定する
    　請求項２記載の映像解析システム。
  4. 　発生するイベントを検知する検知手段を備え、
    　監視対象撮影情報生成手段は、発生したイベントの前後一定期間の映像を対象として、監視対象撮影情報を生成する
    　請求項３記載の映像解析システム。
  5. 　異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する関連性特定手段を備えた
    　請求項１から請求項４のうちのいずれか１項に記載の映像解析システム。
  6. 　関連性特定手段は、ルールに適合する複数の監視対象の中から、当該監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する
    　請求項５記載の映像解析システム。
  7. 　監視対象撮影情報生成手段は、監視対象識別情報として顔画像を抽出し、
    　出現履歴生成手段は、生成された監視対象撮影情報に含まれる顔画像を比較して、監視対象が同一か否か推定する
    　請求項１から請求項６のうちのいずれか１項に記載の映像解析システム。
  8. 　所定の撮影位置を示す出現履歴の後、一定期間内に、前記撮影位置に基づいて出現が想定される他の撮影位置を示す出現履歴を有さないことを規定したルールが定義され、
    　特定手段は、前記ルールに適合する監視対象を特定する
    　請求項２記載の映像解析システム。
  9. 　監視対象の同一性の推定に用いられる情報として当該監視対象の識別情報である監視対象識別情報を各映像から抽出し、
    　抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成し、
    　生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成し、
    　規定されたルールに前記出現履歴が適合する監視対象を特定する
    　ことを特徴とする映像解析方法。
  10. 　監視対象が撮影された撮影位置を含む監視対象撮影情報を生成し、
    　前記撮影位置を含む出現履歴を生成し、
    　前記撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールに、生成された出現履歴が適合する監視対象を特定する
    　請求項９記載の映像解析方法。
  11. 　コンピュータに、
    　監視対象の同一性の推定に用いられる情報として当該監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成処理、
    　生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成処理、および、
    　規定されたルールに前記出現履歴が適合する監視対象を特定する特定処理
    　を実行させるための映像解析プログラム。
  12. 　コンピュータに、
    　監視対象撮影情報生成処理で、監視対象が撮影された撮影位置を含む監視対象撮影情報を生成させ、
    　出現履歴生成処理で、前記撮影位置を含む出現履歴を生成させ、
    　特定処理で、前記撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールに、生成された出現履歴が適合する監視対象を特定させる
    　請求項１１記載の映像解析プログラム。
PCT/JP2015/000528 2014-04-28 2015-02-05 映像解析システム、映像解析方法および映像解析プログラム WO2015166612A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/307,600 US10552713B2 (en) 2014-04-28 2015-02-05 Image analysis system, image analysis method, and storage medium
JP2016515843A JPWO2015166612A1 (ja) 2014-04-28 2015-02-05 映像解析システム、映像解析方法および映像解析プログラム
US16/523,619 US11157778B2 (en) 2014-04-28 2019-07-26 Image analysis system, image analysis method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014092401 2014-04-28
JP2014-092401 2014-04-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/307,600 A-371-Of-International US10552713B2 (en) 2014-04-28 2015-02-05 Image analysis system, image analysis method, and storage medium
US16/523,619 Continuation US11157778B2 (en) 2014-04-28 2019-07-26 Image analysis system, image analysis method, and storage medium

Publications (1)

Publication Number Publication Date
WO2015166612A1 true WO2015166612A1 (ja) 2015-11-05

Family

ID=54358359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000528 WO2015166612A1 (ja) 2014-04-28 2015-02-05 映像解析システム、映像解析方法および映像解析プログラム

Country Status (3)

Country Link
US (2) US10552713B2 (ja)
JP (1) JPWO2015166612A1 (ja)
WO (1) WO2015166612A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018057523A (ja) * 2016-10-04 2018-04-12 株式会社三洋物産 遊技場用システム
CN109743541A (zh) * 2018-12-15 2019-05-10 深圳壹账通智能科技有限公司 智能监控方法、装置、计算机设备及存储介质
JP2019087842A (ja) * 2017-11-06 2019-06-06 京セラドキュメントソリューションズ株式会社 監視システム
JP2019153296A (ja) * 2016-03-30 2019-09-12 日本電気株式会社 解析装置、解析方法及びプログラム
JPWO2018116488A1 (ja) * 2016-12-22 2019-12-12 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム
JP2019213116A (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2021013188A (ja) * 2018-09-06 2021-02-04 日本電気株式会社 方法、装置およびプログラム
WO2021140966A1 (en) * 2020-01-07 2021-07-15 Nec Corporation Method, apparatus and non-transitory computer readable medium
JP7380812B2 (ja) 2018-09-06 2023-11-15 日本電気株式会社 識別方法、識別装置、識別システム及び識別プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157825A1 (ja) * 2015-03-30 2016-10-06 日本電気株式会社 監視システム、監視対象装置、制御方法、及び記録媒体
US10654422B2 (en) 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
CN107480246B (zh) * 2017-08-10 2021-03-12 北京中航安通科技有限公司 一种关联人员的识别方法及装置
US10186124B1 (en) 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
US11615623B2 (en) 2018-02-19 2023-03-28 Nortek Security & Control Llc Object detection in edge devices for barrier operation and parcel delivery
US11295139B2 (en) 2018-02-19 2022-04-05 Intellivision Technologies Corp. Human presence detection in edge devices
CN109348120B (zh) * 2018-09-30 2021-07-20 烽火通信科技股份有限公司 一种拍摄方法、图像的显示方法、系统及设备
AU2020272775A1 (en) * 2019-04-10 2021-11-18 Raptor Vision, Llc Monitoring systems
CN110188594B (zh) * 2019-04-12 2021-04-06 南昌嘉研科技有限公司 一种基于计算机视觉的目标识别与定位方法
US11388354B2 (en) 2019-12-06 2022-07-12 Razmik Karabed Backup-camera-system-based, on-demand video player
JP2022122498A (ja) * 2021-02-10 2022-08-23 富士通株式会社 移動履歴変更方法及び移動履歴変更プログラム
CN113392800A (zh) * 2021-06-30 2021-09-14 浙江商汤科技开发有限公司 一种行为检测方法、装置、计算机设备和存储介质
JP2023073535A (ja) * 2021-11-16 2023-05-26 富士通株式会社 表示プログラム及び表示方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143593A (ja) * 2001-11-05 2003-05-16 Hitachi Eng Co Ltd 画像処理による監視方法およびシステム
JP2007219948A (ja) * 2006-02-17 2007-08-30 Advanced Telecommunication Research Institute International ユーザ異常検出装置、及びユーザ異常検出方法
WO2008111459A1 (ja) * 2007-03-06 2008-09-18 Kabushiki Kaisha Toshiba 不審行動検知システム及び方法
JP2010238184A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 警備装置
JP2010272948A (ja) * 2009-05-19 2010-12-02 Mitsubishi Electric Corp 遠隔映像取得システム
JP2013008298A (ja) * 2011-06-27 2013-01-10 Secom Co Ltd 警備システム
JP2013131153A (ja) * 2011-12-22 2013-07-04 Welsoc Co Ltd 自律型防犯警戒システム及び自律型防犯警戒方法
WO2014045843A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 画像処理システム、画像処理方法及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
WO2003028376A1 (en) * 2001-09-14 2003-04-03 Vislog Technology Pte Ltd Customer service counter/checkpoint registration system with video/image capturing, indexing, retrieving and black list matching function
GB0218982D0 (en) * 2002-08-15 2002-09-25 Roke Manor Research Video motion anomaly detector
WO2007018523A2 (en) * 2004-07-28 2007-02-15 Sarnoff Corporation Method and apparatus for stereo, multi-camera tracking and rf and video track fusion
US20060072010A1 (en) * 2004-09-24 2006-04-06 Objectvideo, Inc. Target property maps for surveillance systems
WO2007044044A2 (en) * 2004-12-21 2007-04-19 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
US7825954B2 (en) * 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7579965B2 (en) * 2006-03-03 2009-08-25 Andrew Bucholz Vehicle data collection and processing system
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
WO2008008505A2 (en) * 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
JP5040258B2 (ja) * 2006-10-23 2012-10-03 株式会社日立製作所 映像監視装置、映像監視システムおよび画像処理方法
JP5284599B2 (ja) * 2007-03-30 2013-09-11 株式会社日立国際電気 画像処理装置
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
WO2009012289A1 (en) * 2007-07-16 2009-01-22 Cernium Corporation Apparatus and methods for video alarm verification
JP5141317B2 (ja) * 2008-03-14 2013-02-13 オムロン株式会社 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
US8320613B2 (en) * 2008-06-04 2012-11-27 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
US20100299021A1 (en) * 2009-05-21 2010-11-25 Reza Jalili System and Method for Recording Data Associated with Vehicle Activity and Operation
US8460220B2 (en) * 2009-12-18 2013-06-11 General Electric Company System and method for monitoring the gait characteristics of a group of individuals
MX2012009579A (es) * 2010-02-19 2012-10-01 Toshiba Kk Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento.
US9143843B2 (en) * 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US20120213404A1 (en) * 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
JP5702663B2 (ja) 2011-05-10 2015-04-15 日本放送協会 顔画像認識装置及び顔画像認識プログラム
US8792684B2 (en) * 2011-08-11 2014-07-29 At&T Intellectual Property I, L.P. Method and apparatus for automated analysis and identification of a person in image and video content
JP2013088870A (ja) 2011-10-13 2013-05-13 Toyota Infotechnology Center Co Ltd 不審者検知装置、不審者検知方法およびプログラム
US8682036B2 (en) * 2012-04-06 2014-03-25 Xerox Corporation System and method for street-parking-vehicle identification through license plate capturing
JP6080409B2 (ja) * 2012-07-09 2017-02-15 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US8781293B2 (en) * 2012-08-20 2014-07-15 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
US20140078304A1 (en) * 2012-09-20 2014-03-20 Cloudcar, Inc. Collection and use of captured vehicle data
AU2014240718A1 (en) * 2013-03-29 2015-08-27 Nec Corporation Target object identifying device, target object identifying method and target object identifying program
JP6098318B2 (ja) * 2013-04-15 2017-03-22 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
JP5438861B1 (ja) * 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US10410278B2 (en) * 2013-07-25 2019-09-10 The Crawford Group, Inc. Method and apparatus for integrated image capture for vehicles to track damage
US9111143B2 (en) * 2013-09-27 2015-08-18 At&T Mobility Ii Llc Method and apparatus for image collection and analysis
KR102126868B1 (ko) * 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
JP6323465B2 (ja) * 2014-01-15 2018-05-16 富士通株式会社 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US9760792B2 (en) * 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143593A (ja) * 2001-11-05 2003-05-16 Hitachi Eng Co Ltd 画像処理による監視方法およびシステム
JP2007219948A (ja) * 2006-02-17 2007-08-30 Advanced Telecommunication Research Institute International ユーザ異常検出装置、及びユーザ異常検出方法
WO2008111459A1 (ja) * 2007-03-06 2008-09-18 Kabushiki Kaisha Toshiba 不審行動検知システム及び方法
JP2010238184A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 警備装置
JP2010272948A (ja) * 2009-05-19 2010-12-02 Mitsubishi Electric Corp 遠隔映像取得システム
JP2013008298A (ja) * 2011-06-27 2013-01-10 Secom Co Ltd 警備システム
JP2013131153A (ja) * 2011-12-22 2013-07-04 Welsoc Co Ltd 自律型防犯警戒システム及び自律型防犯警戒方法
WO2014045843A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 画像処理システム、画像処理方法及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107354A (ja) * 2016-03-30 2020-07-09 日本電気株式会社 解析装置、解析方法及びプログラム
US11176698B2 (en) 2016-03-30 2021-11-16 Nec Corporation Analysis apparatus, analysis method, and storage medium
JP2019153296A (ja) * 2016-03-30 2019-09-12 日本電気株式会社 解析装置、解析方法及びプログラム
US11094076B2 (en) 2016-03-30 2021-08-17 Nec Corporation Analysis apparatus, analysis method, and storage medium
JP2018057523A (ja) * 2016-10-04 2018-04-12 株式会社三洋物産 遊技場用システム
JP7040463B2 (ja) 2016-12-22 2022-03-23 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム
JPWO2018116488A1 (ja) * 2016-12-22 2019-12-12 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム
JP2019087842A (ja) * 2017-11-06 2019-06-06 京セラドキュメントソリューションズ株式会社 監視システム
JP2019213116A (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7210163B2 (ja) 2018-06-07 2023-01-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2021013188A (ja) * 2018-09-06 2021-02-04 日本電気株式会社 方法、装置およびプログラム
US11250251B2 (en) 2018-09-06 2022-02-15 Nec Corporation Method for identifying potential associates of at least one target person, and an identification device
JP7302566B2 (ja) 2018-09-06 2023-07-04 日本電気株式会社 方法、装置およびプログラム
JP7380812B2 (ja) 2018-09-06 2023-11-15 日本電気株式会社 識別方法、識別装置、識別システム及び識別プログラム
CN109743541A (zh) * 2018-12-15 2019-05-10 深圳壹账通智能科技有限公司 智能监控方法、装置、计算机设备及存储介质
WO2021140966A1 (en) * 2020-01-07 2021-07-15 Nec Corporation Method, apparatus and non-transitory computer readable medium
JP7380889B2 (ja) 2020-01-07 2023-11-15 日本電気株式会社 方法、装置、及び、プログラム

Also Published As

Publication number Publication date
JPWO2015166612A1 (ja) 2017-04-20
US20170053191A1 (en) 2017-02-23
US10552713B2 (en) 2020-02-04
US11157778B2 (en) 2021-10-26
US20190347528A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
WO2015166612A1 (ja) 映像解析システム、映像解析方法および映像解析プログラム
JP6406246B2 (ja) 対象物特定装置、対象物特定方法および対象物特定プログラム
CN108629791B (zh) 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
EP3654285B1 (en) Object tracking using object attributes
JP7040463B2 (ja) 解析サーバ、監視システム、監視方法及びプログラム
JP7405200B2 (ja) 人物検出システム
JP6508041B2 (ja) 対象物監視システム、対象物監視方法および監視対象抽出プログラム
WO2018180588A1 (ja) 顔画像照合システムおよび顔画像検索システム
US9704264B2 (en) Method for tracking a target in an image sequence, taking the dynamics of the target into consideration
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
US8068640B2 (en) Method for detecting image regions that are conspicuous in terms of the movement in them; apparatus and computer program for performing the method
US20100318566A1 (en) Behavior history retrieval apparatus and behavior history retrieval method
KR101541272B1 (ko) 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
WO2018179202A1 (ja) 情報処理装置、制御方法、及びプログラム
CN110717357B (zh) 预警方法、装置、电子设备及存储介质
JP5758165B2 (ja) 物品検出装置および静止人物検出装置
KR20190047218A (ko) 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
JP2015088816A (ja) 画像監視システム
KR101848367B1 (ko) 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법
CN113744443B (zh) 一种闸机通道防欺骗控制方法、装置、设备及存储介质
WO2012074366A2 (en) A system and a method for detecting a loitering event
WO2012074352A1 (en) System and method to detect loitering event in a region
JP2019046053A (ja) 監視システム、監視方法
KR102286675B1 (ko) 동작 인식을 기반으로 한 방범 시스템 구현 방법 및 이러한 방법을 사용하는 방범 시스템
CN115546737A (zh) 一种机房监控方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15786699

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016515843

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15307600

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15786699

Country of ref document: EP

Kind code of ref document: A1