WO2019187288A1 - 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2019187288A1
WO2019187288A1 PCT/JP2018/040097 JP2018040097W WO2019187288A1 WO 2019187288 A1 WO2019187288 A1 WO 2019187288A1 JP 2018040097 W JP2018040097 W JP 2018040097W WO 2019187288 A1 WO2019187288 A1 WO 2019187288A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
basic information
data
integrated
person
Prior art date
Application number
PCT/JP2018/040097
Other languages
English (en)
French (fr)
Inventor
直生 吉永
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/041,560 priority Critical patent/US11341774B2/en
Priority to JP2020509592A priority patent/JP7081659B2/ja
Publication of WO2019187288A1 publication Critical patent/WO2019187288A1/ja
Priority to JP2022084518A priority patent/JP2022117996A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to an information processing apparatus, a data generation method, and a program.
  • Patent Document 1 discloses a suspicious behavior detection system that detects a suspicious behavior to be monitored using a camera image.
  • the movement trajectory information of the monitoring target is acquired, the behavior state of the monitoring target is identified based on the movement trajectory information, and the suspicious behavior of the monitoring target is automatically determined.
  • a technique for detecting face information of a person included in a camera image is also known.
  • one of the objects to be achieved by the embodiments disclosed in the present specification is to provide an information processing apparatus, a data generation method, and a program that can obtain useful information about a person from video data. It is in.
  • the information processing apparatus includes basic information acquisition means for acquiring a plurality of types of basic information, which is information used for monitoring a person, based on video data obtained by photographing one or more persons, Basic information integration means for generating integrated information in which basic information satisfying a predetermined relationship among the information is integrated as information of the same person.
  • a plurality of types of basic information which is information used for monitoring a person, are acquired based on a video in which one or more persons are photographed.
  • Integrated information is generated by integrating basic information satisfying the relationship as information of the same person.
  • a program includes a basic information acquisition step of acquiring a plurality of types of basic information, which is information used for monitoring a person, based on video data obtained by photographing one or more persons, Among them, the computer is caused to execute a basic information integration step of generating integrated information in which basic information satisfying a predetermined relationship is integrated as information of the same person.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the information processing apparatus 1 according to the outline of the embodiment.
  • the information processing apparatus 1 includes a basic information acquisition unit 2 and a basic information integration unit 3.
  • the basic information acquisition unit 2 acquires a plurality of types of basic information based on video data obtained by photographing one or more persons.
  • the basic information is information used for monitoring a person.
  • the basic information may be information about an appearance feature of the person, or information about the position of the moving person.
  • the appearance feature of the person is, for example, the feature of the person's face.
  • the information on the appearance feature of the person is information on the face (face image feature amount) taken by the person.
  • the appearance feature may be any appearance feature that can be acquired from the video, and is not limited to the face.
  • the appearance feature may be a feature about the body type.
  • the information on the position of the moving person may be, for example, movement path data that is data indicating the movement path of the same person, or human flow data that is data indicating a person flow due to movement of a plurality of persons. Or both of them.
  • the basic information integration unit 3 generates integrated information in which basic information satisfying a predetermined relationship among basic information is integrated as information on the same person.
  • the basic information integration unit 3 generates integrated information obtained by integrating a plurality of types of basic information.
  • the basic information integration unit 3 integrates information about a person's face and movement path data of the person.
  • the basic information integration unit 3 integrates information about a person's face and human flow data indicating a human flow including the person.
  • the basic information integration unit 3 integrates movement route data of a certain person and human flow data indicating a human flow including the person.
  • the basic information integration unit 3 may integrate two or more basic information as a related data group, and the number of basic information to be integrated is arbitrary.
  • the basic information integration unit 3 may further integrate the same type of basic information.
  • the basic information integration unit 3 may integrate two different pieces of information about a person's face and the movement route data of the person.
  • the basic information integration unit 3 integrates different types of basic information for the same person. For this reason, according to the information processing apparatus 1, different types of separate basic information can be associated as basic information for the same person. Therefore, the same person can be analyzed from various angles. That is, according to the information processing apparatus 1, useful information about a person can be obtained from video data.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the monitoring device 10 according to the embodiment.
  • the monitoring device 10 is a device corresponding to the information processing device 1 of FIG.
  • the monitoring device 10 is communicably connected to one or more cameras (not shown) via a wired or wireless network, and can receive video data transmitted from the cameras.
  • each camera is scattered and installed in a predetermined area, for example, and images the state around the camera installation location. As a result, it is possible to photograph a person existing around the camera installation location.
  • the installation location of the camera is arbitrary.
  • the installation location of the camera may be an airport, a theme park, a shopping center, a stadium, or the like.
  • the monitoring device 10 includes a video acquisition unit 100, a video analysis unit 101, an integrated information sample creation unit 102, a basic information integration unit 103, a specific behavior sample creation unit 104, and a specific behavior determination.
  • the video acquisition unit 100 acquires video data generated by shooting with a camera.
  • video data of each of N cameras (N is an integer of 1 or more) is acquired.
  • the video acquisition unit 100 acquires video data transmitted by the camera.
  • the monitoring device 10 may read and acquire video data stored in the storage device of the monitoring device 10. .
  • the video acquisition unit 100 only needs to acquire video data, and the acquisition method is arbitrary.
  • the video analysis unit 101 corresponds to the basic information acquisition unit 2 in FIG.
  • the video analysis unit 101 analyzes the video data acquired by the video acquisition unit 100 and acquires basic information.
  • the video analysis unit 101 acquires basic information from video data of a plurality of cameras that capture different places.
  • the video analysis unit 101 acquires movement path data, human flow data, and information about a person's face (hereinafter referred to as face data) as basic information through image analysis processing.
  • face data information about a person's face
  • a well-known image analysis processing technique can be used for acquisition of such basic information.
  • the video analysis unit 101 stores the acquired basic information in the basic information storage unit 107.
  • the basic information storage unit 107 is a storage area for storing basic information.
  • FIG. 3 is a schematic diagram illustrating an example of a table of travel route data stored in the basic information storage unit 107. More specifically, FIG. 3 shows movement path data acquired from the video data of the i-th camera (i is an integer of 1 to N) among the N cameras. As illustrated in FIG. 3, the movement route data acquired by the video analysis unit 101 is data including an ID for identifying each of the movement route data and position information of the person at each time.
  • a i_1 , A i_2, etc. indicate IDs, t 1 , t 2, etc.
  • the human flow data is data indicating a human flow due to the movement of a plurality of persons, but more specifically, for example, data indicating a flow of continuous movement of a predetermined number or more of persons in substantially the same direction. I can say that.
  • FIG. 4 is a schematic diagram illustrating an example of a table of human flow data stored in the basic information storage unit 107. More specifically, FIG. 4 shows human flow data acquired from video data of the i-th camera (i is an integer of 1 to N) among the N cameras. As shown in FIG. 4, the human flow data acquired by the video analysis unit 101 is data including an ID for identifying each of the human flow data, a human flow area, an occurrence time zone, and a human flow speed. .
  • the region of the human flow is a region where the human flow is generated, and can be said to be position information indicating a route through which the human flow passes.
  • the area of human flow is position information indicating, for example, a belt-like geographical range.
  • the generation time zone is information indicating from when to when human flow has occurred.
  • the speed is information indicating the speed and direction of movement of the human flow.
  • B i_1 , B i_2, etc. indicate IDs, a 1 , a 2, etc. indicate areas of human flow, T 1 , T 2, etc. indicate time periods of occurrence, and v 1 , v 2, etc. indicate speeds. Show. Note that the data format shown in FIG. 4 is an example, and data in another data format may be acquired as human flow data.
  • FIG. 5 is a schematic diagram illustrating an example of a face data table stored in the basic information storage unit 107. More specifically, FIG. 5 shows face data acquired from video data of the i-th camera (i is an integer of 1 to N) among the N cameras. As shown in FIG. 5, the face data acquired by the video analysis unit 101 includes an ID for identifying each face data, face detection position information, an image feature amount representing the detected face, and detection. Data including time.
  • C i_1 , C i_2, etc. indicate IDs, (x 11 , y 11 ), (x 21 , y 21 ), etc. indicate detected position information (coordinates), and f 1 , f 2, etc. are image features.
  • the detected position information is, for example, information indicating the position in the image of an area including a face (for example, an area specified by a rectangle).
  • the data format shown in FIG. 5 is an example, and data in another data format may be acquired as face data.
  • the face data may include a face image instead of the feature quantity or together with the feature quantity.
  • the integrated information sample creation unit 102 creates integrated information, which is data obtained by integrating a plurality of basic information about the same person, as a sample.
  • the sample may be data obtained by integrating a plurality of basic information of the same type, or data obtained by integrating different basic information.
  • the sample generated by the integrated information sample creation unit 102 is also referred to as reference information.
  • the reference information is information that is referred to in order to generate integrated information in the basic information integration unit 103.
  • the integrated information sample creation unit 102 creates a sample of integrated information by, for example, associating a plurality of basic information designated by the user as being basic information about the same person.
  • the user confirms the video of each camera by visual observation, and gives an input to the integrated information sample creation unit 102 to instruct to associate the basic information stored in the basic information storage unit 107.
  • the integrated information sample creation unit 102 creates integrated information composed of a plurality of basic information for the same person.
  • the integrated information sample creation unit 102 may automatically generate a sample of integrated information based on a predetermined action pattern of a person.
  • the integrated information sample creation unit 102 in this case is also referred to as a reference information generation unit.
  • a predetermined area for example, a theme park
  • the integrated information sample creation unit 102 generates and generates a plurality of dummy basic information obtained when a person moves in accordance with the predetermined behavior pattern from information representing the predetermined behavior pattern.
  • Dummy data of integrated information is generated by associating dummy basic information.
  • the dummy basic information generated based on the predetermined behavior pattern is specifically travel route data or human flow data.
  • the integrated information as a sample may be further integrated with predetermined face data.
  • the reference information may be configured as information including a plurality of basic information integrated as the same person based on a predetermined action pattern of the person.
  • the integrated information sample creation unit 102 stores the created integrated information in the integrated information sample storage unit 108.
  • the integrated information sample storage unit 108 is a storage area for storing the integrated information sample created by the integrated information sample creating unit 102.
  • FIG. 6 is a schematic diagram illustrating an example of a table of integrated information stored in the integrated information sample storage unit 108. Note that an integrated information storage unit 109 and a specific behavior sample storage unit 110, which will be described later, also store integrated information having the same data configuration.
  • the integrated information is data including an ID for identifying each piece of integrated information and information indicating a combination of basic information (that is, a correspondence relationship between a plurality of basic information).
  • X 1, X 2, X 3 etc.
  • the integrated information is configured by an arbitrary combination of basic information. That is, as ID 6 is shown in the integrated information is X 1, integrated information may include basic information of all kinds that can be acquired by the image analyzing unit 101. Further, as shown in the integrated information whose ID is X 2 , X 3 , or X 4 , the integrated information may include some types of basic information among the types that can be acquired by the video analysis unit 101. Furthermore, as ID are shown in the integrated information is X 5, integrated information may include basic information of the same type.
  • the basic information integration unit 103 corresponds to the basic information integration unit 3 in FIG. 1 and integrates a plurality of basic information about the same person to generate integrated information.
  • the basic information integration unit 103 may integrate different types of basic information about the same person, or may integrate the same type of basic information.
  • the basic information integration unit 103 may integrate basic information acquired from video data of the same camera, or may integrate basic information acquired from video data of different cameras.
  • the basic information integration unit 103 automatically integrates the basic information stored in the basic information storage unit 107 and stores the generated integrated information in the integrated information storage unit 109.
  • the integrated information storage unit 109 is a storage area for storing the integrated information generated by the basic information integration unit 103.
  • the basic information integration unit 103 integrates basic information about the same person stored in the basic information storage unit 107, for example, as follows.
  • the basic information integration unit 103 integrates the human flow data and the movement route data based on, for example, the position of the human flow indicated by the human flow data and the movement position indicated by the movement route data.
  • the position of the human flow is specified by information (a 1 , a 2, etc.) of the human flow area in the human flow data shown in FIG.
  • the moving position is specified by position information ((x 11 , y 11 ), (x 12 , y 12 ), etc.) in the moving route data shown in FIG.
  • FIG. 7 is a diagram schematically showing an image of the camera.
  • the human flow 90 is indicated by the hatched area, and the movement path 92 of the person 91 and the movement path 94 of the person 93 are indicated by broken lines.
  • the human flow 90 flows from left to right.
  • FIG. 7 there is a possibility that a plurality of persons are crowded in a place where a human flow is occurring. In such a case, basic information on the movement route of each person is not acquired. There is a case. As shown in FIG.
  • the end of the movement path 92 of the person 91 is close to the position of the human flow 90.
  • the basic information about the movement route 92 and the basic information about the human flow 90 can be integrated as basic information about the same person.
  • the basic information integration unit 103 for example, when the position of the human flow indicated by the human flow data and the movement position indicated by the movement route data are close to each other, that is, for example, the difference between the two positions is a predetermined value. If the distance is less than or equal to the distance, the basic information is integrated.
  • the basic information integration unit 103 may integrate the movement route data and the face data based on the position indicated by the movement route data and the position where the face is acquired. For example, it is assumed that the movement route data indicates that a certain person has passed the point P at a certain time. In this case, it can be estimated that the face data of the face photographed in the vicinity of the point P at the time is face data of the same person as the person targeted by the movement path data. That is, the basic information integration unit 103 may integrate the movement route data and the face data when the difference between the position indicated by the movement route data and the position where the face is acquired is equal to or less than a predetermined distance.
  • the human flow data and the face data may be integrated based on the position indicated by the human flow data and the position where the face is acquired.
  • the basic information integration unit 103 determines the position of the moving person based on the position indicated by the basic information about the position of the moving person and the position where the appearance feature of the person is acquired.
  • Basic information and basic information about the appearance characteristics of a person may be integrated.
  • the basic information integration unit 103 may integrate the face data for the face with the movement path data when a face is acquired in the human flow generation area indicated by the human flow data to be integrated with the movement path data.
  • the human flow corresponds to the movement of various people, there may be a plurality of movement route data to be integrated with the human flow data.
  • a face acquisition time and an acquisition position in certain face data correspond to certain person flow data (referred to as person flow data B).
  • person flow data B can be integrated with three movement route data (movement route data A1, A2, and A3).
  • the basic information integration unit 103 selects the movement route data to be integrated with the face data C from the movement route data A1, A2, and A3 as follows.
  • the basic information integration unit 103 is based on the joining time and joining position of each person corresponding to the movement route data A1, A2, and A3 to the person flow, the speed of the person flow, and the acquisition time and acquisition position of the face in the person flow.
  • the person who can acquire the face is estimated at the acquisition time and the acquisition position. Then, the basic information integration unit 103 integrates the face data and the movement route data corresponding to the estimated person.
  • the basic information integration unit 103 may integrate basic information using the integration information (that is, reference information) stored in the integration information sample storage unit 108.
  • the integrated information sample storage unit 108 stores the integrated information sample created by the integrated information sample creation unit 102. That is, the integrated information stored in the integrated information sample storage unit 108 is integrated information for which an integrated relationship is set in advance. That is, the integrated information stored in the integrated information sample storage unit 108 includes a plurality of pieces of basic information that are integrated in advance as information about the same person.
  • the basic information integration unit 103 integrates basic information as follows, for example, using integrated information in which an integration relationship is set in advance.
  • integrated information sample storage section 108 is stored, there integrated information, and shows the integration of basic information p 1 and the basic information p 2. That is, the basic information p 1 and the basic information p 2 is the basic information that is integrated in the integrated information set in advance integrated relationship. In other words, the basic information p 1 and the basic information p 2 is the basic information which is previously integrated as a information about the same person.
  • the basic information integration unit 103 integrates basic information q 1 similar to the basic information p 1 and basic information q 2 similar to the basic information p 2 .
  • the basic information p 1 , q 1 , p 2 , and q 2 are all travel route data.
  • the basic information p 1 , q 1 , p 2 , q 2 are all human flow data. Further, for example, the basic information p 1 and q 1 are travel route data, and the basic information p 2 and q 2 are human flow data.
  • the basic information integration unit 103 specifically determines that the two basic information are similar when the difference in characteristics (for example, position or shape) represented by the basic information is equal to or less than a predetermined reference. To do.
  • the features represented by the basic information p 1 when the difference between features represented by General q 1 is equal to or smaller than a first predetermined criterion, both the basic information is determined to be similar.
  • the features represented by General p 2 when the difference between the features represented by the basic information q 2 is less than or equal to a second predetermined criterion, both the basic information is determined to be similar.
  • the first predetermined reference and the second predetermined reference may be the same or different.
  • the basic information integration unit 103 determines the similarity between the basic information p 1 and the basic information q 1 and the similarity between the basic information p 2 and the basic information q 2 based on, for example, the similarity of the positions specified from the basic information. To do.
  • the basic information integration unit 103 may determine based on the similarity of the flow line specified from the basic information in addition to the similarity of the position specified from the basic information.
  • the basic information integration unit 103 has, for example, a shape represented by whether or not the position where the movement route exists is similar and the movement route (that is, the flow line). Judgment is made based on whether or not they are similar. In addition, regarding the similarity between the human flow data, the basic information integration unit 103 determines, for example, whether the position where the human flow exists is similar and whether the shape represented by the human flow (that is, the flow line) is similar. Judgment by
  • the basic information integration unit 103 may integrate the basic information as follows, for example, using the integrated information in which the integration relationship is set in advance.
  • the integration of the movement path data p 3 acquired from the video data of the first camera and the movement path data p 4 acquired from the video data of the second camera is set in advance.
  • the first camera and the second camera are installed at remote locations. Also, it is calculated based on the travel route data p 3 in the moving path data p 4, travel time from the location of the first camera to the location of the second camera is assumed to be t p.
  • the travel route data q 3 acquired from the video data of the first camera and the travel route data q 4 acquired from the video data of the second camera are calculated from the installation location of the first camera to the second.
  • the moving time t q to the camera installation location of the basic information integration unit 103 when the difference between the travel time t q and travel time t p is within a predetermined range, to integrate the movement path data q 4 and moving path data q 3.
  • the difference between t p is the person from a first camera installation location travel time is within a predetermined range to the second camera installation location movement
  • the integration described above may be performed only when there are sufficient samples to be present.
  • integrated information t p and the difference in travel time to the installation site of the second camera includes a set of moving path data is within a predetermined range from the location of the first camera is given to the integrated information sample storage section 108 Only when there are more than a few, the route data q 3 and q 4 may be integrated.
  • the basic information integration unit 103 Integrated information may be used. That is, integrated information created by associating basic information as specified by the user may be used, or integrated information that is a sample automatically generated based on a predetermined behavior pattern of a person is used. May be.
  • the basic information integration unit 103 may integrate the same type of basic information about the same person. For example, when the feature amounts in the face data are similar, the basic information integration unit 103 may integrate a plurality of face data.
  • the basic information integration unit 103 is not limited to integration of face data, but may integrate movement route data or human flow data.
  • the basic information integration unit 103 may integrate a plurality of movement route data when the end and the start of the movement position indicated by the movement route data are close to each other.
  • the basic information integration unit 103 may integrate a plurality of human flow data when the end and the start of the human flow indicated by the human flow data are close to each other.
  • the integration method of the basic information integration unit 103 has been described above. However, the integration method is not limited to the above, and integration may be performed by other methods.
  • the basic information integration unit 103 may determine whether or not to integrate using a predetermined index value indicating the probability that a plurality of basic information of integration candidates is basic information about the same person when performing integration. Good.
  • the index value may be a value indicating the probability that is basic information about the same person. For example, the similarity between the basic information may be used, and the proximity of the position indicated in the basic information may be May be used.
  • the specific behavior sample generating unit 104 Similar to the integrated information sample generating unit 102, the specific behavior sample generating unit 104 generates a sample of integrated information. However, the specific behavior sample creation unit 104 creates a sample of integrated information used as a determination criterion in the specific behavior determination unit 105. In other words, the specific behavior sample creation unit 104 creates integrated information, which is data obtained by integrating a plurality of basic information about a person who takes a specific behavior, as a sample.
  • the specific action is, for example, an action pattern assumed to be taken by a suspicious person, but is not limited thereto, and may be any specific action pattern.
  • the sample created by the specific behavior sample creation unit 104 may be data obtained by integrating a plurality of basic information of the same type, as well as the integrated information sample creation unit 102, or data obtained by integrating different basic information. Also good.
  • the specific behavior sample creation unit 104 automatically generates a sample of integrated information based on, for example, a predetermined specific behavior pattern.
  • the specific action sample creation unit 104 is given information representing an action pattern assumed to be taken by a suspicious person as an input. Then, the specific action sample creation unit 104 generates a plurality of dummy basic information obtained when a person moves in a specific action pattern from the given information, and integrates the generated dummy basic information in association with each other. Generate dummy data for information.
  • the dummy basic information generated based on the predetermined behavior pattern is specifically travel route data or human flow data. Note that the integrated information as a sample may be further integrated with predetermined face data.
  • the specific action sample creation unit 104 is similar to the integrated information sample creation unit 102, for example, by associating a plurality of basic information designated by the user as being basic information about the same person who takes a specific action, A sample of integrated information may be created.
  • the specific behavior sample creation unit 104 stores the created integrated information in the specific behavior sample storage unit 110.
  • the specific behavior sample storage unit 110 is a storage area for storing the integrated information sample created by the specific behavior sample creation unit 104.
  • the specific behavior determination unit 105 compares the integrated information in which the integration relationship corresponding to the specific behavior pattern is set in advance with the integrated information generated by the basic information integration unit 103. That is, the specific behavior determination unit 105 compares the integrated information created by the specific behavior sample creation unit 104 with the integrated information generated by the basic information integration unit 103. Then, the specific action determination unit 105 determines whether or not the integrated information generated by the basic information integration unit 103 is integrated information corresponding to a specific action pattern according to the comparison result. For example, the specific action determination unit 105 is integrated information corresponding to a specific action pattern when the integrated information generated by the basic information integration unit 103 is similar to the integrated information generated by the specific action sample generation unit 104. Is determined.
  • the specific action determining unit 105 can determine whether or not the basic information acquired from the video data from the camera is related to a specific action such as a suspicious action. That is, according to the determination by the specific action determination unit 105, for example, it is possible to detect occurrence of a suspicious action.
  • the determination result output unit 106 outputs the determination result by the specific action determination unit 105.
  • the determination result output unit 106 may display it on the display as an output or transmit it to another device.
  • the determination result output unit 106 may output, for example, integrated information determined to be integrated information corresponding to a specific behavior pattern as the determination result, or basic information (for example, face information) included in the integrated information Data) may be output.
  • the monitoring device 10 As the operation of the monitoring device 10, an operation at a stage of creating a sample of integrated information and an operation at a stage of performing a monitoring process will be described.
  • FIG. 8 is a flowchart showing an example of the operation of the monitoring apparatus 10 at the stage of creating a sample of integrated information.
  • FIG. 8 an example of the operation of the monitoring apparatus 10 at the stage of creating a sample of integrated information will be described with reference to FIG.
  • step 100 the video acquisition unit 100 acquires video data generated by shooting with a camera.
  • step 101 the video analysis unit 101 analyzes the video data acquired in step 100 and acquires basic information.
  • step 102 the integrated information sample creation unit 102 creates integrated information, which is data obtained by integrating a plurality of basic information about the same person, as a sample.
  • the integrated information sample creation unit 102 creates integrated information composed of a plurality of basic information for the same person by associating the basic information acquired in step 101 in accordance with an instruction from the user.
  • step 102 when the integrated information sample creation unit 102 automatically generates a sample of integrated information based on a predetermined action pattern of a person, the basic information acquired in step 101 is not necessarily required. do not do. Therefore, in this case, step 100 and step 101 may be omitted.
  • step 103 the specific action sample creation unit 104 creates integrated information, which is data obtained by integrating a plurality of basic information about a person who takes a specific action, as a sample. For example, as described above, the specific action sample creation unit 104 automatically generates a sample of integrated information based on a predetermined specific action pattern.
  • the integrated information sample storage unit 108 stores a sample of integrated information used for basic information integration processing by the basic information integration unit 103
  • the specific behavior sample storage unit 110 stores a specific behavior determination unit.
  • a sample of integrated information used for the determination processing by 105 is stored.
  • step 103 is performed after step 102, but it goes without saying that the order of execution may be reversed or may be performed in parallel.
  • FIG. 9 is a flowchart showing an example of the operation of the monitoring apparatus 10 at the stage where the monitoring process is performed.
  • FIG. 9 an example of the operation of the monitoring apparatus 10 at the stage where the monitoring process is performed will be described with reference to FIG.
  • step 200 the video acquisition unit 100 acquires video data generated by shooting with a camera.
  • the video data acquired in step 200 is video data to be monitored.
  • step 201 the video analysis unit 101 analyzes the video data acquired in step 200 and acquires basic information.
  • step 202 the basic information integration unit 103 integrates the basic information acquired in step 201 using, for example, the integration method described above. As a result, a plurality of basic information about the same person shown in the video data acquired in step 200 is associated.
  • step 203 the specific action determination unit 105 determines whether or not the integrated information obtained in step 202 is integrated information corresponding to a specific action pattern.
  • step 203 it is determined whether or not the video data acquired in step 200 includes image information of a person corresponding to a specific action pattern.
  • step 204 the determination result output unit 106 outputs the determination result in step 203.
  • FIG. 10 is a block diagram illustrating an example of a hardware configuration of the monitoring apparatus 10.
  • the monitoring apparatus 10 includes, for example, a network interface 150, a memory 151, and a processor 152.
  • the network interface 150 is used to communicate with other devices such as a camera.
  • the network interface 150 may include, for example, a network interface card (NIC).
  • NIC network interface card
  • the memory 151 is constituted by a combination of a volatile memory and a nonvolatile memory, for example.
  • the monitoring device 10 may have a storage device such as a hard disk in addition to the memory 151.
  • the memory 151 is used to store software (computer program) including one or more instructions executed by the processor 152.
  • This program can be stored using various types of non-transitory computer readable media and supplied to a computer.
  • Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), compact disc read only memory (CD-ROM), CD-ROMs. R, CD-R / W, and semiconductor memory (for example, mask ROM, programmable ROM (PROM), erasable PROM (EPROM), flash ROM, random access memory (RAM)) are included.
  • the program may also be supplied to the computer by various types of transitory computer readable media.
  • Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the processor 152 reads the software (computer program) from the memory 151 and executes it to perform the processing of the monitoring device 10 described above. That is, each process of the video acquisition unit 100, the video analysis unit 101, the integrated information sample creation unit 102, the basic information integration unit 103, the specific behavior sample creation unit 104, the specific behavior determination unit 105, and the determination result output unit 106 is a program. It may be realized by executing. Thus, the monitoring device 10 has a function as a computer.
  • the processor 152 may be, for example, a microprocessor, an MPU (Micro Processor Unit), or a CPU (Central Processing Unit).
  • the processor 152 may include a plurality of processors.
  • the memory 151 or the storage device may be used as the basic information storage unit 107, the integrated information sample storage unit 108, the integrated information storage unit 109, and the specific behavior sample storage unit 110 described above.
  • the monitoring device 10 may further include an input device such as a mouse and a keyboard, or may include an output device such as a display.
  • the monitoring device 10 may acquire input information for the monitoring device 10 from another device via the network, or may output the output information of the monitoring device 10 to another device via the network. Good.
  • the basic information for the same person acquired by the video analysis unit 101 is integrated by the basic information integration unit 103 regardless of whether the information is the same or different. Therefore, more useful information can be constructed as compared with the case where these basic information are managed without being associated with each other.
  • the monitoring device 10 can associate movement route data, human flow data, and face data related to the same person. These data are not always obtained simultaneously. That is, for example, even if movement path data of a certain person is obtained from video data of a certain camera, face data cannot be obtained if the person is facing the opposite direction to the camera.
  • the basic information integration unit 103 integrates these data, even in such a case, the data can be supplemented as the same person information. Further, when there are a plurality of cameras, basic information of the same person can be acquired from various video data, but the basic information integration unit 103 can associate these data as basic information of the same person.
  • the basic information is integrated using the integrated information stored in the integrated information sample storage unit 108. For this reason, it is possible to realize integration focusing on a preset integration relationship. Furthermore, the integrated information stored in the integrated information sample storage unit 108 can be a sample created based on a predetermined action pattern of a person. For this reason, it is possible to easily prepare integrated information in which the integration relationship is set in advance.
  • the monitoring apparatus 10 includes a specific action determination unit 105. For this reason, the person who takes a specific action pattern can be found.
  • Basic information acquisition means for acquiring a plurality of types of basic information, which is information used for monitoring a person, based on video data of one or more persons photographed;
  • An information processing apparatus comprising: basic information integration means for generating integrated information in which basic information satisfying a predetermined relationship among the basic information is integrated as information on the same person.
  • the information about the position of the moving person includes human flow data that is data indicating a human flow due to movement of a plurality of persons, and movement path data that is data indicating a movement path of the same person,
  • the basic information integration unit integrates the human flow data and the movement route data based on the position of the human flow indicated by the human flow data and the movement position indicated by the movement route data. Processing equipment.
  • the basic information acquisition means further acquires, as the basic information, information about an appearance characteristic of a person,
  • the basic information integration unit is configured to determine the information about the position of the moving person and the position of the person based on the position indicated by the information about the position of the moving person and the position where the appearance feature is acquired.
  • the information processing apparatus according to any one of attachments 2 and 3, which integrates the information regarding appearance features.
  • the basic information integration unit integrates first basic information and second basic information of the basic information based on reference information referred to for generating the integrated information,
  • the reference information includes a difference between the third basic information representing a feature whose difference from the feature represented by the first basic information is equal to or less than a predetermined standard and a feature represented by the second basic information.
  • the information processing apparatus according to any one of supplementary notes 1 to 4, further comprising fourth basic information representing a feature that is equal to or less than a predetermined reference.
  • (Appendix 6) The information processing apparatus according to claim 5, wherein the reference information includes the third basic information and the fourth basic information that are integrated as the same person based on a predetermined action pattern of the person.
  • (Appendix 7) The information processing apparatus according to claim 6, further comprising reference information generating means for generating the reference information based on a predetermined behavior pattern of a person.
  • (Appendix 8) The information processing apparatus according to any one of attachments 1 to 7, wherein the basic information integration unit further integrates the same type of basic information about the same person.
  • the basic information acquisition means acquires, as the basic information, at least movement route data that is data indicating a movement route of the same person
  • the basic information integration means includes a movement time from the installation location of the first camera to the installation location of the second camera calculated based on the first movement route data and the second movement route data;
  • 3 travel route data and the fourth travel route data are integrated,
  • the first movement route data and the third movement route data are data including position information of a person for each time obtained from video data of the first camera,
  • the second movement path data and the fourth movement path data are the position information of the person at each time obtained from the video data of the second camera installed at a location away from the first camera.
  • the information processing device including data, The information processing device according to claim 8, wherein the first movement route data and the second movement route data are the basic information integrated in advance as information about the same person.
  • the information processing apparatus according to appendix 4, wherein the appearance feature is a feature of a human face.
  • the integrated information generated by the basic information integration unit is compared with the integrated information in which the integration relationship corresponding to the specific behavior pattern is set in advance and the integrated information generated by the basic information integration unit.
  • the information processing apparatus according to any one of appendices 1 to 10, further comprising a determination unit that determines whether or not the integrated information corresponds to the specific action pattern.
  • Appendix 12 The information processing apparatus according to any one of appendices 1 to 11, wherein the basic information acquisition unit acquires the basic information from video data of a plurality of cameras that photograph different locations.
  • Appendix 13 Based on video data of one or more persons photographed, a plurality of types of basic information, which is information used for person monitoring, are acquired. A data generation method for generating integrated information in which basic information satisfying a predetermined relationship among the basic information is integrated as information of the same person.

Abstract

映像データから人物についての有用な情報を得ることができる情報処理装置、データ生成方法、及びプログラムを提供する。実施の形態にかかる情報処理装置（１）は、１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得部（２）と、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合部（３）とを有する。

Description

情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は情報処理装置、データ生成方法、及びプログラムに関する。
　近年、イベント会場など大勢の人が集まる場所において、テロなどの危険行為のリスクが高まっている。このような背景から、カメラ映像を用いた監視技術の開発が求められている。例えば、特許文献１では、カメラの映像を利用して、監視対象の不審行動を検知する不審行動検知システムについて開示している。このシステムでは、監視対象の移動軌跡情報を取得し、移動軌跡情報に基づいて監視対象の行動状態を識別して、監視対象の不審行動を自動で判定する。また、関連する技術として、カメラの映像に含まれる人物の顔情報を検出する技術も知られている。
国際公開第２００８／１１１４５９号
　このように、人物の移動の軌跡情報や顔情報といった様々な種類の情報をカメラの映像から取得することが技術的に可能である。しかしながら、これらのうち１種類の情報からでは有用な情報が得られがたい場合がある。したがって、独立して得られるこれらの情報をより有用に活用することが求められている。
　そこで、本明細書に開示される実施形態が達成しようとする目的の１つは、映像データから人物についての有用な情報を得ることができる情報処理装置、データ生成方法、及びプログラムを提供することにある。
　第１の態様にかかる情報処理装置は、１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得手段と、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合手段とを有する。
　第２の態様にかかるデータ生成方法では、１人以上の人物が撮影された映像に基づいて、人物の監視に用いられる情報である基本情報を複数種類取得し、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する。
　第３の態様にかかるプログラムは、１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得ステップと、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合ステップとをコンピュータに実行させる。
　上述の態様によれば、映像データから人物についての有用な情報を得ることができる情報処理装置、データ生成方法、及びプログラムを提供することができる。
実施の形態の概要にかかる情報処理装置の構成の一例を示すブロック図である。 実施の形態にかかる監視装置の構成の一例を示すブロック図である。 基本情報保存部に記憶された移動経路データのテーブルの一例を示す模式図である。 基本情報保存部に記憶された人流データのテーブルの一例を示す模式図である。 基本情報保存部に記憶された顔データのテーブルの一例を示す模式図である。 統合情報サンプル保存部に記憶された統合情報のテーブルの一例を示す模式図である。 カメラの映像を模式的に示す図である。 統合情報のサンプルを作成する段階の監視装置の動作の一例を示すフローチャートである。 監視処理が行われる段階の監視装置の動作の一例を示すフローチャートである。 実施の形態にかかる監視装置のハードウェア構成の一例を示すブロック図である。
＜実施の形態の概要＞
　実施の形態の詳細な説明に先立って、実施の形態の概要を説明する。図１は、実施の形態の概要にかかる情報処理装置１の構成の一例を示すブロック図である。図１に示すように、情報処理装置１は、基本情報取得部２と、基本情報統合部３とを有する。
　基本情報取得部２は、１人以上の人物が撮影された映像データに基づいて基本情報を複数種類取得する。ここで、基本情報とは、人物の監視に用いられる情報であり、例えば人物の外見的特徴についての情報であってもよいし、移動中の人物の位置についての情報であってもよい。人物の外見的特徴は例えば人物の顔の特徴である。この場合、人物の外見的特徴についての情報は、人物の撮影された顔（顔の画像特徴量）についての情報である。なお、外見的特徴は、映像から取得可能な外見的な特徴であればよく、顔に限られない。例えば、外見的特徴は、体型についての特徴であってもよい。移動中の人物の位置についての情報は、例えば、同一の人物の移動経路を示すデータである移動経路データであってもよいし、複数の人物の移動による人流を示すデータである人流データであってもよいし、その両方であってもよい。
　基本情報統合部３は、基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する。特に、基本情報統合部３は、複数種類の基本情報を統合した統合情報を生成する。例えば、基本情報統合部３は、ある人物の顔についての情報と、当該人物の移動経路データとを統合する。また、例えば、基本情報統合部３は、ある人物の顔についての情報と、当該人物を含む人流を示す人流データとを統合する。また、例えば、基本情報統合部３は、ある人物の移動経路データと、当該人物を含む人流を示す人流データとを統合する。基本情報統合部３は、２以上の基本情報を関連する１つのデータ群として統合すればよく、統合対象の基本情報の数は任意である。なお、基本情報統合部３は、さらに、同じ種類の基本情報を統合してもよい。例えば、基本情報統合部３は、ある人物の顔についての２つの異なる情報と、当該人物の移動経路データとを統合してもよい。
　情報処理装置１では、上述の通り、基本情報統合部３により、同一の人物に対する異なる種類の基本情報が統合される。このため、情報処理装置１によれば、異なる種類の別々の基本情報を、同一の人物に対する基本情報として関連づけることができる。したがって、同一の人物について多角的に分析することができる。つまり、情報処理装置１によれば、映像データから人物についての有用な情報を得ることができる。
＜実施の形態の詳細＞
　次に、実施の形態の詳細について説明する。図２は、実施の形態にかかる監視装置１０の構成の一例を示すブロック図である。監視装置１０は、図１の情報処理装置１に対応する装置である。監視装置１０は、１以上のカメラ（図示せず）と有線又は無線ネットワークにより通信可能に接続されており、カメラから送信された映像データを受信することができる。なお、各カメラは、例えば所定のエリア内に点在して設置されており、カメラの設置箇所周辺の様子を撮影する。これにより、カメラの設置箇所周辺に存在する人物が撮影可能である。なお、カメラの設置場所は任意である。例えば、カメラの設置場所は、空港、テーマパーク、ショッピングセンター、スタジアムなどであってもよい。
　図２に示すように、監視装置１０は、映像取得部１００と、映像分析部１０１と、統合情報サンプル作成部１０２と、基本情報統合部１０３と、特定行動サンプル作成部１０４と、特定行動判定部１０５と、判定結果出力部１０６と、基本情報保存部１０７と、統合情報サンプル保存部１０８と、統合情報保存部１０９と、特定行動サンプル保存部１１０を有する。
　映像取得部１００は、カメラによる撮影により生成された映像データを取得する。本実施の形態では、Ｎ個（Ｎは１以上の整数）のカメラのそれぞれの映像データを取得する。なお、本実施の形態では、映像取得部１００は、カメラが送信した映像データを取得するが、監視装置１０は、監視装置１０の記憶装置に記憶された映像データを読み出して取得してもよい。このように、映像取得部１００は、映像データを取得できればよく、その取得方法は任意である。
　映像分析部１０１は、図１における基本情報取得部２に相当する。映像分析部１０１は、映像取得部１００が取得した映像データを分析し、基本情報を取得する。例えば、映像分析部１０１は、異なる場所を撮影する複数のカメラの各映像データから、基本情報を取得する。本実施の形態では、映像分析部１０１は、画像解析処理により、移動経路データと、人流データと、人物の顔についての情報（以下、顔データと呼ぶ）とを基本情報として取得する。なお、これらの基本情報の取得には、公知の画像解析処理技術を用いることができる。
　映像分析部１０１は、取得した基本情報を基本情報保存部１０７に格納する。基本情報保存部１０７は、基本情報を格納するための記憶領域である。図３は、基本情報保存部１０７に記憶された移動経路データのテーブルの一例を示す模式図である。より具体的には、図３は、Ｎ個のカメラのうちｉ番目（ｉは１以上Ｎ以下の整数）のカメラの映像データから取得された移動経路データを示している。図３に示すように、映像分析部１０１により取得された移動経路データは、移動経路データのそれぞれを識別するためのＩＤと、時刻毎の人物の位置情報とを含むデータである。図３において、Ａｉ＿１、Ａｉ＿２などがＩＤを示し、ｔ１、ｔ２などが時刻を示し、（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）などが位置情報（座標）を示す。なお、図３に示したデータ形式は一例であって他のデータ形式のデータが移動経路データとして取得されてもよい。
　移動経路データの生成には、同一人物の時刻毎の位置情報を映像データから取得することが求められる。人が密集している場合には、各人物の時刻毎の位置情報を映像データから取得することが難しいことがある。このような場合、人流データとして、移動中の人物の位置についての情報が取得可能である。なお、人流データとは、複数の人物の移動による人流を示すデータであるが、より具体的には、例えば、所定数以上の人物の略同一方向への継続的な移動の流れを示すデータともいうことができる。
　図４は、基本情報保存部１０７に記憶された人流データのテーブルの一例を示す模式図である。より具体的には、図４は、Ｎ個のカメラのうちｉ番目（ｉは１以上Ｎ以下の整数）のカメラの映像データから取得された人流データを示している。図４に示すように、映像分析部１０１により取得された人流データは、人流データのそれぞれを識別するためのＩＤと、人流の領域と、発生時間帯と、人流の速度とを含むデータである。人流の領域は、人流が発生している領域であり、人流が通過する経路を示す位置情報と言うこともできる。人流の領域は、例えば帯状の地理的な範囲を示す位置情報である。また、発生時間帯は、人流がいつからいつまで発生していたかを示す情報である。速度は、人流の移動の速さ及び移動の方向を示す情報である。図４において、Ｂｉ＿１、Ｂｉ＿２などがＩＤを示し、ａ１、ａ２などが人流の領域を示し、Ｔ１、Ｔ２などが発生時間帯を示し、ｖ１、ｖ２などが速度を示す。なお、図４に示したデータ形式は一例であって他のデータ形式のデータが人流データとして取得されてもよい。
　図５は、基本情報保存部１０７に記憶された顔データのテーブルの一例を示す模式図である。より具体的には、図５は、Ｎ個のカメラのうちｉ番目（ｉは１以上Ｎ以下の整数）のカメラの映像データから取得された顔データを示している。図５に示すように、映像分析部１０１により取得された顔データは、顔データのそれぞれを識別するためのＩＤと、顔の検出位置情報と、検出された顔を表す画像特徴量と、検出時刻とを含むデータである。図５において、Ｃｉ＿１、Ｃｉ＿２などがＩＤを示し、（ｘ１１，ｙ１１）、（ｘ２１，ｙ２１）などが検出位置情報（座標）を示し、ｆ１、ｆ２などが画像特徴量を示し、ｔ１、ｔ２などが検出時刻を示す。ここで、検出位置情報は、例えば、顔が含まれる領域（例えば、矩形で指定される領域）の画像中の位置を示す情報である。なお、図５に示したデータ形式は一例であって他のデータ形式のデータが顔データとして取得されてもよい。例えば、顔データは、特徴量に代えて、又は特徴量とともに、顔画像を含んでもよい。
　統合情報サンプル作成部１０２は、同一の人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。なお、このサンプルは、複数の同種の基本情報を統合したデータであってもよいし、異なる基本情報を統合したデータであってもよい。統合情報サンプル作成部１０２が生成するサンプルは、参照情報とも称される。参照情報は、基本情報統合部１０３において統合情報を生成するために参照される情報である。
　統合情報サンプル作成部１０２は、例えば、同一の人物についての基本情報であるとしてユーザにより指定された複数の基本情報を関連づけることにより、統合情報のサンプルを作成する。この場合、例えば、ユーザは、各カメラの映像の目視による確認を行い、基本情報保存部１０７に記憶されている基本情報を関連づけるよう指示する入力を統合情報サンプル作成部１０２に与える。これにより、統合情報サンプル作成部１０２は、同一の人物についての複数の基本情報から構成される統合情報を作成する。
　また、統合情報サンプル作成部１０２は、人物の予め定められた行動パターンに基づいて、統合情報のサンプルを自動的に生成してもよい。なお、この場合の統合情報サンプル作成部１０２は、参照情報生成部とも称される。例えば、各カメラが所定のエリア（例えば、テーマパークなど）に配置されており、当該エリアにおける人物の移動態様の知見がある場合が考えられる。すなわち、例えば、当該エリアの通路についての情報、順路についての情報などから、当該エリア内の人物の行動パターンの一例を予め特定できる場合がある。そのような場合には、統合情報サンプル作成部１０２は、所定の行動パターンを表す情報からこの所定の行動パターンで仮に人物が移動した場合に得られる複数のダミーの基本情報を生成し、生成したダミーの基本情報を関連づけて統合情報のダミーデータを生成する。ここで、所定の行動パターンに基づいて生成されるダミーの基本情報は、具体的には、移動経路データ又は人流データである。なお、サンプルとしての統合情報は、さらに、所定の顔データと統合されてもよい。このように、参照情報は、人物の予め定められた行動パターンに基づいて同一人物として統合される複数の基本情報を含む情報として構成されてもよい。
　統合情報サンプル作成部１０２は、作成した統合情報を統合情報サンプル保存部１０８に格納する。統合情報サンプル保存部１０８は、統合情報サンプル作成部１０２により作成された統合情報サンプルを格納するための記憶領域である。図６は、統合情報サンプル保存部１０８に記憶された統合情報のテーブルの一例を示す模式図である。なお、後述する統合情報保存部１０９及び特定行動サンプル保存部１１０も、同様のデータ構成の統合情報を格納する。図６に示すように、統合情報は、統合情報のそれぞれを識別するためのＩＤと、基本情報の組み合わせ（すなわち複数の基本情報の対応関係）を示す情報とを含むデータである。図６において、Ｘ１、Ｘ２、Ｘ３などがＩＤを示し、（Ａ１＿１，Ｂ３＿２，Ｃ３＿１）、（Ａ２＿１，Ｂ１＿３）などが関連づけられた基本情報の組み合わせを示している。なお、図６に示した例では、基本情報の組み合わせは、基本情報のＩＤの組み合わせにより表されている。
　図６に示されるように、統合情報は基本情報の任意の組み合わせにより構成される。すなわち、図６においてＩＤがＸ１である統合情報に示されるように、統合情報は映像分析部１０１により取得可能な全ての種類の基本情報を含んでもよい。また、ＩＤがＸ２、Ｘ３、又はＸ４である統合情報に示されるように、統合情報は映像分析部１０１により取得可能な種類のうち一部の種類の基本情報を含んでもよい。また、ＩＤがＸ５である統合情報に示されるように、統合情報は同じ種類の基本情報を含んでもよい。
　基本情報統合部１０３は、図１における基本情報統合部３に相当し、同一の人物についての複数の基本情報を統合して、統合情報を生成する。基本情報統合部１０３は、同一の人物についての異なる種類の基本情報を統合してもよいし、同一種類の基本情報を統合してもよい。基本情報統合部１０３は、同一のカメラの映像データから取得される基本情報を統合してもよいし、異なるカメラの映像データから取得される基本情報を統合してもよい。基本情報統合部１０３は、基本情報保存部１０７に格納されている基本情報について、自動的に統合し、生成した統合情報を統合情報保存部１０９に格納する。なお、統合情報保存部１０９は、基本情報統合部１０３により生成された統合情報を格納するための記憶領域である。
　本実施の形態では、基本情報統合部１０３は、例えば次のようにして、基本情報保存部１０７に格納されている同一の人物についての基本情報を統合する。
　基本情報統合部１０３は、例えば、人流データにより示される人流の位置と、移動経路データにより示される移動位置とに基づいて、人流データと移動経路データとを統合する。本実施の形態では、上記人流の位置は、図４に示す人流データにおける人流の領域の情報（ａ１、ａ２など）により特定される。また、上記移動位置は、図３に示す移動経路データにおける位置の情報（（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）など）により特定される。
　基本情報統合部１０３によるこのような統合方法について、図７を参照して、より詳細に説明する。図７は、カメラの映像を模式的に示す図である。図７に示した例では、ハッチングされた領域により人流９０が示されており、破線により人物９１の移動経路９２と人物９３の移動経路９４が示されている。なお、ここでは、人流９０は左から右に流れているものとする。また、図７に示されるように、人流が発生している場所では、複数の人物が密集している可能性があり、そのような場合には、各人物の移動経路の基本情報が取得されない場合がある。
　図７に示すように、人物９１の移動経路９２の終端は、人流９０の位置に近接している。このような場合、その後、人物９１は、人流９０として移動したことが推測される。すなわち、移動経路９２に関する基本情報と人流９０に関する基本情報は同一の人物についての基本情報として統合可能である。同様に、例えば、人物の移動経路の始端が人流に近接している場合には、当該人物は人流から離脱して移動したと推測できる。このように、基本情報統合部１０３は、例えば、人流データにより示される人流の位置と、移動経路データにより示される移動位置とが近接している場合、すなわち、例えば両者の位置の差が所定の距離以下である場合、これらの基本情報を統合する。
　また、基本情報統合部１０３は、移動経路データにより示される位置と、顔が取得された位置とに基づいて、移動経路データと顔データとを統合してもよい。例えば、移動経路データが、ある人物がある時刻に地点Ｐを通過したことを示しているとする。この場合、当該時刻に地点Ｐの近傍で撮影された顔についての顔データは、この移動経路データが対象としている人物と同一の人物についての顔データであると推測できる。すなわち、基本情報統合部１０３は、移動経路データにより示される位置と、顔が取得された位置との差が所定の距離以下である場合、移動経路データと顔データとを統合してもよい。なお、人流データにより示される位置と、顔が取得された位置とに基づいて、人流データと顔データとを統合してもよい。このように、基本情報統合部１０３は、移動中の人物の位置についての基本情報により示される位置と、人物の外見的特徴が取得された位置とに基づいて、移動中の人物の位置についての基本情報と人物の外見的特徴についての基本情報とを統合してもよい。
　なお、基本情報統合部１０３は、移動経路データと統合される人流データが示す人流の発生領域内で顔が取得された場合、この顔についての顔データを当該移動経路データと統合してもよい。人流は様々な人物の移動に対応しているため、人流データと統合される対象の移動経路データは、複数存在する場合がある。例えば、ある顔データ（顔データＣとする）における顔の取得時刻及び取得位置が、ある人流データ（人流データＢとする）と対応しているとする。また、人流データＢには、３つの移動経路データ（移動経路データＡ１、Ａ２、Ａ３とする）と統合可能であるとする。この場合、基本情報統合部１０３は、移動経路データＡ１、Ａ２、Ａ３のうち、顔データＣと統合する移動経路データを次のように選択する。基本情報統合部１０３は、移動経路データＡ１、Ａ２、Ａ３に対応する各人物の人流への合流時刻及び合流位置と、人流の速度と、人流内の顔の取得時刻及び取得位置とに基づいて、当該取得時刻及び取得位置で顔の取得が可能な人物を推定する。そして、基本情報統合部１０３は、顔データと、推定された人物に対応する移動経路データとを統合する。
　また、基本情報統合部１０３は、統合情報サンプル保存部１０８に記憶されている統合情報（すなわち参照情報）を用いて、基本情報の統合を行ってもよい。上述した通り、統合情報サンプル保存部１０８には、統合情報サンプル作成部１０２により作成された統合情報のサンプルが記憶されている。すなわち、統合情報サンプル保存部１０８に記憶されている統合情報は、予め統合関係が設定されている統合情報である。すなわち、統合情報サンプル保存部１０８に記憶されている統合情報は、同一の人物についての情報であるとして予め統合されている複数の基本情報により構成されている。基本情報統合部１０３は、予め統合関係が設定されている統合情報を用いて、例えば、次のように基本情報の統合を行う。なお、説明のため、統合情報サンプル保存部１０８に記憶されている、ある統合情報が、基本情報ｐ１と基本情報ｐ２の統合を示すものであるとする。すなわち、基本情報ｐ１と基本情報ｐ２は、予め統合関係が設定されている統合情報において統合されている基本情報である。換言すると、基本情報ｐ１と基本情報ｐ２は、同一の人物についての情報であるとして予め統合されている基本情報である。この場合、基本情報統合部１０３は、例えば、基本情報ｐ１と類似する基本情報ｑ１と、基本情報ｐ２と類似する基本情報ｑ２とを統合する。なお、このような統合において、例えば、基本情報ｐ１、ｑ１、ｐ２、ｑ２は、いずれも移動経路データである。また、例えば、基本情報ｐ１、ｑ１、ｐ２、ｑ２は、いずれも人流データである。また、例えば、基本情報ｐ１、ｑ１は移動経路データであり、基本情報ｐ２、ｑ２は人流データである。
　なお、基本情報統合部１０３は、具体的には、基本情報により表される特徴（例えば、位置又は形状など）の差が所定基準以下である場合、２つの基本情報が類似していると判定する。つまり、基本情報ｐ１により表される特徴と、基本情報ｑ１により表される特徴との差が第１の所定基準以下である場合、両基本情報は類似していると判定される。同様に、基本情報ｐ２により表される特徴と、基本情報ｑ２により表される特徴との差が第２の所定基準以下である場合、両基本情報は類似していると判定される。なお、第１の所定基準と第２の所定基準は、同じであってもよいし、異なっていてもよい。つまり、基本情報ｑ１により表される特徴との差が所定基準以下である特徴を表す基本情報ｐ１と、基本情報ｑ２により表される特徴との差が所定基準以下である特徴を表す基本情報ｐ２とを含む参照情報に基づいて基本情報ｑ１、ｑ２が統合される。具体的には、基本情報統合部１０３は、基本情報ｐ１と基本情報ｑ１の類似及び基本情報ｐ２と基本情報ｑ２の類似を、例えば、基本情報から特定される位置の類似によって判定する。基本情報統合部１０３は、基本情報から特定される位置の類似に加え、基本情報から特定される動線の類似によって判定してもよい。具体的には、移動経路データ同士の類似について、基本情報統合部１０３は、例えば、移動経路の存在する位置が類似しているか否か、及び移動経路（すなわち動線）により表される形が類似しているか否かにより判定する。また、人流データ同士の類似について、基本情報統合部１０３は、例えば、人流の存在する位置が類似しているか否か、及び人流（すなわち動線）により表される形が類似しているか否かにより判定する。
　また、基本情報統合部１０３は、予め統合関係が設定されている統合情報を用いて、例えば、次のように基本情報の統合を行ってもよい。なお、説明のため、第１のカメラの映像データから取得された移動経路データｐ３と第２のカメラの映像データから取得された移動経路データｐ４が、予め統合関係が設定されている統合情報において統合されているものとする。ここで、第１のカメラと第２のカメラは離れた場所に設置されている。また、移動経路データｐ３と移動経路データｐ４に基づいて算出される、第１のカメラの設置場所から第２のカメラの設置場所への移動時間がｔｐであるとする。また、第１のカメラの映像データから取得された移動経路データｑ３と第２のカメラの映像データから取得された移動経路データｑ４から算出される、第１のカメラの設置場所から第２のカメラの設置場所への移動時間ｔｑとする。この場合、基本情報統合部１０３は、移動時間ｔｑと移動時間ｔｐとの差が所定範囲内であるとき、移動経路データｑ３と移動経路データｑ４を統合する。なお、統合の信頼性を上げるため、基本情報統合部１０３は、ｔｐとの差が所定範囲内である移動時間で第１のカメラの設置場所から第２のカメラの設置場所へ人物が移動しているというサンプルが十分に存在する場合に限って、上述の統合を行ってもよい。つまり、第１のカメラの設置場所から第２のカメラの設置場所への移動時間のｔｐと差が所定範囲内である移動経路データの組を含む統合情報が統合情報サンプル保存部１０８に所定数以上ある場合のみ移動経路データｑ３、ｑ４の統合が行われてもよい。
　なお、統合情報サンプル保存部１０８に記憶されている統合情報（すなわち、予め統合関係が設定されている統合情報）を用いた基本情報の統合が行われる場合、基本情報統合部１０３は、いずれの統合情報を用いてもよい。すなわち、ユーザからの指定による基本情報の関連づけによって作成された統合情報が用いられてもよいし、人物の予め定められた行動パターンに基づいて自動的に生成されたサンプルである統合情報が用いられてもよい。
　上述の通り、基本情報統合部１０３は、同一の人物についての同一種類の基本情報を統合してもよい。例えば、顔データにおける特徴量が類似する場合、基本情報統合部１０３は、複数の顔データを統合してもよい。なお、基本情報統合部１０３は、顔データ同士の統合に限らず、移動経路データ同士を統合してもよいし、人流データ同士を統合してもよい。例えば、基本情報統合部１０３は、移動経路データにより示される移動位置の終端と始端が互いに近接している場合、複数の移動経路データを統合してもよい。また、例えば、基本情報統合部１０３は、人流データにより示される人流の終端と始端が近接している場合、複数の人流データを統合してもよい。
　以上、基本情報統合部１０３の統合方法について説明したが、統合方法は上記に限定されず、他の方法により統合が行われてもよい。また、基本情報統合部１０３は、統合を行う際、統合候補の複数の基本情報が同一の人物についての基本情報である確率を示す所定の指標値を用いて、統合の可否を決定してもよい。この指標値としては、同一の人物についての基本情報である確率を示す値であればよく、例えば、基本情報同士の類似度が用いられてもよいし、基本情報に示される位置の近接度が用いられてもよい。
　次に、再び図２を参照し、監視装置１０の構成について説明を続ける。
　特定行動サンプル作成部１０４は、統合情報サンプル作成部１０２と同様に、統合情報のサンプルを作成する。ただし、特定行動サンプル作成部１０４は、特定行動判定部１０５における判定基準として用いられる統合情報のサンプルを作成する。換言すると、特定行動サンプル作成部１０４は、特定の行動をとる人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。ここで、特定の行動とは、例えば、不審者がとると想定される行動パターンであるが、これに限らず、任意の特定の行動パターンであってもよい。なお、特定行動サンプル作成部１０４が作成するサンプルも、統合情報サンプル作成部１０２と同様、複数の同種の基本情報を統合したデータであってもよいし、異なる基本情報を統合したデータであってもよい。
　特定行動サンプル作成部１０４は、例えば、予め定められた特定の行動パターンに基づいて、統合情報のサンプルを自動的に生成する。例えば、特定行動サンプル作成部１０４は、入力として、不審者がとると想定される行動パターンを表す情報が与えられる。そして、特定行動サンプル作成部１０４は、与えられたこの情報から特定の行動パターンで仮に人物が移動した場合に得られる複数のダミーの基本情報を生成し、生成したダミーの基本情報を関連づけて統合情報のダミーデータを生成する。ここで、所定の行動パターンに基づいて生成されるダミーの基本情報は、具体的には、移動経路データ又は人流データである。なお、サンプルとしての統合情報は、さらに、所定の顔データと統合されてもよい。
　なお、特定行動サンプル作成部１０４は、統合情報サンプル作成部１０２と同様、例えば、特定の行動をとる同一の人物についての基本情報であるとしてユーザにより指定された複数の基本情報を関連づけることにより、統合情報のサンプルを作成してもよい。
　特定行動サンプル作成部１０４は、作成した統合情報を特定行動サンプル保存部１１０に格納する。特定行動サンプル保存部１１０は、特定行動サンプル作成部１０４により作成された統合情報サンプルを格納するための記憶領域である。
　特定行動判定部１０５は、特定の行動パターンに対応する予め統合関係が設定されている統合情報と、基本情報統合部１０３により生成された統合情報とを比較する。つまり、特定行動判定部１０５は、特定行動サンプル作成部１０４によって作成された統合情報と、基本情報統合部１０３により生成された統合情報とを比較する。そして、特定行動判定部１０５は、比較結果にしたがって、基本情報統合部１０３により生成された統合情報が、特定の行動パターンに対応する統合情報であるか否かを判定する。例えば、特定行動判定部１０５は、基本情報統合部１０３により生成された統合情報が、特定行動サンプル作成部１０４によって作成された統合情報と類似する場合、特定の行動パターンに対応する統合情報であると判定する。なお、このような判定は、機械学習などで学習されたモデルを用いて行うことができる。これにより、特定行動判定部１０５は、カメラからの映像データから取得された基本情報が、不審な行動などの特定の行動に関連するものであるか否かが判定できる。すなわち、特定行動判定部１０５による判定によれば、例えば、不審な行動の発生の検出が可能となる。
　判定結果出力部１０６は、特定行動判定部１０５による判定結果を出力する。判定結果出力部１０６は、出力として、ディスプレイに表示してもよいし、他の装置に送信してもよい。なお、判定結果出力部１０６は、判定結果として例えば、特定の行動パターンに対応する統合情報であると判定された統合情報を出力してもよいし、その統合情報に含まれる基本情報（例えば顔データ）を出力してもよい。
　次に、監視装置１０の動作例について説明する。監視装置１０の動作として、統合情報のサンプルを作成する段階の動作と、監視処理が行われる段階の動作について説明する。
　図８は、統合情報のサンプルを作成する段階の監視装置１０の動作の一例を示すフローチャートである。以下、図８に沿って、統合情報のサンプルを作成する段階の監視装置１０の動作の一例を説明する。
　ステップ１００（Ｓ１００）において、映像取得部１００が、カメラによる撮影により生成された映像データを取得する。
　次に、ステップ１０１（Ｓ１０１）において、映像分析部１０１が、ステップ１００で取得された映像データを分析し、基本情報を取得する。
　次に、ステップ１０２（Ｓ１０２）において、統合情報サンプル作成部１０２が、同一の人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。例えば、統合情報サンプル作成部１０２は、ユーザからの指示にしたがって、ステップ１０１で取得された基本情報を関連づけることにより、同一の人物についての複数の基本情報から構成される統合情報を作成する。なお、ステップ１０２において、統合情報サンプル作成部１０２が、人物の予め定められた行動パターンに基づいて、統合情報のサンプルを自動的に生成する場合、ステップ１０１で取得された基本情報を必ずしも必要としない。よって、この場合には、ステップ１００及びステップ１０１が省略されてもよい。
　次に、ステップ１０３（Ｓ１０３）において、特定行動サンプル作成部１０４が、特定の行動をとる人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。例えば、上述したように、特定行動サンプル作成部１０４は、予め定められた特定の行動パターンに基づいて、統合情報のサンプルを自動的に生成する。
　以上の動作により、統合情報サンプル保存部１０８には、基本情報統合部１０３による基本情報の統合処理に利用される統合情報のサンプルが格納され、特定行動サンプル保存部１１０には、特定行動判定部１０５による判定処理に利用される統合情報のサンプルが格納される。なお、図８に示したフローチャートでは、ステップ１０２の後にステップ１０３が行われているが、これらの実施順序は逆であってもよいし、並行して行われてもよいことは言うまでもない。
　図９は、監視処理が行われる段階の監視装置１０の動作の一例を示すフローチャートである。以下、図９に沿って、監視処理が行われる段階の監視装置１０の動作の一例を説明する。
　ステップ２００（Ｓ２００）において、映像取得部１００が、カメラによる撮影により生成された映像データを取得する。なお、ステップ２００で取得される映像データは、監視対象の映像データである。
　次に、ステップ２０１（Ｓ２０１）において、映像分析部１０１が、ステップ２００で取得された映像データを分析し、基本情報を取得する。
　次に、ステップ２０２（Ｓ２０２）において、基本情報統合部１０３が、例えば上述した統合方法を用いて、ステップ２０１で取得された基本情報を統合する。これにより、ステップ２００で取得された映像データに写っている同一の人物についての複数の基本情報が関連づけられる。
　次に、ステップ２０３（Ｓ２０３）において、特定行動判定部１０５は、ステップ２０２で得られた統合情報が、特定の行動パターンに対応する統合情報であるか否かを判定する。すなわち、ステップ２０３において、ステップ２００で取得された映像データに、特定の行動パターンに該当する人物の画像情報が含まれるか否かの判定がなされる。
　次に、ステップ２０４（Ｓ２０４）において、判定結果出力部１０６は、ステップ２０３における判定結果を出力する。
　次に、監視装置１０のハードウェア構成の一例について説明する。図１０は、監視装置１０のハードウェア構成の一例を示すブロック図である。図１０に示すように、監視装置１０は、例えば、ネットワークインタフェース１５０、メモリ１５１、及びプロセッサ１５２を含む。
　ネットワークインタフェース１５０は、カメラなどの他の装置と通信するために使用される。ネットワークインタフェース１５０は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。
　メモリ１５１は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。なお、監視装置１０は、メモリ１５１の他にハードディスクなどの記憶装置を有してもよい。
　メモリ１５１は、プロセッサ１５２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。
　このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　プロセッサ１５２は、メモリ１５１からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述した監視装置１０の処理を行う。すなわち、映像取得部１００、映像分析部１０１、統合情報サンプル作成部１０２、基本情報統合部１０３、特定行動サンプル作成部１０４、特定行動判定部１０５、及び判定結果出力部１０６の各処理は、プログラムの実行により実現されてもよい。このように、監視装置１０は、コンピュータとしての機能を備えている。プロセッサ１５２は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ１５２は、複数のプロセッサを含んでもよい。
　メモリ１５１又は記憶装置は、上述した基本情報保存部１０７、統合情報サンプル保存部１０８、統合情報保存部１０９、及び特定行動サンプル保存部１１０として利用されてもよい。
　また、監視装置１０は、さらに、マウス、キーボードなどといった入力装置を備えてもよいし、ディスプレイなどの出力装置を備えてもよい。なお、監視装置１０は、監視装置１０に対する入力情報を、ネットワークを介して他の装置から取得してもよいし、監視装置１０の出力情報を、ネットワークを介して他の装置に出力してもよい。
　以上、実施の形態について説明した。監視装置１０では、映像分析部１０１により取得された、同一の人物に対する基本情報が、同種か異種かに関わらず基本情報統合部１０３により統合される。したがって、これらの基本情報が関連づけられることなく管理される場合に比べ、より有用な情報を構築することができる。特に、監視装置１０では、同一の人物に関する移動経路データ、人流データ、及び顔データを関連づけることができる。これらのデータは、必ずしも同時に得られるとは限らない。すなわち、例えば、あるカメラの映像データから、ある人物の移動経路データが得られたとしても、当該人物がカメラとは逆の方向を向いている場合には顔データが得られない。また、例えば、ある人物が人流にのって移動している場合、人流における他の人物などが障害となって当該人物の移動経路や顔をカメラが撮影できないときには、人流データが得られたとしても人物の移動経路データ及び顔データは得られない。本実施の形態では、基本情報統合部１０３によりこれらのデータが統合されるため、このような場合であっても、同一の人物の情報として、データを補完することができる。
　また、カメラが複数存在する場合には、同一の人物の基本情報が様々な映像データから取得されうるが、基本情報統合部１０３によりこれらのデータを同一の人物の基本情報として関連づけることができる。
　また、本実施の形態は、統合情報サンプル保存部１０８に格納されている統合情報を用いて基本情報の統合が行われる。このため、予め設定されている統合関係に着目した統合を実現することができる。さらに、統合情報サンプル保存部１０８に格納されている統合情報は、人物の予め定められた行動パターンに基づいて作成されたサンプルとすることができる。このため、統合関係を予め設定した統合情報を容易に準備することができる。
　また、本実施の形態では、監視装置１０は、特定行動判定部１０５を備える。このため、特定の行動パターンをとる人物を発見することができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得手段と、
　前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合手段と
　を有する情報処理装置。
（付記２）
　前記基本情報取得手段は、前記基本情報として、少なくとも、移動中の人物の位置についての情報を取得する
　付記１に記載の情報処理装置。
（付記３）
　移動中の人物の位置についての前記情報は、複数の人物の移動による人流を示すデータである人流データと、同一の人物の移動経路を示すデータである移動経路データとを含み、
　前記基本情報統合手段は、前記人流データにより示される人流の位置と、前記移動経路データにより示される移動位置とに基づいて、前記人流データと前記移動経路データとを統合する
　付記２に記載の情報処理装置。
（付記４）
　前記基本情報取得手段は、前記基本情報として、さらに、人物の外見的特徴についての情報を取得し、
　前記基本情報統合手段は、移動中の人物の位置についての前記情報により示される位置と、前記外見的特徴が取得された位置とに基づいて、移動中の人物の位置についての前記情報と人物の外見的特徴についての前記情報とを統合する
　付記２又は３のいずれか１項に記載の情報処理装置。
（付記５）
　前記基本情報統合手段は、前記統合情報を生成するために参照される参照情報に基づいて、前記基本情報のうちの第１の基本情報と第２の基本情報とを統合し、
　前記参照情報は、前記第１の基本情報により表される特徴との差が所定基準以下である特徴を表す第３の基本情報と、前記第２の基本情報により表される特徴との差が所定基準以下である特徴を表す第４の基本情報とを含む
　付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
　前記参照情報は、人物の予め定められた行動パターンに基づいて同一人物として統合される、前記第３の基本情報及び前記第４の基本情報を含む
　付記５に記載の情報処理装置。
（付記７）
　人物の予め定められた行動パターンに基づいて、前記参照情報を生成する参照情報生成手段をさらに有する
　付記６に記載の情報処理装置。
（付記８）
　前記基本情報統合手段は、さらに、同一の人物についての同一種類の前記基本情報を統合する
　付記１乃至７のいずれか１項に記載の情報処理装置。
（付記９）
　前記基本情報取得手段は、前記基本情報として、少なくとも、同一の人物の移動経路を示すデータである移動経路データを取得し、
　前記基本情報統合手段は、第１の移動経路データ及び第２の移動経路データに基づいて算出される第１のカメラの設置場所から第２のカメラの設置場所への移動時間と、第３の移動経路データ及び第４の移動経路データに基づいて算出される前記第１のカメラの設置場所から前記第２のカメラの設置場所への移動時間との差が所定範囲内であるとき、前記第３の移動経路データと前記第４の移動経路データを統合し、
　前記第１の移動経路データ及び前記第３の移動経路データは、前記第１のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
　前記第２の移動経路データ及び前記第４の移動経路データは、前記第１のカメラから離れた場所に設置された前記第２のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
　前記第１の移動経路データと前記第２の移動経路データは、同一の人物についての情報であるとして予め統合されている前記基本情報である
　付記８に記載の情報処理装置。
（付記１０）
　前記外見的特徴は人物の顔の特徴である
　付記４に記載の情報処理装置。
（付記１１）
　特定の行動パターンに対応する予め統合関係が設定されている統合情報と、前記基本情報統合手段により生成された前記統合情報とを比較して、前記基本情報統合手段により生成された前記統合情報が、前記特定の行動パターンに対応する前記統合情報であるか否かを判定する判定手段をさらに有する
　付記１乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
　前記基本情報取得手段は、異なる場所を撮影する複数のカメラの各映像データから、前記基本情報を取得する
　付記１乃至１１のいずれか１項に記載の情報処理装置。
（付記１３）
　１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得し、
　前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する
　データ生成方法。
（付記１４）
　１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得ステップと、
　前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合ステップと
　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年３月２７日に出願された日本出願特願２０１８－０６０８７３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　情報処理装置
２　　基本情報取得部
３　　基本情報統合部
１０　　監視装置
１００　　映像取得部
１０１　　映像分析部
１０２　　統合情報サンプル作成部
１０３　　基本情報統合部
１０４　　特定行動サンプル作成部
１０５　　特定行動判定部
１０６　　判定結果出力部
１０７　　基本情報保存部
１０８　　統合情報サンプル保存部
１０９　　統合情報保存部
１１０　　特定行動サンプル保存部
１５０　　ネットワークインタフェース
１５１　　メモリ
１５２　　プロセッサ

Claims (14)

  1. 　１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得手段と、
    　前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合手段と
    　を有する情報処理装置。
  2. 　前記基本情報取得手段は、前記基本情報として、少なくとも、移動中の人物の位置についての情報を取得する
    　請求項１に記載の情報処理装置。
  3. 　移動中の人物の位置についての前記情報は、複数の人物の移動による人流を示すデータである人流データと、同一の人物の移動経路を示すデータである移動経路データとを含み、
    　前記基本情報統合手段は、前記人流データにより示される人流の位置と、前記移動経路データにより示される移動位置とに基づいて、前記人流データと前記移動経路データとを統合する
    　請求項２に記載の情報処理装置。
  4. 　前記基本情報取得手段は、前記基本情報として、さらに、人物の外見的特徴についての情報を取得し、
    　前記基本情報統合手段は、移動中の人物の位置についての前記情報により示される位置と、前記外見的特徴が取得された位置とに基づいて、移動中の人物の位置についての前記情報と人物の外見的特徴についての前記情報とを統合する
    　請求項２又は３のいずれか１項に記載の情報処理装置。
  5. 　前記基本情報統合手段は、前記統合情報を生成するために参照される参照情報に基づいて、前記基本情報のうちの第１の基本情報と第２の基本情報とを統合し、
    　前記参照情報は、前記第１の基本情報により表される特徴との差が所定基準以下である特徴を表す第３の基本情報と、前記第２の基本情報により表される特徴との差が所定基準以下である特徴を表す第４の基本情報とを含む
    　請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 　前記参照情報は、人物の予め定められた行動パターンに基づいて同一人物として統合される、前記第３の基本情報及び前記第４の基本情報を含む
    　請求項５に記載の情報処理装置。
  7. 　人物の予め定められた行動パターンに基づいて、前記参照情報を生成する参照情報生成手段をさらに有する
    　請求項６に記載の情報処理装置。
  8. 　前記基本情報統合手段は、さらに、同一の人物についての同一種類の前記基本情報を統合する
    　請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 　前記基本情報取得手段は、前記基本情報として、少なくとも、同一の人物の移動経路を示すデータである移動経路データを取得し、
    　前記基本情報統合手段は、第１の移動経路データ及び第２の移動経路データに基づいて算出される第１のカメラの設置場所から第２のカメラの設置場所への移動時間と、第３の移動経路データ及び第４の移動経路データに基づいて算出される前記第１のカメラの設置場所から前記第２のカメラの設置場所への移動時間との差が所定範囲内であるとき、前記第３の移動経路データと前記第４の移動経路データを統合し、
    　前記第１の移動経路データ及び前記第３の移動経路データは、前記第１のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
    　前記第２の移動経路データ及び前記第４の移動経路データは、前記第１のカメラから離れた場所に設置された前記第２のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
    　前記第１の移動経路データと前記第２の移動経路データは、同一の人物についての情報であるとして予め統合されている前記基本情報である
    　請求項８に記載の情報処理装置。
  10. 　前記外見的特徴は人物の顔の特徴である
    　請求項４に記載の情報処理装置。
  11. 　特定の行動パターンに対応する予め統合関係が設定されている統合情報と、前記基本情報統合手段により生成された前記統合情報とを比較して、前記基本情報統合手段により生成された前記統合情報が、前記特定の行動パターンに対応する前記統合情報であるか否かを判定する判定手段をさらに有する
    　請求項１乃至１０のいずれか１項に記載の情報処理装置。
  12. 　前記基本情報取得手段は、異なる場所を撮影する複数のカメラの各映像データから、前記基本情報を取得する
    　請求項１乃至１１のいずれか１項に記載の情報処理装置。
  13. 　１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得し、
    　前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する
    　データ生成方法。
  14. 　１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得ステップと、
    　前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合ステップと
    　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2018/040097 2018-03-27 2018-10-29 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2019187288A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/041,560 US11341774B2 (en) 2018-03-27 2018-10-29 Information processing apparatus, data generation method, and non-transitory computer readable medium storing program
JP2020509592A JP7081659B2 (ja) 2018-03-27 2018-10-29 情報処理装置、データ生成方法、及びプログラム
JP2022084518A JP2022117996A (ja) 2018-03-27 2022-05-24 情報処理装置、データ生成方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018060873 2018-03-27
JP2018-060873 2018-03-27

Publications (1)

Publication Number Publication Date
WO2019187288A1 true WO2019187288A1 (ja) 2019-10-03

Family

ID=68060988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040097 WO2019187288A1 (ja) 2018-03-27 2018-10-29 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US11341774B2 (ja)
JP (2) JP7081659B2 (ja)
WO (1) WO2019187288A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095448A (ja) * 2018-12-12 2020-06-18 株式会社日立ソリューションズ データ処理システム、方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102530B (zh) * 2018-08-21 2020-09-04 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
WO2016013298A1 (ja) * 2014-07-25 2016-01-28 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
WO2017126187A1 (ja) * 2016-01-20 2017-07-27 三菱電機株式会社 映像監視装置及び映像監視方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5121258B2 (ja) 2007-03-06 2013-01-16 株式会社東芝 不審行動検知システム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
WO2016013298A1 (ja) * 2014-07-25 2016-01-28 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
WO2017126187A1 (ja) * 2016-01-20 2017-07-27 三菱電機株式会社 映像監視装置及び映像監視方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095448A (ja) * 2018-12-12 2020-06-18 株式会社日立ソリューションズ データ処理システム、方法、およびプログラム

Also Published As

Publication number Publication date
US11341774B2 (en) 2022-05-24
JP2022117996A (ja) 2022-08-12
US20210133435A1 (en) 2021-05-06
JPWO2019187288A1 (ja) 2021-03-11
JP7081659B2 (ja) 2022-06-07

Similar Documents

Publication Publication Date Title
WO2014041912A1 (ja) 画像処理システム、画像処理方法及びプログラム
WO2018096787A1 (ja) 人物行動監視装置および人物行動監視システム
JP2022117996A (ja) 情報処理装置、データ生成方法、及びプログラム
JP5355446B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
JP2008040781A (ja) 被写体照合装置および被写体照合方法
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2024015359A (ja) 人物検出システム
EP3099061A1 (en) Image search system and image search method
JP6769475B2 (ja) 情報処理システム、認証対象の管理方法、及びプログラム
KR101484844B1 (ko) 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법
JP2010049296A (ja) 移動物体追跡装置
CN111325954B (zh) 人员走失预警方法、装置、系统及服务器
JP2012059224A (ja) 移動物体追跡システムおよび移動物体追跡方法
US10200607B2 (en) Image capturing apparatus, method of controlling the same, monitoring camera system, and storage medium
US20170328734A1 (en) Systems and methods for generating signature ambient sounds and maps thereof
JP2018081630A (ja) 検索装置、検索方法およびプログラム
KR102129771B1 (ko) Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법
JP5025292B2 (ja) 不審者検知システム及び方法
JP2012079340A (ja) 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム
JP2010199865A (ja) 異常検知システム、異常検知方法及び異常検知プログラム
JP2014149716A (ja) 物体追跡装置及びその方法
JP5188840B2 (ja) 警備装置および更新方法
JP6301759B2 (ja) 顔識別装置及びプログラム
WO2016038872A1 (ja) 情報処理装置、表示方法およびプログラム記憶媒体
JP2020027320A (ja) 監視装置、監視システム、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911930

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020509592

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18911930

Country of ref document: EP

Kind code of ref document: A1