WO2021186866A1 - 情報処理装置、監視システム、情報処理方法、及び記憶媒体 - Google Patents

情報処理装置、監視システム、情報処理方法、及び記憶媒体 Download PDF

Info

Publication number
WO2021186866A1
WO2021186866A1 PCT/JP2021/001032 JP2021001032W WO2021186866A1 WO 2021186866 A1 WO2021186866 A1 WO 2021186866A1 JP 2021001032 W JP2021001032 W JP 2021001032W WO 2021186866 A1 WO2021186866 A1 WO 2021186866A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
information
emotion
degree
information processing
Prior art date
Application number
PCT/JP2021/001032
Other languages
English (en)
French (fr)
Inventor
昭浩 金子
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/801,300 priority Critical patent/US20230089155A1/en
Priority to JP2022508085A priority patent/JP7405238B2/ja
Publication of WO2021186866A1 publication Critical patent/WO2021186866A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to technology for monitoring people.
  • Patent Document 1 discloses a technique of detecting a group including a person reflected in a surveillance image and detecting a suspicious person based on the distance between the persons in the detected group.
  • Patent Document 2 when a registered person is included in the surveillance image when displaying the surveillance image, an area in which the person is reflected is extracted, and a foreground image which is an image of the extracted area is used as a foreground image of the person.
  • a technique for compositing and displaying a background image that is not shown is disclosed. At this time, if an unregistered person is included in the surveillance image, the masked image of the foreground image in which the person is reflected is combined with the background image and displayed.
  • JP-A-2019-106631 Japanese Patent No. 5159381
  • Patent Document 2 describes that the degree of suspicion of an unregistered person is determined according to the residence time of the person and the transparency of the foreground image is changed. However, the person is suspicious only by the information of the residence time. There is a risk that it will not be possible to accurately determine whether or not the person is a good person.
  • This disclosure was made in view of the above issues, and one of the purposes of this disclosure is to provide a technology capable of providing an effective image when monitoring a person while protecting privacy.
  • the information processing device includes an action detecting means for detecting the behavior of a person included in the captured data, an emotion detecting means for detecting the emotion of the person, the detected behavior of the person, and the person.
  • a suspicious degree calculating means for calculating a suspicious degree indicating the degree to which the person should be monitored based on the emotions of It is provided with a mask processing means for performing a mask processing which is a processing for reducing.
  • the information processing method detects the behavior of the person included in the shooting data, detects the emotion of the person, and based on the detected behavior of the person and the emotion of the person, the person.
  • a suspicious degree indicating the degree to be monitored is calculated, and based on the calculated suspicious degree, mask processing is performed, which is a process of reducing the amount of information in the area in which the person is reflected in the shooting data.
  • the storage medium is based on a process of detecting the behavior of a person included in the captured data, a process of detecting the emotion of the person, and the detected behavior of the person and the emotion of the person. , A process of calculating a suspicious degree indicating the degree to which the person should be monitored, and a mask process which is a process of reducing the amount of information in the area of the shooting data in which the person is reflected based on the calculated suspicious degree.
  • FIG. 1 It is a figure which shows typically an example of the structure of the monitoring system which concerns on 1st Embodiment. It is a block diagram which shows an example of the functional structure of the information processing apparatus which concerns on 1st Embodiment. It is a figure which shows an example of the detection data which concerns on 1st Embodiment. It is a figure which shows an example of the suspiciousness degree data which concerns on 1st Embodiment. It is a sequence diagram explaining an example of the operation of the monitoring system which concerns on 1st Embodiment. It is a flowchart explaining an example of the processing process which concerns on 1st Embodiment. It is a flowchart explaining an example of the mask processing which concerns on 1st Embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of the monitoring system 1000 according to the first embodiment.
  • the monitoring system 1000 includes an information processing device 100, a photographing device 200, and a management terminal 300.
  • the information processing device 100 is communicably connected to the photographing device 200 and the management terminal 300 via a network.
  • the monitoring system 1000 may be composed of an information processing device 100 and a photographing device 200, and the monitoring system 1000 and the management terminal 300 may be communicably connected to each other.
  • the photographing device 200 photographs a range defined as a photographing range.
  • the image shot by the shooting device 200 includes the person.
  • the video image captured by the photographing device 200 may be each of a plurality of frames constituting the moving image, or may be each of the still images captured at regular time intervals.
  • the image captured by the photographing apparatus 200 is referred to as “photographed data”.
  • the shooting data may include information such as the time when the shooting data is generated and the location where the shooting device 200 that generated the shooting data is installed. ..
  • the photographing device 200 sequentially transmits the generated photographing data to the information processing device 100.
  • the information processing device 100 When the information processing device 100 acquires the shooting data from the shooting device 200, the information processing device 100 processes the shooting data, that is, performs a process for protecting the privacy of the shooting data.
  • the information processing device 100 sends the processed shooting data to the management terminal 300.
  • the process of processing the shooting data is also referred to as “processing processing”
  • the processing-processed shooting data is also referred to as “processed shooting data”.
  • the management terminal 300 is a device provided with input / output means for communicating with the information processing device 100 via a network.
  • the management terminal 300 is a personal computer.
  • the management terminal 300 acquires the processed shooting data from the information processing device 100, and displays the processed shooting data on the display unit (for example, the display device) 310.
  • the management terminal 300 is used by a watchman.
  • the observer monitors the shooting range shot by the shooting device 200 using the processed shooting data displayed on the management terminal 300. At this time, when the observer recognizes the incident, for example, the guard can instruct the guards in the vicinity of the shooting range to confirm the incident.
  • the monitoring system 1000 is a system in which the information processing device 100 processes the shooting data shot by the shooting device 200 and displays the processed shooting data on the management terminal 300.
  • the information processing device 100 and the management terminal 300 are different devices
  • the information processing device 100 and the management terminal 300 may be an integrated device.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the information processing apparatus 100 according to the first embodiment.
  • the information processing device 100 includes a person detection unit 110, an action detection unit 120, an emotion detection unit 130, a suspiciousness calculation unit 140, and a mask processing unit 150. Further, the information processing device 100 has a storage device 160.
  • the person detection unit 110 When the person detection unit 110 acquires the shooting data shot by the shooting device 200, the person detection unit 110 detects the person included in the shooting data.
  • a method of detecting a person it is conceivable to use a time-series shooting data and detect a person based on the difference between a plurality of shooting data, that is, a background subtraction method. Is not limited to this example.
  • the method of detecting a person may be, for example, a method of detecting a humanoid shape from photographed data, or various other known methods.
  • the person detection unit 110 generates identification information for identifying the person for each detected person.
  • the person detection unit 110 stores the identification information in the storage device 160.
  • the same identification information is given to the person (that is, the same identification information is given to the same person). Granted).
  • the person detection unit 110 may determine that the person is the same based on the feature amount of the person, or may determine that the person is the same based on the position information of the detected person. ..
  • the behavior detection unit 120 detects the behavior of the person detected by the person detection unit 110 from the shooting data.
  • the action detection unit 120 detects actions such as “running”, “walking”, and “stopping” as a person's behavior from changes in the position of the person's shooting data, for example, using time-series shooting data. ..
  • the behavior detection unit 120 may detect "prowling” as the behavior of the person.
  • the method of detecting the behavior is not limited to this example. In this way, the behavior detection unit 120 detects the behavior of the person included in the shooting data.
  • the behavior detection unit 120 is an example of the behavior detection means.
  • the behavior detection unit 120 When the behavior detection unit 120 detects a person's behavior, the behavior detection unit 120 stores the information indicating the detected behavior and the person's identification information in association with each other in the storage device 160.
  • the method of detecting the behavior of a person from the shooting data is, for example, an area on the shooting data in which the person is reflected, an image registered in the image database, and an image associated with information indicating the behavior of the person. It may be a method of detecting by pattern matching of.
  • the image database is stored in the storage device 160 in advance.
  • the method of detecting the behavior of a person from the shooting data is to extract the feature amount of the person from the area on the shooting data in which the person is reflected and use a learning model in which the extracted feature amount is input to obtain the feature amount of the person. It may be a method of outputting the action corresponding to.
  • the learning model used here is, for example, a model that learns the relationship between the extracted features of a person and the behavior of the person.
  • the learning model is, for example, a regression equation derived by performing regression analysis using a person's feature amount as an explanatory variable and a value indicating the person's behavior as an objective variable, but the learning model is not limited to this example.
  • the learning model may be one generated by a machine learning algorithm such as SVM (Support Vector Machine), a neural network, or a random forest.
  • the emotion detection unit 130 detects the emotion of the person detected by the person detection unit 110 from the shooting data.
  • the emotion detection unit 130 detects, for example, a feature amount from a region in which a person's face is reflected, which is included in the shooting data. Then, the emotion detection unit 130 detects the emotion based on the detected feature amount and the data showing the relationship between the feature amount and the emotion. Data showing the relationship between the feature amount and the emotion is stored in the storage device 160 in advance.
  • the emotions to be detected are predetermined characteristic emotions such as "pleasing", “angry”, “sad”, “enjoying", “hurrying", and "tense”.
  • the emotion detection unit 130 may detect "calmness” indicating that the person is calm.
  • the emotion detection unit 130 may detect movements caused by emotions such as "laughing” and "crying". Note that these are examples of emotions to be detected, and emotions other than these may be detected.
  • the emotion detection unit 130 may detect the emotion of the person by using not only the information obtained from the face of the person but also the information of the motion detected by the behavior detection unit 120. In this way, the emotion detection unit 130 detects the emotion of the person.
  • the emotion detection unit 130 is an example of an emotion detection means.
  • the emotion detection unit 130 detects a person's emotion
  • the information indicating the detected emotion and the person's identification information are associated with each other and stored in the storage device 160.
  • the method of detecting the emotion of a person from the photographed data is, for example, an area on the photographed data in which the person is reflected and an image registered in the image database, which is associated with information indicating the emotion of the person. It may be a method of detecting by pattern matching of.
  • the image database is stored in the storage device 160 in advance.
  • the method of detecting the emotion of a person from the photographed data is to extract the feature amount of the person from the area on the photographed data in which the person is reflected and use a learning model in which the extracted feature amount is input to obtain the feature amount of the person. It may be a method of outputting the emotion corresponding to.
  • the learning model used here is, for example, a model that learns the relationship between the extracted features of a person and the emotions of the person.
  • the learning model is, for example, a regression equation derived by performing regression analysis using a person's feature amount as an explanatory variable and a value indicating a person's emotion as an objective variable, but is not limited to this example.
  • the learning model may be one generated by a machine learning algorithm such as SVM, neural network, or random forest.
  • FIG. 3 is a diagram showing an example of detection data stored in the storage device 160.
  • the detection data is data in which the identification information detected by the person detection unit 110, the information indicating the behavior detected by the behavior detection unit 120, and the information indicating the emotion detected by the emotion detection unit 130 are associated with each other. be.
  • the record in the first row of FIG. 3 shows detection data indicating that the behavior of "prowling” is detected from the person whose identification information is "A", and the emotion of "crying" is further detected. Has been done.
  • the person detection unit 110, the behavior detection unit 120, and the emotion detection unit 130 perform detection processing at any time according to the shooting data sequentially transmitted from the shooting device 200. Therefore, the detection data is updated at any time.
  • the suspicious degree calculation unit 140 calculates the suspicious degree based on the behavior of the person detected by the behavior detection unit 120 and the emotion of the person detected by the emotion detection unit 130.
  • the suspicious degree is a value indicating the degree to which the detected person should be monitored. For example, it can be determined that a person whose suspicious degree is higher than a predetermined value is a target to be monitored.
  • the suspicious degree calculation unit 140 reads out the behavioral information and the emotional information of the person associated with the identification information from the detection data stored in the storage device 160. Then, the suspicious degree calculation unit 140 calculates the suspicious degree of each person based on the read behavior information and emotional information of the person.
  • the suspicious degree takes a value in the range of 0 to 1, and the closer the value is to 1, the more the object should be monitored, but the value taken by the suspicious degree is not limited to this example.
  • the relationship between a person's behavior, emotions, and suspiciousness is preset by the administrator of the information processing device 100.
  • a prediction model for calculating the suspicious degree is generated in advance based on the detection data generated in the past, and the suspicious degree calculation unit 140 is detected using the generated prediction model.
  • the degree of suspicion of the person may be calculated.
  • each type of behavior to be detected and each type of emotion to be detected may be used as explanatory variables, and regression analysis may be performed with the degree of suspicion as the objective variable to generate a prediction model.
  • the suspiciousness calculation unit 140 calculates the suspiciousness, which is a value indicating the degree to which the person should be monitored, based on the detected behavior of the person and the emotion of the person.
  • the suspicious degree calculation unit 140 is an example of the suspicious degree calculation means.
  • the suspicious degree calculation unit 140 may calculate the suspicious degree by using the information of the time when the person was detected in addition to the behavior and emotion of the detected person. For example, if the detected person is "prowling", the degree of suspicion may differ depending on the time when the person was detected. Therefore, the suspicious degree calculation unit 140 can calculate the suspicious degree more accurately by adding the time information.
  • FIG. 4 is a diagram showing an example of suspiciousness data according to the first embodiment.
  • the first-line record of the suspiciousness data shown in FIG. 4 shows that the suspiciousness of the person with the identification information "A" is "0.8".
  • the mask processing unit 150 performs mask processing on the area where a person is reflected in the shooting data according to the suspicious degree calculated by the suspicious degree calculation unit 140.
  • the mask processing indicates a processing for reducing the amount of information in the area to be processed in the image.
  • the amount of information is an amount indicating the details of the characteristics of an object (for example, a human being) that can be recognized by the observer from the photographed data. That is, the process of reducing the amount of information refers to the process of reducing the characteristics of a person that can be recognized by the observer from the photographed data.
  • the mask processing may be a process of controlling the resolution of an area in which a person is projected, that is, an area to be processed, or a process of exchanging the positions of pixels in the area to be processed. Further, the mask processing may be a process of performing smoothing filtering on the area to be processed, or the area to be processed may be the original image such as an avatar image (for example, a humanoid illustration image or a character image). May be a process of superimposing different images. By performing such processing, for example, the guard can recognize only the existence of the person, only the shape of the person, the color of the clothes worn by the person, and the person's It is possible to recognize only the hair color.
  • the mask processing unit 150 may perform a process of showing the identification information of the person in the area to be processed that has been masked. As a result, in the masked shooting data, the identification information of the person included in the shooting data can be presented to the observer.
  • the mask processing unit 150 stores the suspiciousness information calculated by the suspiciousness calculation unit 140 in the storage device 160. Read from the suspicious degree data using the identified information of the detected person. The mask processing unit 150 determines whether or not the read suspicious degree is equal to or higher than the threshold value for determining whether or not to perform mask processing, and if it is determined to be less than the threshold value, the suspicious degree is less than the threshold value. Mask processing is performed on the area where the person of the associated identification information is displayed. On the other hand, the mask processing unit 150 does not perform mask processing on the area where a person whose suspicious degree is equal to or higher than the threshold value is reflected. In this way, the mask processing unit 150 performs mask processing, which is a process of reducing the amount of information in the area of the shooting data in which a person appears, according to the calculated suspiciousness.
  • the mask processing unit 150 is an example of the mask processing means.
  • the mask processing unit 150 may be controlled so as to reduce the degree of reducing the amount of information in the mask processing as the degree of suspicion increases. That is, the smaller the degree of reducing the amount of information in the mask processing, the greater the amount of information in the masked area (that is, the closer to the amount of information of the original shooting data), and the greater the degree of reducing the amount of information in the mask processing. , The amount of information in the masked area is reduced. For example, when a process of controlling the resolution is adopted as the mask process, the process of reducing the degree of deterioration of the resolution is performed as the degree of reducing the amount of information in the mask process becomes smaller. Further, for example, when a process of superimposing an image different from the original image is adopted as the mask processing, a process of making the superposed image closer to transparent is performed as the degree of reducing the amount of information in the mask processing becomes smaller. ..
  • the storage device 160 stores the data generated by the information processing device 100 or the data used by the information processing device 100.
  • the storage device 160 may be provided in the management terminal 300, or may be provided in a device (not shown) that is communicably connected to the information processing device 100.
  • each step of the flowchart is expressed by using a number assigned to each step, such as “S101”.
  • FIG. 5 is a sequence diagram illustrating the operation of the monitoring system 1000.
  • the photographing device 200 photographs a photographing range and generates photographing data (S101).
  • the photographing device 200 continues to generate shooting data until there is an instruction to interrupt shooting, and sequentially transmits the generated shooting data to the information processing device 100.
  • the information processing device 100 When the information processing device 100 acquires the shooting data from the shooting device 200, the information processing device 100 performs processing processing on the acquired shooting data (S102).
  • FIG. 6 is a flowchart illustrating the operation of the processing process of the information processing apparatus 100.
  • the person detection unit 110 of the information processing apparatus 100 determines whether or not a person is photographed in the acquired shooting data, and if the person is photographed, in other words, if the person is detected (Yes in S201). ), Generates identification information of the detected person (S202). At this time, when the person detection unit 110 detects a plurality of people, the person detection unit 110 generates identification information for each of the detected people. Then, the person detection unit 110 stores the generated identification information in the storage device 160 as detection data. If no person is detected (No in S201), the mask processing is not performed on the shooting data.
  • the behavior detection unit 120 detects the behavior of the detected person from the shooting data (S203).
  • the behavior detection unit 120 stores the detected behavior information and the detected person identification information in the storage device 160 as detection data in association with each other.
  • the emotion detection unit 130 detects the emotion of the detected person from the photographed data (S204).
  • the emotion detection unit 130 stores the detected emotion information, the information indicating the behavior detected by the behavior detection unit 120, and the detected person identification information in association with each other as detection data in the storage device 160.
  • the suspiciousness calculation unit 140 reads the detection data from the storage device 160, and uses the read detection data to calculate the suspiciousness of the person detected from the shooting data (S205).
  • the suspicious degree cannot be calculated accurately, and the mask processing may not be performed due to this.
  • the suspicious degree calculation unit 140 is suspicious so that the mask processing is performed even for such a person.
  • the degree may be set to a constant value (for example, 0).
  • the suspicious degree calculation unit 140 associates the calculated suspicious degree with the identification information of the person corresponding to the calculated suspicious degree and stores it in the storage device 160 as suspicious degree data.
  • the information processing apparatus 100 After that, if the suspiciousness is not calculated for all the detected persons (No in S206), the information processing apparatus 100 returns to the process in S203.
  • the mask processing unit 150 performs mask processing on the shooting data (S207). In this operation example, it is assumed that the detection data shown in FIG. 3 is stored in the storage device 160, and the suspicious degree data shown in FIG. 4 is stored in the storage device 160 based on the detection data.
  • FIG. 7 is a flowchart illustrating the operation of mask processing of the mask processing unit 150.
  • the mask processing unit 150 reads out the suspicious degree data from the storage device 160, and performs mask processing for each area of the shooting data in which the person identified by the identification information appears.
  • the mask processing unit 150 determines whether or not the suspicious degree included in one record of the suspicious degree data is 0.5 or more.
  • the degree of suspicion is less than 0.5 (No in S208)
  • mask processing is performed to increase the degree of reducing the amount of information in the area where the person of the identification information associated with the degree of suspicion appears (S209).
  • the suspicious degree is 0.5 or more (Yes in S208) and less than 0.8 (No in S210)
  • the mask applied in S209 to the area where the person of the identification information associated with the suspicious degree is reflected.
  • Mask processing is performed with a smaller degree of reducing the amount of information than processing (S211).
  • the mask processing is not performed on the area where the person of the identification information associated with the suspicious degree is reflected. That is, when processing is performed on the area where all the detected persons are displayed (Yes in S212), the flowchart of FIG. 7 ends.
  • the processing is not performed on the area where all the detected persons are displayed (No in S212)
  • the information processing apparatus 100 returns to the processing in S208.
  • the mask processing unit 150 performs the mask processing of S207 based on the suspiciousness data shown in FIG. Therefore, the mask processing is not performed on the area where the person with the identification information "A” is reflected, and the mask processing in S209 is performed on the area where the person with the identification information "B” is reflected, and the person with the identification information "C” is displayed.
  • the area to be reflected is masked in S211.
  • FIG. 8A is an example of shooting data acquired by the information processing device 100 from the shooting device 200 in the operation example according to the first embodiment.
  • the "person A”, “person B” and “person C” shown in FIG. 8A correspond to the persons of the identification information "A", "B” and "C” shown in FIGS. 3 and 4.
  • FIG. 8B is an example of processed shooting data in which processing is performed on FIG. 8A in the operation example according to the first embodiment.
  • the mask processing is not performed on the area where the person A is reflected. Further, the area where the person B is reflected is masked to a large degree of reducing the amount of information.
  • the mask processing unit 150 superimposes another image on the area where the person B is projected. As a result, the processed shooting data does not show the characteristics related to the person B. Further, the area where the person C is reflected is masked to a small degree of reducing the amount of information.
  • the mask processing unit 150 superimposes another image on the area where the person C is projected so that the person C is transmitted through the image.
  • the mask processing unit 150 may adjust the transmittance of the superimposed image so that the observer can recognize only the shape of the person C, or can recognize only the clothes and hair color of the person C. , The transmittance of the superimposed image may be adjusted.
  • the information processing device 100 transmits the processed shooting data to the management terminal 300 (S103).
  • the display unit 310 of the management terminal 300 acquires the processed shooting data from the information processing device 100
  • the display unit 310 displays the processed shooting data (S104).
  • the information processing device 100 detects the behavior of the person and the emotion of the person included in the shooting data. Then, the information processing apparatus 100 calculates a suspicious degree, which is a value indicating the degree to which the person should be monitored, based on the detected behavior of the person and the emotion of the person, and according to the calculated suspicious degree, the person in the shooting data.
  • Mask processing is performed, which is a process of reducing the amount of information in the area where is displayed.
  • the information processing apparatus 100 since the information processing apparatus 100 according to the first embodiment performs mask processing other than the target to be monitored, the target to be monitored can be displayed in a prominent manner. As a result, the observer can be made to recognize the target to be efficiently monitored.
  • the information processing apparatus 100 can change the degree of reducing the amount of information in the mask processing according to the degree of suspicion. Therefore, since the observer can recognize and monitor only the information necessary for monitoring, it is possible to prevent the invasion of privacy by the observer as much as possible.
  • the person detection unit 110 may be included in the photographing device 200.
  • the photographing apparatus 200 after the processing of S101, the processing of S201 and the processing of S202 are performed. Then, the photographing device 200 transmits the photographing data and the identification information generated for the person photographed in the photographing data to the information processing apparatus 100.
  • the behavior detection unit 120 may further detect an article possessed by the person. For example, when a person possesses a knife, the action detection unit 120 stores the information indicating "possession of the knife" and the identification information in the storage device 160 as detection data in association with each other.
  • the information processing device 100 can detect a person to be monitored more accurately by detecting an article possessed by the person.
  • FIG. 9 is a block diagram showing an example of the configuration of the monitoring system 1001 according to the second embodiment.
  • the monitoring system 1001 includes an information processing device 101 instead of the information processing device 100 in the first embodiment, and other than that, it is the same as the monitoring system 1000 described in the first embodiment. be. That is, the monitoring system 1001 includes an information processing device 101, a photographing device 200, and a management terminal 300.
  • the description of the contents in which the configuration and operation of the monitoring system 1001 shown in FIG. 9 overlaps with the description of the first embodiment will be omitted.
  • the information processing device 101 includes a configuration in which an instruction receiving unit 170 is further added to the configuration of the information processing device 100 of the first embodiment.
  • the observer inputs instruction information to the management terminal 300 to perform mask processing on the person.
  • the instruction receiving unit 170 receives instruction information for performing mask processing on the person from the management terminal 300.
  • the instruction information includes information related to the mask processing and identification information of the person to be masked.
  • the instruction reception unit 170 changes the degree of suspicion of the person to be masked according to the received instruction information. Specifically, based on the degree of reducing the amount of mask processing information included in the received instruction information and the identification information, among the suspicious degree data, the suspicious degree corresponding to the identification information is masked in the instruction information. Change according to the degree of reducing the amount of processing information. In this way, the instruction receiving unit 170 receives instruction information including an instruction for changing the suspicious degree and information for identifying a person who changes the suspicious degree, and changes the suspicious degree based on the received instruction information.
  • the instruction receiving unit 170 is an example of the instruction receiving means.
  • the information processing device 101 of the second embodiment receives instruction information including an instruction for changing the suspicious degree and information for identifying a person who changes the suspicious degree. Then, the information processing device 101 performs mask processing based on the changed suspiciousness in the area where the person having the suspiciousness changed according to the instruction information is displayed. As a result, the information processing device 101 of the second embodiment can perform mask processing on the area of the person who has not been masked as needed, so that privacy can be protected. Can be done.
  • the instruction reception unit 170 cannot accept the instruction.
  • the notification may be sent to the management terminal 300.
  • the degree to which the amount of information in the mask processing is artificially reduced cannot be reduced, so that the invasion of privacy by the observer can be further prevented.
  • the instruction receiving unit 170 may control to set a flag on the record of the suspicious degree data whose suspicious degree is controlled according to the instruction for a predetermined time. Then, the suspiciousness calculation unit 140 may not calculate the suspiciousness for the flagged suspiciousness data record. As a result, it is possible to prevent the suspicious degree calculation unit 140 from rewriting the suspicious degree of the record whose suspicious degree is controlled according to the instruction.
  • FIG. 10 is a block diagram showing an example of the configuration of the monitoring system 1002 according to the third embodiment.
  • the monitoring system 1002 includes an information processing device 102 instead of the information processing device 100 in the first embodiment, and is otherwise the same as the monitoring system 1000 described in the first embodiment. be. That is, the monitoring system 1002 includes an information processing device 102, a photographing device 200, and a management terminal 300.
  • the description of the contents in which the configuration and operation of the monitoring system 1002 shown in FIG. 10 overlaps with the description of the first embodiment will be omitted.
  • the information processing device 102 includes a configuration in which a face matching unit 180 is further added to the configuration of the information processing device 100 of the first embodiment.
  • the face matching unit 180 collates the face information of the person included in the shooting data with the face information registered in advance. Specifically, the face matching unit 180 extracts the feature amount from the area of the face of the person detected by the person detecting unit 110 from the shooting data. Next, the face matching unit 180 searches for a feature amount that matches the extracted feature amount by using a database that holds the feature amount of the face registered in advance. When the matching feature amount is included in the database, the face matching unit 180 determines that there is a matching feature amount (hit). At this time, the database may be stored in the storage device 160, or may be stored in a device (not shown) communicatively connected to the information processing device 102. In this way, the face collation unit 180 collates the face information of the person with the face information registered in advance in the database.
  • the face matching unit 180 is an example of the face matching means.
  • the face collation unit 180 updates the suspicious degree data with the suspicious degree of the person determined to be a hit in the face information collation as 1. That is, since the information processing device 102 has a high suspicious degree of 1 among the captured data, the person who has hit the collation does not perform the mask processing on the area where this person is reflected.
  • FIG. 11 is a diagram showing an example of a flowchart of the processing process according to the third embodiment. The same processing as the flowchart shown in FIG. 6 will be omitted.
  • the face matching unit 180 After the processing of S202, the face matching unit 180 performs face matching of the detected person. When the face matching hits (Yes in S401), the face matching unit 180 sets the suspicious degree corresponding to the identification information of the person whose face matching hits to 1 (S402). If the face matching does not hit (No in S401), the process of S203 is performed.
  • the information processing apparatus 102 when the detected face information of the person and the face information registered in advance match, the information processing apparatus 102 according to the third embodiment masks the area in which the person is reflected in the shooting data. No processing is performed. As a result, when the information processing apparatus 102 detects a person whose face information is known in advance, such as a person who is wanted, the information processing device 102 can present an image showing the person.
  • the information processing device 102 does not describe the instruction receiving unit 170 described in the second embodiment, but the information processing device 102 may include the instruction receiving unit 170. That is, the monitoring system 1002 of the third embodiment may be configured to perform the same processing as the processing described in the second embodiment.
  • FIG. 12 is a block diagram showing an example of the configuration of the monitoring system 1003 according to the fourth embodiment.
  • the monitoring system 1003 includes an information processing device 103 instead of the information processing device 100 in the first embodiment, and is otherwise the same as the monitoring system 1000 described in the first embodiment. Is. That is, the monitoring system 1003 includes an information processing device 103, a photographing device 200, and a management terminal 300.
  • the description of the contents in which the configuration and operation of the monitoring system shown in FIG. 12 overlaps with the description of the first embodiment will be omitted.
  • the information processing device 103 includes a mask processing unit 151 instead of the mask processing unit 150 in the information processing device 100 of the first embodiment, and further includes an attribute detection unit 190.
  • the attribute detection unit 190 detects the attributes of a person included in the shooting data.
  • the attributes of the person are, for example, the gender, age, posture, clothes, and walking speed of the person, but are not limited to this. In this way, the attribute detection unit 190 detects the attributes of the person from the shooting data.
  • the attribute detection unit 190 is an example of the attribute detection means.
  • the attribute detection unit 190 detects an attribute for each detected person, associates the detected person's attribute with the person's identification information, and stores it in the storage device 160 as detection data.
  • FIG. 13 is a diagram showing an example of detection data according to the fourth embodiment.
  • the detection data shown in FIG. 13 is data in which identification information, information indicating a person's behavior, information indicating a person's emotion, and information indicating a person's attributes are associated with each other. For example, in the record of the first line of FIG. 13, detection data indicating that the person whose identification information is "A" is a "female” of "under 10 years old" is shown.
  • the mask processing unit 151 performs mask processing based on the degree of suspicion and the detected attributes. Specifically, the mask processing unit 151 performs mask processing so that the detected attribute information can be recognized from the processed shooting data.
  • the mask processing unit 151 superimposes, for example, an avatar image in which information indicating "30s" and "male” is added to the area in which the person is reflected. By doing so, mask processing is performed.
  • Such an avatar image according to the attribute is stored in the storage device 160 in advance.
  • the information to be added may be selected according to the degree of suspicion. Further, the mask processing for superimposing the avatar image may not be performed on all the persons detected from the shooting data, but may be performed on the persons selected based on the degree of suspicion.
  • FIG. 14 is a diagram showing an example of a flowchart of the processing process according to the fourth embodiment.
  • the attribute detection unit 190 detects the attribute for each detected person from the shooting data (S501). Then, the attribute detection unit 190 stores the detected attribute, the information indicating the behavior of the person, the information indicating the emotion of the person, and the identification information in association with each other as detection data in the storage device 160. In this operation example, it is assumed that the detection data shown in FIG. 13 and the suspicious degree data shown in FIG. 4 are stored in the storage device 160.
  • the mask processing unit 151 performs mask processing as follows (S502).
  • FIG. 15 is a diagram showing an example of a flowchart of mask processing according to the fourth embodiment.
  • the mask processing unit 151 determines the amount of information based on the attributes.
  • Mask processing is performed with a small degree of reduction (S503).
  • the person whose suspicious degree is 0.5 or more and less than 0.8 is the person with the identification information “C”.
  • the person with the identification information "C" is a person whose age is "30's" and whose gender is "male”.
  • the mask processing unit 151 superimposes an avatar to which the information of "30's” and the information of "male” are added to the area where the person of the identification information "C" is reflected. At this time, the mask processing unit 151 may add information on age and gender, for example, by changing the color of the avatar or writing characters on the avatar.
  • the information processing device 103 detects the attributes of the person included in the shooting data, and performs mask processing based on the detected attributes.
  • the information processing device 103 can present the processed shooting data in which the attribute information is added to the avatar, for example, so that the observer infringes the privacy of the person who has performed the weak mask processing. Can be prevented.
  • the suspiciousness calculation unit 140 may calculate the suspiciousness by using the attribute information of the detected person in addition to the behavior and emotion information of the detected person.
  • the suspicious degree calculation unit 140 may calculate the suspicious degree by using the time information in addition to the information on the behavior of the person, the information on the emotions of the person, and the information on the attributes of the person. At this time, the time information may be included in the photographing data sent by the photographing apparatus 200 to the information processing apparatus 103.
  • the information processing device 103 does not include the instruction receiving unit 170 described in the second embodiment and the face matching unit 180 described in the third embodiment, but the information processing device 103 does not include the face matching unit 180.
  • the instruction receiving unit 170 and the face matching unit 180 may be provided. That is, the monitoring system 1003 of the fourth embodiment may be configured to perform the same processing as the processing described in the second embodiment and the third embodiment.
  • FIG. 16 is a block diagram showing an example of the configuration of the monitoring system 1004 according to the fifth embodiment.
  • the monitoring system 1004 includes an information processing device 104 and a photographing device 200.
  • the description of the contents in which the configuration and operation of the monitoring system 1004 shown in FIG. 16 overlaps with the description of the first embodiment will be omitted.
  • the photographing device 200 generates photographing data by photographing the photographing range.
  • FIG. 17 is a block diagram showing an example of the functional configuration of the information processing apparatus 104 according to the fifth embodiment.
  • the information processing device 104 includes a behavior detection unit 410, an emotion detection unit 420, a suspicious degree calculation unit 430, and a mask processing unit 440.
  • the behavior detection unit 410 detects the behavior of the person included in the shooting data from the shooting data.
  • the emotion detection unit 420 detects the emotion of the person included in the shooting data from the shooting data.
  • the suspiciousness calculation unit 430 calculates the suspiciousness of the person based on the detected behavior of the person and the emotion of the person.
  • the mask processing unit 440 performs mask processing on the area of the shooting data in which a person is reflected, based on the calculated suspiciousness.
  • FIG. 18 is a flowchart illustrating the operation of the information processing device 104.
  • the operation shown in FIG. 18 is an operation performed in place of the process of S102 in FIG. 18 in the first embodiment.
  • the behavior detection unit 410 detects the behavior of a person included in the shooting data by using the shooting data generated by the shooting device 200 (S601).
  • the emotion detection unit 420 detects the emotion of a person included in the shooting data by using the shooting data generated by the shooting device 200 (S602).
  • the suspiciousness calculation unit 430 calculates the suspiciousness of the person based on the behavior of the person detected by the behavior detection unit 410 and the emotion of the person detected by the emotion detection unit 420 (S603).
  • the mask processing unit 440 performs mask processing on the area of the shooting data in which a person is reflected based on the suspiciousness calculated by the suspiciousness calculation unit 430 (S604).
  • the information processing device 104 detects the behavior of the person and the emotion of the person included in the shooting data. Then, the information processing device 104 calculates the suspiciousness of the person based on the detected behavior of the person and the emotion of the person, and masks the area of the shooting data in which the person is reflected according to the calculated suspiciousness. .. With this configuration, the information processing device 104 according to the fifth embodiment has an effect that it is possible to present an effective image when monitoring a person while protecting privacy.
  • first, second, third, fourth and fifth embodiments can be realized by appropriately combining them.
  • FIG. 19 is a block diagram showing an example of a hardware configuration of a computer device that realizes the information processing device in each embodiment.
  • Each block shown in FIG. 19 can be realized by a combination of software and a computer device 10 that realizes the information processing device and the information processing method in each embodiment.
  • the computer device 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, a storage device 14, an input / output interface 15, a bus 16, and a drive device 17.
  • a processor 11 a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, a storage device 14, an input / output interface 15, a bus 16, and a drive device 17.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the storage device 14 stores a program (computer program) 18.
  • the processor 11 uses the RAM 12 to execute the program 18 related to the information processing apparatus.
  • the program 18 includes a program that causes a computer to execute the processes shown in FIGS. 5, 6, 7, 11, 14, 15, and 18.
  • each component of the information processing apparatus (behavior detection units 120, 410, emotion detection units 130, 420, suspicious degree calculation units 140, 430, and mask described above).
  • the functions of the processing units 150, 151, 440, etc.) are realized.
  • the program 18 may be stored in the ROM 13. Further, the program 18 may be recorded on the storage medium 20 and read out using the drive device 17, or may be transmitted from an external device (not shown) to the computer device 10 via a network (not shown).
  • the input / output interface 15 exchanges data with peripheral devices (keyboard, mouse, display device, etc.) 19.
  • the input / output interface 15 functions as a means for acquiring or outputting data.
  • the bus 16 connects each component.
  • the information processing device can be realized as a dedicated device. Further, the information processing device can be realized by combining a plurality of devices.
  • the category of each embodiment also includes a processing method in which a program for realizing each component in the function of each embodiment is recorded in a storage medium, the program recorded in the storage medium is read out as a code, and the program is executed in a computer. .. That is, a computer-readable storage medium is also included in the scope of each embodiment. In addition, a storage medium in which the above-mentioned program is recorded and the program itself are also included in each embodiment.
  • the storage medium is, for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD (Compact Disc) -ROM, a magnetic tape, a non-volatile memory card, or a ROM, but the storage medium is not limited to this example.
  • the program recorded on the storage medium is not limited to a program that executes processing by itself, but operates on an OS (Operating System) in cooperation with other software and expansion board functions to execute processing. Programs to be implemented are also included in the category of each embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

プライバシーの保護を図りつつ、人物を監視する際に有効な映像を提示することが可能な技術を提供することを目的の一つとする。本開示の一態様にかかる情報処理装置は、撮影データに含まれる人物の行動を検出する行動検出手段と、前記人物の感情を検出する感情検出手段と、検出された前記人物の行動及び前記人物の感情に基づいて、前記人物を監視すべき度合いを示す不審度を算出する不審度算出手段と、算出された前記不審度に基づいて、前記撮影データのうち前記人物が映る領域の情報量を減らす処理であるマスク処理を行うマスク処理手段と、を備える。

Description

情報処理装置、監視システム、情報処理方法、及び記憶媒体
　本開示は、人物を監視する技術に関する。
　監視カメラによって撮影された監視映像を用いて、不審な行動をとる人物を検出し、検出した人物を監視する技術が存在する。
　特許文献１には、監視映像に映った人物を含むグループを検出し、検出したグループの人物間の距離に基づいて、不審者を検知する技術が開示されている。
　ここで、監視映像には、不特定多数の人物が映る可能性がある。映像に含まれる人物の外見及び行動の情報は個人情報であるため、その監視映像を監視する監視員に対してプライバシーの保護を考慮した表示をすることが要求される。これに対して、人物の監視を行う際に、プライバシーの保護を図る技術が存在する。
　特許文献２には、監視映像を表示する際、登録されている人物が監視映像に含まれていた場合、当該人物が映る領域を抽出し、抽出した領域の画像である前景画像を、人物の映っていない背景画像に合成して表示する技術が開示されている。このとき、登録されていない人物が監視映像に含まれていた場合、当該人物が映る前景画像にマスク処理した画像を、背景画像に合成して表示している。
特開２０１９－１０６６３１号公報 特許第５１５９３８１号公報
　上述のように、プライバシーの保護を考慮して、マスク処理がなされた監視映像を用いて監視を行う場合、監視映像を監視する監視員にとって、監視が困難となる場合がある。例えば、不審な人物がいる際には、監視員は、当該人物を特定する必要があるが、監視映像にマスク処理が施されていると、当該人物の特定が困難となる虞がある。このような場合、マスク処理が施されている監視映像に対して、不審な人物の領域のみマスク処理を解除することが考えられる。
　しかしながら、監視映像に映る人物が不審な人物であるか否かを正確に検出していないと、マスク処理を解除することによってプライバシーを侵害する虞がある。特許文献２では、登録されていない人物の滞留時間に応じてその人物の不審度を決定し、前景画像の透明度を変えることが記載されているが、滞留時間の情報のみでは、その人物が不審な人物であるか否か正確に判断できない虞がある。
　本開示は、上記課題を鑑みてなされたものであり、プライバシーの保護を図りつつ、人物を監視する際に有効な映像を提供することが可能な技術を提供することを目的の一つとする。
　本開示の一態様にかかる情報処理装置は、撮影データに含まれる人物の行動を検出する行動検出手段と、前記人物の感情を検出する感情検出手段と、検出された前記人物の行動及び前記人物の感情に基づいて、前記人物を監視すべき度合いを示す不審度を算出する不審度算出手段と、算出された前記不審度に基づいて、前記撮影データのうち前記人物が映る領域の情報量を減らす処理であるマスク処理を行うマスク処理手段と、を備える。
　本開示の一態様にかかる情報処理方法は、撮影データに含まれる人物の行動を検出し、前記人物の感情を検出し、検出された前記人物の行動及び前記人物の感情に基づいて、前記人物を監視すべき度合いを示す不審度を算出し、算出された前記不審度に基づいて、前記撮影データのうち前記人物が映る領域の情報量を減らす処理であるマスク処理を行う。
　本開示の一態様にかかる記憶媒体は、撮影データに含まれる人物の行動を検出する処理と、前記人物の感情を検出する処理と、検出された前記人物の行動及び前記人物の感情に基づいて、前記人物を監視すべき度合いを示す不審度を算出する処理と、算出された前記不審度に基づいて、前記撮影データのうち前記人物が映る領域の情報量を減らす処理であるマスク処理を行う処理と、をコンピュータに実行させるプログラムを格納する。
　本開示によれば、プライバシーの保護を図りつつ、人物を監視する際に有効な映像を提供することが可能になるという効果が得られる。
第１の実施形態にかかる監視システムの構成の一例を模式的に示す図である。 第１の実施形態にかかる情報処理装置の機能構成の一例を示すブロック図である。 第１の実施形態にかかる検出データの一例を示す図である。 第１の実施形態にかかる不審度データの一例を示す図である。 第１の実施形態にかかる監視システムの動作の一例を説明するシーケンス図である。 第１の実施形態にかかる加工処理の一例を説明するフローチャートである。 第１の実施形態にかかるマスク処理の一例を説明するフローチャートである。 第１の実施形態にかかる撮影データの一例を示す図である。 第１の実施形態にかかる加工済撮影データの一例を示す図である。 第２の実施形態にかかる監視システムの機能構成の一例を示すブロック図である。 第３の実施形態にかかる監視システムの機能構成の一例を示すブロック図である。 第３の実施形態にかかる加工処理の一例を説明するフローチャートである。 第４の実施形態にかかる監視システムの機能構成の一例を示すブロック図である。 第４の実施形態にかかる検出データの一例を示す図である。 第４の実施形態にかかる加工処理の一例を説明するフローチャートである。 第４の実施形態にかかるマスク処理の一例を説明するフローチャートである。 第５の実施形態にかかる監視システムの構成の一例を示すブロック図である。 第５の実施形態にかかる情報処理装置の機能構成の一例を示すブロック図である。 第５の実施形態にかかる情報処理装置の動作の一例を示すフローチャートである。 第１、第２、第３、第４及び第５の実施形態における情報処理装置を実現するコンピュータ装置のハードウェア構成の一例を示すブロック図である。
　以下に、本開示にかかる実施形態を、図面を参照しつつ説明する。
　＜第１の実施形態＞
　第１の実施形態にかかる情報処理装置を含む監視システムについて説明する。
　図１は、第１の実施形態にかかる監視システム１０００の構成の一例を模式的に示す図である。図１に示すように、監視システム１０００は、情報処理装置１００と撮影装置２００と管理端末３００とを備える。情報処理装置１００は、撮影装置２００及び管理端末３００と、ネットワークを介して通信可能に接続される。なお、監視システム１０００は、情報処理装置１００と撮影装置２００とで構成され、監視システム１０００と管理端末３００とが通信可能に接続されてもよい。
　撮影装置２００は、撮影範囲として定められた範囲を撮影する。図１に示す状況では、点線で示された範囲が撮影範囲であり、撮影範囲の中に人物がいるので、撮影装置２００が撮影した映像には人物が含まれる。
　撮影装置２００が撮影した映像は、動画像を構成する複数のフレームのそれぞれであってもよいし、一定の時間間隔で撮影された静止画像のそれぞれであってもよい。本明細書では、撮影装置２００が撮影した映像を「撮影データ」と称する。撮影データには、フレームまたは静止画像の、画素値のデータの他に、撮影データが生成された時刻、及び撮影データを生成した撮影装置２００が設置された場所の情報等が含まれてもよい。撮影装置２００は、生成した撮影データを情報処理装置１００に順次送信する。
　情報処理装置１００は、撮影装置２００から撮影データを取得すると、撮影データを加工する、すなわち、撮影データにプライバシーの保護を図る処理を施す。情報処理装置１００は、加工した撮影データを管理端末３００に送る。本明細書において、撮影データを加工する処理を「加工処理」とも称し、加工処理が行われた撮影データを「加工済撮影データ」とも称する。
　管理端末３００は、ネットワークを介して情報処理装置１００と通信するための入出力手段を備えた装置である。例えば、管理端末３００は、パーソナルコンピュータである。管理端末３００は、加工済撮影データを情報処理装置１００から取得し、加工済撮影データを表示部（例えばディスプレイ装置）３１０により表示する。図１に示す状況では、管理端末３００は、監視員によって使用されている。監視員は、管理端末３００に表示される加工済撮影データを用いて、撮影装置２００により撮影されている撮影範囲を監視する。このとき、監視員は、異変を認識した場合、例えば、撮影範囲付近にいる警備員に対して、異変の確認を行うよう指示を出すことができる。
　すなわち、第１の実施形態にかかる監視システム１０００は、撮影装置２００が撮影した撮影データに対して情報処理装置１００が加工処理を行い、加工済撮影データを管理端末３００において表示するシステムである。
　なお、第１の実施形態において、情報処理装置１００と管理端末３００とは異なる装置である例について説明するが、情報処理装置１００と管理端末３００とは、一体の装置であってもよい。
　［情報処理装置１００の詳細］
　次に、情報処理装置１００の詳細について説明する。図２は、第１の実施形態にかかる情報処理装置１００の機能構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、人物検出部１１０と、行動検出部１２０と、感情検出部１３０と、不審度算出部１４０と、マスク処理部１５０とを備える。さらに、情報処理装置１００は、記憶装置１６０を有する。
　人物検出部１１０は、撮影装置２００が撮影した撮影データを取得すると、撮影データに含まれる人物を検出する。人物を検出する方法としては、時系列の撮影データを用いて、複数の撮影データ間の差分に基づいて人物を検出する方法、すなわち背景差分法を用いることが考えられるが、人物を検出する方法はこの例に限らない。人物を検出する方法は、例えば、撮影データの中から人型を検出することによる方法であってもよいし、その他、種々の公知の手法であってもよい。
　さらに、人物検出部１１０は、検出した人物ごとに、人物を識別する識別情報を生成する。人物検出部１１０は、識別情報を記憶装置１６０に格納する。なお、あるフレームにおいて、前のフレームにおいて検出された人物が検出された場合、その人物に対しては、同一の識別情報が付与される（すなわち、同一の人物に対しては同一の識別情報が付与される）。このとき、人物検出部１１０は、人物の特徴量に基づいて人物が同一であると判断してもよいし、検出された人物の位置情報に基づいて人物が同一であると判断してもよい。
　行動検出部１２０は、人物検出部１１０により検出された人物の行動を撮影データから検出する。行動検出部１２０は、例えば、時系列の撮影データを用いて、人物の撮影データ上の位置の変化から、「走る」、「歩く」、及び「立ち止まる」等の動作を人物の行動として検出する。このとき、行動検出部１２０は、検出された人物の部位を特定し、特定された部位の位置及びその位置の変化に基づいて、「寝転ぶ」及び「手を振る」といった動作を検出してもよい。また、人物が検出されてから、予め設定された時間内に、その人物が同じ場所に複数回現れる場合、行動検出部１２０は、「うろつき」を人物の行動として検出してもよい。なお、行動を検出する方法はこの例に限らない。このように行動検出部１２０は、撮影データに含まれる人物の行動を検出する。行動検出部１２０は、行動検出手段の一例である。
　行動検出部１２０は、人物の行動を検出すると、検出した行動を示す情報と人物の識別情報とを対応付けて記憶装置１６０に格納する。
　なお、撮影データから人物の行動を検出する方法は、例えば、人物が映る撮影データ上の領域と、画像データベースに登録された画像であって、人物の行動を示す情報に対応付けられた画像とのパターンマッチングにより検出する方法であってもよい。このとき、画像データベースは予め記憶装置１６０に格納されている。また、撮影データから人物の行動を検出する方法は、人物が映る撮影データ上の領域から人物の特徴量を抽出し、抽出した特徴量を入力とした学習モデルを用いることにより、人物の特徴量に対応する行動を出力する方法であってもよい。ここで用いられる学習モデルは、例えば、抽出された人物の特徴量と、人物の行動との関係を学習したモデルである。学習モデルは、例えば、人物の特徴量を説明変数とし、人物の行動を示す値を目的変数とした回帰分析が行われることにより導出された回帰式であるが、この例に限らない。例えば、学習モデルは、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ニューラルネットワーク、ランダムフォレスト等の機械学習アルゴリズムによって生成されるものであってもよい。
　感情検出部１３０は、人物検出部１１０により検出された人物の感情を撮影データから検出する。感情検出部１３０は、例えば、撮影データに含まれる人物の顔が映る領域から特徴量を検出する。そして、感情検出部１３０は、検出した特徴量と、特徴量と感情との関係を示すデータとに基づいて感情を検出する。特徴量と感情との関係を示すデータは、記憶装置１６０に予め格納されている。検出する感情は、例えば「喜ぶ」、「怒る」、「悲しむ」、「楽しむ」、「焦る」、「緊張する」などの予め定められた特徴的な感情である。また、感情検出部１３０は、検出された人物から特徴的な感情が検出できなかった場合、当該人物が落ち着いていることを示す「平静」を検出してもよい。また、感情検出部１３０は、「笑う」及び「泣く」といった、感情に起因する動作を検出してもよい。なお、これらは検出する感情の一例であり、これら以外の感情を検出してもよい。なお、感情検出部１３０は、人物の顔から得られる情報だけでなく、行動検出部１２０が検出した動作の情報も用いて、人物の感情を検出してもよい。このように感情検出部１３０は、人物の感情を検出する。感情検出部１３０は、感情検出手段の一例である。
　感情検出部１３０は、人物の感情を検出すると、検出した感情を示す情報と人物の識別情報とを対応づけて記憶装置１６０に格納する。
　なお、撮影データから人物の感情を検出する方法は、例えば、人物が映る撮影データ上の領域と、画像データベースに登録された画像であって、人物の感情を示す情報に対応付けられた画像とのパターンマッチングにより検出する方法であってもよい。このとき、画像データベースは予め記憶装置１６０に格納されている。また、撮影データから人物の感情を検出する方法は、人物が映る撮影データ上の領域から人物の特徴量を抽出し、抽出した特徴量を入力とした学習モデルを用いることにより、人物の特徴量に対応する感情を出力する方法であってもよい。ここで用いられる学習モデルは、例えば、抽出された人物の特徴量と、人物の感情との関係を学習したモデルである。学習モデルは、例えば、人物の特徴量を説明変数とし、人物の感情を示す値を目的変数とした回帰分析が行われることにより導出された回帰式であるが、この例に限らない。例えば、学習モデルは、ＳＶＭ、ニューラルネットワーク、ランダムフォレスト等の機械学習アルゴリズムによって生成されるものであってもよい。
　図３は、記憶装置１６０に格納される検出データの一例を示す図である。検出データは、人物検出部１１０によって検出された識別情報と、行動検出部１２０によって検出された行動を示す情報と、感情検出部１３０によって検出された感情を示す情報とが対応づけられたデータである。例えば、図３の一行目のレコードには、識別情報が「Ａ」である人物から、「うろつき」の行動が検出され、さらに「泣く」という感情が検出されていることを表す検出データが示されている。
　人物検出部１１０、行動検出部１２０、及び感情検出部１３０は、撮影装置２００から順次送信される撮影データに応じて、随時検出処理を行う。そのため、検出データは、随時更新される。
　不審度算出部１４０は、行動検出部１２０によって検出された人物の行動と、感情検出部１３０によって検出された人物の感情とに基づいて不審度を算出する。ここで、不審度とは、検出された人物を監視すべき度合いを示す値である。例えば、不審度が所定の値より高い人物は、監視すべき対象である、と判断することができる。
　具体的には、不審度算出部１４０は、記憶装置１６０に格納される検出データから、識別情報に対応付けられた人物の行動の情報と感情の情報とを読み出す。そして、不審度算出部１４０は、読み出した人物の行動の情報と感情の情報とに基づいて、各人物の不審度を算出する。なお、本明細書において、不審度は０から１の範囲の値をとり、値が１に近づくほど監視すべき対象とするものとして説明するが、不審度のとる値はこの例に限らない。
　人物の行動と感情と不審度との関係は、情報処理装置１００の管理人によって予め設定される。これに限らず、例えば、過去に生成された検出データに基づいて、不審度を算出するための予測モデルが予め生成され、不審度算出部１４０は、生成された予測モデルを用いて、検出された人物の不審度を算出してもよい。このとき、検出する行動の種類のそれぞれと、検出する感情の種類のそれぞれとを説明変数とし、不審度を目的変数とした回帰分析を行って予測モデルを生成してもよい。このように、不審度算出部１４０は、検出された人物の行動及び人物の感情に基づいて、人物を監視すべき度合いを示す値である不審度を算出する。不審度算出部１４０は、不審度算出手段の一例である。
　不審度算出部１４０は、検出された人物の行動と感情とに加え、その人物が検出された時刻の情報を用いて不審度を算出してもよい。例えば、検出された人物が「うろつき」の行動をとっていた場合、その人物が検出された時刻に応じて不審度が異なる場合がある。そこで、不審度算出部１４０は、時刻の情報を加味することにより、より正確に不審度を算出することが可能となる。
　不審度算出部１４０は、不審度を算出すると、識別情報と不審度とを対応づけた不審度データを記憶装置１６０に格納する。図４は、第１の実施形態にかかる不審度データの一例を示す図である。図４に示す不審度データの一行目のレコードには、識別情報「Ａ」の人物の不審度が「０．８」であることが示されている。
　マスク処理部１５０は、不審度算出部１４０により算出された不審度に応じて、撮影データにおいて人物が映る領域にマスク処理を行う。ここで、マスク処理とは、画像における処理対象の領域の情報量を減らす処理を示す。また、本明細書において、情報量とは、撮影データから監視員が認識できる物体（例えば人間）の特徴の詳細さを示す量である。すなわち情報量を減らす処理とは、撮影データから監視員が認識できる人物の特徴を減らす処理を示す。マスク処理は、人物が映る領域、すなわち処理対象の領域の解像度を制御する処理であってもよいし、処理対象の領域の画素の位置を入れ替える処理であってもよい。さらに、マスク処理は、処理対象の領域に平滑化フィルタリングを行う処理であってもよいし、処理対象の領域にアバター画像（例えば、人型のイラスト画像やキャラクター画像）のような元の画像とは異なる画像を重畳させる処理であってもよい。このような処理を行うことで、例えば、監視員に、人物が存在することだけ認識できるようにしたり、人物の形だけ認識できるようにしたり、人物が着用している衣服の色や、人物の髪の色だけ認識できるようにしたりすることができる。また、マスク処理部１５０は、マスク処理を行った処理対象の領域に、人物の識別情報を示す処理を行ってもよい。これにより、マスク処理が施された撮影データにおいて、撮影データに含まれる人物の識別情報を監視員に提示することができる。
　マスク処理部１５０は、具体的には、撮影装置２００から取得した撮影データから人物が検出された場合に、不審度算出部１４０により算出された不審度の情報を、記憶装置１６０に格納された不審度データから、検出された人物の識別情報を利用して読み出す。マスク処理部１５０は、読み出した不審度が、マスク処理を行うか否かを判断する閾値以上であるか否かを判断し、閾値未満であると判断した場合に、当該閾値未満の不審度と対応付けられた識別情報の人物が映る領域にマスク処理を行う。一方、マスク処理部１５０は、不審度が閾値以上である人物が映る領域にはマスク処理を行わない。このようにマスク処理部１５０は、算出された不審度に応じて、撮影データのうち人物が映る領域の情報量を減らす処理であるマスク処理を行う。マスク処理部１５０は、マスク処理手段の一例である。
　なお、マスク処理部１５０は、不審度が大きくなるにつれて、マスク処理における情報量を減らす度合いを小さくするように制御してもよい。つまり、マスク処理における情報量を減らす度合いが小さくなるほど、マスク処理を行った領域の情報量が増え（すなわち、元の撮影データの情報量に近づき）、マスク処理における情報量を減らす度合いが大きくなるほど、マスク処理を行った領域の情報量が減る。例えば、マスク処理として、解像度を制御する処理が採用されていた場合、マスク処理における情報量を減らす度合いが小さくなるにつれて、解像度の劣化の度合いを低くする処理を行う。また、例えば、マスク処理として、元の画像とは異なる画像を重畳させる処理が採用されていた場合、マスク処理における情報量を減らす度合いが小さくなるにつれて、重畳させた画像を透明に近づける処理を行う。
　記憶装置１６０は、情報処理装置１００にて生成されるデータ、または情報処理装置１００にて用いられるデータを格納する。なお、記憶装置１６０は、管理端末３００に備えられてもよいし、情報処理装置１００と通信可能に接続されている図示しない装置に備えられていてもよい。
　［監視システム１０００の動作］
　次に、監視システム１０００の動作を、図５、図６及び図７を用いて説明する。以下に説明する動作においては、監視システム１０００は、図１に示す状況において構築されているものとする。なお、本明細書において、フローチャートの各ステップを「S１０１」のように、それぞれのステップに付した番号を用いて表現する。
　図５は、監視システム１０００の動作を説明するシーケンス図である。撮影装置２００は、撮影範囲を撮影し撮影データを生成する（Ｓ１０１）。撮影装置２００は、撮影中断の指示があるまで撮影データを生成し続け、生成した撮影データを情報処理装置１００に順次送信する。
　情報処理装置１００は、撮影装置２００から撮影データを取得すると、取得した撮影データに対して加工処理を行う（Ｓ１０２）。
　図６は、情報処理装置１００の加工処理の動作を説明するフローチャートである。情報処理装置１００の人物検出部１１０は、取得した撮影データにおいて、人物が撮影されているか否かを判断し、人物が撮影されている場合、換言すれば、人物を検出した場合（Ｓ２０１のＹｅｓ）、検出した人物の識別情報を生成する（Ｓ２０２）。このとき、人物検出部１１０は、複数の人物を検出した場合、検出した人物ごとに識別情報を生成する。そして、人物検出部１１０は、生成した識別情報を記憶装置１６０に検出データとして格納する。人物を検出しなかった場合（Ｓ２０１のＮｏ）、当該撮影データに対しては、マスク処理は行われない。
　Ｓ２０２の処理がなされると、行動検出部１２０は、検出された人物の行動を撮影データから検出する（Ｓ２０３）。行動検出部１２０は、検出した行動を示す情報と、検出された人物の識別情報とを対応づけて検出データとして記憶装置１６０に格納する。
　次に、感情検出部１３０は、検出された人物の感情を撮影データから検出する（Ｓ２０４）。感情検出部１３０は、検出した感情を示す情報と、行動検出部１２０によって検出された行動を示す情報と、検出された人物の識別情報とを対応づけて検出データとして記憶装置１６０に格納する。
　不審度算出部１４０は、記憶装置１６０から検出データを読み出し、読み出した検出データを利用して、撮影データから検出された人物の不審度を算出する（Ｓ２０５）。ここで、検出データにおける行動を示す情報と、感情を示す情報との少なくとも一方が検出されていない人物がいる場合がある。この場合、正確に不審度を算出できず、これによりマスク処理が行われない可能性があるが、そのような人物に対してもマスク処理が行われるように、不審度算出部１４０は、不審度を一定の値（例えば０）に設定してもよい。不審度算出部１４０は、算出した不審度と算出した不審度に対応する人物の識別情報とを対応づけて不審度データとして記憶装置１６０に格納する。
　その後、検出されたすべての人物に対して不審度が算出されていない場合（Ｓ２０６のＮｏ）、情報処理装置１００は、Ｓ２０３の処理に戻る。検出されたすべての人物に対して不審度が算出されている場合（Ｓ２０６のＹｅｓ）、マスク処理部１５０は、撮影データにマスク処理を行う（Ｓ２０７）。本動作例では、図３に示す検出データが記憶装置１６０に格納され、当該検出データに基づいて、図４に示す不審度データが記憶装置１６０に格納されたものとする。
　図７は、マスク処理部１５０のマスク処理の動作を説明するフローチャートである。マスク処理部１５０は、記憶装置１６０から不審度データを読み出し、撮影データのうち、識別情報によって識別される人物が映る領域ごとにマスク処理を行う。
　まず、マスク処理部１５０は、不審度データのうち一のレコードに含まれる不審度が０．５以上であるか否かを判別する。不審度が０．５未満の場合（Ｓ２０８のＮｏ）、当該不審度に対応づけられた識別情報の人物が映る領域に情報量を減らす度合いを大きくするマスク処理を行う（Ｓ２０９）。不審度が０．５以上であり（Ｓ２０８のＹｅｓ）、０．８未満の場合（Ｓ２１０のＮｏ）、当該不審度に対応づけられた識別情報の人物が映る領域に、Ｓ２０９において施されるマスク処理よりも情報量を減らす度合いが小さいマスク処理を行う（Ｓ２１１）。不審度が０．８以上の場合（Ｓ２１０のＹｅｓ）、当該不審度に対応づけられた識別情報の人物が映る領域にマスク処理を行わない。すなわち、検出されたすべての人物が映る領域に処理を行った場合（Ｓ２１２のＹｅｓ）、図７のフローチャートを終了する。検出されたすべての人物が映る領域に処理を行っていない場合（Ｓ２１２のＮｏ）、情報処理装置１００は、Ｓ２０８の処理に戻る。
　本動作例においては、マスク処理部１５０は、図４に示される不審度データに基づいて、Ｓ２０７のマスク処理を行う。そのため、識別情報「Ａ」の人物が映る領域には、マスク処理は行われず、識別情報「Ｂ」の人物が映る領域には、Ｓ２０９におけるマスク処理が行われ、識別情報「Ｃ」の人物が映る領域には、Ｓ２１１におけるマスク処理が行われる。
　図８Ａは、第１の実施形態にかかる動作例において撮影装置２００から情報処理装置１００が取得した撮影データの一例である。図８Ａに示される「人物Ａ」、「人物Ｂ」及び「人物Ｃ」は、図３及び図４に示される識別情報「Ａ」、「Ｂ」及び「Ｃ」の人物と対応している。
　図８Ｂは、第１の実施形態にかかる動作例において、図８Ａに対して加工処理が行われた加工済撮影データの一例である。図８Ｂでは、人物Ａが映る領域にはマスク処理が行われていないことが示されている。また、人物Ｂが映る領域には情報量を減らす度合いが大きいマスク処理がなされている。本動作例では、マスク処理部１５０は、人物Ｂが映る領域に別の画像を重畳している。これにより、当該加工済撮影データには、人物Ｂに関する特徴は映らない。また、人物Ｃが映る領域には情報量を減らす度合いが小さいマスク処理がなされている。本動作例では、マスク処理部１５０は、人物Ｃが透過して映るように、人物Ｃが映る領域に別の画像を重畳している。このとき、マスク処理部１５０は、監視員が人物Ｃの形だけ認識できるように、重畳された画像の透過率を調整してもよいし、人物Ｃの衣服や髪の色だけ認識できるように、重畳された画像の透過率を調整してもよい。
　図５に戻り、情報処理装置１００は、加工済撮影データを管理端末３００に送信する（Ｓ１０３）。管理端末３００の表示部３１０は、情報処理装置１００から加工済撮影データを取得すると、加工済撮影データを表示する（Ｓ１０４）。
　以上のように、第１の実施形態にかかる情報処理装置１００は、撮影データに含まれる人物の行動と、人物の感情とを検出する。そして情報処理装置１００は、検出した人物の行動及び人物の感情に基づいて、人物を監視すべき度合いを示す値である不審度を算出し、算出した不審度に応じて、撮影データのうち人物が映る領域の情報量を減らす処理であるマスク処理を行う。この構成により、第１の実施形態にかかる情報処理装置１００は、プライバシーの保護を図りつつ、人物の監視に有効な映像を提示することが可能になるという効果が得られる。
　さらに、第１の実施形態にかかる情報処理装置１００は、監視すべき対象以外にはマスク処理が行われるので、監視すべき対象を際立たせて表示することができる。これにより、監視員に、効率的に監視すべき対象を認識させることができる。
　さらに、第１の実施形態にかかる情報処理装置１００は、不審度に応じてマスク処理の情報量を減らす度合いを変更することができる。そのため、監視員が監視に必要な情報だけ認識して監視を行うことができるので、監視員によるプライバシーの侵害を最大限防止することができる。
　（変形例１）
　人物検出部１１０は、撮影装置２００が備えていてもよい。この場合、撮影装置２００において、Ｓ１０１の処理の後、Ｓ２０１の処理とＳ２０２の処理を行う。そして、撮影装置２００は、撮影データと、撮影データに撮影されている人物に関して生成した識別情報とを情報処理装置１００に送信する。
　（変形例２）
　行動検出部１２０は、さらに、人物が所持している物品を検出してもよい。例えば、人物が刃物を所持していた場合、行動検出部１２０は、「刃物の所持」を示す情報と識別情報とを対応付けて検出データとして記憶装置１６０に格納する。
　このように、第１の実施形態にかかる情報処理装置１００は、人物が所持している物品を検出することにより、より正確に監視すべき人物を検出することができる。
　＜第２の実施形態＞
　次に、第２の実施形態にかかる情報処理装置を含む監視システムについて説明する。
　図９は、第２の実施形態にかかる監視システム１００１の構成の一例を示すブロック図である。図９に示す通り、監視システム１００１は、第１の実施形態における情報処理装置１００に代わり、情報処理装置１０１を備え、それ以外については、第１の実施形態で説明した監視システム１０００と同様である。すなわち、監視システム１００１は、情報処理装置１０１と、撮影装置２００と、管理端末３００とを備える。なお、図９に示す監視システム１００１の構成及び動作が、第１の実施形態の説明と重複する内容については説明を省略する。
　図９に示すように情報処理装置１０１は、第１の実施形態の情報処理装置１００の構成に、さらに指示受付部１７０を加えた構成を備える。
　例えば、監視員が、マスク処理が行われなかった人物が映る加工済撮影データから異変を認識し、撮影範囲の付近にいる警備員に対応を要請したとする。そして、警備員から対応が完了した旨の連絡が監視員に通知されたとき、その人物にマスク処理を行わないままの状態にしておく必要はない。その場合、監視員は、管理端末３００に、その人物にマスク処理を行うように指示情報を入力する。このとき、指示受付部１７０は、管理端末３００から、その人物にマスク処理を行う指示情報を受け付ける。指示情報には、マスク処理に係る情報と、マスク処理が施される人物の識別情報とが含まれる。
　指示受付部１７０は、受け付けた指示情報に応じて、マスク処理を施す人物の不審度を変更する。具体的には、受け付けた指示情報に含まれるマスク処理の情報量を減らす度合いと識別情報とに基づいて、不審度データのうち、その識別情報に対応する不審度を、指示情報に含まれるマスク処理の情報量を減らす度合いに応じて変更する。このように、指示受付部１７０は、不審度を変更する指示と、不審度を変更する人物を識別する情報とを含む指示情報を受け付け、受け付けた指示情報に基づいて不審度を変更する。指示受付部１７０は指示受付手段の一例である。
　このように、第２の実施形態の情報処理装置１０１は、不審度を変更する指示と、不審度を変更する人物を識別する情報とを含む指示情報を受け付ける。そして、情報処理装置１０１は、指示情報に応じて変更された不審度を持つ人物が映る領域に、変更された不審度に基づいたマスク処理を行う。これにより、第２の実施形態の情報処理装置１０１は、例えば、マスク処理が行われなかった人物の領域に対して、必要に応じてマスク処理を行うことができるので、プライバシーの保護を図ることができる。
　なお、指示受付部１７０は、指示情報に含まれるマスク処理の情報量を減らす度合いが、指示情報を受け付けた時点のマスク処理の情報量を減らす度合いよりも小さい場合、当該指示を受け付けられない旨の通知を管理端末３００に送信してもよい。これにより、人為的にマスク処理の情報量を減らす度合いを小さくすることができなくなるので、監視員によるプライバシーの侵害をさらに防止することができる。
　また、指示受付部１７０は、指示に応じて不審度を制御した不審度データのレコードに所定時間の間、フラグをたてるよう制御してもよい。そして、不審度算出部１４０は、フラグをたてた不審度データのレコードに対して不審度の算出を行わないようにしてもよい。これにより、指示に応じて不審度を制御したレコードの、不審度算出部１４０による不審度の書き換えを防ぐことができる。
　＜第３の実施形態＞
　次に、第３の実施形態にかかる情報処理装置を含む監視システムについて説明する。
　図１０は、第３の実施形態にかかる監視システム１００２の構成の一例を示すブロック図である。図１０に示す通り、監視システム１００２は、第１の実施形態における情報処理装置１００に代わり、情報処理装置１０２を備え、それ以外については、第１の実施形態で説明した監視システム１０００と同様である。すなわち、監視システム１００２は、情報処理装置１０２と、撮影装置２００と、管理端末３００とを備える。なお、図１０に示す監視システム１００２の構成及び動作が、第１の実施形態の説明と重複する内容については説明を省略する。
　図１０に示すように情報処理装置１０２は、第１の実施形態の情報処理装置１００の構成に、さらに顔照合部１８０を加えた構成を備える。
　顔照合部１８０は、撮影データに含まれる人物の顔情報と、予め登録された顔情報とを照合する。具体的には、顔照合部１８０は、撮影データのうち、人物検出部１１０によって検出された人物の顔の領域から特徴量を抽出する。次に、顔照合部１８０は、予め登録された顔の特徴量を保持するデータベースを用いて、抽出した特徴量と合致する特徴量を探す。合致する特徴量がデータベースに含まれていた場合、顔照合部１８０は、合致した特徴量がある（ヒットした）と判定する。このとき、データベースは、記憶装置１６０に格納されていてもよいし、情報処理装置１０２と通信可能に接続された図示しない装置に格納されていてもよい。このように、顔照合部１８０は、人物の顔情報と、データベースに予め登録された顔情報との照合を行う。顔照合部１８０は、顔照合手段の一例である。
　そして、顔照合部１８０は、顔情報の照合においてヒットしたと判定した人物の不審度を１として不審度データを更新する。すなわち、情報処理装置１０２は、撮影データのうち、照合がヒットした人物は不審度が１と高いから、この人物が映る領域には、マスク処理を行わない。
　次に、監視システム１００２の動作を、図１１を用いて説明する。
　第３の実施形態においては、図５に示すＳ１０２の処理の代わりに、図１１に示す処理を行う。図１１は、第３の実施形態にかかる加工処理のフローチャートの一例を示す図である。図６に示すフローチャートと同様の処理については、説明を省略する。
　Ｓ２０２の処理の後、顔照合部１８０は、検出された人物の顔照合を行う。顔照合がヒットした場合（Ｓ４０１のＹｅｓ）、顔照合部１８０は、顔照合がヒットした人物の識別情報に対応する不審度を１とする（Ｓ４０２）。顔照合がヒットしない場合（Ｓ４０１のＮｏ）、Ｓ２０３の処理を行う。
　このように、第３の実施形態にかかる情報処理装置１０２は、検出された人物の顔情報と、予め登録された顔情報とが合致した場合、撮影データのうち、当該人物が映る領域にマスク処理を行わない。これにより、情報処理装置１０２は、例えば、指名手配されている人物など、予め顔情報がわかっている人物を検出した場合に、その人物を示す映像を提示することができる。
　なお、図１０において、情報処理装置１０２は、第２の実施形態で説明した指示受付部１７０が記載されていないが、情報処理装置１０２は、指示受付部１７０を備えていてもよい。すなわち、第３の実施形態の監視システム１００２は、第２の実施形態において説明された処理と同様の処理も行えるように構成されてもよい。
　＜第４の実施形態＞
　次に、第４の実施形態にかかる情報処理装置を含む監視システムについて説明する。
　図１２は、第４の実施形態にかかる監視システム１００３の構成の一例を示すブロック図である。図１２に示すように、監視システム１００３は、第１の実施形態における情報処理装置１００に代わり、情報処理装置１０３を備え、それ以外については、第１の実施形態で説明した監視システム１０００と同様である。すなわち、監視システム１００３は、情報処理装置１０３と、撮影装置２００と、管理端末３００とを備える。なお、図１２に示す監視システムの構成及び動作が、第１の実施形態の説明と重複する内容については説明を省略する。
　図１２に示すように情報処理装置１０３は、第１の実施形態の情報処理装置１００におけるマスク処理部１５０に代わりマスク処理部１５１を備え、さらに属性検出部１９０を備える。
　属性検出部１９０は、撮影データに含まれる人物の属性を検出する。ここで、人物の属性とは、例えば、当該人物の性別、年齢、姿勢、服装、及び当該人物の歩行速度等であるが、これに限らない。このように、属性検出部１９０は、人物の属性を撮影データから検出する。属性検出部１９０は、属性検出手段の一例である。
　属性検出部１９０は、検出された人物ごとに属性を検出し、検出した人物の属性と、人物の識別情報とを対応づけて検出データとして記憶装置１６０に格納する。
　図１３は、第４の実施形態にかかる検出データの一例を示す図である。図１３に示す検出データは、識別情報と、人物の行動を示す情報と、人物の感情を示す情報と、人物の属性を示す情報とが対応づけられたデータである。例えば、図１３の一行目のレコードには、識別情報が「Ａ」である人物は、「１０歳未満」の「女性」であることを表す検出データが示されている。
　マスク処理部１５１は、不審度と、検出された属性とに基づいてマスク処理を行う。具体的には、マスク処理部１５１は、検出された属性の情報が加工済撮影データから認識できるようにマスク処理を行う。撮影データに含まれる人物が３０代の男性であった場合、マスク処理部１５１は、例えば、当該人物が映る領域に、「３０代」と「男性」とを示す情報を付加したアバター画像を重畳することによりマスク処理を行う。このような、属性に応じたアバター画像は、予め記憶装置１６０に格納されている。なお、付加する情報は、不審度に応じて取捨選択されてよい。また、アバター画像を重畳するマスク処理は、撮影データから検出されたすべての人物に対して行うのではなく、不審度に基づいて選択された人物に行ってもよい。
　次に、監視システム１００３の動作を、図１４及び図１５を用いて説明する。
　第４の実施形態においては、図６に示す１０２の処理の代わりに、図１４及び図１５に示す処理を行う。図６及び図７に示すフローチャートと同様の処理については、説明を省略する。
　図１４は、第４の実施形態にかかる加工処理のフローチャートの一例を示す図である。図１４に示すように、Ｓ２０４の処理の後、属性検出部１９０は、検出された人物ごとに属性を撮影データから検出する（Ｓ５０１）。そして、属性検出部１９０は、検出した属性と、人物の行動を示す情報と、人物の感情を示す情報と、識別情報とを対応づけて検出データとして記憶装置１６０に格納する。なお、本動作例においては、図１３に示す検出データと、図４に示す不審度データとが記憶装置１６０に格納されたとする。
　そして、検出されたすべての人物に不審度が算出された場合（Ｓ２０６のＹｅｓ）、マスク処理部１５１は、次のようにマスク処理を行う（Ｓ５０２）。
　図１５は、第４の実施形態にかかるマスク処理のフローチャートの一例を示す図である。図１５に示すように、不審度が０．５以上であり（Ｓ２０８のＹｅｓ）、不審度が０．８未満のとき（Ｓ２１０のＮｏ）、マスク処理部１５１は、属性に基づいて情報量を減らす度合い小さいマスク処理を行う（Ｓ５０３）。本動作例では、図４に示す不審度データのうち、不審度が０．５以上０．８未満であるのは、識別情報「Ｃ」の人物である。図１３に示すように識別情報「Ｃ」の人物は、年齢が「３０代」であり、性別が「男性」の人物である。そのため、マスク処理部１５１は、識別情報「Ｃ」の人物が映る領域に対して、「３０代」の情報と「男性」の情報とを付加したアバターを重畳する。このとき、マスク処理部１５１は、例えば、アバターの色を変えたり、アバターに文字を書き込んだりすることで、年齢及び性別の情報を付加してもよい。
　このように、第４の実施形態にかかる情報処理装置１０３は、撮影データに含まれる人物の属性を検出し、検出した属性に基づいてマスク処理を行う。これにより、情報処理装置１０３は、例えば、アバターに属性の情報を付加した加工済撮影データを提示することができるので、弱いマスク処理を行った人物に対しても、監視員によるプライバシーの侵害を防止することができる。
　（変形例３）
　例えば、１０歳未満の人物がうろついていたことが検出された場合、当該人物は監視すべき対象である可能性がある。そのため、不審度算出部１４０は、検出された人物の行動及び感情の情報に加え、検出された人物の、属性の情報も用いて不審度を算出してもよい。
　また、例えば、撮影範囲が公道であり、午前３時に生成された撮影データに１０代の人物が含まれていた場合、当該人物は監視すべき対象である可能性がある。そのため、不審度算出部１４０は、人物の行動の情報と、人物の感情の情報と、人物の属性の情報とに加え、時刻の情報も用いて不審度を算出してもよい。このとき、時刻の情報は、撮影装置２００が情報処理装置１０３に送る撮影データに含まれてもよい。
　なお、図１２において、情報処理装置１０３は、第２の実施形態で説明した指示受付部１７０及び第３の実施形態で説明した顔照合部１８０が記載されていないが、情報処理装置１０３は、指示受付部１７０及び顔照合部１８０を備えていてもよい。すなわち、第４の実施形態の監視システム１００３は、第２の実施形態及び第３の実施形態において説明された処理と同様の処理も行えるように構成されてもよい。
　＜第５の実施形態＞
　次に、第５の実施形態にかかる情報処理装置を含む監視システムについて説明する。
　図１６は、第５の実施形態にかかる監視システム１００４の構成の一例を示すブロック図である。図１６に示すように、監視システム１００４は、情報処理装置１０４と、撮影装置２００とを備える。なお、図１６に示す監視システム１００４の構成及び動作が、第１の実施形態の説明と重複する内容については説明を省略する。
　撮影装置２００は、撮影範囲を撮影することにより、撮影データを生成する。
　図１７は、第５の実施形態にかかる情報処理装置１０４の機能構成の一例を示すブロック図である。図１７に示すように、情報処理装置１０４は、行動検出部４１０と、感情検出部４２０と、不審度算出部４３０と、マスク処理部４４０とを備える。
　行動検出部４１０は、撮影データに含まれる人物の行動を撮影データから検出する。
　感情検出部４２０は、撮影データに含まれる人物の感情を撮影データから検出する。
　不審度算出部４３０は、検出された人物の行動及び人物の感情に基づいて、人物の不審度を算出する。
　マスク処理部４４０は、算出された不審度に基づいて、撮影データのうち人物が映る領域にマスク処理を行う。
　次に、図１８を用いて情報処理装置１０４の動作を説明する。図１８は、情報処理装置１０４の動作を説明するフローチャートである。なお、図１８に示す動作は、第１の実施形態における図１８のＳ１０２の処理に代わって行われる動作である。
　行動検出部４１０は、撮影装置２００が生成した撮影データを用いて、撮影データに含まれる人物の行動を検出する（Ｓ６０１）。
　感情検出部４２０は、撮影装置２００が生成した撮影データを用いて、撮影データに含まれる人物の感情を検出する（Ｓ６０２）。
　不審度算出部４３０は、行動検出部４１０によって検出された人物の行動と、感情検出部４２０によって検出された人物の感情に基づいて、人物の不審度を算出する（Ｓ６０３）。
　マスク処理部４４０は、不審度算出部４３０によって算出された不審度に基づいて、撮影データのうち人物が映る領域にマスク処理を行う（Ｓ６０４）。
　以上のように、第５の実施形態にかかる情報処理装置１０４は、撮影データに含まれる人物の行動と、人物の感情とを検出する。そして情報処理装置１０４は、検出した人物の行動及び人物の感情に基づいて、人物の不審度を算出し、算出した前記不審度に応じて、撮影データのうち人物が映る領域にマスク処理を行う。この構成により、第５の実施形態にかかる情報処理装置１０４は、プライバシーの保護を図りつつ、人物を監視する際に有効な映像を提示することが可能になるという効果が得られる。
　上述した第１、第２、第３、第４及び第５の実施形態は、適宜組み合わせて実現可能である。
　＜情報処理装置のハードウェアの構成例＞
　上述した第１、第２、第３、第４及び第５の実施形態にかかる情報処理装置を構成するハードウェアについて説明する。図１９は、各実施形態における情報処理装置を実現するコンピュータ装置のハードウェア構成の一例を示すブロック図である。図１９が示す各ブロックは、各実施形態における情報処理装置及び情報処理方法を実現するコンピュータ装置１０と、ソフトウェアとの組み合わせにより実現できる。
　図１９に示すように、コンピュータ装置１０は、プロセッサ１１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３、記憶装置１４、入出力インタフェース１５、バス１６、及びドライブ装置１７を備える。
　記憶装置１４は、プログラム（コンピュータプログラム）１８を格納する。プロセッサ１１は、ＲＡＭ１２を用いて本情報処理装置にかかるプログラム１８を実行する。具体的には、例えば、プログラム１８は、図５、図６、図７、図１１、図１４、図１５及び図１８に示す処理をコンピュータに実行させるプログラムを含む。プロセッサ１１が、プログラム１８を実行することに応じて、本情報処理装置の各構成要素（上述した、行動検出部１２０、４１０、感情検出部１３０、４２０、不審度算出部１４０、４３０、及びマスク処理部１５０、１５１、４４０等）の機能が実現される。プログラム１８は、ＲＯＭ１３に記憶されていてもよい。また、プログラム１８は、記憶媒体２０に記録され、ドライブ装置１７を用いて読み出されてもよいし、図示しない外部装置から図示しないネットワークを介してコンピュータ装置１０に送信されてもよい。
　入出力インタフェース１５は、周辺機器（キーボード、マウス、表示装置など）１９とデータをやり取りする。入出力インタフェース１５は、データを取得または出力する手段として機能する。バス１６は、各構成要素を接続する。
　なお、情報処理装置の実現方法には様々な変形例がある。例えば、情報処理装置は、専用の装置として実現することができる。また、情報処理装置は、複数の装置の組み合わせにより実現することができる。
　各実施形態の機能における各構成要素を実現するためのプログラムを記憶媒体に記録させ、該記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体、及びそのプログラム自体も各実施形態に含まれる。
　該記憶媒体は、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）－ＲＯＭ、磁気テープ、不揮発性メモリカード、またはＲＯＭであるが、この例に限らない。また該記憶媒体に記録されたプログラムは、単体で処理を実行しているプログラムに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）上で動作して処理を実行するプログラムも各実施形態の範疇に含まれる。
　以上、上述した実施形態を参照して本開示を説明した。しかしながら、本開示は、上述した実施形態には限定されない。即ち、本開示は、本開示のスコープ内において、種々の上記開示要素の多様な組み合わせ乃至選択等、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０２０年３月１９日に出願された日本出願特願２０２０－０４８５７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　コンピュータ装置
　１１　プロセッサ
　１２　ＲＡＭ
　１３　ＲＯＭ
　１４、１６０　記憶装置
　１５　入出力インタフェース
　１６　バス
　１７　ドライブ装置
　１８　プログラム
　１９　周辺機器
　２０　記憶媒体
　１００、１０１、１０２、１０３、１０４　情報処理装置
　１２０、４１０　行動検出部
　１３０、４２０　感情検出部
　１４０、４３０　不審度算出部
　１５０、１５１、４４０　マスク処理部
　１７０　指示受付部
　１８０　顔照合部
　１９０　属性検出部
　２００　撮影装置
　３００　管理端末
　３１０　表示部

Claims (9)

  1. 　撮影データに含まれる人物の行動を検出する行動検出手段と、
    　前記人物の感情を検出する感情検出手段と、
    　検出された前記人物の行動及び前記人物の感情に基づいて、前記人物を監視すべき度合いを示す値である不審度を算出する不審度算出手段と、
    　算出された前記不審度に基づいて、前記撮影データのうち前記人物が映る領域の情報量を減らす処理であるマスク処理を行うマスク処理手段と、を備える、
    　情報処理装置。
  2. 　前記マスク処理手段は、前記不審度が所定の値以上のとき、前記不審度が前記所定の値未満のときより、前記人物が映る領域の情報量を減らす度合いを小さくする、
    　請求項１に記載の情報処理装置。
  3. 　前記不審度を変更する指示と、前記不審度を変更する前記人物を識別する情報とを含む指示情報を受け付ける指示受付手段をさらに備え、
    　前記マスク処理手段は、前記指示受付手段が前記指示情報を受け付けた場合、前記指示情報に応じて変更された前記不審度を持つ前記人物が映る領域に、変更された前記不審度に基づいたマスク処理を行う、
    　請求項１または２に記載の情報処理装置。
  4. 　前記人物の顔情報と、データベースに予め登録された顔情報との照合を行う顔照合手段をさらに備え、
    　前記マスク処理手段は、前記照合において、前記人物の顔情報と、前記予め登録された顔情報とが合致した場合、前記撮影データのうち当該人物が映る領域にマスク処理を行わない、
    　請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 　前記人物の属性を検出する属性検出手段をさらに備え、
    　前記不審度算出手段は、検出された前記人物の行動と、前記人物の感情と、前記人物の属性と、に基づいて、前記人物の前記不審度を算出する、
    　請求項１乃至４のいずれか一項に記載の情報処理装置。
  6. 　前記マスク処理手段は、検出された前記人物の属性に基づいて、前記人物の属性を示す情報を付加したマスク処理を行う、
    　請求項５に記載の情報処理装置。
  7. 　撮影範囲を撮影することにより前記撮影データを生成する撮影装置と、
    　請求項１乃至６のいずれか一項に記載の情報処理装置と、を備える、
    　監視システム。
  8. 　撮影データに含まれる人物の行動を検出し、
    　前記人物の感情を検出し、
    　検出された前記人物の行動及び前記人物の感情に基づいて、前記人物を監視すべき度合いを示す不審度を算出し、
    　算出された前記不審度に基づいて、前記撮影データのうち前記人物が映る領域の情報量を減らす処理であるマスク処理を行う、
    　情報処理方法。
  9. 　撮影データに含まれる人物の行動を検出する処理と、
    　前記人物の感情を検出する処理と、
    　検出された前記人物の行動及び前記人物の感情に基づいて、前記人物を監視すべき度合いを示す不審度を算出する処理と、
    　算出された前記不審度に基づいて、前記撮影データのうち前記人物が映る領域の情報量を減らす処理であるマスク処理を行う処理と、をコンピュータに実行させるプログラムを格納する、
    　記憶媒体。
PCT/JP2021/001032 2020-03-19 2021-01-14 情報処理装置、監視システム、情報処理方法、及び記憶媒体 WO2021186866A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/801,300 US20230089155A1 (en) 2020-03-19 2021-01-14 Information processing device, monitoring system, information processing method, andnon-transitory computer-readable storage medium
JP2022508085A JP7405238B2 (ja) 2020-03-19 2021-01-14 情報処理装置、監視システム、情報処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020048579 2020-03-19
JP2020-048579 2020-03-19

Publications (1)

Publication Number Publication Date
WO2021186866A1 true WO2021186866A1 (ja) 2021-09-23

Family

ID=77770769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001032 WO2021186866A1 (ja) 2020-03-19 2021-01-14 情報処理装置、監視システム、情報処理方法、及び記憶媒体

Country Status (3)

Country Link
US (1) US20230089155A1 (ja)
JP (1) JP7405238B2 (ja)
WO (1) WO2021186866A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095396A1 (ja) * 2022-11-02 2024-05-10 三菱電機株式会社 不審者検出装置および不審者検出方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI825843B (zh) * 2022-07-12 2023-12-11 致伸科技股份有限公司 一種安全認證方法及應用該方法之安全認證裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152328A (ja) * 2006-12-14 2008-07-03 Hitachi Information & Control Solutions Ltd 不審者監視システム
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
JP2015046732A (ja) * 2013-08-28 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6467994B2 (ja) 2015-02-27 2019-02-13 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152328A (ja) * 2006-12-14 2008-07-03 Hitachi Information & Control Solutions Ltd 不審者監視システム
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
JP2015046732A (ja) * 2013-08-28 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095396A1 (ja) * 2022-11-02 2024-05-10 三菱電機株式会社 不審者検出装置および不審者検出方法

Also Published As

Publication number Publication date
JPWO2021186866A1 (ja) 2021-09-23
US20230089155A1 (en) 2023-03-23
JP7405238B2 (ja) 2023-12-26

Similar Documents

Publication Publication Date Title
JP7046625B2 (ja) 顔認証方法及び装置
JP7278735B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5171351B2 (ja) 画像監視装置
JP6202283B2 (ja) 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム
KR101972918B1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
JP2022118201A (ja) 画像処理システム、画像処理方法及びプログラム
WO2021186866A1 (ja) 情報処理装置、監視システム、情報処理方法、及び記憶媒体
KR102167730B1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
US10769915B2 (en) Privacy preserving camera
JP2007148872A (ja) 画像認証装置
JP6440327B2 (ja) 防犯システム、防犯方法、及びロボット
JP7416165B2 (ja) 情報処理装置
JP7419080B2 (ja) コンピュータシステムおよびプログラム
US20230102479A1 (en) Anonymization device, monitoring apparatus, method, computer program, and storage medium
JP2015138449A (ja) 個人認証装置、個人認証方法及びプログラム
JP5431830B2 (ja) 部品検出装置、部品検出方法、プログラムおよび記録媒体
Eyiokur et al. A survey on computer vision based human analysis in the COVID-19 era
EP3295696A1 (en) In-device privacy control mechanism for wearable smart devices
JP7188566B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021196741A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5748421B2 (ja) 認証装置、認証方法、及び認証プログラム、並びに記録媒体
JP3088880B2 (ja) 人物認識装置
JP7423904B2 (ja) 情報出力装置、方法、及びプログラム
JP2005149145A (ja) 物体検出装置、物体検出方法、およびコンピュータプログラム
JP7371764B2 (ja) 情報登録装置、情報登録システム、情報登録方法およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21770559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508085

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21770559

Country of ref document: EP

Kind code of ref document: A1