WO2023203637A1 - 監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体 - Google Patents

監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体 Download PDF

Info

Publication number
WO2023203637A1
WO2023203637A1 PCT/JP2022/018160 JP2022018160W WO2023203637A1 WO 2023203637 A1 WO2023203637 A1 WO 2023203637A1 JP 2022018160 W JP2022018160 W JP 2022018160W WO 2023203637 A1 WO2023203637 A1 WO 2023203637A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
confirmed
image
feature amount
notification image
Prior art date
Application number
PCT/JP2022/018160
Other languages
English (en)
French (fr)
Inventor
真澄 石川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/018160 priority Critical patent/WO2023203637A1/ja
Publication of WO2023203637A1 publication Critical patent/WO2023203637A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a monitoring system, information processing device, monitoring device, method, and program for a monitor to confirm a person to be monitored.
  • Patent Document 1 discloses a wearable camera system including a wearable camera and a server.
  • the wearable camera images a subject, detects a person's face included in the captured image, and transmits information regarding the detected face to a server.
  • the server receives face-related information from the wearable camera
  • the server compares the face of the person specified by the received face-related information with the face image registered in the storage unit.
  • the server notifies the wearable camera of information regarding the person corresponding to the registered facial image.
  • the wearable camera then reports information about the notified person to the police officer.
  • Patent Document 1 the wearable camera system disclosed in Patent Document 1 is intended to promptly inform police officers that there is a suspicious person in the surrounding area, so a monitor can cover all the people present in the place to be monitored. The problem was that it was not possible to confirm the
  • one of the purposes of the present disclosure is to provide a monitoring system, an information processing device, a monitoring device, a method, and a program that enable a monitoring person to comprehensively confirm the persons present at a place to be monitored.
  • Our goal is to provide the following.
  • a monitoring system includes: a photographing device that generates a photographed image by photographing a place to be monitored where one or more people to be monitored are present; an information processing device that processes captured images; one or more monitoring devices for monitoring a person;
  • the information processing device is A confirmed person database in which feature values of persons who have been confirmed by a supervisor are registered; a first person identifying means for identifying a person in a photographed image; a feature amount calculation means for calculating the feature amount of the identified person; a feature amount matching means for comparing the calculated feature amount with the feature amount registered in the confirmed person database; an image processing means for generating a first notification image indicating that a person with matching feature values has been confirmed by a supervisor;
  • the monitoring device is It includes display control means for displaying the first notification image on the display device.
  • An information processing device includes: a first person identifying means for identifying a person in a photographed image of a place to be monitored where one or more people to be monitored exist; Feature amount calculation means for calculating the feature amount of the person identified by the first person identification means; feature amount matching means for comparing the feature amount calculated by the feature amount calculation means with the feature amount registered in a confirmed person database in which the feature amount of the person confirmed by the supervisor is registered; an image processing means for generating a first notification image indicating that a person with matching feature amounts has been confirmed by a supervisor; and transmitting means for transmitting the first notification image and displaying the first notification image on the display device.
  • a monitoring device matches the feature amount of a person who has been confirmed by a monitor among one or more persons to be monitored in a photographed image generated by photographing a place to be monitored.
  • the present invention includes a display control means for causing a display device to display a notification image indicating that a person having a characteristic amount has been confirmed by a supervisor.
  • a method includes: The computer is Identifying a person in a photographed image of a place to be monitored where one or more people to be monitored exist, Calculate the features of the identified person, The calculated feature values are compared with the feature values registered in the confirmed person database where the feature values of the person confirmed by the supervisor are registered. generating a first notification image indicating that a person with matching feature amounts has been confirmed by a supervisor; The first notification image is transmitted and the first notification image is displayed on the display device.
  • a program includes: to the computer, Identifying a person in a photographed image of a place to be monitored where one or more people to be monitored exist, a step of calculating features of the identified person; a step of comparing the calculated feature amount with the feature amount registered in a confirmed person database in which the feature amount of the person confirmed by the supervisor is registered; a step of generating a first notification image indicating that a person with matching feature values has been confirmed by a supervisor; transmitting the first notification image and displaying the first notification image on the display device.
  • a monitoring system an information processing device, a monitoring device, a method, and a program that allow a monitoring person to comprehensively check the people present at a place to be monitored.
  • FIG. 1 is a diagram showing a monitoring system according to a first embodiment.
  • FIG. 1 is a diagram showing the configuration of a wearable monitoring device according to a first embodiment.
  • FIG. 3 is a diagram showing an example of a display surface of a transmissive display device.
  • FIG. 1 is a diagram showing the configuration of an information processing device according to a first embodiment. It is a figure showing an example of a confirmed person database.
  • FIG. 1 is a diagram showing the configuration of a non-wearable monitoring device according to a first embodiment.
  • FIG. 2 is a sequence diagram illustrating an example of processing executed by the monitoring system.
  • FIG. 3 is a diagram showing an example of a first notification image.
  • FIG. 7 is a diagram showing another example of the first notification image.
  • FIG. 7 is a diagram showing another example of the first notification image.
  • FIG. 7 is a diagram showing another example of the first notification image.
  • FIG. 7 is a sequence diagram showing another example of processing executed by the monitoring system.
  • FIG. 7 is a sequence diagram showing another example of processing executed by the monitoring system.
  • FIG. 7 is a sequence diagram showing another example of processing executed by the monitoring system.
  • FIG. 2 is a diagram showing main components included in the monitoring system.
  • FIG. 2 is a diagram showing main components included in the information processing device.
  • FIG. 3 is a diagram showing main components included in the monitoring device.
  • FIG. 2 is a diagram showing the configuration of an information processing device according to a second embodiment. It is a figure which shows an example of a 2nd notification image.
  • FIG. 3 is a diagram showing the configuration of an information processing device according to a third embodiment. It is a figure which shows an example of a 3rd notification image.
  • FIG. 7 is a diagram showing another example of a third notification image.
  • FIG. 7 is a diagram showing another example of a third notification image.
  • FIG. 7 is a diagram showing the configuration of an information processing device according to a fourth embodiment. It is a figure which shows an example of the 4th notification image.
  • FIG. 7 is a sequence diagram showing an example of processing executed by the monitoring system according to the fourth embodiment.
  • FIG. 7 is a sequence diagram showing another example of processing executed by the monitoring system according to the fourth embodiment. It is a figure which shows an example of a 5th notification image.
  • FIG. 1 is a diagram showing a monitoring system 1 according to the first embodiment.
  • the monitoring system 1 includes a wearable monitoring device 10, an information processing device 20, a non-wearable monitoring device 30, a stationary photographing device 40, and a mobile robot 50.
  • the information processing device 20 can mutually communicate data with the wearable monitoring device 10, the non-wearable monitoring device 30, the stationary imaging device 40, and the mobile robot 50 via the network 60.
  • the network 60 can be constructed using network devices capable of wireless communication and/or wired communication.
  • the network 60 can include various networks such as a LAN (Local Area Network) and/or a WAN (Wide Area Network).
  • the wearable monitoring device 10 is an information processing device worn by a monitor who monitors a person to be monitored.
  • a specific example of the wearable monitoring device 10 is a head-mounted display equipped with a photographing device.
  • the wearable monitoring device 10 corresponds to a computer. The configuration of the wearable monitoring device 10 will be described later with reference to FIG. 2.
  • the information processing device 20 is a device that processes various information regarding a person to be monitored. Specific examples of the information processing device 20 include information processing devices such as a PC and a server. The information processing device 20 corresponds to a computer. The configuration of the wearable monitoring device 10 will be described later with reference to FIG. 4.
  • the non-wearable monitoring device 30 is a non-wearable information processing device used by a supervisor when monitoring a person to be monitored. Specific examples of the non-wearable monitoring device 30 include information processing devices such as a PC and a tablet terminal. The non-wearable monitoring device 30 corresponds to a computer. The configuration of the non-wearable monitoring device 30 will be described later with reference to FIG. 6.
  • the stationary photographing device 40 is a photographing device installed at a location to be monitored where one or more persons to be monitored may be present.
  • the stationary photographing device 40 photographs the location, generates a photographed image, and transmits the photographed image to the information processing device 20 .
  • the mobile robot 50 is a mobile robot for photographing a location to be monitored where one or more people to be monitored may be present.
  • the mobile robot 50 includes a photographing device 51 that photographs the location and generates a photographed image.
  • the mobile robot 50 transmits the photographed image generated by the photographing device 51 to the information processing device 20.
  • FIG. 2 is a diagram showing the configuration of the wearable monitoring device 10 according to the first embodiment.
  • the wearable monitoring device 10 includes a processor 11 capable of executing various programs, a communication interface (I/F) 12, a storage device 13, a transparent display device 14, a first imaging device 15, and a second imaging device 15.
  • a photographing device 16 is provided.
  • Specific examples of the processor 11 include various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the wearable monitoring device 10 communicates data with other devices via the communication interface 12.
  • the storage device 13 stores various information such as the program 100 executed by the processor 11 and photographed images.
  • the transmissive display device 14 is a display device that has a transmissive display surface.
  • the transmissive display device 14 can display various images.
  • the first photographing device 15 is a photographing device that photographs the wearer's eyes and generates a photographed image.
  • the first photographing device 15 can be provided at a position where it can photograph the wearer's eyes, for example, at an end of the transmissive display device 14.
  • the first photographing device 15 periodically generates photographed images including the wearer's eyes.
  • the second photographing device 16 is a photographing device that generates a photographed image representing the wearer's field of view through the transmissive display device 14.
  • the photographed image generated by the second photographing device 16 includes a front view of the wearer.
  • the processor 11 executes the method according to the exemplary embodiment by reading the program 100 from the storage device 13 and executing it.
  • the program 100 includes a pupil position detection section 101 , a viewpoint position specification section 102 , a display control section 103 , an input detection section 104 , and a transmission section 105 .
  • the functions of the program 100 may be realized by an integrated circuit such as an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit).
  • Integrated circuits such as processors, FPGAs, and ASICs correspond to computers.
  • the pupil position detection unit 101 is a program that detects the position of the wearer's eyes using a captured image that includes the wearer's eyes and is generated by the first imaging device 15. In this embodiment, the pupil position detection unit 101 detects the center position of the pupil in the photographed image of the wearer's eye. The pupil position detection unit 101 periodically detects the center position of the pupil in the photographed image of the wearer's eye.
  • the viewpoint position specifying unit 102 is a program that identifies the wearer's viewpoint position on the display surface of the transmissive display device 14 that corresponds to the position of the wearer's pupil detected by the pupil position detecting unit 101.
  • the viewpoint position specifying unit 102 detects the position based on a correspondence table in which the center position of the pupil in the photographed image of the wearer's eye is associated with the viewpoint position on the display surface of the transmissive display device 14.
  • the viewpoint position of the wearer on the display surface of the transmissive display device 14 corresponding to the position of the wearer's pupils is specified.
  • the center position of the pupil when the wearer looks at each position on the display surface of the transmissive display device 14 and each position on the display surface are registered in association with each other.
  • Each position on the display surface corresponds to the viewpoint position of the wearer on the display surface.
  • the viewpoint position identifying unit 102 periodically identifies the wearer's viewpoint position on the display surface of the transmissive display device 14 .
  • the display control unit 103 is a program that controls the transmissive display device 14.
  • the display control unit 103 causes the transparent display device 14 to display a GUI (Graphical User Interface) object indicating the wearer's viewpoint position on the display surface of the transparent display device 14 specified by the viewpoint position specifying unit 102 .
  • the display control unit 103 causes the transparent display device 14 to display the image transmitted by the information processing device 20 .
  • FIG. 3 is a diagram showing an example of the display surface 130 of the transmissive display device 14.
  • a GUI object 131 indicating the viewpoint position of the wearer is displayed on the display surface of the transmissive display device 14. Note that the person shown in FIG. 3 represents an actual person seen by the wearer.
  • the input detection unit 104 is a program that detects an input indicating that a visual check has been performed on a person to be monitored.
  • the GUI object indicating the viewpoint of the monitor who is the wearer is displayed superimposed on the person to be monitored on the display surface of the transparent display device 14, and the monitor It is possible to input that a person has been visually confirmed (hereinafter referred to as "visually confirmed input").
  • vibrations applied by a supervisor to the wearable monitoring device 10 that the supervisor is wearing can be used as the visually confirmed input.
  • the monitor can apply vibration to the wearable monitoring device 10 by tapping the wearable monitoring device 10 or the like.
  • the input detection unit 104 can detect vibrations applied to the wearable monitoring device 10 by the wearer.
  • the wearable monitoring device 10 includes an input means such as a button
  • an event indicating that the input means has been pressed can be adopted as a visually confirmed input.
  • the input detection unit 104 can detect an event indicating that the input means has been pressed.
  • the wearable monitoring device 10 includes a voice input device
  • a voice indicating that the wearer has visually confirmed the visual confirmation can be adopted as the visual confirmation input.
  • the input detection unit 104 can detect a voice indicating that the wearer has visually confirmed the wearer.
  • the supervisor in addition to visual confirmation by a certain supervisor, visual confirmation by another supervisor, that is, a double check may be performed.
  • the supervisor inputs a request for a double check to the wearable monitoring device 10 using various methods such as the above-mentioned vibration, push button, voice, etc.
  • the input detection unit 104 can detect an input requesting a double check based on vibration, a pressed button, voice, or the like.
  • reconfirmation may be performed by the same supervisor.
  • the supervisor inputs to the wearable monitoring device 10 a message indicating that reconfirmation by the supervisor is required by using various methods such as the above-mentioned vibration, push button, and voice.
  • the input detection unit 104 can detect an input indicating that reconfirmation by the same supervisor is required based on vibration, a pressed button, voice, or the like.
  • continuous confirmation for a certain period of time may be performed by the same monitor or different monitors.
  • the fixed period can be any time.
  • the supervisor inputs to the wearable monitoring device 10 a request for continuous confirmation for a certain period of time by the same supervisor or a different supervisor using various methods such as the above-mentioned vibration, push button, and voice. conduct.
  • the input detection unit 104 can detect an input indicating that continuous confirmation for a certain period of time is required by the same supervisor or different supervisors based on vibration, a pressed button, voice, or the like.
  • the transmitter 105 is a program that transmits various information to the information processing device 20.
  • FIG. 4 is a diagram showing the configuration of the information processing device 20 according to the first embodiment.
  • the information processing device 20 includes a processor 21 capable of executing various programs, a communication interface (I/F) 22, and a storage device 23.
  • Specific examples of the processor 21 include various processors such as a CPU and an MPU.
  • the information processing device 20 communicates data with other devices via the communication interface 22.
  • the storage device 23 stores various information such as a program 200 executed by the processor 21 and a database of confirmed persons.
  • the processor 21 executes the method according to the exemplary embodiment by reading the program 200 from the storage device 23 and executing it.
  • the program 200 includes a first person identification section 201, a second person identification section 202, a feature amount calculation section 203, a feature amount registration section 204, an attribute information generation section 205, an attribute information registration section 206, It includes a feature matching unit 207, an image processing unit 208, and a transmitting unit 209.
  • the functions of the program 200 may be realized by an integrated circuit such as an FPGA or an ASIC. Integrated circuits such as processors, FPGAs, and ASICs correspond to computers.
  • the first person identifying unit 201 is a program that identifies a person in a captured image received from an external device.
  • the second person identification unit 202 is a program that uses the person identification information received from an external device and the photographed image to identify a confirmed person who has been visually confirmed by a supervisor.
  • the person identification information is information for identifying a confirmed person who has been visually confirmed by a supervisor.
  • the feature amount calculation unit 203 is a program that calculates the feature amount of the person specified by the first person identification unit 201 or the second person identification unit 202.
  • the feature amount calculation unit 203 analyzes an image that includes the identified person and calculates the feature amount of the person. For example, the feature amount calculation unit 203 can calculate the feature amount of the face of the specified person.
  • the feature amount registration unit 204 is a program that registers the feature amount of the confirmed person calculated by the feature amount calculation unit 203 into the confirmed person database.
  • the attribute information generation unit 205 is a program that generates attribute information of a confirmed person.
  • the attribute information includes physical characteristics such as estimated height, estimated age, and gender of the confirmed person.
  • the attribute information generation unit 205 analyzes captured images of confirmed persons and generates attribute information thereof.
  • the attribute information registration unit 206 is a program that registers the attribute information of the confirmed person generated by the attribute information generation unit 205 in the confirmed person database.
  • the attribute information registration unit 206 associates and registers the feature amount and attribute information of the confirmed person.
  • FIG. 5 is a diagram showing an example of a confirmed person database.
  • the confirmed person database the feature amount of the confirmed person calculated by the feature amount calculation unit 203 and the attribute information of the confirmed person generated by the attribute information generation unit 205 are registered in association with each other.
  • a captured image representing the physical characteristics of a confirmed person is registered as the attribute information.
  • the feature amount matching unit 207 is a program that matches the feature amount of each person calculated by the feature amount calculation unit 203 with the feature amount of confirmed persons registered in the confirmed person database.
  • the image processing unit 208 is a program that generates various images.
  • the transmitter 209 is a program that transmits various information to other devices.
  • FIG. 6 is a diagram showing the configuration of the non-wearable monitoring device 30 according to the first embodiment.
  • the non-wearable monitoring device 30 includes a processor 31 capable of executing various programs, a communication interface (I/F) 32, and a storage device 33.
  • Specific examples of the processor 31 include various processors such as a CPU and an MPU.
  • the non-wearable monitoring device 30 communicates data with other devices via the communication interface 32.
  • the storage device 33 stores various information such as a program 300 executed by the processor 31.
  • the processor 31 executes the method according to the exemplary embodiment by reading the program 300 from the storage device 33 and executing it.
  • the program 300 includes a display control section 301, an input detection section 302, a person identification information generation section 303, and a transmission section 304.
  • the functions of the program 300 may be realized by an integrated circuit such as an FPGA or an ASIC.
  • Integrated circuits such as processors, FPGAs, and ASICs correspond to computers.
  • the display control unit 301 is a program that controls a display device that can be controlled by the non-wearable monitoring device 30.
  • the display devices that can be controlled by the non-wearable monitoring device 30 include a display device included in the non-wearable monitoring device 30 and an individual display device with which the non-wearable monitoring device 30 can communicate data.
  • the input detection unit 302 is a program that detects input via an input device such as a mouse or a touch panel.
  • the input detection unit 302 can detect an input indicating that a person to be monitored has been visually checked by a supervisor using the non-wearable monitoring device 30.
  • a monitor uses an input device such as a mouse or a touch panel while a GUI object such as a mouse cursor is displayed superimposed on the person to be monitored.
  • a GUI object such as a mouse cursor is displayed superimposed on the person to be monitored.
  • the input detection unit 302 can detect an input indicating that a visual confirmation of a person to be monitored has been performed based on an operation performed on an input device.
  • the supervisor can input a request for a double check by another supervisor by operating an input device.
  • the input detection unit 302 can detect an input requesting a double check by another supervisor based on an operation performed on the input device.
  • the supervisor can input that reconfirmation by the supervisor is required by operating an input device.
  • the input detection unit 302 can detect an input indicating that reconfirmation by the supervisor is required based on an operation performed on the input device.
  • the supervisor operates an input device to confirm the continuation for a certain period of time by the same supervisor or different supervisors. It is possible to input that it is required.
  • the fixed period can be any time.
  • the input detection unit 302 can detect an input indicating that continuous confirmation for a certain period of time is required by the same supervisor or a different supervisor, based on an operation performed on the input device.
  • the person identification information generation unit 303 is a program that generates person identification information based on the input detected by the input detection unit 302. For example, the coordinates of the position in the image where the visually confirmed person is displayed or the coordinates of the area including the position can be employed as the person identification information.
  • the observer can use the input device to specify the coordinates of the position in the image where the person visually confirmed is displayed or the coordinates of the area including the position.
  • the person identification information generation unit 303 can generate, as person identification information, the coordinates of a position in the image of the person designated by the observer and visually confirmed, or the coordinates of an area including the position.
  • the transmitter 304 is a program that transmits various information to the information processing device 20.
  • FIG. 7 is a sequence diagram showing an example of processing executed by the monitoring system 1.
  • the process in FIG. 7 is a process when a visually confirmed input is input to the wearable monitoring device 10.
  • step S1 the pupil position detection unit 101 of the wearable monitoring device 10 detects the position of the wearer's pupils.
  • the viewpoint position identifying unit 102 identifies the viewpoint position on the display surface of the transmissive display device 14 that corresponds to the detected position of the pupil.
  • the display control unit 103 causes the transparent display device 14 to display a GUI object indicating the identified viewpoint position.
  • step S4 the input detection unit 104 detects a visually confirmed input indicating that a visual confirmation has been performed on the person to be monitored.
  • step S5 the second photographing device 16 generates a photographed image representing the wearer's field of view through the transmissive display device 14.
  • step S6 the transmitter 105 transmits the confirmed information indicating that visual confirmation has been performed, the viewpoint position information indicating the viewpoint position identified in step S3, and the captured image generated in step S5 to the information processing device. Send to 20.
  • This viewpoint position information and the photographed image correspond to the person identification information and the photographed image when the visually confirmed input is detected.
  • the transmitting unit 105 sends a request indicating that a double check by another supervisor is requested in addition to the confirmed information, viewpoint position information, and photographed image in step S6.
  • the information is transmitted to the information processing device 20.
  • step S6 the transmitting unit 105 sends a reconfirmation indicating that reconfirmation by the supervisor is required, in addition to the confirmed information, viewpoint position information, and photographed image.
  • the information is transmitted to the information processing device 20.
  • the transmitting unit 105 transmits the confirmed information, viewpoint position information, and photographed images by the same monitor or by different monitors in step S6.
  • Continuation confirmation information indicating that continuation confirmation for a certain period of time by different supervisors is required is transmitted to the information processing device 20.
  • the second person identification unit 202 uses the received viewpoint position information and the photographed image. To identify a confirmed person who has been visually confirmed by a wearer.
  • the feature amount calculation unit 203 calculates the feature amount of the confirmed person identified in step S7.
  • the feature amount registration unit 204 registers the feature amount of the confirmed person calculated in step S8 in the confirmed person database.
  • step S10 the first person identification unit 201 identifies the person in the received captured image.
  • step S11 the feature amount calculation unit 203 calculates the feature amount of the person in the captured image identified in step S10.
  • step S12 the feature amount matching unit 207 matches the feature amount of each person included in the captured image calculated in step S11 with the feature amount of the confirmed person registered in the confirmed person database. If the feature amounts match as a result of the feature amount matching, in step S13, the image processing unit 208 uses the captured image to send a first notification indicating that the person whose feature amounts match has been visually confirmed. Generate an image.
  • FIG. 8 is a diagram showing an example of the first notification image 70.
  • the first notification image 70 includes a GUI object 72 indicating that the person 71 to be monitored has been confirmed.
  • the image processing unit 208 generates the first notification image by superimposing the GUI object 72 on the confirmed person in the captured image.
  • the first notification image includes the person to be monitored and the GUI object 72.
  • the image processing unit 208 may generate a first notification image composed of the GUI object 72.
  • the first notification image does not include the person to be monitored.
  • the image processing unit 208 identifies the position of the person included in the photographed image, and draws the GUI object 72 at a position in the first notification image that corresponds to the position.
  • the first notification image is displayed on the transparent display device 14, it appears to the observer who is the wearer that the GUI object 72 is superimposed on the actual person.
  • step S14 the transmitter 209 transmits the first notification image to the wearable monitoring device 10.
  • the display control unit 103 causes the transparent display device 14 to display the first notification image in step S15.
  • the display control unit 103 causes the first notification image to be displayed in a specific area of the screen of the transmissive display device 14, such as the top, bottom, side, etc. of the screen.
  • step S13 the image processing unit 208 of the information processing device 20 indicates that the person whose feature values match has been visually confirmed, and that the double check is performed by another supervisor.
  • a first notification image indicating that the request is made is generated.
  • FIG. 9 is a diagram showing an example of this first notification image 700.
  • the first notification image 700 includes a GUI object 72 indicating that the person 71 to be monitored has been confirmed, and a GUI object 73 indicating that a double check by another monitor is requested. Note that in other embodiments, the first notification image 700 may include a GUI object 73 indicating that a double check by another supervisor is requested, and may not include the GUI object 72.
  • step S13 the image processing unit 208 of the information processing device 20 displays a message indicating that the person whose feature values match has been visually confirmed, and that the reconfirmation by the supervisor is performed.
  • a first notification image indicating that it is necessary is generated.
  • FIG. 10 is a diagram showing an example of this first notification image 710.
  • the first notification image 710 includes a GUI object 72 indicating that the person 71 to be monitored has been confirmed, and a GUI object 74 indicating that reconfirmation by the monitor is required.
  • the first notification image 710 may include a GUI object 74 indicating that reconfirmation by the supervisor is required, but may not include the GUI object 72.
  • step S13 the image processing unit 208 of the information processing device 20 determines that a person with matching feature amounts has been visually confirmed. , a first notification image is generated indicating that continuous confirmation for a certain period of time by the same supervisor or different supervisors is required.
  • FIG. 11 is a diagram showing an example of this first notification image 720.
  • the first notification image 720 includes a GUI object 72 indicating that the person 71 to be monitored has been confirmed, and a GUI object 72 indicating that continuous confirmation for a certain period of time by the same or different monitor is required. 75 included.
  • the first notification image 720 includes a GUI object 75 indicating that continuous confirmation for a certain period of time is required by the same supervisor or a different supervisor, and includes the GUI object 72. It doesn't have to be.
  • FIG. 12 is a sequence diagram showing another example of processing executed by the monitoring system 1.
  • the process in FIG. 12 is a process when the visually confirmed input is not input to the wearable monitoring device 10.
  • step S20 the second photographing device 16 of the wearable monitoring device 10 generates a photographed image.
  • step S21 the transmitter 105 transmits the captured image to the information processing device 20.
  • the first person identification unit 201 identifies the person in the received photographed image in step S22.
  • the feature amount calculation unit 203 calculates the feature amount of the person in the captured image identified in step S22.
  • the feature amount matching unit 207 matches the feature amount of each person included in the photographed image calculated in step S23 with the feature amount of the confirmed person registered in the confirmed person database.
  • the image processing unit 208 uses the captured image to send a first notification indicating that the person whose feature amounts match has been visually confirmed. Generate an image.
  • the transmitter 209 transmits the first notification image to the wearable monitoring device 10.
  • the display control unit 103 causes the transparent display device 14 to display the first notification image in step S27.
  • FIG. 13 is a sequence diagram showing another example of processing executed by the monitoring system 1.
  • the process in FIG. 13 is a process when the visual confirmation confirmation input to the non-wearable monitoring device 30 is not made.
  • step S30 the photographing devices 40 and 51 generate photographed images of the location to be monitored.
  • step S31 the photographing devices 40 and 51 transmit the photographed images to the information processing device 20.
  • the first person identification unit 201 identifies the person in the received photographed image in step S32.
  • the feature amount calculation unit 203 calculates the feature amount of the person in the captured image identified in step S32.
  • the feature amount matching unit 207 matches the feature amount of each person included in the captured image calculated in step S33 with the feature amount of the confirmed person registered in the confirmed person database. If these feature amounts match as a result of the feature amount matching, in step S35, the image processing unit 208 uses the captured image to send a first notification indicating that the person whose feature amounts match has been visually confirmed. Generate an image.
  • the transmitter 209 transmits the first notification image to the non-wearable monitoring device 30.
  • the display control unit 301 displays the first notification image on a display device that can be controlled by the non-wearable monitoring device 30 in step S37. Display.
  • FIG. 14 is a sequence diagram showing another example of processing executed by the monitoring system 1.
  • the process in FIG. 14 is a process when a visually confirmed input is made to the non-wearable monitoring device 30.
  • step S40 the information processing device 20 transmits to the non-wearable monitoring device 30 an image displayed by a display device that can be controlled by the non-wearable monitoring device 30.
  • the image transmitted to the non-wearable monitoring device 30 is a photographed image received from the photographing devices 40, 51, or a first notification image generated based on the photographed image. If the photographed image received from the photographing devices 40 and 51 does not include a confirmed person, the information processing device 20 transmits the photographed image to the non-wearable monitoring device 30. On the other hand, when the photographed images received from the photographing devices 40 and 51 include a confirmed person, the information processing device 20 transmits the first notification image generated based on the photographed images.
  • the display control unit 301 causes the display device to display the image in step S41.
  • the supervisor visually confirms the person to be monitored included in the image displayed on the display device and specifies the visually confirmed person using an input device such as a mouse or a touch panel
  • the input detection unit 302 detects a visually confirmed input indicating that visual confirmation has been performed for the designated person.
  • the person identification information generation unit 303 generates person identification information based on the input.
  • step S44 the transmitting unit 304 transmits the confirmed information, the person identification information, and the image displayed on the display device that can be controlled by the non-wearable monitoring device 30 when the supervisor visually confirmed the information. It is transmitted to the processing device 20.
  • the second person identification unit 202 performs monitoring using the received person identification information and image. Identify a confirmed person who has been visually confirmed by a person.
  • the feature amount calculation unit 203 calculates the feature amount of the confirmed person identified in step S45.
  • the feature amount registration unit 204 registers the feature amount of the confirmed person calculated in step S46 in the confirmed person database.
  • FIG. 15 is a diagram showing the main components included in the monitoring system 1.
  • the monitoring system 1 includes photographing devices 40 and 51 that generate captured images by photographing a monitored location where one or more monitored persons may exist, an information processing device 20 that processes the captured images, and a monitored location where one or more monitored persons may exist. one or more monitoring devices 10, 30 for monitoring a person.
  • the information processing device 20 includes a confirmed person database 230 in which feature amounts of persons who have been confirmed by a supervisor are registered.
  • the first person identification unit 201 of the information processing device 20 identifies the person in the captured image.
  • the feature amount calculation unit 203 calculates the feature amount of the person specified by the first person identification unit 201.
  • the feature amount matching unit 207 matches the feature amount calculated by the feature amount calculation unit 203 with the feature amount registered in the confirmed person database.
  • the image processing unit 208 generates a first notification image indicating that a person with matching feature amounts has been confirmed by a supervisor.
  • the display control units 103 and 301 of the monitoring devices 10 and 30 display the first notification image generated by the image processing unit 208 on the display device.
  • the supervisor can understand the person who needs confirmation by checking the first notification image displayed on the display device. Therefore, the monitor can comprehensively confirm the persons to be monitored who are present at the location to be monitored.
  • the surveillance system 1 is useful when applied to surveillance at a customs office where a large number of travelers move one after another, since a supervisor such as a customs official can comprehensively check these travelers.
  • FIG. 16 is a diagram showing the main components included in the information processing device 20.
  • the first person identification unit 201 of the information processing device 20 identifies the person in the captured image.
  • the feature amount calculation unit 203 calculates the feature amount of the person specified by the first person identification unit 201.
  • the feature amount matching unit 207 matches the feature amount calculated by the feature amount calculation unit 203 and the feature amount registered in the confirmed person database 230.
  • the image processing unit 208 generates a first notification image indicating that a person with matching feature amounts has been confirmed by a supervisor.
  • the transmitting unit 209 transmits the first notification image generated by the image processing unit 208 to a display device for display.
  • the supervisor can grasp the person who needs to be checked by checking the first notification image displayed on the display device, and can comprehensively check the people to be monitored who are present at the place to be monitored. be able to.
  • FIG. 17 is a diagram showing the main components included in the monitoring devices 10 and 30.
  • the monitoring devices 10 and 30 include display control units 103 and 301.
  • the display control units 103 and 301 display a feature amount that matches the feature amount of the person who has been confirmed by the observer among the one or more persons to be monitored in the photographed image generated by photographing the place to be monitored.
  • a notification image is displayed on a display device to indicate that a supervisor has verified the person who has the following information.
  • the supervisor can understand the person who needs to be checked, and can comprehensively check the people to be monitored who are present in the place to be monitored. .
  • the wearable monitoring device 10 includes a transmissive display device placed in front of the wearer's eyes.
  • the display control unit 103 displays the first notification image on a transmissive display device.
  • the monitor wearing the wearable monitoring device 10 can grasp the person who needs confirmation by checking the first notification image displayed in front of the monitor.
  • the transmitting units 105 and 304 of the monitoring devices 10 and 30 transmit person identification information to the information processing device 20 for identifying the person who has been confirmed by the monitor.
  • the second person identification unit 202 of the information processing device 20 identifies the person identified by the person identification information from among the people in the captured image that includes the person identified by the person identification information.
  • the feature amount registration unit 204 registers the feature amount of the person identified by the second person identification unit 202 in the confirmed person database.
  • the feature amount of the person who has been confirmed by the supervisor is registered in the confirmed person database.
  • the information processing device 20 generates a first notification image indicating that visual confirmation has been performed for a person who matches the feature amount registered in the confirmed person database.
  • the wearable monitoring device 10 and the non-wearable monitoring device 30 display the first notification image on the display device, so that by checking the first notification image, the monitor can check the already confirmed monitoring target. It is possible to suppress duplicate confirmation of a person.
  • the first notification image may display information indicating that the person who has been confirmed by the monitor requires confirmation by a different monitor. Thereby, it is possible to increase convenience when the other monitor double-checks a person who has already been confirmed by a certain monitor.
  • the first notification image may display information indicating that a person who has been confirmed by a supervisor needs to be reconfirmed by the same supervisor. Thereby, it is possible to increase convenience when the monitor reconfirms a person who has already been confirmed.
  • the first notification image may display information indicating that continued confirmation of the person who has been confirmed by the supervisor is required. Thereby, it is possible to increase the convenience for the monitor when continuously confirming a person who has already been confirmed.
  • FIG. 18 is a diagram showing the configuration of an information processing device 20 according to the second embodiment.
  • the information processing device 20 further includes a priority calculation unit 210.
  • the priority calculation unit 210 calculates the priority of confirmation by the monitor for the unconfirmed person based on at least one of the travel history and behavior of the unconfirmed person who has not been confirmed by the monitor among the people in the photographed image. It is a program.
  • An unconfirmed person is a person whose feature amount is not registered in the confirmed person database.
  • the travel history is a travel history that shows the places where the person to be monitored has stayed.
  • the travel history includes the origin, destination, and transit points where the person being monitored stayed. Departure points, destinations, and transit points include various countries and regions.
  • the travel history is stored in a travel history database constructed in a storage device that can be accessed by the information processing device 20. In the travel history database, feature amounts of a person to be monitored and travel history are registered in association with each other.
  • the priority calculation unit 210 identifies the travel history associated with the feature amount of the person to be monitored in the travel history database that matches the feature amount of the person in the captured image. Then, the priority calculation unit 210 refers to a data table in which priorities are set for each country or region that can be included in the travel history, and identifies the priority of the country or region that is included in the identified travel history. , it is possible to calculate the confirmation priority for the person to be monitored.
  • the priority can be expressed by a graded index such as "high”, “medium”, “low”, etc., for example. Moreover, the priority can also be expressed by a numerical value.
  • a person's behavior is an action or movement that a person to be monitored may take.
  • the priority calculation unit 210 analyzes a plurality of captured images of a person to be monitored that are taken at different times, and determines whether the behavior of the person to be monitored corresponds to a specific behavior. It is preferable that the photographed image used in this analysis be a photographed image generated by a photographing device capable of photographing a place to be monitored from a wide angle, such as the photographing devices 40 and 51.
  • Specific behaviors include, for example, behavior in which the person being monitored looks away when the person being monitored looks at the person being monitored, behavior in which the person being monitored moves away from the person being monitored, and behavior in which the person being monitored stays constant with the person being monitored. This includes actions such as maintaining distance.
  • the priority calculation unit 210 calculates the line of sight of the person to be monitored and the line of sight of the person to be monitored included in the photographed image. Identify.
  • the line of sight of the observer and the person to be monitored can be adopted as a straight line that is perpendicular to a plumb line that passes through the center of each person's head, and that passes through the midpoint between each person's eyes. .
  • the line of sight of each person may be specified based on the position of the eyes of the person being monitored and the person to be monitored.
  • the priority calculation unit 210 determines whether the line of sight of the observer and the line of sight of the person to be monitored match. If it is determined that the line of sight of the observer and the person to be monitored match, the priority calculation unit 210 calculates the time during which the line of sight of the monitor and the line of sight of the person to be monitored coincide. If the calculated time is less than or equal to the predetermined time, the priority calculation unit 210 determines whether the behavior of the person to be monitored is such that the person to be monitored looks away when the observer looks at the person to be monitored. It is determined that there is. The default time is the time when a suspicious person looks away.
  • the priority calculation unit 210 calculates the amount of change over time in the distance between the person to be monitored and the person to be monitored, which is included in a plurality of captured images taken at different times. calculate. If the calculated amount of change increases, the priority calculation unit 210 determines that the behavior of the person to be monitored is a behavior in which the person to be monitored moves away from the observer.
  • the priority calculation unit 210 calculates the distance between the person to be monitored and the person to be monitored over time, which is included in a plurality of captured images taken at different times. Calculate the amount of change. If the calculated amount of change is 0, the priority calculation unit 210 determines that the behavior of the person to be monitored is such that the person to be monitored maintains a certain distance from the observer.
  • the priority calculation unit 210 refers to a data table in which priorities are set for each specific behavior, and calculates a response corresponding to the behavior of the person to be monitored. It is possible to calculate the priority of The priority can be expressed by a graded index such as "high”, “medium”, “low”, etc., for example. Moreover, the priority can also be expressed by a numerical value.
  • the priority calculation unit 210 can calculate an integrated priority by adding a priority value based on travel history and a priority value based on behavior.
  • the image processing unit 208 generates a second notification image indicating the priority calculated by the priority calculation unit 210.
  • FIG. 19 is a diagram showing an example of the second notification image 80.
  • GUI objects 81, 82, and 83 are displayed that indicate priorities expressed by graded indicators.
  • the display control unit 103 of the wearable monitoring device 10 causes the transparent display device 14 to display the second notification image. Furthermore, the display control unit 301 of the non-wearable monitoring device 30 causes a display device that can be controlled by the non-wearable monitoring device 30 to display the second notification image. Thereby, the supervisor can refer to the second notification image and grasp the priority of confirmation for an unconfirmed person.
  • FIG. 20 is a diagram showing the configuration of an information processing device 20 according to the third embodiment.
  • the information processing device 20 further includes a third person identifying section 211 and a direction identifying section 212.
  • a third person identifying section 211 and a direction identifying section 212.
  • the third person identification unit 211 is a program that identifies the location and number of unconfirmed people who have not been confirmed by a supervisor among the people in the photographed image.
  • the direction identifying unit 212 is a program that identifies the direction in which the unconfirmed person identified by the third person identifying unit 211 exists.
  • photographed images generated by a plurality of photographing devices 40 capable of photographing a place to be monitored from a wide angle are used. It is preferable that the plurality of photographing devices 40 photograph the place to be monitored from different photographing directions, and generate photographed images taken in different photographing directions. It is assumed that the plurality of photographing devices 40 are installed, for example, on a wall of a place to be monitored.
  • the third person identification unit 211 uses a matching technique such as pattern matching to match each of the plurality of captured images generated by the imaging device 40 in different shooting directions with the captured image received from the wearable monitoring device 10. Then, among a plurality of captured images taken in different shooting directions, a captured image that most matches the received captured image (hereinafter referred to as a "matching image") is identified.
  • the matching image includes the back view of the monitor wearing the wearable monitoring device 10.
  • the third person identifying unit 211 identifies the person included in the identified matching image. Note that the first person identifying unit 201 does not identify the observer included in the matching image. The first person identifying unit 201 can identify the supervisor included in the matching image based on the known feature amount of the supervisor.
  • the feature amount calculation unit 203 calculates the feature amount of the person specified by the third person identification unit 211.
  • the feature amount matching unit 207 matches the feature amount calculated by the feature amount calculation unit 203 with the feature amount registered in the confirmed person database. Then, based on the matching image and the matching result by the feature value matching unit 207, the third person identification unit 211 determines the location and location of the person whose feature values in the matching image do not match, that is, the unconfirmed person in the matching image. Identify the number of unidentified persons.
  • the direction specifying unit 212 specifies the position of the observer within the matching image.
  • the matching image is an image generated by photographing a wider range than the range photographed by the second photographing device 16 of the wearable monitoring device 10. Therefore, the captured image provided by the wearable monitoring device 10 constitutes a part of the matching image.
  • the direction specifying unit 212 matches the matching image with the photographed image provided by the wearable monitoring device 10, and specifies the region of the photographed image in the matching image.
  • the direction specifying unit 212 specifies the position of the observer within the matching image based on the specified area. For example, the direction specifying unit 212 can specify the center position in the left-right direction within the specified area as the position of the observer.
  • the direction specifying unit 212 determines the position of the observer based on the position of the observer in the matching image specified in this way and the position of the unidentified person in the matching image specified by the third person specifying unit 211. Identify the direction in which an unidentified person exists based on the location. In other words, the direction identifying unit 212 identifies the direction in which the unidentified person exists based on the position of the observer who is wearing the wearable monitoring device 10 that provided the captured image.
  • the image processing unit 208 Based on the captured image received from the wearable monitoring device 10, the image processing unit 208 generates a third notification image indicating the direction in which the unidentified person identified by the direction identification unit 212 exists.
  • FIG. 21 is a diagram illustrating an example of the third notification image.
  • a GUI object 91 indicating that an unidentified person exists on the left side of the observer is displayed.
  • FIG. 22 is a diagram showing another example of the third notification image.
  • a third notification image 92 shown in FIG. 22 displays a GUI object 91 indicating that an unconfirmed person exists on the left side of the observer, and information 93 indicating that an unconfirmed person exists.
  • FIG. 23 is a diagram showing another example of the third notification image.
  • a third notification image 94 shown in FIG. 23 displays a GUI object 91 indicating that an unconfirmed person exists on the left side of the observer, and information 95 indicating the presence of an unconfirmed person and the number of unconfirmed persons. .
  • the number of unconfirmed persons is the number obtained by subtracting the number of unconfirmed persons included in the captured image provided by the wearable monitoring device 10 from the number of unconfirmed persons included in the matching image.
  • the third person identification unit 211 identifies the person in the captured image provided by the wearable monitoring device 10.
  • the feature amount calculation unit 203 calculates the feature amount of the person specified by the third person identification unit 211.
  • the feature amount matching unit 207 matches the feature amount calculated by the feature amount calculation unit 203 with the feature amount registered in the confirmed person database.
  • the third person identifying unit 211 can identify the number of people whose feature values do not match in the captured image, that is, the number of unidentified people in the captured image, based on the matching result by the feature matching unit 207. can.
  • the image processing unit 208 generates a third notification image 94 that includes information 95 indicating the presence of an unconfirmed person and the number of unconfirmed persons.
  • the third person identification unit 211 of the information processing device 20 identifies the position of an unconfirmed person who has not been confirmed by a supervisor among the people in the photographed image.
  • the direction specifying unit 212 determines the location of the unidentified person based on the position of the unidentified person specified by the third person specifying unit 211 and the position of the monitor who is the wearer of the wearable monitoring device 10 that provided the captured image. Identify the direction in which an unidentified person exists based on .
  • the image processing unit 208 generates a third notification image indicating the direction in which the specified unidentified person exists.
  • the display control unit 103 of the wearable monitoring device 10 causes the transmissive display device 14 to display the third notification image. Thereby, the monitor wearing the wearable monitoring device 10 can grasp the direction in which the unidentified person is present, and the monitor can easily confirm the person to be monitored.
  • Information indicating that an unidentified person exists may be displayed in the third notification image.
  • a monitor wearing the wearable monitoring device 10 can grasp the presence of an unidentified person.
  • the third person identification unit 211 can further identify the number of unidentified people in the photographed image.
  • the image processing unit 208 can generate a third notification image indicating the direction in which the identified unidentified person exists and the number of unidentified people.
  • the display control unit 103 of the wearable monitoring device 10 can cause the display device to display a third notification image indicating the direction in which the unidentified person exists and the number of unidentified persons. Thereby, a monitor wearing the wearable monitoring device 10 can grasp the direction in which unidentified persons exist and the number of unidentified persons.
  • FIG. 24 is a diagram showing the configuration of an information processing device 20 according to the fourth embodiment.
  • the information processing device 20 further includes an examination type determining section 213 and a guidance completion detecting section 214.
  • an examination type determining section 213 and a guidance completion detecting section 214.
  • the examination type determination unit 213 is a program that determines the type of examination for an unidentified person based on at least one of the behavior and examination history of the unidentified person who has not been confirmed by a supervisor among the people in the photographed image. Types of tests include simple tests and focused tests.
  • the test type determination unit 213 uses the method described above in the second embodiment to determine whether the behavior of the unidentified person corresponds to a specific behavior. to decide. Certain behaviors are actions that require intensive testing. Specific behaviors include, for example, behavior in which the person being monitored looks away when the person being monitored looks at the person being monitored, behavior in which the person being monitored moves away from the person being monitored, and behavior in which the person being monitored stays constant with the person being monitored. This includes actions such as maintaining distance. If the behavior of the unidentified person corresponds to a specific behavior, the test type determining unit 213 determines a priority test as the test for the unidentified person.
  • the test type determination unit 213 determines the test type by referring to the database in which the test history of the person to be monitored is registered. For example, if a focused test has been performed on a person to be monitored in the past, the test type determination unit 213 determines a focused test as the test for the unidentified person. On the other hand, if a simple test has been performed on the person to be monitored in the past, the test type determining unit 213 can determine the simple test as the test for the unidentified person.
  • the test type determination unit 213 determines whether the behavior of the unidentified person corresponds to a specific behavior, and The type of test is determined by referring to a database in which the test history of each person is registered. If the behavior of the unidentified person corresponds to a specific behavior, the test type determining unit 213 determines a priority test as the test for the unidentified person. Furthermore, if a focused test has been conducted on the person to be monitored in the past, the test type determination unit 213 determines the focused test as the test for the unidentified person.
  • the test type determination unit 213 selects a simple test as the test for the unidentified person. can be determined.
  • the image processing unit 208 generates a fourth notification image indicating the type of examination determined by the examination type determination unit 213.
  • FIG. 25 is a diagram showing an example of the fourth notification image 110.
  • the fourth notification image 110 indicates that a simple test is required for the person to be monitored associated with the GUI objects 111, 112, and 113. Furthermore, the fourth notification image 110 indicates that a focused examination is required for the person to be monitored associated with the GUI object 114.
  • the test type determining unit 213 of the information processing device 20 performs a test on an unidentified person based on at least one of the behavior and the test history of the unidentified person who has not been confirmed by a supervisor among the people in the photographed image. Determine the type of.
  • the image processing unit 208 generates a fourth notification image indicating the type of test determined for each unidentified person.
  • the display control unit 103 of the wearable monitoring device 10 causes the transparent display device 14 to display the fourth notification image.
  • the display control unit 301 of the non-wearable monitoring device 30 causes a display device that can be controlled by the non-wearable monitoring device 30 to display the fourth notification image. Thereby, the supervisor can grasp the type of test for the unidentified person.
  • the guidance completion detection unit 214 is a program that determines whether the person to be monitored has been guided to the inspection location. When the guidance completion detection unit 214 detects guidance completion information indicating that the person to be monitored has been guided to the testing location from the wearable monitoring device 10, the guidance completion detection unit 214 determines that the person to be monitored has been guided to the testing location.
  • a monitor who is a wearer of the wearable monitoring device 10 inputs to the wearable monitoring device 10 that a person to be monitored has been guided to a testing location. This input can be performed by various methods such as the above-mentioned vibration, push button, and voice.
  • FIG. 26 is a sequence diagram illustrating an example of processing executed by the monitoring system 1 according to the fourth embodiment.
  • the process shown in FIG. 26 is a process performed when an input is made to the wearable monitoring device 10 that a person to be monitored has been guided to a testing location.
  • step S51 the pupil position detection unit 101 of the wearable monitoring device 10 detects the position of the wearer's pupils.
  • the viewpoint position identifying unit 102 identifies the viewpoint position on the display surface of the transmissive display device 14 that corresponds to the detected position of the pupil.
  • the display control unit 103 causes the transparent display device 14 to display a GUI object indicating the identified viewpoint position.
  • step S54 the input detection unit 104 detects an input indicating that the person to be monitored has been guided to the inspection location.
  • the second photographing device 16 generates a photographed image representing the wearer's field of view through the transmissive display device 14. This photographed image corresponds to a photographed image when an input indicating that a person to be monitored has been guided to an examination location is detected.
  • step S56 the transmitting unit 105 sends guided information indicating that the person to be monitored has been guided to the inspection location, viewpoint position information indicating the viewpoint position identified in step S53, and the photographic image generated in step S55.
  • the image is transmitted to the information processing device 20.
  • the viewpoint position information and the photographed image correspond to the person identification information and the photographed image, respectively, when an input indicating that the person to be monitored has been guided to the inspection location is detected.
  • step S57 when the guidance completion detection unit 214 of the information processing device 20 detects guidance completion information from the wearable monitoring device 10, it determines that the person to be monitored has been guided to the inspection location.
  • the second person identification unit 202 selects a person identified by the person identification information received together with the guided information from among the people in the captured image received together with the guided information from the wearable monitoring device 10, i.e. , to identify the person who was directed to the testing location.
  • the feature amount registration unit 204 registers the feature amount of the identified person in the guided person database.
  • the guided person database is a database in which feature amounts of various people guided to the inspection location are registered. In addition to the storage device 23, the guided person database can be constructed in another storage device that can be accessed by the information processing device 20.
  • FIG. 27 is a sequence diagram showing another example of processing executed by the monitoring system 1 according to the fourth embodiment.
  • the process in FIG. 27 is a process when no input is made to the wearable monitoring device 10 to the effect that the person to be monitored has been guided to the testing location.
  • step S70 the second photographing device 16 of the wearable monitoring device 10 generates a photographed image.
  • step S71 the transmitter 105 transmits the captured image to the information processing device 20.
  • the first person identifying unit 201 identifies the person in the photographed image in step S72.
  • the feature amount calculation unit 203 calculates the feature amount of the identified person.
  • the feature amount matching unit 207 matches the calculated feature amount with the feature amount registered in the guided person database.
  • the image processing unit 208 generates a fifth notification image indicating that a person with matching feature amounts has been guided.
  • the transmitter 209 transmits the fifth notification image to the wearable monitoring device 10 that transmitted the captured image.
  • the display control unit 103 causes the transparent display device 14 to display the fifth notification image in step S77.
  • FIG. 28 is a diagram showing an example of the fifth notification image 120.
  • the fifth notification image 120 indicates that the person to be monitored associated with the GUI object 121 has been guided to the inspection location.
  • the information processing device 20 further includes a guided person database in which feature amounts of people guided to the inspection location are registered.
  • the feature amount matching unit 207 of the information processing device 20 matches the feature amount of the person in the captured image calculated by the feature amount calculation unit 203 with the feature amount registered in the guided person database.
  • the image processing unit 208 generates a fifth notification image indicating that the person to be monitored has been guided for each person to be monitored.
  • the display control unit 103 of the wearable monitoring device 10 causes the transparent display device 14 to display the fifth notification image.
  • the monitor wearing the wearable monitoring device 10 can understand that the person to be monitored has been guided.
  • the supervisor can avoid redundantly guiding a person to be monitored who has already been guided.
  • the program includes instructions (or software code) that, when loaded into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored on a non-transitory computer readable medium or a tangible storage medium.
  • computer readable or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD - Including ROM, digital versatile disk (DVD), Blu-ray disk or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or a communication medium.
  • transitory computer-readable or communication media includes electrical, optical, acoustic, or other forms of propagating signals.
  • a photographing device that generates a photographed image by photographing a place to be monitored where one or more people to be monitored are present; an information processing device that processes the captured image; one or more monitoring devices for monitoring the person to be monitored;
  • the information processing device includes: A confirmed person database in which feature values of persons who have been confirmed by a supervisor are registered; a first person identifying means for identifying a person in the photographed image; Feature amount calculation means for calculating the feature amount of the person identified by the first person identification means; a feature quantity matching unit that matches the feature quantity calculated by the feature quantity calculation unit and the feature quantity registered in the confirmed person database; an image processing means for generating a first notification image indicating that the supervisor has confirmed the person with whom the feature values match;
  • the monitoring device includes: including display control means for displaying the first notification image on a display device; Monitoring system.
  • the monitoring device includes a wearable monitoring device worn by the monitor, The wearable monitoring device includes a transmissive display device placed in front of the monitor, The monitoring system according to supplementary note 1, wherein the display control means displays the first notification image on the transparent display device.
  • the monitoring device includes: including a transmitting means for transmitting person identification information for identifying the person confirmed by the supervisor to the information processing device,
  • the information processing device includes: a second person identifying means for identifying the person identified by the person identifying information from among the people in the photographed image that includes the person identified by the person identifying information; 3.
  • the first notification image displays information indicating that confirmation by a supervisor other than the supervisor is required for the person who has been verified by the supervisor.
  • Surveillance system as described.
  • Appendix 6) The monitoring system according to supplementary note 1 or 2, wherein the first notification image displays information indicating that continued confirmation of the person who has been confirmed by the monitor is required.
  • the information processing device includes: Priority calculation for calculating the priority of confirmation by the monitor for the unconfirmed person based on at least one of the travel history and behavior of the unconfirmed person who has not been confirmed by the monitor among the persons in the photographed image. including means; The image processing means of the information processing device generates a second notification image indicating the priority calculated by the priority calculation means, The monitoring system according to appendix 3, wherein the display control means of the monitoring device causes the second notification image to be displayed on the display device.
  • the information processing device includes: a third person identifying means for identifying the position of an unconfirmed person who has not been confirmed by the supervisor among the people in the photographed image; Based on the position of the unidentified person specified by the third person identifying means and the position of the observer who is the wearer of the wearable monitoring device that provided the captured image, the unidentified person is determined based on the observer. including direction identification means for identifying the direction in which the The image processing means of the information processing device generates a third notification image indicating the direction in which the unidentified person specified by the direction specifying means exists, The monitoring system according to appendix 3, wherein the display control means of the monitoring device causes the third notification image to be displayed on the display device.
  • the information processing device includes: including an examination type determining means for determining the type of examination for the unidentified person based on at least one of the behavior and examination history of the unidentified person who has not been confirmed by the supervisor among the people in the photographed image,
  • the image processing means of the information processing device generates a fourth notification image indicating the type of test determined for each unidentified person,
  • the monitoring system according to appendix 3, wherein the display control means of the monitoring device causes the fourth notification image to be displayed on a display device.
  • the information processing device further includes a guided person database in which feature amounts of people guided to the inspection location are registered,
  • the feature amount matching means matches the feature amount of the person in the photographed image calculated by the feature amount calculation means with the feature amount registered in the guided person database,
  • the image processing means generates, for each person to be monitored, a fifth notification image indicating that the person to be monitored has been guided;
  • the monitoring system according to appendix 3, wherein the display control means of the monitoring device displays the fifth notification image on a display device.
  • a first person identifying means for identifying a person in a photographed image of a place to be monitored where one or more people to be monitored exist
  • Feature amount calculation means for calculating the feature amount of the person identified by the first person identification means
  • feature amount matching means for comparing the feature amount calculated by the feature amount calculation means with the feature amount registered in a confirmed person database in which the feature amount of the person confirmed by the supervisor is registered
  • an image processing unit that generates a first notification image indicating that the supervisor has confirmed the person with whom the feature values match
  • transmitting means for transmitting the first notification image and displaying the first notification image on a display device.
  • Appendix 14 A first step of identifying the person identified by the person identification information from among the people in the captured image that includes the person identified by the person identification information for identifying the person confirmed by the monitor. 2.
  • Appendix 15 Among one or more persons to be monitored in a photographed image generated by photographing a place to be monitored, the person having the feature amount that matches the feature amount of the person confirmed by the observer is A monitoring device comprising a display control unit that causes a display device to display a notification image indicating that confirmation has been performed by a monitoring person.
  • the computer is Identifying a person in a photographed image of a place to be monitored where one or more people to be monitored exist, Calculate the features of the identified person, The calculated feature values are compared with the feature values registered in the confirmed person database where the feature values of the person confirmed by the supervisor are registered. generating a first notification image indicating that the supervisor has confirmed the person with whom the feature values match; transmitting the first notification image and displaying the first notification image on a display device; Method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

監視者が、監視対象の場所に存在する人物を網羅的に確認可能な監視システム、情報処理装置、監視装置、方法及びプログラムを提供する。監視システム(1)は、監視対象の場所を撮影して撮影画像を生成する撮影装置(40,51)と、情報処理装置(20)と、人物を監視するための監視装置(10,30)とを含む。情報処理装置(20)の第1の人物特定手段(201)は、撮影画像内の人物を特定する。特徴量算出手段(203)は、特定された人物の特徴量を算出する。特徴量照合手段(207)は、算出された特徴量と、確認済人物データベース(230)に登録された監視者による確認が行われた人物の特徴量とを照合する。画像処理手段(208)は、特徴量が一致した人物に対する監視者による確認が行われた旨を示す第1の通知画像を生成する。監視装置(10,30)の表示制御手段(103,301)は、第1の通知画像を表示装置に表示させる。

Description

監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体
 本開示は、監視者が監視対象の人物を確認するための監視システム、情報処理装置、監視装置、方法及びプログラムに関する。
 従来、監視者が監視対象の人物を確認するための種々の技術が提案されている。このような技術の一例として、特許文献1は、ウェアラブルカメラと、サーバとを備えるウェアラブルカメラシステムを開示する。このウェアラブルカメラシステムでは、ウェアラブルカメラが、被写体を撮像し、その撮像画像に含まれる人物の顔を検知し、検知された顔に関する情報をサーバに送信する。サーバは、ウェアラブルカメラから顔に関する情報を受信すると、受信された顔に関する情報によって特定される人物の顔と、蓄積部に登録された顔画像とを照合する。照合の結果、当該人物の顔と顔画像とが一致する場合、サーバは、登録された顔画像に対応する人物に関する情報をウェアラブルカメラに通知する。そして、ウェアラブルカメラは、通知された人物に関する情報を警察官に報知する。
特開2017-060148号公報
 しかしながら、特許文献1が開示するウェアラブルカメラシステムは、周囲に怪しい人物がいることを警察官に速やかに知らせること課題とするものであるため、監視者が、監視対象の場所に存在する人物を網羅的に確認することができないという課題があった。
 本開示の目的の一つは、上述した課題を鑑み、監視者が、監視対象の場所に存在する人物を網羅的に確認することが可能な監視システム、情報処理装置、監視装置、方法及びプログラムを提供することにある。
 例示的な一態様に係る監視システムは、
 1以上の監視対象の人物が存在する監視対象の場所を撮影して撮影画像を生成する撮影装置と、
 撮影画像を処理する情報処理装置と、
 人物を監視するための1以上の監視装置と
 を含み、
 情報処理装置は、
 監視者による確認が行われた人物の特徴量が登録された確認済人物データベースと、
 撮影画像内の人物を特定する第1の人物特定手段と、
 特定された人物の特徴量を算出する特徴量算出手段と、
 算出された特徴量と、確認済人物データベースに登録された特徴量とを照合する特徴量照合手段と、
 特徴量が一致した人物に対する監視者による確認が行われた旨を示す第1の通知画像を生成する画像処理手段とを含み、
 監視装置は、
 第1の通知画像を表示装置に表示させる表示制御手段を含む。
 例示的な一態様に係る情報処理装置は、
 1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定する第1の人物特定手段と、
 第1の人物特定手段によって特定された人物の特徴量を算出する特徴量算出手段と、
 特徴量算出手段によって算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合する特徴量照合手段と、
 特徴量が一致した人物に対する監視者による確認が行われた旨を示す第1の通知画像を生成する画像処理手段と、
 第1の通知画像を送信して、第1の通知画像を表示装置に表示させる送信手段と
 を含む。
 例示的な一態様に係る監視装置は、監視対象の場所を撮影して生成された撮影画像内の1以上の監視対象の人物のうち、監視者による確認が行われた人物の特徴量と一致する特徴量を有する人物に対して、監視者による確認が行われた旨を示す通知画像を、表示装置に表示させる表示制御手段を備える。
 例示的な一態様に係る方法は、
 コンピュータが、
 1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定し、
 特定された人物の特徴量を算出し、
 算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合し、
 特徴量が一致した人物に対する監視者による確認が行われた旨を示す第1の通知画像を生成し、
 第1の通知画像を送信して、表示装置に第1の通知画像を表示させる。
 例示的な一態様に係るプログラムは、
 コンピュータに対し、
 1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定し、
 特定された人物の特徴量を算出するステップと、
 算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合するステップと、
 特徴量が一致した人物に対する監視者による確認が行われた旨を示す第1の通知画像を生成するステップと、
 第1の通知画像を送信して、第1の通知画像を表示装置に表示させるステップと
 を実行させる。
 本開示により、監視者が、監視対象の場所に存在する人物を網羅的に確認することが可能な監視システム、情報処理装置、監視装置、方法及びプログラムを提供することができる。
第1の実施形態に係る監視システムを示す図である。 第1の実施形態に係る装着型監視装置の構成を示す図である。 透過型表示装置の表示面の一例を示す図である。 第1の実施形態に係る情報処理装置の構成を示す図である。 確認済人物データベースの一例を示す図である。 第1の実施形態に係る非装着型監視装置の構成を示す図である。 監視システムで実行される処理の一例を示すシーケンス図である。 第1の通知画像の一例を示す図である。 第1の通知画像の他の例を示す図である。 第1の通知画像の他の例を示す図である。 第1の通知画像の他の例を示す図である。 監視システムで実行される処理の他の例を示すシーケンス図である。 監視システムで実行される処理の他の例を示すシーケンス図である。 監視システムで実行される処理の他の例を示すシーケンス図である。 監視システムが有する主要な構成要素を示す図である。 情報処理装置が有する主要な構成要素を示す図である。 監視装置が有する主要な構成要素を示す図である。 第2の実施形態に係る情報処理装置の構成を示す図である。 第2の通知画像の一例を示す図である。 第3の実施形態に係る情報処理装置の構成を示す図である。 第3の通知画像の一例を示す図である。 第3の通知画像の他の例を示す図である。 第3の通知画像の他の例を示す図である。 第4の実施形態に係る情報処理装置の構成を示す図である。 第4の通知画像の一例を示す図である。 第4の実施形態に係る監視システムで実行される処理の一例を示すシーケンス図である。 第4の実施形態に係る監視システムで実行される処理の他の例を示すシーケンス図である。 第5の通知画像の一例を示す図である。
<第1の実施形態>
 以下、図面を参照して、例示的な実施形態について説明する。図1は、第1の実施形態に係る監視システム1を示す図である。監視システム1は、装着型監視装置10と、情報処理装置20と、非装着型監視装置30と、据置型撮影装置40と、移動型ロボット50とを含む。情報処理装置20は、ネットワーク60を介して、装着型監視装置10、非装着型監視装置30、据置型撮影装置40及び移動型ロボット50と相互にデータを通信することができる。ネットワーク60は、無線通信及び/又は有線通信が可能なネットワーク装置によって構築することができる。ネットワーク60は、LAN(Local Area Network)及び/又はWAN(Wide Area Network)等の様々なネットワークを含むことができる。
 装着型監視装置10は、監視対象の人物の監視を行う監視者が装着する情報処理装置である。装着型監視装置10の具体例として、撮影装置を備えたヘッドマウントディスプレイ等が挙げられる。装着型監視装置10は、コンピュータに相当する。装着型監視装置10の構成については、図2を参照して後述する。
 情報処理装置20は、監視対象の人物に関する種々の情報を処理する装置である。情報処理装置20の具体例として、PCやサーバ等の情報処理装置が挙げられる。情報処理装置20は、コンピュータに相当する。装着型監視装置10の構成については、図4を参照して後述する。
 非装着型監視装置30は、監視者が監視対象の人物の監視を行う際に使用する非装着型の情報処理装置である。非装着型監視装置30の具体例として、PCやタブレット型端末等の情報処理装置が挙げられる。非装着型監視装置30は、コンピュータに相当する。非装着型監視装置30の構成については、図6を参照して後述する。
 据置型撮影装置40は、1以上の監視対象の人物が存在し得る監視対象の場所に設置される撮影装置である。据置型撮影装置40は、当該場所を撮影して撮影画像を生成し、撮影画像を情報処理装置20に送信する。
 移動型ロボット50は、1以上の監視対象の人物が存在し得る監視対象の場所を撮影するための移動型ロボットである。移動型ロボット50は、当該場所を撮影して撮影画像を生成する撮影装置51を備える。移動型ロボット50は、撮影装置51が生成した撮影画像を情報処理装置20に送信する。
 図2は、第1の実施形態に係る装着型監視装置10の構成を示す図である。装着型監視装置10は、種々のプログラムを実行可能なプロセッサ11と、通信インタフェース(I/F)12と、記憶装置13と、透過型表示装置14と、第1の撮影装置15と、第2の撮影装置16を備える。プロセッサ11の具体例としては、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の種々のプロセッサが挙げられる。
 装着型監視装置10は、通信インタフェース12を介して他の装置とデータ通信をする。記憶装置13には、プロセッサ11が実行するプログラム100や撮影画像等の種々の情報が保存される。
 透過型表示装置14は、透過型の表示面を有する表示装置である。透過型表示装置14は、種々の画像を表示することができる。
 第1の撮影装置15は、装着者の目を撮影して撮影画像を生成する撮影装置である。第1の撮影装置15は、装着者の目を撮影可能な位置、例えば、透過型表示装置14の端部に設けることができる。第1の撮影装置15は、定期的に装着者の目を含む撮影画像を生成する。
 第2の撮影装置16は、透過型表示装置14を介した装着者の視界を表す撮影画像を生成する撮影装置である。第2の撮影装置16が生成した撮影画像には、装着者の正面の光景が含まれる。
 プロセッサ11は、記憶装置13からプログラム100を読み出して実行することにより、例示的な一実施形態に係る方法を実行する。プログラム100は、瞳位置検出部101と、視点位置特定部102と、表示制御部103と、入力検出部104と、送信部105とを含む。なお、プログラム100が有する機能を、FPGA(Field-Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等の集積回路によって実現してもよい。プロセッサ、FPGA及びASIC等の集積回路は、コンピュータに相当する。
 瞳位置検出部101は、第1の撮影装置15が生成した装着者の目が含まれる撮影画像を用いて、装着者の瞳の位置を検出するプログラムである。本実施形態では、瞳位置検出部101は、装着者の目の撮影画像内の瞳の中心位置を検出する。瞳位置検出部101は、周期的に装着者の目の撮影画像内の瞳の中心位置を検出する。
 視点位置特定部102は、瞳位置検出部101によって検出された装着者の瞳の位置に対応する透過型表示装置14の表示面における装着者の視点位置を特定するプログラムである。本実施形態では、視点位置特定部102は、装着者の目の撮影画像内の瞳の中心位置と透過型表示装置14の表示面における視点位置とが対応付けられた対応テーブルに基づき、検出された装着者の瞳の位置に対応する透過型表示装置14の表示面における装着者の視点位置を特定する。対応テーブルには、装着者が透過型表示装置14の表示面の各位置を見たときの瞳の中心位置と、当該表示面の各位置とが関連付けて登録される。当該表示面の各位置は、当該表示面における装着者の視点位置に相当する。視点位置特定部102は、透過型表示装置14の表示面における装着者の視点位置を周期的に特定する。
 表示制御部103は、透過型表示装置14を制御するプログラムである。表示制御部103は、視点位置特定部102によって特定された透過型表示装置14の表示面における装着者の視点位置を示すGUI(Graphical User Interface)オブジェクトを、透過型表示装置14に表示させる。また、表示制御部103は、情報処理装置20が送信した画像を、透過型表示装置14に表示させる。
 図3は、透過型表示装置14の表示面130の一例を示す図である。透過型表示装置14の表示面には、装着者の視点位置を示すGUIオブジェクト131が表示される。なお、図3に示す人物は、装着者が見ている実際の人物を表す。
 入力検出部104は、監視対象の人物に対する目視確認が行われた旨の入力を検出するプログラムである。本実施形態では、装着者である監視者の視点を示すGUIオブジェクトが、透過型表示装置14の表示面において監視対象の人物に重畳して表示された状態で、監視者は、当該監視対象の人物に対する目視確認(以下、「目視確認済入力」とする。)が行われた旨の入力を行うことができる。
 例えば、監視者が自身の装着している装着型監視装置10に与えた振動を、目視確認済入力として採用できる。この場合、監視者は、装着型監視装置10をタップ等することにより、装着型監視装置10に振動を与えることができる。入力検出部104は、装着者が装着型監視装置10に与えた振動を検出することができる。
 また、装着型監視装置10が、ボタン等の入力手段を備える場合、当該入力手段が押下された旨を示すイベントを、目視確認済入力として採用できる。この場合、入力検出部104は、当該入力手段が押下された旨を示すイベントを検出することができる。
 さらに、装着型監視装置10が音声入力装置を備える場合、装着者が目視確認をした旨を示す音声を、目視確認済入力として採用できる。この場合、入力検出部104は、装着者が目視確認をした旨を示す音声を検出することができる。
 他の実施形態では、或る監視者による目視確認に加えて、他の監視者による目視確認、すなわち、ダブルチェックを行ってもよい。この場合、監視者は、装着型監視装置10に対し、上述した振動や押下ボタン、音声等の種々の方法により、ダブルチェックを依頼する旨の入力を行う。入力検出部104は、振動や押下ボタン、音声等に基づくダブルチェックを依頼する旨の入力を検出することができる。
 さらに他の実施形態では、同一の監視者による再確認を行ってもよい。この場合、監視者は、装着型監視装置10に対し、上述した振動や押下ボタン、音声等の種々の方法により、当該監視者による再確認を要する旨の入力を行う。入力検出部104は、振動や押下ボタン、音声等に基づく、同一の監視者による再確認を要する旨の入力を検出することができる。
 さらに他の実施形態では、同一の監視者又は異なる監視者による一定期間の継続確認を行ってもよい。一定期間は、任意の時間とすることができる。この場合、監視者は、装着型監視装置10に対し、上述した振動や押下ボタン、音声等の種々の方法により、同一の監視者又は異なる監視者による一定期間の継続確認を要する旨の入力を行う。入力検出部104は、振動や押下ボタン、音声等に基づく、同一の監視者又は異なる監視者による一定期間の継続確認を要する旨の入力を検出することができる。
 送信部105は、種々の情報を情報処理装置20に送信するプログラムである。
 図4は、第1の実施形態に係る情報処理装置20の構成を示す図である。情報処理装置20は、種々のプログラムを実行可能なプロセッサ21と、通信インタフェース(I/F)22と、記憶装置23とを備える。プロセッサ21の具体例としては、CPUやMPU等の種々のプロセッサが挙げられる。
 情報処理装置20は、通信インタフェース22を介して他の装置とデータ通信をする。記憶装置23には、プロセッサ21が実行するプログラム200や確認済人物データベース等の種々の情報が保存される。
 プロセッサ21は、記憶装置23からプログラム200を読み出して実行することにより、例示的な一実施形態に係る方法を実行する。プログラム200は、第1の人物特定部201と、第2の人物特定部202と、特徴量算出部203と、特徴量登録部204と、属性情報生成部205と、属性情報登録部206と、特徴量照合部207と、画像処理部208と、送信部209とを含む。なお、プログラム200が有する機能を、FPGAやASIC等の集積回路によって実現してもよい。プロセッサ、FPGA及びASIC等の集積回路は、コンピュータに相当する。
 第1の人物特定部201は、外部装置から受信した撮影画像内の人物を特定するプログラムである。第2の人物特定部202は、外部装置から受信した人物特定情報及び撮影画像を用いて、監視者による目視確認が行われた確認済み人物を特定するプログラムである。人物特定情報は、監視者による目視確認が行われた確認済み人物を特定するための情報である。
 特徴量算出部203は、第1の人物特定部201又は第2の人物特定部202によって特定された人物の特徴量を算出するプログラムである。特徴量算出部203は、特定された人物が含まれる画像を解析して、当該人物の特徴量を算出する。例えば、特徴量算出部203は、特定された人物の顔の特徴量を算出することができる。
 特徴量登録部204は、特徴量算出部203によって算出された確認済み人物の特徴量を確認済人物データベースに登録するプログラムである。
 属性情報生成部205は、確認済み人物の属性情報を生成するプログラムである。属性情報には、確認済み人物の推定身長、推定年齢、性別等の身体的特徴等が含まれる。属性情報生成部205は、確認済み人物の撮影画像を解析して、これらの属性情報を生成する。
 属性情報登録部206は、属性情報生成部205の生成した確認済み人物の属性情報を確認済人物データベースに登録するプログラムである。属性情報登録部206は、確認済み人物の特徴量と属性情報とを関連付けて登録する。
 図5は、確認済人物データベースの一例を示す図である。確認済人物データベースには、特徴量算出部203の算出した確認済み人物の特徴量と、属性情報生成部205の生成した確認済み人物の属性情報が関連付けて登録される。図5に示す例では、属性情報として、確認済み人物の身体的特徴が表された撮影画像が登録される。
 特徴量照合部207は、特徴量算出部203が算出した各人物の特徴量と、確認済人物データベースに登録されている確認済み人物の特徴量とを照合するプログラムである。
 画像処理部208は、種々の画像を生成するプログラムである。送信部209は、種々の情報を他の装置に送信するプログラムである。
 図6は、第1の実施形態に係る非装着型監視装置30の構成を示す図である。非装着型監視装置30は、種々のプログラムを実行可能なプロセッサ31と、通信インタフェース(I/F)32と、記憶装置33とを備える。プロセッサ31の具体例としては、CPUやMPU等の種々のプロセッサが挙げられる。
 非装着型監視装置30は、通信インタフェース32を介して他の装置とデータ通信をする。記憶装置33には、プロセッサ31が実行するプログラム300等の種々の情報が保存される。
 プロセッサ31は、記憶装置33からプログラム300を読み出して実行することにより、例示的な一実施形態に係る方法を実行する。プログラム300は、表示制御部301と、入力検出部302と、人物特定情報生成部303と、送信部304とを含む。なお、プログラム300が有する機能を、FPGAやASIC等の集積回路によって実現してもよい。プロセッサ、FPGA及びASIC等の集積回路は、コンピュータに相当する。
 表示制御部301は、非装着型監視装置30が制御可能な表示装置を制御するプログラムである。非装着型監視装置30が制御可能な表示装置には、非装着型監視装置30が備える表示装置と、非装着型監視装置30がデータ通信可能な個別の表示装置が含まれる。
 入力検出部302は、マウスやタッチパネル等の入力装置を介した入力を検出するプログラムである。入力検出部302は、非装着型監視装置30を使用する監視者により監視対象の人物に対して目視確認が行われた旨の入力を検出することができる。例えば、非装着型監視装置30が制御可能な表示装置において、マウスカーソル等のGUIオブジェクトが監視対象の人物に重畳して表示された状態で、監視者は、マウスやタッチパネル等の入力装置を用いて、クリックやタッチ等の操作を行うことにより、当該監視対象の人物に対する目視確認が行われた旨の入力を行うことができる。入力検出部302は、入力装置に対して行われた操作に基づいて、監視対象の人物に対する目視確認が行われた旨の入力を検出することができる。
 他の監視者によるダブルチェックを行う他の実施形態では、監視者は、入力装置を操作することにより、他の監視者によるダブルチェックを依頼する旨の入力を行うことができる。この場合、入力検出部302は、入力装置に対して行われた操作に基づいて、他の監視者によるダブルチェックを依頼する旨の入力を検出することができる。
 また、同一の監視者による再確認を行う他の実施形態では、監視者は、入力装置を操作することにより、監視者による再確認を要する旨の入力を行うことができる。この場合、入力検出部302は、入力装置に対して行われた操作に基づいて、監視者による再確認を要する旨の入力を検出することができる。
 さらに、同一の監視者又は異なる監視者による一定期間の継続確認を行う他の実施形態では、監視者は、入力装置を操作することにより、同一の監視者又は異なる監視者による一定期間の継続確認を要する旨の入力を行うことができる。一定期間は、任意の時間とすることができる。この場合、入力検出部302は、入力装置に対して行われた操作に基づいて、同一の監視者又は異なる監視者による一定期間の継続確認を要する旨の入力を検出することができる。
 人物特定情報生成部303は、入力検出部302が検出した入力に基づき、人物特定情報を生成するプログラムである。例えば、目視確認が行われた人物が表示されている画像内の位置の座標又は当該位置を含む領域の座標を、人物特定情報として採用することができる。監視者は、入力装置を用いて、目視確認が行われた人物が表示されている画像内の位置の座標又は当該位置を含む領域の座標を指定することができる。人物特定情報生成部303は、監視者が指定した目視確認が行われた人物の画像内の位置の座標又は当該位置を含む領域の座標を、人物特定情報として生成することができる。
 送信部304は、種々の情報を情報処理装置20に送信するプログラムである。
 図7は、監視システム1で実行される処理の一例を示すシーケンス図である。図7の処理は、装着型監視装置10に対して目視確認済入力がされる場合の処理である。
 ステップS1では、装着型監視装置10の瞳位置検出部101が、装着者の瞳の位置を検出する。ステップS2では、視点位置特定部102が、検出された瞳の位置に対応する透過型表示装置14の表示面における視点位置を特定する。ステップS3では、表示制御部103が、特定された視点位置を示すGUIオブジェクトを、透過型表示装置14に表示させる。
 ステップS4では、入力検出部104が、監視対象の人物に対する目視確認が行われた旨の目視確認済入力を検出する。ステップS5では、第2の撮影装置16が、透過型表示装置14を介した装着者の視界を表す撮影画像を生成する。
 ステップS6では、送信部105が、目視確認が行われた旨を示す確認済み情報と、ステップS3で特定された視点位置を示す視点位置情報と、ステップS5で生成された撮影画像を情報処理装置20に送信する。この視点位置情報及び撮影画像は、目視確認済入力が検出されたときの人物特定情報及び撮影画像に相当する。
 他の監視者によるダブルチェックを行う実施形態では、送信部105は、ステップS6で確認済み情報、視点位置情報、及び撮影画像に加えて、他の監視者によるダブルチェックを依頼する旨を示す依頼情報を、情報処理装置20に送信する。
 また、同一の監視者による再確認を行う実施形態では、送信部105は、ステップS6で確認済み情報、視点位置情報、及び撮影画像に加えて、監視者による再確認を要する旨を示す再確認情報を、情報処理装置20に送信する。
 さらに、同一の監視者又は異なる監視者による一定期間の継続確認を行う実施形態では、送信部105は、ステップS6で確認済み情報、視点位置情報、及び撮影画像に加えて、同一の監視者又は異なる監視者による一定期間の継続確認を要する旨を示す継続確認情報を、情報処理装置20に送信する。
 情報処理装置20は、装着型監視装置10から確認済み情報、視点位置情報及び撮影画像を受信すると、ステップS7で第2の人物特定部202が、受信した視点位置情報及び撮影画像を用いて、装着者によって目視確認が行われた確認済み人物を特定する。ステップS8では、特徴量算出部203が、ステップS7で特定された確認済み人物の特徴量を算出する。ステップS9では、特徴量登録部204が、ステップS8で算出された確認済み人物の特徴量を確認済人物データベースに登録する。
 ステップS10では、第1の人物特定部201が、受信した撮影画像内の人物を特定する。ステップS11では、特徴量算出部203が、ステップS10で特定された撮影画像内の人物の特徴量を算出する。ステップS12では、特徴量照合部207が、ステップS11で算出された撮影画像に含まれる各人物の特徴量と、確認済人物データベースに登録されている確認済み人物の特徴量とを照合する。特徴量の照合の結果、これらの特徴量が一致した場合、ステップS13で画像処理部208が、撮影画像を用いて、特徴量が一致した人物が目視確認済みである旨を示す第1の通知画像を生成する。
 図8は、第1の通知画像70の一例を示す図である。第1の通知画像70には、監視対象の人物71が確認済みであることを示すGUIオブジェクト72が含まれる。本実施形態では、画像処理部208は、GUIオブジェクト72を撮影画像内の確認済み人物に重畳して、第1の通知画像を生成する。換言すると、第1の通知画像には、監視対象の人物と、GUIオブジェクト72が含まれる。
 他の実施形態では、画像処理部208は、GUIオブジェクト72で構成された第1の通知画像を生成してもよい。換言すると、第1の通知画像には、監視対象の人物が含まれない。この場合、画像処理部208は、撮影画像に含まれる当該人物の位置を特定し、当該位置に対応する第1の通知画像内の位置にGUIオブジェクト72を描画する。これにより、第1の通知画像が透過型表示装置14に表示されたときに、装着者である監視者は、GUIオブジェクト72が実際の当該人物に重畳されているように見える。
 ステップS14では、送信部209が、第1の通知画像を装着型監視装置10に送信する。装着型監視装置10は、情報処理装置20から第1の通知画像を受信すると、ステップS15で表示制御部103が、第1の通知画像を透過型表示装置14に表示させる。本実施形態では、表示制御部103は、透過型表示装置14の画面の特定の領域、例えば、画面の上部、下部、側部等に第1の通知画像を表示させる。
 他の監視者によるダブルチェックを行う実施形態では、ステップS13において情報処理装置20の画像処理部208が、特徴量が一致した人物が目視確認済みである旨と、他の監視者によるダブルチェックを依頼する旨とを示す第1の通知画像を生成する。図9は、この第1の通知画像700の一例を示す図である。第1の通知画像700には、監視対象の人物71が確認済みであることを示すGUIオブジェクト72と、他の監視者によるダブルチェックを依頼する旨を示すGUIオブジェクト73が含まれる。なお、他の実施形態では、第1の通知画像700には、他の監視者によるダブルチェックを依頼する旨を示すGUIオブジェクト73が含まれ、GUIオブジェクト72が含まれなくてもよい。
 また、同一の監視者による再確認を行う実施形態では、ステップS13において情報処理装置20の画像処理部208が、特徴量が一致した人物が目視確認済みである旨と、監視者による再確認が必要である旨とを示す第1の通知画像を生成する。図10は、この第1の通知画像710の一例を示す図である。第1の通知画像710には、監視対象の人物71が確認済みであることを示すGUIオブジェクト72と、監視者による再確認が必要である旨を示すGUIオブジェクト74が含まれる。なお、他の実施形態では、第1の通知画像710には、監視者による再確認が必要である旨を示すGUIオブジェクト74が含まれ、GUIオブジェクト72が含まれなくてもよい。
 さらに、同一の監視者又は異なる監視者による一定期間の継続確認を行う実施形態では、ステップS13において情報処理装置20の画像処理部208が、特徴量が一致した人物が目視確認済みである旨と、同一の監視者又は異なる監視者による一定期間の継続確認が必要である旨とを示す第1の通知画像を生成する。図11は、この第1の通知画像720の一例を示す図である。第1の通知画像720には、監視対象の人物71が確認済みであることを示すGUIオブジェクト72と、同一の監視者又は異なる監視者による一定期間の継続確認が必要である旨を示すGUIオブジェクト75が含まれる。なお、他の実施形態では、第1の通知画像720には、同一の監視者又は異なる監視者による一定期間の継続確認が必要である旨を示すGUIオブジェクト75が含まれ、GUIオブジェクト72が含まれなくてもよい。
 図12は、監視システム1で実行される処理の他の例を示すシーケンス図である。図12の処理は、装着型監視装置10に対して目視確認済入力がされない場合の処理である。
 ステップS20では、装着型監視装置10の第2の撮影装置16が、撮影画像を生成する。ステップS21では、送信部105が、撮影画像を情報処理装置20に送信する。
 情報処理装置20は、装着型監視装置10から撮影画像を受信すると、ステップS22で第1の人物特定部201が、受信した撮影画像内の人物を特定する。ステップS23では、特徴量算出部203が、ステップS22で特定された撮影画像内の人物の特徴量を算出する。ステップS24では、特徴量照合部207が、ステップS23で算出された撮影画像に含まれる各人物の特徴量と、確認済人物データベースに登録されている確認済み人物の特徴量とを照合する。特徴量の照合の結果、これらの特徴量が一致した場合、ステップS25で画像処理部208が、撮影画像を用いて、特徴量が一致した人物が目視確認済みである旨を示す第1の通知画像を生成する。ステップS26では、送信部209が、第1の通知画像を装着型監視装置10に送信する。
 装着型監視装置10は、情報処理装置20から第1の通知画像を受信すると、ステップS27で表示制御部103が、第1の通知画像を透過型表示装置14に表示させる。
 図13は、監視システム1で実行される処理の他の例を示すシーケンス図である。図13の処理は、非装着型監視装置30に対する目視確認済入力がされない場合の処理である。
 ステップS30では、撮影装置40,51が、監視対象の場所の撮影画像を生成する。ステップS31では、撮影装置40,51が、撮影画像を情報処理装置20に送信する。
 情報処理装置20は、撮影装置40,51から撮影画像を受信すると、ステップS32で第1の人物特定部201が、受信した撮影画像内の人物を特定する。ステップS33では、特徴量算出部203が、ステップS32で特定された撮影画像内の人物の特徴量を算出する。ステップS34では、特徴量照合部207が、ステップS33で算出された撮影画像に含まれる各人物の特徴量と、確認済人物データベースに登録されている確認済み人物の特徴量とを照合する。特徴量の照合の結果、これらの特徴量が一致した場合、ステップS35で画像処理部208が、撮影画像を用いて、特徴量が一致した人物が目視確認済みである旨を示す第1の通知画像を生成する。ステップS36では、送信部209が、第1の通知画像を非装着型監視装置30に送信する。
 非装着型監視装置30は、情報処理装置20から第1の通知画像を受信すると、ステップS37で表示制御部301が、非装着型監視装置30が制御可能な表示装置に、第1の通知画像を表示させる。
 図14は、監視システム1で実行される処理の他の例を示すシーケンス図である。図14の処理は、非装着型監視装置30に対する目視確認済入力がされる場合の処理である。
 ステップS40では、情報処理装置20が、非装着型監視装置30が制御可能な表示装置が表示する画像を非装着型監視装置30に送信する。非装着型監視装置30に送信される画像は、撮影装置40,51から受信した撮影画像、又は当該撮影画像に基づいて生成された第1の通知画像である。情報処理装置20は、撮影装置40,51から受信した撮影画像に確認済み人物が含まれない場合、当該撮影画像を非装着型監視装置30に送信する。一方、撮影装置40,51から受信した撮影画像に確認済み人物が含まれる場合、情報処理装置20は、当該撮影画像に基づいて生成した第1の通知画像を送信する。
 非装着型監視装置30は、情報処理装置20から画像を受信すると、ステップS41で表示制御部301が、当該画像を表示装置に表示させる。監視者が、表示装置に表示された画像に含まれる監視対象の人物を目視確認し、目視確認がされた人物を、マウスやタッチパネル等の入力装置を用いて指定すると、ステップS42で入力検出部302が、指定された人物に対する目視確認が行われた旨の目視確認済入力を検出する。ステップS43では、人物特定情報生成部303が、当該入力に基づき、人物特定情報を生成する。
 ステップS44では、送信部304が、確認済み情報と、人物特定情報と、監視者が目視確認をした際に、非装着型監視装置30が制御可能な表示装置に表示されていた画像を、情報処理装置20に送信する。
 情報処理装置20は、非装着型監視装置30から確認済み情報、人物特定情報及び画像を受信すると、ステップS45で第2の人物特定部202が、受信した人物特定情報及び画像を用いて、監視者によって目視確認がされた確認済み人物を特定する。ステップS46では、特徴量算出部203が、ステップS45で特定された確認済み人物の特徴量を算出する。ステップS47では、特徴量登録部204が、ステップS46で算出された確認済み人物の特徴量を確認済人物データベースに登録する。
 図15は、監視システム1が有する主要な構成要素を示す図である。監視システム1は、1以上の監視対象の人物が存在し得る監視対象の場所を撮影して撮影画像を生成する撮影装置40,51と、撮影画像を処理する情報処理装置20と、監視対象の人物を監視するための1以上の監視装置10,30とを含む。
 情報処理装置20は、監視者による確認が行われた人物の特徴量が登録された確認済人物データベース230を含む。情報処理装置20の第1の人物特定部201は、撮影画像内の人物を特定する。特徴量算出部203は、第1の人物特定部201によって特定された人物の特徴量を算出する。特徴量照合部207は、特徴量算出部203によって算出された特徴量と、確認済人物データベースに登録された特徴量とを照合する。画像処理部208は、特徴量が一致した人物に対する監視者による確認が行われた旨を示す第1の通知画像を生成する。監視装置10,30の表示制御部103,301は、画像処理部208が生成した第1の通知画像を表示装置に表示させる。
 これにより、監視者は、表示装置に表示された第1の通知画像を確認することにより、確認が必要な人物を把握することができる。そのため、監視者は、監視対象の場所に存在する監視対象の人物を網羅的に確認することができる。特に、監視システム1は、多数の旅行者が次々に移動する税関における監視に適用した場合、税関職員等の監視者が、これらの旅行者を網羅的に確認できるため有用である。
 図16は、情報処理装置20が有する主要な構成要素を示す図である。情報処理装置20の第1の人物特定部201は、撮影画像内の人物を特定する。特徴量算出部203は、第1の人物特定部201によって特定された人物の特徴量を算出する。特徴量照合部207は、特徴量算出部203によって算出された特徴量と、確認済人物データベース230に登録された特徴量とを照合する。画像処理部208は、特徴量が一致した人物に対する監視者による確認が行われた旨を示す第1の通知画像を生成する。送信部209は、画像処理部208が生成した第1の通知画像を表示装置に送信して表示させる。
 これにより、監視者は、表示装置に表示された第1の通知画像を確認することにより、確認が必要な人物を把握でき、監視対象の場所に存在する監視対象の人物を網羅的に確認することができる。
 図17は、監視装置10,30が有する主要な構成要素を示す図である。監視装置10,30は、表示制御部103,301を備える。表示制御部103,301は、監視対象の場所を撮影して生成された撮影画像内の1以上の監視対象の人物のうち、監視者による確認が行われた人物の特徴量と一致する特徴量を有する人物に対して、監視者による確認が行われた旨を示す通知画像を、表示装置に表示させる。
 これにより、監視者は、表示装置に表示された通知画像を確認することにより、確認が必要な人物を把握でき、監視対象の場所に存在する監視対象の人物を網羅的に確認することができる。
 また、装着型監視装置10は、装着者の眼前に配置される透過型の表示装置を備える。表示制御部103は、第1の通知画像を透過型の表示装置に表示させる。これにより、装着型監視装置10を装着した監視者は、自身の眼前に表示された第1の通知画像を確認することにより、確認が必要な人物を把握することができる。
 さらに、監視装置10,30の送信部105,304は、監視者による確認が行われた人物を特定するための人物特定情報を情報処理装置20に送信する。情報処理装置20の第2の人物特定部202は、人物特定情報によって識別される人物が含まれた撮影画像内の人物の中から、人物特定情報によって識別される人物を特定する。特徴量登録部204は、第2の人物特定部202によって特定された人物の特徴量を確認済人物データベースに登録する。
 これにより、監視者による確認が行われた人物の特徴量が確認済人物データベースに登録される。情報処理装置20は、この確認済人物データベースに登録された特徴量と一致する人物に対する目視確認が行われた旨を示す第1の通知画像を生成する。装着型監視装置10及び非装着型監視装置30は、第1の通知画像を表示装置に表示させるため、監視者が、当該第1の通知画像を確認することにより、既に確認された監視対象の人物を重複して確認するのを抑制することができる。
 さらに、第1の通知画像には、監視者による確認が行われた人物に対する、当該監視者とは別の監視者による確認が必要である旨を示す情報が表示され得る。これにより、当該別の監視者が、或る監視者によって既に確認された人物をダブルチェックする際の利便性を高めることができる。
 さらに、第1の通知画像には、監視者による確認が行われた人物に対する同一の監視者による再確認が必要である旨を示す情報が表示され得る。これにより、監視者が、既に確認された人物を再確認する際の利便性を高めることができる。
 さらに、第1の通知画像には、監視者による確認が行われた人物に対する継続確認が必要である旨を示す情報が表示され得る。これにより、監視者が、既に確認された人物を継続して確認する際の利便性を高めることができる。
<第2の実施形態>
 図18は、第2の実施形態に係る情報処理装置20の構成を示す図である。第2の実施形態では、情報処理装置20はさらに、優先度算出部210を含む。以下、第1の実施形態との相違点を中心に説明する。
 優先度算出部210は、撮影画像内の人物のうち、監視者による確認が行われていない未確認人物の渡航履歴及び挙動の少なくとも一方に基づき、未確認人物に対する監視者による確認の優先度を算出するプログラムである。未確認人物とは、確認済人物データベースに特徴量が登録されていない人物である。
 渡航履歴は、監視対象の人物が滞在した場所を示す渡航履歴である。渡航履歴には、監視対象の人物が滞在した出発地、目的地及び経由地が含まれる。出発地、目的地及び経由地には、種々の国及び地域が含まれる。渡航履歴は、情報処理装置20がアクセス可能な記憶装置に構築される渡航履歴データベースに保存される。渡航履歴データベースには、監視対象の人物の特徴量と渡航履歴とが関連付けて登録される。
 優先度算出部210は、撮影画像内の人物の特徴量と一致する、渡航履歴データベース内の監視対象の人物の特徴量に関連付けられた渡航履歴を特定する。そして、優先度算出部210は、渡航履歴に含まれ得る国又は地域毎に優先度が設定されたデータテーブルを参照し、特定された渡航履歴に含まれた国又は地域の優先度を特定し、監視対象の人物に対する確認の優先度を算出することができる。優先度は、例えば、「高」、「中」、「低」等の段階的な指標によって表すことができる。また、優先度は、数値によって表すこともできる。
 人物の挙動は、監視対象の人物が取り得る行動又は動作である。優先度算出部210は、撮影時刻の異なる監視対象の人物の複数の撮影画像を解析し、監視対象の人物の挙動が、特定の挙動に該当するか判断する。この解析で使用される撮影画像は、監視対象の場所を広角的に撮影可能な撮影装置、例えば、撮影装置40,51が生成した撮影画像であることが好ましい。
 特定の挙動には、例えば、監視者が監視対象の人物を見たときに監視対象の人物が目線を逸らす行動、監視対象の人物が監視者から離れる行動、監視対象の人物が監視者と一定の距離を保つ行動等が含まれる。
 監視者が監視対象の人物を見たときに監視対象の人物が目線を逸らす行動を検出する場合、優先度算出部210は、撮影画像に含まれる監視者の視線と、監視対象の人物の視線を特定する。例えば、監視者及び監視対象の人物の視線は、各人物の頭部の中心を通る鉛直線と垂直な直線であって、各人物の両目の間の中点を通る直線として採用することができる。なお、監視者及び監視対象の人物の瞳の位置に基づいて、各人物の視線を特定してもよい。
 次いで、優先度算出部210は、監視者の視線と監視対象の人物の視線が一致するか否か判定する。監視者の視線と監視対象の人物の視線が一致すると判定した場合、優先度算出部210は、監視者の視線と監視対象の人物の視線が一致した時間を算出する。算出された時間が既定の時間以下である場合、優先度算出部210は、監視対象の人物の挙動が、監視者が監視対象の人物を見たときに監視対象の人物が目線を逸らす行動であると判定する。既定の時間は、不審な人物が目線を逸らす際の時間とする。
 監視対象の人物が監視者から離れる行動を検出する場合、優先度算出部210は、撮影時刻の異なる複数の撮影画像に含まれる監視者と監視対象の人物との距離の経時的な変化量を算出する。算出した変化量が増加した場合、優先度算出部210は、監視対象の人物の挙動が、監視対象の人物が監視者から離れる行動であると判定する。
 監視対象の人物が監視者と一定の距離を保つ行動を検出する場合、優先度算出部210は、撮影時刻の異なる複数の撮影画像に含まれる監視者と監視対象の人物との距離の経時的な変化量を算出する。算出した変化量が0である場合、優先度算出部210は、監視対象の人物の挙動が、監視対象の人物が監視者と一定の距離を保つ行動であると判定する。
 優先度算出部210は、監視対象の人物の挙動が特定の挙動に該当すると判断した場合、特定の挙動毎に優先度が設定されたデータテーブルを参照し、当該監視対象の人物の挙動に対応する優先度を算出することができる。優先度は、例えば、「高」、「中」、「低」等の段階的な指標によって表すことができる。また、優先度は、数値によって表すこともできる。
 渡航履歴及び挙動の双方に基づいて監視者による確認の優先度を算出する場合、数値化された優先度を採用することができる。優先度算出部210は、渡航履歴に基づく優先度の数値と、挙動に基づく優先度の数値とを加算し、統合的な優先度を算出することができる。
 画像処理部208は、優先度算出部210によって算出された優先度を示す第2の通知画像を生成する。図19は、第2の通知画像80の一例を示す図である。第2の通知画像80には、段階的な指標で表された優先度を示すGUIオブジェクト81,82,83が表示される。
 装着型監視装置10の表示制御部103は、透過型表示装置14に第2の通知画像を表示させる。また、非装着型監視装置30の表示制御部301は、非装着型監視装置30が制御可能な表示装置に、第2の通知画像を表示させる。これにより、監視者は、第2の通知画像を参照して未確認人物に対する確認の優先度を把握することができる。
<第3の実施形態>
 図20は、第3の実施形態に係る情報処理装置20の構成を示す図である。第2の実施形態では、情報処理装置20はさらに、第3の人物特定部211と、方向特定部212とを含む。以下、第1の実施形態との相違点を中心に説明する。
 第3の人物特定部211は、撮影画像内の人物のうち、監視者による確認が行われていない未確認人物の位置及び人数を特定するプログラムである。方向特定部212は、第3の人物特定部211によって特定された未確認人物が存在する方向を特定するプログラムである。未確認人物及び当該未確認人物が存在する方向を特定する場合、監視対象の場所を広角的に撮影可能な複数の撮影装置40が生成した撮影画像を用いる。複数の撮影装置40は、それぞれ異なる撮影方向から監視対象の場所を撮影して、撮影方向の異なる撮影画像を生成することが好ましい。複数の撮影装置40は、例えば、監視対象の場所の壁面等に設置することが想定される。
 第3の人物特定部211は、パターンマッチング等のマッチング技術を用いて、撮影装置40が生成した撮影方向の異なる複数の撮影画像のそれぞれと、装着型監視装置10から受信した撮影画像とを照合し、撮影方向の異なる複数の撮影画像のうち、受信した撮影画像と最もマッチングする撮影画像(以下、「マッチング画像」とする。)を特定する。通常、マッチング画像には、当該装着型監視装置10を装着した監視者の後ろ姿が含まれる。
 次いで、第3の人物特定部211は、特定されたマッチング画像に含まれる人物を特定する。なお、第1の人物特定部201は、マッチング画像に含まれる監視者を特定対象としない。第1の人物特定部201は、監視者の既知の特徴量に基づいて、マッチング画像に含まれる監視者を識別することができる。
 次いで、特徴量算出部203が、第3の人物特定部211によって特定された人物の特徴量を算出する。次いで、特徴量照合部207が、特徴量算出部203によって算出された特徴量と、確認済人物データベースに登録された特徴量とを照合する。そして、第3の人物特定部211は、マッチング画像と、特徴量照合部207による照合結果に基づき、当該マッチング画像内の特徴量が一致しない人物、すなわち、当該マッチング画像内の未確認人物の位置及び当該未確認人物の人数を特定する。
 次いで、方向特定部212は、当該マッチング画像内の監視者の位置を特定する。マッチング画像は、装着型監視装置10の第2の撮影装置16が撮影した範囲よりも広い範囲を撮影して生成された画像である。そのため、装着型監視装置10が提供した撮影画像は、マッチング画像の一部を構成する。方向特定部212は、マッチング画像と、装着型監視装置10が提供した撮影画像とを照合し、マッチング画像における当該撮影画像の領域を特定する。
 次いで、方向特定部212は、特定された領域に基づき、当該マッチング画像内の監視者の位置を特定する。例えば、方向特定部212は、方向特定部212は、特定された領域内の左右方向における中心位置を、監視者の位置として特定することができる。
 そして、方向特定部212は、このようにして特定したマッチング画像内の監視者の位置と、第3の人物特定部211によって特定されたマッチング画像内の未確認人物の位置に基づき、当該監視者の位置を基準とする未確認人物が存在する方向を特定する。換言すると、方向特定部212は、撮影画像を提供した装着型監視装置10の装着者である監視者の位置を基準とする未確認人物が存在する方向を特定する。
 画像処理部208は、装着型監視装置10から受信した撮影画像に基づき、方向特定部212によって特定された未確認人物が存在する方向を示す第3の通知画像を生成する。図21は、第3の通知画像の一例を示す図である。図21に示す第3の通知画像90には、監視者の左側に未確認人物が存在することを示すGUIオブジェクト91が表示される。
 図22は、第3の通知画像の別の例を示す図である。図22に示す第3の通知画像92には、監視者の左側に未確認人物が存在することを示すGUIオブジェクト91と、未確認人物が存在する旨を示す情報93が表示される。
 図23は、第3の通知画像の別の例を示す図である。図23に示す第3の通知画像94には、監視者の左側に未確認人物が存在することを示すGUIオブジェクト91と、未確認人物が存在する旨及び未確認人物の人数を示す情報95が表示される。未確認人物の人数は、マッチング画像に含まれる未確認人物の数から、装着型監視装置10が提供した撮影画像に含まれる未確認人物の数を減算した数である。
 この場合、第3の人物特定部211は、装着型監視装置10が提供した撮影画像内の人物を特定する。次いで、特徴量算出部203が、第3の人物特定部211によって特定された人物の特徴量を算出する。次いで、特徴量照合部207が、特徴量算出部203によって算出された特徴量と、確認済人物データベースに登録された特徴量とを照合する。そして、第3の人物特定部211は、特徴量照合部207による照合結果に基づき、当該撮影画像内の特徴量が一致しない人物、すなわち、当該撮影画像内の未確認人物の人数を特定することができる。画像処理部208は、未確認人物が存在する旨及び未確認人物の人数を示す情報95が含まれた第3の通知画像94を生成する。
 上述した通り、情報処理装置20の第3の人物特定部211は、撮影画像内の人物のうち、監視者による確認が行われていない未確認人物の位置を特定する。次いで、方向特定部212は、第3の人物特定部211によって特定された未確認人物の位置と、撮影画像を提供した装着型監視装置10の装着者である監視者の位置に基づき、当該監視者を基準とする未確認人物が存在する方向を特定する。画像処理部208は、特定された未確認人物が存在する方向を示す第3の通知画像を生成する。装着型監視装置10の表示制御部103は、透過型表示装置14に第3の通知画像を表示させる。これにより、装着型監視装置10を装着した監視者は、未確認人物が存在する方向を把握することができ、監視者による監視対象の人物の確認が容易になる。
 第3の通知画像には、未確認人物が存在する旨を示す情報が表示され得る。これにより、装着型監視装置10を装着した監視者は、未確認人物が存在することを把握することができる。
 第3の人物特定部211はさらに、撮影画像内の未確認人物の人数を特定し得る。画像処理部208は、特定された未確認人物が存在する方向及び未確認人物の人数を示す第3の通知画像を生成し得る。装着型監視装置10の表示制御部103は、未確認人物が存在する方向及び未確認人物の人数を示す第3の通知画像を表示装置に表示させることができる。これにより、装着型監視装置10を装着した監視者は、未確認人物が存在する方向と共に、未確認人物の人数を把握することができる。
<第4の実施形態>
 図24は、第4の実施形態に係る情報処理装置20の構成を示す図である。第4の実施形態では、情報処理装置20はさらに、検査種類決定部213と、誘導完了検出部214とを含む。以下、第1の実施形態との相違点を中心に説明する。
 検査種類決定部213は、撮影画像内の人物のうち、監視者による確認が行われていない未確認人物の挙動及び検査履歴の少なくとも一方に基づき、未確認人物に対する検査の種類を決定するプログラムである。検査の種類には、簡易検査及び重点検査が含まれる。
 未確認人物の挙動に基づいて未確認人物に対する検査の種類を決定する場合、検査種類決定部213は、第2の実施形態で上述した方法により、未確認人物の挙動が特定の挙動に該当するか否か判断する。特定の挙動は、重点検査が必要とされる行為である。特定の挙動には、例えば、監視者が監視対象の人物を見たときに監視対象の人物が目線を逸らす行動、監視対象の人物が監視者から離れる行動、監視対象の人物が監視者と一定の距離を保つ行動等が含まれる。未確認人物の挙動が特定の挙動に該当する場合、検査種類決定部213は、未確認人物に対する検査として重点検査を決定する。
 未確認人物の検査履歴に基づいて未確認人物に対する検査の種類を決定する場合、検査種類決定部213は、監視対象の人物の検査履歴が登録されたデータベースを参照して、検査の種類を決定する。例えば、過去に監視対象の人物に対して重点検査が行われていた場合、検査種類決定部213は、当該未確認人物に対する検査として重点検査を決定する。一方、過去に監視対象の人物に対して簡易検査が行われていた場合、検査種類決定部213は、当該未確認人物に対する検査として簡易検査を決定することができる。
 未確認人物の挙動及び検査履歴の双方に基づいて未確認人物に対する検査の種類を決定する場合、検査種類決定部213は、未確認人物の挙動が特定の挙動に該当するか否か判断すると共に、監視対象の人物の検査履歴が登録されたデータベースを参照して、検査の種類を決定する。未確認人物の挙動が特定の挙動に該当する場合、検査種類決定部213は、未確認人物に対する検査として重点検査を決定する。また、過去に監視対象の人物に対して重点検査が行われていた場合、検査種類決定部213は、当該未確認人物に対する検査として重点検査を決定する。一方、未確認人物の挙動が特定の挙動に該当せず、かつ、過去に監視対象の人物に対して簡易検査が行われていた場合、検査種類決定部213は、当該未確認人物に対する検査として簡易検査を決定することができる。
 画像処理部208は、検査種類決定部213によって決定された検査の種類を示す第4の通知画像を生成する。図25は、第4の通知画像110の一例を示す図である。第4の通知画像110は、GUIオブジェクト111,112,113に関連付けられた監視対象の人物に対して簡易検査が必要である旨を表す。また、第4の通知画像110は、GUIオブジェクト114に関連付けられた監視対象の人物に対して重点検査が必要である旨を表す。
 上述した通り、情報処理装置20の検査種類決定部213は、撮影画像内の人物のうち、監視者による確認が行われていない未確認人物の挙動及び検査履歴の少なくとも一方に基づき、未確認人物に対する検査の種類を決定する。次いで、画像処理部208は、未確認人物毎に決定された検査の種類を示す第4の通知画像を生成する。装着型監視装置10の表示制御部103は、透過型表示装置14に第4の通知画像を表示させる。また、非装着型監視装置30の表示制御部301は、非装着型監視装置30が制御可能な表示装置に第4の通知画像を表示させる。これにより、監視者は、未確認人物に対する検査の種類を把握することができる。
 誘導完了検出部214は、監視対象の人物が検査場所に誘導されたか否か判定するプログラムである。誘導完了検出部214は、装着型監視装置10から、監視対象の人物が検査場所に誘導された旨を示す誘導済み情報を検出すると、監視対象の人物が検査場所に誘導されたと判定する。本実施形態では、装着型監視装置10の装着者である監視者が、装着型監視装置10に対し、監視対象の人物を検査場所に誘導した旨の入力を行う。この入力は、上述した振動や押下ボタン、音声等の種々の方法によって行うことができる。
 図26は、第4の実施形態に係る監視システム1で実行される処理の一例を示すシーケンス図である。図26の処理は、装着型監視装置10に対して、監視対象の人物が検査場所に誘導された旨の入力がされる場合の処理である。
 ステップS51では、装着型監視装置10の瞳位置検出部101が、装着者の瞳の位置を検出する。ステップS52では、視点位置特定部102が、検出された瞳の位置に対応する透過型表示装置14の表示面における視点位置を特定する。ステップS53では、表示制御部103が、特定された視点位置を示すGUIオブジェクトを、透過型表示装置14に表示させる。
 ステップS54では、入力検出部104が、監視対象の人物が検査場所に誘導された旨の入力を検出する。ステップS55では、第2の撮影装置16が、透過型表示装置14を介した装着者の視界を表す撮影画像を生成する。この撮影画像は、監視対象の人物が検査場所に誘導された旨の入力が検出されたときの撮影画像に相当する。
 ステップS56では、送信部105が、監視対象の人物が検査場所に誘導された旨を示す誘導済み情報と、ステップS53で特定された視点位置を示す視点位置情報と、ステップS55で生成された撮影画像を情報処理装置20に送信する。この視点位置情報及び撮影画像はそれぞれ、監視対象の人物が検査場所に誘導された旨の入力が検出されたときの人物特定情報及び撮影画像に相当する。
 ステップS57で情報処理装置20の誘導完了検出部214は、装着型監視装置10から誘導済み情報を検出すると、監視対象の人物が検査場所に誘導されたと判定する。ステップS58では、第2の人物特定部202が、装着型監視装置10から誘導済み情報と共に受信した撮影画像内の人物の中から、誘導済み情報と共に受信した人物特定情報によって識別される人物、すなわち、検査場所に誘導された人物を特定する。ステップS59では、特徴量登録部204は、特定された人物の特徴量を誘導済人物データベースに登録する。誘導済人物データベースは、検査場所に誘導された種々の人物の特徴量が登録されるデータベースである。誘導済人物データベースは、記憶装置23の他、情報処理装置20がアクセス可能な他の記憶装置に構築することができる。
 図27は、第4の実施形態に係る監視システム1で実行される処理の他の例を示すシーケンス図である。図27の処理は、装着型監視装置10に対して、監視対象の人物が検査場所に誘導された旨の入力がされない場合の処理である。
 ステップS70では、装着型監視装置10の第2の撮影装置16が、撮影画像を生成する。ステップS71では、送信部105が、撮影画像を情報処理装置20に送信する。
 情報処理装置20は、装着型監視装置10から撮影画像を受信すると、ステップS72で第1の人物特定部201が、撮影画像内の人物を特定する。ステップS73では、特徴量算出部203が、特定された人物の特徴量を算出する。ステップS74では、特徴量照合部207が、算出された特徴量と、誘導済人物データベースに登録された特徴量とを照合する。ステップS75では、画像処理部208は、特徴量が一致した人物が誘導された旨を示す第5の通知画像を生成する。ステップS76では、送信部209が、当該撮影画像を送信した装着型監視装置10に第5の通知画像を送信する。装着型監視装置10は、第5の通知画像を受信すると、ステップS77で表示制御部103が、第5の通知画像を透過型表示装置14に表示させる。
 図28は、第5の通知画像120の一例を示す図である。第5の通知画像120は、GUIオブジェクト121に関連付けられた監視対象の人物が検査場所に誘導された旨を表す。
 上述した通り、情報処理装置20は、検査場所に誘導された人物の特徴量が登録された誘導済み人物データベースをさらに含む。情報処理装置20の特徴量照合部207は、特徴量算出部203によって算出された撮影画像内の人物の特徴量と、誘導済み人物データベースに登録された特徴量とを照合する。画像処理部208は、監視対象の人物毎に監視対象の人物が誘導された旨を示す第5の通知画像を生成する。装着型監視装置10の表示制御部103は、第5の通知画像を透過型表示装置14に表示させる。
 これにより、装着型監視装置10を装着した監視者は、監視対象の人物が誘導されたことを把握することができる。その結果、監視者が、既に誘導された監視対象の人物を重複して誘導するのを回避することができる。
 上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disk(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。
 本開示は、上述した実施形態に限られたものではなく、本開示の趣旨を逸脱しない範囲で適宜変更することが可能である。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
 (付記1)
 1以上の監視対象の人物が存在する監視対象の場所を撮影して撮影画像を生成する撮影装置と、
 前記撮影画像を処理する情報処理装置と、
 前記監視対象の人物を監視するための1以上の監視装置と
 を含み、
 前記情報処理装置は、
 監視者による確認が行われた人物の特徴量が登録された確認済人物データベースと、
 前記撮影画像内の人物を特定する第1の人物特定手段と、
 前記第1の人物特定手段によって特定された人物の特徴量を算出する特徴量算出手段と、
 前記特徴量算出手段によって算出された特徴量と、前記確認済人物データベースに登録された特徴量とを照合する特徴量照合手段と、
 前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成する画像処理手段とを含み、
 前記監視装置は、
 前記第1の通知画像を表示装置に表示させる表示制御手段を含む、
 監視システム。
 (付記2)
 前記監視装置は、前記監視者が装着する装着型監視装置を含み、
 前記装着型監視装置は、前記監視者の眼前に配置される透過型の表示装置を備えており、
 前記表示制御手段は、前記第1の通知画像を前記透過型の表示装置に表示させる、付記1に記載の監視システム。
 (付記3)
 前記監視装置は、
 前記監視者による確認が行われた人物を特定するための人物特定情報を前記情報処理装置に送信する送信手段を含み、
 前記情報処理装置は、
 前記人物特定情報によって識別される人物が含まれた前記撮影画像内の人物の中から、前記人物特定情報によって識別される人物を特定する第2の人物特定手段と、
 前記第2の人物特定手段によって特定された人物の特徴量を前記確認済人物データベースに登録する特徴量登録手段とを含む、付記1又は2に記載の監視システム。
 (付記4)
 前記第1の通知画像には、前記監視者による確認が行われた人物に対する、前記監視者とは別の監視者による確認が必要である旨を示す情報が表示される、付記1又は2に記載の監視システム。
 (付記5)
 前記第1の通知画像には、前記監視者による確認が行われた人物に対する再確認が必要である旨を示す情報が表示される、付記1又は2に記載の監視システム。
 (付記6)
 前記第1の通知画像には、前記監視者による確認が行われた人物に対する継続確認が必要である旨を示す情報が表示される、付記1又は2に記載の監視システム。
 (付記7)
 前記情報処理装置は、
 前記撮影画像内の人物のうち、前記監視者による確認が行われていない未確認人物の渡航履歴及び挙動の少なくとも一方に基づき、前記未確認人物に対する前記監視者による確認の優先度を算出する優先度算出手段を含み、
 前記情報処理装置の前記画像処理手段は、前記優先度算出手段に算出された前記優先度を示す第2の通知画像を生成し、
 前記監視装置の前記表示制御手段は、前記第2の通知画像を表示装置に表示させる、付記3に記載の監視システム。
 (付記8)
 前記情報処理装置は、
 前記撮影画像内の人物のうち、前記監視者による確認が行われていない未確認人物の位置を特定する第3の人物特定手段と、
 前記第3の人物特定手段によって特定された前記未確認人物の位置と、前記撮影画像を提供した装着型監視装置の装着者である監視者の位置に基づき、前記監視者を基準とする前記未確認人物が存在する方向を特定する方向特定手段を含み、
 前記情報処理装置の前記画像処理手段は、前記方向特定手段によって特定された前記未確認人物が存在する方向を示す第3の通知画像を生成し、
 前記監視装置の前記表示制御手段は、前記第3の通知画像を表示装置に表示させる、付記3に記載の監視システム。
 (付記9)
 前記第3の通知画像には、前記未確認人物が存在する旨を示す情報が表示される、付記8に記載の監視システム。
 (付記10)
 前記第3の人物特定手段はさらに、前記撮影画像内の未確認人物の人数を特定し、
 前記画像処理手段は、特定された前記未確認人物が存在する方向及び未確認人物の人数を示す第3の通知画像を生成し、
 前記監視装置の前記表示制御手段は、前記未確認人物が存在する方向及び未確認人物の人数を示す前記第3の通知画像を前記表示装置に表示させる、付記9に記載の監視システム。
 (付記11)
 前記情報処理装置は、
 前記撮影画像内の人物のうち、前記監視者による確認が行われていない未確認人物の挙動及び検査履歴の少なくとも一方に基づき、前記未確認人物に対する検査の種類を決定する検査種類決定手段を含み、
 前記情報処理装置の前記画像処理手段は、前記未確認人物毎に決定された前記検査の種類を示す第4の通知画像を生成し、
 前記監視装置の前記表示制御手段は、前記第4の通知画像を表示装置に表示させる、付記3に記載の監視システム。
 (付記12)
 前記情報処理装置は、検査場所に誘導された人物の特徴量が登録された誘導済み人物データベースをさらに含み、
 前記特徴量照合手段は、前記特徴量算出手段によって算出された前記撮影画像内の人物の特徴量と、前記誘導済み人物データベースに登録された特徴量とを照合し、
 前記画像処理手段は、前記監視対象の人物毎に前記監視対象の人物が誘導された旨を示す第5の通知画像を生成し、
 前記監視装置の前記表示制御手段は、前記第5の通知画像を表示装置に表示させる、付記3に記載の監視システム。
 (付記13)
 1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定する第1の人物特定手段と、
 前記第1の人物特定手段によって特定された人物の特徴量を算出する特徴量算出手段と、
 前記特徴量算出手段によって算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合する特徴量照合手段と、
 前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成する画像処理手段と、
 前記第1の通知画像を送信して、前記第1の通知画像を表示装置に表示させる送信手段と
 を含む、情報処理装置。
 (付記14)
 前記監視者による確認が行われた人物を特定するための人物特定情報によって識別される人物が含まれた前記撮影画像内の人物の中から、前記人物特定情報によって識別される人物を特定する第2の人物特定手段と、
 前記第2の人物特定手段によって特定された人物の特徴量を前記確認済人物データベースに登録する特徴量登録手段とを含む、付記13に記載の情報処理装置。
 (付記15)
 監視対象の場所を撮影して生成された撮影画像内の1以上の監視対象の人物のうち、監視者による確認が行われた人物の特徴量と一致する特徴量を有する人物に対して、前記監視者による確認が行われた旨を示す通知画像を、表示装置に表示させる表示制御手段を備える、監視装置。
 (付記16)
 コンピュータが、
 1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定し、
 特定された人物の特徴量を算出し、
 算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合し、
 前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成し、
 前記第1の通知画像を送信して、前記第1の通知画像を表示装置に表示させる、
 方法。
 (付記17)
 コンピュータに対し、
 1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定し、
 特定された人物の特徴量を算出するステップと、
 算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合するステップと、
 前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成するステップと、
 前記第1の通知画像を送信して、前記第1の通知画像を表示装置に表示させるステップと
 を実行させるプログラムが記録された非一時的なコンピュータ記録媒体。
1   監視システム
10  装着型監視装置
11  プロセッサ
12  通信インタフェース
13  記憶装置
14  透過型表示装置
15  第1の撮影装置
16  第2の撮影装置
20  情報処理装置
21  プロセッサ
22  通信インタフェース
23  記憶装置
30  非装着型監視装置
31  プロセッサ
32  通信インタフェース
33  記憶装置
40  据置型撮影装置
50  移動型ロボット
51  撮影装置
60  ネットワーク
70  第1の通知画像
71  監視対象の人物
100 プログラム
101 瞳位置検出部
102 視点位置特定部
103 表示制御部
104 入力検出部
105 送信部
200 プログラム
201 第1の人物特定部
202 第2の人物特定部
203 特徴量算出部
204 特徴量登録部
205 属性情報生成部
206 属性情報登録部
207 特徴量照合部
208 画像処理部
209 送信部
210 優先度算出部
211 第3の人物特定部
212 方向特定部
213 検査種類決定部
214 誘導完了検出部
230 確認済人物データベース
300 プログラム
301 表示制御部
302 入力検出部
303 人物特定情報生成部
304 送信部

Claims (17)

  1.  1以上の監視対象の人物が存在する監視対象の場所を撮影して撮影画像を生成する撮影装置と、
     前記撮影画像を処理する情報処理装置と、
     前記監視対象の人物を監視するための1以上の監視装置と
     を含み、
     前記情報処理装置は、
     監視者による確認が行われた人物の特徴量が登録された確認済人物データベースと、
     前記撮影画像内の人物を特定する第1の人物特定手段と、
     前記第1の人物特定手段によって特定された人物の特徴量を算出する特徴量算出手段と、
     前記特徴量算出手段によって算出された特徴量と、前記確認済人物データベースに登録された特徴量とを照合する特徴量照合手段と、
     前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成する画像処理手段とを含み、
     前記監視装置は、
     前記第1の通知画像を表示装置に表示させる表示制御手段を含む、
     監視システム。
  2.  前記監視装置は、前記監視者が装着する装着型監視装置を含み、
     前記装着型監視装置は、前記監視者の眼前に配置される透過型の表示装置を備えており、
     前記表示制御手段は、前記第1の通知画像を前記透過型の表示装置に表示させる、請求項1に記載の監視システム。
  3.  前記監視装置は、
     前記監視者による確認が行われた人物を特定するための人物特定情報を前記情報処理装置に送信する送信手段を含み、
     前記情報処理装置は、
     前記人物特定情報によって識別される人物が含まれた前記撮影画像内の人物の中から、前記人物特定情報によって識別される人物を特定する第2の人物特定手段と、
     前記第2の人物特定手段によって特定された人物の特徴量を前記確認済人物データベースに登録する特徴量登録手段とを含む、請求項1又は2に記載の監視システム。
  4.  前記第1の通知画像には、前記監視者による確認が行われた人物に対する、前記監視者とは別の監視者による確認が必要である旨を示す情報が表示される、請求項1又は2に記載の監視システム。
  5.  前記第1の通知画像には、前記監視者による確認が行われた人物に対する再確認が必要である旨を示す情報が表示される、請求項1又は2に記載の監視システム。
  6.  前記第1の通知画像には、前記監視者による確認が行われた人物に対する継続確認が必要である旨を示す情報が表示される、請求項1又は2に記載の監視システム。
  7.  前記情報処理装置は、
     前記撮影画像内の人物のうち、前記監視者による確認が行われていない未確認人物の渡航履歴及び挙動の少なくとも一方に基づき、前記未確認人物に対する前記監視者による確認の優先度を算出する優先度算出手段を含み、
     前記情報処理装置の前記画像処理手段は、前記優先度算出手段によって算出された前記優先度を示す第2の通知画像を生成し、
     前記監視装置の前記表示制御手段は、前記第2の通知画像を表示装置に表示させる、請求項3に記載の監視システム。
  8.  前記情報処理装置は、
     前記撮影画像内の人物のうち、前記監視者による確認が行われていない未確認人物の位置を特定する第3の人物特定手段と、
     前記第3の人物特定手段によって特定された前記未確認人物の位置と、前記撮影画像を提供した装着型監視装置の装着者である監視者の位置に基づき、前記監視者を基準とする前記未確認人物が存在する方向を特定する方向特定手段を含み、
     前記情報処理装置の前記画像処理手段は、前記方向特定手段によって特定された前記未確認人物が存在する方向を示す第3の通知画像を生成し、
     前記装着型監視装置の前記表示制御手段は、前記第3の通知画像を表示装置に表示させる、請求項3に記載の監視システム。
  9.  前記第3の通知画像には、前記未確認人物が存在する旨を示す情報が表示される、請求項8に記載の監視システム。
  10.  前記第3の人物特定手段はさらに、前記撮影画像内の未確認人物の人数を特定し、
     前記画像処理手段は、前記第3の人物特定手段によって特定された前記未確認人物が存在する方向及び未確認人物の人数を示す第3の通知画像を生成し、
     前記装着型監視装置の前記表示制御手段は、前記未確認人物が存在する方向及び未確認人物の人数を示す前記第3の通知画像を前記表示装置に表示させる、請求項9に記載の監視システム。
  11.  前記情報処理装置は、
     前記撮影画像内の人物のうち、前記監視者による確認が行われていない未確認人物の挙動及び検査履歴の少なくとも一方に基づき、前記未確認人物に対する検査の種類を決定する検査種類決定手段を含み、
     前記情報処理装置の前記画像処理手段は、前記未確認人物毎に決定された前記検査の種類を示す第4の通知画像を生成し、
     前記監視装置の前記表示制御手段は、前記第4の通知画像を表示装置に表示させる、請求項3に記載の監視システム。
  12.  前記情報処理装置は、検査場所に誘導された人物の特徴量が登録された誘導済み人物データベースをさらに含み、
     前記特徴量照合手段は、前記特徴量算出手段によって算出された前記撮影画像内の人物の特徴量と、前記誘導済み人物データベースに登録された特徴量とを照合し、
     前記画像処理手段は、前記監視対象の人物毎に前記監視対象の人物が誘導された旨を示す第5の通知画像を生成し、
     前記監視装置の前記表示制御手段は、前記第5の通知画像を表示装置に表示させる、請求項3に記載の監視システム。
  13.  1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定する第1の人物特定手段と、
     前記第1の人物特定手段によって特定された人物の特徴量を算出する特徴量算出手段と、
     前記特徴量算出手段によって算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合する特徴量照合手段と、
     前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成する画像処理手段と、
     前記第1の通知画像を送信して、前記第1の通知画像を表示装置に表示させる送信手段と
     を含む、情報処理装置。
  14.  前記監視者による確認が行われた人物を特定するための人物特定情報によって識別される人物が含まれた前記撮影画像内の人物の中から、前記人物特定情報によって識別される人物を特定する第2の人物特定手段と、
     前記第2の人物特定手段によって特定された人物の特徴量を前記確認済人物データベースに登録する特徴量登録手段とを含む、請求項13に記載の情報処理装置。
  15.  監視対象の場所を撮影して生成された撮影画像内の1以上の監視対象の人物のうち、監視者による確認が行われた人物の特徴量と一致する特徴量を有する人物に対して、前記監視者による確認が行われた旨を示す通知画像を、表示装置に表示させる表示制御手段を備える、監視装置。
  16.  コンピュータが、
     1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定し、
     特定された人物の特徴量を算出し、
     算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合し、
     前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成し、
     前記第1の通知画像を送信して、前記第1の通知画像を表示装置に表示させる、
     方法。
  17.  コンピュータに対し、
     1以上の監視対象の人物が存在する監視対象の場所の撮影画像内の人物を特定し、
     特定された人物の特徴量を算出するステップと、
     算出された特徴量と、監視者による確認が行われた人物の特徴量が登録された確認済人物データベースに登録された特徴量とを照合するステップと、
     前記特徴量が一致した人物に対する前記監視者による確認が行われた旨を示す第1の通知画像を生成するステップと、
     前記第1の通知画像を送信して、前記第1の通知画像を表示装置に表示させるステップと
     を実行させるプログラムが記録された非一時的なコンピュータ記録媒体。
PCT/JP2022/018160 2022-04-19 2022-04-19 監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体 WO2023203637A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018160 WO2023203637A1 (ja) 2022-04-19 2022-04-19 監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018160 WO2023203637A1 (ja) 2022-04-19 2022-04-19 監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体

Publications (1)

Publication Number Publication Date
WO2023203637A1 true WO2023203637A1 (ja) 2023-10-26

Family

ID=88419430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018160 WO2023203637A1 (ja) 2022-04-19 2022-04-19 監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体

Country Status (1)

Country Link
WO (1) WO2023203637A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229465A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 監視装置、監視方法、監視用プログラム
JP2007058314A (ja) * 2005-08-22 2007-03-08 Adc Technology Kk 監視システム
JP2016012209A (ja) * 2014-06-27 2016-01-21 住友電工システムソリューション株式会社 人物監視装置、人物監視システム、人物監視方法及びコンピュータプログラム
JP2016181174A (ja) * 2015-03-24 2016-10-13 トヨタホーム株式会社 地域監視システム
JP2019153920A (ja) * 2018-03-02 2019-09-12 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229465A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 監視装置、監視方法、監視用プログラム
JP2007058314A (ja) * 2005-08-22 2007-03-08 Adc Technology Kk 監視システム
JP2016012209A (ja) * 2014-06-27 2016-01-21 住友電工システムソリューション株式会社 人物監視装置、人物監視システム、人物監視方法及びコンピュータプログラム
JP2016181174A (ja) * 2015-03-24 2016-10-13 トヨタホーム株式会社 地域監視システム
JP2019153920A (ja) * 2018-03-02 2019-09-12 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラム

Similar Documents

Publication Publication Date Title
CN110209952B (zh) 信息推荐方法、装置、设备及存储介质
CN104137118B (zh) 视频中的增强的脸部识别
JP5962916B2 (ja) 映像監視システム
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
US20230222934A1 (en) Systems and methods for dynamic monitoring of test taking
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
US11915519B2 (en) Information processing system, method for managing object to be authenticated, and program
JP6157170B2 (ja) 監視支援システム
JP2015002477A (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2013101524A (ja) 注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体
JP2015015031A (ja) 広告効果測定サーバ、広告効果測定システム、プログラム
JP2012079340A (ja) 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム
WO2023203637A1 (ja) 監視システム、情報処理装置、監視装置、方法及び非一時的なコンピュータ記録媒体
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
WO2017070210A1 (en) System and method for automated sensing of emotion based on facial expression analysis
JP2008225801A (ja) 不審者検知システム及び方法
US20230135997A1 (en) Ai monitoring and processing system
JP6941458B2 (ja) 監視システム
JP2016165157A (ja) 映像監視システム
KR102484198B1 (ko) 이상 이벤트 탐지 방법, 장치 및 시스템
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム
US20190167158A1 (en) Information processing apparatus
JP2018181339A (ja) システム、情報処理方法及びプログラム
JP6330638B2 (ja) トレーニング支援装置およびプログラム
JP7433604B1 (ja) 注意喚起システム、及び注意喚起装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22938440

Country of ref document: EP

Kind code of ref document: A1