WO2021152736A1 - 監視システム、監視装置、監視方法、およびプログラム - Google Patents

監視システム、監視装置、監視方法、およびプログラム Download PDF

Info

Publication number
WO2021152736A1
WO2021152736A1 PCT/JP2020/003213 JP2020003213W WO2021152736A1 WO 2021152736 A1 WO2021152736 A1 WO 2021152736A1 JP 2020003213 W JP2020003213 W JP 2020003213W WO 2021152736 A1 WO2021152736 A1 WO 2021152736A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
monitoring
monitoring device
feature amount
image
Prior art date
Application number
PCT/JP2020/003213
Other languages
English (en)
French (fr)
Inventor
大輝 山崎
龍司 若草
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021573696A priority Critical patent/JP7428191B2/ja
Priority to PCT/JP2020/003213 priority patent/WO2021152736A1/ja
Priority to US17/795,311 priority patent/US20230050235A1/en
Publication of WO2021152736A1 publication Critical patent/WO2021152736A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Definitions

  • the present invention relates to a monitoring system, a monitoring device, a monitoring method, and a program.
  • Patent Document 1 describes a system for monitoring a plant site.
  • GPS Global Positioning System
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to reduce the risk of a person being harmed by another person.
  • the first aspect concerns the surveillance system.
  • the monitoring system related to the first aspect is At least one camera that captures the person in the area to be watched over, Image processing equipment and With a monitoring device,
  • the monitoring device is A feature amount storage means that associates and stores the feature amount of the person to be watched over,
  • a detection means for detecting that a person who is not the monitoring target approaches the person who is the monitoring target within a reference distance by causing the image processing device to process an image captured by the camera using the feature amount. It has an output means that outputs a predetermined output by using the detection result of the detection means.
  • the second aspect relates to the monitoring device.
  • the monitoring device related to the second aspect is A feature amount storage means for storing the feature amount of the person to be watched over, By processing the captured image using the feature amount, a detection means for detecting that a person who is not the monitoring target has approached the watching target person within a reference distance, and a detection means. It has an output means that outputs a predetermined output by using the detection result of the detection means.
  • the third aspect relates to monitoring methods performed by at least one computer.
  • the monitoring method related to the third aspect is The monitoring device
  • the feature amount of the person to be watched is associated and stored in the feature amount storage means, By processing the captured image using the feature amount, it is detected that the person who is not the watching target has approached the watching target person within the reference distance. It is included that a predetermined output is performed using the detected result.
  • this invention may be a program that causes at least one computer to execute the method of the third aspect, or a recording medium that can be read by a computer that records such a program. You may.
  • This recording medium includes a non-temporary tangible medium.
  • This computer program contains computer program code that causes the computer to perform its monitoring method on a monitoring device when executed by the computer.
  • the various components of the present invention do not necessarily have to be independent of each other, and a plurality of components are formed as one member, and one component is formed of a plurality of members. It may be that a certain component is a part of another component, a part of a certain component overlaps with a part of another component, and the like.
  • the order of description does not limit the order in which the plurality of procedures are executed. Therefore, when implementing the method and computer program of the present invention, the order of the plurality of procedures can be changed within a range that does not hinder the contents.
  • the method of the present invention and the plurality of procedures of the computer program are not limited to being executed at different timings. Therefore, another procedure may occur during the execution of a certain procedure, a part or all of the execution timing of the certain procedure and the execution timing of the other procedure may overlap, and the like.
  • the risk of a person being harmed by another person can be reduced.
  • FIG. 1 It is a figure which shows typically the outline of the monitoring system which concerns on embodiment. It is a functional block diagram which shows the logical configuration example of the monitoring apparatus which concerns on embodiment. It is a block diagram which illustrates the hardware configuration of the computer which realizes each apparatus of the monitoring system which concerns on embodiment. It is a flowchart which shows the operation example of the monitoring apparatus of embodiment. It is a figure which shows the data structure example of the registration information. It is a figure which shows typically the configuration example of the monitoring system which concerns on embodiment. It is a functional block diagram which shows the logical configuration example of the monitoring apparatus which concerns on embodiment. It is a figure which shows an example of the suspicious person notification screen. It is a flowchart which shows an example of the operation of the monitoring apparatus which concerns on embodiment.
  • acquisition means that the own device retrieves data or information stored in another device or storage medium (active acquisition), and is output to the own device from the other device. Includes at least one of entering data or information (passive acquisition).
  • active acquisition include making a request or inquiry to another device and receiving the reply, and accessing and reading another device or storage medium.
  • passive acquisition may be receiving information to be delivered (or transmitted, push notification, etc.).
  • acquisition may be to select and acquire the received data or information, or to select and receive the delivered data or information.
  • FIG. 1 is a diagram schematically showing an outline of the monitoring system 1 according to the embodiment.
  • the surveillance system 1 processes an image captured by a surveillance camera 5 installed in the city, and a person 30 who does not belong to the group 20 approaches a person 22 who belongs to the group 20 which is registered in advance. If so, the user terminal 10 of the person 22 in the group 20 is notified of this.
  • the observer of the monitoring center watches over the condition of Group 20 and the city.
  • the person 22 to be watched over does not have to belong to the group 20, and may be an individual. In this case, it is monitored that a person other than the person to be watched approaches the person to be watched.
  • the shooting location to be watched over is on the streets such as passages and roads, in open spaces, etc., but it may also include the inside of the facility.
  • the shooting location is, for example, a place where an unspecified number of people gather. That is, the monitoring system 1 notifies the person 22 of the group 20 that a person 30 (a stranger) who does not belong to the group 20 is approaching to call attention, or the monitoring center also watches over the person 22. , It can reduce the risk of crimes for users and improve the security of the city.
  • the shooting location may be a designated location. For example, it may be detected that a person such as a stalker approaches the person to be watched over without being noticed. That is, the shooting location may be a location including the area around the station used by the person to be watched over, the commuting route, the shopping district, the area around the house, and the like.
  • the monitoring system 1 includes a monitoring device 100, a feature amount storage device 200, an image processing device 210, a user terminal 10, and at least one surveillance camera 5.
  • the surveillance camera 5 may be specialized for the surveillance system 1, or may be, for example, a surveillance camera 5 that has been installed in the past.
  • the surveillance camera 5 includes an image sensor such as a lens and a CCD (Charge Coupled Device) image sensor.
  • the surveillance camera 5 may include a mechanism that follows the movement of a person entering the angle of view to control the orientation of the camera body and the lens, zoom control, focus, and the like.
  • the image generated by the surveillance camera 5 is captured in real time and transmitted to the surveillance device 100.
  • the image transmitted to the monitoring device 100 does not have to be directly transmitted from the monitoring camera 5, and may be an image delayed by a predetermined time.
  • the image captured by the surveillance camera 5 may be temporarily stored in another storage device, and the surveillance device 100 may read the image from the storage device sequentially or at predetermined intervals.
  • the image transmitted to the monitoring device 100 is preferably a moving image, but may be a frame image at predetermined intervals or a still image.
  • the connection method between the surveillance camera 5 and the surveillance device 100 may be wireless or wired. In the case of wireless connection, it is assumed that the surveillance camera 5 and the surveillance device 100 each have a wireless communication function.
  • the surveillance camera 5 may be a network camera such as an IP (Internet Protocol) camera.
  • FIG. 2 is a functional block diagram showing a logical configuration example of the monitoring device 100 of FIG.
  • the monitoring device 100 includes a detection unit 102, an output unit 104, and a feature amount storage device 200.
  • the feature amount storage device 200 stores the feature amount of the person to be watched in association with each other.
  • the detection unit 102 detects that the person 30 who is not the object to be watched approaches the person 22 to be watched within the reference distance by processing the captured image using the feature amount. That is, the detection unit 102 determines that the person whose feature amount is not stored in the feature amount storage device 200 is a person other than the watching target (person 30 who is not the watching target).
  • the output unit 104 outputs a predetermined value by using the detection result of the detection unit 102.
  • the feature amount storage device 200 may store the feature amounts of people belonging to the same group 20 in association with each other.
  • the feature amounts of people belonging to the same group 20 are stored in association with each other.
  • the feature quantity storage device 200 may be a device provided inside the monitoring device 100, a device separate from the monitoring device 100, or a combination thereof.
  • the feature quantity storage device 200 may be a plurality of storage devices.
  • Group 20 is, for example, a group of tour guests who act together.
  • the user of this monitoring system 1 performs user registration in advance and also performs group registration. Each registration information will be described later.
  • FIG. 3 is a block diagram illustrating a hardware configuration of a computer 1000 that realizes the monitoring device 100, the image processing device 210, and the user terminal 10 of the monitoring system 1 shown in FIG.
  • the computer 1000 has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the storage device 1040 is a program that realizes each function of the monitoring device 100 of the monitoring system 1 (for example, detection unit 102, output unit 104, determination unit 106 described later, position information acquisition unit 108, reception unit 110, registration unit 112, etc.).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the storage device 1040 also functions as a storage unit for storing various information used by the monitoring device 100.
  • the feature quantity storage device 200 is included in the monitoring device 100, the storage device 1040 also functions as the feature quantity storage device 200.
  • the program module may be recorded on a recording medium.
  • the recording medium on which the program module is recorded includes a medium that can be used by the non-temporary tangible computer 1000, and the program code that can be read by the computer 1000 (processor 1020) may be embedded in the medium.
  • the input / output interface 1050 is an interface for connecting the computer 1000 and various input / output devices.
  • the network interface 1060 is an interface for connecting the computer 1000 to the communication network 3.
  • the communication network 3 is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method of connecting the network interface 1060 to the communication network 3 may be a wireless connection or a wired connection. However, the network interface 1060 may not be used.
  • the computer 1000 is connected to necessary equipment (for example, a surveillance camera 5, a display (not shown), a speaker (not shown), etc.) via the input / output interface 1050 or the network interface 1060.
  • necessary equipment for example, a surveillance camera 5, a display (not shown), a speaker (not shown), etc.
  • the monitoring system 1 is realized by the combination of the monitoring device 100, the user terminal 10, and the image processing device 210, it is realized by a plurality of computers 1000 constituting each of them.
  • the monitoring device 100 is, for example, a server computer.
  • the user terminal 10 is, for example, a smartphone, a tablet terminal, or the like.
  • the image processing device 210 may be a device separate from the monitoring device 100, a device included inside the monitoring device 100, or a combination thereof.
  • Each component of the monitoring device 100 of the present embodiment of FIG. 2 is realized by an arbitrary combination of hardware and software of the computer 1000 of FIG. And, it is understood by those skilled in the art that there are various modifications of the realization method and the device.
  • the functional block diagram showing the monitoring device 100 of each embodiment shows blocks of logical functional units, not configurations of hardware units.
  • a plurality of system configuration examples for realizing the monitoring device 100 can be considered, and examples are given below, but the present invention is not limited thereto.
  • an application program for using the service provided by the monitoring system 1 is installed and started on the user terminal 10. The user can use the service of the monitoring system 1 by operating the application on the user terminal 10 and accessing the server computer of the monitoring device 100 from the user terminal 10. The monitoring system 1 can be used when the user registers the use of the service of this system in advance, registers the user information, and acquires the authentication information (user ID and password).
  • each function of the monitoring device 100 (for example, the detection unit 102 and the output unit 104) shown in FIG. 2 and the like can be shared between the user terminal 10 and the monitoring device 100 (server device).
  • the user terminal 10 realizes the user interface function of the monitoring device 100
  • the monitoring device 100 (server device) realizes the main functions (for example, the detection unit 102 and the output unit 104).
  • the user terminal 10 starts a predetermined browser and accesses a web page that provides the service of the monitoring system 1 via a communication network 3 such as the Internet.
  • the monitoring system 1 can be used when the user registers the use of the service of this system in advance, registers the user information, and acquires the authentication information (user ID and password).
  • the monitoring device 100 outputs the monitoring status of the user to a web page dedicated to the user and provides information.
  • the computer 1000 may be a server device of a system such as SaaS (Software as a Service) that provides the service of the monitoring device 100.
  • SaaS Software as a Service
  • the user terminal 10 may access the server via a communication network 3 such as the Internet, and the monitoring device 100 may be realized by a program running on the server.
  • FIG. 4 is a flowchart showing an operation example of the monitoring device 100 of the present embodiment.
  • the feature amount storage device 200 stores the feature amounts of people belonging to the same group to be watched in association with each other (step S101).
  • FIG. 5A is a diagram showing an example of the data structure of the user registration information 130. At least the identification information (user ID) that identifies the user and the feature amount are stored in the user registration information 130 in association with each other, and the user's name (or user name) may be associated with the password. ..
  • FIG. 5B is a diagram showing an example of the data structure of the group registration information 132.
  • the group registration information 132 associates the identification information (group ID) of the group 20 with the user IDs of at least two members of the group 20.
  • the group registration information 132 may be stored in association with the feature amounts of at least two members of the group 20.
  • the user registration information 130 and the group registration information 132 of FIG. 5 are stored in the feature amount storage device 200.
  • the feature amount is a facial feature amount.
  • it may be at least one feature quantity such as, for example, iris, vein, pinna, fingerprint, gait, back appearance (height, shoulder width, height, skeleton, etc.).
  • the feature amount of the face extracted from the captured image obtained by the user at the time of registration is associated with the feature amount storage device 200.
  • step S101 is executed as a preparation before starting monitoring. After that, it is not necessary to newly register the feature amount of the watching target person or delete the already registered feature amount of the watching target person.
  • the normal process may be executed after step S101.
  • the processing after step S101 is started, for example, when the user starts the application and then receives a monitoring start instruction from the user.
  • the detection unit 102 processes the captured image acquired from the surveillance camera 5 into the image processing device 210 using the feature amount of the feature amount storage device 200 (feature amount of the user registration information 130 or the group registration information 132). (Step S103). Then, the detection unit 102 detects that the person 30 who does not belong to the same group 20 approaches the person 22 who belongs to the same group 20 within the reference distance (step S105).
  • Step S107 when the output unit 104 detects that the person 30 who does not belong to the same group 20 approaches the person 22 who belongs to the same group 20 within the reference distance (YES in step S105), the output unit 104 outputs a predetermined output. (Step S107). On the other hand, when the person 30 who does not belong to the same group 20 does not approach the person 22 who belongs to the same group 20 within the reference distance (NO in step S105), the person returns to step S103 and continues watching. For example, this process ends by accepting the user's instruction to end the application.
  • the predetermined output is, for example, to output to the user terminal 10 information indicating that the person 22 belonging to the same group 20 has approached within the reference distance. Further, the information may be output to the display (not shown) of the monitoring device 100.
  • step S101 in FIG. 4 for example, when an instruction from the user to start watching is received, this process is started.
  • the detection unit 102 causes the image processing device 210 to recognize all the people in the image acquired from the surveillance camera 5 (step S111).
  • the detection unit 102 measures the distance between each person in the image and another person in the vicinity, and determines whether or not the value is less than the reference value (step S113).
  • a conversion coefficient (ratio) for converting the distance in the image for each shooting range into an actual distance is registered in advance.
  • the detection unit 102 uses this conversion coefficient to convert the distance in the image into an actual distance and compare it with the reference distance.
  • the detection unit 102 converts the reference distance into a scale of the distance in the image by using this conversion coefficient, and compares it with the distance in the shooting range.
  • the reference distance may be set by the user.
  • the reference distance may be set numerically or may be set by an index other than the numerical value (for example, near / standard / far). Furthermore, it may be possible to set it at the level of security. In places where security is poor, the reference distance may be set to a setting level farther than other places, and in places where security is good, the reference distance may be set to a setting level closer than other places. It may be specified by user operation using a GUI (Graphical User Interface) such as a slider on the operation screen on the user terminal 10.
  • GUI Graphic User Interface
  • the detection unit 102 extracts the feature amounts of the facial parts of the two people. Then, the detection unit 102 collates the image processing device 210 with the feature amount of the face image registered in the feature amount storage device 200 (step S115). As a result of the collation, when the feature amount having the similarity equal to or higher than the threshold value is registered in the feature amount storage device 200, the detection unit 102 determines that the feature amount belongs to the group 20 (NO in step S117). Then, the process returns to step S111 and continues watching. On the other hand, when the distance between people is equal to or greater than the standard (NO in step S113), the process returns to step S111 and continues watching.
  • the detection unit 102 determines that the feature amount does not belong to the group 20 (YES in step S117). Then, the process proceeds to step S107 of FIG. 4, and the output unit 104 outputs a predetermined output.
  • this process is started when, for example, an instruction to start watching by the user is received after step S101 in FIG.
  • the detection unit 102 extracts the feature amount of each person's face in the image acquired from the surveillance camera 5, and causes the image processing device 210 to collate the feature amount stored in the feature amount storage device 200. (Step S121).
  • the detection unit 102 determines that the feature amount belongs to the group 20 (NO in step S123). In this case, the process returns to step S121 and continues watching.
  • the detection unit 102 determines that the feature amount does not belong to the group 20 (YES in step S123). In this case, the process proceeds to step S125.
  • the detection unit 102 determines whether or not the distance between the person determined not to belong to the group 20 and the person 22 in the group 20 closest to the person is closer than the reference distance (step S125). ..
  • the distance conversion method may be the same as the method shown in FIG. Then, when the distance is less than the reference (YES in step S125), the process proceeds to step S107 in FIG. 4, and the output unit 104 outputs a predetermined output. If the distance is greater than or equal to the standard, that is, if the distance between the person 30 who does not belong to the group 20 and the person 22 who belongs to the group 20 is less than the standard (NO in step S125), the process returns to step S121 and is watched over. Continue.
  • FIG. 8 is a diagram showing an example of a suspicious person notification screen 300 displayed on a display (not shown) of the user terminal 10 by the output unit 104.
  • the suspicious person notification screen 300 includes a person image display unit 302, an icon display unit 304, and a message display unit 306.
  • the person image display unit 302 displays an image obtained by cutting out a region including the face of the person 30 from the captured image acquired from the surveillance camera 5. An image that calls attention to the user is displayed on the icon display unit 304. This image may be emphasized by animation or the like.
  • the message display unit 306 displays a message telling the user that a person 30 who does not belong to the group 20 is approaching.
  • a message telling the user that a suspicious person is approaching by voice may be output from a speaker (not shown).
  • the application icon mark is displayed on the user terminal 10, the notification is output to the standby screen, and the LED (Light Emitting Diode) is displayed. At least one of blinking lighting display and vibration may be combined. The user may be able to select which output method to use.
  • An image obtained by cutting out an area including the face of the person 30 from the captured image acquired from the surveillance camera 5 may be attached to the e-mail, and the alert occurrence date / time, place, group name, group registrant information, and the like may be included.
  • the display of the monitoring device 100 at least the information of the group 20 subject to the notification and the image of the suspicious person are displayed. Further, the information of the place where the suspicious person is approaching may be displayed from the position information of the surveillance camera 5 that generated the image used for the collation.
  • the detection unit 102 can detect that a person other than the person to be watched approaches the person to be watched within the reference distance by processing the captured image, and the output unit 104 outputs the detection result. can.
  • the group 20 can be notified that a person other than the group 20 has approached. That is, by processing the image captured by the surveillance camera 5, the person to be watched and the person not to be watched, or the person belonging to the group 20 and the person not belonging to the group 20 are distinguished, and the person or group to be watched by another person. It is possible to detect the approach to 20 and notify the watching target person. Therefore, according to the present embodiment, it is possible to reduce the risk of being harmed by a stranger or a person who approaches the person without being noticed.
  • FIG. 9 is a flowchart showing an example of the operation of the monitoring device 100.
  • the flow of the present figure is started after a result of YES in any of the determinations of step S105 in FIG. 4, step S117 in FIG. 6, and step S125 in FIG.
  • the output unit 104 is maintained for a reference time or longer (YES in step S131).
  • a predetermined output is performed (step S107 in FIG. 4). If it is not maintained for the reference time or longer (NO in step S131), the process returns to any one of step S113 in FIG. 4, step S111 in FIG. 6, and step S121 in FIG. 7 to continue watching.
  • the predetermined time may be changed by user operation.
  • the predetermined output by the output unit 104 in step S107 is the same as that of the first embodiment.
  • the predetermined output is not performed, so that the person 30 who is only temporarily nearby Can be prevented from being detected as a suspicious person.
  • the same effect as that of the above embodiment can be obtained, and the accuracy of detecting the approach of a suspicious person can be further improved. That is, it is possible to suppress frequent notifications of the approach of a suspicious person and notify a truly dangerous state, so that it is possible to prevent a decrease in the user's sense of crisis due to frequent notifications.
  • the monitoring system 1 of the present embodiment is the same as that of the above embodiment except that it has a configuration for determining whether or not a person who approaches the person to be watched is included in the predetermined list.
  • FIG. 10 is a functional block diagram showing a logical configuration example of the monitoring system 1.
  • the monitoring system 1 includes the same feature amount storage device 200, the detection unit 102, and the output unit 104 as the monitoring device 100 of the embodiment of FIG. 2, and further includes a determination unit 106.
  • an example combined with the configuration of the first embodiment of FIG. 2 is shown, but it may be combined with at least one of the configurations of the other embodiments within a range that does not cause a contradiction. good.
  • the determination unit 106 determines whether or not a person who approaches the same group 20 within the reference distance is included in a predetermined list (group-specific person list 142 or individual-specific person list 144).
  • FIG. 11 is a diagram showing an example of a data structure of a predetermined list according to the present embodiment.
  • FIG. 11A shows the specific person information 140.
  • the specific person information 140 includes identification information (person ID) of a specific person and a feature amount in association with each other.
  • Predetermined lists can be created by group or by individual.
  • a person who is likely to be involved in a crime or the like for example, a wanted person, an antisocial force related person, a criminal record, a stalker, or the like may be registered.
  • FIG. 11B is a diagram showing an example of the data structure of the group-specific person list 142.
  • FIG. 11C is a diagram showing an example of the data structure of the individual person list 144.
  • the group-specific person list 142 stores the identification information (group ID) of the group 20 in association with the person ID of the person to be monitored.
  • the individual person list 144 stores the person ID of the person to be monitored in association with the user identification information (user ID).
  • a person who wants to be monitored personally such as a stalker, can be specified.
  • These lists may be set by user operation from the user terminal 10 of the user. Multiple lists may be selected, and at least one of the period, date and time, and region for which the list is valid may be specified. In this configuration, when the designated list satisfies the conditions (period, date and time, area, etc.) for which the designated list is valid, the determination unit 106 makes a determination using the list.
  • FIG. 12 is a flowchart showing an operation example of the monitoring system 1. The flow of the present figure is started after a result of YES in any of the determinations of step S105 in FIG. 4, step S117 in FIG. 6, and step S125 in FIG.
  • the determination unit 106 determines whether or not the non-watching person 30 who has approached the watching target group 20 within the reference distance is included in the predetermined list (step S141). When it is determined that the person 30 who has approached the group 20 to be protected within the reference distance is included in the predetermined list (YES in step S141), the output unit 104 further outputs information indicating that fact. (Step S143).
  • FIG. 13 is a diagram showing an example of a warning screen 310 displayed on the display of the user terminal 10.
  • the warning screen 310 includes the same person image display unit 302, icon display unit 304, and message display unit 306 as the suspicious person notification screen 300 of FIG. 8, but the message of the message display unit 306 is different.
  • the message display unit 306 informs the user that a person included in the predetermined list is approaching the group 20, and displays a message calling attention.
  • FIG. 13 shows an example of a message when the predetermined list is a wanted list (“There is a wanted person nearby. Please be careful.” Etc.).
  • the messages displayed for each category can be switched.
  • the category may be, for example, wanted, terrorists, gangsters, criminal records, stalkers, etc., but is not limited to these.
  • the category may be a configuration that is specified in advance by the application and can be selected, or a configuration that can be newly input by the user. If you add a new category, you may be able to select or enter the message to display and set it.
  • step S143 return to any of step S103 of FIG. 4, step S111 of FIG. 6, and step S121 of FIG. 7, and continue watching.
  • step S143 is bypassed and step S103, FIG. Return to either step S111 of step 6 or step S121 of FIG. 7, and continue watching.
  • a specific person to be monitored can be specified and notified by using a list such as by group or individual, by region, for a limited time, and for a limited time. Not only is the approaching person 30 a stranger, but the user can be notified of the operation of a person who is likely to be involved in a crime. According to the present embodiment, the same effect as that of the above-described embodiment can be obtained, and the possibility that the user can take more appropriate actions to protect himself / herself is increased, and the crime damage can be suppressed.
  • the surveillance system 1 of the present embodiment is the same as that of the above embodiment except that it has a configuration of monitoring using a specific surveillance camera 5 among the plurality of surveillance cameras 5. Since the monitoring system 1 and the monitoring device 100 of the present embodiment have the same components as those of the first embodiment, they will be described with reference to FIGS. 1 and 2. However, it may be combined within a range that does not cause a contradiction with at least one of the configurations of the embodiments described later.
  • the surveillance system 1 includes a plurality of surveillance cameras 5.
  • the detection unit 102 causes the image processing device 210 to execute the processing on the captured image of the specific surveillance camera 5 among the plurality of surveillance cameras 5.
  • FIG. 14A is a diagram showing an example of the data structure of the camera information 150.
  • the camera information 150 at least one of the installation location of the surveillance camera 5, for example, the area identification information (area ID), the address, the longitude / latitude information, etc. is associated with the identification information (camera ID) of the surveillance camera 5.
  • the area ID is associated.
  • the area ID is associated with a predetermined area (for example, a dangerous area).
  • the camera ID may be, for example, the IP address of the surveillance camera 5.
  • FIG. 14B is a diagram showing an example of the data structure of the area list 152 by group.
  • FIG. 14C is a diagram showing an example of the data structure of the individual area list 154.
  • the area list 152 for each group stores the identification information (group ID) of the group 20 in association with the camera ID of the surveillance camera 5 used for surveillance.
  • the area list 152 for each group may associate the area ID with the group ID.
  • the area ID it is possible to collectively specify a plurality of surveillance cameras 5 installed in the area indicated by the designated area ID.
  • the area ID and the camera ID may be combined and specified by a logical expression of logical product and logical sum.
  • the individual area list 154 stores the identification information (user ID) of the user in association with the camera ID of the surveillance camera 5 used for surveillance.
  • the area list 152 for each group may associate the area ID with the group ID.
  • the area ID it is possible to collectively specify a plurality of surveillance cameras 5 installed in the area indicated by the designated area ID.
  • the area ID and the camera ID may be combined and specified by a logical expression of logical product and logical sum.
  • the detection unit 102 can perform image processing on the captured image of the surveillance camera 5 installed in a specific area, for example, a dangerous area, and detect a person 30 who does not belong to the group 20 approaching the group 20. ..
  • the detection unit 102 refers to the group-specific area list 152 or the individual-specific area list 154.
  • the surveillance camera 5 to be used for surveillance is specified, and the image processing device 210 is made to execute image processing on the captured image of the identified surveillance camera 5.
  • Other operations are the same as those in the first embodiment.
  • the same effect as that of the above embodiment can be obtained, and further, image processing can be performed on the captured image of the specific surveillance camera 5, that is, a specific area can be monitored. It is possible to focus on monitoring dangerous areas. Since the surveillance camera 5 used for monitoring is specified, the communication capacity for transmitting and receiving captured images and the processing load of the image processing device 210 can be reduced.
  • the monitoring system 1 of the present embodiment is the same as that of the above embodiment except that it has a configuration in which image processing is executed when the position information of the group 20 satisfies the criteria.
  • FIG. 15 is a functional block diagram showing a logical configuration example of the monitoring system 1.
  • the monitoring system 1 includes a feature amount storage device 200, a detection unit 102, and an output unit 104, which are the same as the monitoring device 100 of the embodiment of FIG. 2, and further includes a position information acquisition unit 108.
  • an example combined with the configuration of the first embodiment of FIG. 2 is shown, but it may be combined with at least one of the configurations of the other embodiments within a range that does not cause a contradiction. good.
  • the position information acquisition unit 108 acquires the position information of the group 20.
  • the detection unit 102 causes the image processing device 210 to perform image processing when the position information satisfies the reference.
  • the output unit 104 When the position information satisfies the standard, the output unit 104 further outputs information indicating that fact.
  • the method of acquiring the position information of the group 20 is exemplified below, but is not limited thereto. A plurality of acquisition methods may be combined.
  • the user terminal 10 is a terminal carried by at least one person in the group 20.
  • the current position information acquired by using the GPS (Global Positioning System) function of the user terminal 10 is acquired from the user terminal 10.
  • the information that the user terminal 10 has registered the location with the mobile phone base station is acquired from the base station.
  • a GPS receiver other than the user terminal 10 carried by the user is registered, and the current position information is acquired.
  • Image recognition processing is performed from the image captured by the surveillance camera 5, the person 22 (user) in the group 20 is tracked, and the position is estimated from the installation position of the surveillance camera 5 that is capturing the user.
  • the user terminal 10 may have a function of the position information acquisition unit 108 and a function of determining whether or not the position information satisfies the standard. According to this configuration, it is not necessary to transmit the position information of the user terminal 10 to the server device of the monitoring center, so that the consumption of the communication capacity of the user terminal 10 can be suppressed.
  • the criteria for location information are that the user's location has entered a predetermined area (for example, a dangerous area), or that the user has approached a specific location (for example, the location of a dangerous person) (within a predetermined distance).
  • a predetermined area for example, a dangerous area
  • a specific location for example, the location of a dangerous person
  • FIG. 16 is a flowchart showing an operation example of the monitoring system 1.
  • the flow of FIG. 16A is started after step S101 of FIG.
  • the position information acquisition unit 108 acquires the position information of the group 20 (step S151).
  • the detection unit 102 determines whether or not the position information satisfies the reference (step S153).
  • the process proceeds to any one of step S103 in FIG. 4, step S111 in FIG. 6, and step S121 in FIG. 7 to start watching. If the position information does not satisfy the reference (NO in step S153), the process returns to step S151.
  • step S153 in FIG. 16A when the determination in step S153 in FIG. 16A is YES, the output unit 104 notifies that the position information satisfies the predetermined reference. It may be (step S155). Then, the process may proceed to any one of step S103 of FIG. 4, step S111 of FIG. 6, and step S121 of FIG. 7 to start watching.
  • the output by the output unit 104 can be screen-displayed on at least one of the user terminal 10 of the user of the group 20 and the display of the server device of the monitoring center, for example.
  • FIG. 17 is a diagram showing an example of the entry notification screen 330 displayed on the user terminal 10.
  • the entry notification screen 330 includes an icon display unit 304, a message display unit 306, and a map display unit 332.
  • the icon display unit 304 and the message display unit 306 are the same as the suspicious person notification screen 300 of FIG. 8, but the messages displayed on the message display unit 306 are different.
  • the message display unit 306 displays a message notifying the user that the group 20 has entered the dangerous area and calling attention.
  • the map display unit 332 includes a danger area display unit 334 and a current position mark 336.
  • the danger area display unit 334 the danger area in the map displayed on the map display unit 332 is indicated by a broken line.
  • the broken line is an example, and various display methods such as color change and highlighting can be considered.
  • the current position mark 336 is an image (black circle in the figure) showing the position information of the group 20, and is displayed at the corresponding position on the map.
  • the output unit 104 may display the position information acquired by the position information acquisition unit 108 on the display of the server device of the monitoring center.
  • FIG. 18 is a diagram showing an example of the monitoring screen 320 displayed on the display of the server device of the monitoring center.
  • the monitoring screen 320 includes a map display unit 322, a danger area display unit 323, a current position mark 324, an alert generation information display unit 326, and an approach detection person image display unit 328.
  • the map display unit 322 displays a map of the area including the group 20 to be watched over and the place where the user is.
  • the danger area display unit 323 the danger area in the map displayed on the map display unit 322 is indicated by a broken line.
  • the broken line is an example, and various display methods such as color change and highlighting can be considered.
  • the current position mark 324 is an image (star mark in the figure) showing the position information of the group 20, and is displayed at the corresponding position on the map.
  • the alert generation information display unit 326 displays the alert generation information as one of the predetermined outputs.
  • the alert occurrence date / time, the place, and the name of the group 20 are displayed as the approach information of the suspicious person.
  • the approach detection person image display unit 328 displays an image obtained by cutting out a region including the face of the person 30 from the captured image acquired from the surveillance camera 5.
  • the current position of the person 30 may be displayed on the map of the map display unit 322 by distinguishing it with a mark different from the current position of the person to be watched over.
  • the method of acquiring the position information of the person 30 may be the same as the method (4) of the method of acquiring the position information of the group 20 described above in the fifth embodiment.
  • the position information of the group 20 to be watched over or the user can be acquired, and the image processing can be started when entering a specific area, for example, a dangerous area. Since the processing can be stopped, the processing load of the server device of the monitoring center can be reduced. In addition, since it is possible to notify the users of the group 20 or the server device of the monitoring center that they have entered the dangerous area, it is possible to call attention to the users and the manager of the monitoring center, and it is expected that the crime prevention effect will be improved.
  • the monitoring system 1 of the present embodiment is the same as that of the above embodiment except that it has a configuration for registering a face image of a group 20 or a user to be monitored or a specific monitoring target person.
  • FIG. 19 is a functional block diagram showing a logical configuration example of the monitoring device 100.
  • the monitoring device 100 has the same configuration as at least one of the above embodiments, and further includes a reception unit 110 and a registration unit 112.
  • the reception unit 110 presents a face image of a person 30 (a person whose feature amount is not registered in the feature amount storage device 200) that is not to be watched by the detection unit 102, and determines whether or not to register the face image. Let the operator select and accept the operator's input.
  • the registration unit 112 registers the face image of the person who has accepted the registration of the face image.
  • the operator is a user, a monitor of a monitoring center, an administrator, or the like.
  • FIG. 20 is a diagram showing an example in which a registration button 308 is further provided on the suspicious person notification screen 300 of FIG.
  • the registration screen 340 of FIG. 21 includes a registration candidate image display unit 342, a message display unit 344, a specific person registration button 346, a group registration button 347, and an unregistered button 348.
  • the registration candidate image display unit 342 displays a face image of a person who does not belong to the detected group.
  • the message display unit 344 displays a message asking whether or not to register the person displayed on the registration candidate image display unit 342.
  • the specific person registration button 346 accepts an operation of registering the person displayed on the registration candidate image display unit 342 as a specific person.
  • the screen shifts to a screen for inputting person information (not shown), and after accepting the input, the registration unit 112 extracts the feature amount from the face image of the person and identifies the person in FIG. 11 (a).
  • the person information is not particularly limited, but includes categories to be registered in the list described in the third embodiment and the like.
  • the group registration button 347 accepts an operation of registering a person displayed on the registration candidate image display unit 342 as a member of the group.
  • the screen shifts to a screen for inputting person information (not shown), and after accepting the input, the registration unit 112 extracts the feature amount from the face image of the person and the user in FIG. 5 (a).
  • the unregistered button 348 accepts an instruction not to register the person displayed on the registration candidate image display unit 342.
  • the registration screen 340 is closed. Before closing the registration screen 340, a message asking whether or not the image of the person displayed on the registration candidate image display unit 342 may be discarded may be displayed and confirmed.
  • the registration screen 340 is displayed on the user terminal 10, but it may be displayed on the server device of the monitoring center and the registration process may be performed.
  • a person who is not registered in the feature amount storage device 200 can be further registered as a specific person to be monitored or a member of the group 20.
  • a feature amount storage means for storing the feature amount of the person to be watched over, By processing the captured image using the feature amount, a detection means for detecting that a person who is not the monitoring target has approached the watching target person within a reference distance, and a detection means.
  • a monitoring device including an output means that outputs a predetermined output using the detection result of the detection means.
  • a feature amount storage means that associates and stores the feature amounts of people belonging to the same group, A detection means for detecting that a person who does not belong to the same group approaches a person who belongs to the same group within a reference distance by processing an captured image using the feature amount.
  • a monitoring device including an output means that outputs a predetermined output using the detection result of the detection means. 4. 3. 3. In the monitoring device described in The feature amount storage means stores the feature amount of the person to be watched over and stores the feature amount.
  • the detection means is a monitoring device that detects that a person who is not the watch target has approached the watch target person within a reference distance. 5. 1 to 4.
  • the output means A monitoring device that outputs the predetermined output when a person who is not the monitoring target approaches the watching target person within a reference distance for a reference time or longer. 6. 1. 1. In the monitoring device according to any one of 1 to 5. Further provided with a determination means for determining whether or not a person who approaches the person to be watched within the reference distance is included in the predetermined list. The output means A monitoring device that further outputs information indicating that when it is determined by the determination means that the approaching person is included in the predetermined list. 7. 6. In the monitoring device described in The predetermined list is a monitoring device created for each group or individual. 8. 1. 1. From 7.
  • the detection means is a monitoring device that executes the above processing on an image captured by a specific camera among the plurality of cameras. 9. 1. 1. From 8. In the monitoring device described in any one of Further equipped with a location information acquisition means to acquire the location information of the person to be watched over, The detection means is a monitoring device that executes the above processing when the position information meets the criteria. 10. 9. In the monitoring device described in The output means is a monitoring device that further outputs information indicating that when the position information satisfies the standard. 11. 1. 1. To 10.
  • a monitoring device In the monitoring device described in any one of A reception means that presents the detected face image of a person who is not the monitoring target, allows the operator to select whether or not to register the face image, and accepts the input of the operator.
  • a monitoring device including a registration means for registering the face image of the person who has received the registration of the face image.
  • the monitoring device is A feature amount storage means that associates and stores the feature amount of the person to be watched over, A detection means for detecting that a person who is not the monitoring target approaches the person who is the monitoring target within a reference distance by causing the image processing device to process an image captured by the camera using the feature amount.
  • a monitoring system including an output means that outputs a predetermined output using the detection result of the detection means. 13. 10. In the monitoring system described in The feature amount storage means of the monitoring device stores the feature amounts of people belonging to the same group in association with each other as the monitoring target.
  • the detection means of the monitoring device detects that a person who does not belong to the same group approaches a person who belongs to the same group within a reference distance by processing an captured image using the feature amount.
  • Monitoring system. 14 A feature amount storage means that associates and stores the feature amounts of people belonging to the same group, A detection means for detecting that a person who does not belong to the same group approaches a person who belongs to the same group within a reference distance by processing an captured image using the feature amount.
  • a monitoring device including an output means that outputs a predetermined output using the detection result of the detection means. 15. 14.
  • the feature amount storage means stores the feature amount of the person to be watched over and stores the feature amount.
  • the detection means is a monitoring device that detects that a person who is not the watch target has approached the watch target person within a reference distance. 16. 12. To 15. In the monitoring system described in any one of The output means of the monitoring device is A monitoring system that outputs the predetermined output when a person who is not the monitoring target approaches the watching target person within a reference distance and is maintained for a reference time or longer. 17. 12. From 16. In the monitoring system described in any one of The monitoring device is Further provided with a determination means for determining whether or not a person who approaches the person to be watched within the reference distance is included in the predetermined list. The output means of the monitoring device is A monitoring system that further outputs information indicating that when the determination means of the monitoring device determines that the approaching person is included in the predetermined list. 18. 17.
  • the predetermined list is a monitoring system created for each group or individual. 19. 12. To 18.
  • the detection means of the monitoring device is a monitoring system that executes the above processing on an image captured by a specific camera among the plurality of cameras. 20. 12. From 19.
  • the detection means of the monitoring device is a monitoring system that causes the image processing device to perform the above processing when the position information satisfies a reference. 21. 20.
  • the output means of the monitoring device is a monitoring system that further outputs information indicating that when the position information satisfies the reference.
  • a reception means that presents the detected face image of a person who is not the monitoring target, allows the operator to select whether or not to register the face image, and accepts the input of the operator.
  • a monitoring system including a registration means for registering the face image of the person who has received the registration of the face image.
  • the monitoring device The feature amount of the person to be watched is associated and stored in the feature amount storage means, By processing the captured image using the feature amount, it is detected that the person who is not the watching target has approached the watching target person within the reference distance. A monitoring method in which a predetermined output is performed using the detected result. 24. 23. In the monitoring method described in The monitoring device As the monitoring target, the feature amounts of people belonging to the same group are associated and stored in the feature amount storage means. A monitoring method for detecting that a person who does not belong to the same group approaches a person who belongs to the same group within a reference distance by processing an captured image using the feature amount. 25.
  • the monitoring device The features of people belonging to the same group are associated and stored in the feature storage means, By processing the captured image using the feature amount, it is detected that a person who does not belong to the same group approaches a person who belongs to the same group within a reference distance. A monitoring method in which a predetermined output is performed using the result of the detection. 26. 25. In the monitoring method described in The monitoring device The feature amount of the person to be watched is stored in the feature amount storage means, and the feature amount is stored. A monitoring method for detecting that a person who is not the person to be watched approaches the person to be watched within a reference distance. 27. 23. From 26.
  • a monitoring method in which a person who is not the monitoring target outputs the predetermined output when the state in which the person who is not the monitoring target approaches the person to be monitored within a reference distance is maintained for a reference time or longer. 28. 23. From 27.
  • the predetermined list is a monitoring method created for each group or individual. 30. 23. From 29.
  • the face image of the detected person who is not the monitoring target is presented, the operator is made to select whether or not to register the face image, and the input of the operator is accepted.
  • a procedure for associating the features of people belonging to the same group and storing them in the feature storage means A procedure for detecting that a person who does not belong to the same group approaches a person who belongs to the same group within a reference distance by processing an captured image using the feature amount.
  • Surveillance system 3 Communication network 5 Surveillance camera 10 User terminal 20 Group 22 Person 30 Person 100 Monitoring device 102 Detection unit 104 Output unit 106 Judgment unit 108 Position information acquisition unit 110 Reception unit 112 Registration unit 130 User registration information 132 Group registration information 140 Specific person information 142 Person list by group 144 Person list by individual 150 Camera information 152 Area list by group 154 Area list by individual 200 Feature storage device 210 Image processor 300 Suspicious person notification screen 302 Person image display unit 304 Icon display unit 306 Message display unit 308 Registration button 310 Warning screen 320 Monitoring screen 322 Map display unit 323 Danger area display unit 324 Current position mark 326 Alert generation information display unit 328 Approach detection person image display unit 330 Entry notification screen 332 Map display unit 334 Danger area display Part 336 Current position mark 340 Registration screen 342 Registration candidate image display part 344 Message display part 346 Specific person registration button 347 Group registration button 348 Unregistered button 1000 Computer 1010 Bus 1020 Processor 1030 Memory 1040 Storage device 1050 In

Abstract

監視装置(100)は、同一のグループに属する人の特徴量を関連付けて記憶する特徴量記憶装置(200)と、特徴量を用いて撮像画像を処理することにより、同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出する検出部(102)と、検出部(102)の検出結果を用いて、所定の出力を行う出力部(104)と、を備える。

Description

監視システム、監視装置、監視方法、およびプログラム
 本発明は、監視システム、監視装置、監視方法、およびプログラムに関する。
 近年、様々な場所に監視カメラが設置されている。これにより、危険の抑制が図られている。例えば特許文献1には、プラントの現場を監視するシステムが記載されている。このシステムでは、GPS(Global Positioning System)の電波が届かないプラントの現場において、作業員の位置を監視カメラの画像情報を用いて検知し、危険領域に入ったか否かを監視している。
特開2009-134488号公報
 人が他人から危害を加えられる場合、その他人は被害者が知らない人であることが多い。特に人が生活圏外に移動した場合、見知らぬ他人から危害が加えられる可能性が出てくる。また、生活圏内であっても、ストーカー等が、本人に気が付かれないように接近して危害を加えられる可能性もある。
 本発明は上記事情に鑑みてなされたものであり、その目的とするところは、人が他人から危害を加えられるリスクを低減することにある。
 本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
 第一の側面は、監視システムに関する。
 第一の側面に係る監視システムは、
 見守り対象の場所に居る人を撮像する少なくとも一つのカメラと、
 画像処理装置と、
 監視装置と、を有し、
 前記監視装置は、
 見守り対象の人の特徴量を関連付けて記憶する特徴量記憶手段と、
 前記特徴量を用いて前記カメラの撮像画像を前記画像処理装置に処理させることにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
 前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を有する。
 第二の側面は、監視装置に関する。
 第二の側面に係る監視装置は、
 見守り対象の人の特徴量を記憶する特徴量記憶手段と、
 前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
 前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を有する。
 第三の側面は、少なくとも1つのコンピュータにより実行される監視方法に関する。
 第三の側面に係る監視方法は、
 監視装置が、
 見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶させ、
 前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出し、
 前記検出した結果を用いて、所定の出力を行う、ことを含む。
 なお、本発明の他の側面としては、上記第三の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
 このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、監視装置上で、その監視方法を実施させるコンピュータプログラムコードを含む。
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
 また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
 また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
 さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
 上記各側面によれば、人が他人から危害を加えられるリスクを低減することができる。
実施形態に係る監視システムの概要を模式的に示す図である。 実施形態に係る監視装置の論理的な構成例を示す機能ブロック図である。 実施形態に係る監視システムの各装置を実現するコンピュータのハードウェア構成を例示するブロック図である。 実施形態の監視装置の動作例を示すフローチャートである。 登録情報のデータ構造例を示す図である。 実施形態に係る監視システムの構成例を模式的に示す図である。 実施形態に係る監視装置の論理的な構成例を示す機能ブロック図である。 不審者通知画面の一例を示す図である。 実施形態に係る監視装置の動作の一例を示すフローチャートである。 実施形態に係る監視システムの論理的な構成例を示す機能ブロック図である。 所定のリストのデータ構造の一例を示す図である。 実施形態に係る監視システムの動作例を示すフローチャートである。 警告画面の一例を示す図である。 カメラ情報および地域リストのデータ構造例を示す図である。 実施形態に係る監視システムの論理的な構成例を示す機能ブロック図である。 実施形態に係る監視システムの動作例を示すフローチャートである。 進入通知画面の一例を示す図である。 監視画面の一例を示す図である。 実施形態に係る監視装置の論理的な構成例を示す機能ブロック図である。 不審者通知画面の他の例を示す図である。 登録画面の一例を示す図である。
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
 実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
(第1実施形態)
<システム概要>
 図1は、実施形態に係る監視システム1の概要を模式的に示す図である。監視システム1は、街中に設置されている監視カメラ5で撮像された画像を処理して、予め登録されているグループ20に属している人物22に、グループ20に属していない人物30が近づいてきた場合に、そのことをグループ20の人物22のユーザ端末10に伝える。あるいは、監視センタの監視者がグループ20や街の状態を見守る。ただし、見守り対象の人物22はグループ20に属していなくてもよく、個人であってもよい。この場合、見守り対象の人物以外の人物が見守り対象者に近づくことを監視する。
 見守り対象となる撮影場所は、通路、道路などの路上、広場などであるが、施設内も含んでもよい。撮影場所は、例えば、不特定多数の人が集まる場所である。つまり、監視システム1は、グループ20に属さない人物30(見知らぬ人)が接近していることをグループ20の人物22に知らせて注意喚起したり、監視センタ側でも監視者が見守ったりすることで、利用者が犯罪に遭うリスクを低減させ、街の治安をよくできる。
 さらに、後述する実施形態で説明するように、撮影場所は、指定された場所であってもよい。例えば、ストーカーなどの人物が見守り対象の人物に気付かれないように近づくことを検出してもよい。つまり、撮影場所は、見守り対象の人物が利用する駅周辺、通勤通学路、商店街、自宅周辺などを含む場所を指定してもよい。
 監視システム1は、監視装置100と、特徴量記憶装置200と、画像処理装置210と、ユーザ端末10と、少なくとも1台の監視カメラ5とを含む。監視カメラ5は、監視システム1に特化したものであってもよいし、例えば、以前から設置されている監視カメラ5を流用してもよい。
 監視カメラ5は、レンズとCCD(Charge Coupled Device)イメージセンサといった撮像素子を備える。監視カメラ5は、画角に入る人物の動きに合わせて追従してカメラ本体やレンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。
 監視カメラ5により生成される画像は、リアルタイムに撮影され、監視装置100に送信されるのが好ましい。ただし、監視装置100に送信される画像は、監視カメラ5から直接送信されなくてもよく、所定の時間遅延した画像であってもよい。監視カメラ5で撮像された画像は、一旦他の記憶装置に格納され、監視装置100が記憶装置から逐次または所定間隔毎に読み出してもよい。さらに、監視装置100に送信される画像は、動画像であるのが好ましいが、所定間隔毎のフレーム画像であってもよいし、静止画であってもよい。
 監視カメラ5と監視装置100の間の接続方式は、無線でも有線でもよい。無線接続の場合は、監視カメラ5と監視装置100はそれぞれ無線通信機能を有しているものとする。監視カメラ5は、例えばIP(Internet Protocol)カメラ等のネットワークカメラであってもよい。
<機能構成例>
 図2は、図1の監視装置100の論理的な構成例を示す機能ブロック図である。監視装置100は、検出部102と、出力部104と、特徴量記憶装置200と、を備える。特徴量記憶装置200は、見守り対象の人の特徴量を関連付けて記憶する。検出部102は、特徴量を用いて撮像画像を処理することにより、見守り対象ではない人物30が、見守り対象の人物22に基準距離以内に近づいたことを検出する。つまり、検出部102は、特徴量記憶装置200に特徴量が記憶されていない人物を見守り対象以外の人物(見守り対象でない人物30)であると判別する。出力部104は、検出部102の検出結果を用いて、所定の出力を行う。
 特徴量記憶装置200は、同一のグループ20に属する人の特徴量を関連付けて記憶してもよい。以下、本実施形態では同一グループ20に属する人の特徴量が関連付けて記憶されている例を中心に説明する。
 特徴量記憶装置200は、監視装置100の内部に設けられる装置であってもよいし、監視装置100とは別体の装置であってもよいし、これらの組み合わせであってもよい。特徴量記憶装置200は、複数の記憶装置であってもよい。
 グループ20とは、例えば、行動を共にするツアー客の集団などである。本監視システム1の利用者は事前にユーザ登録を行うとともに、グループ登録も行う。各登録情報については後述する。
<ハードウェア構成例>
 図3は、図1に示す監視システム1の監視装置100、画像処理装置210、およびユーザ端末10をそれぞれ実現するコンピュータ1000のハードウェア構成を例示するブロック図である。
 コンピュータ1000は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060を有する。
 バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
 プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
 メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
 ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は監視システム1の監視装置100の各機能(例えば、検出部102、出力部104、後述する判定部106、位置情報取得部108、受付部110、登録部112等)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は、監視装置100が使用する各種情報を記憶する記憶部としても機能する。特徴量記憶装置200を監視装置100の内部に含む構成の場合は、ストレージデバイス1040は、特徴量記憶装置200としても機能する。
 プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ1000が使用可能な媒体を含み、その媒体に、コンピュータ1000(プロセッサ1020)が読み取り可能なプログラムコードが埋め込まれてよい。
 入出力インタフェース1050は、コンピュータ1000と各種入出力機器とを接続するためのインタフェースである。
 ネットワークインタフェース1060は、コンピュータ1000を通信ネットワーク3に接続するためのインタフェースである。この通信ネットワーク3は、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060が通信ネットワーク3に接続する方法は、無線接続であってもよいし、有線接続であってもよい。ただし、ネットワークインタフェース1060は用いられないことも有る。
 そして、コンピュータ1000は、入出力インタフェース1050またはネットワークインタフェース1060を介して、必要な機器(例えば、監視カメラ5、ディスプレイ(不図示)、スピーカ(不図示)など)に接続する。
 監視システム1は、監視装置100と、ユーザ端末10と、画像処理装置210との組み合わせにより実現されるため、それぞれを構成する複数のコンピュータ1000により実現される。監視装置100は、例えば、サーバコンピュータである。ユーザ端末10は、例えば、スマートフォン、タブレット端末などである。画像処理装置210は、監視装置100とは別体の装置であってもよいし、監視装置100の内部に含まれる装置であってもよいし、これらの組み合わせであってもよい。
 図2の本実施形態の監視装置100の各構成要素は、図3のコンピュータ1000のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。各実施形態の監視装置100を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
 監視装置100を実現するシステム構成例は複数考えられ、以下に例示されるがこれらに限定されない。
 一例では、ユーザ端末10に、当該監視システム1が提供するサービスを利用するためのアプリケーションプログラムをインストールして起動する。ユーザ端末10上でアプリケーションを動作させるとともに、ユーザ端末10から監視装置100のサーバコンピュータにアクセスすることで利用者は監視システム1のサービスを利用できる。なお、予め利用者が本システムのサービスへの利用登録を行い、ユーザ情報を登録および認証情報(ユーザIDとパスワード)を取得することで監視システム1を利用可能になる。
 この例では、図2などに示される監視装置100の各機能(例えば、検出部102、出力部104)をユーザ端末10と監視装置100(サーバ装置)とで分担して実現することもできる。ただし、本実施形態では、ユーザ端末10は監視装置100のユーザインタフェース機能を実現し、監視装置100(サーバ装置)が主な機能(例えば、検出部102、出力部104)を実現している。
 他の例では、ユーザ端末10において、所定のブラウザを起動し、インターネットなどの通信ネットワーク3を介して監視システム1のサービスを提供するウェブページにアクセスする。
 予め利用者が本システムのサービスへの利用登録を行い、ユーザ情報を登録および認証情報(ユーザIDとパスワード)を取得することで監視システム1を利用可能になる。監視装置100は、利用者の監視状況をユーザ専用のウェブページに出力して情報提供する。
 さらなる他の例では、コンピュータ1000は、監視装置100のサービスを提供するSaaS(Software as a Service)などシステムのサーバ装置であってもよい。ユーザ端末10は、インターネットなどの通信ネットワーク3を介してサーバにアクセスし、サーバ上で動作するプログラムにより監視装置100が実現されてもよい。
<動作例>
 図4は、本実施形態の監視装置100の動作例を示すフローチャートである。まず、特徴量記憶装置200には、見守り対象となる同一のグループに属する人の特徴量を関連付けて記憶する(ステップS101)。図5(a)は、ユーザ登録情報130のデータ構造の一例を示す図である。ユーザ登録情報130は、少なくとも利用者を識別する識別情報(ユーザID)と、特徴量とが関連付けられて記憶され、さらに、利用者の氏名(またはユーザ名)と、パスワードとが関連付けてもよい。図5(b)は、グループ登録情報132のデータ構造の一例を示す図である。グループ登録情報132は、グループ20の識別情報(グループID)と、グループ20の少なくとも2人のメンバーのユーザIDとが関連付けられる。あるいは、グループ登録情報132には、グループ20の少なくとも2人のメンバーの特徴量を関連付けて記憶してもよい。図5のユーザ登録情報130およびグループ登録情報132は特徴量記憶装置200に記憶される。
 本実施形態では、特徴量は、顔の特徴量である。他の例として、例えば、虹彩、静脈、耳介、指紋、歩容、背格好(身長、肩幅、身丈、骨格等)等の少なくともいずれか一つの特徴量であってもよい。本実施形態では、利用者が登録時に顔を撮像した撮像画像から抽出された顔の特徴量が特徴量記憶装置200に関連付けられる。
 このステップS101の処理は、監視を開始する前の準備として実行される。その後、新たに見守り対象者の特徴量を登録したり、既に登録されている見守り対象者の特徴量を削除したりする必要が生じるまでは行わなくてよい。通常の処理はステップS101の後から実行されてよい。ステップS101から後の処理は、例えば、利用者が当該アプリケーションを起動した後、利用者からの監視の開始指示を受け付けたとき等に開始される。
 図4に戻り、検出部102は、特徴量記憶装置200の特徴量(ユーザ登録情報130またはグループ登録情報132の特徴量)を用いて監視カメラ5から取得した撮像画像を画像処理装置210に処理させる(ステップS103)。そして、検出部102は、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22に基準距離以内に近づいたことを検出する(ステップS105)。
 そして、出力部104は、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22に基準距離以内に近づいたことを検出したとき(ステップS105のYES)、所定の出力を行う(ステップS107)。一方、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22が基準距離以内に近づいていない場合(ステップS105のNO)、ステップS103に戻り、見守りを続ける。例えば、利用者によるアプリケーションの終了の指示を受け付けることで、本処理は終了する。
 所定の出力とは、例えば、当該同一のグループ20に属する人物22に基準距離以内に近づいたことを示す情報をユーザ端末10に出力することである。さらに、監視装置100のディスプレイ(不図示)に情報を出力することであってもよい。
 図4の上記ステップS103およびステップS105における検出部102による同一のグループ20に属さない人物30の接近を検出する方法は様々考えられ、以下の第1および第2の方法に例示されるがこれらに限定されない。
 図6に示す第1の方法は、図4のステップS101の後、例えば、利用者による見守り開始の指示を受け付けると、本処理が開始される。まず、検出部102は、監視カメラ5から取得した画像に映っている人を画像処理装置210にすべて認識させる(ステップS111)。
 そして、検出部102は、画像内の人毎に近隣の他者との間の距離を計測し、基準値未満か否かを判定する(ステップS113)。監視カメラ5毎に撮影範囲毎における画像内の距離を実際の距離に換算する換算係数(比率)を予め登録しておく。検出部102は、この換算係数を用いて、画像内の距離を実際の距離に換算し、基準距離と比較する。あるいは、検出部102は、この換算係数を用いて、基準距離を画像内の距離の尺度に換算し、撮影範囲内の距離と比較する。
 基準距離は予め登録しておく。基準距離は、利用者が設定できてもよい。基準距離は、数値で設定できてもよいし、数値以外の指標(例えば、近い/標準/遠い等)で設定できてもよい。さらに、治安のレベルで設定できてもよい。治安が悪い場所では、基準距離は他の場所よりも遠い設定レベルとし、治安がよい場所では、基準距離は他の場所より近い設定レベルとしてもよい。ユーザ端末10上の操作画面でスライダなどのGUI(Graphical User Interface)を用いてユーザ操作により指定できてもよい。
 そして、人と人の距離が基準未満の場合(ステップS113のYES)、検出部102は、当該2人の人物の顔部分の特徴量をそれぞれ抽出する。そして、検出部102は、画像処理装置210に特徴量記憶装置200に登録されている顔画像の特徴量と照合させる(ステップS115)。照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていた場合、検出部102は、グループ20に所属していると判別する(ステップS117のNO)。そして、ステップS111に戻り、見守りを続ける。一方、人と人との距離が基準以上の場合(ステップS113のNO)、ステップS111に戻り、見守りを続ける。
 一方、照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていない場合、検出部102は、グループ20に所属していないと判別する(ステップS117のYES)。そして、図4のステップS107に進み、出力部104が所定の出力を行う。
 図7に示す第2の方法は、図4のステップS101の後、例えば、利用者による見守り開始の指示を受け付けると、本処理が開始される。まず、検出部102は、監視カメラ5から取得した画像に写っている各人の顔の特徴量をそれぞれ抽出し、画像処理装置210に特徴量記憶装置200に記憶されている特徴量と照合させる(ステップS121)。照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていた場合、検出部102は、グループ20に所属していると判別する(ステップS123のNO)。この場合、ステップS121に戻り、見守りを続ける。一方、照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていない場合、検出部102は、グループ20に所属していないと判別する(ステップS123のYES)。この場合、ステップS125に進む。
 さらに、検出部102は、そのグループ20に所属していないと判別された人物と、当該人物にもっとも近いグループ20の人物22との距離が基準距離より近いか否かを判定する(ステップS125)。距離の換算方法は図6の方法と同じでよい。そして、距離が基準未満だった場合(ステップS125のYES)、図4のステップS107に進み、出力部104が所定の出力を行う。距離が基準以上だった場合、つまり、グループ20に所属していない人物30とグループ20に所属している人物22との距離が基準未満の場合(ステップS125のNO)、ステップS121に戻り、見守りを続ける。
 図8は、出力部104によりユーザ端末10のディスプレイ(不図示)に表示される不審者通知画面300の一例を示す図である。不審者通知画面300は、人物画像表示部302と、アイコン表示部304と、メッセージ表示部306とを含む。人物画像表示部302には、監視カメラ5から取得した撮像画像から人物30の顔を含む領域を切り取った画像が表示される。アイコン表示部304には、利用者に注意喚起を促す画像が表示される。この画像はアニメーションなどにより強調されてもよい。メッセージ表示部306には、利用者にグループ20に所属していない人物30が近づいていることを伝えるメッセージが表示される。
 ユーザ端末10には、不審者通知画面300を表示させる以外にも、音声で不審者が近づいていることを利用者に伝えるメッセージをスピーカ(不図示)から出力してもよい。ユーザ端末10に不審者通知画面300を表示させたり音声出力させたりする前に、ユーザ端末10に対して、アプリケーションのアイコンのマーク表示、待機画面への通知の出力、LED(Light Emitting Diode)の点滅点灯表示、および振動の少なくともいずれか一つを組み合わせでもよい。いずれの出力方法を行うか利用者が選択できてよい。
 あるいは、通知先として利用者または利用者以外のメールアドレス、携帯電話番号などの宛先を登録しておき、メールを通知先に送信して通知してもよい。メールには、監視カメラ5から取得した撮像画像から人物30の顔を含む領域を切り取った画像を添付し、アラート発生日時、場所、グループ名、グループ登録者の情報等を含めてもよい。
 監視装置100のディスプレイへの表示では、当該通知対象となったグループ20の情報と、不審者の画像を少なくとも表示させる。さらに、照合に使用した画像を生成した監視カメラ5の位置情報から不審者が接近している場所の情報も表示してもよい。
 本実施形態によれば、検出部102により、撮像画像を処理することにより見守り対象以外の人が見守り対象の人に基準距離以内に近づいたことが検出でき、出力部104によりその検出結果が出力できる。特に、特徴量記憶装置200に同一のグループ20に属する人を関連付けて記憶すれば、グループ20以外の人が近づいたことをグループ20に通知できる。つまり、監視カメラ5により撮像された画像を処理することで、見守り対象の人と見守り対象ではない人、あるいは、グループ20に属する人と属さない人を区別し、他人が見守り対象の人やグループ20に近づくことを検出して見守り対象者に通知できる。よって、本実施形態によれば、見知らぬ他人や気付かれないように接近した人物から危害を加えられるリスクを低減できる。
(第2実施形態)
<機能構成例>
 本実施形態の監視システム1は、グループ20に属さない(身守り対象ではない)人物30がグループ20に属している(身守り対象の)人物22の近くに所定時間以上継続して居た場合に、所定の出力を行う構成を有する点以外は上記実施形態と同様である。本実施形態の監視装置100は第1実施形態と同じ構成要素を有するので、図2を用いて説明する。ただし、後述する実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
<動作例>
 図9は、監視装置100の動作の一例を示すフローチャートである。まず、本図のフローは、図4のステップS105、図6のステップS117、および図7のステップS125のいずれかの各判定でYESとなった後、開始される。出力部104は、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22に基準距離以内に近づいた状態が、基準時間以上維持さたれときに(ステップS131のYES)、所定の出力を行う(図4のステップS107)。基準時間以上維持されなかった場合(ステップS131のNO)、図4のステップS113、図6のステップS111、および図7のステップS121のいずれかに戻り、見守りを続ける。
 所定時間は、ユーザ操作によって変更できてもよい。ステップS107の出力部104による所定の出力は上記第1実施形態と同様である。
 本実施形態によれば、身守り対象ではない人物30が所定時間以上見守り対象の人物22に接近していない場合には所定の出力を行わないので、一時的に近くに居ただけの人物30を不審者として検知することを防ぐことができる。本実施形態によれば、上記実施形態同様な効果を奏するとともに、さらに、より不審者接近の検出の精度を高めることができる。つまり、頻繁に不審者接近の通知がなされることを抑制し、真に危険な状態を通知できるので、頻繁な通知による利用者の危機感の低下を防ぐことができる。
(第3実施形態)
 本実施形態の監視システム1は、見守り対象者に近づいた人物が所定のリストに含まれているか否かを判定する構成を有する点以外は上記実施形態と同様である。
<機能構成例>
 図10は、監視システム1の論理的な構成例を示す機能ブロック図である。監視システム1は、図2の実施形態の監視装置100と同じ特徴量記憶装置200と、検出部102と、出力部104と、を備えるとともに、さらに、判定部106を備える。図10の本実施形態の例では、図2の第1実施形態の構成に組み合わせた例を示しているが、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
 判定部106は、同一グループ20に基準距離以内に近づいた人が所定のリスト(グループ別人物リスト142または個人別人物リスト144)に含まれているか否かを判定する。図11は、本実施形態の所定のリストのデータ構造の一例を示す図である。図11(a)は、特定人物情報140である。特定人物情報140は、特定人物の識別情報(人物ID)と、特徴量とが関連付けて含まれている。
 所定のリストは、グループ別または個人別に作成することができる。所定のリストは、例えば、犯罪などに関与する可能性の高い人物、例えば、指名手配者、反社会勢力関係者、前科者、ストーカーなどが登録されてよい。
 図11(b)は、グループ別人物リスト142のデータ構造の一例を示す図である。図11(c)は、個人別人物リスト144のデータ構造の一例を示す図である。
 グループ別人物リスト142は、グループ20の識別情報(グループID)に、監視対象となる人物の人物IDを関連付けて記憶している。個人別人物リスト144は、利用者の識別情報(ユーザID)に、監視対象となる人物の人物IDを関連付けて記憶している。個人別人物リスト144は、例えば、ストーカーなど個人的に特に監視したい人物を指定できる。
 これらのリストは、利用者のユーザ端末10からユーザ操作により設定できてよい。リストは複数選択できてよいし、リストを有効にする期間、日時および、地域のうち少なくとも一つ指定できてもよい。この構成では、判定部106は、指定されるリストが有効となる条件(期間、日時、地域等)を満たしたときに、当該リストを利用して判定を行う。
<動作例>
 図12は、監視システム1の動作例を示すフローチャートである。本図のフローは、図4のステップS105、図6のステップS117、および図7のステップS125のいずれかの各判定でYESとなった後、開始される。判定部106は、見守り対象のグループ20に基準距離以内に近づいた見守り対象ではない人物30が所定のリストに含まれているか否かを判定する(ステップS141)。身守り対象のグループ20に基準距離以内に近づいた人物30が所定のリストに含まれていると判定された場合(ステップS141のYES)、出力部104は、その旨を示す情報をさらに出力する(ステップS143)。
 図13は、ユーザ端末10のディスプレイに表示される警告画面310の一例を示す図である。警告画面310は、図8の不審者通知画面300と同じ人物画像表示部302と、アイコン表示部304と、メッセージ表示部306を含むが、メッセージ表示部306のメッセージが異なる。図13の例では、メッセージ表示部306には、利用者にグループ20に、所定のリストに含まれている人物が近づいていることを伝え、注意喚起促すメッセージが表示される。図13では、所定のリストが、指名手配者のリストであった場合のメッセージの例(「指名手配中の人物が近くに居ます。注意してください。」等)を示している。
 所定のリストのカテゴリをリスト毎に指定することで、カテゴリ別に表示されるメッセージを切り替えることができる。カテゴリは、例えば、指名手配者、テロリスト、暴力団、前科者、ストーカー等が考えられるがこれらに限定されない。カテゴリは予めアプリケーションで指定されていて選択できる構成としてもよいし、利用者が新たに入力できる構成としてもよい。新たなカテゴリを追加した場合は、表示するメッセージを選択または入力して設定できてよい。
 図12に戻り、ステップS143の後、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに戻り、見守りを続ける。一方、見守り対象のグループ20に基準距離以内に近づいた人物30が所定のリストに含まれていないと判定された場合(ステップS141のNO)、ステップS143をバイパスし、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに戻り、見守りを続ける。
 本実施形態によれば、グループ別または個人別、あるいは、地域別、期間限定、日時限定などのリストを用いて、監視対象の特定の人物を指定でき、通知できる。接近している人物30が見知らぬだけでなく、犯罪に関与する可能性の高い人物の操作を利用者に通知できる。本実施形態によれば、上記実施形態と同様な効果を奏するとともに、利用者は身を守るためにより適切な行動をとれる可能性が高まり、犯罪被害を抑制できる。
(第4実施形態)
<機能構成例>
 本実施形態の監視システム1は、複数の監視カメラ5のうち、特定の監視カメラ5を用いて監視する構成を有する点以外は上記実施形態と同様である。本実施形態の監視システム1および監視装置100は第1実施形態と同じ構成要素を有するので、図1および図2を用いて説明する。ただし、後述する実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
 図1に示すように、監視システム1は、複数の監視カメラ5を備えている。本実施形態では、検出部102は、複数の監視カメラ5のうち、特定の監視カメラ5の撮像画像に対して、画像処理装置210に処理を実行させる。
 複数の監視カメラ5は、様々な地区に設置されている。図14(a)は、カメラ情報150のデータ構造の一例を示す図である。カメラ情報150は、監視カメラ5の識別情報(カメラID)に、監視カメラ5の設置場所、例えば、地域の識別情報(地域ID)、住所、経度緯度情報等の少なくともいずれか一つが関連付けられている。ここでは、地域IDが関連付けられている。地域IDは、所定の地域(例えば、危険地域等)に関連付けられている。カメラIDは、例えば、監視カメラ5のIPアドレスであってもよい。
 監視に利用する特定の監視カメラ5は、グループ別または個人別に指定できてよい。
 図14(b)は、グループ別地域リスト152のデータ構造の一例を示す図である。図14(c)は、個人別地域リスト154のデータ構造の一例を示す図である。
 グループ別地域リスト152は、グループ20の識別情報(グループID)に、監視に利用する監視カメラ5のカメラIDを関連付けて記憶している。あるいは、グループ別地域リスト152は、グループIDに地域IDを関連付けてもよい。地域IDを用いれば、指定された地域IDが示す地域に設置されている複数の監視カメラ5を一括で指定できる。あるいは、地域IDとカメラIDを組み合わせ、論理積、論理和の論理式で指定できてもよい。
 個人別地域リスト154は、利用者の識別情報(ユーザID)に、監視に利用する監視カメラ5のカメラIDを関連付けて記憶している。あるいは、グループ別地域リスト152は、グループIDに地域IDを関連付けてもよい。地域IDを用いれば、指定された地域IDが示す地域に設置されている複数の監視カメラ5を一括で指定できる。あるいは、地域IDとカメラIDを組み合わせ、論理積、論理和の論理式で指定できてもよい。
 つまり、検出部102は、特定の地域、例えば、危険地域に設置されている監視カメラ5の撮像画像について画像処理を行い、グループ20に近づくグループ20に属さない人物30の検出を行うことができる。
<動作例>
 本実施形態では、図4のステップS103(あるいは、図6のステップS111、ステップS115または図7のステップS121)において、検出部102が、グループ別地域リスト152または個人別地域リスト154を参照して、監視に利用する監視カメラ5を特定し、特定した監視カメラ5の撮像画像について画像処理を画像処理装置210に実行させる。それ以外の動作は第1実施形態と同じである。
 本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、特定の監視カメラ5の撮像画像について画像処理を行う、つまり、特定の地域を監視対象とすることができるので、特に危険地域などを重点的に監視することができる。監視に利用する監視カメラ5を特定するので、撮像画像の送受信のための通信容量や画像処理装置210の処理負荷を低減できる。
(第5実施形態)
 本実施形態の監視システム1は、グループ20の位置情報が基準を満たしたときに画像処理を実行する構成を有する点以外は上記実施形態と同様である。
<機能構成例>
 図15は、監視システム1の論理的な構成例を示す機能ブロック図である。監視システム1は、図2の実施形態の監視装置100と同じ特徴量記憶装置200と、検出部102と、出力部104と、を備えるとともに、さらに、位置情報取得部108を備える。図15の本実施形態の例では、図2の第1実施形態の構成に組み合わせた例を示しているが、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
 位置情報取得部108は、グループ20の位置情報を取得する。検出部102は、位置情報が基準を満たしたときに、画像処理装置210に画像処理を実行させる。
 出力部104は、位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する。
 グループ20の位置情報の取得方法は、以下に例示されるがこれらに限定されない。複数の取得方法を組み合わせてもよい。ここで、ユーザ端末10とは、グループ20の少なくとも一人が携帯する端末である。
(1)ユーザ端末10のGPS(Global Positioning System)機能を用いて取得された現在位置情報をユーザ端末10から取得する。
(2)ユーザ端末10が携帯電話基地局との位置登録を行った情報を基地局から取得する。
(3)利用者が携帯しているユーザ端末10以外のGPS受信機を登録しておき、現在位置情報を取得する。
(4)監視カメラ5の撮像画像から画像認識処理を行いグループ20の人物22(利用者)を追跡し、利用者を撮像している監視カメラ5の設置位置から位置を推定する。
 また、位置情報取得部108の機能と、位置情報が基準を満たすか否かの判定処理を行う機能をユーザ端末10が有してもよい。この構成によれば、ユーザ端末10の位置情報を監視センタのサーバ装置に送信する必要がなくなるので、ユーザ端末10の通信容量の消費を抑制することができる。
 位置情報の基準とは、利用者の居場所が所定の地域(例えば、危険地域)に進入したこと、特定の場所(例えば、危険人物の居場所)に近づいた(所定の距離以内)こと、などである。基準は、所定の地域の範囲、所定の位置と位置からの距離、等を設定することができる。これらの基準の設定は、利用者または監視システム1の管理者が設定できてよい。
<動作例>
 図16は、監視システム1の動作例を示すフローチャートである。図16(a)のフローは、図4のステップS101の後、開始される。位置情報取得部108は、グループ20の位置情報を取得する(ステップS151)。そして、検出部102は、位置情報が基準を満たした否かを判定する(ステップS153)。位置情報が基準を満たした場合(ステップS153のYES)、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに進み、見守りを開始する。位置情報が基準を満たさない場合(ステップS153のNO)、ステップS151に戻る。
 また、さらに、図16(b)に示すように、図16(a)のステップS153の判定でYESとなった場合に、出力部104は、位置情報が所定の基準に満たしたことを通知してもよい(ステップS155)。そして、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに進み、見守りを開始してもよい。
 出力部104による出力は、例えば、グループ20の利用者のユーザ端末10および監視センタのサーバ装置のディスプレイの少なくともいずれか一方に画面表示を行うことができる。
 図17は、ユーザ端末10に表示される進入通知画面330の一例を示す図である。進入通知画面330は、アイコン表示部304と、メッセージ表示部306と、地図表示部332と、を含む。アイコン表示部304およびメッセージ表示部306は、図8の不審者通知画面300と同じであるが、メッセージ表示部306に表示されるメッセージが異なる。図17の例では、メッセージ表示部306には、利用者にグループ20が危険エリアに進入したことを伝え、注意喚起を促すメッセージが表示される。
 地図表示部332は、危険エリア表示部334と、現在位置マーク336とを含む。危険エリア表示部334は、地図表示部332に表示されている地図内の危険エリアが破線で示されている。破線は一例であり、色変え、強調表示など表示方法は様々考えられる。現在位置マーク336は、グループ20の位置情報を示す画像(図では黒丸)であり、地図上の該当位置に表示される。
 さらに、本実施形態において、出力部104は、位置情報取得部108が取得した位置情報を監視センタのサーバ装置のディスプレイに表示させてもよい。図18は、監視センタのサーバ装置のディスプレイに表示される監視画面320の一例を示す図である。監視画面320は、地図表示部322と、危険エリア表示部323、現在位置マーク324、アラート発生情報表示部326、接近検出人物画像表示部328とを含む。
 地図表示部322には、見守り対象のグループ20や利用者が居る場所を含む地域の地図が表示される。危険エリア表示部323は、地図表示部322に表示されている地図内の危険エリアが破線で示されている。破線は一例であり、色変え、強調表示など表示方法は様々考えられる。現在位置マーク324は、グループ20の位置情報を示す画像(図では星マーク)であり、地図上の該当位置に表示される。アラート発生情報表示部326には、出力部104により所定の出力がなされた場合に、その所定の出力の一つしてアラート発生情報が表示される。
 一例として、第1実施形態であれば、不審者の接近情報として、アラート発生日時、場所、グループ20の名前が表示される。接近検出人物画像表示部328には、この例では、監視カメラ5から取得した撮像画像から人物30の顔を含む領域を切り取った画像が表示される。また、当該人物30の現在位置を地図表示部322の地図上に、見守り対象者の現在位置とは異なるマークで区別して表示してもよい。人物30の位置情報の取得方法は、第5実施形態で上記したグループ20の位置情報の取得方法の(4)と同様でよい。
 本実施形態によれば、見守り対象のグループ20や利用者の位置情報を取得し、特定の地域、例えば、危険地域に進入したときに画像処理を開始することができるので、危険地域以外では、処理を停止できるので、監視センタのサーバ装置の処理負荷を低減できる。また、危険地域に進入したことをグループ20の利用者または監視センタのサーバ装置に通知できるので、利用者や監視センタの管理者に注意喚起促すことができ、防犯効果の向上が期待できる。
(第6実施形態)
 本実施形態の監視システム1は、見守り対象のグループ20や利用者、あるいは、特定の監視対象者の顔画像を登録する構成を有する点以外は上記実施形態と同様である。
<機能構成例>
 図19は、監視装置100の論理的な構成例を示す機能ブロック図である。監視装置100は、上記実施形態の少なくともいずれか一つと同様な構成を有するとともに、さらに、受付部110と、登録部112とを備える。
 受付部110は、検出部102により見守り対象ではないとされた人物30(特徴量記憶装置200に特徴量の登録のない人物)の顔画像を提示し、当該顔画像を登録するか否かを操作者に選択させ、操作者の入力を受け付ける。登録部112は、顔画像の登録を受け付けた人の前記顔画像を登録する。ここで、操作者は、利用者または監視センタの監視者または管理者などである。
 図20は、図8の不審者通知画面300にさらに登録ボタン308を設けた例を示す図である。不審者通知画面300において、登録ボタン308の押下を受け付けると、図21の登録画面340に移行する。図21の登録画面340は、登録候補画像表示部342と、メッセージ表示部344と、特定人物登録ボタン346と、グループ登録ボタン347と、未登録ボタン348とを含む。
 登録候補画像表示部342には、検出されたグループに属さない人の顔画像が表示される。メッセージ表示部344には、登録候補画像表示部342に表示された人を登録するか否かを問いかけるメッセージが表示される。
 特定人物登録ボタン346は、登録候補画像表示部342に表示された人物を特定人物として登録する操作を受け付ける。この操作を受け付けると、人物情報を入力する画面(不図示)に移行し、入力を受け付けた後、登録部112は、当該人物の顔画像から特徴量を抽出し、図11(a)の特定人物情報140に登録する。人物情報は、特に限定されないが、第3実施形態で説明したリストに登録するカテゴリ等を含む。
 グループ登録ボタン347は、登録候補画像表示部342に表示された人物をグループのメンバーとして登録する操作を受け付ける。この操作を受け付けると、人物情報を入力する画面(不図示)に移行し、入力を受け付けた後、登録部112は、当該人物の顔画像から特徴量を抽出し、図5(a)のユーザ登録情報130およびグループ登録情報132に登録する。
 未登録ボタン348は、登録候補画像表示部342に表示された人物は登録しない指示を受け付ける。この操作を受け付けると、登録画面340は閉じられる。登録画面340を閉じる前に、登録候補画像表示部342に表示された人物の画像を破棄してもよいか否かを問い合わせるメッセージを表示して確認してもよい。
 図21の例では、ユーザ端末10に登録画面340を表示する例を示したが、監視センタのサーバ装置で表示し、登録処理ができもよい。
 本実施形態によれば、さらに、特徴量記憶装置200に登録されていない人物を監視対象となる特定人物またはグループ20のメンバーとして登録することができる。
 以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
 以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 なお、本発明において利用者に関する情報を取得および/または利用する場合は、これを適法に行うものとする。
 以下、参考形態の例を付記する。
1. 見守り対象の人の特徴量を記憶する特徴量記憶手段と、
 前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
 前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視装置。
2. 1.に記載の監視装置において、
 前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
 前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視装置。
3. 同一のグループに属する人の特徴量を関連付けて記憶する特徴量記憶手段と、
 前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出する検出手段と、
 前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視装置。
4. 3.に記載の監視装置において、
 前記特徴量記憶手段は、見守り対象の人の特徴量を記憶し、
 前記検出手段は、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する、監視装置。
5. 1から4.のいずれか一つに記載の監視装置において、
 前記出力手段は、
  前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う、監視装置。
6. 1.から5のいずれか一つに記載の監視装置において、
 前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かを判定する判定手段をさらに備え、
 前記出力手段は、
  前記判定手段により、前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視装置。
7. 6.に記載の監視装置において、
  前記所定のリストは、グループ別または個人別に作成されている、監視装置。
8. 1.から7.のいずれか一つに記載の監視装置において、
 複数のカメラを備え、
 前記検出手段は、前記複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視装置。
9. 1.から8.のいずれか一つに記載の監視装置において、
 前見守り対象の人の位置情報を取得する位置情報取得手段をさらに備え、
 前記検出手段は、前記位置情報が基準を満たしたときに上記処理を実行する、監視装置。
10. 9.に記載の監視装置において、
 前記出力手段は、前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視装置。
11. 1.から10.のいずれか一つに記載の監視装置において、
 検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける受付手段と、
 前記顔画像の登録を受け付けた前記人の前記顔画像を登録する登録手段と、を備える、監視装置。
12. 見守り対象の場所に居る人を撮像する少なくとも一つのカメラと、
 画像処理装置と、
 監視装置と、を備え、
 前記監視装置は、
 見守り対象の人の特徴量を関連付けて記憶する特徴量記憶手段と、
 前記特徴量を用いて前記カメラの撮像画像を前記画像処理装置に処理させることにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
 前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視システム。
13. 10.に記載の監視システムにおいて、
 前記監視装置の前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
 前記監視装置の前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視システム。
14. 同一のグループに属する人の特徴量を関連付けて記憶する特徴量記憶手段と、
 前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出する検出手段と、
 前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視装置。
15. 14.に記載の監視装置において、
 前記特徴量記憶手段は、見守り対象の人の特徴量を記憶し、
 前記検出手段は、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する、監視装置。
16. 12.から15.のいずれか一つに記載の監視システムにおいて、
 前記監視装置の前記出力手段は、
  前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う、監視システム。
17. 12.から16.のいずれか一つに記載の監視システムにおいて、
 前記監視装置は、
 前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かを判定する判定手段をさらに備え、
 前記監視装置の前記出力手段は、
  前記監視装置の前記判定手段により、前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視システム。
18. 17.に記載の監視システムにおいて、
  前記所定のリストは、グループ別または個人別に作成されている、監視システム。
19. 12.から18.のいずれか一つに記載の監視システムにおいて、
 複数の前記カメラを備え、
 前記監視装置の前記検出手段は、前記複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視システム。
20. 12.から19.のいずれか一つに記載の監視システムにおいて、
 前記監視装置は、
 前見守り対象の人の位置情報を取得する位置情報取得手段をさらに備え、
 前記監視装置の前記検出手段は、前記位置情報が基準を満たしたときに前記画像処理装置に上記処理を実行させる、監視システム。
21. 20.に記載の監視システムにおいて、
 前記監視装置の前記出力手段は、前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視システム。
22. 12.から21.のいずれか一つに記載の監視システムにおいて、
 前記監視装置は、
 検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける受付手段と、
 前記顔画像の登録を受け付けた前記人の前記顔画像を登録する登録手段と、を備える、監視システム。
23. 監視装置が、
 見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶させ、
 前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出し、
 前記検出した結果を用いて、所定の出力を行う、監視方法。
24. 23.に記載の監視方法において、
 前記監視装置が、
 前記見守り対象として、同一のグループに属する人の特徴量を関連付けて前記特徴量記憶手段に記憶させ、
 前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視方法。
25. 前記監視装置が、
 同一のグループに属する人の特徴量を関連付けて特徴量記憶手段に記憶させ、
 前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出し、
 前記検出の結果を用いて、所定の出力を行う、監視方法。
26. 25.に記載の監視方法において、
 前記監視装置が、
 見守り対象の人の特徴量を前記特徴量記憶手段に記憶させ、
 前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する、監視方法。
27. 23.から26.のいずれか一つに記載の監視方法において、
 前記監視装置が、
  前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う、監視方法。
28. 23.から27.のいずれか一つに記載の監視方法において、
 前記監視装置が、
 前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かをさらに判定し、
 前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視方法。
29. 28.に記載の監視方法において、
  前記所定のリストは、グループ別または個人別に作成されている、監視方法。
30. 23.から29.のいずれか一つに記載の監視方法において、
 前記監視装置が、
 複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視方法。
31. 23.から30.のいずれか一つに記載の監視方法において、
 前記監視装置が、
 前見守り対象の人の位置情報をさらに取得し、
 前記位置情報が基準を満たしたときに上記処理を実行する、監視方法。
32. 31.に記載の監視方法において、
 前記監視装置が、
 前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視方法。
33. 23.から32.のいずれか一つに記載の監視方法において、
 前記監視装置が、
 検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付け、
 前記顔画像の登録を受け付けた前記人の前記顔画像を登録する、監視方法。
34. コンピュータに、
 見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶する手順、
 前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する手順、
 前記検出する手順の検出結果を用いて、所定の出力を行う手順、
を実行させるためのプログラム。
35. 34.に記載のプログラムにおいて、
 前記見守り対象として、同一のグループに属する人の特徴量を関連付けて前記特徴量記憶手段に記憶させる手順、
 前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する手順、をコンピュータに実行させるためのプログラム。
36. 同一のグループに属する人の特徴量を関連付けて特徴量記憶手段に記憶する手順、
 前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出する手順、
 前記検出する手順の検出結果を用いて、所定の出力を行う出力する手順、をコンピュータに実行させるためのプログラム。
37. 36.に記載の監視装置において、
 見守り対象の人の特徴量を前記特徴量記憶手段に記憶させる手順、
 前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する手順、をコンピュータに実行させるためのプログラム。
38. 34.から37.のいずれか一つに記載のプログラムにおいて、
  前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う手順をコンピュータに実行させるためのプログラム。
39. 34.から38.のいずれか一つに記載のプログラムにおいて、
 前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かをさらに判定する手順、
 前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する手順、をコンピュータに実行させるためのプログラム。
40. 39.に記載のプログラムにおいて、
  前記所定のリストは、グループ別または個人別に作成されている、プログラム。
41. 34.から40.のいずれか一つに記載のプログラムにおいて、
 複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する手順をコンピュータに実行させるためのプログラム。
42. 34.から41.のいずれか一つに記載のプログラムにおいて、
 前見守り対象の人の位置情報をさらに取得する手順、
 前記位置情報が基準を満たしたときに上記処理を実行する手順、をコンピュータに実行させるためのプログラム。
43. 42.に記載のプログラムにおいて、
 前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する手順をコンピュータに実行させるためのプログラム。
44. 34.から43.のいずれか一つに記載のプログラムにおいて、
 検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける手順、
 前記顔画像の登録を受け付けた前記人の前記顔画像を登録する手順をコンピュータに実行させるためのプログラム。
1 監視システム
3 通信ネットワーク
5 監視カメラ
10 ユーザ端末
20 グループ
22 人物
30 人物
100 監視装置
102 検出部
104 出力部
106 判定部
108 位置情報取得部
110 受付部
112 登録部
130 ユーザ登録情報
132 グループ登録情報
140 特定人物情報
142 グループ別人物リスト
144 個人別人物リスト
150 カメラ情報
152 グループ別地域リスト
154 個人別地域リスト
200 特徴量記憶装置
210 画像処理装置
300 不審者通知画面
302 人物画像表示部
304 アイコン表示部
306 メッセージ表示部
308 登録ボタン
310 警告画面
320 監視画面
322 地図表示部
323 危険エリア表示部
324 現在位置マーク
326 アラート発生情報表示部
328 接近検出人物画像表示部
330 進入通知画面
332 地図表示部
334 危険エリア表示部
336 現在位置マーク
340 登録画面
342 登録候補画像表示部
344 メッセージ表示部
346 特定人物登録ボタン
347 グループ登録ボタン
348 未登録ボタン
1000 コンピュータ
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース

Claims (36)

  1.  見守り対象の人の特徴量を記憶する特徴量記憶手段と、
     前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
     前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視装置。
  2.  請求項1に記載の監視装置において、
     前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
     前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視装置。
  3.  請求項2に記載の監視装置において、
     前記出力手段は、
      前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う、監視装置。
  4.  請求項1から3のいずれか一項に記載の監視装置において、
     前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かを判定する判定手段をさらに備え、
     前記出力手段は、
      前記判定手段により、前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視装置。
  5.  請求項4に記載の監視装置において、
      前記所定のリストは、グループ別または個人別に作成されている、監視装置。
  6.  請求項1から5のいずれか一項に記載の監視装置において、
     複数のカメラを備え、
     前記検出手段は、前記複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視装置。
  7.  請求項1から6のいずれか一項に記載の監視装置において、
     前見守り対象の人の位置情報を取得する位置情報取得手段をさらに備え、
     前記検出手段は、前記位置情報が基準を満たしたときに上記処理を実行する、監視装置。
  8.  請求項7に記載の監視装置において、
     前記出力手段は、前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視装置。
  9.  請求項1から8のいずれか一項に記載の監視装置において、
     検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける受付手段と、
     前記顔画像の登録を受け付けた前記人の前記顔画像を登録する登録手段と、を備える、監視装置。
  10.  見守り対象の場所に居る人を撮像する少なくとも一つのカメラと、
     画像処理装置と、
     監視装置と、を備え、
     前記監視装置は、
     見守り対象の人の特徴量を関連付けて記憶する特徴量記憶手段と、
     前記特徴量を用いて前記カメラの撮像画像を前記画像処理装置に処理させることにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
     前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視システム。
  11.  請求項10に記載の監視システムにおいて、
     前記監視装置の前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
     前記監視装置の前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視システム。
  12.  請求項10または11に記載の監視システムにおいて、
     前記監視装置の前記出力手段は、
      前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う、監視システム。
  13.  請求項10から12のいずれか一項に記載の監視システムにおいて、
     前記監視装置は、
     前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かを判定する判定手段をさらに備え、
     前記監視装置の前記出力手段は、
      前記監視装置の前記判定手段により、前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視システム。
  14.  請求項13に記載の監視システムにおいて、
      前記所定のリストは、グループ別または個人別に作成されている、監視システム。
  15.  請求項10から14のいずれか一項に記載の監視システムにおいて、
     複数の前記カメラを備え、
     前記監視装置の前記検出手段は、前記複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視システム。
  16.  請求項10から15のいずれか一項に記載の監視システムにおいて、
     前記監視装置は、
     前見守り対象の人の位置情報を取得する位置情報取得手段をさらに備え、
     前記監視装置の前記検出手段は、前記位置情報が基準を満たしたときに前記画像処理装置に上記処理を実行させる、監視システム。
  17.  請求項16に記載の監視システムにおいて、
     前記監視装置の前記出力手段は、前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視システム。
  18.  請求項10から17のいずれか一項に記載の監視システムにおいて、
     前記監視装置は、
     検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける受付手段と、
     前記顔画像の登録を受け付けた前記人の前記顔画像を登録する登録手段と、を備える、監視システム。
  19.  監視装置が、
     見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶させ、
     前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出し、
     前記検出した結果を用いて、所定の出力を行う、監視方法。
  20.  請求項19に記載の監視方法において、
     前記監視装置が、
     前記見守り対象として、同一のグループに属する人の特徴量を関連付けて前記特徴量記憶手段に記憶させ、
     前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視方法。
  21.  請求項19または20に記載の監視方法において、
     前記監視装置が、
      前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う、監視方法。
  22.  請求項19から21のいずれか一項に記載の監視方法において、
     前記監視装置が、
     前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かをさらに判定し、
     前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視方法。
  23.  請求項23に記載の監視方法において、
      前記所定のリストは、グループ別または個人別に作成されている、監視方法。
  24.  請求項19から23のいずれか一項に記載の監視方法において、
     前記監視装置が、
     複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視方法。
  25.  請求項19から24のいずれか一項に記載の監視方法において、
     前記監視装置が、
     前見守り対象の人の位置情報をさらに取得し、
     前記位置情報が基準を満たしたときに上記処理を実行する、監視方法。
  26.  請求項25に記載の監視方法において、
     前記監視装置が、
     前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視方法。
  27.  請求項19から26のいずれか一項に記載の監視方法において、
     前記監視装置が、
     検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付け、
     前記顔画像の登録を受け付けた前記人の前記顔画像を登録する、監視方法。
  28.  コンピュータに、
     見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶する手順、
     前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する手順、
     前記検出する手順の検出結果を用いて、所定の出力を行う手順、
    を実行させるためのプログラム。
  29.  請求項28に記載のプログラムにおいて、
     前記見守り対象として、同一のグループに属する人の特徴量を関連付けて前記特徴量記憶手段に記憶させる手順、
     前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する手順、をコンピュータに実行させるためのプログラム。
  30.  請求項28または29に記載のプログラムにおいて、
      前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持さたれときに前記所定の出力を行う手順をコンピュータに実行させるためのプログラム。
  31.  請求項28から30のいずれか一項に記載のプログラムにおいて、
     前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かをさらに判定する手順、
     前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する手順、をコンピュータに実行させるためのプログラム。
  32.  請求項31に記載のプログラムにおいて、
      前記所定のリストは、グループ別または個人別に作成されている、プログラム。
  33.  請求項28から32のいずれか一項に記載のプログラムにおいて、
     複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する手順をコンピュータに実行させるためのプログラム。
  34.  請求項28から33のいずれか一項に記載のプログラムにおいて、
     前見守り対象の人の位置情報をさらに取得する手順、
     前記位置情報が基準を満たしたときに上記処理を実行する手順、をコンピュータに実行させるためのプログラム。
  35.  請求項34に記載のプログラムにおいて、
     前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する手順をコンピュータに実行させるためのプログラム。
  36.  請求項28から35のいずれか一項に記載のプログラムにおいて、
     検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける手順、
     前記顔画像の登録を受け付けた前記人の前記顔画像を登録する手順をコンピュータに実行させるためのプログラム。
PCT/JP2020/003213 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム WO2021152736A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021573696A JP7428191B2 (ja) 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム
PCT/JP2020/003213 WO2021152736A1 (ja) 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム
US17/795,311 US20230050235A1 (en) 2020-01-29 2020-01-29 Surveillance system, surveillance apparatus, surveillance method, and non-transitorycomputer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003213 WO2021152736A1 (ja) 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2021152736A1 true WO2021152736A1 (ja) 2021-08-05

Family

ID=77078711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003213 WO2021152736A1 (ja) 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230050235A1 (ja)
JP (1) JP7428191B2 (ja)
WO (1) WO2021152736A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141657A (ja) * 2001-11-01 2003-05-16 Takeshi Ikeda 防犯システム
JP2008204219A (ja) * 2007-02-21 2008-09-04 Sharp Corp 防犯システム、それに用いる不審者検出装置及び防犯サーバ
WO2014171061A1 (ja) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラ制御装置、カメラ制御方法およびカメラ制御システム
JP2018125587A (ja) * 2017-01-30 2018-08-09 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019149641A (ja) * 2018-02-26 2019-09-05 グローリー株式会社 監視システム、監視方法及び監視プログラム。
JP2020017155A (ja) * 2018-07-27 2020-01-30 株式会社システック 携帯飛行監視端末、監視装置および監視方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507661B (zh) * 2013-07-03 2015-11-11 Faraday Tech Corp 影像監控系統及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141657A (ja) * 2001-11-01 2003-05-16 Takeshi Ikeda 防犯システム
JP2008204219A (ja) * 2007-02-21 2008-09-04 Sharp Corp 防犯システム、それに用いる不審者検出装置及び防犯サーバ
WO2014171061A1 (ja) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラ制御装置、カメラ制御方法およびカメラ制御システム
JP2018125587A (ja) * 2017-01-30 2018-08-09 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019149641A (ja) * 2018-02-26 2019-09-05 グローリー株式会社 監視システム、監視方法及び監視プログラム。
JP2020017155A (ja) * 2018-07-27 2020-01-30 株式会社システック 携帯飛行監視端末、監視装置および監視方法

Also Published As

Publication number Publication date
JPWO2021152736A1 (ja) 2021-08-05
US20230050235A1 (en) 2023-02-16
JP7428191B2 (ja) 2024-02-06

Similar Documents

Publication Publication Date Title
US11785458B2 (en) Security and public safety application for a mobile device
WO2020152851A1 (ja) デジタルサーチ・セキュリティシステム、方法及びプログラム
US9084103B2 (en) Analytic and tracking systems and methods using over-the-air identifiers of mobile devices
US9843911B2 (en) Remotely activated monitoring service
US9972324B2 (en) Personal assistant application
US9538384B2 (en) Method and apparatus for a device management application
US11062160B2 (en) Person monitoring system and person monitoring method
US9706380B1 (en) Providing emergency notification and tracking data from a mobile device
US11373499B2 (en) Rescue system and rescue method, and server used for rescue system and rescue method
KR101981900B1 (ko) 얼굴 인식 기술을 이용한 안전 관리 시스템 및 그 방법
CN114153343A (zh) 一种健康码显示方法及电子设备
JP2016119054A (ja) コンテンツ提供方法、プログラム及び計算処理システム
WO2017201874A1 (zh) 终端丢失提示方法及装置
US20180068546A1 (en) Wandering notification server and wandering notification system
JP2016122300A (ja) 画像処理装置、画像処理方法、およびプログラム
CN110246292B (zh) 家庭视频监控方法、装置及存储介质
JP2015233204A (ja) 画像記録装置及び画像記録方法
WO2021152736A1 (ja) 監視システム、監視装置、監視方法、およびプログラム
JP2012124658A (ja) 特定人物検知システムおよび検知方法
JP5115572B2 (ja) カメラ管理サーバ、防犯サービス管理方法および防犯サービス管理プログラム
JP2008021112A (ja) 防犯システム、端末装置及び防犯方法
JP6695844B2 (ja) 連絡情報管理装置、連絡情報管理方法、連絡情報管理システム、及びプログラム
KR102286418B1 (ko) 사용자 참여형 보안 감시 서비스 제공 장치 및 그 동작방법
KR101926191B1 (ko) 증강현실을 이용한 정보 제공 장치 및 방법
GB2536153A (en) Tracking systems and methods using over-the-air identifiers of mobile devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916967

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021573696

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916967

Country of ref document: EP

Kind code of ref document: A1