WO2020174634A1 - デジタルアキュレート・セキュリティシステム、方法及びプログラム - Google Patents
デジタルアキュレート・セキュリティシステム、方法及びプログラム Download PDFInfo
- Publication number
- WO2020174634A1 WO2020174634A1 PCT/JP2019/007706 JP2019007706W WO2020174634A1 WO 2020174634 A1 WO2020174634 A1 WO 2020174634A1 JP 2019007706 W JP2019007706 W JP 2019007706W WO 2020174634 A1 WO2020174634 A1 WO 2020174634A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- person
- dimensional
- security
- image
- detected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/008—Alarm setting and unsetting, i.e. arming or disarming of the security system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
Definitions
- the present invention relates to a digital accurate security system, method, and program for taking a crime prevention by photographing a security area with a surveillance camera.
- Patent Document 1 describes that "two cameras are provided, and an intruding object is detected based on three-dimensional information of a gazing area". The technique of Patent Document 1 detects an object that has entered the gaze area based on the change state of three-dimensional information.
- Patent Document 2 describes that "a distance to an object is detected by a time difference from light projection to light reception and a three-dimensional warning area and a three-dimensional monitoring area are set".
- the technique of Patent Document 2 monitors the behavior of an object in a caution area and a surveillance area by a plurality of distance images output from a distance image sensor over time, and discriminates the type of the object from the behavior of the object. is there.
- An object of the present invention is to provide a digital accurate security system, method and program capable of detecting a three-dimensional position at a low cost and establishing a high degree of security.
- the digital accurate security system includes a photographing means for photographing an image of a three-dimensional security area, two-dimensional positions of the image photographed by the photographing means, and three photographed by the photographing means.
- Projection storage means for storing each position in the dimensional space in association with each other, person detection means for detecting a person from the image photographed by the photographing means, and two-dimensional position of the person detected by the person detection.
- the projection inverse transformation means for detecting the position of the person in the three-dimensional space by the projection storage means, and the position of the person in the three-dimensional space detected by the projection inverse transformation means It is characterized in that it is provided with reporting means for reporting the presence of a suspicious person in response to being in the three-dimensional security area.
- the reporting means determines the presence of a suspicious individual based on the temporal history of the detected position of the person in the three-dimensional space, and reports the presence of the suspicious individual, so that the intruder's 3 The dimensional position can be determined.
- an intruder can be used as an index indicating the size of the person based on information that does not change much depending on the age or sex of the person and does not depend on individual differences.
- the three-dimensional position of the can be determined.
- the reporting means can respond to intrusion crimes more quickly according to the risk level. Also, it is possible to send telops according to the degree of risk and to notify related organizations.
- the notifying means notifies the degree of danger based on the movement of the suspicious person, so that the movement of the suspicious person can be added to the determination condition and the degree of risk can be determined more accurately, and high-level security can be established.
- the notifying means does not report the person who possesses the ID terminal detected by the ID terminal detecting means. It is possible to detect smartphones of family members and related persons and exclude them from suspicious persons, reduce unnecessary reports and implement effective monitoring. Further, it is possible to reduce the resources for monitoring and reduce the cost.
- An ID terminal registration unit for registering an ID (Identification) terminal possessed by a non-intruder is provided, and the reporting unit does not report the person who owns the ID terminal registered by the ID terminal registration unit. It is possible to register visitor IDs and exclude them from suspicious persons, reduce unnecessary notifications, and implement effective monitoring. Further, it is possible to reduce the resources for monitoring and reduce the cost.
- a photographing step of photographing an image of a three-dimensional security area, two-dimensional positions of the image photographed by the photographing step, and the photographing step are performed.
- the projection inverse transforming step of detecting the position of the person in the three-dimensional space by the projection storing step, and the inside of the three-dimensional space of the person detected by the projection inverse transforming step.
- the present invention provides a computer, in a three-dimensional space photographed by the photographing means, a photographing means for photographing an image of a three-dimensional security area, each two-dimensional position of the image photographed by the photographing means.
- the projection storage means for storing each position in association with each other, the person detecting means for detecting a person from the image photographed by the photographing means, the two-dimensional position of the person detected by the person detection and the person Based on the size, the projection inverse transforming means for detecting the position of the person in the three-dimensional space by the projection storing means, and the position of the person in the three-dimensional space detected by the projection inverse transforming means are three-dimensional. It is a program for functioning as a digital accurate security system provided with a reporting means for reporting the presence of a suspicious person in response to being in the security area.
- one camera can detect the three-dimensional position of a suspicious person at low cost and establish a high level of security.
- FIG. 3 is a block diagram of a control unit of the digital accurate security system according to the exemplary embodiment of the present invention. It is the block diagram which shows the whole which uses the digital accurate security system which relates to the form of execution of this invention. It is a figure which shows the security application operation of the digital accurate security system which concerns on embodiment of this invention. It is a flowchart which shows the security mode setting process of the digital accurate security system which concerns on embodiment of this invention. It is a figure which shows the example of the security in the private residence of the digital accurate security system which concerns on embodiment of this invention.
- 25 is a flowchart showing an operation of the digital accurate security system in the application example 3 of FIG. 23.
- 9 is a flowchart showing a process of notifying a user according to a degree of caution in the application example 4 of the digital accurate security system according to the exemplary embodiment of the present invention.
- FIG. 1 is a block diagram showing the configuration of a digital accurate security system according to an embodiment of the present invention.
- the present digital accurate security system is suitable for application to businesses such as residences, corporate offices, factories, research laboratories, information processing rooms, and monetary accounting rooms that require advanced management.
- the digital accurate security system 1000 includes one surveillance camera 11 (imaging means) installed in each of the security areas, a motion sensor 20, and Wi- installed in the security area.
- a Fi (Wireless Fidelity) terminal hereinafter referred to as “Wi-Fi master device”) 30, a beacon master device 40, a mobile terminal device 50 (ID (Identification) terminal) carried by a related person (family), and the entire system.
- the monitoring apparatus 100 which controls and AI (Artificial Intelligence: Artificial Intelligence) accelerator (Accelerator) 200 (human detection means) are provided.
- the security area is a security area (security target area), and includes, for example, a site, a front door/veranda for a residence, and an elevator hall/veranda/window for an office.
- the monitoring device 100 is installed in the security area, but may be installed outside via a network (not shown). When the monitoring device 100 is installed in a server on the network, a plurality of security areas can be monitored.
- the surveillance camera 11 captures an image (two-dimensional) of a security area specified in three dimensions.
- a part or all of the surveillance camera 11 is a PTZ camera having a PTZ (pan/tilt/zoom) function, and is remotely operated by the surveillance device 100.
- the surveillance cameras 11 are installed around the outer wall of the security target building that is to be guarded, for example, at entrances and exits through which intruders can enter and exit, window openings, site perimeters, and site areas.
- the image captured by the monitoring camera 11 is output to the monitoring device 100 and recorded in the recording unit 160.
- the human sensor 20 is a thermo camera, an infrared camera, or the like, and detects the temperature of a sensing target in the security area to detect a suspicious person in the security area.
- the Wi-Fi master device 30 uses Wi-Fi to exchange information with the Wi-Fi slave device 51 of the portable terminal device 50. Further, the Wi-Fi base unit 30 can acquire position information by Wi-Fi positioning, that is, position information using a Wi-Fi access point and a predetermined position information service.
- BLE Bluetooth Low Energy
- the BLE is configured by a combination of a beacon master device 40, which is a beacon device on the transmission side, and an application (corresponding to a beacon slave device 52 described later) of the mobile terminal device 50 that supports radio wave reception from the beacon master device 40.
- BLE transmits unique ID information necessary for identification, and only reacts to the application associated with the ID information of the mobile terminal device 50.
- the application of the mobile terminal device 50 registers the same identifier as that of the beacon master device 40.
- the application (beacon slave device 52) of the mobile terminal device 50 stands by in the background by executing the application equipped with the BLE function, and excites a predetermined action when it approaches the beacon of the beacon master device 40.
- the mobile terminal device 50 is carried by a family member or the like.
- the mobile terminal device 50 is, for example, a smartphone 50a, a tablet 50b, a notebook computer 50c, or the like.
- the mobile terminal device 50 is a mobile phone, a PHS (Personal Handy-Phone System), a PDA (Personal Digital Assistants), a dedicated terminal, or the like.
- the mobile terminal device 50 can be used by a family member at various places (that is, the current position), and receives a video or the like including a mail or a video from the monitoring device 100 via a telephone line (not shown). It is possible.
- the mobile terminal device 50 is assumed to use the smartphone 50a (ID terminal), and each individual can use it at various places (that is, current positions).
- One of the mobile terminal devices 50 is arranged in a security company (not shown).
- the smartphone 50a has a digital accurate security application (hereinafter referred to as "security application”). If the security application is activated in the background processing of each application, for example, via the communication carrier network (fixed network), the web service cloud 300 (see FIG. 3 below), or the Internet 303 (see FIG. 3 below). , Can connect to the cloud server 301 on the web service cloud 300 (see FIG. 3 described later), and can receive a telop regarding a suspicious person from the cloud server 301. The smartphone 50a can notify the telop that detects a suspicious person on the standby screen or the like.
- security application a digital accurate security application
- the smartphone 50a includes a Wi-Fi individual identification device (hereinafter referred to as “Wi-Fi slave device”) 51 and a GPS 53 that captures the position of a person involved.
- the smartphone 50a may include the beacon child device 52.
- the smartphone 50a may include any one of the Wi-Fi slave device 51, the beacon slave device 52, and the GPS 53.
- the Wi-Fi slave device 51 receives and individually identifies the radio waves of the Wi-Fi master device 30 installed in the business facility.
- the monitoring device 100 stores the placement information of the Wi-Fi base unit 30 installed in the facility as safety-related information.
- the Wi-Fi slave device 51 comes close to the Wi-Fi master device 30, it is possible to determine the ID and position of the person who carries the mobile terminal device 50.
- the beacon slave device 52 is an application of the mobile terminal device 50 that supports reception of radio waves from the beacon master device 40.
- the beacon master device 40 transmits a beacon (unique ID information necessary for identification), and the application (beacon slave device 52) of the mobile terminal device 50 excites a predetermined action when it approaches the beacon of the beacon master device 40. To do.
- the GPS 53 receives a radio wave of position information from a GPS satellite or the like.
- the GPS 53 obtains the position information by calculating the current position information as three parameters of latitude, longitude and altitude from the information received via the GPS antenna.
- the acquired position information is transmitted to the monitoring device 100 in a timely manner.
- an example using a GPS satellite is shown as a means for acquiring position information, but a method other than GPS that uses a positional relationship with a base station may be used.
- a method other than GPS that uses a positional relationship with a base station may be used.
- an Android (registered trademark) smartphone or a high-performance mobile phone with a camera is used as the mobile terminal device 50 that is a mobile terminal
- a base station and a mobile phone communication network may be used instead of or in combination with the GPS 53.
- position information acquisition by Wi-Fi positioning that is, position information acquisition using a Wi-Fi access point and a predetermined position information service may be used.
- the monitoring device 100 is installed in a residence of a person concerned (family, for example) and centrally manages the security area.
- the monitoring device 100 may be a general server computer, a personal computer, or the like.
- the monitoring device 100 includes a control unit 110, an input unit 120, a storage unit 130, a projection storage unit 135 (projection storage unit), a display unit 140, an output unit 150, a recording unit 160 (recording unit), A face information DB (database) 165, an image processing unit 170, an interface (I/F) unit 180, and a communication unit 190 are provided, and each unit is connected by a bus 195.
- control section 110 reads each program from the ROM as needed, loads the program into the RAM, and executes each function (described later).
- Each program may be stored in the storage unit 130 in advance, or may be loaded into the monitoring device 100 when necessary via another storage medium or communication medium.
- the control unit 110 is composed of a CPU (Central Processing Unit) and the like, controls the entire monitoring device 100, executes a control program, and functions as a digital accurate security system. The detailed configuration of the control unit 110 will be described later.
- CPU Central Processing Unit
- the input unit 120 is an input device such as a keyboard, a mouse, a touch panel provided on the screen of the display unit 140, and a microphone for the user of the monitoring apparatus 100 to input an instruction.
- the storage unit 130 includes a memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an EEPROM (Electrically Erasable Programmable Read-Only Memory), and stores various data and programs used by the control unit 110.
- the storage unit 130 stores a still image or a moving image received from the surveillance camera 11, various data and programs used by the control unit 110, and the like.
- the projection storage unit 135 stores the two-dimensional positions of the image captured by the surveillance camera 11 and the respective positions in the three-dimensional space captured by the surveillance camera 11 in association with each other.
- the projection storage unit 135 stores the shapes defined in the three-dimensional space in association with each other by the projection conversion for projecting the shapes on the two-dimensional surface.
- the projection storage unit 135 may use a part of the memory area of the storage unit 130.
- the display unit 140 displays the operation status of the monitoring device 100, an image received from the monitoring camera 11, a GUI (Graphical User Interface) for operating the monitoring device 100, and the like.
- GUI Graphic User Interface
- the output unit 150 is, for example, an audio interface and outputs a sound signal from the monitoring device 100 to the sound system 158 in the security area.
- an audio signal output from the monitoring device 100 to the acoustic system 158 for example, an audio signal input from an audio input device such as a microphone provided in the input unit 120 or music data stored in the storage unit 130 is controlled by the control unit. It may be an audio signal reproduced by 110.
- the sound system 158 includes an amplifier and a plurality of speakers arranged on the premises, and outputs a signal input from the monitoring device 100 to the premises.
- the recording unit 160 is configured by an external storage device such as an HDD (Hard Disk Drive), and records the image in the security area taken by the surveillance camera 11.
- the recording unit 160 records with high image quality for a predetermined short time after shooting, converts to low image quality after the predetermined short time, and records up to a predetermined long time.
- the face information DB 165 stores face images (face information) of suspicious persons, store personnel, and the like.
- the basic data such as the face of the person registered in the face information DB 165 is obtained from the head office, the head office or the security company (not shown) via the I/F unit 180, and the face information DB 165 is constructed. Further, information can be exchanged with a head office, a head office, a security company, or the like (not shown) to update the mutual face information DB with the latest face image (face information).
- the image processing unit 170 is configured by a DSP (Digital Signal Processor) or the like, and performs predetermined processing on the received image.
- the predetermined processing includes contour extraction, image resizing, or resolution conversion processing.
- the image captured by the surveillance camera 11 for one second is, for example, five frames, it will be a 1/5 second image, a 2/5 second image, a 3/5 second image, a 4/5 second image, or a 5/5 second image.
- the size of the moving object can be known by inputting the outline shape line of the object in the movement of 10 images.
- the image processing unit 170 processes the image data captured by the surveillance camera 11 and outputs an image in the security area.
- the I/F unit 180 connects the surveillance cameras 11 arranged in the security area to the surveillance device 100. Further, the I/F unit 180 connects to a headquarters, a head office, a security company, or the like (not shown) through a network or a dedicated line.
- the communication unit 190 transmits/receives data to/from the mobile terminal device 50 via the base station.
- the communication unit 190 has a wireless communication function and is connected to the control board using, for example, a UART (Universal Asynchronous Receiver Transmitter).
- FIG. 2 is a block diagram of the control unit 110 of the digital accurate security system according to the embodiment of the present invention.
- the control unit 110 is configured by a CPU (Central Processing Unit) and the like, controls the entire monitoring device 100, executes a control program, and functions as a digital accurate security system.
- the control unit 110 includes a person detection unit 111 (person detection unit), a projection inverse conversion unit 112 (projection inverse conversion unit), an ID terminal detection unit 113 (ID terminal detection unit), and an ID terminal registration unit 114 (ID. A terminal registration unit) and a reporting unit 115 (reporting unit).
- the control unit 110 determines that the suspicious individual has invaded a specific three-dimensional area (within the security area) in response to the inverse projection transformation performed by the projection inverse transformation unit 112.
- the control unit 110 determines the size of the person based on the size of the person's head or the like. The control unit 110 determines the risk level based on the position of the suspicious person. The control unit 110 determines the degree of risk based on the movement of the suspicious individual.
- the control unit 110 excludes a person who possesses the ID terminal detected by the ID terminal detection unit 113 from a suspicious person.
- the control unit 110 excludes from the suspicious person the person who possesses the registered ID terminal registered by the ID terminal registration unit 114.
- the person detection unit 111 detects a person from the image captured by the surveillance camera 11 and detects the size of the person. Specifically, the person detection unit 111 detects a person in the security area by using the AI accelerator 200 (described later). The person detection unit 111 issues a person detection request to the AI accelerator 200, and the AI accelerator 200 executes AI calculation by means other than the CPU and sends the person detection result to the person detection unit 111. Since high speed is required for human detection, the AI accelerator 200 is used for human detection.
- the digital accurate security system 1000 detects an intruder in the security area by detecting a person using the AI accelerator 200.
- the digital accurate security system 1000 is extremely expensive compared with the conventional image recognition by the moving object detection type surveillance camera using the image difference, in particular, by only monitoring the person. It is possible to detect an intruder with accuracy.
- the person detection unit 111 detects a person using the AI accelerator 200, but the person may be detected by the thermo camera (or the motion sensor 20). That is, the human sensor 20 detects the temperature in the security area. Then, the human detection unit 111 detects the presence of a person (suspicious person candidate) by the presence sensor 20 detecting the body temperature of the person and the monitoring camera 11 detecting a change in the captured image.
- the person detection unit 111 may combine person detection using the AI accelerator 200 and person detection using a thermo camera (or a human sensor).
- a thermo camera or a human sensor
- the AI accelerator 200 is used for entrances, balconies, and windows that require high-speed human detection, and thermostats are used for sites where high-speed human detection is not required and the external boundaries.
- the projection inverse transformation unit 112 uses the projection storage unit 135 to determine the inside of the three-dimensional space of the person based on the two-dimensional position of the person detected by the person detection and the size of the person (in particular, the size of the head of the person). Detect the position of. Specifically, the projection inverse transformation unit 112 detects the three-dimensional position by performing the inverse transformation of the projection transformation from the image of one surveillance camera 11 (described in detail in FIG. 9).
- the ID terminal detection unit 113 detects an ID (Identification) terminal carried by a non-intruder.
- the ID terminal registration unit 114 registers an ID terminal owned by a visitor or the like.
- the reporting unit 115 reports the presence of the suspicious individual in response to the fact that the position of the person in the three-dimensional space detected by the projection inverse transformation unit 112 is within the three-dimensional security area. Furthermore, it is desirable that the reporting unit 115 determine the presence of a suspicious person based on the temporal history of the detected position of the person in the three-dimensional space, and report the presence of the suspicious person (described in detail in FIG. 12).
- the AI accelerator 200 is a dedicated processor that detects a person, and uses calculation resources other than the CPU.
- the AI accelerator 200 is, for example, an accelerator for image processing by a processor in which a GPU (Graphics Processing Unit) is strengthened and signal processing using an FPGA (Field Programmable Gate Array). Further, the AI accelerator 200 executes AI (Artificial Intelligence) calculation on a dedicated hardware (for example, GPU).
- AI Artificial Intelligence
- the AI accelerator 200 which is a human detection processor, is used to obtain about 10 times the performance of the computer processing by the PC, and the intrusion detection is quickly performed. Further, in the present embodiment, the AI accelerator 200, which is dedicated hardware, is entrusted with the calculation of the AI having a high calculation load. As a result, it was verified that even a configuration using a commercially available camera and an inexpensive device can detect a suspicious behavior in real time and register a suspicious person.
- FIG. 3 is a block diagram showing an entire configuration using the digital accurate security system according to the embodiment of the present invention.
- the digital accurate security system 1000 actively cooperates with the cloud server (commercial server) 301 and the cloud server 301 that provide the digital accurate security service on the web service cloud 300.
- It has a Push notification server 302 that acquires information and notifies the smartphone 50a (mobile terminal device; ID terminal) of the user.
- the web service cloud 300 is connected to the internet 303.
- the smartphone 50a can send texts and images to the cloud server 301 on the web service cloud 300 via the Internet 303.
- the smartphone 50a receives the Push notification from the Push notification server 302 via the Internet 303.
- the cloud server 301 and the Push notification server 302 connect to the smartphone 50a equipped with the security application via a communication carrier network (fixed network) (not shown) such as an LTE/3G network.
- a communication carrier network fixed network
- the digital accurate security system 1000 detects intrusion of a suspicious person into the premises and sends a push notification to the smartphone 50a possessed by the person/family.
- the security application is activated to display the zoom screen of the suspicious person, and a telop "A suspicious person is detected at the 1F entrance" is played.
- the content is read aloud.
- the notification of the suspicious person is given by the telop and the voice on the screen of the smartphone 50a.
- the operation of the user of the smartphone 50a notifies relevant organizations (police/fire department) to, for example, an emergency. In this case, the security company and the affiliated company headquarters are automatically notified. If there is no urgency or if you want to confirm, notify only the security company.
- FIG. 4 is a diagram showing a security application operation of the digital accurate security system according to the exemplary embodiment of the present invention.
- a telop that detects a suspicious person is notified on a standby screen or the like of the smartphone 50a.
- the display of the smartphone 50a is switched to the security application operation display, the zoom screen of the suspicious individual is displayed, and the position and the situation of the suspicious individual "suspicious individual at the 1F entrance" are displayed. ..
- this telop is read aloud automatically.
- the display of the smartphone 50a is displayed on four time-series screens as shown in the right side of FIG.
- FIG. 5 is a flowchart showing a security mode setting process of the monitoring device 100 of the digital accurate security system. This flow is executed by the control unit 110 (see FIG. 2) of the monitoring device 100.
- step S1 a security mode is defined.
- step S2 the security mode is changed depending on the time.
- step S3 it is determined whether or not a change in the security mode has been received from the smartphone 50a (mobile terminal device 50).
- step S3: Yes the security is executed in the security mode instructed in step S4.
- step S3: No the security mode by time is executed in the defined security mode.
- FIG. 6 is a diagram showing an example of security in a private house.
- Digital Accurate Security System provides individual homes with security systems for homes and offices/stores/financial institutions. The main functions are as follows. Security modes (security in room, security out, etc.) are defined, and a security function is provided according to the security mode. It has a function to change the security mode depending on the time. An intruder is detected and registered from the image of the surveillance camera 11 installed around the house outdoors. The risk level (attention level, urgency level) of the detected intruder is determined, and the user is notified according to the risk level (attention level, urgency level). The security mode is changed from outside using the smartphone 50a using BLE. A warning is given to the intruder through the smartphone 50a or the speaker of the surveillance camera.
- Security modes security in room, security out, etc.
- a security function is provided according to the security mode. It has a function to change the security mode depending on the time.
- An intruder is detected and registered from the image of the surveillance camera 11
- FIG. 7 is a diagram showing an example of security in an apartment house.
- security mode and provide security function according to security mode. It has a function to change the security mode depending on the time.
- An intruder is detected and registered from the image of the surveillance camera 11 installed on the outer periphery of the living area.
- the risk level (attention level, urgency level) of the detected intruder is determined, and the user is notified according to the risk level (attention level, urgency level).
- the security mode is changed from outside using the smartphone 50a using BLE. A warning is given to the intruder through the smartphone 50a or the speaker of the surveillance camera.
- 8A and 8B are flowcharts showing digital accurate security processing of the digital accurate security system. This flow is executed in the “security mode” set in FIG. 5 by the control unit 110 (see FIG. 2) of the monitoring device 100.
- step S11 an image of a security area (specific area) specified in three dimensions is captured.
- the monitoring camera 11 is, for example, a PTZ camera, and is remotely operated by the monitoring device 100.
- the image captured by the monitoring camera 11 is output to the monitoring device 100.
- step S12 the person detection unit 111 of the control unit 110 detects a person from the image captured by the surveillance camera 11.
- the human detection unit 111 requests the AI accelerator 200 for “human detection processing”, and the human detection unit 111 waits for a human detection result from the AI accelerator 200.
- the human detection unit 111 may also use human detection by a thermo camera (or the human sensor 20) in combination.
- control unit 110 determines whether or not a person is detected in the image captured by surveillance camera 11. When a person is detected in the image taken by the surveillance camera 11 (step S13: Yes), the process proceeds to step S14. When no person is detected in the image captured by the surveillance camera 11 (step S13: No), this flow ends.
- step S14 the control unit 110 determines whether or not the person who has the ID terminal (the mobile terminal device 50; the smartphone 50a) detected by the ID terminal detection unit 113 (the person who has a predetermined ID such as family). To determine. The control unit 110 excludes the person who possesses the ID terminal detected by the ID terminal detection unit 113 from the suspicious person (step S14: Yes), and proceeds to step S15.
- control unit 110 determines whether or not the person has the ID terminal (ID of a visitor or the like) registered by ID terminal registration unit 114.
- the control unit 110 excludes a person who has registered an ID terminal (ID of a visitor or the like) from a suspicious person (step S15: Yes), and proceeds to step S16. In this way, when the family or the like has the ID terminal or when the ID terminal of the visitor or the like is registered in advance, the subsequent processing is skipped to speed up the processing.
- step S16 the projection inverse transformation unit 112 of the control unit 110 detects the position of the person in the three-dimensional space by the projection storage unit 135 based on the two-dimensional position of the person and the size of the person detected by the person detection.
- the size of the person may be height, but the size of the person's head is preferable.
- the size of a person's head which does not change much depending on the age or sex of the person, can be used as an index of the size of the person.
- step S17 the control unit 110 determines that a suspicious person is invading because the position of the person in the three-dimensional space detected by the projection inverse transformation unit 112 is within the three-dimensional security area. For example, it is possible to detect a case where the vehicle intrudes from the roof of the parking lot of the next house over the fence.
- control unit 110 determines the degree of intrusion risk based on the position of the suspicious individual and/or the movement of the suspicious individual in step S18. If no suspicious person has entered the security area, the process of this flow ends.
- the risk level (attention level, urgency level) can be determined even based on the movement of the suspicious individual.
- the movement of the suspicious person is, for example, the movement of the eyes and the movement of the neck (detailed later). When the movement of the suspicious person is unnatural, it can be determined that the risk level (attention level, urgency level) is high.
- the notification unit 115 makes a notification according to the risk level (attention level, urgency level).
- the information regarding the suspicious individual is transmitted to the smartphone 50a of the related person.
- a message or mark indicating the degree of danger, a highlighted character, and a color code are attached according to the degree of danger of intrusion crime (classification of the degree of danger).
- the report destination is changed according to the degree of danger or urgency. For example, when an intruder (suspicious person) invades from the roof of the parking lot of the next house over the fence, it is determined that the intruder is dangerous and of high urgency, and the telop with the highest urgency regarding the intruder is notified. To do. In addition, police etc.
- This notification is given priority over automatic suspicious person registration processing.
- a telop with a high urgency of intrusion is notified, and when a person is detected outside the yellow belt, a telop with a medium urgency of intrusion is notified (see FIG. 4). ).
- the telop for notifying the presence of the suspicious person is transmitted to the standby screen of the smartphone 50a shown on the left side of FIG.
- the zoom screen of the suspicious individual is displayed, the position and the situation of the suspicious individual “the suspicious individual at the 1F entrance” are displayed, and this telop is read aloud automatically.
- step S20 the control unit 110 registers the information of the suspicious person in the security area in the storage unit 130 and ends the process of this flow. As a result, the intrusion information of the suspicious individual is recorded, which is useful for crime prevention. If no person is detected from the image taken by the surveillance camera 11 in step S13, if the person has an ID terminal such as a family in step S14, or if the ID terminal of a visitor is registered in step S15. If it is the person who did, this flow ends.
- FIG. 9 is a flowchart showing a three-dimensional position detection process by the projection inverse transformation unit 112 of the digital accurate security system.
- the flow of FIG. 9 is the subroutine of step S16 of FIG. 8A.
- the process starts by the subroutine call of step S16, and in step S31, the projection inverse transformation unit 112 reads from the projection storage unit 135 a shape previously defined and stored as a shape projected in the three-dimensional space.
- step S32 the projection inverse transformation unit 112 reads the person size information from the projection storage unit 135.
- step S33 the projection inverse transformation unit 112, based on the two-dimensional image of the person detected in the security area and the size of the person, “projection transformation for projecting the shape defined in the three-dimensional space on the two-dimensional surface”. ”Is inversely transformed.
- the inverse projection transformation unit 112 detects a three-dimensional position by performing inverse transformation of projection transformation from the image of one surveillance camera 11.
- the three-dimensional position can be detected based on the two-dimensional image taken by one surveillance camera 11 and the detected size information of the person. That is, when the transformation for projecting the shape defined in the three-dimensional space onto the two-dimensional surface is called "projection transformation", the projection inverse transformation unit 112 adds the person size information to the detected person information.
- the three-dimensional position can be detected by performing the inverse transformation of the projection transformation (“projection inverse transformation”) from the camera image.
- the projection inverse transformation unit 112 outputs the inverse transformation result of the projection transformation, and returns to step S16 in FIG.
- the digital accurate security system 1000 has two types of intrusion detection/registration function on the premises: a technique for determining intrusion in a plane, a technique for determining intrusion in a face, and a technique for detecting a face in a plane. , One or a combination of techniques for verifying intrusion over time is used. The details will be described below.
- To detect a suspicious person first determine from the camera image whether a person has entered the site. After this determination, whether the person is a suspicious person is verified, and registration/notification is made.
- the inside of the site boundary is classified into the following three types according to the degree of risk.
- ⁇ Security yellow belt For example, a zone of 30 cm inside the site boundary (up to 3 m, 4 m)
- ⁇ Security orange zone Between security yellow belt and security red belt
- ⁇ Security red belt Area within 30 cm (up to 3 m, 4 m) horizontal from the wall of the house
- the security yellow belt (hereinafter referred to as Y in the figure) is in an early warning level. Invasion into this part is notified with a yellow degree of danger, but by adding three-dimensional and four-dimensional additional information for verification and notifying if there is intrusion as a result of verification, the accuracy of detection and early detection Can be dealt with. Further, the security red belt (hereinafter, indicated by R in the figure) is at a level at which notification is required immediately if there is an intrusion into the area.
- FIG. 10 is a diagram showing an example of intruder detection on a plane, where the left side of FIG. 10 shows a normal state on the plane and the right side of FIG. 10 shows an abnormal state on the plane.
- a security yellow belt is set inside the boundary of the site, and a security red belt is set so as to surround the wall surface of the house having the entrance door and the window across the security zone.
- a security red belt is set so as to surround the wall surface of the house having the entrance door and the window across the security zone.
- an abnormal state in a plane is shown. An intruder has invaded beyond the security yellow belt to the outside of the security red belt.
- the inclusive relationship between the intruder and the boundary is evaluated. For example, as shown by a symbol a on the right side of FIG. 10, if the surveillance camera 11 shoots at 10 frames/second, a moving body intruded is detected from the image of 10 frames (see the frame on the right side of FIG. 10). Calculate the position on the plane. If the intruder is certainly detected within the 10 frames (5 frames for a surveillance camera with 5 frames per second), it is determined that there is a possibility of an intruder.
- FIG. 11 is a diagram showing an example of intruder detection on an elevation, where the left side of FIG. 11 shows a normal state on the elevation side and the right side of FIG. 11 shows an abnormal state on the elevation side.
- a security yellow belt is set inside the boundary of the site, and a security red belt is set so as to surround the wall surface of the house across the security zone.
- the height is evaluated from the image of the surveillance camera 11. Evaluate whether this height is a standard human height. For example, the number of images per second of the surveillance camera 11 is evaluated, as indicated by the symbol b on the right side of FIG. 11. Certainly the intruder is determined to be human.
- the projection inverse transformation unit 112 determines the two-dimensional position and the size of the person detected by the person detection in step S16 of FIG. 8 described above. Based on this, the projection storage unit 135 detects the position of the person in the three-dimensional space. Then, in step S17 of FIG. 8, the control unit 110 determines that the position of the person in the three-dimensional space detected by the projection inverse transformation unit 112 is within the three-dimensional security area, and determines the intrusion of a suspicious person. It corresponds to the processing. In the example of FIG. 11, it is detected that an intruder invades beyond the security yellow belt. Intruder detection on the elevation eliminates animal intrusion and false detection of motion due to planting wind.
- FIG. 12 is a diagram showing an example of intruder verification by time.
- the left side of FIG. 12 shows a normal state in time and the right side of FIG. 12 shows an abnormal state in time.
- the digital accurate security system 1000 repeats the evaluation of the obtained intruder detection every second by the intruder detection on the elevation.
- the intruder is walking on the security yellow belt.
- the digital accurate security system 1000 determines that the intruder has certainly intruded in response to the intrusion being continuously detected on the security yellow belt.
- FIG. 13 is a diagram showing an example of mapping a site boundary to a camera image.
- the left side of FIG. 13 shows a plan view of the site boundary, and the right side of FIG. 13 shows an example of mapping the site boundary to a camera image.
- Mapping is a technique for combining an image generated by CG (computer graphics) with a photographic image. When compositing, the CG can be naturally superimposed and composited on the photographic image by transmitting the background part of the CG.
- a surveillance camera when installing a surveillance camera (see the X mark on the left of Fig. 13), create a plan view of the warning area (outline shape such as the boundary of your home site) accurately. It also gives the installation position, height and orientation (roll, pitch, yaw information) of the surveillance camera. The roll, pitch, and yaw represent the rotation angle of the line of sight in the three-dimensional space.
- the right part of FIG. 13 shows an example in which the image of the surveillance camera indicated by the symbol d on the left part of FIG. 13 is mapped.
- the position information of the caution area is subjected to projection conversion and clipping with a viewport from the parameters of the camera to find out where in the image obtained from the surveillance camera the site is located (see the right side of FIG. 13).
- the viewport represents a two-dimensional limit when recognizing a three-dimensional space as two-dimensional. This corresponds to the range that appears in a photograph taken with a surveillance camera.
- the viewport represents the range that can be captured by the surveillance camera.
- the above clipping refers to a process of cutting out an object such as computer graphics represented by three-dimensional data into a viewport size.
- ⁇ Technology for determining elevation intrusion Size comparison with pre-registered object> Known heights of gates, car heights, vegetation heights, and person heights (head size, upright height, squat height, etc.) within the premises of the mapped security area. Compare the size of a person).
- FIG. 14 is a figure explaining the example which registers the height of what exists in the site beforehand.
- the height of the gate, the height of the car, and the height of the vegetation in the site which is the mapped security area are registered.
- the reference size that a person has that is, the height of the person (the size of the known person such as the size of the head, the upright height, and the squatting height) is stored in the projection storage unit 135 in advance. I'll do it.
- the intruder is determined by the image of.
- the projection inverse transformation unit 112 defines the shape projected in advance in the three-dimensional space from the projection storage unit 135 in steps S31 and S32 of FIG. 9 described above. Then, the projected shape and the size information of the person stored in memory are read. Then, in step S33, the three-dimensional position is detected by performing the inverse transformation of the projection transformation from the image of one surveillance camera 11 based on the two-dimensional image of the person detected in the security area and the size of the person. To do.
- FIG. 15 is a diagram illustrating a change in height depending on a human state.
- the symbol e in FIG. 15 indicates an abnormal state in which the height changes.
- Reference numeral f in FIG. 15 indicates objects (gates, etc.) of various heights registered in the projection storage unit 135 (see FIG. 2), and reference numeral g in FIG. 15 indicates the projection storage unit 135 (see FIG. 2).
- the accuracy of the human position and the three-dimensional height to determine the prone posture, sitting posture, mid-waist posture, standing posture, etc. make it possible to correctly represent the thickness and height of each part of the face, body, legs, etc.).
- the height of the human is obtained from the height of the box in the area (primary line) (see the frame in FIG. 14) surrounding the moving body in the image obtained from the surveillance camera.
- FIG. 16 is a diagram for explaining a change in height depending on a human state.
- Reference numeral h in FIG. 16 indicates a state in which the intruder is stopped
- reference numeral i in FIG. 16 indicates a state in which the intruder is slowly moving
- reference numeral j in FIG. 16 indicates a state in which the intruder is moving fast. Shown respectively.
- the digital accurate security system 1000 takes time continuity into consideration.
- the digital accurate security system 1000 evaluates the degree of caution of the detected intruder and notifies the user according to the degree of caution. It corresponds to the above-mentioned “report according to the degree of danger (attention level, urgency level)” in step S19 of the flow of FIG. 8B. Specifically, a determination technique based on the movement of the pupil and a determination technique based on the movement of the neck are used. As a result, the digital accurate security system can evaluate the psychological state of the object, which has been detected to enter the warning area, as the risk level.
- FIG. 17 is a diagram illustrating the determination based on the movement (left and right) of the pupil.
- a face can acquire the position of the eyes, nose and mouth by "Facial Landmark Detection".
- the following techniques determine the location of the pupil.
- FIG. 17 is a diagram illustrating the determination based on the movement of the neck (left and right). A person moves his/her neck when looking over the left and right sides or looking up. This neck movement is expressed in the form of face orientation. If the rectangle containing the points obtained by facial organ detection is the primary line and the rectangle containing the nose and mouth of the eye is the secondary line, the orientation of the face is determined by the distance between the barycentric coordinates of the area surrounded by the primary line and the secondary line. It can be represented numerically as a vector.
- FIG. 17 is a diagram for explaining the determination based on the movement of the neck (up and down).
- This neck movement (up and down) can be determined in the same manner as the neck movement (left and right).
- ⁇ Judgment over time> Only the momentary situation can be understood only by the judgment based on the position of the pupil shown in the upper part of FIG. Therefore, the state is tracked in a short time. For example, if the position information of the eyes is acquired and recorded at 5 or 10 frames per second, and there are mixed situations of right, center, and left, it can be determined that the eyes are moving violently. As a result, the digital accurate security system can determine a state in which it is considered that "a person has violently moved his eyes due to malicious intent", and the state can be registered.
- the movement can be determined by using the change in the movement time of the neck. For example, when the vector changes from the right direction to the left direction or from the upper direction to the lower direction in a short time of 2 seconds, it can be determined that the neck has moved violently. As a result, the digital accurate security system can determine the state considered to be “a person has moved his/her neck violently due to malicious intent”, and can register the state.
- the determination process based on the change in the movement of the pupil and the neck in FIG. 17 will be described later in Application Example 4 in FIG.
- FIG. 18 is a diagram illustrating temporary security release by BLE.
- BLE Bluetooth Low Energy
- the digital accurate security system has a function that allows the user and his/her family to enter the alert range by installing an application dedicated to the digital accurate security system on the smartphone.
- the user has a predetermined release code (installed in the application), and when detecting proximity, this release code is sent to the digital accurate security system by BLE and temporarily releases the alert mode. (See FIG. 16). This makes it possible to exclude the behaviors of the user and his/her family on the premises from the detection targets, and it is possible to perform highly accurate intrusion detection.
- FIG. 19 is a diagram illustrating an application example 1 of intrusion detection by the digital accurate security system 1000.
- the security yellow belt is set inside the boundary of the site, and the security red belt is set so as to surround the wall surface of the house having the entrance door and the window across the security zone.
- FIG. 19 is a plan view, but in order to show detection of an intruder by an elevation, the intruder is (1) horizontal position (X axis, Y axis) and (2) vertical position perpendicular to the horizontal position. (Z axis) is indicated by a broken line.
- the intruder detects the above-mentioned "position in the three-dimensional space by the projection inverse transformation unit 112".
- the intruder detection on the elevation surface is similarly performed for the suspicious persons (the squatting suspicious person, the prone suspicious person) in the security zones of the west side space and the south side space of FIG.
- FIG. 20 is a flowchart showing an outline of the operations of the digital accurate security system 1000, a family member, and a suspicious individual in the application example 1 of FIG. Although the flow of the family and the suspicious person in FIG. 20 is not the CPU processing, it will be described by adding step numbers for convenience.
- a family has step F and a suspicious person has step SP.
- step S101 the digital accurate security system 1000 starts security (step S1).
- step S102 the security mode is changed according to time (step S2) (corresponding to step S2 in FIG. 5).
- the set arbitrary condition is determined (step S103).
- home security is automatically started in step S104.
- home security is automatically started in step S105.
- home security is automatically canceled in step S106.
- An image is obtained from the surveillance camera (step S107).
- a rectangle enclosing a person is obtained in the image (step S108).
- An intruder is detected and registered from the images of the surveillance cameras installed around the outside of the house (step S109).
- step S111 It is determined whether the security is temporarily canceled by BLE (step S111). When the security is temporarily released, the security is temporarily released (step S112). If the security is not temporarily released, the horizontal position and the vertical position of the intruder are acquired in step S113.
- step S114 It is determined whether or not a suspicious person has entered the site (step S114).
- the degree of caution of the intruder detected in step S115 (corresponding to the "risk level judgment” in step S17 of FIG. 8) is evaluated and used according to the degree of caution. Create information to notify the person.
- step S116 the smartphone of the family is notified and notified (corresponding to "report" in step S18 of FIG. 8), and the process returns to step S102.
- step F1 A family member or a related person sets the security mode (step F1). When the family is absent, the guard is used for going out, and when the family is at home, the guard is used for home.
- the security mode setting information (step F1) by the family is transmitted to the digital accurate security system 1000, and the digital accurate security system 1000 starts security (step S1).
- Intruder enters the security yellow belt (step F2).
- a suspicious person enters the security yellow belt on the north side shown in FIG.
- the digital accurate security system 1000 acquires an image from the surveillance camera (step S107).
- step F3 It is determined whether the intruder is a family member (step F3). If the intruder is a family member, the family member is inside the Security Yellow Belt (step F4). For example, a family is in the security yellow belt on the north side shown in FIG.
- Digital accurate security system 1000 sends a BLE signal to the smartphone of the family (step S110), and the smartphone of the family receives the BLE signal (step F5).
- the family or a related person uses BLE to change the security mode from outside using a smartphone (step F6). This is because the family decided that it was necessary to strengthen security. Act freely on the premises (step F7).
- a suspicious person has entered the security yellow belt (step SP1).
- a suspicious person takes a prone position, a sitting position, a mid-waisting position, a standing position, etc. on the site (step SP2).
- the eyes of the suspicious person sway to the left and right (step SP3).
- a suspicious person quickly shakes his/her head left and right (step SP4).
- a suspicious person quickly shakes his/her head up and down (step SP5).
- the movements of these suspicious persons are sent to the digital accurate security system 1000, and the digital accurate security system 1000 determines the risk level (attention level, urgency level) based on the movements of the suspicious person.
- the digital accurate security system 1000 can notify a family or a related institution of a level according to a risk level (attention level, urgency level).
- FIG. 21 is a diagram for explaining an application example 2 of intrusion detection by the digital accurate security system 1000.
- FIG. 21 shows an example of detecting and registering an intruder from a video image of a surveillance camera installed around the outside of the house.
- 22 is a flowchart showing the operation of the digital accurate security system 1000 in the application example 2 of FIG.
- the left side of FIG. 21 is an image in the case of 10 frames per second before the intrusion of a suspicious individual (Before). As shown in the left side of FIG. 21, no suspicious person has entered the security yellow belt zone.
- the right side of Fig. 21 is an image of 10 frames per second after suspicious person intrusion (After). As shown in the right side of FIG. 21, the suspicious individual has invaded the security yellow belt zone.
- the person detection unit 111 of the control unit 110 (see FIG. 2) of the digital accurate security system 1000 detects a person (suspicious person) from the image captured by the surveillance camera 11.
- the suspicious individual detected on the right side of FIG. 21 is indicated by a rectangular frame, and the approximate two-dimensional distance to the security red belt is indicated by a broken line. As shown in the right side of FIG. 21, a suspicious individual who has entered beyond the security yellow belt is approaching the security red belt.
- step S201 an intruder to the security red belt is detected in step S201.
- the person detection unit 111 of the control unit 110 (see FIG. 2) of the digital accurate security system 1000 detects a person from the image captured by the surveillance camera 11.
- step S202 detection of an intruder on the security red belt (for example, within a range of 30 cm to 4 m from the wall surface of the house) is started.
- the process branches into the detection of an intruder on the elevation (steps S203 to S209) and the detection of an intruder on the plane (steps S210 to S214) to detect the intruder on each of the elevation and the plane.
- the projection inverse transformation unit 112 uses the projection storage unit 135 to determine the inside of the three-dimensional space of the person based on the two-dimensional position of the person and the size of the person detected by the person detection. Detect the position.
- the control unit 110 reports that the position of the person in the three-dimensional space detected by the projection inverse transformation unit 112 is within the three-dimensional security area, and reports the existence of the suspicious person. It has a feature. Therefore, detection of an intruder on the vertical surface is the main operation, and FIG. 21 also shows an image of the intruder on the vertical surface.
- step S203 detection of an intruder on the vertical surface is started (images of 5 to 10 frames per second).
- step S204 an image for 1 second, for example, 1/10 to 10/10 in the case of 10 frames/second, is inspected on the elevation.
- step S205 it is determined whether an intrusion is detected. If no intrusion is detected in step S205, it is determined that there is no intrusion in step S206, it is determined to be normal in step S207, and the process of this flow ends. When the intrusion is detected in step S205, it is determined that there is an intrusion in step S208, and it is determined that there is an abnormality (attention is required) in step S209, and the processing of this flow ends.
- step S210 intruder detection on a plane is started (images of 5 to 10 frames per second).
- step S211 an image for 1 second, for example, 1/10 to 10/10 in the case of 10 frames per second, is inspected on a plane.
- step S212 it is determined whether the intrusion is detected. If no intrusion is detected in step S212, it is determined that there is no intrusion in step S213, it is determined to be normal in step S207, and the process of this flow ends. If intrusion is detected in step S212, it is determined in step S214 that there is intrusion, and in step S209 it is determined to be abnormal (needs attention) and the processing of this flow ends.
- the detection accuracy can be higher than that of the intruder detection alone on the elevation surface.
- FIG. 23 is a diagram for explaining an application example 3 of intrusion detection by the digital accurate security system 1000.
- FIG. 23 left is a plan view showing intruder detection on a plane
- FIG. 23 right is an elevation view showing intruder detection on an elevation surface.
- the right view of FIG. 23 is obtained by projecting and converting the plan view of the left view of FIG. 23 into a three-dimensional space for detecting an intruder by an elevation by the above-described “technique for determining intrusion in elevation (see FIGS. 13 to 14)”. It is an elevation view.
- the right side of FIG. 23 shows a state where an intruder is inside the car gate.
- the intruder is indicated by broken lines at the horizontal position (X axis, Y axis) and the vertical position (Z axis).
- FIG. 24 is a flow chart showing an operation of detecting and registering an intruder from the image of the surveillance camera installed around the house in the digital accurate security system 1000 in the application example 3 of FIG.
- step S301 detection of an intruder on the security yellow belt (for example, within a range of 30 cm to 4 m from the security applicable site, road boundary, adjacent land boundary) is started.
- the process branches into the detection of an intruder on the elevation (steps S302 to S311) and the detection of an intruder on the plane (steps S210 to S214) to detect the intruder on each of the elevation and the plane.
- step S302 detection of an intruder on the vertical surface is started (image of 5 to 10 frames/second).
- step S303 an image for 1 second (for example, an image of 1/10 to 10/10 in the case of 10 frames per second) is inspected on the elevation.
- step S304 an image (for example, an image of 10 frames) for 1 second from 1 second to 2 seconds is inspected on the elevation.
- step S305 it is determined whether or not two or more frames are detected within 2 seconds after 1 second has elapsed. If two or more frames are not detected within two seconds after one second has elapsed, it is determined that there is no intrusion in step S306, and it is determined to be normal in step S307, and the processing of this flow ends.
- step S305 If two or more frames are detected within 2 seconds after 1 second has elapsed in step S305, it is determined that there is a possibility of intrusion in step S308, and temporal verification is started in step S309.
- the temporal verification in elevation is as follows. That is, in step S310, an image (for example, 10 frames) for the next one second is inspected on the elevation. Then, in step S311, the temporal verification in step S310 is repeated for 1 to 2 minutes to improve accuracy.
- step S312 it is determined whether or not an image indicating intruder detection has been continuously detected for a certain period of time.
- step S314 intruder detection on a flat surface is started (image of 5 to 10 frames/second).
- step S315 an image for 1 second (for example, an image of 1/10 to 10/10 in the case of 10 frames per second) is inspected on a plane.
- step S316 an image (for example, an image of 10 frames) for 1 second from 1 second to 2 seconds is inspected on a plane.
- step S317 it is determined whether or not two or more frames are detected within 2 seconds after 1 second has elapsed. If two or more frames are not detected within 2 seconds after 1 second has elapsed, it is determined that there is no intrusion in step S319, and it is determined to be normal in step S307, and the processing of this flow ends.
- step S317 When two or more frames are detected within 2 seconds after 1 second has elapsed in step S317, it is determined that there is a possibility of intrusion in step S319, and temporal verification is started in step S309.
- the temporal verification in the plane is as follows. That is, in step S320, an image (for example, 10 frames) for the next one second is inspected on a plane. Next, in step S321, the temporal verification in step S320 is repeated for 1 to 2 minutes to improve accuracy.
- step S312 it is determined whether or not an image indicating intruder detection has been continuously detected for a certain period of time.
- the detection accuracy can be higher than that of the intruder detection alone on the vertical surface. Further, in the application example 3, when there is a possibility of intrusion, since the temporal verification is performed, it is possible to more reliably detect the intrusion of an intruder, and it is possible to improve the detection accuracy.
- FIG. 25 is a flowchart showing a process of notifying the user according to the degree of caution of the digital accurate security system 1000 in the application example 4.
- the flow of FIG. 25 shows the determination processing based on the change of the movement of the pupil and the neck of FIG. A face organ is detected in step S401.
- an intruder is detected by branching into intruder detection based on the movement of the pupil, intruder detection based on the left and right movements of the neck, and intruder detection based on the up and down movements of the neck.
- the left and right positions of the pupil are determined based on the images of 5 to 10 frames per second.
- an image for 1 second for example, 1/10 to 10/10 in the case of 10 frames per second, is inspected.
- the image (for example, 10 frames) for 1 second from 1 second to 2 seconds is inspected.
- step S405 it is determined whether or not two or more frames are detected within 2 seconds after 1 second has elapsed. If two or more frames are not detected within two seconds after the lapse of one second, it is determined to be normal in step S406 and the process of this flow ends.
- step S408 temporal verification is started.
- the temporal verification by the movement of the pupil is as follows. That is, in step S409, the image (for example, 10 frames) for the next one second is inspected. Then, in step S410, the temporal verification in step S409 is repeated for 1 to 2 minutes to improve accuracy.
- step S411 it is determined whether or not an image indicating intruder detection is continuously detected for a certain period of time. If continuous detection is not performed for a certain period of time, it is determined to be normal in step S412 and the process of this flow ends. When continuously detected for a certain period of time, it is determined to be abnormal (needs attention) in step S413, and the process of this flow ends.
- step S414 the left and right positions of the neck are determined based on the images of 5 to 10 frames per second.
- step S415 an image for 1 second, for example, 1/10 to 10/10 in the case of 10 frames per second, is inspected.
- step S416 the image (for example, 10 frames) for 1 second from 1 second to 2 seconds is inspected.
- step S417 it is determined whether or not two or more frames are detected within 2 seconds after 1 second has elapsed. If two or more frames are not detected within two seconds after one second has elapsed, it is determined to be normal in step S418, and the processing of this flow ends.
- step S419 When two or more frames are detected within two seconds after one second has passed in step S419, it is determined that there is a possibility of abnormality in step S419, and the process proceeds to step S408.
- step S408 temporal verification is started.
- the temporal verification of the left and right movements of the neck is as follows. That is, in step S420, the image (for example, 10 frames) for the next one second is inspected. Then, in step S421, the temporal verification in step S409 is repeated for 1 to 2 minutes to improve accuracy.
- step S411 it is determined whether or not an image indicating intruder detection is continuously detected for a certain period of time. If continuous detection is not performed for a certain period of time, it is determined to be normal in step S412 and the process of this flow ends. When continuously detected for a certain period of time, it is determined to be abnormal (needs attention) in step S413, and the process of this flow ends.
- step S422 the upper and lower positions of the neck are determined based on the images of 5 to 10 frames per second.
- step S423 an image for 1 second, for example, 1/10 to 10/10 in the case of 10 frames per second, is inspected.
- step S424 the image (for example, 10 frames) for 1 second from 1 second to 2 seconds is inspected.
- step S425 it is determined whether or not two or more frames are detected within 2 seconds after 1 second has elapsed. If two or more frames are not detected within two seconds after the lapse of one second, it is determined to be normal in step S426 and the processing of this flow ends.
- step S408 temporal verification is started.
- the temporal verification of the vertical movement of the neck is as follows. That is, in step S428, the image (for example, 10 frames) for the next one second is inspected. Then, in step S429, the temporal verification in step S428 is repeated for 1 to 2 minutes to improve accuracy.
- step S411 it is determined whether or not an image indicating intruder detection is continuously detected for a certain period of time. If continuous detection is not performed for a certain period of time, it is determined to be normal in step S412 and the process of this flow ends. When continuously detected for a certain period of time, it is determined to be abnormal (needs attention) in step S413, and the process of this flow ends.
- the digital accurate security system 1000 includes the surveillance camera 11 that captures an image of a three-dimensional security area and the surveillance camera 11.
- a projection storage unit 135 that stores each two-dimensional position of the captured image and each position in the three-dimensional space captured by the monitoring camera 11 in association with each other, and detects a person from the image captured by the monitoring camera 11.
- a human detection unit 111 a projection inverse transformation unit 112 that detects the position of the person in the three-dimensional space by the projection storage unit 135 based on the two-dimensional position of the person and the size of the person detected by the human detection;
- a reporting unit 115 that reports the presence of a suspicious person in response to the fact that the position of the person in the three-dimensional space detected by the projection inverse transformation unit 112 is within the three-dimensional security area.
- the size of the person is the size of the person's head, as an index indicating the size of the person, information based on individual differences that does not change much with age or sex of the person is used. Moreover, the three-dimensional position of the intruder can be determined.
- the owner of the dwelling can take appropriate action and eliminate the threat with higher accuracy. it can.
- control unit 110 determines the degree of risk based on the movement of the suspicious person, so that the movement of the suspicious person can be added to the determination condition and the degree of risk can be determined more accurately.
- Security can be established. For example, based on the movement of a suspicious individual, distinguish between a well-intentioned person and a malicious intruder, and in the case of an intruder, determine the degree of danger and rank the state of alert according to the degree of danger. You can
- the digital accurate security system 1000 includes an ID terminal detection unit 113 that detects an ID terminal possessed by a non-intruder, and the control unit 110 possesses the ID terminal detected by the ID terminal detection unit 113. Exclude those who are suspicious. By excluding the person who owns the ID terminal from the suspicious person, it is possible to reduce unnecessary reports and achieve effective monitoring. Further, it is possible to reduce the resources for monitoring and reduce the cost.
- the digital accurate security system 1000 includes an ID terminal registration unit 114 for registering an ID terminal possessed by a non-intruder, and the control unit 110 possesses the ID terminal detected by the ID terminal registration unit 114. Exclude those who are suspicious. By excluding a person who has registered the ID terminal from a suspicious person, it is possible to reduce unnecessary reporting and achieve effective monitoring. Further, it is possible to reduce the resources for monitoring and reduce the cost.
- the digital accurate security system 1000 includes an AI accelerator 200 that is a calculation resource other than a CPU, and the person detection unit 111 of the control unit 110 uses the AI accelerator 200 to detect a person in the security area.
- the AI accelerator 200 can detect a person existing in a wide security area in real time by executing the person detecting process by the dedicated hardware in addition to the CPU process. Further, even if the configuration uses an inexpensive camera device, a person can be detected in real time. Further, with the AI accelerator 200, it is possible to detect an intruder with extremely high accuracy as compared with the conventional image recognition by the moving body detection type monitoring camera using the image difference.
- the names of digital accurate security system and method are used, but this is for convenience of description, and may be a monitoring system, security system, search security method, or the like.
- the digital accurate security system and method of the present invention can also be realized by a program for causing a computer to function as the digital accurate security system or method.
- This program may be stored in a computer-readable recording medium.
- the recording medium in which this program is recorded may be the ROM itself of the digital accurate security system, or a program reading device such as a CD-ROM drive is provided as an external storage device, and the recording medium is stored therein. It may be a CD-ROM or the like that can be read by inserting it.
- each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in hardware by designing a part or all of them with, for example, an integrated circuit.
- the above-described respective configurations, functions and the like may be realized by software for a processor to interpret and execute programs for realizing the respective functions.
- Information such as programs, tables, and files that realize each function is stored in memory, hard disks, recording devices such as SSD (Solid State Drive), or IC (Integrated Circuit) cards, SD (Secure Digital) cards, optical discs, etc. It can be held on a recording medium.
- the digital accurate security system, method, and program according to the present invention are expected to be installed in a business office or the like that requires a high degree of management such as a residence, a corporate office, a factory, a research laboratory, an information processing room, and a money counting room. To be done.
- the inside of the car is also included.
- Surveillance camera (imaging means) 20 Human sensor 30 Wi-Fi base unit 40 Beacon base unit 50 Mobile terminal device (ID terminal) 50a Smartphone (mobile terminal device; ID terminal) 51 Wi-Fi cordless handset 52 Beacon cordless handset 53 GPS 100 monitoring device 110 control unit 111 human detection unit (human detection means) 112 Projection inverse conversion unit (projection inverse conversion means) 113 ID terminal detection unit (ID terminal detection means) 114 ID terminal registration unit (ID terminal registration means) 115 Reporting Department (reporting means) 120 input unit 130 storage unit 135 projection storage unit (projection storage means) 140 display unit 150 output unit 160 recording unit 165 face information DB 170 image processing unit 180 interface (I/F) unit 190 communication unit 200 AI accelerator (person detecting means) 1000 Digital Accurate Security System
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Geometry (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
低コストで3次元位置を検出して、3次元のセキュリティ区域内の侵入者を正確に検出して高度なセキュリティを確立することができるデジタルアキュレート・セキュリティシステム、方法及びプログラムを提供する。デジタルアキュレート・セキュリティシステム(1000)は、監視カメラ(11)によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶部(135)と、監視カメラ(11)によって撮影された画像から人を検出する人検出部(111)と、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部(135)によって人の3次元空間内の位置を検出する投影逆変換部(112)と、投影逆変換部(112)によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報部(115)とを備える。
Description
本発明は、監視カメラによりセキュリティ区域内を撮影して防犯を行うデジタルアキュレート・セキュリティシステム、方法及びプログラムに関する。
特許文献1には、「2つのカメラを備え、注視領域の3次元情報に基づいて侵入した物体を検知すること」が記載されている。特許文献1の技術は、3次元情報の変化状況に基づいて、注視領域に侵入した物体を検知するものである。
特許文献2には、「投光から受光までの時間差により物体までの距離を検出して、3次元の警戒エリアと3次元の監視エリアを設定すること」が記載されている。特許文献2の技術は、距離画像センサから時間経過に伴って出力される複数の距離画像により警戒エリアと監視エリアとにおける物体の振る舞いを監視し、物体の振る舞いから物体の種別を判別するものである。
しかしながら、特許文献1,2に記載の警報装置では、3次元位置を検出するための構成が複雑でコストがかさむ課題がある。
本発明の目的は、低コストで3次元位置を検出して、高度なセキュリティを確立することができるデジタルアキュレート・セキュリティシステム、方法及びプログラムを提供することにある。
本発明の目的は、低コストで3次元位置を検出して、高度なセキュリティを確立することができるデジタルアキュレート・セキュリティシステム、方法及びプログラムを提供することにある。
本発明に係るデジタルアキュレート・セキュリティシステムは、3次元のセキュリティ区域の画像を撮影する撮影手段と、前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段とを備えることを特徴とする。
この構成により、低コストで3次元位置を検出して、高度なセキュリティを確立することができる。
前記通報手段は、前記検出された人の3次元空間内の位置の時間的経緯によって不審者の存在を判断し、その存在を通報することで、時間的経緯を考慮して、侵入者の3次元位置を判定することができる。
前記人の大きさが人の頭の大きさであることで、人の大きさを示す指標として、人の年齢や性別等であまり変化のない個人差によらない情報をもとに、侵入者の3次元位置を判定することができる。
前記通報手段は、前記不審者の位置に基づく危険度を通報することで、危険度に合わせてより迅速に侵入犯罪に対応することができる。また、危険度に合わせたテロップの送信や関係機関への通報を行うことができる。
前記通報手段は、前記不審者の動きに基づく危険度を通報することで、不審者の動きを判定条件に加えて危険度の判定をより精度良く行うことができ、高度なセキュリティを確立することができる。例えば、不審者の動きをもとに、善意の人か悪意のある侵入者かの区別、さらに侵入者の場合には危険度を判定し、危険度に合わせて警戒の状態をランク付けすることができる。
非侵入者が所持するID(Identification)端末を検出するID端末検出手段を備え、前記通報手段は、前記ID端末検出手段が検出した前記ID端末を所持している人を通報しないことで、例えば家族及び関係者のスマートフォンを検出して不審者から除外し、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
非侵入者が所持するID(Identification)端末を登録するID端末登録手段を備え、前記通報手段は、前記ID端末登録手段が登録した前記ID端末を所持している人を通報しないことで、例えば来客のIDを登録して不審者から除外し、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
また、本発明のデジタルアキュレート・セキュリティ方法は、3次元のセキュリティ区域の画像を撮影する撮影ステップと、前記撮影ステップによって撮影された前記画像の2次元の各位置と前記撮影ステップによって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶ステップと、前記撮影ステップによって撮影された前記画像から人を検出する人検出ステップと、前記人検出ステップによって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶ステップによって前記人の3次元空間内の位置を検出する投影逆変換ステップと、前記投影逆変換ステップによって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報ステップとを備えることを特徴とする。
また、本発明は、コンピュータを、3次元のセキュリティ区域の画像を撮影する撮影手段と、前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段とを備えるデジタルアキュレート・セキュリティシステムとして機能させるためのプログラムである。
本発明によれば、1つのカメラによって低コストで不審者の3次元位置を検出して、高度なセキュリティを確立することができる。
以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
(実施の形態)
図1は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの構成を示すブロック図である。
本デジタルアキュレート・セキュリティシステムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等に適用して好適である。
(実施の形態)
図1は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの構成を示すブロック図である。
本デジタルアキュレート・セキュリティシステムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等に適用して好適である。
図1に示すように、デジタルアキュレート・セキュリティシステム1000は、セキュリティ区域のそれぞれに設置された1つの監視カメラ11(撮影手段)と、人感センサ20と、セキュリティ区域内に設置されたWi-Fi(Wireless Fidelity)ターミナル(以下「Wi-Fi親機」という)30と、ビーコン親機40と、関係者(家族)が携帯する携帯端末装置50(ID(Identification)端末)と、システム全体を制御する監視装置100と、AI(Artificial Intelligence:人工知能)アクセラレータ(Accelerator)200(人検出手段)と、を備える。セキュリティ区域は、警戒エリア(警備対象エリア)であり、例えば、住居であれば敷地や玄関先・ベランダ、オフィスであればエレベータホール・ベランダ・窓などを含む。
なお、監視装置100は、セキュリティ区域内に設置されているが、図示しないネットワークを介して外部に設置してもよい。監視装置100を、ネットワーク上のサーバに設置すると、複数のセキュリティ区域を監視対象とすることができる。
<監視カメラ11>
監視カメラ11は、3次元で特定されるセキュリティ区域の画像(2次元)を撮影する。
監視カメラ11の一部又は全部は、PTZ(パン・チルト・ズーム)機能を有するPTZカメラであり、監視装置100により遠隔操作される。監視カメラ11は、セキュリティ該当建物の警備対象の外壁周囲、例えば侵入者が出入可能な出入口、窓開口部、敷地境界外周部、該当敷地エリアの各所に設置される。監視カメラ11が撮影した画像は、監視装置100に出力され、録画部160に記録される。
監視カメラ11は、3次元で特定されるセキュリティ区域の画像(2次元)を撮影する。
監視カメラ11の一部又は全部は、PTZ(パン・チルト・ズーム)機能を有するPTZカメラであり、監視装置100により遠隔操作される。監視カメラ11は、セキュリティ該当建物の警備対象の外壁周囲、例えば侵入者が出入可能な出入口、窓開口部、敷地境界外周部、該当敷地エリアの各所に設置される。監視カメラ11が撮影した画像は、監視装置100に出力され、録画部160に記録される。
<人感センサ20>
人感センサ20は、サーモカメラや赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。
人感センサ20は、サーモカメラや赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。
<Wi-Fi親機30>
Wi-Fi親機30は、Wi-Fiを用いて携帯端末装置50のWi-Fi子機51との間で情報をやり取りする。また、Wi-Fi親機30は、Wi-Fi測位による位置情報取得、すなわちWi-Fiアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。
Wi-Fi親機30は、Wi-Fiを用いて携帯端末装置50のWi-Fi子機51との間で情報をやり取りする。また、Wi-Fi親機30は、Wi-Fi測位による位置情報取得、すなわちWi-Fiアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。
<ビーコン親機40>
BLE(Bluetooth Low Energy)は、近接を検知する無線技術である。BLEは、発信側のビーコン機器であるビーコン親機40と、ビーコン親機40からの電波受信に対応した携帯端末装置50のアプリ(後記ビーコン子機52に対応する)の組み合わせによって構成される。BLEは、識別に必要な固有のID情報を発信し、携帯端末装置50の当該ID情報に紐付けられたアプリにしか反応しない。携帯端末装置50のアプリは、ビーコン親機40と同じ識別子を登録しておく。携帯端末装置50のアプリ(ビーコン子機52)は、BLE機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機40のビーコンに近接したときに所定アクションを励起する。
BLE(Bluetooth Low Energy)は、近接を検知する無線技術である。BLEは、発信側のビーコン機器であるビーコン親機40と、ビーコン親機40からの電波受信に対応した携帯端末装置50のアプリ(後記ビーコン子機52に対応する)の組み合わせによって構成される。BLEは、識別に必要な固有のID情報を発信し、携帯端末装置50の当該ID情報に紐付けられたアプリにしか反応しない。携帯端末装置50のアプリは、ビーコン親機40と同じ識別子を登録しておく。携帯端末装置50のアプリ(ビーコン子機52)は、BLE機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機40のビーコンに近接したときに所定アクションを励起する。
[携帯端末装置50]
携帯端末装置50は、家族などがそれぞれ携帯する。携帯端末装置50は、例えばスマートフォン50a、タブレット50b、又はノートパソコン50cなどである。携帯端末装置50は、このほか、携帯電話、PHS(Personal Handy-Phone System)、PDA(Personal Digital Assistants)、又は専用端末などである。本実施の形態では、携帯端末装置50は、家族などが様々な場所(すなわち現在位置)で使用可能であり、図示しない電話回線を介して監視装置100からのメール又は動画を含む映像等を受信可能である。
携帯端末装置50は、家族などがそれぞれ携帯する。携帯端末装置50は、例えばスマートフォン50a、タブレット50b、又はノートパソコン50cなどである。携帯端末装置50は、このほか、携帯電話、PHS(Personal Handy-Phone System)、PDA(Personal Digital Assistants)、又は専用端末などである。本実施の形態では、携帯端末装置50は、家族などが様々な場所(すなわち現在位置)で使用可能であり、図示しない電話回線を介して監視装置100からのメール又は動画を含む映像等を受信可能である。
本実施の形態では、携帯端末装置50は、スマートフォン50a(ID端末)の利用を想定しており、各個人が様々な場所(すなわち現在位置)で使用可能である。携帯端末装置50のうちの一つは、図示しない警備会社に配置される。
スマートフォン50aは、デジタルアキュレート・セキュリティアプリ(以下、「セキュリティアプリ」という)を有する。セキュリティアプリを、例えば各アプリのバックグランド処理で起動させておくと、通信キャリア網(固定網)、ウェブサービスクラウド300(後記図3参照)、又はインターネット303(後記図3参照)を経由して、ウェブサービスクラウド300上のクラウドサーバ301(後記図3参照)に接続でき、クラウドサーバ301から不審者に関するテロップを受け取ることができる。スマートフォン50aは、待受け画面等に不審者を検出したテロップを通知できる。
スマートフォン50aは、Wi-Fi個別識別機(以下「Wi-Fi子機」という)51と、関係者の位置を捕捉するGPS53と、を備える。
なお、スマートフォン50aは、ビーコン子機52を備えているものでもよい。又は、スマートフォン50aは、Wi-Fi子機51と、ビーコン子機52と、GPS53とのいずれか一つを備えるものでもよい。
なお、スマートフォン50aは、ビーコン子機52を備えているものでもよい。又は、スマートフォン50aは、Wi-Fi子機51と、ビーコン子機52と、GPS53とのいずれか一つを備えるものでもよい。
<Wi-Fi子機51>
Wi-Fi子機51は、業務施設に設置されたWi-Fi親機30の電波を受信及び個別識別する。監視装置100は、施設内に設置されたWi-Fi親機30の配置情報をセフティ関連情報として記憶している。Wi-Fi子機51がWi-Fi親機30に近接すると、携帯端末装置50を携帯する関係者のIDと位置を判定することができる。
Wi-Fi子機51は、業務施設に設置されたWi-Fi親機30の電波を受信及び個別識別する。監視装置100は、施設内に設置されたWi-Fi親機30の配置情報をセフティ関連情報として記憶している。Wi-Fi子機51がWi-Fi親機30に近接すると、携帯端末装置50を携帯する関係者のIDと位置を判定することができる。
<ビーコン子機52>
ビーコン子機52は、ビーコン親機40からの電波受信に対応した携帯端末装置50のアプリである。ビーコン親機40は、ビーコン(識別に必要な固有のID情報)を発信し、携帯端末装置50のアプリ(ビーコン子機52)は、ビーコン親機40のビーコンに近接したときに所定アクションを励起する。
ビーコン子機52は、ビーコン親機40からの電波受信に対応した携帯端末装置50のアプリである。ビーコン親機40は、ビーコン(識別に必要な固有のID情報)を発信し、携帯端末装置50のアプリ(ビーコン子機52)は、ビーコン親機40のビーコンに近接したときに所定アクションを励起する。
<GPS53>
GPS53は、位置情報の電波をGPS衛星等から受信する。GPS53は、GPSアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の3つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置100に送信される。
GPS53は、位置情報の電波をGPS衛星等から受信する。GPS53は、GPSアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の3つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置100に送信される。
なお、本実施形態では、位置情報を取得する手段として、GPS衛星を利用した例を示したが、GPS以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置50として、Android(登録商標)スマートフォンやカメラ付き高機能携帯電話機を使用する場合、GPS53に代えて又は併用して、基地局及び携帯電話通信網(図示省略)を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。
また、Wi-Fi測位による位置情報取得、すなわちWi-Fiアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。
[監視装置100]
監視装置100は、関係者(例えば家族)の住居に設置され、セキュリティ区域内を集中管理する。監視装置100は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。
監視装置100は、関係者(例えば家族)の住居に設置され、セキュリティ区域内を集中管理する。監視装置100は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。
監視装置100は、制御部110と、入力部120と、記憶部130と、投影記憶部135(投影記憶手段)と、表示部140と、出力部150と、録画部160(録画手段)と、顔情報DB(データベース)165と、画像処理部170と、インタフェース(I/F)部180と、通信部190と、を備え、各部はバス195により接続される。
以降、「○○部は」と主体を記した場合は、制御部110が必要に応じROMから各プログラムを読み出した上でRAMにロードし、各機能(後記)を実行するものとする。各プログラムは、予め記憶部130に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置100に取り込まれてもよい。
制御部110は、CPU(Central Processing Unit)等により構成され、監視装置100全体を制御するとともに、制御プログラムを実行して、デジタルアキュレート・セキュリティシステムとして機能させる。制御部110の詳細な構成については、後記する。
入力部120は、キーボード、マウス、表示部140の画面上に設けられたタッチパネル、マイクなど、監視装置100のユーザが指示などを入力するための入力機器である。
記憶部130は、ROM(Read Only Memory)、RAM(Random Access Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)などのメモリからなり、制御部110が用いる各種データ及びプログラムなどを記憶する。記憶部130は、監視カメラ11から受信した静止画又は動画、制御部110が用いる各種データ及びプログラムなどを記憶する。
投影記憶部135は、監視カメラ11によって撮影された画像の2次元の各位置と監視カメラ11によって撮影された3次元空間内の各位置とを対応付けて記憶する。投影記憶部135は、3次元空間内に定義した形状を2次元面上に投影する投影変換によって対応付けて記憶する。
なお、投影記憶部135は、記憶部130のメモリ領域の一部を使用するものでもよい。
なお、投影記憶部135は、記憶部130のメモリ領域の一部を使用するものでもよい。
表示部140は、監視装置100の動作状況をはじめ、監視カメラ11から受信した画像、又は監視装置100を操作するためのGUI(Graphical User Interface)などを表示する。
出力部150は、例えばオーディオインタフェースであり、セキュリティ区域内の音響システム158に対して監視装置100からの音声信号を出力する。監視装置100から音響システム158へ出力する音声信号としては、例えば、入力部120に設けられたマイクなどの音声入力装置から入力された音声信号、又は記憶部130に記憶された音楽データを制御部110が再生した音声信号であってよい。音響システム158は、アンプ及び敷地内に配置された複数のスピーカを備え、監視装置100から入力された信号を敷地内に発声する。
録画部160は、HDD(Hard Disk Drive)などの外部記憶装置により構成され、監視カメラ11が撮影したセキュリティ区域内の画像を記録する。録画部160は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画する。
顔情報DB165は、不審者、及び店舗関係者等の顔画像(顔情報)を蓄積する。顔情報DB165に登録されている人物の顔などの基礎データは、I/F部180を介して図示しない本部、本社又は警備会社などからデータを入手して、顔情報DB165が構築される。また、図示しない本部、本社又は警備会社などと情報を交換して、相互の顔情報DBが最新の顔画像(顔情報)に更新可能である。
画像処理部170は、DSP(Digital Signal Processor)等により構成され、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、又は解像度変換処理などがある。
監視カメラ11で1秒間に撮影する画像が例えば5コマの画像である場合、1/5秒画像、2/5秒画像、3/5秒画像、4/5秒画像、5/5秒画像の動きで、1秒間に10コマの画像である場合には、10個の画像の動きで、対象物の外形形状線を入力すれば、動く対象物の大きさが分かる。
画像処理部170は、監視カメラ11で撮影された画像データを処理し、セキュリティ区域内の画像を出力する。
画像処理部170は、監視カメラ11で撮影された画像データを処理し、セキュリティ区域内の画像を出力する。
I/F部180は、セキュリティ区域内に配置された各監視カメラ11と監視装置100とを接続する。また、I/F部180は、図示しない本部、本社又は警備会社などにネットワーク又は専用回線により接続する。
通信部190は、基地局を介して携帯端末装置50とデータを送受信する。通信部190は、無線通信機能を有し、例えばUART(Universal Asynchronous Receiver Transmitter)を用いて制御基板に接続される。
通信部190は、基地局を介して携帯端末装置50とデータを送受信する。通信部190は、無線通信機能を有し、例えばUART(Universal Asynchronous Receiver Transmitter)を用いて制御基板に接続される。
[制御部110]
図2は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの制御部110のブロック図である。
図2に示すように、制御部110は、CPU(Central Processing Unit)等により構成され、監視装置100全体を制御するとともに、制御プログラムを実行して、デジタルアキュレート・セキュリティシステムとして機能させる。
制御部110は、人検出部111(人検出手段)と、投影逆変換部112(投影逆変換手段)、と、ID端末検出部113(ID端末検出手段)と、ID端末登録部114(ID端末登録手段)と、通報部115(通報手段)とを備える。
図2は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの制御部110のブロック図である。
図2に示すように、制御部110は、CPU(Central Processing Unit)等により構成され、監視装置100全体を制御するとともに、制御プログラムを実行して、デジタルアキュレート・セキュリティシステムとして機能させる。
制御部110は、人検出部111(人検出手段)と、投影逆変換部112(投影逆変換手段)、と、ID端末検出部113(ID端末検出手段)と、ID端末登録部114(ID端末登録手段)と、通報部115(通報手段)とを備える。
制御部110は、投影逆変換部112が投影変換の逆変換をしたことを受けて、3次元上の特定のエリア(セキュリティ区域内)に不審者が侵入したことを判定する。
制御部110は、人の大きさを人の頭の大きさなどによって判定する。
制御部110は、不審者の位置に基づいて危険度を判定する。
制御部110は、不審者の動きに基づいて危険度を判定する。
制御部110は、不審者の位置に基づいて危険度を判定する。
制御部110は、不審者の動きに基づいて危険度を判定する。
制御部110は、ID端末検出部113が検出したID端末を所持している人を不審者から除外する。
制御部110は、ID端末登録部114が登録した登録した前記ID端末を所持している人を不審者から除外する。
制御部110は、ID端末登録部114が登録した登録した前記ID端末を所持している人を不審者から除外する。
人検出部111は、監視カメラ11によって撮影された画像から人を検出し、その人の大きさを検出する。具体的には、人検出部111は、AIアクセラレータ200(後記)を用いてセキュリティ区域内の人を検出する。人検出部111は、AIアクセラレータ200に対して人検出要求を発行し、AIアクセラレータ200は、CPU以外でAIの計算を実行して、人検出結果を人検出部111に送信する。人検出には高速性が求められるので、人検出にAIアクセラレータ200を用いている。
デジタルアキュレート・セキュリティシステム1000は、AIアクセラレータ200を用いた人検出によりセキュリティ区域内への侵入者を検出する。
デジタルアキュレート・セキュリティシステム1000は、AIアクセラレータ200による深層学習において、特に、人のみを監視対象とすることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。
デジタルアキュレート・セキュリティシステム1000は、AIアクセラレータ200による深層学習において、特に、人のみを監視対象とすることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。
本実施形態では、人検出部111は、AIアクセラレータ200を用いて人を検出しているが、サーモカメラ(又は人感センサ20)で人を検出するようにしてもよい。すなわち、人感センサ20は、セキュリティ区域内の温度を検出する。そして、人検出部111は、人感センサ20が人の体温を検出し、かつ、監視カメラ11がその撮影画像の変化を検出したことによって人(不審者候補)の存在を検出する。
なお、人検出部111は、AIアクセラレータ200を用いた人検出と、サーモカメラ(又は人感センサ)を用いた人検出とを組み合わせてもよい。例えば、セキュリティ区域内のうち、人検出の高速性が要求される、玄関先やベランダ、窓についてはAIアクセラレータ200を用い、人検出の高速性が要求されない敷地と外部の境界の敷地内はサーモカメラ(又は人感センサ)を使用する。
投影逆変換部112は、人検出によって検出された人の2次元の位置と人の大きさ(特に、人の頭の大きさ)とに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。具体的には、投影逆変換部112は、1つの監視カメラ11の画像から投影変換の逆変換をすることによって、3次元位置を検出する(図9で詳述する。)。
ID端末検出部113は、非侵入者が所持するID(Identification)端末を検出する。
ID端末登録部114は、来客等が所持するID端末を登録する。
通報部115は、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する。さらに、通報部115は、検出された人の3次元空間内の位置の時間的経緯によって不審者の存在を判断し、その存在を通報することが望ましい(図12で詳述する。)。
ID端末登録部114は、来客等が所持するID端末を登録する。
通報部115は、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する。さらに、通報部115は、検出された人の3次元空間内の位置の時間的経緯によって不審者の存在を判断し、その存在を通報することが望ましい(図12で詳述する。)。
[AIアクセラレータ200]
AIアクセラレータ200は、人を検出する専用プロセッサであり、CPU以外の計算リソースを用いる。AIアクセラレータ200は、例えば、GPU(Graphics Processing Unit)を強化したプロセッサよる画像処理、FPGA(Field Programmable Gate Array)を用いた信号処理のアクセラレートである。また、AIアクセラレータ200は、専用ハード(例えば、GPU)上でAI(Artificial Intelligence:人工知能)の計算を実行する。
AIアクセラレータ200は、人を検出する専用プロセッサであり、CPU以外の計算リソースを用いる。AIアクセラレータ200は、例えば、GPU(Graphics Processing Unit)を強化したプロセッサよる画像処理、FPGA(Field Programmable Gate Array)を用いた信号処理のアクセラレートである。また、AIアクセラレータ200は、専用ハード(例えば、GPU)上でAI(Artificial Intelligence:人工知能)の計算を実行する。
通常のPCによるコンピュータの処理では、デジタル画像一枚あたり人(人体)の検出の処理を行うのに約1.5秒かかる。このため、本実施形態では、人の検出プロセッサであるAIアクセラレータ200を利用することで、PCによるコンピュータの処理の約10倍のパフォーマンスを得、侵入検出を迅速に実行する。また、本実施形態では、計算負荷が高いAIの計算を専用ハードであるAIアクセラレータ200に任せている。これにより、市販のカメラと安価な機器用いた構成であっても、リアルタイムに挙動不審を検出し、不審者を登録可能であることが実証できた。
[デジタルアキュレート・セキュリティシステム]
図3は、本発明の実施形態に係るデジタルアキュレート・セキュリティシステムを用いた全体を示す構成図である。
図3に示すように、デジタルアキュレート・セキュリティシステム1000は、ウェブサービスクラウド300上に、デジタルアキュレート・セキュリティサービスを提供するクラウドサーバ(商用サーバ)301、クラウドサーバ301に連携して能動的に情報を取得してユーザのスマートフォン50a(携帯端末装置;ID端末)に通知するPush通知サーバ302を有する。ウェブサービスクラウド300は、インターネット303に接続される。スマートフォン50aは、インターネット303を経由してウェブサービスクラウド300上のクラウドサーバ301にテキスト及び画像を送信することができる。また、スマートフォン50aは、インターネット303を経由してPush通知サーバ302からPush通知を受信する。さらに、クラウドサーバ301及びPush通知サーバ302は、LTE/3G網などの通信キャリア網(固定網)(図示省略)を経由して、セキュリティアプリが搭載されたスマートフォン50aに接続する。
図3は、本発明の実施形態に係るデジタルアキュレート・セキュリティシステムを用いた全体を示す構成図である。
図3に示すように、デジタルアキュレート・セキュリティシステム1000は、ウェブサービスクラウド300上に、デジタルアキュレート・セキュリティサービスを提供するクラウドサーバ(商用サーバ)301、クラウドサーバ301に連携して能動的に情報を取得してユーザのスマートフォン50a(携帯端末装置;ID端末)に通知するPush通知サーバ302を有する。ウェブサービスクラウド300は、インターネット303に接続される。スマートフォン50aは、インターネット303を経由してウェブサービスクラウド300上のクラウドサーバ301にテキスト及び画像を送信することができる。また、スマートフォン50aは、インターネット303を経由してPush通知サーバ302からPush通知を受信する。さらに、クラウドサーバ301及びPush通知サーバ302は、LTE/3G網などの通信キャリア網(固定網)(図示省略)を経由して、セキュリティアプリが搭載されたスマートフォン50aに接続する。
図3に示すように、デジタルアキュレート・セキュリティシステム1000は、不審者の敷地内への侵入を検知し、本人・家族等が所持するスマートフォン50aにプッシュ通知する。
スマートフォン50aに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「1F玄関にて不審者が検知されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン50aの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン50aのユーザの操作により、例えば緊急時には関係機関(警察・消防)に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。
スマートフォン50aに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「1F玄関にて不審者が検知されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン50aの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン50aのユーザの操作により、例えば緊急時には関係機関(警察・消防)に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。
[セキュリティアプリ動作]
図4は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムのセキュリティアプリ動作を示す図である。
図4左に示すように、スマートフォン50aの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図4中に示すように、スマートフォン50aの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「1F玄関に不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図4右に示すように、スマートフォン50aの表示を時系列の4画面に表示する。
図4は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムのセキュリティアプリ動作を示す図である。
図4左に示すように、スマートフォン50aの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図4中に示すように、スマートフォン50aの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「1F玄関に不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図4右に示すように、スマートフォン50aの表示を時系列の4画面に表示する。
以下、上述のように構成されたデジタルアキュレート・セキュリティシステムの動作について説明する。
[デジタルアキュレート・セキュリティ処理]
まず、デジタルアキュレート・セキュリティシステムの警備モード設定について説明する。
[デジタルアキュレート・セキュリティ処理]
まず、デジタルアキュレート・セキュリティシステムの警備モード設定について説明する。
図5は、デジタルアキュレート・セキュリティシステムの監視装置100の警備モード設定処理を示すフローチャートである。本フローは、監視装置100の制御部110(図2参照)により実行される。
ステップS1では、警備モードを定義する。
ステップS2では、時間により警備モードを変更する。
ステップS3では、スマートフォン50a(携帯端末装置50)から警備モードの変更を受信したか否かを判別する。
スマートフォン50a(携帯端末装置50)から警備モードの変更を受信した場合(ステップS3:Yes)、ステップS4で指示された警備モードで警備を実行する。
警備モードの変更を受信しない場合(ステップS3:No)、本フローを終了して定義された警備モードで時間による警備モードを実行する。
上記警備モードを定義することにより、無駄な処理をなくすことができ、結果的には計算リソースの低減により低コスト化及び処理の高速化を図ることができる。
ステップS2では、時間により警備モードを変更する。
ステップS3では、スマートフォン50a(携帯端末装置50)から警備モードの変更を受信したか否かを判別する。
スマートフォン50a(携帯端末装置50)から警備モードの変更を受信した場合(ステップS3:Yes)、ステップS4で指示された警備モードで警備を実行する。
警備モードの変更を受信しない場合(ステップS3:No)、本フローを終了して定義された警備モードで時間による警備モードを実行する。
上記警備モードを定義することにより、無駄な処理をなくすことができ、結果的には計算リソースの低減により低コスト化及び処理の高速化を図ることができる。
[デジタルアキュレート・セキュリティシステムの警備例]
デジタルアキュレート・セキュリティシステムの警備例について説明する。
<ホーム&ビルディング>
図6は、個人住宅における警備の例を示す図である。
デジタルアキュレート・セキュリティシステムは、個人向けに個人住宅及びオフィス・店舗・金融機関向け等の防犯システムを提供する。主な機能は、以下の通りである。
警備モード(在室警備、外出警備等)を定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
家屋外周に設置された監視カメラ11の映像から侵入者を検出・登録する。
検出された侵入者の危険度(注意度、緊急度)を判定し、危険度(注意度、緊急度)に応じて利用者に通知する。
BLEを使いスマートフォン50aにより屋外から警備モードを変更する。
スマートフォン50a、又は監視カメラのスピーカなどを通して侵入者に警告を通知する。
デジタルアキュレート・セキュリティシステムの警備例について説明する。
<ホーム&ビルディング>
図6は、個人住宅における警備の例を示す図である。
デジタルアキュレート・セキュリティシステムは、個人向けに個人住宅及びオフィス・店舗・金融機関向け等の防犯システムを提供する。主な機能は、以下の通りである。
警備モード(在室警備、外出警備等)を定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
家屋外周に設置された監視カメラ11の映像から侵入者を検出・登録する。
検出された侵入者の危険度(注意度、緊急度)を判定し、危険度(注意度、緊急度)に応じて利用者に通知する。
BLEを使いスマートフォン50aにより屋外から警備モードを変更する。
スマートフォン50a、又は監視カメラのスピーカなどを通して侵入者に警告を通知する。
図7は、集合住宅における警備の例を示す図である。
例えば、集合住宅向けの防犯システムを提供する。主な機能は、以下の通りである。
警備モードを定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
居住部外周に設置された監視カメラ11の映像から侵入者を検出・登録する。
検出された侵入者の危険度(注意度、緊急度)を判定し、危険度(注意度、緊急度)に応じて利用者に通知する。
BLEを使いスマートフォン50aにより屋外から警備モードを変更する。
スマートフォン50a、又は監視カメラのスピーカなどを通して侵入者に警告を通知する。
例えば、集合住宅向けの防犯システムを提供する。主な機能は、以下の通りである。
警備モードを定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
居住部外周に設置された監視カメラ11の映像から侵入者を検出・登録する。
検出された侵入者の危険度(注意度、緊急度)を判定し、危険度(注意度、緊急度)に応じて利用者に通知する。
BLEを使いスマートフォン50aにより屋外から警備モードを変更する。
スマートフォン50a、又は監視カメラのスピーカなどを通して侵入者に警告を通知する。
[デジタルアキュレート・セキュリティ処理]
次に、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティ処理について説明する。
次に、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティ処理について説明する。
図8A及び図8Bは、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティ処理を示すフローチャートである。本フローは、監視装置100の制御部110(図2参照)により図5で設定された「警備モード」で実行される。
ステップS11では、3次元で特定されるセキュリティ区域(特定エリア)の画像を撮影する。監視カメラ11は、例えばPTZカメラであり、監視装置100により遠隔操作される。監視カメラ11が撮影した画像は、監視装置100に出力される。
ステップS12で、制御部110の人検出部111は、監視カメラ11によって撮影された画像から人を検出する。本実施形態では、人検出部111は、AIアクセラレータ200に対してAIによる[人の検出処理]を要求し、人検出部111は、AIアクセラレータ200からの人の検出結果を待つ。なお、人検出部111は、サーモカメラ(又は人感センサ20)による人検出を併用するようにしてもよい。
ステップS12で、制御部110の人検出部111は、監視カメラ11によって撮影された画像から人を検出する。本実施形態では、人検出部111は、AIアクセラレータ200に対してAIによる[人の検出処理]を要求し、人検出部111は、AIアクセラレータ200からの人の検出結果を待つ。なお、人検出部111は、サーモカメラ(又は人感センサ20)による人検出を併用するようにしてもよい。
ステップS13で制御部110は、監視カメラ11によって撮影された画像に人が検出されたか否かを判別する。
監視カメラ11によって撮影された画像に人が検出された場合(ステップS13:Yes)、ステップS14に進む。監視カメラ11によって撮影された画像に人を検出しない場合(ステップS13:No)、本フローを終了する。
監視カメラ11によって撮影された画像に人が検出された場合(ステップS13:Yes)、ステップS14に進む。監視カメラ11によって撮影された画像に人を検出しない場合(ステップS13:No)、本フローを終了する。
ステップS14で制御部110は、ID端末検出部113が検出したID端末(携帯端末装置50;スマートフォン50a)を所持している人(家族など所定のIDを所持している人など)か否かを判別する。制御部110は、ID端末検出部113が検出したID端末を所持している人を不審者から除外して(ステップS14:Yes)、ステップS15に進む。
ステップS15で制御部110は、ID端末登録部114が登録したID端末(来客などのID)を所持している人か否かを判別する。制御部110は、ID端末(来客などのID)を登録している人を不審者から除外して(ステップS15:Yes)、ステップS16に進む。
このように、家族等がID端末を所持している場合及び来客等のID端末をあらかじめ登録した場合、後段の処理をスキップして処理の迅速化を図る。
このように、家族等がID端末を所持している場合及び来客等のID端末をあらかじめ登録した場合、後段の処理をスキップして処理の迅速化を図る。
ステップS16で制御部110の投影逆変換部112は、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。上記人の大きさは、身長などでもよいが、人の頭の大きさが望ましい。人の年齢や性別等であまり変化のない人の頭の大きさを人の大きさの指標として用いることができる。
ステップS17で制御部110は、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の侵入を判定する。例えば、隣家の駐車場の屋根から塀を超えて侵入する場合などを検出することができる。
セキュリティ区域内に不審者が侵入した場合、ステップS18で制御部110は、不審者の位置及び/又は不審者の動きに基づいて侵入の危険度を判定する。セキュリティ区域内に不審者の侵入がない場合、本フローの処理を終了する。
(1)不審者の位置よって、危険度(注意度、緊急度)を判定する。例えば、前記図6及び図7のようにイエローベルト(後記)内に人が検出された場合、危険度は中程度、またレッドベルト(後記)内に人が検出された場合、危険度は高いと判定できる。また、イエローベルト外で人が検出された場合は、危険度は小さいと判定できる。これに対し、3次元上の不審者の位置から、侵入者(不審者)が隣家の駐車場の屋根から塀を超えて侵入する場合などは、危険度(緊急度)が非常に高いと判定できる。
(2)不審者の動きよっても、危険度(注意度、緊急度)を判定することができる。不審者の動きは、例えば瞳の動きと首の動きである(詳細後記)。不審者の動きが不自然である場合、危険度(注意度、緊急度)が高いと判定できる。
ステップS19で通報部115は、危険度(注意度、緊急度)に応じた通報を行う。通報は、例えば関係者のスマートフォン50aに、不審者に関する情報を送信する。この通報は、侵入犯罪の危険度(危険の度合いのクラス分け)に対応して、危険の度合いを示すメッセージやマーク、強調文字、色分けを付すようにする。また、危険度又は緊急度に対応して、通報先を変える。例えば、侵入者(不審者)が隣家の駐車場の屋根から塀を超えて侵入する場合などは、侵入者が危険で緊急度が高いと判定し、侵入者に関する最も緊急度の高いテロップを通知する。さらに、通報先の関係機関に警察等を入れる。そしてこの通報は、不審者の自動登録処理などより優先して行う。また、レッドベルト内に人が検出された場合、侵入の緊急度が高いテロップを、イエローベルト外で人が検出された場合は、侵入の緊急度は中程度のテロップを通知する(図4参照)。
上述したように、図4左に示すスマートフォン50aの待受け画面等に不審者の存在を通報するテロップを送信する。ユーザのタップにより、図4中に示すように、不審者のズーム画面を表示し、不審者の位置と状況「1F玄関に不審者」を表示するとともに、このテロップを自動音声で読み上げる。
ステップS20で制御部110は、セキュリティ区域内の不審者の情報を記憶部130に登録して本フローの処理を終了する。これにより、不審者の侵入情報が記録され、防犯上有益な情報となる。
上記ステップS13で監視カメラ11によって撮影された画像から人が検出されない場合、上記ステップS14で家族等のID端末を所持している人である場合、又は上記ステップS15で来客等のID端末を登録した人である場合、本フローを終了する。
上記ステップS13で監視カメラ11によって撮影された画像から人が検出されない場合、上記ステップS14で家族等のID端末を所持している人である場合、又は上記ステップS15で来客等のID端末を登録した人である場合、本フローを終了する。
[投影逆変換部112による3次元位置検出]
次に、投影逆変換部112による3次元位置検出について説明する。
次に、投影逆変換部112による3次元位置検出について説明する。
図9は、デジタルアキュレート・セキュリティシステムの投影逆変換部112による3次元位置検出処理を示すフローチャートである。図9のフローは、図8AのステップS16のサブルーチンである。
ステップS16のサブルーチンコールによりスタートし、ステップS31で投影逆変換部112は、投影記憶部135から、あらかじめ3次元空間内に投影した形状として定義して記憶しておいた形状を読み込む。
ステップS16のサブルーチンコールによりスタートし、ステップS31で投影逆変換部112は、投影記憶部135から、あらかじめ3次元空間内に投影した形状として定義して記憶しておいた形状を読み込む。
ステップS32で投影逆変換部112は、投影記憶部135から人の大きさ情報を読み込む。
ステップS33で投影逆変換部112は、セキュリティ区域内で検出した人の2次元画像と人の大きさをもとに、「3次元空間内に定義した形状を2次元面上に投影する投影変換」の逆変換を行う。投影逆変換部112は、1つの監視カメラ11の画像から投影変換の逆変換をすることによって、3次元位置を検出する。原理的には、2次元画像で3次元の位置を検出することはできないはずであるが、人の大きさが既知であるとすると(人による頭の大きさの違いはほとんどないことを前提とする)、1つの監視カメラ11が撮影した2次元画像と、検知した人の大きさ情報とをもとに3次元位置を検出することができる。すなわち、3次元空間内に定義した形状を2次元面上に投影する変換を「投影変換」というとすると、投影逆変換部112は、検知した人情報に、人の大きさ情報を付加することによって、カメラ画像から投影変換の逆変換(「投影逆変換」)を行い、3次元位置を検出することができる。
ステップS34で投影逆変換部112は、投影変換の逆変換結果を出力して、図8のステップS16に戻る。
ステップS33で投影逆変換部112は、セキュリティ区域内で検出した人の2次元画像と人の大きさをもとに、「3次元空間内に定義した形状を2次元面上に投影する投影変換」の逆変換を行う。投影逆変換部112は、1つの監視カメラ11の画像から投影変換の逆変換をすることによって、3次元位置を検出する。原理的には、2次元画像で3次元の位置を検出することはできないはずであるが、人の大きさが既知であるとすると(人による頭の大きさの違いはほとんどないことを前提とする)、1つの監視カメラ11が撮影した2次元画像と、検知した人の大きさ情報とをもとに3次元位置を検出することができる。すなわち、3次元空間内に定義した形状を2次元面上に投影する変換を「投影変換」というとすると、投影逆変換部112は、検知した人情報に、人の大きさ情報を付加することによって、カメラ画像から投影変換の逆変換(「投影逆変換」)を行い、3次元位置を検出することができる。
ステップS34で投影逆変換部112は、投影変換の逆変換結果を出力して、図8のステップS16に戻る。
[デジタルアキュレート・セキュリティの特徴]
次に、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティの特徴について説明する。
次に、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティの特徴について説明する。
デジタルアキュレート・セキュリティシステム1000は、敷地内侵入検知・登録機能として、平面的に侵入を判定する技術と、立面的に侵入を判定する技術、平面的、立面的に検知されたものを、時間による侵入を検証する技術を、1つ又は複数組合せて用いる。以下、詳細に説明する。
不審者を検出するには、まず人間が敷地内に侵入したかどうかをカメラ画像から判定する。この判定ののち、その人間が不審者であるかどうかを検証し登録・通知する。
警戒領域を2次元、3次元、4次元(3次元+時間)的に検査し危険度を評価・登録する
敷地境界内を平面的に危険度に応じて以下の3つに分類する。
・セキュリティ・イエローベルト:例えば敷地境界の内側30cmのゾーン(~3m、4m程度)
・セキュリティ・オレンジゾーン:セキュリティ・イエローベルトとセキュリティ・レッドベルトの間
・セキュリティ・レッドベルト :例えば家屋の壁面から水平30cm以内(~3m、4m程度)の領域
・セキュリティ・イエローベルト:例えば敷地境界の内側30cmのゾーン(~3m、4m程度)
・セキュリティ・オレンジゾーン:セキュリティ・イエローベルトとセキュリティ・レッドベルトの間
・セキュリティ・レッドベルト :例えば家屋の壁面から水平30cm以内(~3m、4m程度)の領域
<セキュリティベルトについて>
セキュリティ・イエローベルト(以下、図中はYにより表記)は、早期警戒レベルの状態である。この部分への侵入は危険度イエローで通知されるが、3次元的、4次元的な追加情報を付加して検証し、検証の結果として侵入があれば通知することにより、検出の正確さと早期に対処を行うことが可能となる。また、セキュリティ・レッドベルト(以下、図中はRにより表記)では領域への侵入があれば直ちに通知の対応が必要となるレベルである。
セキュリティ・イエローベルト(以下、図中はYにより表記)は、早期警戒レベルの状態である。この部分への侵入は危険度イエローで通知されるが、3次元的、4次元的な追加情報を付加して検証し、検証の結果として侵入があれば通知することにより、検出の正確さと早期に対処を行うことが可能となる。また、セキュリティ・レッドベルト(以下、図中はRにより表記)では領域への侵入があれば直ちに通知の対応が必要となるレベルである。
<平面における検出>
図10は、平面における侵入者検出の例を示す図であり、図10左は平面における正常な状態、図10右は平面における異常な状態を示す。
図10左に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにセキュリティ・レッドベルト設定する。
図10右には、平面における異常な状態を示している。セキュリティ・イエローベルトを越えて、セキュリティ・レッドベルトの外側まで侵入者が侵入している。
図10は、平面における侵入者検出の例を示す図であり、図10左は平面における正常な状態、図10右は平面における異常な状態を示す。
図10左に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにセキュリティ・レッドベルト設定する。
図10右には、平面における異常な状態を示している。セキュリティ・イエローベルトを越えて、セキュリティ・レッドベルトの外側まで侵入者が侵入している。
平面における侵入者検出では、侵入者と境界との包含関係を評価する。例えば、図10右の符号aに示すように、監視カメラ11が10コマ/秒で撮影するものであれば、10コマの画像から侵入された動体を検出し(図10右のフレーム参照)、その平面状での位置を計算する。その10コマ内で(秒5コマの監視カメラなら5コマ)その侵入者が確かに検出されるのであれば、侵入者が存在する可能性があると判断する。
<立面における検出>
図11は、立面における侵入者検出の例を示す図であり、図11左は立面における正常な状態、図11右は立面における異常な状態をそれぞれ示す。
図11左に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、家屋の壁面を囲むようにセキュリティ・レッドベルトを設定する。
立面における検出では、監視カメラ11の画像から高さ(図11右のフレーム参照)を評価する。この高さが標準的な人間の高さかどうかを評価する。例えば、図11右の符号bに示すように、監視カメラ11の1秒間の画像数を評価し。確かに侵入者が人間であることを判断する。
図11は、立面における侵入者検出の例を示す図であり、図11左は立面における正常な状態、図11右は立面における異常な状態をそれぞれ示す。
図11左に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、家屋の壁面を囲むようにセキュリティ・レッドベルトを設定する。
立面における検出では、監視カメラ11の画像から高さ(図11右のフレーム参照)を評価する。この高さが標準的な人間の高さかどうかを評価する。例えば、図11右の符号bに示すように、監視カメラ11の1秒間の画像数を評価し。確かに侵入者が人間であることを判断する。
ここで、監視カメラ11の画像から高さを評価することは、上述した図8のステップS16で投影逆変換部112が、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。そして、図8のステップS17で制御部110が、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の侵入を判定する処理に対応する。図11の例では、侵入者がセキュリティ・イエローベルトを超えて侵入することを検出する。
立面における侵入者検出により、動物の侵入や、植栽の風による動きの誤検知を除去する。
立面における侵入者検出により、動物の侵入や、植栽の風による動きの誤検知を除去する。
<時間による検証>
図12は、時間による侵入者検証の例を示す図であり、図12左は時間における正常な状態、図12右は時間における異常な状態をそれぞれ示す。
図12右の符号cに示すように、デジタルアキュレート・セキュリティシステム1000は、立面における侵入者検出により、得られた侵入者の検出について、一秒毎に評価を繰り返す。図12右に示すように、侵入者はセキュリティ・イエローベルト上を歩いている。デジタルアキュレート・セキュリティシステム1000は、侵入者がセキュリティ・イエローベルト上で継続して侵入検出されたことを受けて、侵入者が確かに侵入したと判断する。
図12は、時間による侵入者検証の例を示す図であり、図12左は時間における正常な状態、図12右は時間における異常な状態をそれぞれ示す。
図12右の符号cに示すように、デジタルアキュレート・セキュリティシステム1000は、立面における侵入者検出により、得られた侵入者の検出について、一秒毎に評価を繰り返す。図12右に示すように、侵入者はセキュリティ・イエローベルト上を歩いている。デジタルアキュレート・セキュリティシステム1000は、侵入者がセキュリティ・イエローベルト上で継続して侵入検出されたことを受けて、侵入者が確かに侵入したと判断する。
<立面的に侵入を判定する技術:マッピング>
立面的に侵入を判定する技術を説明する。
立面的に侵入を判定する技術として、敷地境界の平面配置情報をカメラ画像にマッピングする。
図13は、敷地境界をカメラ画像にマッピングする例を示す図であり、図13左はその敷地境界の平面図、図13右はその敷地境界をカメラ画像にマッピングした例を示す。マッピングはCG(computer graphics)で生成された画像を写真画像に合成する技術である。合成する時、CGの背景部分を透過させることによりCGを写真画像に自然に重畳合成できる。
立面的に侵入を判定する技術を説明する。
立面的に侵入を判定する技術として、敷地境界の平面配置情報をカメラ画像にマッピングする。
図13は、敷地境界をカメラ画像にマッピングする例を示す図であり、図13左はその敷地境界の平面図、図13右はその敷地境界をカメラ画像にマッピングした例を示す。マッピングはCG(computer graphics)で生成された画像を写真画像に合成する技術である。合成する時、CGの背景部分を透過させることによりCGを写真画像に自然に重畳合成できる。
図13左に示すように、監視カメラ(図13左の×印参照)を設置するに当たり、警戒区域(自宅敷地境界などアウトラインとなる形状)の平面図を正確に作成する。また、監視カメラの設置位置、高さ及び向き(ロール、ピッチ、ヨー情報)も与える。上記ロール、ピッチ、ヨーは、3次元空間における視線の回転角を表す。視線方向をX軸、それに直行する左手方向をY軸、視点の上方向をZ軸とすると、X軸周りの回転をロール、Y軸周りの回転をピッチ、Z軸周りの回転をヨーという。
図13右は、図13左の符号dの監視カメラの画像をマッピングした例を示している。
警戒区域の位置情報をカメラのパラメータから、投影変換とビューポートによるクリッピングを行い監視カメラから得られる画像のどこが敷地内になるのかを求める(図13右参照)。上記ビューポートは、3次元空間を2次元として認識する場合の2次元の限界を表す。これは監視カメラで写真を取った時の写真に映る範囲に相当する。ビューポートは、監視カメラで撮影できる範囲を表す。また、上記クリッピングは、3次元データで表現されたコンピュータグラフィックス等のようなオブジェクトをビューポートの大きさに切りだす処理をいう。
警戒区域の位置情報をカメラのパラメータから、投影変換とビューポートによるクリッピングを行い監視カメラから得られる画像のどこが敷地内になるのかを求める(図13右参照)。上記ビューポートは、3次元空間を2次元として認識する場合の2次元の限界を表す。これは監視カメラで写真を取った時の写真に映る範囲に相当する。ビューポートは、監視カメラで撮影できる範囲を表す。また、上記クリッピングは、3次元データで表現されたコンピュータグラフィックス等のようなオブジェクトをビューポートの大きさに切りだす処理をいう。
<立面的に侵入を判定する技術:あらかじめ登録した物体との大きさ比較>
マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ、及び人の高さ(頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ)を比較する。
マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ、及び人の高さ(頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ)を比較する。
図14は、敷地内にあらかじめあるものの高さを登録する例を説明する図である。
図14に示すように、マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さを登録する。また、人が有してる基準となるサイズを、すなわち人の高さ(頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ)を投影記憶部135にあらかじめ記憶しておく。人が侵入する場合はあらかじめ登録したセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ以外で人間的な高さがあるものが人であり、その形状の複数の画像によって侵入者(図14のフレーム参照)を判定する。
図14に示すように、マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さを登録する。また、人が有してる基準となるサイズを、すなわち人の高さ(頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ)を投影記憶部135にあらかじめ記憶しておく。人が侵入する場合はあらかじめ登録したセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ以外で人間的な高さがあるものが人であり、その形状の複数の画像によって侵入者(図14のフレーム参照)を判定する。
ここで、立面的に侵入を判定するには、上述した図9のステップS31,ステップS32で投影逆変換部112が、投影記憶部135から、あらかじめ3次元空間内に投影した形状として定義して記憶しておいた投影形状と人の大きさ情報を読み込む。そして、ステップS33で、セキュリティ区域内で検出した人の2次元画像と人の大きさをもとに、1つの監視カメラ11の画像から投影変換の逆変換をすることによって、3次元位置を検出する。
図15は、人間の状態による高さの変化を説明する図である。図15の符号eは、高さに変化のある異常な状態を示す。図15の符号fは、投影記憶部135(図2参照)に登録されている色々な高さの物体(門扉など)を示し、図15の符号gは、投影記憶部135(図2参照)に登録されている正常な状態の人の大きさ(高さ)を示す。
図15に示すように、人間的な位置の正確さと3次元的な高さを(伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等を判断するため、人間の5体すなわち、頭部、顔の各部部品、体、足などの厚さ、高さとの対比を正しく表せるようにする)反映する。これにより、注意度判断の精度を100%近くまで高める。
人間の高さは、監視カメラから得られた画像の内の動体を囲む領域(一次ライン)(図14のフレーム参照)のボックスの高さにより求める。
図15に示すように、人間的な位置の正確さと3次元的な高さを(伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等を判断するため、人間の5体すなわち、頭部、顔の各部部品、体、足などの厚さ、高さとの対比を正しく表せるようにする)反映する。これにより、注意度判断の精度を100%近くまで高める。
人間の高さは、監視カメラから得られた画像の内の動体を囲む領域(一次ライン)(図14のフレーム参照)のボックスの高さにより求める。
<時間による侵入検証>
立面における侵入者検出を、時間による侵入でより精度よく検証する技術を説明する。
図16は、人間の状態による高さの変化を説明する図である。図16の符号hは、侵入者が停止している状態、図16の符号iは、侵入者がゆっくり移動している状態、図16の符号jは、侵入者が早く移動している状態をそれぞれ示す。
立面における侵入者検出を、時間による侵入でより精度よく検証する技術を説明する。
図16は、人間の状態による高さの変化を説明する図である。図16の符号hは、侵入者が停止している状態、図16の符号iは、侵入者がゆっくり移動している状態、図16の符号jは、侵入者が早く移動している状態をそれぞれ示す。
前記立面における侵入者検出では、ある一瞬間に人間が警戒領域(敷地境界内)に侵入しているかどうかを判断することはできるものの、何らかの目的を持って侵入しているかどうかは判別できない。つまり、たまたま一時的に警戒領域(敷地境界内)に侵入してしまったケースを除去できない。このため、デジタルアキュレート・セキュリティシステム1000では、時間的な継続性を加味する。
図16に示すように、人間が敷地内に侵入したことを判別した情報が短い時間の間に連続して得られた場合。例えば2秒間に連続して検知されたとすると、それは侵入者が意図をもって侵入したと判断できる。この時間による侵入を検証技術を用いて「人現が意図を持って敷地内に侵入した」という事実を判断でき、その状態情報を登録することができる。
[検出された侵入者の注意度評価]
デジタルアキュレート・セキュリティシステム1000は、検出された侵入者の注意度を評価し、注意度に応じて利用者に通知する。上述した、図8BのフローのステップS19の「危険度(注意度、緊急度)に応じた通報」に対応する。
具体的には、瞳の動きによる判断技術と、首の動きによる判断技術を用いる。これにより、デジタルアキュレート・セキュリティシステムは、警戒領域に侵入検知された対象の心理状態を危険度として評価を行うことができる。
デジタルアキュレート・セキュリティシステム1000は、検出された侵入者の注意度を評価し、注意度に応じて利用者に通知する。上述した、図8BのフローのステップS19の「危険度(注意度、緊急度)に応じた通報」に対応する。
具体的には、瞳の動きによる判断技術と、首の動きによる判断技術を用いる。これにより、デジタルアキュレート・セキュリティシステムは、警戒領域に侵入検知された対象の心理状態を危険度として評価を行うことができる。
<瞳の動きによる判断>
図17上段は、瞳の動き(左右)による判断を説明する図である。
画像処理の技術を用いると顔は「顔器官検出(Facial Landmark Detection)」によって、目鼻口の位置を獲得できる。次の技術により瞳の場所を判断する。
まず、(1)目の画像を切り出す。これを一次ラインと呼称する。(2)次にその画像を二値化する。瞳は黒くなり、白眼は白となる。(3)目を水平の3つの領域に分ける(右、中央、左)。このそれぞれの領域の黒の画素を数える。この最も多い領域を二次ラインと呼称するこの二次ラインに瞳が有ると判断する。つまり、瞳が右に寄っているか、左に寄っているか、中央にあるかを判断できる。
図17上段は、瞳の動き(左右)による判断を説明する図である。
画像処理の技術を用いると顔は「顔器官検出(Facial Landmark Detection)」によって、目鼻口の位置を獲得できる。次の技術により瞳の場所を判断する。
まず、(1)目の画像を切り出す。これを一次ラインと呼称する。(2)次にその画像を二値化する。瞳は黒くなり、白眼は白となる。(3)目を水平の3つの領域に分ける(右、中央、左)。このそれぞれの領域の黒の画素を数える。この最も多い領域を二次ラインと呼称するこの二次ラインに瞳が有ると判断する。つまり、瞳が右に寄っているか、左に寄っているか、中央にあるかを判断できる。
<首の動き(左右)による判断>
図17中段は、首の動き(左右)による判断を説明する図である。
首の動き、つまり左右を見渡したり、上をうかがう時、人は首を動かす。この首の動きは顔の向きという形であらわされる。顔器官検出で得られる点を内包する矩形を一次ラインとし、目鼻口を内包する矩形を二次ラインとすると、この一次ラインと二次ラインに囲まれる領域の重心座標の隔たりにより顔の向きをベクトルとして数値的にあらわすことができる。
図17中段は、首の動き(左右)による判断を説明する図である。
首の動き、つまり左右を見渡したり、上をうかがう時、人は首を動かす。この首の動きは顔の向きという形であらわされる。顔器官検出で得られる点を内包する矩形を一次ラインとし、目鼻口を内包する矩形を二次ラインとすると、この一次ラインと二次ラインに囲まれる領域の重心座標の隔たりにより顔の向きをベクトルとして数値的にあらわすことができる。
図17中段の矩形枠に示す顔全体の位置に対して、目・眉・鼻・口・顎の輪郭を抽出することで、図17中段の中央のニュートラルな状態から、左に顔を向けるように首を動かす状態と、右に顔を向けるように首を動かす状態とが段階的に判定される。なお、この技術を用いて、ある角度から撮影された顔画像をもとに、ニュートラルな状態の顔画像を生成することもできる。
<首の動き(上下)による判断>
図17下段は、首の動き(上下)による判断を説明する図である。
この首の動き(上下)も首の動き(左右)と同様に判断することができる。
<時間の経過による判断>
図17上段に示す瞳の位置による判断だけでは、瞬間的な状況だけしかわからない。このため、短い時間における状態を追跡する。例えば、1秒間に秒5フレーム又は10フレームで目の位置情報を取得・記録し右、中央、左と判断される状況が混在した場合、目が激しく動いていると判断できる。これにより、デジタルアキュレート・セキュリティシステムは、「人が悪意を持つことにより目を激しく動かせた」と考えられる状態を判断でき、その状態を登録することができる。
図17下段は、首の動き(上下)による判断を説明する図である。
この首の動き(上下)も首の動き(左右)と同様に判断することができる。
<時間の経過による判断>
図17上段に示す瞳の位置による判断だけでは、瞬間的な状況だけしかわからない。このため、短い時間における状態を追跡する。例えば、1秒間に秒5フレーム又は10フレームで目の位置情報を取得・記録し右、中央、左と判断される状況が混在した場合、目が激しく動いていると判断できる。これにより、デジタルアキュレート・セキュリティシステムは、「人が悪意を持つことにより目を激しく動かせた」と考えられる状態を判断でき、その状態を登録することができる。
また、首の位置についても同様に、首の動き時間の変化を用いることにより動きを判断できる。例えば2秒という短い時間にベクトルが右方向から左方向、或いは上方向から下方向に変化した場合、首が激しく動いたと判断できる。これにより、デジタルアキュレート・セキュリティシステムは、「人が悪意を持つことにより首を激しく動かせた」と考えられる状態を判断でき、その状態を登録することができる。
なお、図17の瞳と首の動きの変化による判断処理は、図25の適用例4において後記する。
なお、図17の瞳と首の動きの変化による判断処理は、図25の適用例4において後記する。
[BLEによる警備解除]
図18は、BLEによる一時的な警備解除を説明する図である。
BLE(Bluetooth Low Energy)は、近接接近を検知する技術である。デジタルアキュレート・セキュリティシステムは、利用者がスマートフォンにデジタルアキュレート・セキュリティシステム専用のアプリケーションをインストールすることにより、利用者・その家族が警戒範囲に侵入することを許す機能を持つ。利用者はあらかじめ定められた解除コードを持ち(アプリの中にインストールされている)、近接を感知すると、この解除コードがBLEによりデジタルアキュレート・セキュリティシステムに送信され、一時的に警戒モードを解除する(図16参照)。これにより、利用者・その家族が敷地内でする行動について検知対象外とすることが可能になり、精度の高い侵入検知を行うことができる。
図18は、BLEによる一時的な警備解除を説明する図である。
BLE(Bluetooth Low Energy)は、近接接近を検知する技術である。デジタルアキュレート・セキュリティシステムは、利用者がスマートフォンにデジタルアキュレート・セキュリティシステム専用のアプリケーションをインストールすることにより、利用者・その家族が警戒範囲に侵入することを許す機能を持つ。利用者はあらかじめ定められた解除コードを持ち(アプリの中にインストールされている)、近接を感知すると、この解除コードがBLEによりデジタルアキュレート・セキュリティシステムに送信され、一時的に警戒モードを解除する(図16参照)。これにより、利用者・その家族が敷地内でする行動について検知対象外とすることが可能になり、精度の高い侵入検知を行うことができる。
[適用例]
デジタルアキュレート・セキュリティシステムによる侵入検出の適用例について説明する。
<適用例1>
図19は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例1を説明する図である。
図19に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにセキュリティ・レッドベルトを設定する。図19は、平面図であるが、立面による侵入者の検出を示すために、侵入者については、(1)水平位置(X軸,Y軸)と水平位置に垂直な(2)垂直位置(Z軸)を破線により表している。すなわち、侵入者は、上述した「投影逆変換部112によって3次元空間内の位置」が検出される。図19の西側スペース及び南側スペースのセキュリティゾーンにいる不審者(しゃがんだ不審者、伏した不審者)についても同様に、立面における侵入者検出が実行される。
デジタルアキュレート・セキュリティシステムによる侵入検出の適用例について説明する。
<適用例1>
図19は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例1を説明する図である。
図19に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにセキュリティ・レッドベルトを設定する。図19は、平面図であるが、立面による侵入者の検出を示すために、侵入者については、(1)水平位置(X軸,Y軸)と水平位置に垂直な(2)垂直位置(Z軸)を破線により表している。すなわち、侵入者は、上述した「投影逆変換部112によって3次元空間内の位置」が検出される。図19の西側スペース及び南側スペースのセキュリティゾーンにいる不審者(しゃがんだ不審者、伏した不審者)についても同様に、立面における侵入者検出が実行される。
図20は、図19の適用例1において、デジタルアキュレート・セキュリティシステム1000、家族、不審者の動作の概要を示すフローチャートである。図20の家族及び不審者のフローは、CPU処理ではないが、便宜上ステップ番号を付して説明する。家族(family)はステップF、不審者(Suspicious person)はステップSPを付している。
《デジタルアキュレート・セキュリティシステム》
ステップS101でデジタルアキュレート・セキュリティシステム1000が警備を開始する(ステップS1)。
ステップS102で時間により警備モードを変更する(ステップS2)(図5のステップS2に対応)。
ステップS101でデジタルアキュレート・セキュリティシステム1000が警備を開始する(ステップS1)。
ステップS102で時間により警備モードを変更する(ステップS2)(図5のステップS2に対応)。
設定した任意の条件判定を行う(ステップS103)。
22:00以降など家族全員が帰宅済みの場合、ステップS104で在宅警備を自動開始する。
夜23:00などの場合、ステップS105で在宅警備を自動開始する。
朝5:00などの場合、ステップS106で在宅警備を自動解除する。
22:00以降など家族全員が帰宅済みの場合、ステップS104で在宅警備を自動開始する。
夜23:00などの場合、ステップS105で在宅警備を自動開始する。
朝5:00などの場合、ステップS106で在宅警備を自動解除する。
監視カメラから画像を得る(ステップS107)。
画像の中で人間を囲む矩形を得る(ステップS108)。
家屋外周に設置された監視カメラの映像から、侵入者を検出・登録する(ステップS109)。
家族のスマートフォンにBLE信号を送る(ステップS110)。
画像の中で人間を囲む矩形を得る(ステップS108)。
家屋外周に設置された監視カメラの映像から、侵入者を検出・登録する(ステップS109)。
家族のスマートフォンにBLE信号を送る(ステップS110)。
BLEによる警備の一時解除が行われたか否か判定する(ステップS111)。
警備の一時解除が行われた場合、警備を一時解除する(ステップS112)。
警備の一時解除が行われない場合、ステップS113で侵入者の水平位置、垂直位置を取得する。
警備の一時解除が行われた場合、警備を一時解除する(ステップS112)。
警備の一時解除が行われない場合、ステップS113で侵入者の水平位置、垂直位置を取得する。
不審者による敷地内への侵入が行われたか否かを判別する(ステップS114)。
不審者による敷地内への侵入が行われた場合、ステップS115で検出された侵入者の注意度(図8のステップS17の「危険度判定」に対応)を評価し、注意度に応じて利用者に通知する情報を作成する。
ステップS116で家族のスマートフォンに発報して通知して(図8のステップS18の「通報」に対応)上記ステップS102に戻る。
不審者による敷地内への侵入が行われた場合、ステップS115で検出された侵入者の注意度(図8のステップS17の「危険度判定」に対応)を評価し、注意度に応じて利用者に通知する情報を作成する。
ステップS116で家族のスマートフォンに発報して通知して(図8のステップS18の「通報」に対応)上記ステップS102に戻る。
《家族》
家族又は関係者が警備モードを設定する(ステップF1)。家族が不在の時は外出警備にし、家族が在宅の時は在宅警備にする。家族による警備モードの設定(ステップF1)情報は、デジタルアキュレート・セキュリティシステム1000に送信され、デジタルアキュレート・セキュリティシステム1000が警備を開始する(ステップS1)。
家族又は関係者が警備モードを設定する(ステップF1)。家族が不在の時は外出警備にし、家族が在宅の時は在宅警備にする。家族による警備モードの設定(ステップF1)情報は、デジタルアキュレート・セキュリティシステム1000に送信され、デジタルアキュレート・セキュリティシステム1000が警備を開始する(ステップS1)。
セキュリティ・イエローベルト内に侵入者が侵入する(ステップF2)。例えば、図19に示す北側のセキュリティ・イエローベルトに不審者が侵入する。デジタルアキュレート・セキュリティシステム1000は、監視カメラから画像を得る(ステップS107)。
侵入者は家族であるか否かを判定する(ステップF3)。
侵入者が家族の場合、セキュリティ・イエローベルト内に家族が立ち入っている(ステップF4)。例えば、図19に示す北側のセキュリティ・イエローベルト内に家族が立ち入っている。
侵入者が家族の場合、セキュリティ・イエローベルト内に家族が立ち入っている(ステップF4)。例えば、図19に示す北側のセキュリティ・イエローベルト内に家族が立ち入っている。
デジタルアキュレート・セキュリティシステム1000は、家族のスマートフォンにBLE信号を送り(ステップS110)、家族のスマートフォンがBLE信号を受信する(ステップF5)。
これを受けて、家族又は関係者はBLEを使いスマートフォンにより屋外から警備モードを変更する(ステップF6)。家族が警備強化の必要があると判断したためである。
敷地内で自由に行動する(ステップF7)。
敷地内で自由に行動する(ステップF7)。
スマートフォンで通知を受け取る(ステップF8)。
スマートフォン、監視カメラのスピーカから侵入者に警告を通知する(ステップF9)。
スマートフォン、監視カメラのスピーカから侵入者に警告を通知する(ステップF9)。
《侵入者》
セキュリティ・イエローベルト内に侵入者が侵入し、侵入者が家族でない場合、セキュリティ・イエローベルト内に不審者が立ち入っている(ステップSP1)。
敷地内で不審者が伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等をとる(ステップSP2)。
不審者の目が左右にきょろきょろする(ステップSP3)。
不審者が首を左右に素早く振る(ステップSP4)。
不審者が首を上下に素早く振る(ステップSP5)。
これら不審者の動きは、デジタルアキュレート・セキュリティシステム1000に送られ、デジタルアキュレート・セキュリティシステム1000は、不審者の動きに基づいて危険度(注意度、緊急度)を判定する。デジタルアキュレート・セキュリティシステム1000は、家族や関係機関に、危険度(注意度、緊急度)に応じたレベルの通知を行うことができる。
セキュリティ・イエローベルト内に侵入者が侵入し、侵入者が家族でない場合、セキュリティ・イエローベルト内に不審者が立ち入っている(ステップSP1)。
敷地内で不審者が伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等をとる(ステップSP2)。
不審者の目が左右にきょろきょろする(ステップSP3)。
不審者が首を左右に素早く振る(ステップSP4)。
不審者が首を上下に素早く振る(ステップSP5)。
これら不審者の動きは、デジタルアキュレート・セキュリティシステム1000に送られ、デジタルアキュレート・セキュリティシステム1000は、不審者の動きに基づいて危険度(注意度、緊急度)を判定する。デジタルアキュレート・セキュリティシステム1000は、家族や関係機関に、危険度(注意度、緊急度)に応じたレベルの通知を行うことができる。
<適用例2>
図21は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例2を説明する図である。図21は、家屋外周に設置された監視カメラの映像から侵入者を検出・登録する例を示している。図22は、図21の適用例2において、デジタルアキュレート・セキュリティシステム1000の動作を示すフローチャートである。
図21左は、不審者侵入前(Before)の1秒間に10コマの場合の画像である。図21左に示すように、不審者は、セキュリティ・イエローベルトゾーンへ侵入していない。
図21は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例2を説明する図である。図21は、家屋外周に設置された監視カメラの映像から侵入者を検出・登録する例を示している。図22は、図21の適用例2において、デジタルアキュレート・セキュリティシステム1000の動作を示すフローチャートである。
図21左は、不審者侵入前(Before)の1秒間に10コマの場合の画像である。図21左に示すように、不審者は、セキュリティ・イエローベルトゾーンへ侵入していない。
図21右は、不審者侵入後(After)の1秒間に10コマの場合の画像である。図21右に示すように、不審者は、セキュリティ・イエローベルトゾーンへ侵入した。デジタルアキュレート・セキュリティシステム1000の制御部110(図2参照)の人検出部111は、監視カメラ11によって撮影された画像から人(不審者)を検出する。図21右において検出された不審者は、矩形の枠で示され、セキュリティ・レッドベルトまでのおおよその2次元距離は破線で示される。図21右に示すように、セキュリティ・イエローベルトを越えて侵入した不審者は、セキュリティ・レッドベルトに近づいて来ている。
図22において、ステップS201でセキュリティ・レッドベルトへの侵入者を検出する。上述したように、デジタルアキュレート・セキュリティシステム1000の制御部110(図2参照)の人検出部111は、監視カメラ11によって撮影された画像から人を検出する。
ステップS202でセキュリティ・レッドベルト(家屋の壁面等から例えば30cm~4mの範囲)への侵入者検出を開始する。
ステップS202でセキュリティ・レッドベルト(家屋の壁面等から例えば30cm~4mの範囲)への侵入者検出を開始する。
以下、立面における侵入者検出(ステップS203~ステップS209)と、平面における侵入者検出(ステップS210~ステップS214)と、に分岐して、立面と平面のそれぞれにおいて侵入者を検出する。本実施形態は、投影逆変換部112(図2参照)が、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。そして、制御部110(図2参照)が、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報することに特徴がある。このため、立面における侵入者検出が主要動作であり、図21も立面における侵入者の画像を示している。
ステップS203で立面における侵入者検出を開始(1秒間に5~10コマの画像)する。
ステップS204で1秒間の画像、例えば10コマ/秒の場合1/10~10/10の画像を立面上で検査する。
ステップS204で1秒間の画像、例えば10コマ/秒の場合1/10~10/10の画像を立面上で検査する。
ステップS205で侵入検知されたか否かを判定する。
ステップS205で侵入検知されない場合、ステップS206で侵入なしと判定し、ステップS207で正常と判断して本フローの処理を終了する。
ステップS205で侵入検知された場合、ステップS208で侵入ありと判定し、ステップS209で異常(要注意)と判断して本フローの処理を終了する。
ステップS205で侵入検知されない場合、ステップS206で侵入なしと判定し、ステップS207で正常と判断して本フローの処理を終了する。
ステップS205で侵入検知された場合、ステップS208で侵入ありと判定し、ステップS209で異常(要注意)と判断して本フローの処理を終了する。
一方、ステップS210で平面における侵入者検出を開始(1秒間に5~10コマの画像)する。
ステップS211で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を平面上で検査する。
ステップS211で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を平面上で検査する。
ステップS212で侵入検知されたか否かを判定する。
ステップS212で侵入検知されない場合、ステップS213で侵入なしと判定し、ステップS207で正常と判断して本フローの処理を終了する。
ステップS212で侵入検知された場合、ステップS214で侵入ありと判定し、ステップS209で異常(要注意)と判断して本フローの処理を終了する。
ステップS212で侵入検知されない場合、ステップS213で侵入なしと判定し、ステップS207で正常と判断して本フローの処理を終了する。
ステップS212で侵入検知された場合、ステップS214で侵入ありと判定し、ステップS209で異常(要注意)と判断して本フローの処理を終了する。
適用例2では、立面における侵入者検出と平面における侵入者検出とを併用しているので、立面における侵入者検出単体よりも検出の精度を高めることができる。
<適用例3>
図23は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例3を説明する図である。図23左は平面における侵入者検出を示す平面図、図23右は立面における侵入者検出を示す立面図である。
図23は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例3を説明する図である。図23左は平面における侵入者検出を示す平面図、図23右は立面における侵入者検出を示す立面図である。
図23右は、図23左の平面図を、上述した「立面的に侵入を判定する技術(図13~図14参照)」により立面による侵入者の検出の3次元空間に投影変換した立面図である。図23右は、カーゲートより内側に侵入者が入っている様子を示す。侵入者は、水平位置(X軸,Y軸)と垂直位置(Z軸)を破線により表される。
図24は、図23の適用例3において、デジタルアキュレート・セキュリティシステム1000が家屋外周に設置された監視カメラの映像から侵入者を検出・登録する動作を示すフローチャートである。
ステップS301でセキュリティ・イエローベルト(セキュリティ該当敷地内、道路境界、隣地境界から例えば30cm~4mの範囲)への侵入者検出を開始する。
ステップS301でセキュリティ・イエローベルト(セキュリティ該当敷地内、道路境界、隣地境界から例えば30cm~4mの範囲)への侵入者検出を開始する。
以下、立面における侵入者検出(ステップS302~ステップS311)と、平面における侵入者検出(ステップS210~ステップS214)と、に分岐して、立面と平面のそれぞれにおいて侵入者を検出する。
ステップS302で立面における侵入者検出を開始(5~10コマ/秒の画像)する。
ステップS303で1秒間の画像(例えば、1秒間に10コマの場合1/10~10/10の画像)を立面上で検査する。
ステップS304で1秒後から2秒後までの1秒間の画像(例えば、10コマの画像)を立面上で検査する。
ステップS303で1秒間の画像(例えば、1秒間に10コマの場合1/10~10/10の画像)を立面上で検査する。
ステップS304で1秒後から2秒後までの1秒間の画像(例えば、10コマの画像)を立面上で検査する。
ステップS305で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS306で侵入がないと判断し、ステップS307で正常と判断して本フローの処理を終了する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS306で侵入がないと判断し、ステップS307で正常と判断して本フローの処理を終了する。
上記ステップS305で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS308で侵入の可能性があると判断し、ステップS309で時間的検証を開始する。立面における時間的検証は、下記の通りである。
すなわち、ステップS310で次の1秒間の画像(例えば、10コマ)を立面上で検査する。次いで、ステップS311で上記ステップS310の時間的検証を1~2分間繰り返し行って精度を高める。
すなわち、ステップS310で次の1秒間の画像(例えば、10コマ)を立面上で検査する。次いで、ステップS311で上記ステップS310の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS312で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知された場合、ステップS313で異常(要注意)と判定して本フローの処理を終了する。
一定時間連続検知された場合、ステップS313で異常(要注意)と判定して本フローの処理を終了する。
一方、ステップS314で平面における侵入者検出を開始(5~10コマ/秒の画像)する。
ステップS315で1秒間の画像(例えば、1秒間に10コマの場合1/10~10/10の画像)を平面上で検査する。
ステップS316で1秒後から2秒後までの1秒間の画像(例えば、10コマの画像)を平面上で検査する。
ステップS315で1秒間の画像(例えば、1秒間に10コマの場合1/10~10/10の画像)を平面上で検査する。
ステップS316で1秒後から2秒後までの1秒間の画像(例えば、10コマの画像)を平面上で検査する。
ステップS317で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS319で侵入がないと判断し、ステップS307で正常と判断して本フローの処理を終了する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS319で侵入がないと判断し、ステップS307で正常と判断して本フローの処理を終了する。
上記ステップS317で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS319で侵入の可能性があると判断し、ステップS309で時間的検証を開始する。平面における時間的検証は、下記の通りである。
すなわち、ステップS320で次の1秒間の画像(例えば、10コマ)を平面上で検査する。次いで、ステップS321で上記ステップS320の時間的検証を1~2分間繰り返し行って精度を高める。
すなわち、ステップS320で次の1秒間の画像(例えば、10コマ)を平面上で検査する。次いで、ステップS321で上記ステップS320の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS312で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知された場合、ステップS313で異常(要注意)と判定して本フローの処理を終了する。
一定時間連続検知された場合、ステップS313で異常(要注意)と判定して本フローの処理を終了する。
適用例3では、適用例2と同様に、立面における侵入者検出と平面における侵入者検出とを併用しているので、立面における侵入者検出単体よりも検出の精度を高めることができる。
また、適用例3では、侵入の可能性がある場合、時間的検証を行っているので、侵入者の侵入があることをより確実に検出することができ、検出の精度を高めることができる。
また、適用例3では、侵入の可能性がある場合、時間的検証を行っているので、侵入者の侵入があることをより確実に検出することができ、検出の精度を高めることができる。
<適用例4>
図25は、適用例4において、デジタルアキュレート・セキュリティシステム1000の注意度に応じて利用者に通知する処理を示すフローチャートである。図25のフローは、図17の瞳と首の動きの変化による判断処理を示している。
ステップS401で顔器官を検出する。
図25は、適用例4において、デジタルアキュレート・セキュリティシステム1000の注意度に応じて利用者に通知する処理を示すフローチャートである。図25のフローは、図17の瞳と首の動きの変化による判断処理を示している。
ステップS401で顔器官を検出する。
以下、瞳の動きによる侵入者検出と、首の左右の動きによる侵入者検出と、首の上下の動きによる侵入者検出と、に分岐して、侵入者を検出する。
《瞳の動き》
ステップS402で1秒間に5~10コマの画像をもとに、瞳の左右の場所を判断する。
ステップS403で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を検査する。
ステップS404で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
《瞳の動き》
ステップS402で1秒間に5~10コマの画像をもとに、瞳の左右の場所を判断する。
ステップS403で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を検査する。
ステップS404で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS405で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS406で正常と判断して本フローの処理を終了する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS406で正常と判断して本フローの処理を終了する。
上記ステップS405で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS407で異常の可能性があると判断してステップS408に進む。
ステップS408で時間的検証を開始する。瞳の動きによる時間的検証は、下記の通りである。
すなわち、ステップS409で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS410で上記ステップS409の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS408で時間的検証を開始する。瞳の動きによる時間的検証は、下記の通りである。
すなわち、ステップS409で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS410で上記ステップS409の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS411で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
《首の左右の動き》
ステップS414で1秒間に5~10コマの画像をもとに、首の左右の場所を判断する。
ステップS415で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を検査する。
ステップS416で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS414で1秒間に5~10コマの画像をもとに、首の左右の場所を判断する。
ステップS415で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を検査する。
ステップS416で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS417で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS418で正常と判断して本フローの処理を終了する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS418で正常と判断して本フローの処理を終了する。
上記ステップS419で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS419で異常の可能性があると判断してステップS408に進む。
ステップS408で時間的検証を開始する。首の左右の動きによる時間的検証は、下記の通りである。
すなわち、ステップS420で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS421で上記ステップS409の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS408で時間的検証を開始する。首の左右の動きによる時間的検証は、下記の通りである。
すなわち、ステップS420で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS421で上記ステップS409の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS411で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
《首の上下の動き》
ステップS422で1秒間に5~10コマの画像をもとに、首の上下の場所を判断する。
ステップS423で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を検査する。
ステップS424で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS422で1秒間に5~10コマの画像をもとに、首の上下の場所を判断する。
ステップS423で1秒間の画像、例えば1秒間に10コマの場合1/10~10/10の画像を検査する。
ステップS424で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS425で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS426で正常と判断して本フローの処理を終了する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS426で正常と判断して本フローの処理を終了する。
上記ステップS425で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS427で異常の可能性があると判断してステップS408に進む。
ステップS408で時間的検証を開始する。首の上下の動きによる時間的検証は、下記の通りである。
すなわち、ステップS428で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS429で上記ステップS428の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS408で時間的検証を開始する。首の上下の動きによる時間的検証は、下記の通りである。
すなわち、ステップS428で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS429で上記ステップS428の時間的検証を1~2分間繰り返し行って精度を高める。
ステップS411で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
上記フローにより、瞳の動き、首の左右の動き、首の上下の動きを判定することで、善意の人か悪意のある侵入者かの判断する際の確度を高めることができ、危険度の判定をより精度良く行うことができる。
以上詳細に説明したように、本実施の形態によれば、デジタルアキュレート・セキュリティシステム1000(図1参照)は、3次元のセキュリティ区域の画像を撮影する監視カメラ11と、監視カメラ11によって撮影された画像の2次元の各位置と監視カメラ11によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶部135と、監視カメラ11によって撮影された画像から人を検出する人検出部111と、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する投影逆変換部112と、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報部115とを備える。
この構成により、低コストで3次元位置を検出して、高度なセキュリティを確立することができる。
本実施形態では、人の大きさが人の頭の大きさであることで、人の大きさを示す指標として、人の年齢や性別等であまり変化のない個人差によらない情報をもとに、侵入者の3次元位置を判定することができる。
本実施形態では、不審者の位置に基づいて危険度を判定することで、危険度に合わせて警戒の状態をランク付けすることができる。これにより、セキュリティ区域へ侵入者に対して、通常の警戒と、よりランクの高いランクの警戒を通知することで、住居の所有者は対応した動作を行え、より高い精度での脅威の排除ができる。
本実施形態では、制御部110が、不審者の動きに基づいて危険度を判定することで、不審者の動きを判定条件に加えて危険度の判定をより精度良く行うことができ、高度なセキュリティを確立することができる。例えば、不審者の動きをもとに、善意の人か悪意のある侵入者かの区別、さらに侵入者の場合には危険度を判定し、危険度に合わせて警戒の状態をランク付けすることができる。
本実施形態では、デジタルアキュレート・セキュリティシステム1000は、非侵入者が所持するID端末を検出するID端末検出部113を備え、制御部110は、ID端末検出部113が検出したID端末を所持している人を不審者から除外する。ID端末を所持している人を不審者から除外することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
本実施形態では、デジタルアキュレート・セキュリティシステム1000は、非侵入者が所持するID端末を登録するID端末登録部114を備え、制御部110は、ID端末登録部114が検出したID端末を所持している人を不審者から除外する。ID端末を登録している人を不審者から除外することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
本実施形態では、デジタルアキュレート・セキュリティシステム1000は、CPU以外の計算リソースであるAIアクセラレータ200を備え、制御部110の人検出部111は、AIアクセラレータ200を用いて、セキュリティ区域内の人を検出する。AIアクセラレータ200は、CPU処理とは別に人の検出処理を専用ハードで実行することで、広範なセキュリティ区域内に存在する人を実時間で検出することができる。また、安価なカメラ機器用いた構成であっても、リアルタイムで人を検出することができる。
また、AIアクセラレータ200であることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。
また、AIアクセラレータ200であることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
また、上記実施の形態ではデジタルアキュレート・セキュリティシステム及び方法という名称を用いたが、これは説明の便宜上であり、監視システム、セキュリティシステム、サーチ・セキュリティ方法等であってもよい。
また、本発明のデジタルアキュレート・セキュリティシステム及び方法は、コンピュータを本デジタルアキュレート・セキュリティシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。
このプログラムを記録した記録媒体は、本デジタルアキュレート・セキュリティシステムのROMそのものであってもよいし、また、外部記憶装置としてCD-ROMドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なCD-ROM等であってもよい。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、IC(Integrated Circuit)カード、SD(Secure Digital)カード、光ディスク等の記録媒体に保持することができる。
本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。
本発明に係るデジタルアキュレート・セキュリティシステム、方法及びプログラムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等への設置が期待される。さらに、住宅、商業施設、事務所、病院、ホテル、金融機関、工場、研究所、発電所、エアーターミナル、集会場、競技場、美術館等の建物屋内外、交通機関の電車、フェリー、飛行機の車内等も対象である。
11 監視カメラ(撮影手段)
20 人感センサ
30 Wi-Fi親機
40 ビーコン親機
50 携帯端末装置(ID端末)
50a スマートフォン(携帯端末装置;ID端末)
51 Wi-Fi子機
52 ビーコン子機
53 GPS
100 監視装置
110 制御部
111 人検出部(人検出手段)
112 投影逆変換部(投影逆変換手段)
113 ID端末検出部(ID端末検出手段)
114 ID端末登録部(ID端末登録手段)
115 通報部(通報手段)
120 入力部
130 記憶部
135 投影記憶部(投影記憶手段)
140 表示部
150 出力部
160 録画部
165 顔情報DB
170 画像処理部
180 インタフェース(I/F)部
190 通信部
200 AIアクセラレータ(人検出手段)
1000 デジタルアキュレート・セキュリティシステム
20 人感センサ
30 Wi-Fi親機
40 ビーコン親機
50 携帯端末装置(ID端末)
50a スマートフォン(携帯端末装置;ID端末)
51 Wi-Fi子機
52 ビーコン子機
53 GPS
100 監視装置
110 制御部
111 人検出部(人検出手段)
112 投影逆変換部(投影逆変換手段)
113 ID端末検出部(ID端末検出手段)
114 ID端末登録部(ID端末登録手段)
115 通報部(通報手段)
120 入力部
130 記憶部
135 投影記憶部(投影記憶手段)
140 表示部
150 出力部
160 録画部
165 顔情報DB
170 画像処理部
180 インタフェース(I/F)部
190 通信部
200 AIアクセラレータ(人検出手段)
1000 デジタルアキュレート・セキュリティシステム
Claims (9)
- 3次元のセキュリティ区域の画像を撮影する撮影手段と、
前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、
前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、
前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、
前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段と
を備えることを特徴とするデジタルアキュレート・セキュリティシステム。 - 前記通報手段は、前記検出された人の3次元空間内の位置の時間的経緯によって不審者の存在を判断し、その存在を通報することを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
- 前記人の大きさが人の頭の大きさであることを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
- 前記通報手段は、前記不審者の位置に基づく危険度を通報することを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
- 前記通報手段は、前記不審者の動きに基づく危険度を通報することを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
- 非侵入者が所持するID(Identification)端末を検出するID端末検出手段を備え、
前記通報手段は、前記ID端末検出手段が検出した前記ID端末を所持している人を通報しないことを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。 - 非侵入者が所持するID(Identification)端末を登録するID端末登録手段を備え、
前記通報手段は、前記ID端末登録手段が登録した前記ID端末を所持している人を通報しないことを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。 - 3次元のセキュリティ区域の画像を撮影する撮影ステップと、
前記撮影ステップによって撮影された前記画像の2次元の各位置と前記撮影ステップによって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶ステップと、
前記撮影ステップによって撮影された前記画像から人を検出する人検出ステップと、
前記人検出ステップによって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶ステップによって前記人の3次元空間内の位置を検出する投影逆変換ステップと、
前記投影逆変換ステップによって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報ステップと
を備えることを特徴とするデジタルアキュレート・セキュリティ方法。 - コンピュータを、
3次元のセキュリティ区域の画像を撮影する撮影手段と、前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段とを備えるデジタルアキュレート・セキュリティシステム
として機能させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019518115A JP6529062B1 (ja) | 2019-02-27 | 2019-02-27 | デジタルアキュレート・セキュリティシステム、方法及びプログラム |
EP19916717.2A EP3933794A4 (en) | 2019-02-27 | 2019-02-27 | ACCURATE DIGITAL SECURITY SYSTEM, PROCEDURE AND PROGRAM |
US17/434,274 US20220139199A1 (en) | 2019-02-27 | 2019-02-27 | Accurate digital security system, method, and program |
CN201980093163.XA CN113490970A (zh) | 2019-02-27 | 2019-02-27 | 精确数字安全系统、方法和程序 |
PCT/JP2019/007706 WO2020174634A1 (ja) | 2019-02-27 | 2019-02-27 | デジタルアキュレート・セキュリティシステム、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/007706 WO2020174634A1 (ja) | 2019-02-27 | 2019-02-27 | デジタルアキュレート・セキュリティシステム、方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020174634A1 true WO2020174634A1 (ja) | 2020-09-03 |
Family
ID=66821534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/007706 WO2020174634A1 (ja) | 2019-02-27 | 2019-02-27 | デジタルアキュレート・セキュリティシステム、方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220139199A1 (ja) |
EP (1) | EP3933794A4 (ja) |
JP (1) | JP6529062B1 (ja) |
CN (1) | CN113490970A (ja) |
WO (1) | WO2020174634A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022110291A (ja) * | 2021-01-18 | 2022-07-29 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020261404A1 (ja) * | 2019-06-26 | 2020-12-30 | 日本電気株式会社 | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
JP7389997B2 (ja) * | 2019-11-07 | 2023-12-01 | シーテックドライブ株式会社 | カメラを用いたマーケティングシステム |
CN110995808B (zh) * | 2019-11-25 | 2024-04-02 | 国网安徽省电力有限公司建设分公司 | 基于泛在电力物联网的电网基建现场安全动态管控系统 |
CN111009089B (zh) * | 2019-11-25 | 2024-02-13 | 国网安徽省电力有限公司建设分公司 | 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法 |
JP7132392B1 (ja) * | 2021-05-12 | 2022-09-06 | レノボ・シンガポール・プライベート・リミテッド | 電子機器、及び制御方法 |
CN117275193A (zh) * | 2023-09-14 | 2023-12-22 | 华能澜沧江水电股份有限公司 | 水电站水域安全预警系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011018094A (ja) * | 2009-07-07 | 2011-01-27 | Nec Corp | 巡回警備支援システム、方法及びプログラム |
JP2016085602A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社日立製作所 | センサ情報統合方法、及びその装置 |
JP2019009752A (ja) * | 2017-06-20 | 2019-01-17 | 一般社団法人 日本画像認識協会 | 画像処理装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3704706B2 (ja) * | 2002-03-13 | 2005-10-12 | オムロン株式会社 | 三次元監視装置 |
JP4780455B2 (ja) * | 2006-02-28 | 2011-09-28 | サクサ株式会社 | 映像監視装置及び方法 |
JP2007249722A (ja) * | 2006-03-17 | 2007-09-27 | Hitachi Ltd | 物体検知装置 |
US7411497B2 (en) * | 2006-08-15 | 2008-08-12 | Lawrence Kates | System and method for intruder detection |
CN101228973B (zh) * | 2007-01-22 | 2011-08-03 | 殷实 | 人体外形尺寸非接触式测量方法及测量系统 |
JP4933354B2 (ja) * | 2007-06-08 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、及び情報処理方法 |
JP4793422B2 (ja) * | 2008-10-10 | 2011-10-12 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム |
CN103415876B (zh) * | 2010-11-17 | 2017-03-22 | 欧姆龙科学技术公司 | 一种用于监控区域的方法和设备 |
WO2013179335A1 (ja) * | 2012-05-30 | 2013-12-05 | 株式会社 日立製作所 | 監視カメラ制御装置及び映像監視システム |
WO2014006733A1 (ja) * | 2012-07-05 | 2014-01-09 | 株式会社 テクノミライ | デジタルセキュリティー・ネットワークシステム及び方法 |
CN102914267A (zh) * | 2012-09-27 | 2013-02-06 | 无锡天授信息科技有限公司 | 一种运动目标尺寸检测系统及方法 |
KR102092571B1 (ko) * | 2013-01-04 | 2020-04-14 | 삼성전자 주식회사 | 카메라를 구비하는 장치의 인물 촬영장치 및 방법 |
CN103310589B (zh) * | 2013-07-05 | 2015-06-17 | 国家电网公司 | 一种报警信息生成方法及装置 |
US11120274B2 (en) * | 2014-04-10 | 2021-09-14 | Sensormatic Electronics, LLC | Systems and methods for automated analytics for security surveillance in operation areas |
IL236752B (en) * | 2015-01-15 | 2019-10-31 | Eran Jedwab | Integrated security method and system |
GB201509387D0 (en) * | 2015-06-01 | 2015-07-15 | Apical Ltd | Method and apparatus for image processing (distance detection) |
US11710321B2 (en) * | 2015-09-16 | 2023-07-25 | Energous Corporation | Systems and methods of object detection in wireless power charging systems |
US10277836B2 (en) * | 2016-03-07 | 2019-04-30 | Ricoh Company, Ltd. | Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product |
US10949692B2 (en) * | 2018-03-08 | 2021-03-16 | Sri International | 3D dynamic structure estimation using synchronized images |
-
2019
- 2019-02-27 CN CN201980093163.XA patent/CN113490970A/zh active Pending
- 2019-02-27 EP EP19916717.2A patent/EP3933794A4/en not_active Withdrawn
- 2019-02-27 JP JP2019518115A patent/JP6529062B1/ja active Active
- 2019-02-27 US US17/434,274 patent/US20220139199A1/en not_active Abandoned
- 2019-02-27 WO PCT/JP2019/007706 patent/WO2020174634A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011018094A (ja) * | 2009-07-07 | 2011-01-27 | Nec Corp | 巡回警備支援システム、方法及びプログラム |
JP2016085602A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社日立製作所 | センサ情報統合方法、及びその装置 |
JP2019009752A (ja) * | 2017-06-20 | 2019-01-17 | 一般社団法人 日本画像認識協会 | 画像処理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022110291A (ja) * | 2021-01-18 | 2022-07-29 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7344570B2 (ja) | 2021-01-18 | 2023-09-14 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6529062B1 (ja) | 2019-06-12 |
EP3933794A1 (en) | 2022-01-05 |
EP3933794A4 (en) | 2022-08-03 |
JPWO2020174634A1 (ja) | 2021-03-11 |
CN113490970A (zh) | 2021-10-08 |
US20220139199A1 (en) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6525229B1 (ja) | デジタルサーチ・セキュリティシステム、方法及びプログラム | |
JP6529062B1 (ja) | デジタルアキュレート・セキュリティシステム、方法及びプログラム | |
US10863317B2 (en) | Interactive emergency visualization methods | |
US20200402378A1 (en) | Gunshot Detection System with Location Tracking | |
US8606316B2 (en) | Portable blind aid device | |
US10134255B2 (en) | Digital future now security system, method, and program | |
CN209375691U (zh) | 家庭智能监控系统 | |
US11308792B2 (en) | Security systems integration | |
WO2020213058A1 (ja) | デジタルスマート・ディフェンスセキュリティシステム、方法及びプログラム | |
US20200387716A1 (en) | Automated surveillance system and method therefor | |
US20220122361A1 (en) | Automated surveillance system and method therefor | |
CN112005282A (zh) | 混合现实设备的警报 | |
KR20150005232A (ko) | 재난 신고 시스템 | |
KR20120044747A (ko) | 알에프아이디를 이용한 비상 알림시스템 | |
JP6754451B2 (ja) | 監視システム、監視方法及びプログラム | |
KR101473971B1 (ko) | 다기능 방범카메라 통합방범 시스템 | |
JP7244135B2 (ja) | デジタルセフティ・レスポンスセキュリティシステム、方法及びプログラム | |
WO2021186751A1 (ja) | デジタル・オートファイル・セキュリティシステム、方法及びプログラム | |
KR101336825B1 (ko) | 학교폭력 및 범죄 예방을 위한 감시시스템 | |
KR101401299B1 (ko) | 스마트폰의 gps와 네트워크 cctv 연동을 이용한 사용자 중심의 추적촬영 방법 | |
JP6750931B1 (ja) | デジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラム | |
KR101571838B1 (ko) | 비콘의 다기능 시스템을 이용한 다기능 방법. | |
KR20150020038A (ko) | 다기능 방범카메라 통합방범 시스템 | |
CN110913126B (zh) | 一种拍摄范围计算的方法、装置及相关设备 | |
JP6815349B2 (ja) | 警備システム及び警備方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2019518115 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19916717 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019916717 Country of ref document: EP Effective date: 20210927 |