WO2022190701A1 - 不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム - Google Patents

不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム Download PDF

Info

Publication number
WO2022190701A1
WO2022190701A1 PCT/JP2022/003447 JP2022003447W WO2022190701A1 WO 2022190701 A1 WO2022190701 A1 WO 2022190701A1 JP 2022003447 W JP2022003447 W JP 2022003447W WO 2022190701 A1 WO2022190701 A1 WO 2022190701A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
information
suspicious
suspicious person
camera
Prior art date
Application number
PCT/JP2022/003447
Other languages
English (en)
French (fr)
Inventor
雅士 古賀
Original Assignee
パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社 filed Critical パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社
Priority to JP2023505200A priority Critical patent/JPWO2022190701A1/ja
Publication of WO2022190701A1 publication Critical patent/WO2022190701A1/ja
Priority to US18/242,908 priority patent/US20230410519A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems

Definitions

  • the present disclosure relates to a suspicious person alarm notification system, a suspicious person alarm notification method, and a suspicious person alarm notification program.
  • the image information of the detection target is acquired, the feature information of the detection target is acquired based on the image information, and based on the feature information, the action identification result of identifying the action of the detection target and the detection target
  • An abnormal action detection device detects an abnormal action of a detection target based on a comparison result with action schedule information indicating an action schedule.
  • the abnormal behavior detection device detects an abnormal behavior to be detected (for example, unauthorized entry into a server room, unauthorized access to a server, theft of a disk drive, etc.), it issues an alarm to the administrator or It locks the electronic lock at the entrance of the room where it is detected.
  • Patent Document 1 when an abnormal behavior of a detection target is detected, an alarm is issued to an administrator, or an electronic lock is locked at the entrance of the room to prevent the detection target that has performed the abnormal behavior from leaving the room or escaping. can be However, in Patent Document 1, based on the action identification result that identifies the action result actually performed by the detection target, it is possible to detect signs of crime before the crime is actually committed or to prevent the occurrence of crime. It was difficult to do.
  • the present disclosure has been devised in view of the conventional circumstances described above, a suspicious person alarm notification system, a An object of the present invention is to provide a suspicious person alarm notification method and a suspicious person alarm notification program.
  • the present disclosure is a suspicious person alarm notification system that includes artificial intelligence and radar, at least one camera that captures an image of a person, and a server that can communicate with the camera, wherein the camera uses the radar to receive a signal that is irradiated and reflected by an object existing in the irradiation direction of the radar, obtain vital information of the person from the signal, and use the artificial intelligence to obtain the person's vitals from the captured image of the person; Acquiring motion information, calculating an index indicating the likelihood of a suspicious person of the person based on the vital information of the person and the motion information, and calculating the vitals of the person when it is determined that the index is equal to or greater than a threshold value Personal information relating to the person linked with the information and the motion information is transmitted to the server, and the server outputs an alarm indicating that a suspicious person has been detected based on the personal information transmitted from the camera. , provides a suspicious person alarm notification system.
  • the present disclosure is a suspicious person alarm notification method performed by a computer communicably connected to a server that outputs an alarm indicating that a suspicious person has been detected, wherein A signal reflected by an object existing in a direction is received, vital information of a person is obtained from the signal, motion information of the person is obtained from a captured image of the person using artificial intelligence, and movement information of the person is obtained. An index indicating the suspiciousness of the person is calculated based on the vital information and the movement information, and when it is determined that the index is equal to or greater than a threshold value, the vital information of the person and the movement information are linked.
  • a suspicious person alarm notification method for outputting an alarm to the effect that a suspicious person has been detected based on personal information about the person.
  • the present disclosure provides that at least one camera, which is a computer equipped with artificial intelligence and radar, is communicatively connected to a server that outputs an alarm indicating that a suspicious person has been detected, and the radar a step of receiving a signal that is irradiated and reflected by an object existing in the irradiation direction of the radar; a step of acquiring vital information of a person from the signal; obtaining motion information of the person; calculating an index indicating the suspiciousness of the person based on the vital information and the motion information of the person; and determining that the index is equal to or greater than a threshold.
  • a suspicious person alarm notification program for realizing a step of transmitting to the server personal information relating to the person in which the vital information and the movement information of the person are linked.
  • FIG. 1 is a block diagram showing a system configuration example of a suspicious person detection system according to Embodiment 1.
  • FIG. 2 is a block diagram showing an internal configuration example of a camera according to Embodiment 1;
  • FIG. Flowchart showing an example of the operation procedure of the suspicious person detection system according to the first embodiment Flowchart showing an example of the operation procedure of the suspicious person detection system according to the first embodiment
  • a table showing an example of suspicious activity 4 is a flow chart showing an example of the operation procedure of the server according to the first embodiment; Diagram showing an example of an alarm screen Diagram showing an example of an alarm screen FIG.
  • FIGS. 3 to 5 and 7 are block diagrams showing a system configuration example of a suspicious person detection system according to Modification 1 and Modification 2 of Embodiment 1; Table showing the correspondence relationship between the operation procedure examples shown in FIGS. 3 to 5 and 7 and the operation procedure examples of the suspicious person detection system according to each embodiment
  • FIG. 1 is a diagram showing a system configuration example of a suspicious person detection system 100 (an example of a suspicious person alarm notification system) according to the first embodiment.
  • the suspicious person detection system 100 according to the first embodiment is installed in various places indoors and outdoors, and one or more cameras C1, . and the motion information of the person (for example, the person's facial expression, body movements, etc.) are analyzed.
  • the suspicious person detection system 100 calculates a crime index (score) based on analysis results such as the emotional index of a person positioned within the angle of view of the cameras C1, the motion information of the person, and the like.
  • the suspicious person detection system 100 determines that the calculated crime index (score) satisfies the alarm conditions, it generates an alarm notifying the detection of the suspicious person and outputs it to a preset notification (report) destination. .
  • the crime index (score) referred to here is the tension, stress, excitement, aggression, and other emotions of the criminal (suspicious person) before committing the crime, and the feelings of the criminal (suspicious person) before committing the crime. It is a score that indicates the probability of committing a crime based on behavior and indicates the degree (probability) of a premonition of a crime.
  • the crime index (score) indicates that the probability of committing a crime is high in proportion to the magnitude of the score (that is, it is an omen before committing a crime).
  • a suspicious person detection system 100 according to Embodiment 1 includes each of one or more cameras C1, . be done.
  • the wireless communication here is, for example, short-range wireless communication such as Bluetooth (registered trademark) or NFC (registered trademark), or communication via a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark).
  • short-range wireless communication such as Bluetooth (registered trademark) or NFC (registered trademark)
  • NFC registered trademark
  • wireless LAN Local Area Network
  • Wi-Fi registered trademark
  • Vital information for example, heartbeat, pulse, respiration information, etc.
  • Each of the plurality of cameras C1, . and motion information of the person for example, information such as facial expression, line of sight, behavior, skeleton, posture, etc.).
  • the various data referred to here are, for example, a face image of a person, imaged video data in which a person is imaged, time-series data of vital information (first time-series data), time-series data of motion information (second time-series data). series data), emotion index, behavior analysis result, imaging time information, camera installation location information, and the like.
  • These learned AI models are parameter groups that characterize the functions of the AI installed in each of the cameras C1, . . . That is, the learned AI model is a parameter group for executing various arithmetic processes for calculating crime indicators (scores) using the AI installed in each of the plurality of cameras C1, . . .
  • a trained AI model may be, for example, a parameter group that determines an AI structure (for example, a neural network N1) constructed for each of the plurality of cameras C1, .
  • the parameter group for determining the neural network N1 includes, for example, information or weighting coefficients indicating connection relationships between units of the neural network N1.
  • a neural network for calculating the emotion index of the person using the first time-series data including the vital information of the person, the emotion index of the person, and the movement obtained from the skeletal information A neural network or the like for calculating a crime index (score) is constructed using the behavioral analysis results of a person analyzed based on the information.
  • the neural network N1 shown in FIG. 1 is a generic term for the four exemplary individual neural networks described above.
  • the server S1 is connected to each of the plurality of cameras C1, .
  • the server S1 exchanges data between an operation unit 23 that can be operated by a user (e.g., an employee of a management company who monitors the monitored area, a security guard, a manager, etc.) and a monitor MN that can be viewed by the user. Connected for transmission and reception.
  • a user e.g., an employee of a management company who monitors the monitored area, a security guard, a manager, etc.
  • a monitor MN that can be viewed by the user. Connected for transmission and reception.
  • the server S1 includes the operation unit 23 and the monitor MN, it may be realized by, for example, a PC (Personal Computer), a notebook PC, a tablet terminal, a smartphone, or the like.
  • the server S1 outputs and displays an alarm screen (see FIGS. 8 and 9) and the like on the monitor MN based on the alarm notification and various data transmitted from each of the plurality of cameras C1, .
  • a predetermined reporting destination e.g, a management company, a security company, an insurance company, a security guard, etc.
  • the server S1 transmits from each of the plurality of cameras C1, . . .
  • a notification is sent to a predetermined notification destination.
  • the server S ⁇ b>1 includes at least a communication unit 20 , a processor 21 and a memory 22 .
  • the database DB2 may be configured separately and connected to the server S1 so as to be able to transmit and receive data.
  • the communication unit 20 is configured using a communication interface circuit for transmitting and receiving data or information between each of the cameras C1, . . . and the security guard terminal TP1 via the network NW.
  • the communication unit 20 outputs alarm notifications transmitted from each of the cameras C1, . . . to the processor 21 via a wireless communication network or a wired communication network. Further, when the user performs an operation to report to a predetermined report destination, the communication unit 20 transmits the alarm notification transmitted from each of the plurality of cameras C1, . . . to the security guard terminal TP1.
  • the processor 21 is configured using, for example, a CPU (Central Processing Unit) or FPGA (Field Programmable Gate Array), and cooperates with the memory 22 to perform various types of processing and control. Specifically, the processor 21 refers to the programs and data held in the memory 22 and executes the programs to realize various functions.
  • a CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • the processor 21 Based on the electrical signal output from the operation unit 23, the processor 21 generates an alarm screen (see FIGS. 8 and 9) to be displayed on the monitor MN, and reports to a preset destination (for example, a management company). , a security company, an insurance company, or an e-mail address, a telephone number, etc. of a reporting destination such as a security guard terminal TP1, etc.).
  • a preset destination for example, a management company.
  • a security company for example, a security company, an insurance company, or an e-mail address, a telephone number, etc. of a reporting destination such as a security guard terminal TP1, etc.
  • the memory 22 includes, for example, a RAM (Random Access Memory) as a work memory used when executing each process of the processor 21, and a ROM (Read Only Memory) for storing programs and data that define the operation of the processor 21. have.
  • the memory 22 may have a storage device including either a storage device such as an SSD (Solid State Drive) or HDD (Hard Disk Drive). Data or information generated or obtained by the processor 21 is temporarily stored in the RAM.
  • a program that defines the operation of the processor 21 is written in the ROM.
  • the memory 22 stores the information of the report destination (for example, the mail address, telephone number, etc. of the management company, security company, insurance company, security guard terminal TP1, etc.).
  • the database DB2 is configured using a storage device such as an HDD or SSD.
  • the database DB2 registers (stores) various data transmitted from each of the plurality of cameras C1, .
  • the operation unit 23 is a user interface configured using, for example, a touch panel, buttons, keyboard, and the like.
  • the operating unit 23 converts the accepted user's operation into an electrical signal (control command) and outputs the electrical signal to the processor 21 .
  • the operation unit 23 is configured using a touch panel, the operation unit 23 is configured integrally with the monitor MN.
  • the monitor MN is configured using a display such as LCD (Liquid Crystal Display) or organic EL (Electroluminescence).
  • the monitor MN displays the alarm screen generated and output by the processor 21 (see FIGS. 8 and 9).
  • the security guard terminal TP1 is connected to each of the plurality of cameras C1, .
  • the security guard terminal TP1 is used by security guards guarding the area monitored by each of the cameras C1, .
  • the security guard terminal TP1 generates and displays a screen based on the alarm notification transmitted from each of the cameras C1, . . . or from the server S1.
  • FIG. 1 shows one security guard terminal TP1 as an example, but it may be two or more.
  • each of the cameras C1, . . . according to the first embodiment will be described with reference to FIG. Since each of the plurality of cameras C1, . . . according to the first embodiment will be described with reference to FIG. Since each of the plurality of cameras C1, . . . according to the first embodiment will be described with reference to FIG. Since each of the plurality of cameras C1, . . . according to the first embodiment will be described with reference to FIG. Since each of the plurality of cameras C1, . .
  • the camera C1 includes a communication unit 10, a processor 11, a memory 12, an image sensor 13, a lens 14, a lens driving unit 15, a microcontroller 16, and a millimeter wave radar 17.
  • the microcontroller 16 and the millimeter wave radar 17 may be configured separately from the camera C1 and connected to the camera C1 so as to be able to communicate with each other.
  • the communication unit 10 is configured using a communication IF (Interface) circuit 10B for transmitting and receiving data or information between the server S1 and the security guard terminal TP1 via the network NW.
  • the communication unit 10 transmits various data (for example, captured video data, captured image data, alarm notification, etc.) output from the processor 11 to the server S1 via the network NW via a wireless communication network or a wired communication network.
  • the communication unit 10 includes an external input/output terminal 10A and a communication IF circuit 10B.
  • the external input/output terminal 10A is, for example, a LAN (Local Area Network) terminal, a USB (Universal Serial Bus) terminal, etc., and connects the camera C1 and the network NW so as to enable data communication.
  • LAN Local Area Network
  • USB Universal Serial Bus
  • the processor 11 is configured using, for example, a CPU or FPGA, and cooperates with the memory 12 to perform various types of processing and control. Specifically, the processor 11 refers to the programs and data held in the memory 12 and the learning model memory DB1, and executes the programs to implement various functions.
  • the various functions referred to here include, for example, a function of identifying the position of a person, a function of analyzing and acquiring movement information of a person, a function of calculating a person's emotional index based on the person's vital information, a function of calculating a crime index, It implements functions such as a function to determine whether a person is suspicious, a function to notify an alarm, and the like.
  • the processor 11 includes an AI processing section 11A.
  • the AI processing unit 11A forms a neural network N1 (see FIG. 1) based on at least one trained AI model.
  • the AI processing unit 11A executes each of the learned AI models stored in the learning model memory DB1 to form a corresponding neural network N1, thereby performing image analysis processing on the captured image.
  • a signal analysis is performed on the vital information acquired based on the received signal of the wave radar 17, and the crime index (score) of each person located within the monitoring area (that is, within the angle of view of the camera C1) can be calculated.
  • the AI processing unit 11A includes an AI arithmetic processing unit 111 and a learning model memory DB1.
  • the AI arithmetic processing unit 111 Based on the application (learned AI model) stored in the learning model memory DB1, the AI arithmetic processing unit 111 performs signal analysis on vital information acquired based on the reception signal of the millimeter wave radar 17, and performs image analysis on the captured image.
  • the learning model memory DB1 has, for example, a RAM as a work memory used when executing each process of the AI calculation processing unit 111, and a ROM that stores programs and data that define the operation of the AI calculation processing unit 111. Also, the learning model memory DB1 is configured using a storage device such as an HDD or SSD, for example, and stores each of data of a plurality of trained AI models.
  • the learning model memory DB1 uses a captured image to detect a person appearing in the captured image, and stores a first learned AI model capable of calculating the position (direction, distance) of the person appearing in the captured image.
  • the learning model memory DB1 stores a second learned AI model capable of acquiring skeleton information of a person appearing in a captured image.
  • the learning model memory DB1 stores a third learned AI model for calculating the person's emotion index using the first time-series data including the person's vital information.
  • the learning model memory DB1 stores a fourth learned AI model for calculating a crime index (score) using a person's emotion index and a person's action analysis result analyzed based on the action information.
  • the above-described first to fourth trained AI models are merely examples, and the present invention is not limited to these.
  • the learning model memory DB1 may store other learned AI models used for other purposes.
  • the memory 12 has, for example, a RAM as a work memory that is used when executing each process of the processor 11, and a ROM that stores programs and data that define the operation of the processor 11.
  • the memory 12 may have a storage device including either a storage device such as an SSD or an HDD.
  • the RAM temporarily stores data or information generated or acquired by the processor 11 .
  • a program that defines the operation of the processor 11 is written in the ROM.
  • the memory 12 stores captured video or captured images, and stores various data generated by the processor 11 (for example, a person's position, vital information, motion information, emotion index, crime index, etc.) for each person ID. It stores information such as threshold values used for various determinations.
  • the memory 12 stores the learning data generated by the processor 11 .
  • Learning to generate learning data may be performed using one or more statistical classification techniques.
  • Statistical classification techniques include, for example, linear classifiers, support vector machines, quadratic classifiers, kernel estimation, decision trees, artificial neural networks, Bayesian techniques and/or networks, hidden Markov models, binary classifiers, multi-class ), a clustering technique, a random forest technique, a logistic regression technique, a linear regression technique, a gradient boosting technique, and the like.
  • the statistical classification techniques used are not limited to these.
  • the image sensor 13 has a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) as an imaging element.
  • the image sensor 13 may have a chip including an image processing circuit for performing known signal processing for image processing on the electrical signal of the image of the subject (person HM) to generate captured image data. .
  • the image sensor 13 generates captured image data and outputs the data to the processor 11 .
  • the lens 14 forms an image on the image sensor 13 of light incident from the monitoring area (that is, imaging area) of the camera C1.
  • the lens drive unit 15 controls the focus position of the lens 14 based on the control command output from the processor 11 .
  • the microcontroller 16 is configured using an MCU (Micro Controller Unit), and based on control commands from the processor 11, executes radar irradiation control to the management area of the camera C1 by the millimeter wave radar 17.
  • the microcontroller 16 also performs signal processing such as digital conversion and frequency component analysis on the analog signal output from the millimeter wave radar 17 .
  • the microcontroller 16 extracts, from the received signal, the component reflected by a person located within the irradiation range of the radar (that is, within the angle of view of the camera C1), and further extracts the component of the person's vitals contained in the reflected wave reflected by the person. Extract information (eg, heart rate, pulse, respiration information, etc.).
  • Microcontroller 16 outputs the result of signal processing to processor 11 .
  • the millimeter-wave radar 17 which is an example of radar, emits radio waves with a wavelength of 1 to 10 mm and receives reflected waves reflected by objects (eg, people, walls of buildings, etc.) existing in the irradiation direction.
  • the millimeter wave radar 17 emits radio waves under the control of the microcontroller 16 .
  • the millimeter wave radar 17 also outputs the received analog signal to the microcontroller 16 .
  • FIG. 3 is a flow chart showing an example of the operation procedure of the suspicious person detection system 100 according to the first embodiment.
  • FIG. 4 is a flow chart showing an operation procedure example of the suspicious person detection system 100 according to the first embodiment.
  • FIG. 5 is a flow chart showing an operation procedure example of the suspicious person detection system 100 according to the first embodiment. 3 to 5 will be described with respect to an example of the operation procedure executed by the camera C1 for the sake of clarity, but the other cameras also execute the same operation procedure.
  • the suspicious person detection system 100 independently performs signal processing of a signal obtained by digitally converting the reflected wave of the radio wave transmitted by the millimeter wave radar 17 and image processing of the captured image (captured image). to run. First, a processing flow (operation procedure) of analog signal processing shown in each of steps St100 to St104 will be described.
  • the camera C1 uses the millimeter wave radar 17 to irradiate radio waves toward the monitoring area of the camera C1 (St100).
  • the camera C1 receives the reflected wave of the irradiated radio wave by the millimeter wave radar 17 (St101).
  • Camera C1 converts the received reflected wave into a digital signal.
  • the camera C1 performs signal processing and extracts the person's vital information (for example, heartbeat, pulse, respiration information, etc.) from the digital signal (St102).
  • the person's vital information for example, heartbeat, pulse, respiration information, etc.
  • the camera C1 detects the position (angle, distance) (first An example of position information) is specified (measured).
  • the camera C1 assigns a first ID for identifying a person to each person whose position is specified based on the reflected wave of the millimeter wave radar 17 (St103).
  • the distance specified here is the distance from the radio wave transmission/reception position of the millimeter wave radar 17 to the person.
  • the angle specified here is an angle based on the radio wave transmission/reception position of the millimeter wave radar 17 .
  • the camera C1 associates and records the vital information of the person, the position information (angle, distance), the reception time information of the reflected radio wave, and the first ID (St104).
  • the camera C1 detects that the person has already been given the first ID based on the temporal change in the position information (angle, distance) of the person newly acquired using each of the digital signals. It is determined whether or not the person is the same person as the person who received the request.
  • the camera C1 assigns the same first ID to the position information and vital information of the person determined to be the same person, and records the same.
  • the camera C1 acquires a captured video in which the monitored area is captured (St200).
  • the camera C1 performs image processing on the captured video to generate data of a plurality of captured images (that is, image data) (St201).
  • the camera C1 uses the first learned AI model stored in the learning model memory DB1 to detect each person appearing in the captured image (image data), and the position (direction, position) (second An example of position information) is calculated.
  • the camera C1 assigns a second ID for identifying a person to each person whose position is specified based on the captured image (St202).
  • the distance here is the distance from the light receiving surface of the image sensor 13 of the camera C1 to the person appearing in the captured image.
  • the direction is the direction viewed from an arbitrary reference point set on the light receiving surface of the image sensor 13 of the camera C1.
  • the camera C1 uses the second trained AI model stored in the learning model memory DB1 to analyze movement information such as the posture of the person and the orientation of the line of sight based on the skeleton information of each person shown in the captured image. (St203).
  • the camera C1 associates and records the motion information of the person, the position information (direction, distance), the imaging time information of the captured image, and the second ID (St204).
  • the camera C1 detects the position of the person (direction, distance) newly acquired using each of the plurality of captured images, the movement information of the person, and the like, based on temporal changes. It is determined whether or not the person is the same as the person to whom the second ID has already been assigned.
  • the camera C1 assigns and records the same second ID as the position information and motion information of the person determined to be the same person.
  • the camera C1 collates the person's position (angle, distance) information associated with the first ID with the person's position (direction, distance) information associated with the second ID. If the camera C1 determines that the person associated with the first ID and the person associated with the second ID are the same person based on the verification result, the camera C1 The given first ID and second ID are integrated (St300).
  • the camera C1 may be integrated with either one of the IDs (that is, the first ID or the second ID) when the first ID and the second ID are integrated, or may be integrated with a new ID ( A third ID) may be given.
  • the integrated ID will be referred to as an integrated ID for the sake of clarity.
  • the camera C1 stores (stores) the person's vital information and reception time information in the memory 12 for each integrated ID, and generates first time-series data in which the person's vital information is rearranged based on the reception time information. Generate (St105). The camera C1 determines whether the data length of the generated first time-series data is equal to or greater than a first threshold value (eg, 30 seconds, 45 seconds, 60 seconds, etc.) (an example of a first predetermined time). Determine (St106).
  • a first threshold value eg, 30 seconds, 45 seconds, 60 seconds, etc.
  • the camera C1 determines in the process of step St106 that the data length of the first time-series data is equal to or greater than the first threshold (St106, YES)
  • the camera C1 uses the third trained AI model to perform the first Analyze time-series changes in vital information included in the time-series data (for example, changes in heartbeat, respiration, pulse interval, etc.).
  • the camera C1 calculates the emotion index of the person corresponding to this vital information based on the chronological change of the analyzed vital information (St107).
  • the emotion index here, for example, a known index such as Russel's cyclic model may be used.
  • step St106 determines in the process of step St106 that the data length of the first time-series data is not equal to or greater than the first threshold value (St106, NO)
  • the camera C1 proceeds to the process of step St100.
  • the process of generating the first time-series data is repeated until the data length of the series data reaches a length sufficient for calculating the emotion index (that is, equal to or greater than the first threshold).
  • the camera C1 stores (memorizes) the motion information of the person and the reception time information in the memory 12 for each integrated ID, and generates second time-series data obtained by rearranging each of the motion information of the person based on the reception time information. Generate (St205). The camera C1 determines whether the data length of the generated second time-series data is equal to or greater than a second threshold value (eg, 20 seconds, 30 seconds, 40 seconds, etc.) (an example of a second predetermined time). Determine (St206).
  • a second threshold value eg, 20 seconds, 30 seconds, 40 seconds, etc.
  • step St206 determines in the process of step St206 that the data length of the second time-series data is equal to or greater than the second threshold (St206, YES)
  • the camera C1 determines in the process of step St206 that the data length of the second time-series data is equal to or greater than the second threshold (St206, YES)
  • behavior analysis processing such as the stability of the posture of the person corresponding to the second time-series data and the amount of change in line of sight is executed (St207).
  • step St206 determines in the process of step St206 that the data length of the second time-series data is not equal to or greater than the second threshold value (St206, NO)
  • the camera C1 proceeds to the process of step St301, The generation process of the second time-series data is repeated until the data length of the series data becomes long enough for the behavior analysis process (that is, equal to or greater than the second threshold).
  • Camera C1 uses the fourth learned AI model stored in learning model memory DB1 to analyze each of the calculated emotion index and behavior analysis result, and calculates the person's crime index (score) ( St 301).
  • the crime index is a numerical value (score) from "0 to 100”. , “A”, “B”, or the like.
  • the camera C1 determines whether or not the calculated crime index is greater than or equal to a third threshold (eg, 85, 90, 95, etc.) (an example of a threshold) (St302).
  • a third threshold eg, 85, 90, 95, etc.
  • the third threshold may be set to any value by the user.
  • the camera C1 determines that the person corresponding to the integrated ID of this person is a suspicious person, Various data associated with the ID are output (St303).
  • the various types of data referred to here are, for example, a face image of a person, imaged video data in which a person is imaged, first time-series data, second time-series data, emotion index, behavior analysis result, imaging time information, camera The installation location of C1 and the like.
  • the camera C1 further associates and outputs various data linked to the integrated IDs of other persons who appear in the same captured image and are not determined to be suspicious persons. you can
  • step St302 determines in the process of step St302 that the crime index is not equal to or greater than the third threshold (St302, NO), it proceeds to the process of step St100 or step St200.
  • each of the cameras C1, . acquire the vital information and motion information, and based on the acquired time-series data of the vital information (first time-series data) and the time-series data of the motion information (second time-series data), these Analyze the emotional index, behavior, etc. of the person corresponding to the data. Further, each of the cameras C1, . is the person to whom alarm notification should be given.
  • FIG. 6 is a table TB1 showing an example of suspicious behavior.
  • suspicious behavior determination process may be performed by the server S1.
  • Table TB1 indicates whether or not the person corresponding to the second time-series data is acting suspiciously based on the analysis result of the second time-series data analyzed using the fourth trained AI model.
  • a list of suspicious behavior examples for judging is shown. Although illustration is omitted in the table TB1 shown in FIG. 6, for example, the condition for judging that the behavior is suspicious is "passing the same place many times over a long period of time", and further conditions are "the number of passages", A specific condition (threshold value) such as "time passed through the same place” may be set.
  • Camera C1 analyzes the second time-series data using the fourth trained AI model, and the person corresponding to the second time-series data indicates in table TB1, "Clerk, repeatedly looking in the direction of other customers.” , ⁇ passing the same place many times over a long period of time'', ⁇ checking surveillance cameras many times'', ⁇ checking behind many times'', or ⁇ multiple people gathering'' increase the value of the crime index (score).
  • the camera C1 analyzes the first time-series data using the third trained AI model, and finds that the emotion of the person corresponding to the first time-series data is related to crime (for example, “ If it is determined to correspond to "tension”, “stress”, “frustration”, etc.), the crime index (score) is raised.
  • FIG. 7 is a flow chart showing an example of the operation procedure of the server S1 according to the first embodiment. Note that the processing of steps St400 to St403 shown in FIG. 7 may be executed by each of the plurality of cameras C1, .
  • the server S1 stores various data linked to the integrated ID of the person determined to be the suspicious person (for example, the face image of the person determined to be the suspicious person, the imaged video data of the person, the first time series data, second time series data, emotion index, behavior analysis result, imaging time information, camera installation location, etc.) are acquired (St400).
  • the server S1 is associated with the integrated ID of each other person who appears in the same captured image as the person determined to be the suspicious person and who is determined not to be the suspicious person.
  • Various data may be acquired.
  • step St303 various data associated with the integrated ID of the person who is determined to be a suspicious person.
  • the server S1 determines the suspicious person from the external server S2.
  • various data linked to the integrated ID of the person who has been registered may be acquired.
  • the server S1 acquires the coordinate information of the area containing the person determined to be the suspicious person based on various data (St402).
  • the coordinate information of the area acquired here is the coordinates of the substantially rectangular area including the person determined to be the suspicious person at each angle of view of the cameras C1, . . . .
  • the area to be acquired does not have to be an area including a specific portion such as the whole body or upper body of a person, and may be an area including a part of the person shown in the images captured by the cameras C1, . . .
  • the server S1 Based on the obtained coordinate information of the person, the server S1 generates imaged video data in which a frame line surrounding at least a part of the person is superimposed on a captured image (image data) of the person. (St402). Note that the person on which the frame line is superimposed is not limited to the person determined as the suspicious person.
  • the server S1 acquires various data associated with the integrated IDs of other persons who appear in the same captured image as the person determined to be the suspicious person and who are determined not to be the suspicious person.
  • the coordinate information of each area containing each of the other persons may be acquired, and a frame line surrounding each of the other persons may be superimposed.
  • a frame line (an example of a first frame line) surrounding a person who is determined to be a suspicious person and a frame line (an example of a second frame line) which surrounds another person who is not determined to be a suspicious person.
  • the color of the border, the line type of the border, the thickness of the border, etc. are different.
  • the user can easily determine whether or not each person appearing in the captured video (captured image) is a person who has been determined to be a suspicious person, based on the color, line type, line thickness, etc. of the superimposed frame line. can be discriminated.
  • the server S1 stores the generated imaged video data, information on the reason for determining that this person is a suspicious person (for example, information on emotion index, behavior analysis result, suspicious behavior, etc.), and preset An alarm screen (see FIGS. 8 and 9) including a report button (see FIGS. 8 and 9) for reporting to the report destination is generated and output (displayed) on the monitor MN (St403).
  • the server S1 determines whether or not the report button has been pressed by the user's operation (St404). Specifically, when the report button on the alarm screen is selected (pressed) by a user operation, the operation unit 23 generates a control command requesting a report to the set report destination, and outputs it to the server S1. . Based on the control command output from the operation unit 23, the server S1 determines whether or not the report button has been pressed by the user's operation.
  • the server S1 determines in the process of step St404 that the report button has been pressed by the user operation (St404, YES)
  • the set report destination for example, the security guard terminal TP1 possessed by the security guard, the management company, etc.
  • the server S1 may transmit the notification information and the alarm notification or various data to the report destination.
  • step St404 determines in the process of step St404 that the report button has not been pressed by the user's operation (St404, NO), it ends the operation procedure shown in FIG.
  • FIG. 8 is a diagram showing an example of the alarm screen SC1. It goes without saying that the determination reason information AR1 shown in the alarm screen SC1 shown in FIG. 8 is an example and is not limited to this.
  • the alarm screen SC1 is generated by the server S1, output to the monitor MN and displayed.
  • the alarm screen SC1 is generated including a captured image display area SV1, determination reason information AR1, and a report button BT1.
  • the imaged image display area SV1 is an area for displaying an imaged image of a person determined to be a suspicious person.
  • the alarm screen SC1 may display a captured image in which a person determined to be a suspicious person is captured in the captured image display area SV1.
  • a person determined to be a suspicious person is superimposed with a first frame line, and a person determined not to be a suspicious person is superimposed with a second frame line. Is displayed.
  • a captured image display area SV1 in the alarm screen SC1 shown in FIG. 8 displays captured images of each of the seven persons HM11, HM12, HM13, HM14, HM15, HM16, and HM17.
  • the person HM12 is a person who has been determined to be a suspicious person, and a red frame line FR11 (first frame line) is superimposed on the person HM12.
  • Each of the persons HM14 and HM16 is a person who has been determined not to be a suspicious person. ) are superimposed on each other.
  • the data length of the time-series data for a person on which neither the first frame line nor the second frame line is superimposed is less than the length required for determination (specifically, the first time-series data It means that the person has not undergone the process of determining whether or not he/she is a suspicious person because the data is less than the first threshold value, the second time-series data is less than the second threshold value, etc. .
  • the user can grasp at a glance that only the person HM12 is the person judged to be a suspicious person, and the persons HM14 and HM16 are judged not to be suspicious persons at present. A person can be recognized at a glance.
  • the determination reason information AR1 is the condition under which the person was determined to be a suspicious person (that is, the information of various data that increased the crime index (score) in the calculation of the crime index (score)), or It contains information such as the reason for the judgment. As an example, the determination reason information AR1 shown in FIG. times", and “the number of reciprocating passages: 3 times".
  • the determination reason information AR1 may include information such as "determination score: 80", which is the final determination result (crime index), as other information.
  • the report button BT1 is a button for reporting to a preset report destination when pressed (selected) by a user operation.
  • the processor 21 in the server S1 determines that the report button BT1 is pressed (selected) by the user's operation based on the control command output from the operation unit 23, a suspicious person is detected at the preset report destination. notification (report) to that effect.
  • FIG. 9 is a diagram showing an example of the alarm screen SC2. It goes without saying that the determination reason information AR2 shown in the alarm screen SC2 shown in FIG. 9 is an example and is not limited to this.
  • the alarm screen SC2 is generated by the server S1, output to the monitor MN and displayed.
  • the alarm screen SC2 is generated including a captured image display area SV2, determination reason information AR2, and a notification button BT2.
  • the imaged image display area SV2 is an area for displaying an imaged image of a person determined to be a suspicious person.
  • the alarm screen SC2 may display a captured image in which a person determined to be a suspicious person is captured in the captured image display area SV2.
  • a person determined to be a suspicious person is superimposed with a first frame line, and a person determined not to be a suspicious person is superimposed with a second frame line. Is displayed.
  • a captured image display area SV2 in the alarm screen SC2 shown in FIG. 9 displays captured images in which seven persons HM21, HM22, HM23, HM24, HM25, HM26, and HM27 are respectively imaged.
  • the person HM22 is a person who has been determined to be a suspicious person, and a red frame line FR21 (first frame line) is superimposed on the person HM22.
  • Each of the persons HM24 and HM26 is a person who has been determined not to be a suspicious person. ) are superimposed on each other.
  • the data length of the time-series data for a person on which neither the first frame line nor the second frame line is superimposed is less than the length required for determination (specifically, the first time-series data It means that the person has not undergone the process of determining whether or not he/she is a suspicious person because the data is less than the first threshold value, the second time-series data is less than the second threshold value, etc. .
  • the user can grasp at a glance that only the person HM22 is the person judged to be the suspicious person, and the persons HM24 and HM26 are judged not to be the suspicious persons at the present time. A person can be recognized at a glance.
  • the determination reason information AR2 is the condition under which the person was determined to be a suspicious person (that is, the information of various data that increased the crime index (score) in the calculation of the crime index (score)), or It contains information such as the reason for the judgment.
  • the determination reason information AR2 shown in FIG. Information “heartbeat: XX”, “breathing: XXX”, and two pieces of suspicious behavior information “camera check count: 4 times” and "passage reciprocation count: 3 times” are included.
  • the judgment reason information AR2 includes information on other emotional indicators such as “strain: ⁇ ", “aggressiveness: ⁇ ”, and the final judgment result (criminal index) "judgment score: 80 ” and other information may be included.
  • the report button BT2 is a button for reporting to a preset report destination when pressed (selected) by a user operation.
  • the processor 21 in the server S1 determines that the report button BT2 is pressed (selected) by the user's operation based on the control command output from the operation unit 23, a suspicious person is detected at the preset report destination. notification (report) to that effect.
  • the above-described suspicious person detection system 100 according to Embodiment 1 shows an example of determining whether or not a person imaged by each of the cameras C1, . . . is a suspicious person.
  • a suspicious person detection system 100A (an example of a suspicious person alarm notification system) according to Modification 1 of Embodiment 1 determines whether or not a person captured by each of cameras C1A, . . .
  • FIG. 10 is a block diagram showing an internal configuration example of suspicious individual detection systems 100A and 100B according to Modifications 1 and 2 of Embodiment 1. As shown in FIG. The internal configuration of the suspicious person detection system 100A according to Modification 1 of Embodiment 1 shown in FIG. omitted.
  • the first time-series data is transmitted to the server S1A.
  • the second time-series data is transmitted to the server S1A. It should be noted that each of the cameras C1A, .
  • the server S1A in Modification 1 of Embodiment 1 stores each of the third learned AI model and the fourth learned AI model in the database DB2A, and transmits from each of the plurality of cameras C1A, .
  • Each of the obtained first time-series data and second time-series data is analyzed.
  • the server S1A calculates the crime index (score) of the person corresponding to the first time-series data and the second time-series data based on the analysis result using the fourth trained AI model, and the calculated It is determined whether or not the crime index (score) is greater than or equal to the third threshold.
  • the server S1A determines that the calculated crime index (score) is equal to or greater than the third threshold (that is, the person is a suspicious person).
  • the server S1A determines that the calculated crime index (score) is equal to or greater than the third threshold (that is, the person is a suspicious person)
  • the server S1A determines that the calculated crime index (score) is equal to or greater than the third threshold (that is, the person is a suspicious person).
  • FIG. 11 is a table TB2 showing the correspondence relationship between the operation procedure examples shown in FIGS. 3 to 5 and 7 and the operation procedure examples of the suspicious person detection system according to each embodiment.
  • Suspicious person detection system 100A includes step St100 to step The cameras C1A, . .
  • the suspicious person detection system 100A causes the server S1A to execute the crime index (score) calculation process using the learned AI model, thereby allowing the cameras C1A, .
  • the processing load based on the calculation processing of each crime index (score) can be reduced.
  • the above-described suspicious person detection system 100 according to Embodiment 1 shows an example of determining whether or not a person imaged by each of the cameras C1, . . . is a suspicious person.
  • a suspicious person detection system 100B (an example of a suspicious person alarm notification system) according to Modification 2 of Embodiment 1 detects whether or not a person captured by each of the cameras C1A, . . . An example of determination will be described.
  • Each of the cameras C1A, . Send to S2.
  • the second time-series data is transmitted to the external server S2. It should be noted that each of the cameras C1A, .
  • the external server S2 in Modification 2 of Embodiment 1 is communicably connected to each of the plurality of cameras C1A, .
  • the external server S2 stores learned AI models respectively corresponding to the third learned AI model and the fourth learned AI model, and the first learned AI model transmitted from each of the plurality of cameras C1A, . and the second time-series data are analyzed.
  • the external server S2 calculates the crime index (score) of the person corresponding to the first time-series data and the second time-series data based on the analysis result, and analyzes it by the camera C1A, which is the data transmission source. Submit results.
  • Each of the cameras C1A, . . . determines whether the calculated crime index (score) is equal to or greater than the third threshold.
  • the external server S2 may have a dedicated server for each learned AI model, or may have a plurality of servers.
  • FIG. 11 an operation procedure example of the suspicious person detection system 100 according to the first embodiment shown in FIGS. Correspondence with the example of the operation procedure of 100B will be described.
  • Suspicious person detection system 100B includes step St100 to step Each of the cameras C1A, .
  • the server S1A executes the process of St405.
  • the suspicious person detection system 100B causes the external server S2 to execute the crime index (score) calculation process using the learned AI model, thereby allowing the cameras C1A, . . . It is possible to reduce the processing load based on the calculation processing of each crime index (score).
  • suspicious person detection systems 100 and 100A include artificial intelligence and millimeter-wave radar 17 (an example of radar), and at least one sensor that captures an image of a person. , C1A, . . . , and a server S1 capable of communicating with the cameras C1, .
  • a crime index that indicates whether a person is a suspicious person based on the person's vital information and movement information by extracting the vital information of the person from the captured image using artificial intelligence.
  • the server S1 outputs an alarm notification (an example of an alarm) to the effect that a suspicious person has been detected based on various data (an example of person information) transmitted from the cameras C1, . . . , C1A, .
  • the computers referred to here are, for example, the cameras C1, . . . , C1A, .
  • the suspicious person detection systems 100 and 100A detect the person's emotions (for example, nervous state, stress state, etc.) based on the person's vital information and motion information.
  • a crime index (score) that indicates the probability of committing a crime can be calculated based on the person's behavior, excitement, etc.).
  • the suspicious person detection system 100, 100A determines that the person within the angle of view of the camera is a suspicious person who is likely to commit a crime based on the calculated crime index (score), An alarm can be issued to the effect that a suspicious person has been detected. Therefore, the suspicious person detection system 100, 100A can more efficiently detect a suspicious person showing signs of a crime, and efficiently support the suppression of crime occurrence.
  • the suspicious person detection systems 100 and 100A detect the emotional index of the person (for example, the state of tension, A crime index (score) that indicates the probability of committing a crime can be calculated based on a person's behavior information (emotions such as stress state, excitement state, aggression, etc.).
  • the suspicious person detection system 100, 100A can more efficiently detect a suspicious person showing signs of a crime based on the crime index (score) calculated using the person's emotional index and the person's motion information. It is possible to efficiently support the suppression of crime occurrence.
  • cameras C1, . 1 position information is acquired, based on the first position information, first time-series data is generated by arranging the person's vital information in time series, and based on the position of the person in the captured image, the person's Acquiring second position information, generating second time-series data in which motion information of a person is arranged in time-series based on the second position information, and generating an emotion index based on the first time-series data is calculated, and based on the second time-series data, behavior analysis processing such as stability of posture and amount of change in line of sight is performed to acquire behavior analysis information.
  • suspicious person detection systems 100 and 100A are configured to arrange the acquired vital information in chronological order based on the change in the position information of the person. 1 time-series data and second time-series data in which each piece of motion information is arranged in time series can be generated. Therefore, suspicious person detection system 100, 100A calculates an emotion index based on a person's emotional change, body movement, or Action analysis processing based on changes in actions such as actions can be executed.
  • a person's emotion index is calculated when it is determined that it exists for a period of time (an example of a first threshold) or more (that is, the data length of the first time-series data is greater than or equal to the first threshold).
  • suspicious person detection systems 100 and 100A according to Embodiment 1 and Modification 1 of Embodiment 1 use the first time-series data necessary for calculating the emotion index based on the person's emotional change. , the emotion index of this person can be calculated with higher accuracy.
  • the person's behavior analysis processing is executed and the action is performed. Get analysis information.
  • the suspicious person detection systems 100 and 100A according to the first embodiment and the first modification of the first embodiment obtain the second time-series data necessary for action analysis processing based on the body movements or actions of the person. Behavior analysis processing of this person can be executed with higher accuracy.
  • cameras C1, . 1 position information is acquired, based on the position of the person in the captured image, second position information of the person is acquired, and the first position information and the second position information are compared to correspond to the person
  • An integrated ID is given to the vital information and motion information to be collected.
  • the suspicious person detection systems 100 and 100A according to the first embodiment and the first modification of the first embodiment can obtain information about the same person, which is vital information acquired using the millimeter wave radar 17,
  • the motion information acquired based on the captured image can be managed (recorded) for each person.
  • the person information further including the captured image is transmitted to the server S1.
  • the server S1 superimposes a first frame line (an example of a frame line) on the person on the captured image based on the second position information, and displays the alarm screen SC1 including the captured image with the first frame line superimposed thereon. , SC2 (see FIGS. 8 and 9).
  • SC1 an example of a frame line
  • SC2 see FIGS. 8 and 9.
  • the position information of another person that is, a person who is not determined to be a suspicious person
  • the crime index (score) of a person whose crime index (score) is greater than or equal to the third threshold that is, a person who is determined to be a suspicious person
  • Various data further including the second position information of the person and the captured image of the other person and the person are transmitted to the server S1.
  • the server S1 Based on the second position information, the server S1 superimposes a first frame line (for example, frame lines FR11 and FR21) on the person on the captured image, and based on the position information on other people, on the captured image.
  • the suspicious person detection systems 100 and 100A according to the first embodiment and the first modification of the first embodiment can determine a person who is determined to be a suspicious person and a person who is not a suspicious person on the same captured image. It is possible to generate and output (display) alarm screens SC1 and SC2 that can be identified at a glance from the other person.
  • the server S1 in the suspicious person detection systems 100 and 100A according to the first embodiment and the first modification of the first embodiment can report to a preset report destination based on various data.
  • Alarm screens SC1 and SC2 further including buttons BT1 and BT2 (see FIGS. 8 and 9) are generated and output. Accordingly, the suspicious person detection systems 100 and 100A according to the first embodiment and the first modification of the first embodiment can assist the user in making a quicker report.
  • the server S1 in the suspicious person detection systems 100 and 100A according to the first embodiment and the first modification of the first embodiment can be operated by the user to press the report buttons BT1 and BT2 (see FIGS. 8 and 9). is selected, the captured image and various data are transmitted to the report destination. Accordingly, the suspicious person detection systems 100 and 100A according to the first embodiment and the first modification of the first embodiment can assist the user in making a quicker report.
  • the present disclosure is useful as a suspicious person alarm notification system, a suspicious person alarm notification method, and a suspicious person alarm notification program that more efficiently detect a suspicious person showing signs of crime and efficiently support prevention of crime occurrence. is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Alarm Systems (AREA)

Abstract

不審者アラーム通知システムは、人工知能とレーダとを備えて、人物を撮像するカメラと、カメラと通信可能なサーバと、を備え、レーダの照射方向に存在する信号を受信し、信号に含まれる人物のバイタル情報を取得し、人工知能を用いて、撮像画像から人物の動作情報を取得し、人物のバイタル情報および動作情報に基づいて、人物の不審者らしさを示す指標を算出し、指標が閾値以上であると判定した場合、人物に関する人物情報をサーバに送信し、不審者を検知した旨のアラームを出力する。

Description

不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム
　本開示は、不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラムに関する。
　特許文献１には、検知対象の画像情報を取得し、画像情報に基づいて、検知対象の特徴情報を取得し、特徴情報に基づいて、検知対象の行動を識別した行動識別結果と検知対象の行動予定を示す行動予定情報との比較結果に基づいて、検知対象の異常行動を検知する異常行動検知装置が開示されている。異常行動検知装置は、検知対象の異常行動（例えば、サーバルームへの不正入室、サーバへの不正アクセス、ディスクドライブの盗難等）を検知した場合、管理者にアラーム発報したり、この検知対象が検知された部屋の入口の電子錠を施錠したりする。
日本国特開２０１１－４８５４７号公報
　近年、実際に犯罪が行われる前に犯罪の予兆を検出し、犯罪の発生を未然に防ぎたいという要望がある。特許文献１では、検知対象の異常行動を検知した場合には、管理者にアラーム発報したり、部屋の入口の電子錠を施錠することで異常行動を行った検知対象の退室あるいは逃亡を防いだりすることができる。しかし、特許文献１では、検知対象により実際に行われた行動結果を識別した行動識別結果に基づいて、実際に犯罪が行われる前に犯罪の予兆を検出したり、犯罪の発生を未然に防いだりすることは困難だった。
　本開示は、上述した従来の事情に鑑みて案出され、犯罪の予兆が見られる不審者をより効率的に検知し、犯罪発生の未然抑制を効率的に支援する不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラムを提供することを目的とする。
　本開示は、人工知能とレーダとを備え、人物を撮像する少なくとも１台のカメラと、前記カメラと通信可能なサーバと、を備える不審者アラーム通知システムであって、前記カメラは、前記レーダによって照射され、前記レーダの照射方向に存在する物体により反射した信号を受信し、前記信号から前記人物のバイタル情報を取得し、前記人工知能を用いて、前記人物を撮像した撮像画像から前記人物の動作情報を取得し、前記人物の前記バイタル情報および前記動作情報に基づいて、前記人物の不審者らしさを示す指標を算出し、前記指標が閾値以上であると判定した場合、前記人物の前記バイタル情報と前記動作情報とを紐付けた前記人物に関する人物情報を前記サーバに送信し、前記サーバは、前記カメラから送信された前記人物情報に基づいて、不審者を検知した旨のアラームを出力する、不審者アラーム通知システムを提供する。
　また、本開示は、不審者が検知された旨のアラームを出力するサーバとの間で通信可能に接続されたコンピュータが行う不審者アラーム通知方法であって、レーダによって照射され、前記レーダの照射方向に存在する物体により反射した信号を受信し、前記信号から人物のバイタル情報を取得し、人工知能を用いて、前記人物を撮像した撮像画像から前記人物の動作情報を取得し、前記人物の前記バイタル情報および前記動作情報に基づいて、前記人物の不審者らしさを示す指標を算出し、前記指標が閾値以上であると判定した場合、前記人物の前記バイタル情報と前記動作情報とを紐付けた前記人物に関する人物情報に基づいて、不審者を検知した旨のアラームを出力する、不審者アラーム通知方法を提供する。
　また、本開示は、不審者が検知された旨のアラームを出力するサーバとの間で通信可能に接続され、人工知能とレーダとを備えたコンピュータである少なくとも１台のカメラに、前記レーダによって照射され、前記レーダの照射方向に存在する物体により反射した信号を受信するステップと、前記信号から人物のバイタル情報を取得するステップと、前記人工知能を用いて、前記人物を撮像した撮像画像から前記人物の動作情報を取得するステップと、前記人物の前記バイタル情報および前記動作情報に基づいて、前記人物の不審者らしさを示す指標を算出するステップと、前記指標が閾値以上であると判定した場合、前記人物の前記バイタル情報と前記動作情報とを紐付けた前記人物に関する人物情報を前記サーバに送信するステップと、を実現させるための、不審者アラーム通知プログラムを提供する。
　本開示によれば、犯罪の予兆が見られる不審者をより効率的に検知し、犯罪発生の未然抑制を効率的に支援できる。
実施の形態１に係る不審者検出システムのシステム構成例を示すブロック図 実施の形態１におけるカメラの内部構成例を示すブロック図 実施の形態１に係る不審者検出システムの動作手順例を示すフローチャート 実施の形態１に係る不審者検出システムの動作手順例を示すフローチャート 実施の形態１に係る不審者検出システムの動作手順例を示すフローチャート 不審行動の一例を示すテーブル 実施の形態１におけるサーバの動作手順例を示すフローチャート アラーム画面の一例を示す図 アラーム画面の一例を示す図 実施の形態１の変形例１および変形例２に係る不審者検出システムのシステム構成例を示すブロック図 図３～図５および図７に示す動作手順例と、各実施の形態に係る不審者検出システムの動作手順例との対応関係を示すテーブル
　以下、添付図面を適宜参照しながら、本開示に係る不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
　図１は、実施の形態１に係る不審者検出システム１００（不審者アラーム通知システムの一例）のシステム構成例を示す図である。なお、図１に示す不審者検出システム１００のシステム構成は、一例であってこれに限定されない。実施の形態１に係る不審者検出システム１００は、屋内外の各所に設置され、ミリ波レーダを備えた１台以上のカメラＣ１，…のそれぞれによりカメラＣ１，…の画角内に位置する人物のバイタル情報と、人物の動作情報（例えば、人物の表情、体の動き等）とを解析する。不審者検出システム１００は、カメラＣ１，…の画角内に位置する人物の感情指標、人物の動作情報等の解析結果に基づいて、犯罪指標（スコア）を算出する。不審者検出システム１００は、算出された犯罪指標（スコア）がアラーム条件を満たすと判定した場合、不審者の検出を通知するアラームを生成して事前に設定された通知（通報）先に出力する。
　なお、ここでいう犯罪指標（スコア）は、犯罪者（不審者）が犯罪を行う前の緊張、ストレス、興奮状態、攻撃性等の感情と、犯罪者（不審者）が犯罪を行う前の行動とに基づいて、犯罪を実行する確率を示すスコアであり、犯罪の予兆の度合い（確率）を示す。犯罪指標（スコア）は、スコアの大きさに比例して犯罪を実行する確率が高い（つまり、犯罪を実行する前の予兆である）ことを示す。
　実施の形態１に係る不審者検出システム１００は、１台以上のカメラＣ１，…のそれぞれと、サーバＳ１と、少なくとも１台のモニタＭＮあるいは警備員端末ＴＰ１と、ネットワークＮＷと、を含んで構成される。
　実施の形態１における複数のカメラＣ１，…のそれぞれは、ネットワークＮＷを介して、サーバＳ１、警備員端末ＴＰ１、あるいは外部サーバＳ２との間で有線通信あるいは無線通信可能に接続される。ここでいう無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（登録商標）などの近距離無線通信、またはＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介した通信である。
　複数のカメラＣ１，…のそれぞれは、例えば防犯カメラ等の監視カメラであり、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）が搭載されたカメラである。複数のカメラＣ１，…のそれぞれは、学習済みＡＩモデル（所謂、学習モデル）を用いて、ミリ波レーダ１７の反射波を解析し、自カメラの画角内に位置する人物の位置と人物のバイタル情報（例えば、心拍、脈拍、呼吸等の情報）とを取得する。複数のカメラＣ１，…のそれぞれは、取得されたバイタル情報に基づいて、自カメラの画角内に位置する人物ごとの感情を推定した感情指標を算出する。また、複数のカメラＣ１，…のそれぞれは、学習済みＡＩモデルを用いて、自カメラの画角内に対応する監視エリアを撮像した撮像画像を解析し、自カメラの画角内に位置する人物の位置と、人物の動作情報（例えば、表情、視線、行動、骨格、姿勢等の情報）とを取得する。
　複数のカメラＣ１，…のそれぞれは、取得された動作情報に基づいて、この人物の行動を解析した行動解析結果（例えば、姿勢の安定性、目線の変化量、動線の重なり具合等）を取得する。複数のカメラＣ１，…のそれぞれは、人物の感情指標、および行動解析結果に基づいて、犯罪指標（スコア）を算出し、算出された犯罪指標（スコア）がアラーム条件を満たすか否かを判定する。複数のカメラＣ１，…のそれぞれは、算出された犯罪指標（スコア）がアラーム条件を満たすと判定した場合には、不審者を検知した旨のアラーム通知を生成する。複数のカメラＣ１，…のそれぞれは、生成されたアラーム通知と、この人物の犯罪指標（スコア）の算出に用いられた各種データとを紐付けてサーバＳ１、あるいは警備員端末ＴＰ１に送信する。なお、ここでいう各種データは、例えば人物の顔画像、人物が撮像された撮像映像データ、バイタル情報の時系列データ（第１の時系列データ）、動作情報の時系列データ（第２の時系列データ）、感情指標、行動解析結果、撮像時刻情報、カメラの設置場所の情報等である。
　複数のカメラＣ１，…のそれぞれは、複数の学習済みＡＩモデル（学習済みＡＩモデル）のそれぞれが学習モデルメモリＤＢ１（図２参照）に記憶されている。これらの学習済みＡＩモデルは、複数のカメラＣ１，…のそれぞれに搭載されているＡＩの機能を特徴付けるパラメータ群である。すなわち、学習済みＡＩモデルは、複数のカメラＣ１，…のそれぞれに搭載されているＡＩを用いて、犯罪指標（スコア）を算出するための各種演算処理を実行するパラメータ群である。学習済みＡＩモデルは、例えば、複数のカメラＣ１，…のそれぞれに構築されたＡＩ構造（例えばニューラルネットワークＮ１）を決定するパラメータ群であってもよい。ニューラルネットワークＮ１を決定するパラメータ群には、例えば、ニューラルネットワークＮ１のユニット間の接続関係を示す情報または重み係数等が含まれる。
　複数のカメラＣ１，…のそれぞれは、犯罪指標（スコア）を算出するための各種演算処理に対応するニューラルネットワークＮ１を構築して、対応するオブジェクトを検出可能である。例えば、複数のカメラＣ１，…のそれぞれは、撮像画像に映る人物を検知して、撮像画像に映る人物の位置（方角、距離）を算出するためのニューラルネットワーク、撮像画像に映る人物の骨格情報を取得するためのニューラルネットワーク、人物のバイタル情報を含む第１の時系列データを用いて、この人物の感情指標を算出するためのニューラルネットワーク、人物の感情指標と、骨格情報から得られた動作情報に基づいて解析された人物の行動解析結果とを用いて、犯罪指標（スコア）を算出するためのニューラルネットワーク等を構築する。図１に示すニューラルネットワークＮ１は、上述した４つの例示した個々のニューラルネットワークを総称したものである。
　サーバＳ１は、ネットワークＮＷを介して、複数のカメラＣ１，…のそれぞれ、警備員端末ＴＰ１、あるいは外部サーバＳ２との間で有線通信あるいは無線通信可能に接続される。また、サーバＳ１は、ユーザ（例えば、監視エリアの監視を行う管理会社の従業員、警備員、管理人等）により操作可能な操作部２３、およびユーザが視聴可能なモニタＭＮとの間でデータ送受信可能に接続される。なお、サーバＳ１は、操作部２３と、モニタＭＮとを含んで構成される場合、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、スマートフォン等により実現されてよい。
　サーバＳ１は、複数のカメラＣ１，…のそれぞれから送信されたアラーム通知と各種データとに基づいて、アラーム画面（図８，図９参照）等をモニタＭＮに出力して表示させる。また、サーバＳ１は、ユーザにより所定の通報先（例えば、管理会社、警備会社、保険会社、警備員等）へ通報する操作が行われた場合には、複数のカメラＣ１，…のそれぞれから送信されたアラーム通知に基づいて、所定の通報先に通報を行う。サーバＳ１は、通信部２０と、プロセッサ２１と、メモリ２２と、を少なくとも含んで構成される。なお、データベースＤＢ２は、別体で構成され、サーバＳ１との間でデータ送受信可能に接続されてもよい。
　通信部２０は、ネットワークＮＷを介して、複数のカメラＣ１，…のそれぞれ、および警備員端末ＴＰ１との間でデータもしくは情報の送受信を行うための通信インターフェース回路を用いて構成される。通信部２０は、無線通信ネットワークまたは有線通信ネットワークを通じて、複数のカメラＣ１，…のそれぞれから送信されたアラーム通知をプロセッサ２１に出力する。また、通信部２０は、ユーザにより所定の通報先へ通報する操作が行われた場合、複数のカメラＣ１，…のそれぞれから送信されたアラーム通知を警備員端末ＴＰ１に送信する。
　プロセッサ２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を用いて構成されて、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１はメモリ２２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各種機能を実現する。
　プロセッサ２１は、操作部２３から出力された電気信号に基づいて、モニタＭＮに表示されるアラーム画面（図８，図９参照）を生成したり、事前に設定された通報先（例えば、管理会社、警備会社、保険会社あるいは警備員端末ＴＰ１等の通報先のメールアドレス、電話番号等）に通報したりする。
　メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）とを有する。なお、メモリ２２は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）あるいはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等によるストレージデバイスのうちいずれかを含む記憶デバイスを有してもよい。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。メモリ２２は、通報先の情報（例えば、管理会社、警備会社、保険会社あるいは警備員端末ＴＰ１等の通報先のメールアドレス、電話番号等）等を記憶する。
　データベースＤＢ２は、例えばＨＤＤあるいはＳＳＤ等の記憶デバイスを用いて構成される。データベースＤＢ２は、複数のカメラＣ１，…のそれぞれから送信され、アラーム通知に紐付けられた各種データを人物ごと（具体的には、後述する統合ＩＤごと）登録（格納）する。
　操作部２３は、例えばタッチパネル、ボタン、キーボード等を用いて構成されたユーザインタフェースである。操作部２３は、受け付けられたユーザ操作を電気信号（制御指令）に変換して、プロセッサ２１に出力する。なお、操作部２３がタッチパネルを用いて構成される場合、操作部２３は、モニタＭＮと一体的に構成される。
　モニタＭＮは、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイを用いて構成される。モニタＭＮは、プロセッサ２１により生成されて出力されたアラーム画面（図８，図９参照）を表示する。
　警備員端末ＴＰ１は、ネットワークＮＷを介して、複数のカメラＣ１，…のそれぞれ、およびサーバＳ１との間でデータ送受信可能に接続される。警備員端末ＴＰ１は、複数のカメラＣ１，…のそれぞれにより監視されるエリアを警備する警備員、建物の従業員等により使用され、例えばノートＰＣ、タブレット端末、スマートフォン等により実現される。警備員端末ＴＰ１は、複数のカメラＣ１，…のそれぞれ、あるいはサーバＳ１から送信されたアラーム通知に基づく画面を生成して表示する。なお、警備員端末ＴＰ１の台数は、図１において一例として１台である例を示すが、２台以上であってもよい。
　次に、図２を参照して、実施の形態１におけるカメラＣ１，…のそれぞれの内部構成例について説明する。なお、本実施の形態１における複数のカメラＣ１，…のそれぞれは同様の構成を有するため、ここではカメラＣ１の内部構成のみについて説明し、他のカメラの内部構成については説明および図示を省略する。
　カメラＣ１は、通信部１０と、プロセッサ１１と、メモリ１２と、イメージセンサ１３と、レンズ１４と、レンズ駆動部１５と、マイクロコントローラ１６と、ミリ波レーダ１７と、を含んで構成される。なお、マイクロコントローラ１６およびとミリ波レーダ１７は、カメラＣ１と別体で構成されて、カメラＣ１との間でデータ通信可能に接続されていてもよい。
　通信部１０は、ネットワークＮＷを介して、サーバＳ１、および警備員端末ＴＰ１との間でデータもしくは情報の送受信を行うための通信ＩＦ（ＩｎｔｅｒＦａｃｅ）回路１０Ｂを用いて構成される。通信部１０は、無線通信ネットワークまたは有線通信ネットワークを通じて、プロセッサ１１から出力された各種データ（例えば、撮像映像データ、撮像画像データ、アラーム通知等）を、ネットワークＮＷを介してサーバＳ１に送信する。通信部１０は、外部入出力端子１０Ａと、通信ＩＦ回路１０Ｂとを含んで構成される。
　外部入出力端子１０Ａは、例えばＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）端子、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子等であって、カメラＣ１とネットワークＮＷとの間をデータ通信可能に接続する。
　プロセッサ１１は、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１は、メモリ１２および学習モデルメモリＤＢ１に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各種機能を実現する。ここでいう各種機能は、例えば人物の位置を特定する機能、人物の動作情報を解析して取得する機能、人物のバイタル情報に基づく人物の感情指標を算出する機能、犯罪指標を算出する機能、不審者であるか否かを判定する機能、アラーム通知を実行する機能等を実現する。プロセッサ１１は、ＡＩ処理部１１Ａを含んで構成される。
　ＡＩ処理部１１Ａは、少なくとも１つの学習済みＡＩモデルに基づいて、ニューラルネットワークＮ１（図１参照）を形成する。ＡＩ処理部１１Ａは、学習モデルメモリＤＢ１に記憶された各学習済みＡＩモデルのそれぞれを実行して対応するニューラルネットワークＮ１を形成することで、撮像された撮像画像に画像解析処理を実行し、ミリ波レーダ１７の受信信号に基づいて取得されたバイタル情報に信号解析を実行し、監視エリア内（つまり、カメラＣ１の画角内）に位置する人物のそれぞれの犯罪指標（スコア）を算出できる。ＡＩ処理部１１Ａは、ＡＩ演算処理部１１１と、学習モデルメモリＤＢ１とを含んで構成される。
　ＡＩ演算処理部１１１は、学習モデルメモリＤＢ１に記憶されたアプリケーション（学習済みＡＩモデル）に基づいて、ミリ波レーダ１７の受信信号に基づいて取得されたバイタル情報に対する信号解析と、撮像画像に対する画像解析処理とを実行することにより、人物の位置を特定する機能、人物の動作情報を解析して取得する機能、人物のバイタル情報に基づく人物の感情指標を算出する機能、犯罪指標を算出する機能等を実現する。
　学習モデルメモリＤＢ１は、例えばＡＩ演算処理部１１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、ＡＩ演算処理部１１１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。また、学習モデルメモリＤＢ１は、例えばＨＤＤあるいはＳＳＤ等の記憶デバイスを用いて構成され、複数の学習済みＡＩモデルのデータのそれぞれを記憶する。
　具体的に、学習モデルメモリＤＢ１は、撮像画像を用いて、撮像画像に映る人物を検知して、撮像画像に映る人物の位置（方角、距離）を算出可能な第１の学習済みＡＩモデルを記憶する。学習モデルメモリＤＢ１は、撮像画像に映る人物の骨格情報を取得可能な第２の学習済みＡＩモデルを記憶する。学習モデルメモリＤＢ１は、人物のバイタル情報を含む第１の時系列データを用いて、この人物の感情指標を算出するための第３の学習済みＡＩモデルを記憶する。学習モデルメモリＤＢ１は、人物の感情指標と、動作情報に基づいて解析された人物の行動解析結果とを用いて、犯罪指標（スコア）を算出するための第４の学習済みＡＩモデルを記憶する。なお、上述した第１～第４の学習済みＡＩモデルは、一例であって、これに限定されない。学習モデルメモリＤＢ１は、他の用途で使用される他の学習済みＡＩモデルを記憶していてもよい。
　メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。なお、メモリ１２は、ＳＳＤあるいはＨＤＤ等によるストレージデバイスのうちいずれかを含む記憶デバイスを有してもよい。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。メモリ１２は、撮像された撮像映像あるいは撮像画像を格納したり、プロセッサ１１により生成された各種データ（例えば、人物の位置、バイタル情報、動作情報、感情指標、犯罪指標等）を人物ＩＤごとに格納したり、各種判定に使用される閾値の情報等を記憶したりする。
　また、プロセッサ１１が各種機能の実現に用いられる学習データを生成可能である場合、メモリ１２は、プロセッサ１１により生成された学習データを記憶する。
　学習データを生成するための学習は、１つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器（ｌｉｎｅａｒ　ｃｌａｓｓｉｆｉｅｒｓ）、サポートベクターマシン（ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ）、二次分類器（ｑｕａｄｒａｔｉｃ　ｃｌａｓｓｉｆｉｅｒｓ）、カーネル密度推定（ｋｅｒｎｅｌ　ｅｓｔｉｍａｔｉｏｎ）、決定木（ｄｅｃｉｓｉｏｎ　ｔｒｅｅｓ）、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ）、ベイジアン技術および／またはネットワーク（Ｂａｙｅｓｉａｎ　ｔｅｃｈｎｉｑｕｅｓ　ａｎｄ/ｏｒ　ｎｅｔｗｏｒｋｓ）、隠れマルコフモデル（ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌｓ）、バイナリ分類子（ｂｉｎａｒｙ　ｃｌａｓｓｉｆｉｅｒｓ）、マルチクラス分類器（ｍｕｌｔｉ－ｃｌａｓｓ　ｃｌａｓｓｉｆｉｅｒｓ）、クラスタリング（ａ　ｃｌｕｓｔｅｒｉｎｇ　ｔｅｃｈｎｉｑｕｅ）、ランダムフォレスト（ａ　ｒａｎｄｏｍ　ｆｏｒｅｓｔ　ｔｅｃｈｎｉｑｕｅ）、ロジスティック回帰（ａ　ｌｏｇｉｓｔｉｃ　ｒｅｇｒｅｓｓｉｏｎ　ｔｅｃｈｎｉｑｕｅ）、線形回帰（ａ　ｌｉｎｅａｒ　ｒｅｇｒｅｓｓｉｏｎ　ｔｅｃｈｎｉｑｕｅ）、勾配ブースティング（ａ　ｇｒａｄｉｅｎｔ　ｂｏｏｓｔｉｎｇ　ｔｅｃｈｎｉｑｕｅ）等が挙げられる。但し、使用される統計的分類技術はこれらに限定されない。
　イメージセンサ１３は、撮像素子としてＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を有する。イメージセンサ１３は、被写体（人物ＨＭ）像の電気信号に対して公知の画像処理用の信号処理を施して撮像画像のデータを生成するための画像処理回路を含んだチップを有してもよい。イメージセンサ１３は、撮像画像のデータを生成して、プロセッサ１１に出力する。
　レンズ１４は、カメラＣ１の監視エリア（つまり、撮像エリア）から入射する光をイメージセンサ１３に結像する。
　レンズ駆動部１５は、プロセッサ１１から出力された制御指令に基づいて、レンズ１４のフォーカス位置を制御する。
　マイクロコントローラ１６は、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌｌｅｒ　Ｕｎｉｔ）を用いて構成され、プロセッサ１１の制御指令に基づいて、ミリ波レーダ１７によるカメラＣ１の管理エリアへのレーダの照射制御を実行する。また、マイクロコントローラ１６は、ミリ波レーダ１７から出力されたアナログ信号に対して、デジタル変換、周波数成分解析などの信号処理を行う。このとき、マイクロコントローラ１６は、受信信号からレーダの照射範囲（即ち、カメラＣ１の画角内）に位置する人物による反射成分を抽出し、さらに、人物によって反射した反射波に含まれるこの人物バイタル情報（例えば心拍、脈拍、呼吸等の情報）を抽出する。マイクロコントローラ１６は、信号処理の結果をプロセッサ１１に出力する。
　レーダの一例としてのミリ波レーダ１７は、波長が１～１０ｍｍの電波を照射し、照射方向に存在する物体（例えば、人物、建物の壁等）により反射された反射波を受信する。ミリ波レーダ１７は、マイクロコントローラ１６による制御に基づいて、電波の照射を実行する。また、ミリ波レーダ１７は、受信したアナログ信号をマイクロコントローラ１６に出力する。
　次に、図３～図５のそれぞれを参照して、実施の形態１に係る不審者検出システム１００の動作手順例について説明する。図３は、実施の形態１における不審者検出システム１００の動作手順例を示すフローチャートである。図４は、実施の形態１における不審者検出システム１００の動作手順例を示すフローチャートである。図５は、実施の形態１における不審者検出システム１００の動作手順例を示すフローチャートである。なお、図３～図５の説明は、説明を分かり易くするためにカメラＣ１により実行される動作手順例について説明するが、他のカメラも同様の動作手順を実行する。
　不審者検出システム１００は、ミリ波レーダ１７により送信された電波の反射波をデジタル変換して得られた信号の信号処理と、撮像された撮像映像（撮像画像）の画像処理とをそれぞれ独立して実行する。まず、ステップＳｔ１００～ステップＳｔ１０４のそれぞれに示すアナログ信号処理の処理フロー（動作手順）について説明する。
　カメラＣ１は、ミリ波レーダ１７によりカメラＣ１の監視エリア内に向けて電波を照射する（Ｓｔ１００）。カメラＣ１は、照射された電波の反射波をミリ波レーダ１７で受信する（Ｓｔ１０１）。カメラＣ１は、受信された反射波をデジタル信号に変換する。
　カメラＣ１は、信号処理を行いデジタル信号から人物のバイタル情報（例えば、心拍、脈拍、呼吸等の情報）を抽出する（Ｓｔ１０２）。
　カメラＣ１は、人物のバイタル情報を含むデジタル信号に基づいて、カメラＣ１の画角内（つまり、カメラＣ１の画角に対応する領域）に位置する人物の位置（角度、距離）（第１の位置情報の一例）を特定（計測）する。カメラＣ１は、ミリ波レーダ１７の反射波に基づいて位置が特定された人物のそれぞれに、人物を識別するための第１のＩＤを付与する（Ｓｔ１０３）。なお、ここで特定される距離は、ミリ波レーダ１７の電波の送受信位置から人物までの距離である。同様に、ここで特定される角度は、ミリ波レーダ１７の電波の送受信位置を基準とした角度である。
　カメラＣ１は、人物のバイタル情報と、位置情報（角度、距離）と、電波の反射波の受信時刻情報と、第１のＩＤとを紐付けて記録する（Ｓｔ１０４）。なお、ここで、カメラＣ１は、デジタル信号のそれぞれを用いて新たに取得された人物の位置情報（角度、距離）の時間的な変化に基づいて、この人物が既に第１のＩＤが付与された人物と同一人物であるか否かを判定する。カメラＣ１は、同一人物であると判定した場合、同一人物と判定された人物の位置情報とバイタル情報とに同一の第１のＩＤを付与して記録する。
　次に、ステップＳｔ２００～ステップＳｔ２０４のそれぞれに示す撮像画像の画像処理フロー（動作手順）について説明する。
　カメラＣ１は、監視エリアが撮像された撮像映像を取得する（Ｓｔ２００）。カメラＣ１は、撮像映像に画像処理を実行して、複数の撮像画像のデータ（つまり、画像データ）を生成する（Ｓｔ２０１）。カメラＣ１は、学習モデルメモリＤＢ１に記憶された第１の学習済みＡＩモデルを用いて、撮像画像（画像データ）に映る人物をそれぞれ検出し、人物ごとの位置（方角、位置）（第２の位置情報の一例）を算出する。カメラＣ１は、撮像画像に基づいて位置が特定された人物のそれぞれに、人物を識別するための第２のＩＤを付与する（Ｓｔ２０２）。なお、ここでいう距離は、カメラＣ１のイメージセンサ１３の受光面から撮像画像に映る人物までの間の距離である。同様に、方角は、カメラＣ１のイメージセンサ１３の受光面に設定された任意の基準点から見た方角である。
　カメラＣ１は、学習モデルメモリＤＢ１に記憶された第２の学習済みＡＩモデルを用いて、撮像画像に映る人物のそれぞれの骨格情報に基づいて、人物の姿勢、目線の向き等の動作情報を解析して取得する（Ｓｔ２０３）。
　カメラＣ１は、人物の動作情報と、位置情報（方角、距離）と、撮像画像の撮像時刻情報と、第２のＩＤとを紐付けて記録する（Ｓｔ２０４）。なお、ここで、カメラＣ１は、複数の撮像画像のそれぞれを用いて新たに取得された人物の位置情報（方向、距離）、人物の動作情報等の時間的な変化に基づいて、この人物が既に第２のＩＤが付与された人物と同一人物であるか否かを判定する。カメラＣ１は、同一人物であると判定した場合、同一人物と判定された人物の位置情報と動作情報と同一の第２のＩＤを付与して記録する。
　カメラＣ１は、第１のＩＤに紐付けられた人物の位置（角度、距離）情報と、第２のＩＤに紐付けられた人物の位置（方角、距離）情報とを照合する。カメラＣ１は、照合結果に基づいて、第１のＩＤに紐付けられた人物と第２のＩＤに紐付けられた人物とが同一人物であると判定した場合、同一人物と判定された人物に付与された第１のＩＤと第２のＩＤとを統合する（Ｓｔ３００）。ここで、カメラＣ１は、第１のＩＤと第２のＩＤとの統合時にいずれか一方のＩＤ（つまり、第１のＩＤまたは第２のＩＤ）に統合してもよいし、新たなＩＤ（第３のＩＤ）を付与してもよい。なお、以降の説明では、説明を分かり易くするために統合後のＩＤを統合ＩＤと表記する。
　ステップＳｔ１０５～ステップＳｔ１０７のそれぞれに示す感情指標の算出処理フロー（動作手順）について説明する。
　カメラＣ１は、人物のバイタル情報と受信時刻情報とを統合ＩＤごとにメモリ１２に格納（記憶）し、受信時刻情報に基づいて人物のバイタル情報のそれぞれを並び替えた第１の時系列データを生成する（Ｓｔ１０５）。カメラＣ１は、生成された第１の時系列データのデータ長が第１の閾値（例えば、３０秒、４５秒、６０秒等）（第１の所定時間の一例）以上であるか否かを判定する（Ｓｔ１０６）。
　カメラＣ１は、ステップＳｔ１０６の処理において、第１の時系列データのデータ長が第１の閾値以上であると判定した場合（Ｓｔ１０６，ＹＥＳ）、第３の学習済みＡＩモデルを用いて、第１の時系列データに含まれるバイタル情報の時系列変化（例えば、心拍、呼吸、脈拍間隔の変動等）を解析する。カメラＣ１は、解析されたバイタル情報の時系列変化に基づいて、このバイタル情報に対応する人物の感情指標を算出する（Ｓｔ１０７）。なお、ここでいう感情指標は、例えばＲｕｓｓｅｌの円環モデル等の公知の指標が用いられてよい。
　一方、カメラＣ１は、ステップＳｔ１０６の処理において、第１の時系列データのデータ長が第１の閾値以上でないと判定した場合（Ｓｔ１０６，ＮＯ）、ステップＳｔ１００の処理に移行し、第１の時系列データのデータ長が感情指標を算出に十分な長さ（つまり、第１の閾値以上）になるまで第１の時系列データの生成処理を繰り返す。
　次に、ステップＳｔ２０５～ステップＳｔ２０７のそれぞれに示す姿勢の安定性、目線の変化量等の行動解析処理フロー（動作手順）について説明する。
　カメラＣ１は、人物の動作情報と受信時刻情報とを統合ＩＤごとにメモリ１２に格納（記憶）し、受信時刻情報に基づいて人物の動作情報のそれぞれを並び替えた第２の時系列データを生成する（Ｓｔ２０５）。カメラＣ１は、生成された第２の時系列データのデータ長が第２の閾値（例えば、２０秒、３０秒、４０秒等）（第２の所定時間の一例）以上であるか否かを判定する（Ｓｔ２０６）。
　カメラＣ１は、ステップＳｔ２０６の処理において、第２の時系列データのデータ長が第２の閾値以上であると判定した場合（Ｓｔ２０６，ＹＥＳ）、第２の時系列データに含まれる動作情報に基づいて、この第２の時系列データに対応する人物の姿勢の安定性、目線の変化量等の行動解析処理を実行する（Ｓｔ２０７）。
　一方、カメラＣ１は、ステップＳｔ２０６の処理において、第２の時系列データのデータ長が第２の閾値以上でないと判定した場合（Ｓｔ２０６，ＮＯ）、ステップＳｔ３０１の処理に移行し、第２の時系列データのデータ長が行動解析処理に十分な長さ（つまり、第２の閾値以上）になるまで第２の時系列データの生成処理を繰り返す。
　カメラＣ１は、学習モデルメモリＤＢ１に記憶された第４の学習済みＡＩモデルを用いて、算出された感情指標、行動解析結果のそれぞれを解析し、この人物の犯罪指標（スコア）を算出する（Ｓｔ３０１）。なお、ここで犯罪指標は、一例として「０～１００」までの数値（スコア）である例について説明するが、「０～１」までの数値（スコア）であってもよいし、「Ｓ」、「Ａ」、「Ｂ」等の指標であってもよい。
　カメラＣ１は、算出された犯罪指標が第３の閾値（例えば、８５、９０、９５等）（閾値の一例）以上であるか否かを判定する（Ｓｔ３０２）。なお、第３の閾値は、ユーザにより任意の値が設定されてよい。
　カメラＣ１は、ステップＳｔ３０２の処理において、犯罪指標（スコア）が第３の閾値以上であると判定した場合（Ｓｔ３０２，ＹＥＳ）、この人物の統合ＩＤに対応する人物を不審者と判定し、統合ＩＤに紐付けられた各種データを出力する（Ｓｔ３０３）。なお、ここでいう各種データは、例えば人物の顔画像、人物が撮像された撮像映像データ、第１の時系列データ、第２の時系列データ、感情指標、行動解析結果、撮像時刻情報、カメラＣ１の設置場所等である。また、ステップＳｔ３０３の処理において、カメラＣ１は、同一の撮像画像に映り、かつ、不審者と判定されていない他の人物のそれぞれの統合ＩＤに紐付けられた各種データをさらに対応付けて出力してよい。
　一方、カメラＣ１は、ステップＳｔ３０２の処理において、犯罪指標が第３の閾値以上でないと判定した場合（Ｓｔ３０２，ＮＯ）、ステップＳｔ１００あるいはステップＳｔ２００の処理に移行する。
　以上により、実施の形態１におけるカメラＣ１，…のそれぞれは、各種学習済みＡＩモデル（具体的に、第１～第４の学習済みＡＩモデルのそれぞれ）を用いて、カメラの監視エリアに映る人物のバイタル情報と動作情報とを取得し、取得されたバイタル情報の時系列データ（第１の時系列データ）と、動作情報の時系列データ（第２の時系列データ）とに基づいて、これらのデータに対応する人物の感情指標、行動等を解析する。また、カメラＣ１，…のそれぞれは、解析結果（具体的に、人物の感情指標、行動解析結果）に基づいて、犯罪の予兆の度合いを示す犯罪指標（スコア）を算出することにより、この人物がアラーム通知すべき人物であるか否かを判定できる。
　ここで、図６を参照して、犯罪指標（スコア）の算出に用いられ、不審者と判定される不審行動の一例について説明する。図６は、不審行動の一例を示すテーブルＴＢ１である。
　なお、図６に示す不審行動の例は一例であって、これに限定されないことは言うまでもない。また、ここではカメラＣ１によって不審行動の判定処理が実行される例について説明するが、不審行動の判定処理は、サーバＳ１により実行されてもよい。
　テーブルＴＢ１は、第４の学習済みＡＩモデルを用いて解析される第２の時系列データを解析結果に基づいて、この第２の時系列データに対応する人物が不審行動を行っているか否かを判定するための不審行動例の一覧を示す。なお、図６に示すテーブルＴＢ１では図示を省略しているが、例えば不審行動であると判定するための条件「長時間にわたって同じ場所を何度も通る」に、さらなる条件として「通過回数」、「同じ場所を通った時間」等の具体的な条件（閾値）が設定されていてもよい。
　カメラＣ１は、第４の学習済みＡＩモデルを用いて第２の時系列データを解析し、第２の時系列データに対応する人物がテーブルＴＢ１に示す「店員、他の客の方向を繰り返し見る」、「長時間にわたって同じ場所を何度も通る」、「監視カメラを何度も確認する」、「何度も後ろを確認する」、あるいは「複数の人物が集まっている」等の不審行動を行っていると判定した場合、犯罪指標（スコア）の値を上げる。
　また、カメラＣ１は、第３の学習済みＡＩモデルを用いて第１の時系列データを解析した結果、第１の時系列データに対応する人物の感情が犯罪と関連性がある感情（例えば「緊張」、「ストレス」、「イライラ」等）に該当すると判定した場合、犯罪指標（スコア）を上げたりする。
　次に、図７を参照して、サーバＳ１の動作手順について説明する。図７は、実施の形態１におけるサーバＳ１の動作手順例を示すフローチャートである。なお、図７に示すステップＳｔ４００～ステップＳｔ４０３の処理は、複数のカメラＣ１，…のそれぞれにより実行されてもよい。
　サーバＳ１は、不審者と判定された人物の統合ＩＤに紐付けられた各種データ（例えば、不審者であると判定された人物の顔画像、人物が撮像された撮像映像データ、第１の時系列データ、第２の時系列データ、感情指標、行動解析結果、撮像時刻情報、カメラの設置場所等）を取得する（Ｓｔ４００）。なお、サーバＳ１は、ステップＳｔ４００の処理において、不審者であると判定された人物と同一の撮像画像に映り、かつ、不審者でないと判定された他の人物のそれぞれの統合ＩＤに紐付けられた各種データを取得してもよい。
　なお、ここでは一例としてカメラＣ１，…のそれぞれから各種データを取得する例について説明するが、ステップＳｔ３０３の処理がサーバＳ１によって実行される場合には、サーバＳ１におけるメモリ２２あるいはデータベースＤＢ２に記録され、不審者と判定された人物の統合ＩＤに紐付けられた各種データを参照してもよい。また、後述する実施の形態１の変形例２に示す不審者検出システム１００ＢのようにステップＳｔ３０３の処理が外部サーバＳ２によって実行される場合には、サーバＳ１は、外部サーバＳ２から不審者と判定された人物の統合ＩＤに紐付けられた各種データを取得してもよいことは言うまでもない。
　サーバＳ１は、各種データに基づいて、不審者と判定された人物を含む領域の座標情報を取得する（Ｓｔ４０２）。なお、ここで取得される領域の座標情報は、カメラＣ１，…のそれぞれの画角において、不審者と判定された人物を含む略矩形形状の領域の座標である。また、取得される領域は、人物の全身、上半身等の特定箇所を含む領域でなくてよく、カメラＣ１，…により撮像された撮像画像に映るこの人物の一部を含む領域であればよい。
　サーバＳ１は、取得された人物の座標情報に基づいて、この人物が撮像された撮像画像（画像データ）上に、人物の少なくとも一部の領域を囲む枠線を重畳した撮像映像データを生成する（Ｓｔ４０２）。なお、枠線が重畳される人物は、不審者と判定された人物に限定されない。
　例えば、サーバＳ１は、不審者であると判定された人物と同一の撮像画像に映り、かつ、不審者でないと判定された他の人物のそれぞれの統合ＩＤに紐付けられた各種データを取得している場合、他の人物のそれぞれを含む各領域の座標情報を取得して、他の人物のそれぞれを囲む枠線を重畳してもよい。ここで、不審者と判定された人物の囲む枠線（第１の枠線の一例）と、不審者と判定されていない他の人物を囲む枠線（第２の枠線の一例）とは、例えば枠線の色、枠線の線種、枠線の太さ等が異なる。これにより、ユーザは、重畳された枠線の色、線種、線の太さ等によって、撮像映像（撮像画像）に映る人物のそれぞれが不審者と判定された人物であるか否かを容易に判別できる。
　サーバＳ１は、生成された撮像映像データと、この人物が不審者であると判定された判定理由の情報（例えば、感情指標、行動解析結果、不審行動等の情報）と、事前に設定された通報先へ通報するための通報ボタン（図８，図９参照）とを含むアラーム画面（図８，図９参照）を生成して、モニタＭＮに出力（表示）する（Ｓｔ４０３）。
　サーバＳ１は、ユーザ操作により通報ボタンが押下されたか否かを判定する（Ｓｔ４０４）。具体的に、操作部２３は、ユーザ操作によりアラーム画面上の通報ボタンが選択（押下）された場合、設定された通報先への通報を要求する制御指令を生成して、サーバＳ１に出力する。サーバＳ１は、操作部２３から出力された制御指令に基づいて、ユーザ操作により通報ボタンが押下されたか否かを判定する。
　サーバＳ１は、ステップＳｔ４０４の処理において、ユーザ操作により通報ボタンが押下されたと判定した場合（Ｓｔ４０４，ＹＥＳ）、設定された通報先（例えば、警備員が所持する警備員端末ＴＰ１、管理会社等）へ不審者を検知した旨の通知情報を生成して送信（つまり、通報）する（Ｓｔ４０５）。ここで、サーバＳ１は、通知情報とアラーム通知あるいは各種データとを通報先に送信してもよい。
　一方、サーバＳ１は、ステップＳｔ４０４の処理において、ユーザ操作により通報ボタンが押下されないと判定した場合（Ｓｔ４０４，ＮＯ）、図７に示す動作手順を終了する。
　図８を参照して、アラーム画面ＳＣ１について説明する。図８は、アラーム画面ＳＣ１の一例を示す図である。なお、図８に示すアラーム画面ＳＣ１に示す判定理由情報ＡＲ１は、一例であってこれに限定されないことは言うまでもない。
　アラーム画面ＳＣ１は、サーバＳ１により生成され、モニタＭＮに出力されて表示される。アラーム画面ＳＣ１は、撮像映像表示領域ＳＶ１と、判定理由情報ＡＲ１と、通報ボタンＢＴ１とを含んで生成される。
　撮像映像表示領域ＳＶ１は、不審者と判定された人物が撮像された撮像映像を表示する領域である。なお、アラーム画面ＳＣ１は、撮像映像表示領域ＳＶ１で不審者と判定された人物が撮像された撮像画像を表示してもよい。撮像映像表示領域ＳＶ１に表示された撮像映像は、不審者であると判定された人物に第１の枠線が重畳され、不審者でないと判定された人物に第２の枠線が重畳されて表示される。
　図８に示すアラーム画面ＳＣ１における撮像映像表示領域ＳＶ１は、７人の人物ＨＭ１１，ＨＭ１２，ＨＭ１３，ＨＭ１４，ＨＭ１５，ＨＭ１６，ＨＭ１７のそれぞれが撮像された撮像映像を表示している。なお、人物ＨＭ１２は、不審者であると判定された人物であって、赤色の枠線ＦＲ１１（第１の枠線）が重畳されている。人物ＨＭ１４，ＨＭ１６のそれぞれは、不審者でないと判定された人物であって、人物ＨＭ１４に黄色の枠線ＦＲ１２（第２の枠線）、人物ＨＭ１６に黄色の枠線ＦＲ１３（第２の枠線）がそれぞれ重畳されている。なお、第１の枠線、あるいは第２の枠線のいずれも重畳されていない人物は、時系列データのデータ長が判定に必要な長さに満たない（具体的に、第１の時系列データが第１の閾値以上でない、第２の時系列データが第２の閾値以上でない）等の理由で、不審者であるか否かの判定処理が行われていない人物であることを意味する。
　これにより、ユーザは、アラーム画面ＳＣ１に基づいて、人物ＨＭ１２のみが不審者と判定された人物であることを一目で把握できるとともに、人物ＨＭ１４，ＨＭ１６のそれぞれが現時点において不審者でないと判定された人物であることを一目で把握できる。
　判定理由情報ＡＲ１は、不審者であると判定された条件（つまり、犯罪指標（スコア）の算出において犯罪指標（スコア）を上げる要因となった各種データの情報等）、あるいは不審者であると判定された理由等の情報を含む。図８に示す判定理由情報ＡＲ１は、一例として、人物ＨＭ１２に関する２つのバイタル情報「心拍：〇〇〇」、「呼吸：×××」のそれぞれと、２つの不審行動情報「カメラ確認回数：４回」、「通路往復回数：３回」のそれぞれとを含む。なお、判定理由情報ＡＲ１は、他の情報として最終的な判定結果（犯罪指標）である「判定スコア：８０」等の情報を含んでいてもよい。
　通報ボタンＢＴ１は、ユーザ操作により押下（選択）された場合に、事前に設定された通報先に通報するためのボタンである。サーバＳ１におけるプロセッサ２１は、操作部２３から出力された制御指令に基づいて、ユーザ操作により通報ボタンＢＴ１が押下（選択）されたと判定した場合、事前に設定された通報先に不審者が検知された旨の通知（通報）を行う。
　図９を参照して、アラーム画面ＳＣ２について説明する。図９は、アラーム画面ＳＣ２の一例を示す図である。なお、図９に示すアラーム画面ＳＣ２に示す判定理由情報ＡＲ２は、一例であってこれに限定されないことは言うまでもない。
　アラーム画面ＳＣ２は、サーバＳ１により生成され、モニタＭＮに出力されて表示される。アラーム画面ＳＣ２は、撮像映像表示領域ＳＶ２と、判定理由情報ＡＲ２と、通報ボタンＢＴ２とを含んで生成される。
　撮像映像表示領域ＳＶ２は、不審者と判定された人物が撮像された撮像映像を表示する領域である。なお、アラーム画面ＳＣ２は、撮像映像表示領域ＳＶ２で不審者と判定された人物が撮像された撮像画像を表示してもよい。撮像映像表示領域ＳＶ２に表示された撮像映像は、不審者であると判定された人物に第１の枠線が重畳され、不審者でないと判定された人物に第２の枠線が重畳されて表示される。
　図９に示すアラーム画面ＳＣ２における撮像映像表示領域ＳＶ２は、７人の人物ＨＭ２１，ＨＭ２２，ＨＭ２３，ＨＭ２４，ＨＭ２５，ＨＭ２６，ＨＭ２７のそれぞれが撮像された撮像映像を表示している。なお、人物ＨＭ２２は、不審者であると判定された人物であって、赤色の枠線ＦＲ２１（第１の枠線）が重畳されている。人物ＨＭ２４，ＨＭ２６のそれぞれは、不審者でないと判定された人物であって、人物ＨＭ２４に黄色の枠線ＦＲ２２（第２の枠線）、人物ＨＭ２６に黄色の枠線ＦＲ２３（第２の枠線）がそれぞれ重畳されている。なお、第１の枠線、あるいは第２の枠線のいずれも重畳されていない人物は、時系列データのデータ長が判定に必要な長さに満たない（具体的に、第１の時系列データが第１の閾値以上でない、第２の時系列データが第２の閾値以上でない）等の理由で、不審者であるか否かの判定処理が行われていない人物であることを意味する。
　これにより、ユーザは、アラーム画面ＳＣ２に基づいて、人物ＨＭ２２のみが不審者と判定された人物であることを一目で把握できるとともに、人物ＨＭ２４，ＨＭ２６のそれぞれが現時点において不審者でないと判定された人物であることを一目で把握できる。
　判定理由情報ＡＲ２は、不審者であると判定された条件（つまり、犯罪指標（スコア）の算出において犯罪指標（スコア）を上げる要因となった各種データの情報等）、あるいは不審者であると判定された理由等の情報を含む。図９に示す判定理由情報ＡＲ２は、一例として、人物ＨＭ２２が不審者と判定された２つの理由「緊張レベルが高い」、「周囲を気にしている」のそれぞれと、人物ＨＭ２２に関する２つのバイタル情報「心拍：〇〇〇」、「呼吸：×××」のそれぞれと、２つの不審行動情報「カメラ確認回数：４回」、「通路往復回数：３回」のそれぞれとを含む。なお、判定理由情報ＡＲ２は、「緊張度：△△△」、「攻撃性：□□□」等の他の感情指標に関する情報、最終的な判定結果（犯罪指標）である「判定スコア：８０」等の情報を含んでいてもよい。
　通報ボタンＢＴ２は、ユーザ操作により押下（選択）された場合に、事前に設定された通報先に通報するためのボタンである。サーバＳ１におけるプロセッサ２１は、操作部２３から出力された制御指令に基づいて、ユーザ操作により通報ボタンＢＴ２が押下（選択）されたと判定した場合、事前に設定された通報先に不審者が検知された旨の通知（通報）を行う。
（実施の形態１の変形例１）
　上述した実施の形態１に係る不審者検出システム１００は、カメラＣ１，…のそれぞれによって撮像された人物が不審者であるか否かを判定する例を示した。実施の形態１の変形例１に係る不審者検出システム１００Ａ（不審者アラーム通知システムの一例）は、サーバＳ１ＡによりカメラＣ１Ａ，…のそれぞれによって撮像された人物が不審者であるか否かを判定する例について説明する。
　図１０を参照して、実施の形態１の変形例１に係る不審者検出システム１００Ａの内部構成について説明する。図１０は、実施の形態１の変形例１および変形例２に係る不審者検出システム１００Ａ，１００Ｂの内部構成例を示すブロック図である。なお、図１０に示す実施の形態１の変形例１に係る不審者検出システム１００Ａの内部構成は、実施の形態１に係る不審者検出システム１００と同様の構成に同一の符号を付与して説明を省略する。
　実施の形態１の変形例１におけるカメラＣ１Ａ，…のそれぞれは、第１の時系列データを生成し、第１の時系列データのデータ長が第１の閾値以上であると判定した場合、この第１の時系列データをサーバＳ１Ａに送信する。同様に、実施の形態１の変形例１におけるカメラＣ１Ａ，…のそれぞれは、第２の時系列データを生成し、第２の時系列データのデータ長が第２の閾値以上であると判定した場合、この第２の時系列データをサーバＳ１Ａに送信する。なお、カメラＣ１Ａ，…のそれぞれは、第３の学習済みＡＩモデル、および第４の学習済みＡＩモデルのそれぞれを学習モデルメモリＤＢ１に記憶していなくてよい。
　実施の形態１の変形例１におけるサーバＳ１Ａは、第３の学習済みＡＩモデル、および第４の学習済みＡＩモデルのそれぞれをデータベースＤＢ２Ａに記憶しており、複数のカメラＣ１Ａ，…のそれぞれから送信された第１の時系列データおよび第２の時系列データのそれぞれを解析する。サーバＳ１Ａは、第４の学習済みＡＩモデルを用いた解析結果に基づいて、第１の時系列データおよび第２の時系列データに対応する人物の犯罪指標（スコア）を算出し、算出された犯罪指標（スコア）が第３の閾値以上であるか否かを判定する。サーバＳ１Ａは、判定の結果、算出された犯罪指標（スコア）が第３の閾値以上である（つまり、この人物が不審者である）と判定した場合、この人物の統合ＩＤに紐付けられた各種データに基づいて、アラーム画面を生成してモニタＭＮに出力する。
　ここで、図１１を参照して図３～図５および図７に示す実施の形態１に係る不審者検出システム１００の動作手順例と、実施の形態１の変形例１に係る不審者検出システム１００Ａの動作手順例との対応関係について説明する。図１１は、図３～図５および図７に示す動作手順例と、各実施の形態に係る不審者検出システムの動作手順例との対応関係を示すテーブルＴＢ２である。
　実施の形態１の変形例１に係る不審者検出システム１００Ａは、図３～図５および図７のそれぞれに示す実施の形態１に係る不審者検出システム１００の動作手順例のうちステップＳｔ１００～ステップＳｔ１０６、ステップＳｔ２００～ステップＳｔ２０６、およびステップＳｔ３００の処理をカメラＣ１Ａ，…のそれぞれが実行し、ステップＳｔ１０７、ステップＳｔ２０７、ステップＳｔ３０１～ステップＳｔ３０３、およびステップＳｔ４００～ステップＳｔ４０５の処理をサーバＳ１Ａが実行する。
　以上により、実施の形態１に変形例１における不審者検出システム１００Ａは、学習済みＡＩモデルを用いた犯罪指標（スコア）の算出処理をサーバＳ１Ａに実行させることで、複数のカメラＣ１Ａ，…のそれぞれの犯罪指標（スコア）の算出処理に基づく処理負荷を低減できる。
（実施の形態１の変形例２）
　上述した実施の形態１に係る不審者検出システム１００は、カメラＣ１，…のそれぞれによって撮像された人物が不審者であるか否かを判定する例を示した。実施の形態１の変形例２に係る不審者検出システム１００Ｂ（不審者アラーム通知システムの一例）は、外部サーバＳ２によりカメラＣ１Ａ，…のそれぞれによって撮像された人物が不審者であるか否かを判定する例について説明する。
　図１０を参照して、実施の形態１の変形例２に係る不審者検出システム１００Ｂの内部構成について説明する。
　実施の形態１の変形例２におけるカメラＣ１Ａ，…のそれぞれは、サーバＳ１Ａおよび外部サーバＳ２との間でネットワークＮＷを介して通信可能に接続されて、データの送受信を実行する。カメラＣ１Ａ，…のそれぞれは、第１の時系列データを生成し、第１の時系列データのデータ長が第１の閾値以上であると判定した場合、この第１の時系列データを外部サーバＳ２に送信する。同様に、実施の形態１の変形例２におけるカメラＣ１Ａ，…のそれぞれは、第２の時系列データを生成し、第２の時系列データのデータ長が第２の閾値以上であると判定した場合、この第２の時系列データを外部サーバＳ２に送信する。なお、カメラＣ１Ａ，…のそれぞれは、第３の学習済みＡＩモデル、および第４の学習済みＡＩモデルのそれぞれを学習モデルメモリＤＢ１に記憶していなくてよい。
　実施の形態１の変形例２における外部サーバＳ２は、複数のカメラＣ１Ａ，…のそれぞれ、およびサーバＳ１Ａとの間でネットワークＮＷを介して通信可能に接続されて、データの送受信を実行する。外部サーバＳ２は、第３の学習済みＡＩモデル、および第４の学習済みＡＩモデルのそれぞれに対応する学習済みＡＩモデルを記憶しており、複数のカメラＣ１Ａ，…のそれぞれから送信された第１の時系列データおよび第２の時系列データのそれぞれを解析する。外部サーバＳ２は、解析結果に基づいて、第１の時系列データおよび第２の時系列データに対応する人物の犯罪指標（スコア）を算出し、データの送信元であるカメラＣ１Ａ，…に解析結果を送信する。複数のカメラＣ１Ａ，…のそれぞれは、算出された犯罪指標（スコア）が第３の閾値以上であるか否かを判定する。判定の結果、算出された犯罪指標（スコア）が第３の閾値以上である（つまり、この人物が不審者である）と判定した場合、この人物の統合ＩＤに紐付けられた各種データをサーバＳ１Ａに送信する。なお、外部サーバＳ２は、学習済みＡＩモデルごとに専用のサーバを備えていてよく、複数であってもよい。
　ここで、図１１を参照して図３～図５および図７に示す実施の形態１に係る不審者検出システム１００の動作手順例と、実施の形態１の変形例２に係る不審者検出システム１００Ｂの動作手順例との対応関係について説明する。
　実施の形態１の変形例２に係る不審者検出システム１００Ｂは、図３～図５および図７のそれぞれに示す実施の形態１に係る不審者検出システム１００の動作手順例のうちステップＳｔ１００～ステップＳｔ１０６、ステップＳｔ２００～ステップＳｔ２０６、およびステップＳｔ３００の処理をカメラＣ１Ａ，…のそれぞれが実行し、ステップＳｔ１０７、ステップＳｔ２０７、およびステップＳｔ３０１～ステップＳｔ３０３の処理を外部サーバＳ２が実行し、ステップＳｔ４００～ステップＳｔ４０５の処理をサーバＳ１Ａが実行する。
　以上により、実施の形態１に変形例２における不審者検出システム１００Ｂは、学習済みＡＩモデルを用いた犯罪指標（スコア）の算出処理を外部サーバＳ２に実行させることで、複数のカメラＣ１Ａ，…のそれぞれの犯罪指標（スコア）の算出処理に基づく処理負荷を低減できる。
　以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、人工知能とミリ波レーダ１７（レーダの一例）とを備え、人物を撮像する少なくとも１台のカメラＣ１，…，Ｃ１Ａ，…と、カメラＣ１，…，Ｃ１Ａ，…と通信可能なサーバＳ１と、を備える。カメラＣ１，…，Ｃ１Ａ，…は、ミリ波レーダ１７によって照射され、レーダ照射方向に存在する物体（例えば、人物、建物の壁等）から反射した信号（電波）を受信し、その信号に含まれる人物のバイタル情報を抽出し、人工知能を用いて、人物を撮像した撮像画像から人物の動作情報を取得し、人物のバイタル情報および動作情報に基づいて、人物の不審者らしさを示す犯罪指標（指標の一例）を算出し、犯罪指標が第３の閾値（閾値の一例）以上であると判定した場合、人物のバイタル情報と動作情報とを紐付けた人物に関する人物情報をサーバＳ１に送信する。サーバＳ１は、カメラＣ１，…，Ｃ１Ａ，…から送信された各種データ（人物情報の一例）に基づいて、不審者を検知した旨のアラーム通知（アラームの一例）を出力する。なお、ここでいうコンピュータは、例えば、カメラＣ１，…，Ｃ１Ａ，…である。
　これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、人物のバイタル情報および動作情報に基づいて、人物の感情（例えば、緊張状態、ストレス状態、興奮状態等）と、人物の動作とに基づいて、犯罪を実行する確率を示す犯罪指標（スコア）を算出できる。さらに、不審者検出システム１００，１００Ａは、算出された犯罪指標（スコア）に基づいて、カメラの画角内にいる人物が犯罪を実行しそうな不審者であると判定した場合には、ユーザに不審者を検知した旨のアラームを通知できる。したがって、不審者検出システム１００，１００Ａは、犯罪の予兆が見られる不審者をより効率的に検知し、犯罪発生の未然抑制を効率的に支援できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるカメラＣ１，…，Ｃ１Ａ，…は、人工知能を用いて、バイタル情報に基づく人物の感情指標を算出し、動作情報に基づいて、人物の行動解析結果（行動解析情報の一例）の取得を実行し、感情指標と行動解析情報とに基づいて、犯罪指標（スコア）を算出する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、人物の感情指標、行動解析結果に基づいて、人物の感情指標（例えば、緊張状態、ストレス状態、興奮状態、攻撃性等の感情）と、人物の動作情報とに基づいて、犯罪を実行する確率を示す犯罪指標（スコア）を算出できる。したがって、不審者検出システム１００，１００Ａは、犯罪の予兆が見られる不審者を、人物の感情指標と人物の動作情報とを用いて算出された犯罪指標（スコア）に基づいてより効率的に検知し、犯罪発生の未然抑制を効率的に支援できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるカメラＣ１，…，Ｃ１Ａ，…は、信号（電波）に基づいて、人物の第１の位置情報を取得し、第１の位置情報に基づいて、人物のバイタル情報を時系列に並べた第１の時系列データを生成し、撮像画像に映る人物の位置に基づいて、人物の第２の位置情報を取得し、第２の位置情報に基づいて、人物の動作情報を時系列に並べた第２の時系列データを生成し、第１の時系列データに基づいて、感情指標を算出し、第２の時系列データに基づいて、姿勢の安定性、目線の変化量等の行動解析処理を実行して行動解析情報を取得する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、人物の位置情報の変化に基づいて、取得されたバイタル情報を時系列に並べた第１の時系列データと、動作情報のそれぞれを時系列に並べた第２の時系列データとをそれぞれ生成できる。したがって、不審者検出システム１００，１００Ａは、生成された第１の時系列データおよび第２の時系列データのそれぞれに基づいて、人物の感情変化に基づく感情指標を算出したり、体の動きあるいは行動等の動作変化に基づく行動解析処理を実行したりできる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるカメラＣ１，…，Ｃ１Ａ，…は、第１の時系列データが第１の所定時間（第１の閾値の一例）以上分存在している（つまり、第１の時系列データのデータ長が第１の閾値以上である）と判定した場合に人物の感情指標を算出する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、人物の感情変化に基づく感情指標の算出に必要な第１の時系列データを用いて、この人物の感情指標をより高精度に算出できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるカメラＣ１，…，Ｃ１Ａ，…は、第２の時系列データが第２の所定時間（第２の閾値の一例）以上分存在している（つまり、第２の時系列データのデータ長が第２の閾値以上である）判定した場合に人物の行動解析処理を実行して行動解析情報を取得する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、人物の体の動きあるいは行動に基づく行動解析処理に必要な第２の時系列データを用いて、この人物の行動解析処理をより高精度に実行できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるカメラＣ１，…，Ｃ１Ａ，…は、信号（電波）に基づいて、人物の第１の位置情報を取得し、撮像画像に映る人物の位置に基づいて、人物の第２の位置情報を取得し、第１の位置情報と第２の位置情報とを照合して、人物に対応するバイタル情報および動作情報に統合ＩＤ（同一の識別情報の一例）を付与する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、同一人物に関する情報であって、ミリ波レーダ１７を用いて取得されたバイタル情報と、撮像画像に基づいて取得された動作情報とを人物ごとに管理（記録）できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるカメラＣ１，…，Ｃ１Ａ，…は、人物の第２の位置情報と人物が撮像された撮像画像とをさらに含む人物情報をサーバＳ１に送信する。サーバＳ１は、第２の位置情報に基づいて、撮像画像上の人物に第１の枠線（枠線の一例）を重畳し、第１の枠線が重畳された撮像画像を含むアラーム画面ＳＣ１，ＳＣ２（図８，図９参照）を生成して出力する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、不審者であると判定された人物が一目で把握可能なアラーム画面ＳＣ１，ＳＣ２を生成して出力（表示）できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるカメラＣ１，…，Ｃ１Ａ，…は、犯罪指標（スコア）が第３の閾値（閾値の一例）以上でない他の人物（つまり、不審者でないと判定された人物）の位置情報と犯罪指標（スコア）が第３の閾値以上である人物（つまり、不審者であると判定された人物）の第２の位置情報と他の人物と人物とが撮像された撮像画像とをさらに含む各種データをサーバＳ１に送信する。サーバＳ１は、第２の位置情報に基づいて、撮像画像上の人物に第１の枠線（例えば、枠線ＦＲ１１，ＦＲ２１）を重畳し、他の人物の位置情報に基づいて、撮像画像上の他の人物に第２の枠線（例えば、枠線ＦＲ１２，ＦＲ１３，ＦＲ２２，ＦＲ２３）を重畳し、第１の枠線および第２の枠線が重畳された撮像画像を含むアラーム画面ＳＣ１，ＳＣ２を生成して出力する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、同一撮像画像上において、不審者であると判定された人物と、不審者でないと判定された他の人物とが一目で識別可能なアラーム画面ＳＣ１，ＳＣ２を生成して出力（表示）できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるサーバＳ１は、各種データに基づいて、事前に設定された通報先に通報する通報ボタンＢＴ１，ＢＴ２（図８，図９参照）をさらに含むアラーム画面ＳＣ１，ＳＣ２を生成して出力する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、ユーザによるより速やかな通報を支援できる。
　また、以上により、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００ＡにおけるサーバＳ１は、ユーザの操作により通報ボタンＢＴ１，ＢＴ２（図８，図９参照）が選択された場合に、撮像画像と各種データとを通報先に送信する。これにより、実施の形態１、および実施の形態１の変形例１に係る不審者検出システム１００，１００Ａは、ユーザによるより速やかな通報を支援できる。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２１年３月８日出願の日本特許出願（特願２０２１－０３６４２０）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、犯罪の予兆が見られる不審者をより効率的に検知し、犯罪発生の未然抑制を効率的に支援する不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラムとして有用である。
１０，２０　通信部
１１，２１　プロセッサ
１１Ａ，２１Ａ　ＡＩ処理部
１２，２２　メモリ
１３　イメージセンサ
１４　レンズ
１５　レンズ駆動部
１６　マイクロコントローラ
１７　ミリ波レーダ
２３　操作部
１００，１００Ａ，１００Ｂ　不審者検出システム
Ｃ１，Ｃ１Ａ　カメラ
ＤＢ１　学習モデルメモリ
ＤＢ２　データベース
ＭＮ　モニタ
Ｎ１　ニューラルネットワーク
ＮＷ　ネットワーク
Ｓ１，Ｓ１Ａ　サーバ
Ｓ２　外部サーバ
ＴＰ１　警備員端末

Claims (12)

  1. 　人工知能とレーダとを備え、人物を撮像する少なくとも１台のカメラと、
    　前記カメラと通信可能なサーバと、を備える不審者アラーム通知システムであって、
    　前記カメラは、
    　前記レーダによって照射され、前記レーダの照射方向に存在する物体に反射した信号を受信し、
    　前記信号から前記人物のバイタル情報を取得し、
    　前記人工知能を用いて、前記人物を撮像した撮像画像から前記人物の動作情報を取得し、
    　前記人物の前記バイタル情報および前記動作情報に基づいて、前記人物の不審者らしさを示す指標を算出し、
    　前記指標が閾値以上であると判定した場合、前記人物の前記バイタル情報と前記動作情報とを紐付けた前記人物に関する人物情報を前記サーバに送信し、
    　前記サーバは、
    　前記カメラから送信された前記人物情報に基づいて、不審者を検知した旨のアラームを出力する、
    　不審者アラーム通知システム。
  2. 　前記カメラは、
    　前記人工知能を用いて、前記バイタル情報に基づく前記人物の感情指標を算出し、
    　前記動作情報に基づいて、前記人物の行動解析処理を実行して行動解析情報を取得し、
    　前記感情指標と前記行動解析情報とに基づいて、前記指標を算出する、
    　請求項１に記載の不審者アラーム通知システム。
  3. 　前記カメラは、
    　前記信号に基づいて、前記人物の第１の位置情報を取得し、
    　前記第１の位置情報に基づいて、前記人物の前記バイタル情報を時系列に並べた第１の時系列データを生成し、
    　前記撮像画像に映る前記人物の位置に基づいて、前記人物の第２の位置情報を取得し、
    　前記第２の位置情報に基づいて、前記人物の前記動作情報を時系列に並べた第２の時系列データを生成し、
    　前記第１の時系列データに基づいて、前記感情指標を算出し、
    　前記第２の時系列データに基づいて、前記行動解析処理を実行して前記行動解析情報を取得する、
    　請求項２に記載の不審者アラーム通知システム。
  4. 　前記カメラは、
    　前記第１の時系列データが第１の所定時間以上分存在していると判定した場合に前記人物の前記感情指標を算出する、
    　請求項３に記載の不審者アラーム通知システム。
  5. 　前記カメラは、
    　前記第２の時系列データが第２の所定時間以上分存在している判定した場合に前記人物の前記行動解析情報の取得を実行する、
    　請求項３に記載の不審者アラーム通知システム。
  6. 　前記カメラは、
    　前記信号に基づいて、前記人物の第１の位置情報を取得し、
    　前記撮像画像に映る前記人物の位置に基づいて、前記人物の第２の位置情報を取得し、
    　前記第１の位置情報と前記第２の位置情報とを照合して、前記人物に対応する前記バイタル情報および前記動作情報に同一の識別情報を付与する、
    　請求項１に記載の不審者アラーム通知システム。
  7. 　前記カメラは、
    　前記人物の前記第２の位置情報と前記人物が撮像された前記撮像画像とをさらに含む前記人物情報を前記サーバに送信し、
    　前記サーバは、
    　前記第２の位置情報に基づいて、前記撮像画像上の前記人物に枠線を重畳し、
    　前記枠線が重畳された撮像画像を含むアラーム画面を生成して出力する、
    　請求項６に記載の不審者アラーム通知システム。
  8. 　前記カメラは、
    　前記指標が閾値以上でない他の人物の位置情報と前記指標が閾値以上である前記人物の前記第２の位置情報と前記他の人物と前記人物とが撮像された前記撮像画像とをさらに含む前記人物情報を前記サーバに送信し、
    　前記サーバは、
    　前記第２の位置情報に基づいて、前記撮像画像上の前記人物に第１の枠線を重畳し、
    　前記他の人物の位置情報に基づいて、前記撮像画像上の前記他の人物に第２の枠線を重畳し、
    　前記第１の枠線および前記第２の枠線が重畳された撮像画像を含むアラーム画面を生成して出力する、
    　請求項６に記載の不審者アラーム通知システム。
  9. 　前記サーバは、
    　前記人物情報に基づいて、事前に設定された通報先に通報する通報ボタンをさらに含むアラーム画面を生成して出力する、
    　請求項１に記載の不審者アラーム通知システム。
  10. 　前記サーバは、
    　ユーザの操作により前記通報ボタンが選択された場合に、前記撮像画像と前記人物情報とを前記通報先に送信する、
    　請求項９に記載の不審者アラーム通知システム。
  11. 　不審者が検知された旨のアラームを出力するサーバとの間で通信可能に接続されたコンピュータが行う不審者アラーム通知方法であって、
    　レーダによって照射され、前記レーダの照射方向に存在する物体により反射した信号を受信し、
    　前記信号から人物のバイタル情報を取得し、
    　人工知能を用いて、前記人物を撮像した撮像画像から前記人物の動作情報を取得し、
    　前記人物の前記バイタル情報および前記動作情報に基づいて、前記人物の不審者らしさを示す指標を算出し、
    　前記指標が閾値以上であると判定した場合、前記人物の前記バイタル情報と前記動作情報とを紐付けた前記人物に関する人物情報に基づいて、不審者を検知した旨のアラームを出力する、
    　不審者アラーム通知方法。
  12. 　不審者が検知された旨のアラームを出力するサーバとの間で通信可能に接続され、人工知能とレーダとを備えたコンピュータである少なくとも１台のカメラに、
    　前記レーダによって照射され、前記レーダの照射方向に存在する物体により反射した信号を受信するステップと、
    　前記信号から人物のバイタル情報を取得するステップと、
    　前記人工知能を用いて、前記人物を撮像した撮像画像から前記人物の動作情報を取得するステップと、
    　前記人物の前記バイタル情報および前記動作情報に基づいて、前記人物の不審者らしさを示す指標を算出するステップと、
    　前記指標が閾値以上であると判定した場合、前記人物の前記バイタル情報と前記動作情報とを紐付けた前記人物に関する人物情報を前記サーバに送信するステップと、を実現させるための、
    　不審者アラーム通知プログラム。
PCT/JP2022/003447 2021-03-08 2022-01-28 不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム WO2022190701A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023505200A JPWO2022190701A1 (ja) 2021-03-08 2022-01-28
US18/242,908 US20230410519A1 (en) 2021-03-08 2023-09-06 Suspicious person alarm notification system and suspicious person alarm notification method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021036420 2021-03-08
JP2021-036420 2021-03-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/242,908 Continuation US20230410519A1 (en) 2021-03-08 2023-09-06 Suspicious person alarm notification system and suspicious person alarm notification method

Publications (1)

Publication Number Publication Date
WO2022190701A1 true WO2022190701A1 (ja) 2022-09-15

Family

ID=83226642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003447 WO2022190701A1 (ja) 2021-03-08 2022-01-28 不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム

Country Status (3)

Country Link
US (1) US20230410519A1 (ja)
JP (1) JPWO2022190701A1 (ja)
WO (1) WO2022190701A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095396A1 (ja) * 2022-11-02 2024-05-10 三菱電機株式会社 不審者検出装置および不審者検出方法
WO2024201859A1 (ja) * 2023-03-30 2024-10-03 日本電気株式会社 不審者検知装置、不審者検知方法、および記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2015187869A (ja) * 2013-12-02 2015-10-29 Ｌｙｋａｏｎ株式会社 防犯システム
JP2017225108A (ja) * 2016-06-08 2017-12-21 株式会社コンピュータシステム研究所 監視システム、監視プログラム、および、記憶媒体
CN111481184A (zh) * 2020-04-24 2020-08-04 华侨大学 基于毫米波雷达技术的多目标呼吸心率监测方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2015187869A (ja) * 2013-12-02 2015-10-29 Ｌｙｋａｏｎ株式会社 防犯システム
JP2017225108A (ja) * 2016-06-08 2017-12-21 株式会社コンピュータシステム研究所 監視システム、監視プログラム、および、記憶媒体
CN111481184A (zh) * 2020-04-24 2020-08-04 华侨大学 基于毫米波雷达技术的多目标呼吸心率监测方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095396A1 (ja) * 2022-11-02 2024-05-10 三菱電機株式会社 不審者検出装置および不審者検出方法
WO2024201859A1 (ja) * 2023-03-30 2024-10-03 日本電気株式会社 不審者検知装置、不審者検知方法、および記録媒体

Also Published As

Publication number Publication date
US20230410519A1 (en) 2023-12-21
JPWO2022190701A1 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
WO2022190701A1 (ja) 不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム
KR101133924B1 (ko) 행동패턴 데이터베이스를 이용한 능동형 영상감시 시스템 및 그 방법
US10049288B2 (en) Managed notification system
WO2016147770A1 (ja) 監視システム及び監視方法
WO2018116488A1 (ja) 解析サーバ、監視システム、監視方法及びプログラム
US20210196169A1 (en) Methods and System for Monitoring and Assessing Employee Moods
US20100124357A1 (en) System and method for model based people counting
US11631306B2 (en) Methods and system for monitoring an environment
JP2013131153A (ja) 自律型防犯警戒システム及び自律型防犯警戒方法
US10635908B2 (en) Image processing system and image processing method
US11921831B2 (en) Enrollment system with continuous learning and confirmation
CN108200405A (zh) 一种基于人脸识别的视频监控系统
US20210364356A1 (en) System and method for using artificial intelligence to enable elevated temperature detection of persons using commodity-based thermal cameras
US10692364B1 (en) Security systems integration
JP7145622B2 (ja) 情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラム
JP5718632B2 (ja) 部位認識装置、部位認識方法、及び部位認識プログラム
WO2022013738A1 (en) Worker health and safety system and method
JP5143780B2 (ja) 監視装置及び監視方法
US11727568B2 (en) Rapid illness screening of a population using computer vision and multispectral data
US20100169169A1 (en) System and method for using transaction statistics to facilitate checkout variance investigation
CN112330742A (zh) 公共区域重点人员活动路线记录方法及装置
JP7210163B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2012049774A (ja) 映像監視装置
WO2022059223A1 (ja) 映像解析システムおよび映像解析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766668

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023505200

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22766668

Country of ref document: EP

Kind code of ref document: A1