WO2019194091A1 - 侵入検知システムおよび侵入検知方法 - Google Patents

侵入検知システムおよび侵入検知方法 Download PDF

Info

Publication number
WO2019194091A1
WO2019194091A1 PCT/JP2019/013978 JP2019013978W WO2019194091A1 WO 2019194091 A1 WO2019194091 A1 WO 2019194091A1 JP 2019013978 W JP2019013978 W JP 2019013978W WO 2019194091 A1 WO2019194091 A1 WO 2019194091A1
Authority
WO
WIPO (PCT)
Prior art keywords
millimeter wave
data
area
intrusion detection
image data
Prior art date
Application number
PCT/JP2019/013978
Other languages
English (en)
French (fr)
Inventor
安木　慎
洋児 横山
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US17/044,124 priority Critical patent/US20210096239A1/en
Priority to CN201980023809.7A priority patent/CN111937049A/zh
Publication of WO2019194091A1 publication Critical patent/WO2019194091A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10—Providing two-dimensional and co-ordinated display of distance and direction

Definitions

  • This disclosure relates to an intrusion detection system and an intrusion detection method.
  • a photographing device (monitoring camera) photographs a road such as an expressway, detects a subject appearing in the photographed image, and a plurality of predetermined intrusions of the detected subject into a predetermined area are determined.
  • a method for detecting that a subject has entered a predetermined area when any of the intrusion patterns is applicable is disclosed.
  • the accuracy of the intrusion detection is easily affected by the distance to the person to be detected, the sunlight fluctuations in the location where the intrusion detection is performed, the weather, etc. Sufficient detection accuracy may not be guaranteed.
  • the non-limiting example of the present disclosure contributes to the provision of an intrusion detection system and an intrusion detection method for performing intrusion detection with high accuracy by fusing two sensor devices, a camera and a radar.
  • An intrusion detection system includes a camera that captures a monitoring area and generates image data, a millimeter wave radar that scans a scanning area included in the monitoring area and generates millimeter wave data,
  • An intrusion detection system comprising: an information processing server that is connected to the camera and the millimeter wave radar and acquires the image data and the millimeter wave data; And a data synchronization unit that synchronizes the image data and the millimeter wave data so that a difference between the timing at which the millimeter wave data is generated is a predetermined value or less, and the scanning area based on the millimeter wave data
  • a determination unit that determines whether there is an object that enters the detection area included in the image, and the synchronized image data and the millimeter wave data.
  • a screen generation unit that generates a monitoring screen showing the determination result by the determination unit.
  • An intrusion detection method captures a monitoring area, acquires generated image data from a camera, scans a scanning area included in the monitoring area, and converts the generated millimeter wave data into millimeters. Obtained from the wave radar, the image data and the millimeter wave data are synchronized so that the difference between the timing at which the image data is generated and the timing at which the millimeter wave data is generated is a predetermined value or less, Based on the millimeter wave data, it is determined whether there is an object that enters the detection area included in the scanning area, and the image data and the millimeter wave data that are synchronized are associated with each other and determined Generate a monitoring screen showing the results.
  • it contributes to the provision of an intrusion detection system and an intrusion detection method for performing intrusion detection with high accuracy by fusing two sensor devices, a camera and a radar.
  • the figure which shows an example of a structure of the intrusion detection system which concerns on one embodiment of this indication The figure which shows an example of a structure of the information processing server which concerns on one embodiment of this indication 7 is a flowchart illustrating an example of processing of the information processing server according to an embodiment of the present disclosure.
  • the figure which shows the example of the display screen at the time of setting mode in one embodiment of this indication The figure which shows an example of the screen displayed on each area
  • FIG. 1 is a diagram illustrating an example of a configuration of an intrusion detection system 1 according to the present embodiment.
  • the intrusion detection system 1 includes a plurality of cameras 2, a plurality of millimeter wave radars 3, an information processing server (control device) 4, and a remote monitoring PC (Personal Computer) 5.
  • an intrusion detection system that detects an intrusion of a person into a predetermined area set on a road on which vehicles, pedestrians, and the like pass will be described as an example.
  • the place where the intrusion is detected is not limited to the road, and may be a parking lot, a railroad crossing, a station platform, a public facility, a factory, a port, an airport, a riverbed, and the like.
  • the target for detecting intrusion is not limited to a person, and may be a vehicle, a ship, an aircraft, an animal, or the like.
  • the point which performs intrusion detection may be suitably described as a monitoring point.
  • the camera 2 and the millimeter wave radar 3 are connected to the information processing server 4 via the network N1.
  • the network N1 may be a wireless network, a wired network, or a network including wireless and wired.
  • the information processing server 4 is connected to the remote monitoring PC 5 via the network N2.
  • the network N2 may be a wireless network, a wired network, or a network including wireless and wired.
  • the camera 2 is provided, for example, above a structure around the road (for example, a pole on which a road sign is installed).
  • the camera 2 captures an area around the road including the road. Note that an area around the road including the road that is the shooting range of the camera 2 may be described as a monitoring area.
  • the camera 2 generates captured image data (image data), and transmits the captured image data to the information processing server 4.
  • the transmitted image data includes time information indicating the timing (for example, time) at which the image data is generated.
  • the time indicated by the time information may be a time when the camera 2 has taken an image.
  • the camera 2 may transmit image data to the information processing server 4 in units of frames, for example.
  • the image taken by the camera 2 may be described as a camera image.
  • a coordinate system that defines the horizontal direction and the vertical direction of a camera image may be described as a camera coordinate system.
  • the camera coordinate system is defined based on, for example, the installation position of the camera 2, the orientation of the camera 2, and the angle of view of the camera.
  • the millimeter wave radar 3 is provided, for example, above a structure around the road.
  • the millimeter wave radar 3 transmits a millimeter wave band radar signal to the periphery of the road, and receives a reflection signal of the radar signal reflected by an object around the road.
  • the millimeter wave radar 3 scans around the road by sequentially transmitting radar signals in a plurality of directions. A range in which the millimeter wave radar 3 scans the radar signal may be described as a scanning area.
  • the millimeter wave radar 3 is, for example, at least one of the time between the time when the radar signal is transmitted and the time when the reflected signal is received, the direction in which the radar signal is transmitted, the reception intensity of the reflected signal, and the Doppler frequency of the reflected signal.
  • the millimeter wave data is generated based on the information.
  • the millimeter wave data includes, for example, information indicating an object around the road that reflects the radar signal (hereinafter referred to as a reflector).
  • the millimeter wave data is data including a set of points (hereinafter referred to as reflection points) indicating the positions of the reflecting objects in the coordinate system defined based on the position of the millimeter wave radar 3.
  • the coordinate system defined based on the position of the millimeter wave radar 3 is, for example, a polar coordinate system based on a distance from the position of the millimeter wave radar 3 and an azimuth angle scanned by the millimeter wave radar 3.
  • the coordinate system defined based on the position of the millimeter wave radar 3 may be described as a millimeter wave radar coordinate system.
  • the millimeter wave radar coordinate system is defined based on, for example, the installation position of the millimeter wave radar 3, the direction of the millimeter wave radar 3, and the scanning area (detection range) of the millimeter wave radar 3.
  • the number of reflection points is not limited to one for one reflector.
  • one reflector may be represented by a plurality of reflection points.
  • a reflector and a vehicle and a pedestrian moving around the road and a structure (a road sign, a signal, etc.) provided around the road are described as a stationary object.
  • the millimeter wave data may include a reflection point indicating the position of the moving object and a reflection point indicating the position of the stationary object.
  • Millimeter wave radar 3 transmits millimeter wave data to information processing server 4.
  • the transmitted millimeter wave data includes time information indicating the timing (for example, time) at which the millimeter wave data is generated.
  • the time indicated by the time information may be a time when a radar signal for generating millimeter wave data is transmitted or a time when a radar signal is received. Further, the millimeter wave radar 3 may scan the scanning area at a set cycle and transmit the millimeter wave data to the information processing server 4.
  • the timing at which the camera 2 generates the image data and the timing at which the millimeter wave radar 3 generates the millimeter wave data may not coincide with each other, and may be at each timing. Further, the timing at which the camera 2 transmits image data and the timing at which the millimeter wave radar 3 transmits millimeter wave data may not coincide with each other, and may be at each timing. For example, the frequency at which the camera 2 generates image data is higher than the frequency at which the millimeter wave radar 3 generates millimeter wave data.
  • the camera 2 and the millimeter wave radar 3 may be installed in the same structure or may be installed in different structures.
  • the camera 2 and the millimeter wave radar 3 may be provided in the same housing or in separate housings.
  • the installation method, location, and relative positional relationship between the camera 2 and the millimeter wave radar 3 are not limited. Further, the positional relationship between the monitoring area of the camera 2 and the scanning area of the millimeter wave radar 3 is not limited. In an embodiment of the present disclosure, it is preferable that the monitoring area of the camera 2 is installed so that the scanning area of the millimeter wave radar 3 is included.
  • At least one camera 2 and at least one millimeter wave radar 3 are paired and provided at one monitoring point.
  • two or more cameras 2 may be provided at one monitoring point, or two or more millimeter wave radars 3 may be provided.
  • the information processing server 4 is connected to the camera 2 and the millimeter wave radar 3 provided at each of a plurality of monitoring points via the network N1.
  • the information processing server 4 acquires image data from the camera 2 and acquires millimeter wave data from the millimeter wave radar 3. And the information processing server 4 produces
  • the information processing server 4 transmits the generated monitoring screen data to the remote monitoring PC 5 via the network N2.
  • the information processing server 4 may receive instruction information including settings relating to intrusion detection and / or instructions relating to monitoring points from the remote monitoring PC 5. In this case, the information processing server 4 generates a monitoring screen based on the instruction information.
  • the remote monitoring PC 5 receives monitoring screen data from the information processing server 4 via the network N2.
  • the remote monitoring PC 5 processes the data on the monitoring screen and displays the monitoring screen on a display unit (not shown).
  • the remote monitoring PC 5 may receive a setting regarding intrusion detection and / or an instruction regarding a monitoring point from the user via, for example, an operation unit (not shown). In this case, the remote monitoring PC 5 may transmit to the information processing server 4 instruction information including settings relating to intrusion detection and / or instructions relating to target monitoring points for intrusion detection.
  • one remote monitoring PC 5 is shown, but a plurality of remote monitoring PCs 5 may be provided.
  • the network N1 and the network N2 are shown, but the network N1 and the network N2 may be the same network or different networks.
  • the information processing server 4 is connected to the camera 2 and the millimeter wave radar 3 via the network N1, the information processing server 4 connects the camera 2 and / or the millimeter wave radar 3 to the network N1. You may make a direct connection or a wireless connection without going through.
  • the remote monitoring PC 5 may be directly connected to the information processing server 4 via a wired connection or a wireless connection without going through the network N2.
  • the remote monitoring PC 5 is input. Instruction information indicating the monitoring point (or selected) is transmitted to the information processing server 4.
  • the information processing server 4 generates a monitoring screen regarding the road condition at the monitoring point indicated by the instruction information. Then, the information processing server 4 transmits the generated monitoring screen data to the remote monitoring PC 5 that is the transmission source of the instruction information.
  • FIG. 2 is a diagram illustrating an example of the configuration of the information processing server 4 according to the present embodiment.
  • the information processing server 4 includes a communication unit 41, a data synchronization unit 42, a data storage unit 43, a determination unit 44, a screen generation unit 45, and a mode setting unit 46.
  • the communication unit 41 is an interface for communication with the camera 2 and the millimeter wave radar 3 via the network N1.
  • the communication unit 41 is an interface for communication with the remote monitoring PC 5 via the network N2.
  • the data synchronization unit 42 acquires image data from the camera 2 via the communication unit 41. In addition, the data synchronization unit 42 acquires millimeter wave data from the millimeter wave radar 3 via the communication unit 41.
  • Data synchronization unit 42 synchronizes image data and millimeter wave data. For example, the data synchronization unit 42 adjusts the timing at which the image data is generated and the timing at which the millimeter wave data is generated based on the time information included in the image data and the time information included in the millimeter wave data.
  • the data synchronization unit 42 selects and selects millimeter wave data including time information indicating a time difference between the time indicated by the time information included in the image data and a time indicated by the time information included in the image data for a frame of image data.
  • the millimeter wave data thus made correspond to the image data of one frame.
  • the data synchronization unit 42 selects millimeter wave data including time information indicating the time closest to the time indicated by the time information included in the image data for one frame of image data, and selects the selected millimeter wave data. It may be associated with one frame of image data.
  • the data synchronization unit 42 converts one image data into two different millimeter wave data. Data may be synchronized so as to be associated. Alternatively, the data synchronization unit 42 may synchronize data so that one millimeter wave data is associated with two different image data. The data synchronization unit 42 associates image data and millimeter wave data in which the time indicated by each time information is included within a predetermined time.
  • the data synchronization unit 42 outputs the synchronized data to the data storage unit 43. Further, the data synchronization unit 42 outputs the synchronized data to the determination unit 44.
  • the data storage unit 43 stores the image data and the millimeter wave data, which are synchronized by the data synchronization unit 42, in association with each other.
  • image data and millimeter wave data are stored in time series based on time information.
  • the data storage unit 43 may store image data and millimeter wave data of each of a plurality of monitoring points.
  • the determination unit 44 acquires the synchronized image data (time adjusted) and millimeter wave data from the data synchronization unit 42. Further, the screen generation unit 45 may acquire instruction information including settings relating to intrusion detection and / or instructions relating to monitoring points from the remote monitoring PC 5 via the communication unit 41.
  • the determination unit 44 determines whether there is a person who enters the intrusion detection area included in the scanning area based on the acquired millimeter wave data.
  • the process in the determination unit 44 may be described as an intrusion detection process.
  • the intrusion detection area may be set, for example, by the monitoring user via the operation unit of the remote monitoring PC 5.
  • the remote monitoring PC 5 transmits instruction information including information indicating the intrusion detection area to the information processing server 4.
  • the intrusion detection area may be set in advance for the monitoring point, for example.
  • the determination unit 44 performs signal processing (for example, clustering processing) on the millimeter wave data of the millimeter wave radar 3 provided at the monitoring point, and estimates a region corresponding to the reflecting object. And the determination part 44 determines whether the area
  • signal processing for example, clustering processing
  • the determination unit 44 does not use only the presence / absence of a person in the intrusion detection area as a determination result, but the positional relationship between the intrusion detection area and the reflector for each detection determination of the reflector (for example, a person).
  • the reliability may be calculated based on the above and a determination result including the calculated reliability may be output.
  • the reliability may be a value indicating the distance between the intrusion detection area and the reflector, or may be a value based on the distance between the intrusion detection area and the reflector and the moving speed of the reflector.
  • the reliability may be an index indicating the possibility of entering the intrusion detection area.
  • the determination unit 44 outputs the image data and the millimeter wave data acquired from the data synchronization unit 42 to the screen generation unit 45.
  • the determination unit 44 outputs information indicating the determination result to the screen generation unit 45. Further, the determination unit 44 outputs information indicating the determination result to the data storage unit 43.
  • the determination unit 44 may perform signal processing according to the mode instructed by the mode setting unit 46 and generate determination processing according to the mode.
  • the data storage unit 43 stores the information indicating the determination result in association with the image data and the millimeter wave data.
  • image data, millimeter wave data, and information indicating the determination result are stored in time series.
  • the information indicating the determination result corresponds to history information indicating the history of the person who has entered the intrusion detection area.
  • the data storage unit 43 may store image data, millimeter wave data, and information indicating the determination result for each of a plurality of monitoring points.
  • the screen generation unit 45 acquires the synchronized image data (time adjusted) and millimeter wave data from the determination unit 44.
  • the screen generation unit 45 acquires information indicating the determination result from the determination unit 44. Further, the screen generation unit 45 may acquire instruction information including settings relating to intrusion detection and / or instructions relating to monitoring points from the remote monitoring PC 5 via the communication unit 41.
  • the screen generation unit 45 generates a monitoring screen indicating the determination result by associating the synchronized image data (time adjusted) with the millimeter wave data.
  • the screen generation unit 45 may perform a coordinate conversion process for converting millimeter wave data information defined by the millimeter wave radar coordinate system into a camera coordinate system.
  • the screen generation unit 45 superimposes the millimeter wave data after the coordinate conversion on the camera image indicated by the image data.
  • the screen generation unit 45 superimposes information indicating the determination result on the camera image indicated by the image data.
  • the screen generation unit 45 superimposes a frame indicating a person who enters the intrusion detection area on the camera image.
  • the screen generation unit 45 corresponds to each of the reflection objects when an area corresponding to the reflection object (for example, a person) is included.
  • a frame indicating a region may be superimposed on the camera image.
  • the screen generation unit 45 may superimpose information corresponding to the reliability on the camera image when the determination result includes the reliability.
  • the screen generation unit 45 changes the display mode of the frame indicating the position of the person in the scanning area including the frame of the person who enters the intrusion detection area in a stepwise manner in accordance with the reliability value. It may be superimposed on the image.
  • information for example, a frame indicating the position of the person
  • indicating the person who enters the intrusion detection area is displayed on the monitoring screen in accordance with the reliability of the persons around the intrusion detection area.
  • the screen generation unit 45 may superimpose information indicating the determination result on the zenith map of the monitoring point, and generate zenith map data including the determination result.
  • the screen generation unit 45 may perform coordinate conversion processing for converting the information of the millimeter wave data defined by the millimeter wave radar coordinate system (information indicating the determination result) into the coordinate system defining the zenith map.
  • the zenith diagram is a diagram simulating an area including the monitoring area from above. The data of the zenith map is determined in advance for each monitoring point, for example, and stored in the data storage unit 43.
  • the screen generation unit 45 performs signal processing according to the mode instructed by the mode setting unit 46, and generates a monitoring screen according to the mode.
  • the screen generation unit 45 transmits the generated monitoring screen data to the remote monitoring PC 5.
  • the screen generation unit 45 may transmit the zenith data to the remote monitoring PC 5.
  • the mode setting unit 46 acquires instruction information via the communication unit 41.
  • the mode setting unit 46 instructs the setting mode related to the monitoring screen included in the instruction information to the determination unit 44 and the screen generation unit 45.
  • the intrusion detection system may have a configuration including a plurality of information processing servers that share and execute processing performed by the information processing server 4 described above.
  • the processing performed by the information processing server 4 is shared by a plurality of information processing servers, and the plurality of information processing servers is communicated via a communication medium such as an IP (Internet Protocol) network and / or a LAN (Local Area Network).
  • Information for example, millimeter wave data, image data, and / or determination result information
  • an information processing server dedicated to data storage corresponding to the data storage unit 43 may be provided.
  • the intrusion detection system may include a cloud computer that performs at least a part of the processing performed by the information processing server 4.
  • a process having a large calculation amount for example, a determination process by the determination unit 44 is performed by a cloud computer capable of high-speed processing, and the remaining processes are performed by other information processing servers. You may employ
  • FIG. 3 is a flowchart showing an example of processing executed in the information processing server 4 according to the present embodiment.
  • the flowchart shown in FIG. 3 shows the process with respect to the data acquired from the camera 2 and the millimeter wave radar 3 provided in one monitoring point.
  • the information processing server 4 may perform the processing shown in FIG. 3 in parallel on the data acquired from the camera 2 and the millimeter wave radar 3 provided at each monitoring point.
  • the data synchronization unit 42 acquires image data from the camera 2 (S101).
  • the data synchronizer 42 acquires millimeter wave data from the millimeter wave radar 3 (S102).
  • S101 and S102 are not limited to this.
  • the process of S101 is executed every time the camera 2 transmits image data
  • the process of S102 is executed every time the millimeter wave radar 3 transmits millimeter wave data.
  • the data synchronization unit 42 performs data synchronization processing for synchronizing image data and millimeter wave data (S103).
  • the data synchronization unit 42 performs a data accumulation process for accumulating the synchronized data in the data accumulation unit 43 (S104).
  • the determination unit 44 performs clustering processing on the millimeter wave data (S105).
  • the clustering process is a process for grouping a plurality of reflection points corresponding to one reflector included in the millimeter wave data.
  • information about the reflecting object such as the size, shape, and color of the reflecting object may be acquired.
  • a region including a group of a plurality of reflection points corresponding to one reflector after the clustering process is referred to as a reflection region.
  • the determination unit 44 may use millimeter wave data stored in the data storage unit 43 before the current time.
  • the determination unit 44 processes the millimeter wave data in time series using the millimeter wave data before the current time, for example, to distinguish between the reflection point corresponding to the moving object and the reflection point corresponding to the stationary object. Good.
  • the determination unit 44 performs intrusion detection processing (S106).
  • the determination unit 44 may receive a command from the mode setting unit 46 and perform processing according to the mode.
  • the screen generation unit 45 performs processing for generating an intrusion detection monitoring screen (S107). Then, the screen generation unit 45 associates the image data with the millimeter wave data, and generates monitoring screen data indicating the determination result by the determination unit 44.
  • the screen generation unit 45 performs a process of superimposing the millimeter wave data on the camera image indicated by the image data.
  • the screen generation unit 45 may perform coordinate conversion of information indicating the determination result so that the camera coordinate system and the millimeter wave radar coordinate system are aligned.
  • the screen generation part 45 superimposes the information (For example, the frame surrounding the invading person) which identifies the person who invades into an intrusion detection area as an example of the information which shows a determination result, for example.
  • the screen generation unit 45 performs a process of transmitting the generated monitoring screen data (S108).
  • the setting mode is a mode in which a user who performs monitoring performs settings.
  • FIG. 4 is a diagram showing an example of a display screen in the setting mode in the present embodiment.
  • an “intrusion detection” button, a “confirm previous intrusion detection information” button, and a “setting” button are shown.
  • 4 is a screen displayed on the display unit of the remote monitoring PC 5 in the setting mode, and is displayed with the setting button being pressed.
  • a region V1 of “intrusion detection area camera screen” is displayed.
  • the three areas of the "intrusion detection area zenith map” area V2 and the "radar information screen” area V3 are shown.
  • the area V1 of the “intrusion detection area camera screen” indicates an area for displaying a camera image.
  • the remote monitoring PC 5 displays a camera image in the area V1 of the “intrusion detection area camera screen” based on the image data.
  • the area V2 of the “intrusion detection area zenith map” indicates an area in which the zenith map generated by the information processing server 4 is displayed.
  • the remote monitoring PC 5 displays the zenith map in the area V2 of the “intrusion detection area zenith map” based on the zenith map data.
  • the user sets an intrusion detection area via the operation unit of the remote monitoring PC 5. For example, the user selects a partial area of the zenith map by operating the mouse, and sets the selected area as an intrusion detection area.
  • the user may set an area (intrusion detection area filter) where intrusion detection is not performed.
  • Information on the set intrusion detection area (or intrusion detection area filter) is included in the instruction information and transmitted to the information processing server 4.
  • the area V3 of the “radar information screen” indicates an area for displaying the millimeter wave data acquired from the information processing server 4. Based on the millimeter wave data, the remote monitoring PC 5 uses a position of the millimeter wave radar 3 as a reference and forms a sector coordinate system defined by the distance from the millimeter wave radar 3 and the azimuth direction scanned by the millimeter wave radar 3. A screen in which reflection points are scattered is displayed in a region V3 of the “radar information screen”.
  • the information processing server 4 When the information processing server 4 acquires the instruction information indicating the “setting mode” from the remote monitoring PC 5, the information processing server 4 transmits the synchronized image data and millimeter wave data to the remote monitoring PC 5. Further, the information processing server 4 transmits the zenith map data stored in advance in the data storage unit 43 to the remote monitoring PC 5. The remote monitoring PC 5 performs display in each area of the display unit based on the received data.
  • Information on the intrusion detection area set by the user is included in the instruction information and transmitted to the information processing server 4.
  • the determination unit 44 of the information processing server 4 sets an intrusion detection area in the millimeter wave radar coordinate system based on information on the intrusion detection area.
  • the determination unit 44 may perform coordinate conversion for converting the intrusion detection area in the zenith map into the intrusion detection area in the millimeter wave radar coordinate system.
  • the correspondence between the coordinate system defining the zenith map and the millimeter wave radar coordinate system is known.
  • the determination unit 44 may convert the intrusion detection area in the zenith map into the intrusion detection area in the millimeter wave radar coordinate system based on the known correspondence.
  • FIG. 5 is a diagram showing an example of a screen displayed in each area shown in FIG.
  • a camera image is displayed in the area V1.
  • a zenith map is displayed in the region V2.
  • Radar information is displayed in the region V3.
  • the position of the camera 2 is “C”
  • the position of the millimeter wave radar 3 is “R”.
  • an auxiliary line indicating the monitoring area of the camera 2 and an auxiliary line indicating the scanning area of the millimeter wave radar 3 are shown.
  • the user refers to the auxiliary line and sets the intrusion detection area D in an area included in both the monitoring area and the scanning area.
  • the intrusion detection mode is a mode for detecting a person who enters the intrusion detection area set by the setting mode.
  • FIG. 6 is a diagram illustrating an example of a display screen in the intrusion detection mode according to the present embodiment.
  • FIG. 6 is a screen displayed on the display unit of the remote monitoring PC 5 in the intrusion detection mode, the screen is displayed in a state where the intrusion detection button is pressed.
  • FIG. 6 there are four areas: an area V1 of “intrusion detection area camera screen”, an area V2 of “intrusion detection area zenith”, an area V4 of “intrusion detection log screen”, and an area V5 of “reporting screen”. Indicated.
  • the area V1 of the “intrusion detection area camera screen” indicates an area in which the monitoring screen generated by the information processing server 4 is displayed.
  • the remote monitoring PC 5 displays the monitoring screen in the area V1 of the “intrusion detection area camera screen” based on the monitoring screen data. On the monitoring screen, the determination result of the intrusion detection process based on the millimeter wave data is superimposed on the camera image.
  • the area V2 of the “intrusion detection area zenith map” indicates an area that is generated by the information processing server 4 and displays a zenith map including the determination result of the intrusion detection process.
  • the remote monitoring PC 5 displays the zenith map in the area V2 of the “intrusion detection area zenith map” based on the zenith map data including the determination result of the intrusion detection process.
  • the area V4 of the “intrusion detection log screen” indicates an area where log information of the intruder generated by the intrusion detection process generated by the information processing server 4 is displayed.
  • the area V5 of the “notification screen” indicates an area for displaying a warning when there is an intruder based on the determination result of the intrusion detection process.
  • the determination unit 44 executes an intrusion detection process for the set intrusion detection area. Then, the screen generation unit 45 transmits monitoring screen data obtained by superimposing information indicating the determination result of the intrusion detection process on the camera image, and zenith map data including information indicating the determination result of the intrusion detection process. Further, the screen generation unit 45 generates intruder log information based on the monitoring screen and transmits it to the remote monitoring PC 5.
  • the remote monitoring PC 5 performs display in each area of the display unit based on the received data.
  • FIG. 7 is a diagram showing an example of a screen displayed in each area shown in FIG.
  • a monitoring screen generated by the information processing server 4 is displayed.
  • a frame r1 indicating the position of the intruder and a frame r2 indicating the position of a person who is not an intruder (a person who has not entered the intrusion detection area) are shown.
  • the frames r1 and r2 are indicated by different display modes (for example, different colors).
  • the frame r1 indicating the position of the intruder and the frame r2 indicating the position of the person who is not the intruder may be displayed in a display mode corresponding to the reliability.
  • the color of the frame is white according to the reliability based on the distance between the intrusion detection area and the person.
  • the display of the frame is changed using a gradation effect so that the color gradually changes from red to red.
  • the display of the frame may be changed using a plurality of colors in the order of green, yellow, and red.
  • at least one of the thickness, type, color tone, brightness, and contrast of the frame line is changed, or the frame is blinked, and the blinking interval (time) is varied depending on the reliability. ) May be changed.
  • the frame r1 is determined when the intrusion detection process is executed in the determination unit 44.
  • the determination unit 44 uses the millimeter wave data to estimate a reflection point corresponding to the intruder.
  • the reflection point is a point in a two-dimensional coordinate system that defines the millimeter wave data.
  • the screen generation unit 45 calculates a point (hereinafter referred to as a camera image reflection point) corresponding to the reflection point in the camera coordinate system. For example, the screen generation unit 45 calculates the camera image reflection point using the camera installation position information of the camera 2.
  • the camera installation position information includes two-dimensional coordinates indicating the installation position of the camera 2 in the millimeter wave radar coordinate system and the installation direction of the camera 2.
  • the installation direction corresponds to the direction of the center of the camera image taken by the camera 2.
  • the screen generation unit 45 calculates the distance between the reflection point and the camera installation position, and calculates the direction of the reflection point with respect to the camera installation direction.
  • the X coordinate (horizontal position) of the camera image reflection point is the direction of the reflection point with respect to the installation direction of the camera 2 and a predetermined angle of view of the camera 2. And based on the information. Also, the Y coordinate (vertical direction) of the camera image reflection point is set at the center in the vertical direction of the camera image.
  • the X and Y coordinates of the camera image reflection point are the direction of the reflection point relative to the installation direction of the camera 2 and the installation of the camera 2. It is calculated based on the height of the position, the depression angle of the camera 2, and the angle of view of the camera 2.
  • the screen generation unit 45 determines a rectangular frame based on the camera image reflection point.
  • the width and height of the rectangle are set by enlarging or reducing the reference width and height in advance based on the distance between the camera image reflection point and the camera installation position.
  • the width and height of the reference rectangle are set to be enlarged or reduced in inverse proportion to the distance between the camera image reflection point and the camera installation position.
  • the screen generation unit 45 generates a monitoring screen by superimposing a rectangular frame having the set width and height around the camera image reflection point.
  • a zenith map is displayed.
  • a point P1 indicating the position of the intruder corresponding to the intruder indicated by the frame r1 of the area V1 and a locus L1 of the movement of the intruder are shown.
  • a point P2 indicating the position of a person who is not an intruder indicated by the frame r2 of the region V1 and a locus L2 of the movement of the person are shown.
  • the position P1 and the position P2 are indicated by, for example, different display modes (for example, different colors).
  • the locus L1 and the locus L2 are indicated by, for example, different display modes (for example, different colors).
  • log information of the intruder is displayed.
  • the log information of the intruder includes, for example, an image showing the intruder cut out from the frame r1 of the region V1.
  • the log information of the intruder includes the time when the intruder starts intrusion into the intrusion detection area and the time when the intruder leaves the intrusion detection area.
  • the intruder is given an identifier (ID) after detecting the intrusion.
  • ID identifier
  • notification information display and other notification devices may be linked, and further, linked to an external alarm system and / or a monitoring system. For example, it is possible to notify an external supervisor by distributing the notification information to the monitoring system for the entire security area.
  • the past intrusion detection information confirmation mode is a mode for confirming intruder information detected in the past.
  • FIG. 8 is a diagram showing an example of a display screen in the past intrusion detection information confirmation mode in the present embodiment.
  • FIG. 8 shows an “intrusion detection” button, a “past intrusion detection information confirmation” button, and a “setting” button. Since FIG. 8 is a screen displayed on the display unit of the remote monitoring PC 5 in the past intrusion detection information confirmation mode, the screen is displayed with the past intrusion detection information confirmation button pressed. In FIG. 8, there are four areas: an area V1 of “intrusion detection area camera screen”, an area V2 of “intrusion detection area zenith”, an area V4 of “intrusion detection log screen”, and an area V5 of “reporting screen”. Indicated.
  • the example of the display screen of FIG. 8 is the same as the example of the display screen shown in FIG. 6 except that the past intrusion detection information confirmation button is pressed, and detailed description thereof will be omitted.
  • the past intrusion detection information confirmation mode is different from the intrusion detection mode described in FIGS. 6 and 7 in the information displayed in the area V4 of the intrusion detection log screen.
  • this point will be described with reference to FIG.
  • FIG. 9 is a diagram showing an example of a screen displayed in each area shown in FIG.
  • log information of the intruder is displayed.
  • the log information of the intruder includes, for example, an image showing the intruder cut out from the frame r1 of the region V1.
  • the log information of the intruder includes the time when the intruder starts intrusion into the intrusion detection area and the time when the intruder leaves the intrusion detection area.
  • the intruder is given an identifier (ID) after detecting the intrusion.
  • ID identifier
  • log information of the intruder currently intruding into the intrusion detection area that is, the intruder log information indicated by the frame r1 of the area V1
  • log information of two intruders is shown.
  • the two intruders are assigned IDs “123-2” and “123-1,” respectively.
  • Two intruders are intruders detected in the past, as indicated by the detection time.
  • information on an intruder may be called when the user operates (for example, clicks) the display of the region V4. For example, when an intruder displayed in the region V4 is selected (clicked), a camera image while the selected intruder has entered the intrusion detection area is displayed in the region V1 or another region. Also good.
  • the setting for the intruder may be changed by the user operating (for example, clicking) the display of the region V4. For example, by selecting (clicking) an intruder displayed in the region V4, a setting (filter registration) that allows the selected intruder to enter the intrusion detection area may be performed. An intruder who is permitted to enter the intrusion detection area will not display information indicating that the intruder has been detected even if intrusion into the intrusion detection area is detected thereafter.
  • the menu may be displayed by selecting (clicking) an intruder displayed in the region V4.
  • the user may perform setting for permitting display and intrusion of the camera image in the displayed menu.
  • the information processing server 4 synchronizes (adjusts timing) the image data captured by the camera and the millimeter wave data acquired by the millimeter wave radar, and the millimeter wave data. Based on the above, an intrusion detection process for detecting the presence of an intruding object is performed. Then, the information processing server 4 according to the present embodiment associates the synchronized image data (adjusted timing) with the millimeter wave data, and generates a monitoring screen indicating the determination result of the intrusion detection process. According to the present embodiment, it is possible to perform intrusion detection with high accuracy by fusing two sensor devices, a camera and a radar.
  • camera images obtained from camera data can provide visually useful information to the monitoring user, and millimeter wave radar data cannot be obtained from the camera image for the monitoring user. Information can be provided. Therefore, in this embodiment, it is possible to perform intrusion detection with high accuracy by associating the result of intrusion detection obtained from the millimeter wave radar with the camera image.
  • This disclosure can be realized by software, hardware, or software linked with hardware.
  • Each functional block used in the description of the above embodiment is partially or entirely realized as an LSI that is an integrated circuit, and each process described in the above embodiment may be partially or entirely performed. It may be controlled by one LSI or a combination of LSIs.
  • the LSI may be composed of individual chips, or may be composed of one chip so as to include a part or all of the functional blocks.
  • the LSI may include data input and output.
  • An LSI may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit, a general-purpose processor, or a dedicated processor.
  • an FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present disclosure may be implemented as digital processing or analog processing.
  • the present disclosure can be implemented in all kinds of apparatuses, devices, and systems (collectively referred to as communication apparatuses) having a communication function.
  • communication devices include telephones (cell phones, smartphones, etc.), tablets, personal computers (PCs) (laptops, desktops, notebooks, etc.), cameras (digital still / video cameras, etc.) ), Digital players (digital audio / video players, etc.), wearable devices (wearable cameras, smart watches, tracking devices, etc.), game consoles, digital book readers, telehealth telemedicine (remote health) Care / medicine prescription) devices, vehicles with communication functions or mobile transportation (cars, airplanes, ships, etc.), and combinations of the various devices described above.
  • Communication devices are not limited to those that are portable or movable, but any kind of devices, devices, systems, such as smart home devices (home appliances, lighting equipment, smart meters or non-portable or fixed) Measurement equipment, control panels, etc.), vending machines, and any other “things” that may exist on the IoT (Internet of Things) network.
  • smart home devices home appliances, lighting equipment, smart meters or non-portable or fixed
  • Measurement equipment control panels, etc.
  • vending machines and any other “things” that may exist on the IoT (Internet of Things) network.
  • Communication includes data communication by a combination of these in addition to data communication by a cellular system, a wireless LAN system, a communication satellite system, and the like.
  • the communication apparatus also includes devices such as a controller and a sensor that are connected to or connected to a communication device that performs the communication function described in the present disclosure.
  • devices such as a controller and a sensor that are connected to or connected to a communication device that performs the communication function described in the present disclosure.
  • a controller or a sensor that generates a control signal or a data signal used by a communication device that executes a communication function of the communication apparatus is included.
  • the communication apparatus includes infrastructure equipment such as a base station, an access point, and any other apparatus, device, or system that communicates with or controls the various non-limiting apparatuses described above. .
  • the present disclosure can be expressed as a control method executed in a wireless communication device or a control device.
  • the present disclosure can be expressed as a program for operating such a control method by a computer.
  • the present disclosure can be expressed as a recording medium in which such a program is recorded in a state that can be read by a computer. That is, the present disclosure can be expressed in any category of an apparatus, a method, a program, and a recording medium.
  • the present disclosure is not limited to the above-described embodiment in terms of the type, arrangement, number, and the like of the members, and departs from the gist of the invention, such as appropriately replacing the constituent elements with those having the same operational effects. It can change suitably in the range which does not.
  • One embodiment of the present disclosure is suitable for detecting entry into a specific area.
  • Intrusion detection system 1 Intrusion detection system 2 Camera 3 Millimeter wave radar 4 Information processing server (control device) 5 Remote monitoring PC 41 Communication Unit 42 Data Synchronization Unit 43 Data Storage Unit 44 Determination Unit 45 Screen Generation Unit 46 Mode Setting Unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Burglar Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

カメラとレーダという２つのセンサデバイスを融合させ、精度の良い侵入検知を行う侵入検知システムおよび侵入検知方法の提供に資する。侵入検知システムは、監視エリアを撮影し、画像データを生成するカメラと、監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、カメラ及びミリ波レーダと接続し、画像データ及びミリ波データを取得する情報処理サーバと、を備える。情報処理サーバは、画像データが生成されたタイミングとミリ波データが生成されたタイミングとの差が一定値以下となるように画像データとミリ波データとの同期を図るデータ同期部と、ミリ波データに基づいて、走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定する判定部と、同期が図られた画像データとミリ波データとを対応づけて、判定部による判定結果を示す監視画面を生成する画面生成部と、を備える。

Description

侵入検知システムおよび侵入検知方法
　本開示は、侵入検知システムおよび侵入検知方法に関する。
　従来、高速道路または駅のホームといった場所において、セキュリティの観点から監視カメラを用いて、人物などの侵入禁止エリアへの侵入を検知する侵入検知システムの導入が検討されている。
　例えば、特許文献１には、撮影装置（監視カメラ）が高速道路などの道路を撮影し、撮影した画像に現れる被写体を検知し、検知した被写体の所定エリアへの侵入が、予め決められた複数の侵入パターンのいずれかに該当する場合、被写体が所定エリアへ侵入したと検知する方法が開示されている。
特許第６１８５７７９号公報
　しかしながら、監視カメラが撮影した画像を用いて侵入を検知する場合、侵入検知の精度が、検知対象となる人物までの距離、侵入検知を行う場所の日照変動および天候などの影響を受けやすいため、十分な検知精度が保障されないおそれがある。
　本開示の非限定的な実施例は、カメラとレーダという２つのセンサデバイスを融合させ、精度の良い侵入検知を行う侵入検知システムおよび侵入検知方法の提供に資する。
　本開示の一実施例に係る侵入検知システムは、監視エリアを撮影し、画像データを生成するカメラと、前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、を備える侵入検知システムであって、前記情報処理サーバは、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、前記ミリ波データに基づいて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定する判定部と、同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記判定部による判定結果を示す監視画面を生成する画面生成部と、を備える。
　本開示の一実施例に係る侵入検知方法は、監視エリアを撮影し、生成された画像データをカメラから取得し、前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、前記ミリ波データに基づいて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定し、同期が図られた前記画像データと前記ミリ波データとを対応づけて、判定結果を示す監視画面を生成する。
　なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一実施例によれば、カメラとレーダという２つのセンサデバイスを融合させ、精度の良い侵入検知を行う侵入検知システムおよび侵入検知方法の提供に資する。
　本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本開示の一実施の形態に係る侵入検知システムの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの処理の一例を示すフローチャート 本開示の一実施の形態における設定モード時の表示画面の例を示す図 図４にて示した各領域に表示される画面の一例を示す図 本開示の一実施の形態における侵入検知モード時の表示画面の例を示す図 図６にて示した各領域に表示される画面の一例を示す図 本開示の一実施の形態における過去侵入検知情報確認モード時の表示画面の例を示す図 図８にて示した各領域に表示される画面の一例を示す図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（一実施の形態）
　＜侵入検知システムの構成＞
　図１は、本実施の形態に係る侵入検知システム１の構成の一例を示す図である。侵入検知システム１は、複数のカメラ２と、複数のミリ波レーダ３と、情報処理サーバ（制御装置）４と、遠隔監視ＰＣ（Personal Computer）５と、を備える。本実施の形態では、車両、歩行者などが通行する道路に設定される所定エリアへの人の侵入を検知する侵入検知システムを一例に挙げて説明する。
　なお、侵入の検知を行う場所は、道路に限られず、例えば、駐車場、踏切、駅のホーム、公共施設、工場、港湾、空港、河川敷といった場所であってもよい。また、侵入を検知する対象は、人に限られず、車両、船、航空機、動物などであってもよい。また、以下では、侵入検知を行う地点は、適宜、監視地点と記載されてもよい。
　カメラ２およびミリ波レーダ３は、ネットワークＮ１を介して、情報処理サーバ４と接続する。ネットワークＮ１は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。
　情報処理サーバ４は、ネットワークＮ２を介して、遠隔監視ＰＣ５と接続する。ネットワークＮ２は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。
　カメラ２は、例えば、道路周辺の構造物（例えば、道路標識を設置するポール）の上方に設けられる。カメラ２は、道路を含む道路周辺のエリアを撮影する。なお、カメラ２の撮影範囲であって、道路を含む道路周辺のエリアを監視エリアと記載してもよい。
　カメラ２は、撮影した画像のデータ（画像データ）を生成し、撮影した画像データを情報処理サーバ４へ送信する。送信される画像データには、画像データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、カメラ２が撮影を行った時刻であってもよい。また、カメラ２は、例えば、フレーム単位で画像データを情報処理サーバ４へ送信してもよい。また、カメラ２によって撮影された画像は、カメラ画像と記載されてもよい。また、例えば、カメラ画像の横方向と縦方向を規定する座標系は、カメラ座標系と記載されてもよい。カメラ座標系は、例えば、カメラ２の設置位置、カメラ２の向きおよびカメラの画角に基づいて規定される。
　ミリ波レーダ３は、例えば、道路周辺の構造物の上方に設けられる。ミリ波レーダ３は、道路周辺に対してミリ波帯のレーダ信号を送信し、レーダ信号が道路周辺の物体によって反射した反射信号を受信する。なお、ミリ波レーダ３は、複数の方向へ、順次、レーダ信号を送信することによって、道路周辺を走査する。ミリ波レーダ３がレーダ信号を走査する範囲を走査エリアと記載してもよい。
　ミリ波レーダ３は、例えば、レーダ信号を送信した時刻と反射信号を受信した時刻との間の時間、レーダ信号を送信した方向、反射信号の受信強度、及び、反射信号のドップラー周波数の少なくとも１つの情報に基づいて、ミリ波データを生成する。
　ミリ波データは、例えば、レーダ信号を反射した道路周辺の物体（以下、反射物と記載）を示す情報を含む。例えば、ミリ波データは、ミリ波レーダ３の位置を基準に規定した座標系における、反射物の位置を示す点（以下、反射点と記載）の集合を含むデータである。ミリ波レーダ３の位置を基準に規定した座標系とは、例えば、ミリ波レーダ３の位置からの距離と、ミリ波レーダ３が走査する方位角とによる、極座標系である。なお、ミリ波レーダ３の位置を基準に規定した座標系は、ミリ波レーダ座標系と記載されてもよい。ミリ波レーダ座標系は、例えば、ミリ波レーダ３の設置位置、ミリ波レーダ３の向きおよびミリ波レーダ３の走査エリア（検知範囲）に基づいて規定される。
　なお、反射点は１つの反射物に対して１つに限られない。ミリ波データでは、１つの反射物が複数の反射点によって表されてもよい。
　また、反射物には、例えば、道路周辺を移動する車両及び歩行者（以下、移動体と記載する）と、道路周辺に設けられた構造物（道路標識、信号など、以下、静止物と記載する）とが含まれる。ミリ波データには、移動体の位置を示す反射点と、静止物の位置を示す反射点とが含まれていてもよい。
　ミリ波レーダ３は、ミリ波データを情報処理サーバ４に送信する。送信されるミリ波データには、ミリ波データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、ミリ波データを生成するためのレーダ信号を送信した時刻であってもよいし、レーダ信号を受信した時刻であってもよい。また、ミリ波レーダ３は、設定された周期で走査エリアを走査し、ミリ波データを情報処理サーバ４へ送信してもよい。
　カメラ２が画像データを生成するタイミングと、ミリ波レーダ３がミリ波データを生成するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。またカメラ２が画像データを送信するタイミングと、ミリ波レーダ３がミリ波データを送信するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。例えば、カメラ２が画像データを生成する頻度は、ミリ波レーダ３がミリ波データを生成する頻度よりも多い。
　なお、カメラ２とミリ波レーダ３は、同一の構造物に設置されてもよいし、互いに異なる構造物に設置されてもよい。また、カメラ２とミリ波レーダ３は、同一の筐体に設けられてもよいし、別々の筐体に設けられてもよい。
　また、カメラ２とミリ波レーダ３の設置する方法、場所、および、相対的な位置関係は、限定されない。また、カメラ２の監視エリアとミリ波レーダ３の走査エリアの位置関係は限定されない。本開示の一実施例では、カメラ２の監視エリアにミリ波レーダ３の走査エリアが含まれるように設置されるのが好ましい。
　例えば、少なくとも１つのカメラ２と少なくとも１つのミリ波レーダ３が組となり、１つの監視地点に設けられる。なお、１つの監視地点には、２つ以上のカメラ２が設けられてもよいし、２つ以上のミリ波レーダ３が設けられてもよい。
　情報処理サーバ４は、ネットワークＮ１を介して、複数の監視地点にそれぞれ設けられるカメラ２およびミリ波レーダ３と接続する。情報処理サーバ４は、カメラ２から画像データを取得し、ミリ波レーダ３からミリ波データを取得する。そして、情報処理サーバ４は、画像データ及びミリ波データに基づき、監視地点における侵入検知の結果を示す監視画面を生成する。情報処理サーバ４は、ネットワークＮ２を介して、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。
　なお、情報処理サーバ４は、侵入検知に関する設定および／または監視地点に関する指示を含む指示情報を、遠隔監視ＰＣ５から受信してもよい。この場合、情報処理サーバ４は、指示情報に基づき、監視画面を生成する。
　遠隔監視ＰＣ５は、ネットワークＮ２を介して、情報処理サーバ４から、監視画面のデータを受信する。遠隔監視ＰＣ５は、監視画面のデータの処理を行い、表示部（図示せず）に監視画面を表示する。
　なお、遠隔監視ＰＣ５は、例えば、操作部（図示せず）を介して、侵入検知に関する設定および／または監視地点に関する指示を、ユーザから受け付けてもよい。この場合、遠隔監視ＰＣ５は、侵入検知に関する設定および／または侵入検知の対象監視地点に関する指示を含む指示情報を情報処理サーバ４へ送信してもよい。
　なお、図１では、１台の遠隔監視ＰＣ５が示されるが、遠隔監視ＰＣ５は、複数であってもよい。また、図１では、ネットワークＮ１とネットワークＮ２が示されるが、ネットワークＮ１とネットワークＮ２は、同一のネットワークであってもよいし、異なるネットワークであってもよい。また、情報処理サーバ４が、ネットワークＮ１を介して、カメラ２およびミリ波レーダ３と接続する例を示したが、情報処理サーバ４は、カメラ２および／またはミリ波レーダ３と、ネットワークＮ１を介さずに、直接、有線接続または無線接続してもよい。また、遠隔監視ＰＣ５は、情報処理サーバ４と、ネットワークＮ２を介さずに、直接、有線接続または無線接続してもよい。
　以上説明した侵入検知システム１では、例えば、侵入の監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、特定の監視地点を入力した（または選択した）場合、遠隔監視ＰＣ５はその入力された（または選択された）監視地点を示す指示情報を、情報処理サーバ４へ送信する。
　情報処理サーバ４は、指示情報が示す監視地点における道路状況に関する監視画面を生成する。そして、情報処理サーバ４は、生成した監視画面のデータを、指示情報の送信元の遠隔監視ＰＣ５へ送信する。
　＜情報処理サーバの構成＞
　次に、情報処理サーバ４の構成の一例について説明する。図２は、本実施の形態に係る情報処理サーバ４の構成の一例を示す図である。
　例えば、情報処理サーバ４は、通信部４１と、データ同期部４２と、データ蓄積部４３と、判定部４４と、画面生成部４５と、モード設定部４６と、を備える。
　通信部４１は、ネットワークＮ１を介したカメラ２およびミリ波レーダ３との通信のインタフェースである。また、通信部４１は、ネットワークＮ２を介した遠隔監視ＰＣ５との通信のインタフェースである。
　データ同期部４２は、通信部４１を介して、カメラ２から画像データを取得する。また、データ同期部４２は、通信部４１を介して、ミリ波レーダ３からミリ波データを取得する。
　データ同期部４２は、画像データとミリ波データとの同期を図る。例えば、データ同期部４２は、画像データに含まれる時刻情報とミリ波データに含まれる時刻情報に基づき、画像データが生成されたタイミングとミリ波データが生成されたタイミングとを調整する。
　例えば、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻との時間差が所定値以下の時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを当該１フレームの画像データに対応づける。あるいは、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻に最も近い時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを１フレームの画像データに対応づけてもよい。
　なお、例えば、カメラ２が画像データを生成する頻度と、ミリ波レーダ３がミリ波データを生成する頻度とが異なる場合、データ同期部４２は、１つの画像データを２つの異なるミリ波データに対応づけるように、データの同期を図ってもよい。あるいは、データ同期部４２は、１つのミリ波データを２つの異なる画像データに対応づけるように、データの同期を図ってもよい。データ同期部４２は、それぞれの時刻情報が示す時刻が所定の時間内に含まれる、画像データとミリ波データを対応づける。
　データ同期部４２は、同期を図ったデータをデータ蓄積部４３へ出力する。また、データ同期部４２は、同期を図ったデータを判定部４４へ出力する。
　データ蓄積部４３は、データ同期部４２によって同期が図られた画像データとミリ波データとを対応付けて蓄積する。データ蓄積部４３には、例えば、時刻情報に基づいて、画像データとミリ波データが時系列で蓄積される。また、データ蓄積部４３には、複数の監視地点それぞれの画像データとミリ波データが蓄積されてもよい。
　判定部４４は、データ同期部４２から、同期が図られた（タイミングが調整された）画像データとミリ波データを取得する。また、画面生成部４５は、通信部４１を介して、遠隔監視ＰＣ５から侵入検知に関する設定および／または監視地点に関する指示を含む指示情報を取得してもよい。
　判定部４４は、取得したミリ波データに基づいて、走査エリアに含まれる侵入検知エリアへ侵入する人が存在するか否か、を判定する。判定部４４における処理は、侵入検知処理と記載されてもよい。
　侵入検知エリアは、例えば、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、設定してもよい。侵入検知エリアが、監視を行うユーザによって設定される場合、遠隔監視ＰＣ５は、情報処理サーバ４へ、侵入検知エリアを示す情報を含む指示情報を送信する。あるいは、侵入検知エリアは、例えば、監視地点に対して、予め設定されていてもよい。
　例えば、判定部４４は、監視地点に設けられたミリ波レーダ３のミリ波データに対して信号処理（例えば、クラスタリング処理）を行い、反射物に対応する領域を推定する。そして、判定部４４は、反射物に対応する領域が侵入検知エリアに含まれるか否かを判定する。そして、判定部４４は、推定した領域が侵入検知エリアに含まれる場合、その推定した領域に対応する反射物が人であるか否かを推定する。判定部４４は、推定した領域が侵入検知エリアに含まれ、かつ、推定した領域に対応する反射物が人である場合、侵入検知エリアへ侵入する人が存在すると判定する。なお、判定部４４は、反射物に対応する領域それぞれについて、反射物が何であるかを推定することによって、走査エリア内の人の位置を推定してもよい。
　ここで、判定部４４は、侵入検知エリアでの人の存在の有無だけを判定結果とするのではなく、反射物（例えば、人）の検知判定ごとに、侵入検知エリアと反射物の位置関係等に基づいて信頼度を算出し、算出した信頼度を含む判定結果を出力するようにしてもよい。例えば、信頼度は、侵入検知エリアと反射物との距離を示す値であってもよいし、侵入検知エリアと反射物との距離および反射物の移動速度に基づく値であってもよい。信頼度は、侵入検知エリアへ侵入してくる可能性を示す指標であってもよい。
　判定部４４は、データ同期部４２から取得した、画像データとミリ波データを、画面生成部４５へ出力する。判定部４４は、判定結果を示す情報を画面生成部４５へ出力する。また、判定部４４は、判定結果を示す情報をデータ蓄積部４３へ出力する。
　判定部４４は、モード設定部４６によって指示されるモードに応じた信号処理を行い、モードに応じた判定処理を生成してもよい。
　データ蓄積部４３は、判定部４４から、判定結果を示す情報を取得した場合、判定結果を示す情報を、画像データとミリ波データに対応付けて蓄積する。データ蓄積部４３には、例えば、画像データとミリ波データと判定結果を示す情報が時系列で蓄積される。この場合、判定結果を示す情報は、侵入検知エリアへ侵入した人物の履歴を示す履歴情報に相当する。また、データ蓄積部４３には、複数の監視地点それぞれの画像データとミリ波データと判定結果を示す情報とが蓄積されてもよい。
　画面生成部４５は、判定部４４から、同期が図られた（タイミングが調整された）画像データとミリ波データを取得する。画面生成部４５は、判定部４４から、判定結果を示す情報を取得する。また、画面生成部４５は、通信部４１を介して、遠隔監視ＰＣ５から侵入検知に関する設定および／または監視地点に関する指示を含む指示情報を取得してもよい。
　そして、画面生成部４５は、同期が図られた（タイミングが調整された）画像データとミリ波データとを対応づけて、判定結果を示す監視画面を生成する。
　例えば、画面生成部４５は、ミリ波レーダ座標系によって規定されるミリ波データの情報を、カメラ座標系へ変換する座標変換処理を行ってもよい。画面生成部４５は、座標変換後のミリ波データを、画像データが示すカメラ画像に重畳する。
　そして、画面生成部４５は、判定結果を示す情報を、画像データが示すカメラ画像に重畳する。例えば、画面生成部４５は、侵入検知エリアへ侵入する人を示す枠をカメラ画像に重畳する。なお、画面生成部４５は、ミリ波データの情報の一例として、または、判定結果を示す情報の一例として、反射物（例えば、人）に対応する領域が含まれる場合、反射物それぞれに対応する領域を示す枠をカメラ画像に重畳してもよい。
　なお、画面生成部４５は、判定結果が信頼度を含む場合、信頼度に応じた情報をカメラ画像に重畳してもよい。例えば、画面生成部４５は、信頼度の値に対応して、侵入検知エリアに侵入する人の枠を含む走査エリア内の人の位置を示す枠の表示態様を段階的に変化させて、カメラ画像に重畳してもよい。この場合、監視画面には、侵入検知エリアの周囲の人の信頼度に応じて、侵入検知エリアへ侵入する人を示す情報（例えば、人の位置を示す枠）が示される。
　また、画面生成部４５は、監視地点の天頂図に対して、判定結果を示す情報を重畳し、判定結果を含む天頂図のデータを生成してもよい。この場合、画面生成部４５は、ミリ波レーダ座標系によって規定されるミリ波データの情報（判定結果を示す情報）を、天頂図を規定する座標系へ変換する座標変換処理を行ってもよい。なお、天頂図は、監視エリアを含むエリアを上方から見て模した図である。天頂図のデータは、例えば、監視地点毎に予め決められ、データ蓄積部４３に蓄積される。
　また、画面生成部４５は、モード設定部４６によって指示されるモードに応じた信号処理を行い、モードに応じた監視画面を生成する。
　そして、画面生成部４５は、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。また、画面生成部４５は、判定結果を含む天頂図のデータを生成した場合、天頂図のデータを遠隔監視ＰＣ５へ送信してもよい。
　モード設定部４６は、通信部４１を介して、指示情報を取得する。モード設定部４６は、指示情報に含まれる、監視画面に関する設定モードを、判定部４４および画面生成部４５へ指示する。
　なお、モードとモードに応じて生成される監視画面の例については後述する。
　なお、上記では、侵入検知システムが、単体の情報処理サーバ４を有する構成の例を記載したが、本開示はこれに限定されない。例えば、侵入検知システムは、上記の情報処理サーバ４によって行われる処理を分担して実行する複数の情報処理サーバを有する構成であってもよい。この場合、例えば、情報処理サーバ４で行う処理を複数の情報処理サーバで分担し、ＩＰ（Internet Protocol）ネットワークおよび／またはＬＡＮ（Local Area Network）などの通信媒体を介して、複数の情報処理サーバの間で情報（例えば、ミリ波データ、画像データ、および／または、判定結果の情報）を受け渡すようにしてもよい。例えば、上記のデータ蓄積部４３に対応するデータ蓄積専用の情報処理サーバを設けるとよい。
　また、侵入検知システムは、情報処理サーバ４で行う処理のうち少なくとも一部の処理を行うクラウドコンピュータを有してもよい。例えば、情報処理サーバ４で行う処理のうち、演算量が大きな処理、例えば、判定部４４による判定処理を、高速処理が可能なクラウドコンピュータに行わせるようにし、残りの処理を他の情報処理サーバに行わせる構成を採用してもよい。
　＜情報処理サーバにおける処理フロー＞
　次に、情報処理サーバ４において実行される処理フローの一例について図３を参照して説明する。
　図３は、本実施の形態に係る情報処理サーバ４において実行される処理の一例を示すフローチャートである。なお、図３に示すフローチャートは、１つの監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対する処理を示す。情報処理サーバ４は、各監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対して、図３に示す処理を並行して行ってもよい。
　データ同期部４２は、カメラ２から画像データを取得する（Ｓ１０１）。
　データ同期部４２は、ミリ波レーダ３からミリ波データを取得する（Ｓ１０２）。
　なお、Ｓ１０１とＳ１０２の順は、これに限定されない。また、Ｓ１０１の処理は、カメラ２が画像データを送信する毎に実行され、Ｓ１０２の処理は、ミリ波レーダ３がミリ波データを送信する毎に実行される。
　データ同期部４２は、画像データとミリ波データとの同期を図るデータ同期処理を行う（Ｓ１０３）。
　データ同期部４２は、同期を図ったデータをデータ蓄積部４３に蓄積するデータ蓄積処理を行う（Ｓ１０４）。
　判定部４４は、ミリ波データに対してクラスタリング処理を行う（Ｓ１０５）。
　クラスタリング処理とは、ミリ波データに含まれる、１つの反射物に対応する複数の反射点をグルーピングする処理である。グルーピングする処理によって、反射物のサイズ、形状、色といった反射物に関する情報が取得されてもよい。なお、以下では、クラスタリング処理後の１つの反射物に対応する複数の反射点のグループを包含する領域を、反射領域と記載する。
　なお、クラスタリング処理では、判定部４４は、データ蓄積部４３に蓄積された、現時点よりも前のミリ波データを用いてもよい。判定部４４は、現時点よりも前のミリ波データを用いてミリ波データを時系列で処理することによって、例えば、移動体に対応する反射点と、静止物に対応する反射点を区別してもよい。
　次に、判定部４４は、侵入検知処理を行う（Ｓ１０６）。
　なお、判定部４４は、モード設定部４６から指示を受けて、モードに応じた処理を行ってもよい。
　次に、画面生成部４５は、侵入検知の監視画面の生成処理を行う（Ｓ１０７）。そして、画面生成部４５は、画像データとミリ波データとを対応付けて、判定部４４による判定結果を示す監視画面のデータを生成する。
　例えば、画面生成部４５は、画像データが示すカメラ画像に、ミリ波データを重畳する処理を行う。この処理において、画面生成部４５は、カメラ座標系とミリ波レーダ座標系が揃うように、判定結果を示す情報を座標変換してもよい。そして、画面生成部４５は、判定結果を示す情報の一例として、例えば、侵入検知エリアに侵入する人を特定する情報（例えば、侵入する人を囲む枠）を重畳する。
　画面生成部４５は、生成した監視画面のデータを送信する処理を行う（Ｓ１０８）。
　次に、本実施の形態において設定されるモードの一例と、モードに基づいて表示される画面の一例について説明する。
　＜設定モード＞
　設定モードは、監視を行うユーザが、設定を行うモードである。図４は、本実施の形態における設定モード時の表示画面の例を示す図である。
　図４の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。図４は、設定モード時において遠隔監視ＰＣ５の表示部に表示される画面であるため、設定ボタンが押下された状態で表示される、図４には、「侵入検知エリアカメラ画面」の領域Ｖ１、「侵入検知エリア天頂図」の領域Ｖ２および「レーダ情報画面」の領域Ｖ３の３つの領域が示される。
　「侵入検知エリアカメラ画面」の領域Ｖ１は、カメラ画像を表示する領域を示す。遠隔監視ＰＣ５は、画像データに基づいて、「侵入検知エリアカメラ画面」の領域Ｖ１にカメラ画像を表示する。
　「侵入検知エリア天頂図」の領域Ｖ２は、情報処理サーバ４によって生成される天頂図を表示する領域を示す。遠隔監視ＰＣ５は、天頂図のデータに基づいて、「侵入検知エリア天頂図」の領域Ｖ２に天頂図を表示する。天頂図に対して、ユーザは、遠隔監視ＰＣ５の操作部を介して、侵入検知エリアを設定する。例えば、ユーザは、マウス操作によって、天頂図の一部のエリアを選択し、選択したエリアを侵入検知エリアに設定する。
　なお、ユーザは、侵入検知を行わないエリア（侵入検知エリアフィルタ）を設定してもよい。設定した侵入検知エリア（または侵入検知エリアフィルタ）の情報は、指示情報に含まれ、情報処理サーバ４へ送信される。
　「レーダ情報画面」の領域Ｖ３は、情報処理サーバ４から取得するミリ波データを表示する領域を示す。遠隔監視ＰＣ５は、ミリ波データに基づいて、ミリ波レーダ３の位置を基準とし、ミリ波レーダ３からの距離とミリ波レーダ３が走査する方位角方向とから規定される扇形の座標系に反射点が点在する画面を、「レーダ情報画面」の領域Ｖ３に表示する。
　情報処理サーバ４は、「設定モード」を示す指示情報を遠隔監視ＰＣ５から取得した場合、同期が図られた画像データおよびミリ波データを遠隔監視ＰＣ５へ送信する。また、情報処理サーバ４は、予めデータ蓄積部４３に保持された天頂図のデータを遠隔監視ＰＣ５へ送信する。遠隔監視ＰＣ５は、受信したデータに基づいて、表示部の各領域に表示を行う。
　ユーザによって設定された侵入検知エリアの情報は指示情報に含まれ、情報処理サーバ４へ送信される。情報処理サーバ４の判定部４４は、侵入検知エリアの情報に基づいて、ミリ波レーダ座標系における侵入検知エリアを設定する。この場合、判定部４４は、天頂図における侵入検知エリアを、ミリ波レーダ座標系における侵入検知エリアへ変換する座標変換を行ってもよい。天頂図を規定する座標系とミリ波レーダ座標系との対応関係は、既知である。判定部４４は、既知の対応関係に基づいて、天頂図における侵入検知エリアを、ミリ波レーダ座標系における侵入検知エリアへ変換してもよい。
　図５は、図４にて示した各領域に表示される画面の一例を示す図である。
　領域Ｖ１には、カメラ画像が表示される。領域Ｖ２には、天頂図が表示される。領域Ｖ３には、レーダ情報が表示される。
　領域Ｖ２の天頂図において、カメラ２の位置は「Ｃ」、ミリ波レーダ３の位置は「Ｒ」である。また、領域Ｖ２の天頂図には、カメラ２の監視エリアを示す補助線と、ミリ波レーダ３の走査エリアを示す補助線とが示される。ユーザは、補助線を参照し、監視エリアと走査エリアの双方に含まれるエリアに侵入検知エリアＤを設定する。
　＜侵入検知モード＞
　侵入検知モードは、設定モードによって設定された侵入検知エリアに侵入する人を検知するモードである。図６は、本実施の形態における侵入検知モード時の表示画面の例を示す図である。
　図６の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。図６は、侵入検知モード時において遠隔監視ＰＣ５の表示部に表示される画面であるため、侵入検知ボタンが押下された状態で表示される。図６には、「侵入検知エリアカメラ画面」の領域Ｖ１、「侵入検知エリア天頂図」の領域Ｖ２、「侵入検知ログ画面」の領域Ｖ４および「発報画面」の領域Ｖ５の４つの領域が示される。
　「侵入検知エリアカメラ画面」の領域Ｖ１は、情報処理サーバ４によって生成された監視画面を表示する領域を示す。遠隔監視ＰＣ５は、監視画面のデータに基づいて、「侵入検知エリアカメラ画面」の領域Ｖ１に監視画面を表示する。監視画面には、カメラ画像に、ミリ波データに基づいた侵入検知処理の判定結果が重畳される。
　「侵入検知エリア天頂図」の領域Ｖ２は、情報処理サーバ４によって生成され、侵入検知処理の判定結果を含む天頂図を表示する領域を示す。遠隔監視ＰＣ５は、侵入検知処理の判定結果を含む天頂図のデータに基づいて、「侵入検知エリア天頂図」の領域Ｖ２に天頂図を表示する。
　「侵入検知ログ画面」の領域Ｖ４は、情報処理サーバ４によって生成された、侵入検知処理によって得られる侵入者のログ情報が表示される領域を示す。
　「発報画面」の領域Ｖ５は、侵入検知処理の判定結果に基づいて、侵入者が存在した場合に、警告を表示する領域を示す。
　情報処理サーバ４は、「侵入検知モード」を示す指示情報を遠隔監視ＰＣ５から取得した場合、判定部４４は、設定された侵入検知エリアに対する侵入検知処理を実行する。そして、画面生成部４５は、侵入検知処理の判定結果を示す情報をカメラ画像に重畳した監視画面のデータ、侵入検知処理の判定結果を示す情報を含む天頂図のデータを送信する。また、画面生成部４５は、監視画面に基づいて、侵入者のログ情報を生成し、遠隔監視ＰＣ５へ送信する。遠隔監視ＰＣ５は、受信したデータに基づいて、表示部の各領域に表示を行う。
　図７は、図６にて示した各領域に表示される画面の一例を示す図である。
　領域Ｖ１には、情報処理サーバ４によって生成された監視画面が表示される。なお、領域Ｖ１には、侵入者の位置を示す枠ｒ１と、侵入者ではない人（侵入検知エリアに入っていない人）の位置を示す枠ｒ２が示される。枠ｒ１と枠ｒ２は、例えば、異なる表示態様（例えば、異なる色）によって示される。
　なお、判定結果が、信頼度を含む場合には、侵入者の位置を示す枠ｒ１および侵入者ではない人の位置を示す枠ｒ２が、信頼度に対応した表示態様で表示されてもよい。例えば、侵入検知エリア外にいた人物が、侵入検知エリアに徐々に近づき、侵入検知エリア内に移動した場合、侵入検知エリアとその人物との距離に基づく信頼度に応じて、枠の色が白色から赤色に徐々に変化するように、グラデーション効果を用いて枠の表示を変化させる。また、例えば、緑色、黄色、赤色の順に複数の色を用いて、枠の表示を変化させるようにしてもよい。さらに、信頼度に応じて、枠線の太さ、種類、色調、明るさおよびコントラストの少なくとも１つを変化させたり、あるいは、枠を点滅表示させ、信頼度に応じて、点滅の間隔（時間）を変化させたりしてもよい。
　信頼度に対応した表示態様で枠を表示することによって、侵入検知エリアへ侵入してくる可能性が高いか否かを視覚的に示すことができる。
　ここで、ミリ波データを用いて検出される侵入者の位置を示し、カメラ画像に表示される枠ｒ１の決定方法の一例を説明する。枠ｒ１は、判定部４４において侵入検知処理が実行された場合に決定される。
　判定部４４がミリ波データを用いて、侵入者に対応する反射点を推定する。反射点は、ミリ波データを規定する２次元の座標系における点である。
　次に、画面生成部４５は、カメラ座標系における、反射点に対応する点（以下、カメラ画像反射点と記載する）を算出する。例えば、画面生成部４５は、カメラ２のカメラ設置位置情報を用いて、カメラ画像反射点を算出する。
　カメラ設置位置情報は、ミリ波レーダ座標系におけるカメラ２の設置位置を示す２次元座標と、カメラ２の設置方向とを含む。設置方向は、カメラ２が撮影したカメラ画像の中心の方向に相当する。
　次に、画面生成部４５は、反射点とカメラ設置位置との距離を算出し、カメラの設置方向に対する反射点の方向を算出する。
　例えば、カメラ２を路面に対して水平に設置した場合、カメラ画像反射点のＸ座標（水平位置）は、カメラ２の設置方向に対する反射点の方向と、予め決められたカメラ２の画角の情報とに基づいて決定される。また、カメラ画像反射点のＹ座標（垂直方向）は、カメラ画像の垂直方向の中心に設定される。
　例えば、カメラ２を、路面に対して水平ではなく、俯角をつけて設置した場合、カメラ画像反射点のＸ座標とＹ座標は、カメラ２の設置方向に対する反射点の方向と、カメラ２の設置位置の高さと、カメラ２の俯角と、カメラ２の画角とに基づいて算出される。
　画面生成部４５は、カメラ画像反射点を基準にした矩形の枠を決定する。例えば、矩形の幅および高さは、カメラ画像反射点とカメラ設置位置との距離に基づいて、予め基準となる幅および高さを拡大または縮小して設定される。例えば、カメラ画像反射点とカメラ設置位置との距離に反比例して、基準となる矩形の幅および高さを拡大または縮小して設定される。
　画面生成部４５は、設定した幅および高さを有する矩形の枠を、カメラ画像反射点を中心に重畳し、監視画面を生成する。
　領域Ｖ２には、天頂図が表示される。領域Ｖ２の天頂図には、領域Ｖ１の枠ｒ１が示す侵入者に対応する侵入者の位置を示す点Ｐ１と、その侵入者の移動の軌跡Ｌ１が示される。また、領域Ｖ１の枠ｒ２が示す侵入者ではない人の位置を示す点Ｐ２と、その人の移動の軌跡Ｌ２が示される。位置Ｐ１と位置Ｐ２は、例えば、異なる表示態様（例えば、異なる色）によって示される。軌跡Ｌ１と軌跡Ｌ２は、例えば、異なる表示態様（例えば、異なる色）によって示される。
　なお、領域Ｖ１および領域Ｖ２において、侵入者では無い人に関する情報（枠ｒ２、点Ｐ２および軌跡Ｌ２）は表示されなくてもよい。
　領域Ｖ４には、侵入者のログ情報が表示される。侵入者のログ情報は、例えば、領域Ｖ１の枠ｒ１から切り取った侵入者を示す画像を含む。また、侵入者のログ情報は、侵入者が侵入検知エリアへ侵入を開始した時刻および侵入者が侵入検知エリアから外れた時刻を含む。また、侵入者には、侵入を検知した後に、識別子（ＩＤ：Identification）が付される。
　領域Ｖ５には、侵入者を検知したことを示す文字情報（発報情報）が表示される。発報情報を見た監視員は、侵入者の存在を把握することができる。なお、発報情報の表示と、他の報知装置（例えば、ランプおよび／またはブザー）とを、連動させてもよく、更には、外部の警報システムおよび／または監視システムと連動させてもよい。例えば、警戒地区全体の監視システムへ発報情報を配信することによって、外部の監視者に対しても報知することができる。
　＜過去侵入検知情報確認モード＞
　過去侵入検知情報確認モードは、過去に検知された侵入者の情報を確認するモードである。図８は、本実施の形態における過去侵入検知情報確認モード時の表示画面の例を示す図である。
　図８の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。図８は、過去侵入検知情報確認モード時において遠隔監視ＰＣ５の表示部に表示される画面であるため、過去侵入検知情報確認ボタンが押下された状態で表示される。図８には、「侵入検知エリアカメラ画面」の領域Ｖ１、「侵入検知エリア天頂図」の領域Ｖ２、「侵入検知ログ画面」の領域Ｖ４および「発報画面」の領域Ｖ５の４つの領域が示される。
　なお、図８の表示画面の例は、過去侵入検知情報確認ボタンが押下されている点を除いて、図６に示した表示画面の例と同様であるので、詳細な説明は省略する。
　過去侵入検知情報確認モードは、図６および図７にて説明した侵入検知モードと、侵入検知ログ画面の領域Ｖ４に表示される情報が異なる。以下、この点について、図９を用いて説明する。
　図９は、図８にて示した各領域に表示される画面の一例を示す図である。
　領域Ｖ１、領域Ｖ２および領域Ｖ５の表示例は、図７と同様であるので、詳細な説明は省略する。
　領域Ｖ４には、侵入者のログ情報が表示される。侵入者のログ情報は、例えば、領域Ｖ１の枠ｒ１から切り取った侵入者を示す画像を含む。また、侵入者のログ情報は、侵入者が侵入検知エリアへ侵入を開始した時刻および侵入者が侵入検知エリアから外れた時刻を含む。また、侵入者には、侵入を検知した後に、識別子（ＩＤ：Identification）が付される。
　また、過去侵入検知情報確認モードでは、侵入検知エリアに過去に侵入した侵入者の情報が領域Ｖ４に表示される。
　図９の領域Ｖ４では、現在、侵入検知エリアに侵入している侵入者、すなわち、領域Ｖ１の枠ｒ１が示す侵入者のログ情報の他に、２人の侵入者のログ情報が示される。２人の侵入者には、それぞれ、「１２３－２」および「１２３－１」というＩＤが付されている。２人の侵入者は、検知時刻に示すように、過去に検知された侵入者である。
　なお、ユーザが領域Ｖ４の表示を操作する（例えば、クリックする）ことによって、侵入者に対する情報が呼び出されてもよい。例えば、領域Ｖ４に表示された侵入者を選択する（クリックする）ことによって、選択された侵入者が侵入検知エリアに侵入していた間のカメラ画像が、領域Ｖ１または他の領域に表示されてもよい。
　また、ユーザが領域Ｖ４の表示を操作する（例えば、クリックする）ことによって、侵入者に対する設定を変更してもよい。例えば、領域Ｖ４に表示された侵入者を選択する（クリックする）ことによって、選択された侵入者に対して、侵入検知エリアへの侵入を許可する設定（フィルタ登録）が行われてもよい。侵入検知エリアへの侵入を許可された侵入者は、以後、侵入検知エリアへの侵入が検知されても、検知されたことを示す情報は表示されない。
　なお、上述した操作方法は一例であり、本開示はこれに限定されない。例えば、領域Ｖ４に表示された侵入者を選択する（クリックする）ことによって、メニューが表示されてもよい。ユーザは、表示されたメニューにおいてカメラ画像の表示および侵入を許可する設定を行ってもよい。
　以上説明したように、本実施の形態に係る情報処理サーバ４は、カメラが撮影した画像データと、ミリ波レーダが取得するミリ波データとの同期を図り（タイミングを調整し）、ミリ波データに基づいて、侵入する物体の存在を検知する侵入検知処理を行う。そして、本実施の形態に係る情報処理サーバ４は、同期を図った（タイミングを調整した）画像データとミリ波データとを対応づけて、侵入検知処理の判定結果を示す監視画面を生成する。本実施の形態によれば、カメラとレーダという２つのセンサデバイスを融合させ、精度の良い侵入検知を行うことができる。
　例えば、カメラのデータから得られるカメラ画像は、監視するユーザに対して視覚的に有効な情報を提供でき、ミリ波レーダのデータは、監視するユーザに対して、カメラ画像からは得られない詳細な情報を提供できる。そのため、本実施の形態では、ミリ波レーダから得られる侵入検知の結果をカメラ画像に対応付けることによって、精度の良い侵入検知を行うことができる。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　上記実施の形態の説明に用いた「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
　本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。
　上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。
　通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。
　通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。
　また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。
　また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
　なお、本開示は、無線通信装置、または制御装置において実行される制御方法として表現することが可能である。また、本開示は、かかる制御方法をコンピュータにより動作させるためのプログラムとして表現することも可能である。更に、本開示は、かかるプログラムをコンピュータによる読み取りが可能な状態で記録した記録媒体として表現することも可能である。すなわち、本開示は、装置、方法、プログラム、記録媒体のうち、いずれのカテゴリーにおいても表現可能である。
　また、本開示は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。
　２０１８年４月２日出願の特願２０１８－０７０９５４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本開示の一実施例は、特定のエリアへの侵入を検知するのに好適である。
　１　侵入検知システム
　２　カメラ
　３　ミリ波レーダ
　４　情報処理サーバ（制御装置）
　５　遠隔監視ＰＣ
　４１　通信部
　４２　データ同期部
　４３　データ蓄積部
　４４　判定部
　４５　画面生成部
　４６　モード設定部
 

Claims (10)

  1. 　監視エリアを撮影し、画像データを生成するカメラと、
    　前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、
    　前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、
    　を備える侵入検知システムであって、
    　前記情報処理サーバは、
    　前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、
    　前記ミリ波データに基づいて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定する判定部と、
    　同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記判定部による判定結果を示す監視画面を生成する画面生成部と、
    　を備える、
    　侵入検知システム。
  2. 　前記データ同期部によって同期が図られた前記画像データと前記ミリ波データを蓄積するデータ蓄積部を
    　備え、
    　前記判定部は、前記データ蓄積部に蓄積された前記ミリ波データを用いて、前記検知エリアへ侵入する物体が存在するか否かを判定し、
    　前記画面生成部は、前記データ蓄積部に蓄積された前記画像データと前記ミリ波データを用いて、前記監視画面を生成する、
    　請求項１に記載の侵入検知システム。
  3. 　前記データ蓄積部は、前記検知エリアへ過去に侵入した物体の履歴を示す履歴情報を蓄積する、
    　請求項２に記載の侵入検知システム。
  4. 　前記画面生成部は、前記履歴情報に基づき、前記検知エリアへ侵入した物体が時系列で表示されるログ情報を生成する、
    　請求項３に記載の侵入検知システム。
  5. 　前記画面生成部は、前記監視エリアを含むエリアを上方から見た図において、前記判定結果を示す情報を示す天頂図を生成する、
    　請求項１に記載の侵入検知システム。
  6. 　前記監視画面には、前記検知エリアへ侵入する物体を示す情報と、前記検知エリアへ侵入しない物体を示す情報とが、異なる表示態様を用いて示される、
    　請求項１に記載の侵入検知システム。
  7. 　前記監視画面には、前記検知エリアへ侵入する物体の信頼度に応じて、前記検知エリアへ侵入した物体を示す情報が示される、
    　請求項１に記載の侵入検知システム。
  8. 　前記検知エリアへ侵入する物体が存在する場合、前記監視画面に発報情報を表示する、
    　請求項１に記載の侵入検知システム。
  9. 　前記画面生成部は、前記走査エリアに対応するミリ波データを、前記監視エリアに対応するように変換を行う、
    　請求項１に記載の侵入検知システム。
  10. 　監視エリアを撮影し、生成された画像データをカメラから取得し、
    　前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、
    　前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、
    　前記ミリ波データに基づいて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定し、
    　同期が図られた前記画像データと前記ミリ波データとを対応づけて、判定結果を示す監視画面を生成する、
    　侵入検知方法。
     
PCT/JP2019/013978 2018-04-02 2019-03-29 侵入検知システムおよび侵入検知方法 WO2019194091A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/044,124 US20210096239A1 (en) 2018-04-02 2019-03-29 Intrusion detection system and intrusion detection method
CN201980023809.7A CN111937049A (zh) 2018-04-02 2019-03-29 侵入检测系统及侵入检测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-070954 2018-04-02
JP2018070954A JP7190820B2 (ja) 2018-04-02 2018-04-02 侵入検知システムおよび侵入検知方法

Publications (1)

Publication Number Publication Date
WO2019194091A1 true WO2019194091A1 (ja) 2019-10-10

Family

ID=68100218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013978 WO2019194091A1 (ja) 2018-04-02 2019-03-29 侵入検知システムおよび侵入検知方法

Country Status (4)

Country Link
US (1) US20210096239A1 (ja)
JP (1) JP7190820B2 (ja)
CN (1) CN111937049A (ja)
WO (1) WO2019194091A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354145A (zh) * 2020-03-12 2020-06-30 重庆第二师范学院 一种基于物联网电子智能的防盗监控系统
CN114419825A (zh) * 2022-03-29 2022-04-29 中国铁路设计集团有限公司 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7411539B2 (ja) 2020-12-24 2024-01-11 株式会社日立エルジーデータストレージ 測距システム及びその座標キャリブレーション方法
CN113256983B (zh) * 2021-06-21 2021-10-08 陕西易合交通科技有限公司 一种基于毫米波雷达的道路防侵入预警方法和系统
CN113447995B (zh) * 2021-06-28 2023-09-08 广州瀚信通信科技股份有限公司 一种周界区域入侵检测管理系统及检测方法
CN113589305A (zh) * 2021-07-23 2021-11-02 广东智通睿新智能科技有限公司 铁路站台间隙异物检测系统
US20230169836A1 (en) * 2021-12-01 2023-06-01 Alarm.Com Incorporated Intrusion detection system
CN114355337A (zh) * 2021-12-31 2022-04-15 北京太格时代自动化系统设备有限公司 基于24GHz毫米波雷达技术的铁路施工侵限预警系统
WO2024034237A1 (ja) * 2022-08-09 2024-02-15 住友電気工業株式会社 電波センサの設定方法、設定装置、及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315450A (ja) * 2002-04-24 2003-11-06 Hitachi Ltd ミリ波レーダ用監視システム
JP2009017416A (ja) * 2007-07-09 2009-01-22 Mitsubishi Electric Corp 監視装置及び監視方法及びプログラム
JP2011175597A (ja) * 2010-02-25 2011-09-08 Secom Co Ltd 警備システム
JP2017152804A (ja) * 2016-02-22 2017-08-31 株式会社キーエンス 安全スキャナ、光学安全システム及び安全スキャナ用の設定支援装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4243988A (en) * 1979-03-01 1981-01-06 The Bendix Corporation Means for improving angular resolution of incoherent pulse radar systems
US4489322A (en) * 1983-01-27 1984-12-18 The United States Of America As Represented By The Secretary Of The Air Force Radar calibration using direct measurement equipment and oblique photometry
JP4206978B2 (ja) * 2004-07-07 2009-01-14 日産自動車株式会社 赤外線撮像装置、並びに車両
US6967612B1 (en) * 2004-10-22 2005-11-22 Gorman John D System and method for standoff detection of human carried explosives
WO2008115193A2 (en) * 2006-06-08 2008-09-25 Vista Research, Inc. Sensor suite and signal processing for border surveillance
JP4193886B2 (ja) * 2006-07-26 2008-12-10 トヨタ自動車株式会社 画像表示装置
US7474254B2 (en) * 2007-01-16 2009-01-06 Innovonix, Llc. Radar system with agile beam steering deflector
US7781717B2 (en) * 2007-04-27 2010-08-24 Brijot Imaging Systems, Inc. System and method for manipulating real-time video playback time-synchronized with millimeter wave imagery
WO2009053848A2 (en) * 2007-09-07 2009-04-30 Henri Johnson Methods and processes for detecting a mark on a playing surface and for tracking an object
JP5287403B2 (ja) * 2009-03-19 2013-09-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN201984597U (zh) * 2010-12-27 2011-09-21 中国电子科技集团公司第五十研究所 安全防护探测系统
CN102253381B (zh) * 2011-04-20 2012-11-28 上海交通大学 用于机场跑道的异物自动检测系统及其检测方法
FR2980853B1 (fr) * 2011-09-30 2014-11-28 Thales Sa Dispositif de detection et de localisation de mobiles equipes de radars et procede associe
CN102508246B (zh) * 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
US10578713B2 (en) * 2015-06-24 2020-03-03 Panasonic Corporation Radar axis displacement amount calculation device and radar axis displacement calculation method
US10393872B2 (en) * 2015-12-08 2019-08-27 Garmin Switzerland Gmbh Camera augmented bicycle radar sensor system
JP6500887B2 (ja) * 2016-12-26 2019-04-17 トヨタ自動車株式会社 車両用注意喚起装置
CN106908783B (zh) * 2017-02-23 2019-10-01 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
CN107831777B (zh) * 2017-09-26 2020-04-10 中国科学院长春光学精密机械与物理研究所 一种飞行器自主避障系统、方法及飞行器
US11435752B2 (en) * 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315450A (ja) * 2002-04-24 2003-11-06 Hitachi Ltd ミリ波レーダ用監視システム
JP2009017416A (ja) * 2007-07-09 2009-01-22 Mitsubishi Electric Corp 監視装置及び監視方法及びプログラム
JP2011175597A (ja) * 2010-02-25 2011-09-08 Secom Co Ltd 警備システム
JP2017152804A (ja) * 2016-02-22 2017-08-31 株式会社キーエンス 安全スキャナ、光学安全システム及び安全スキャナ用の設定支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354145A (zh) * 2020-03-12 2020-06-30 重庆第二师范学院 一种基于物联网电子智能的防盗监控系统
CN114419825A (zh) * 2022-03-29 2022-04-29 中国铁路设计集团有限公司 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法

Also Published As

Publication number Publication date
JP2019185115A (ja) 2019-10-24
CN111937049A (zh) 2020-11-13
US20210096239A1 (en) 2021-04-01
JP7190820B2 (ja) 2022-12-16

Similar Documents

Publication Publication Date Title
WO2019194091A1 (ja) 侵入検知システムおよび侵入検知方法
US10467897B2 (en) Investigation assist system and investigation assist method
US9407881B2 (en) Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices
CN109076191B (zh) 监视系统、方法、非暂时性计算机可读介质和控制单元
US20170013203A1 (en) System and method for automatic camera hand-off using location measurements
WO2018205844A1 (zh) 视频监控装置、监控服务器及系统
KR101937272B1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
JP6403687B2 (ja) 監視システム
JP2019185220A (ja) 交通監視システムおよび交通監視方法
KR101048508B1 (ko) 스마트디바이스를 이용한 실시간 항만 영상 관제 시스템 및 그 방법
CN113074714B (zh) 一种基于多数据融合的多态势感知传感器及其处理方法
KR20160078724A (ko) 카메라 감시 영역 표시 방법 및 장치
CN111696390B (zh) 智能机场跑道fod装置及其工作流程
Fawzi et al. Embedded real-time video surveillance system based on multi-sensor and visual tracking
US20160205355A1 (en) Monitoring installation and method for presenting a monitored area
KR101700933B1 (ko) Rfid 시스템을 이용한 위치정보영상표기 시스템
CN111539254A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
Tamaki et al. An automatic compensation system for unclear area in 360-degree images using pan-tilt camera
Picus et al. Novel Smart Sensor Technology Platform for Border Crossing Surveillance within FOLDOUT
KR101281687B1 (ko) 악천후 지역의 모니터링 방법
CN220273771U (zh) 一种用于侦测隐蔽摄像头的便携式巡检设备
KR20150114589A (ko) 피사체 재구성을 위한 장치 및 방법
US11144768B2 (en) Image processing device and image processing method
EP4099302A1 (en) Multisensor security system with aircraft monitoring
US12033478B2 (en) Multisensor security system with aircraft monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19782086

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19782086

Country of ref document: EP

Kind code of ref document: A1