WO2019194084A1 - 交通監視システムおよび交通監視方法 - Google Patents

交通監視システムおよび交通監視方法 Download PDF

Info

Publication number
WO2019194084A1
WO2019194084A1 PCT/JP2019/013925 JP2019013925W WO2019194084A1 WO 2019194084 A1 WO2019194084 A1 WO 2019194084A1 JP 2019013925 W JP2019013925 W JP 2019013925W WO 2019194084 A1 WO2019194084 A1 WO 2019194084A1
Authority
WO
WIPO (PCT)
Prior art keywords
millimeter wave
data
image data
monitoring
camera
Prior art date
Application number
PCT/JP2019/013925
Other languages
English (en)
French (fr)
Inventor
洋児 横山
安木　慎
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US17/044,619 priority Critical patent/US11869347B2/en
Priority to CN201980024460.9A priority patent/CN111954898B/zh
Publication of WO2019194084A1 publication Critical patent/WO2019194084A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Definitions

  • This disclosure relates to a traffic monitoring system and a traffic monitoring method.
  • Patent Literature 1 discloses a method of generating a road situation image corresponding to each predetermined section of a road based on a captured image of a monitoring camera and displaying the road situation image with a predetermined display color. Yes.
  • Patent Document 2 discloses an apparatus for monitoring a vehicle traffic while measuring a traveling vehicle by a millimeter wave radar and automatically judging the number of lanes, each oblique line width, a median band width, and the like. Yes.
  • the non-limiting example of the present disclosure contributes to the provision of a traffic monitoring system and a traffic monitoring method that integrates two sensor devices, a camera and a radar, to accurately and efficiently monitor road conditions.
  • a traffic monitoring system includes a camera that captures a monitoring area including a road, generates image data, and a millimeter wave radar that generates a millimeter wave data by scanning a scanning area included in the monitoring area. And an information processing server connected to the camera and the millimeter wave radar and acquiring the image data and the millimeter wave data, wherein the information data is generated by the information processing server.
  • a data synchronization unit that synchronizes the image data and the millimeter wave data so that a difference between the generated timing and the timing at which the millimeter wave data is generated is equal to or less than a predetermined value, and the synchronized image data
  • a screen generation unit that associates the millimeter wave data with each other and generates a monitoring screen indicating the road condition.
  • a traffic monitoring method captures a monitoring area including a road, acquires generated image data from a camera, scans a scanning area included in the monitoring area, and generates generated millimeter-wave data. Is acquired from the millimeter wave radar, and the image data and the millimeter wave data are synchronized so that the difference between the timing at which the image data is generated and the timing at which the millimeter wave data is generated is a predetermined value or less.
  • the monitoring image showing the road condition is generated by associating the synchronized image data with the millimeter wave data.
  • the two sensor devices, the camera and the radar are fused to contribute to the provision of a traffic monitoring system and a traffic monitoring method for accurately and efficiently monitoring road conditions.
  • the figure which shows an example of a structure of the traffic monitoring system which concerns on one embodiment of this indication The figure which shows an example of a structure of the information processing server which concerns on one embodiment of this indication 7 is a flowchart illustrating an example of processing of the information processing server according to an embodiment of the present disclosure.
  • the figure which shows the example 1 of a display screen in one embodiment of this indication The figure which shows the example 2 of a display screen of one embodiment of this indication.
  • the figure which shows the example 3 of a display screen in one embodiment of this indication The figure which shows the example 4 of a display screen in one embodiment of this indication
  • FIG. 1 is a diagram illustrating an example of a configuration of a traffic monitoring system 1 according to the present embodiment.
  • the traffic monitoring system 1 includes a plurality of cameras 2, a plurality of millimeter wave radars 3, an information processing server (control device) 4, and a remote monitoring PC (Personal Computer) 5.
  • a traffic monitoring system that monitors road traffic through which vehicles, pedestrians, and the like pass will be described as an example.
  • the camera 2 and the millimeter wave radar 3 are connected to the information processing server 4 via the network N1.
  • the network N1 may be a wireless network, a wired network, or a network including wireless and wired.
  • the information processing server 4 is connected to the remote monitoring PC 5 via the network N2.
  • the network N2 may be a wireless network, a wired network, or a network including wireless and wired.
  • the camera 2 is provided, for example, above a structure around the road (for example, a pole on which a road sign is installed).
  • the camera 2 captures an area around the road including the road. Note that an area around the road including the road that is the shooting range of the camera 2 may be described as a monitoring area.
  • the camera 2 generates captured image data (image data), and transmits the captured image data to the information processing server 4.
  • the transmitted image data includes time information indicating the timing (for example, time) at which the image data is generated.
  • the time indicated by the time information may be a time when the camera 2 has taken an image.
  • the camera 2 may transmit image data to the information processing server 4 in units of frames, for example.
  • the image taken by the camera 2 may be described as a camera image.
  • a coordinate system that defines the horizontal direction and the vertical direction of a camera image may be described as a camera coordinate system.
  • the camera coordinate system is defined based on, for example, the installation position of the camera 2, the orientation of the camera 2, and the angle of view of the camera.
  • the millimeter wave radar 3 is provided, for example, above a structure around the road.
  • the millimeter wave radar 3 transmits a millimeter wave band radar signal to the periphery of the road, and receives a reflection signal of the radar signal reflected by an object around the road.
  • the millimeter wave radar 3 scans around the road by sequentially transmitting radar signals in a plurality of directions. A range in which the millimeter wave radar 3 scans the radar signal may be described as a scanning area.
  • the millimeter wave radar 3 is, for example, at least one of the time between the time when the radar signal is transmitted and the time when the reflected signal is received, the direction in which the radar signal is transmitted, the reception intensity of the reflected signal, and the Doppler frequency of the reflected signal.
  • the millimeter wave data is generated based on the information.
  • the millimeter wave data includes, for example, information indicating an object around the road that reflects the radar signal (hereinafter referred to as a reflector).
  • the millimeter wave data is data including a set of points (hereinafter referred to as reflection points) indicating the positions of the reflecting objects in the coordinate system defined based on the position of the millimeter wave radar 3.
  • the coordinate system defined based on the position of the millimeter wave radar 3 is, for example, a polar coordinate system based on a distance from the position of the millimeter wave radar 3 and an azimuth angle scanned by the millimeter wave radar 3.
  • the coordinate system defined based on the position of the millimeter wave radar 3 may be described as a millimeter wave radar coordinate system.
  • the millimeter wave radar coordinate system is defined based on, for example, the installation position of the millimeter wave radar 3, the direction of the millimeter wave radar 3, and the scanning area (detection range) of the millimeter wave radar 3.
  • the number of reflection points is not limited to one for one reflector.
  • one reflector may be represented by a plurality of reflection points.
  • a reflector and a vehicle and a pedestrian moving around the road and a structure (a road sign, a signal, etc.) provided around the road are described as a stationary object.
  • the millimeter wave data may include a reflection point indicating the position of the moving object and a reflection point indicating the position of the stationary object.
  • Millimeter wave radar 3 transmits millimeter wave data to information processing server 4.
  • the transmitted millimeter wave data includes time information indicating the timing (for example, time) at which the millimeter wave data is generated.
  • the time indicated by the time information may be a time when a radar signal for generating millimeter wave data is transmitted or a time when a radar signal is received. Further, the millimeter wave radar 3 may scan the scanning area at a set cycle and transmit the millimeter wave data to the information processing server 4.
  • the timing at which the camera 2 generates the image data and the timing at which the millimeter wave radar 3 generates the millimeter wave data may not coincide with each other, and may be at each timing. Further, the timing at which the camera 2 transmits image data and the timing at which the millimeter wave radar 3 transmits millimeter wave data may not coincide with each other, and may be at each timing. For example, the frequency at which the camera 2 generates image data is higher than the frequency at which the millimeter wave radar 3 generates millimeter wave data.
  • the camera 2 and the millimeter wave radar 3 may be installed in the same structure or may be installed in different structures.
  • the camera 2 and the millimeter wave radar 3 may be provided in the same housing or in separate housings.
  • the installation method, location, and relative positional relationship between the camera 2 and the millimeter wave radar 3 are not limited. Further, the positional relationship between the monitoring area of the camera 2 and the scanning area of the millimeter wave radar 3 is not limited. The present disclosure is preferably installed so that the monitoring area of the camera 2 includes the scanning area of the millimeter wave radar 3.
  • At least one camera 2 and at least one millimeter wave radar 3 are paired and are provided at a point where monitoring is performed (hereinafter referred to as a monitoring point).
  • a monitoring point a point where monitoring is performed
  • two or more cameras 2 may be provided at one monitoring point, or two or more millimeter wave radars 3 may be provided.
  • the information processing server 4 is connected to the camera 2 and the millimeter wave radar 3 provided at each of a plurality of monitoring points via the network N1.
  • the information processing server 4 acquires image data from the camera 2 and acquires millimeter wave data from the millimeter wave radar 3. And the information processing server 4 produces
  • the information processing server 4 transmits the generated monitoring screen data to the remote monitoring PC 5 via the network N2.
  • the information processing server 4 may receive the instruction information including the setting relating to the monitoring screen and / or the instruction relating to the monitoring point from the remote monitoring PC 5. In this case, the information processing server 4 generates a monitoring screen based on the instruction information.
  • the remote monitoring PC 5 receives monitoring screen data from the information processing server 4 via the network N2.
  • the remote monitoring PC 5 processes the data on the monitoring screen and displays the monitoring screen on a display unit (not shown).
  • the remote monitoring PC 5 may receive, for example, a setting related to a monitoring screen and / or an instruction related to a monitoring point from a user via an operation unit (not shown). In this case, the remote monitoring PC 5 may transmit instruction information including settings regarding the monitoring screen and / or instructions regarding the monitoring point to the information processing server 4.
  • one remote monitoring PC 5 is shown, but a plurality of remote monitoring PCs 5 may be provided.
  • the network N1 and the network N2 are shown, but the network N1 and the network N2 may be the same network or different networks.
  • the information processing server 4 is connected to the camera 2 and the millimeter wave radar 3 via the network N1, the information processing server 4 connects the camera 2 and / or the millimeter wave radar 3 to the network N1. You may make a direct connection or a wireless connection without going through.
  • the remote monitoring PC 5 may be directly connected to the information processing server 4 via a wired connection or a wireless connection without going through the network N2.
  • the remote monitoring PC 5 is input ( Or, the instruction information indicating the selected monitoring point is transmitted to the information processing server 4.
  • the information processing server 4 generates a monitoring screen regarding the road condition at the monitoring point indicated by the instruction information. Then, the information processing server 4 transmits the generated monitoring screen data to the remote monitoring PC 5 that is the transmission source of the instruction information.
  • FIG. 2 is a diagram illustrating an example of the configuration of the information processing server 4 according to the present embodiment.
  • the information processing server 4 includes a communication unit 41, a data synchronization unit 42, a data storage unit 43, a screen generation unit 44, and a mode setting unit 45.
  • the communication unit 41 is an interface for communication with the camera 2 and the millimeter wave radar 3 via the network N1.
  • the communication unit 41 is an interface for communication with the remote monitoring PC 5 via the network N2.
  • the data synchronization unit 42 acquires image data from the camera 2 via the communication unit 41. In addition, the data synchronization unit 42 acquires millimeter wave data from the millimeter wave radar 3 via the communication unit 41.
  • Data synchronization unit 42 synchronizes image data and millimeter wave data. For example, the data synchronization unit 42 adjusts the timing at which the image data is generated and the timing at which the millimeter wave data is generated based on the time information included in the image data and the time information included in the millimeter wave data.
  • the data synchronization unit 42 selects and selects millimeter wave data including time information indicating a time difference between the time indicated by the time information included in the image data and a time indicated by the time information included in the image data for a frame of image data.
  • the millimeter wave data thus made correspond to the image data of one frame.
  • the data synchronization unit 42 selects millimeter wave data including time information indicating the time closest to the time indicated by the time information included in the image data for one frame of image data, and selects the selected millimeter wave data. It may be associated with one frame of image data.
  • the data synchronization unit 42 converts one image data into two different millimeter wave data. Data may be synchronized so as to be associated. Alternatively, the data synchronization unit 42 may synchronize data so that one millimeter wave data is associated with two different image data. The data synchronization unit 42 associates image data and millimeter wave data in which the time indicated by each time information is included within a predetermined time.
  • the data synchronization unit 42 outputs the synchronized data to the data storage unit 43. In addition, the data synchronization unit 42 outputs the synchronized data to the screen generation unit 44.
  • the data storage unit 43 stores the image data and the millimeter wave data, which are synchronized by the data synchronization unit 42, in association with each other.
  • image data and millimeter wave data are stored in time series based on time information.
  • the data storage unit 43 may store image data and millimeter wave data of each of a plurality of monitoring points.
  • the screen generation unit 44 acquires the synchronized image data (time adjusted) and millimeter wave data from the data synchronization unit 42. Further, the screen generation unit 44 may acquire instruction information including settings regarding the monitoring screen and / or instructions regarding the monitoring point from the remote monitoring PC 5 via the communication unit 41.
  • the screen generation unit 44 associates the synchronized image data (time adjusted) with the millimeter wave data, and generates a monitoring screen showing the road condition.
  • the screen generation unit 44 performs signal processing (for example, clustering processing) on the millimeter wave data of the millimeter wave radar 3 provided at the monitoring point indicated by the instruction information, and estimates a region corresponding to the reflecting object.
  • the estimated area is an example of millimeter wave data information.
  • the screen generation unit 44 converts the millimeter wave data corresponding to the scanning area so as to correspond to the monitoring area.
  • the screen generation unit 44 may perform a coordinate conversion process for converting information of millimeter wave data defined by the millimeter wave radar coordinate system into a camera coordinate system.
  • the screen generation unit 44 superimposes the information of the millimeter wave data after the coordinate conversion on the image indicated by the image data.
  • the screen generation unit 44 may perform signal processing according to the mode instructed by the mode setting unit 45 and generate a monitoring screen according to the mode.
  • An example of the mode and a monitoring screen corresponding to the mode will be described later.
  • the screen generation unit 44 transmits the generated monitoring screen data to the remote monitoring PC 5.
  • the screen generation unit 44 may transmit the millimeter wave data used for generating the monitoring screen data to the remote monitoring PC 5.
  • the screen generation unit 44 may generate a monitoring screen using data stored in the data storage unit 43.
  • the mode setting unit 45 acquires instruction information via the communication unit 41.
  • the mode setting unit 45 instructs the screen generation unit 44 about the mode related to the monitoring screen included in the instruction information.
  • FIG. 3 is a flowchart showing an example of processing of the information processing server 4 according to the present embodiment.
  • the flowchart shown in FIG. 3 shows the process with respect to the data acquired from the camera 2 and the millimeter wave radar 3 provided in one monitoring point.
  • the information processing server 4 may perform the processing shown in FIG. 3 in parallel on the data acquired from the camera 2 and the millimeter wave radar 3 provided at each monitoring point.
  • the data synchronization unit 42 acquires image data from the camera 2 (S101).
  • the data synchronizer 42 acquires millimeter wave data from the millimeter wave radar 3 (S102).
  • S101 and S102 are not limited to this.
  • the process of S101 is executed every time the camera 2 transmits image data
  • the process of S102 is executed every time the millimeter wave radar 3 transmits millimeter wave data.
  • the data synchronization unit 42 performs data synchronization processing for synchronizing image data and millimeter wave data (S103).
  • the data synchronization unit 42 performs a data accumulation process for accumulating the synchronized data in the data accumulation unit 43 (S104).
  • the screen generation unit 44 performs clustering processing on the millimeter wave data (S105).
  • the clustering process is a process for grouping a plurality of reflection points corresponding to one reflector included in the millimeter wave data.
  • information about the reflecting object such as the size, shape, and color of the reflecting object may be acquired.
  • a region including a group of a plurality of reflection points corresponding to one reflector after the clustering process is referred to as a reflection region.
  • the screen generation unit 44 may use millimeter wave data before the current time stored in the data storage unit 43.
  • the screen generation unit 44 may distinguish, for example, the reflection point corresponding to the moving object and the reflection point corresponding to the stationary object by processing in time series using the millimeter wave data before the current time.
  • the screen generation unit 44 performs data processing according to the set mode (S106).
  • the screen generation unit 44 performs tracking processing of the moving body. For example, as one example of the tracking process, the screen generation unit 44 performs a process of determining the moving direction of the reflection area corresponding to the moving object.
  • the screen generation unit 44 receives the reflected signal received intensity indicated by the millimeter wave data, the reflection area
  • the type of reflector is identified using the size or the like.
  • the screen generation unit 44 is within a certain time accumulated in the data accumulation unit 43.
  • the number of times (frequency) at which the reflecting object is detected in the scanning area is calculated for each partial range.
  • the screen generation unit 44 performs a monitoring screen generation process in which image data and millimeter wave data are associated with each other (S107).
  • the screen generation unit 44 performs a process of superimposing the millimeter wave data on the camera image indicated by the image data.
  • the screen generation unit 44 may coordinate-convert the information of the millimeter wave data so that the millimeter wave radar coordinate system is aligned with the camera coordinate system.
  • the screen generation unit 44 performs processing for transmitting the generated monitoring screen data (S108).
  • Display example 1 is an example of a screen displayed on the display unit of the remote monitoring PC 5 when the monitoring user selects an intersection monitoring point via the operation unit of the remote monitoring PC 5.
  • FIG. 4 is a diagram showing a display example 1 of the display screen in the present embodiment.
  • Display example 1 shown in FIG. 4 is obtained from a camera 2 provided obliquely upward as viewed from the road surface of an intersection, which is a monitoring point, and a millimeter wave radar 3 provided at substantially the same position as the camera 2. Includes a monitoring screen generated based on the data.
  • a “reverse run detection” button an “object identification” button, a “heat map” button, and a “setting” button are shown. Each button is pressed by the user when setting a monitor screen, for example, a mode regarding a monitor screen.
  • a region R1 for displaying millimeter wave data is shown in the lower part of FIG. 4.
  • An example of the monitoring screen is shown in the area R2.
  • a plurality of grids separated by a plurality of vertical lines and horizontal lines with the position of the millimeter wave radar 3 as a reference (origin) are shown.
  • an area A1 indicating a scanning area of the millimeter wave radar 3 and a reflection point in the area A1 are shown. Note that the display of the region R1 may be omitted as appropriate depending on, for example, user settings.
  • the millimeter wave data obtained by scanning with the millimeter wave radar 3 is superimposed on the camera image on the monitoring screen in the region R2.
  • the screen generation unit 44 may perform a coordinate conversion process when superimposing millimeter wave data on a camera image. For example, the screen generation unit 44 converts the area A1 defined by the millimeter wave radar coordinate system and the reflection points in the area A1 to the camera coordinate system. In the monitoring screen of the region R2, millimeter wave data converted into the coordinate system of the monitoring area of the camera 2 is superimposed on the camera image.
  • the area A1 of the region R1 defined by the millimeter wave radar coordinate system corresponds to the area sandwiched between the lines L1 and L2 on the monitoring screen of the region R2 defined by the camera coordinate system.
  • the area sandwiched between the line L1 and the line L2 in the region R2 indicates the scanning area of the millimeter wave radar 3 in the camera image.
  • the area sandwiched between the line L1 and the line L2 may be indicated by a mode (for example, a different color) different from the camera image so that the camera image is transmitted, for example. Further, the area sandwiched between the line L1 and the line L2 may be omitted as appropriate.
  • the frames r1 to r4 are shown in a different mode (for example, different colors) from the frames r5 and r6.
  • the form of the frame differs depending on whether the reflecting object detected using the millimeter wave data is a moving object or a stationary object.
  • the mode of the frame indicating the reflecting object, the user can visually confirm information on whether the reflecting object detected by the millimeter wave radar 3 is a moving object or a stationary object.
  • the frames r1 to r4 indicate moving bodies (vehicles or pedestrians), and the frames r5 and r6 indicate stationary objects (structures provided on the road side of the road).
  • the “reverse run detection” button, “object identification” button, “heat map” button, and “setting” button at the top of FIG. 4 are the reverse run detection mode, object identification mode, heat map mode, and setting mode, respectively.
  • the remote monitoring PC 5 transmits to the information processing server 4 that the mode corresponding to the pressed button has been set.
  • the display example 2 is displayed on the display unit of the remote monitoring PC 5 when the user who performs monitoring presses the “reverse running detection” button via the operation unit of the remote monitoring PC 5 and the reverse running detection mode is set. It is an example of a screen.
  • FIG. 5 is a diagram showing a display example 2 of the display screen in the present embodiment.
  • Display example 2 shown in FIG. 5 includes a camera 2 provided on the road surface of a total of four lanes each having two lanes on one side as monitoring points, and a millimeter-wave radar provided at substantially the same position as camera 2. 3 and a monitoring screen generated based on the data acquired from the data.
  • a “reverse run detection” button In the upper part of FIG. 5, a “reverse run detection” button, an “object identification” button, a “heat map” button, and a “setting” button are shown. In FIG. 5, since the reverse running detection mode is set, the “reverse running detection” button is pressed.
  • Area R3 is a monitoring screen that is displayed when the reverse running detection mode is set. In the region R3, millimeter wave data is superimposed on the camera image.
  • the screen generation unit 44 may perform coordinate conversion processing as in the example of FIG. 4 when superimposing millimeter wave data on a camera image.
  • the screen generation unit 44 performs a process of detecting the backward running of the moving body (for example, a vehicle).
  • the screen generation unit 44 detects a moving object existing in the scanning area using the millimeter wave data. Then, the screen generation unit 44 detects the detected moving direction of the moving body.
  • the method of detecting the moving direction of the moving body may be, for example, a method using Doppler shift or a method of comparing the current position with the position of the moving body before the current time.
  • the position of the moving body at a time before the current time may be detected using, for example, past millimeter wave data stored in the data storage unit 43.
  • the screen generation unit 44 uses a frame indicating the position of the detected moving object (frame r7 and frame r8 in FIG. 5) and an arrow indicating the moving direction of the detected moving object (arrow x7 and arrow x8 in FIG. 5) in the camera image. You may superimpose.
  • the frame indicating the position of the detected moving body and the arrow indicating the moving direction are examples of millimeter wave data information.
  • the screen generation unit 44 determines whether or not the detected moving direction of the moving body is different from the traveling direction (hereinafter referred to as the forward direction) determined for the road included in the monitoring area.
  • the forward direction is uniquely determined. Therefore, the forward direction may be set in advance according to the position and orientation in which the camera 2 and the millimeter wave radar 3 are installed, for example.
  • the screen generation unit 44 may determine the forward direction by monitoring the moving directions of a plurality of moving bodies that pass through the monitoring area for a certain period of time.
  • the screen generation unit 44 determines that the detected moving body is running backward when the detected moving direction of the moving body is different from the forward direction.
  • the screen generation unit 44 may define a scale z that finely divides the road as shown in FIG. 5 and may determine the moving direction at each scale z. Determination errors can be suppressed by determining the movement direction on a plurality of scales.
  • the screen generating unit 44 When the screen generating unit 44 detects a moving body that runs backward, it transmits warning information indicating that the moving body that runs backward is detected.
  • the remote monitoring PC 5 that has received the warning information notifies the display unit of the warning.
  • the warning notification method may be, for example, a method using symbol and / or character information, or a method of changing the color of at least a part of the display unit.
  • the remote monitoring PC 5 may notify a warning using voice.
  • the screen generation unit 44 may use the millimeter wave data before the present time to capture a moving object that is running backward and determine the situation where the moving object is running backward. And the screen production
  • generation part 44 may add the information which shows the condition where the moving body reversely run to warning information.
  • the situation in which the moving body runs backward is, for example, whether the backward running is intentional or whether the backward running is caused by a driver's operation error.
  • the screen generation unit 44 determines that the reverse running is intentional.
  • the screen generation unit 44 determines that the reverse running is intentional when the moving body makes a so-called U-turn that suddenly changes the traveling direction to reverse.
  • the screen generator 44 is caused by an error in the driver's operation (for example, “inadvertently”). It is determined that
  • the remote monitoring PC 5 that has received the warning information may change the warning notified to the display unit according to the information indicating the situation in which the mobile object has run backward.
  • the screen generation unit 44 changes at least one of the thickness, type, color tone, brightness, and contrast of the frame line of the frame r8 when it is determined to run backward on the monitoring screen, or the frame r8. Highlighting such as blinking may be performed.
  • the information processing server 4 controls external devices based on the warning information acquired from the screen generation unit 44, and issues a warning to the mobile object that is running backward and / or around the mobile object that is running backward. You may provide the warning control part to perform.
  • the warning control unit is provided around the monitoring point, for example, and controls at least one of a warning light, an LED (Light1Emitting Diode) illumination column, and a display board (guide board) connected to the network N1, and runs backward. Warning around the monitoring point that there is a moving body. For example, the warning control unit controls the color and brightness of the warning light and / or the LED lighting column, the interval between lighting and extinguishing, and notifies the abnormality around the monitoring point.
  • the result of detecting the reverse running using the millimeter wave data is superimposed on the camera image, so that the reverse running that may be delayed in the camera image can be detected, and the user's visual sense is detected. Can efficiently assist traffic monitoring.
  • Display example 3 is a screen displayed on the display unit of the remote monitoring PC 5 when the user who performs monitoring presses the “object identification” button via the operation unit of the remote monitoring PC 5 and the object identification mode is set. It is an example.
  • FIG. 6 is a diagram showing a display example 3 of the display screen in the present embodiment.
  • Display example 3 shown in FIG. 6 is obtained from a camera 2 provided obliquely upward as viewed from the road surface of an intersection, which is a monitoring point, and a millimeter wave radar 3 provided at substantially the same position as the camera 2. Includes a monitoring screen generated based on the data.
  • a “reverse run detection” button an “object identification” button, a “heat map” button, and a “setting” button are shown.
  • the “object identification” button is pressed.
  • Area R4 is a monitoring screen set in the object identification mode. In the region R4, millimeter wave data is superimposed on the camera image.
  • the screen generation unit 44 may perform coordinate conversion processing as in the example of FIG. 4 when superimposing millimeter wave data on a camera image.
  • the screen generation unit 44 performs a process of identifying an object detected in the millimeter wave data.
  • the screen generation unit 44 detects an object existing in the monitoring area using the millimeter wave data.
  • the object to be detected may be a moving body or a stationary object.
  • the screen generation unit 44 detects a feature that identifies the detected object.
  • the feature that identifies the object is, for example, at least one of the type of the object (eg, oversized vehicle, large vehicle, ordinary vehicle, two-wheeled vehicle, and person), size (eg, width and height), color, and shape. There may be.
  • the method for detecting the feature of the object may be a known method based on, for example, at least one information of the reception intensity of the reflected signal and the Doppler frequency of the reflected signal, or other information.
  • the screen generation unit 44 may superimpose a frame indicating the position of the detected object and information indicating the characteristics of the detected object on the camera image. For example, it is possible to identify the types of people, bicycles, motorcycles, ordinary vehicles, large vehicles, etc. as moving objects.
  • the information indicating the feature of the object may be, for example, character information.
  • the feature of the object may be indicated by changing the type and / or color of the frame indicating the position of the object according to the feature of the object.
  • information indicating the probability (reliability) of the feature for each type of object may be superimposed.
  • a frame r9 and a frame r10 that indicate the detected position of the vehicle are shown using different modes (for example, different colors) from the frame r11 and the frame r12 that indicate the detected position of the pedestrian.
  • the character information indicates that the type of vehicle indicated by the frame r9 is “ordinary vehicle”. In addition, it is indicated by using character information that the probability of those features is “0.95”. This numerical value indicates, for example, that the reflector indicated by the frame r9 is a normal vehicle with 95% reliability.
  • the object identification mode by superimposing the identification result information indicating the feature of the object detected using the millimeter wave data on the camera image, the user can recognize the object that is difficult to confirm in the camera image.
  • Features can be confirmed and traffic monitoring can be performed visually.
  • the feature of the object can be confirmed even when the camera image is not clear due to the weather and / or date and time.
  • information such as black or white may be added as the color information of the object as shown in FIG. 6 using the analysis result of the camera image.
  • Display example 4 is a screen displayed on the display unit of the remote monitoring PC 5 when the user who performs monitoring presses the “heat map” button via the operation unit of the remote monitoring PC 5 and the heat map mode is set. It is an example.
  • FIG. 7 is a diagram showing a display example 4 of the display screen in the present embodiment.
  • Display example 4 shown in FIG. 7 is obtained from the camera 2 provided obliquely upward as viewed from the road surface of the intersection, which is a monitoring point, and the millimeter wave radar 3 provided at substantially the same position as the camera 2. Includes a monitoring screen generated based on the data.
  • a “reverse run detection” button, an “object identification” button, a “heat map” button, and a “setting” button are shown.
  • the “heat map” button is pressed.
  • Area R5 is a monitoring screen set to the heat map mode. In the region R5, millimeter wave data is superimposed on the camera image.
  • the screen generation unit 44 may perform coordinate conversion processing as in the example of FIG. 4 when superimposing millimeter wave data on a camera image.
  • the screen generation unit 44 uses the millimeter wave data before the current time to determine the staying state of the object, and generates heat map information indicating the staying state. I do.
  • the screen generation unit 44 uses the millimeter wave data acquired at a certain time before the current time to count the number of reflectors detected at a certain time in each of the detection rectangular frames obtained by dividing the monitoring area into a plurality of grids. Then, the screen generation unit 44 classifies the detection rectangular frames according to the number of detected reflection objects. In that case, you may classify a detection rectangular frame according to the kind (for example, vehicle or a pedestrian) and the number of the reflected objects detected.
  • the kind for example, vehicle or a pedestrian
  • the screen generation unit 44 may superimpose heat map information indicating the classified detection rectangular frames on the camera image.
  • the information of the heat map indicating the classified detection rectangular frame is, for example, a difference in aspect such as a difference in color.
  • the screen generation unit 44 may superimpose colors corresponding to the number of detected reflection objects in such a manner as to transmit the camera image.
  • information indicating the detection rectangular frames classified according to the number of detected reflectors is indicated by four color differences “Lv1” to “Lv4”.
  • the areas Lv2 to Lv4 correspond to roadway areas.
  • the Lv4 region corresponds to a region corresponding to a pedestrian crossing where both the vehicle and the pedestrian pass frequently, or a region corresponding to a stop line where the vehicle stops frequently.
  • the intersection of the monitoring points is an intersection with few left turns.
  • the road structure for example, the number of lanes, the type of lane (for example, a right turn lane), and the shape of the lane
  • the road structure for example, the number of lanes, the type of lane (for example, a right turn lane), and the shape of the lane.
  • a region where a vehicle is frequently detected is a roadway
  • a region where a pedestrian is detected frequently is a sidewalk
  • a region where both a vehicle and pedestrian are detected is a pedestrian crossing. It can be carried out.
  • the position where the number of times the vehicle is detected is relatively near the stop line of the roadway in the roadway area.
  • the road structure of the monitoring area can be estimated with high accuracy, so that a display with a high visual effect for the user can be performed.
  • the road structure in the monitoring area can be estimated with high accuracy, it is possible to accurately predict the situation of pedestrians and / or vehicles jumping out and passing through two-wheeled vehicles, and effective warnings can be given at the monitoring points.
  • the road structure in the monitoring area can be estimated with high accuracy, the trouble of setting the road structure when the camera 2 and the millimeter wave radar 3 are installed can be reduced, and the setting can be simplified.
  • FIG. 5 to FIG. 7 millimeter wave data obtained by scanning by the millimeter wave radar 3 may be displayed as in the region R1 of FIG.
  • the display example 5 is an example of a screen displayed on the display unit of the remote monitoring PC 5 when the monitoring user presses the “setting” button via the operation unit of the remote monitoring PC 5 and the setting mode is set. It is.
  • FIG. 8 is a diagram showing a display example 5 of the display screen in the present embodiment.
  • a “reverse run detection” button an “object identification” button, a “heat map” button, and a “setting” button are shown.
  • the “setting” button is pressed.
  • the “maintenance mode”, “weather estimation mode”, and “night mode” buttons that can be set in the setting mode are displayed on the display screen of FIG. The user who performs monitoring depresses the displayed button and selects another mode. Hereinafter, each mode will be described.
  • the information processing server 4 performs fixed point observation of the camera 2 and / or the millimeter wave radar 3 provided at the monitoring point.
  • the information processing server 4 determines the parameters of the camera 2 (for example, the angle of view, resolution and exposure of the camera 2) and / or the parameters of the millimeter wave radar 3 (for example, the resolution). , Transmission output and reception sensitivity). If the abnormality is detected even after repeated parameter adjustments, the information processing server 4 notifies the remote monitoring PC 5 of information for notifying the abnormality. Receiving the notification, the remote monitoring PC 5 displays information notifying the abnormality on the display unit.
  • the information processing server 4 estimates the weather using the millimeter wave data. For example, the information processing server 4 detects the attenuation of the reception intensity of the reflected signal indicated by the millimeter wave data and / or the fluctuation of the Doppler frequency of the reflected signal according to the difference in weather, and based on the detected amount, The weather may be estimated.
  • the information processing server 4 mainly displays a display based on the millimeter wave data, instead of superimposing the millimeter wave data on the camera image. Thereby, when the image taken by the camera 2 at night or the like is not clear and it is difficult to identify the object, it is possible to avoid a display that is difficult to see when superimposed.
  • modes that can be set in the setting mode may include modes that are shown in the following examples.
  • the screen generation unit 44 uses the millimeter wave data acquired at a certain time before the current time to detect the vehicle detected at a certain time in each of the detection rectangular frames obtained by dividing the monitoring area into a plurality of grids. Count the number. Then, the screen generator 44 generates traffic flow information according to the number of detected objects and superimposes it on the camera image.
  • the screen generation unit 44 statistically calculates information such as an inter-vehicle distance, a speed, and a vehicle length according to the number of detected vehicles. Then, the screen generation unit 44 estimates the degree of traffic jam in the monitoring area. Note that the screen generation unit 44 may perform estimation for each time zone and / or for each date. The time zone and / or date for performing the estimation may be designated by the user via the remote monitoring PC 5.
  • the screen generation unit 44 may estimate the degree of traffic jam for each type of detected object. For example, the screen generation unit 44 may estimate the degree of congestion for each type of vehicle such as a normal vehicle, a large vehicle, or a two-wheeled vehicle.
  • intersection monitoring mode In the intersection monitoring mode, the information processing server 4 uses the camera 2 and the millimeter wave radar 3 provided around the intersection to detect an event that easily occurs at the intersection, and issues a warning according to the detection result.
  • the information processing server 4 confirms the presence or absence of a moving body (for example, a two-wheeled vehicle) around the vehicle that makes a left turn when detecting the vehicle that makes a left turn in order to prevent the vehicle from getting involved when making a left turn.
  • a moving body for example, a two-wheeled vehicle
  • the information processing server 4 issues a warning (for example, a pop-out warning) to the motorcycle and its surroundings.
  • the information processing server 4 uses the millimeter wave data to detect the motorcycle with priority in order to detect slipping by the motorcycle. Then, the information processing server 4 tracks the detected travel route of the two-wheeled vehicle, and when the two-wheeled vehicle passes through a normal vehicle or the like, warns the two-wheeled vehicle and its surroundings (for example, a pop-out warning).
  • the information processing server 4 detects the presence / absence of an animal on or around the road based on the millimeter wave data. For example, the information processing server 4 extracts information specific to the case where the animal is a reflector from the information of the reflected signal included in the millimeter wave data, and detects the presence or absence of the animal.
  • a traffic monitoring system that monitors road traffic on which vehicles, pedestrians, and the like pass is described as an example.
  • the present disclosure is not limited to this.
  • it may be a traffic monitoring system that monitors railways and railway users.
  • the camera 2 and the millimeter wave radar 3 may be provided at a position overlooking the home and the track and / or at a position near the track below the home.
  • a “fall detection mode” or the like may be included in a settable mode.
  • the camera 2 and / or the millimeter wave radar 3 In the fall detection mode, the camera 2 and / or the millimeter wave radar 3 (hereinafter referred to as “camera on the home / radar”) provided above the home carry a person or an article (an umbrella, a wallet, etc.) walking around the home. ), The detection of the camera 2 and / or the millimeter wave radar 3 (hereinafter referred to as “camera under the home / radar”) provided below the home is started. Then, the home camera / radar data and the home camera / radar data from the point of time when the fall of the home is detected are stored in association with each other.
  • the home camera / radar data and the home camera / radar data from the point of time when the fall of the home is detected are stored in association with each other.
  • the stationary object may be extracted by the camera under the platform.
  • the image data captured by the camera and the millimeter wave data acquired by the millimeter wave radar are synchronized, and the synchronized image data and the millimeter wave data are associated with each other,
  • a traffic monitoring system including an information processing server that generates a monitoring screen indicating a situation has been described.
  • the data obtained from the two sensor devices, the camera and the millimeter wave radar are synchronized, and the monitoring screen in which the synchronized data is associated is generated. It can be done well and efficiently.
  • camera images obtained from camera data can provide visually useful information to the monitoring user, and millimeter wave radar data cannot be obtained from the camera image for the monitoring user. Information can be provided. Therefore, in this embodiment, it is possible to accurately and efficiently monitor road conditions by associating detailed information obtained from the millimeter wave radar with a camera image.
  • the present disclosure has been described with respect to an example configured using hardware.
  • the present disclosure can also be realized by software in cooperation with hardware.
  • each functional block used in the description of the above embodiment is typically realized as an LSI which is an integrated circuit.
  • the integrated circuit may control each functional block used in the description of the above embodiment, and may include an input and an output. These may be individually made into one chip, or may be made into one chip so as to include a part or all of each functional block.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized using a dedicated circuit or a general-purpose processor.
  • An FPGA Field-Programmable-Gate-Array
  • a reconfigurable processor in which connection and setting of circuit cells inside the LSI can be reconfigured may be used.
  • the present disclosure can be expressed as a control method executed in a wireless communication device or a control device.
  • the present disclosure can be expressed as a program for operating such a control method by a computer.
  • the present disclosure can be expressed as a recording medium in which such a program is recorded in a state that can be read by a computer. That is, the present disclosure can be expressed in any category of an apparatus, a method, a program, and a recording medium.
  • the present disclosure is not limited to the above-described embodiment in terms of the type, arrangement, number, and the like of the members, and departs from the gist of the invention, such as appropriately replacing the constituent elements with those having the same operational effects. It can change suitably in the range which does not.
  • This disclosure is suitable for use in traffic monitoring.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

カメラとレーダという２つのセンサデバイスを融合させ、道路状況の監視を精度良くかつ効率的に行う交通監視システムおよび交通監視方法の提供に資すること。交通監視システムは、道路を含む監視エリアを撮影し、画像データを生成するカメラと、監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、カメラ及びミリ波レーダと接続し、画像データ及びミリ波データを取得する情報処理サーバと、を備える。情報処理サーバは、画像データが生成されたタイミングとミリ波データが生成されたタイミングとの差が一定値以下となるように画像データとミリ波データとの同期を図るデータ同期部と、同期が図られた画像データとミリ波データとを対応づけて、道路の状況を示す監視画面を生成する画面生成部と、を備える。

Description

交通監視システムおよび交通監視方法
　本開示は、交通監視システムおよび交通監視方法に関する。
　従来、交差点などの道路において、自転車を含む車両および歩行者の移動を監視する交通監視システムの導入が進められている。交通監視システムでは、車両および歩行者（以下、移動体と記載する）を精度良く、漏れなく検知することによって、道路状態の通知および／または危険アラートの通知を効率良く行うことが望まれる。
　例えば、特許文献１には、監視カメラの撮影画像に基づいて、道路の所定区間毎に対応させた道路状況画像を生成し、定められた表示色により道路状況画像を表示する方法が開示されている。
　また、例えば、特許文献２には、ミリ波レーダにより走行車両を計測し、車線数、各斜線幅、中央分離帯幅などを自動的に判断しながら車両交通量を監視する装置が開示されている。
特開２００４－１０２５４５号公報 特開２００７－２５７５３６号公報
　しかしながら、監視カメラとレーダという２つのセンサデバイスを融合させ、道路状況の監視を精度良くかつ効率的に行う交通監視システムに対する検討は十分ではない。
　本開示の非限定的な実施例は、カメラとレーダという２つのセンサデバイスを融合させ、道路状況の監視を精度良くかつ効率的に行う交通監視システムおよび交通監視方法の提供に資する。
　本開示の一態様に係る交通監視システムは、道路を含む監視エリアを撮影し、画像データを生成するカメラと、前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、を備える交通監視システムであって、前記情報処理サーバは、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す監視画面を生成する画面生成部と、を備える。
　本開示の一態様に係る交通監視方法は、道路を含む監視エリアを撮影し、生成された画像データをカメラから取得し、前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す監視画面を生成する。
　なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様によれば、カメラとレーダという２つのセンサデバイスを融合させ、道路状況の監視を精度良くかつ効率的に行う交通監視システムおよび交通監視方法の提供に資する。
　本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本開示の一実施の形態に係る交通監視システムの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの処理の一例を示すフローチャート 本開示の一実施の形態における表示画面の表示例１を示す図 本開示の一実施の形態における表示画面の表示例２を示す図 本開示の一実施の形態における表示画面の表示例３を示す図 本開示の一実施の形態における表示画面の表示例４を示す図 本開示の一実施の形態における表示画面の表示例５を示す図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　（一実施の形態）
　＜交通監視システムの構成＞
　図１は、本実施の形態に係る交通監視システム１の構成の一例を示す図である。交通監視システム１は、複数のカメラ２と、複数のミリ波レーダ３と、情報処理サーバ（制御装置）４と、遠隔監視ＰＣ（Personal Computer）５と、を備える。本実施の形態では、車両、歩行者などが通行する道路交通を監視する交通監視システムを一例に挙げて説明する。
　カメラ２およびミリ波レーダ３は、ネットワークＮ１を介して、情報処理サーバ４と接続する。ネットワークＮ１は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。
　情報処理サーバ４は、ネットワークＮ２を介して、遠隔監視ＰＣ５と接続する。ネットワークＮ２は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。
　カメラ２は、例えば、道路周辺の構造物（例えば、道路標識を設置するポール）の上方に設けられる。カメラ２は、道路を含む道路周辺のエリアを撮影する。なお、カメラ２の撮影範囲であって、道路を含む道路周辺のエリアを監視エリアと記載してもよい。
　カメラ２は、撮影した画像のデータ（画像データ）を生成し、撮影した画像データを情報処理サーバ４へ送信する。送信される画像データには、画像データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、カメラ２が撮影を行った時刻であってもよい。また、カメラ２は、例えば、フレーム単位で画像データを情報処理サーバ４へ送信してもよい。また、カメラ２によって撮影された画像は、カメラ画像と記載されてもよい。また、例えば、カメラ画像の横方向と縦方向を規定する座標系は、カメラ座標系と記載されてもよい。カメラ座標系は、例えば、カメラ２の設置位置、カメラ２の向きおよびカメラの画角に基づいて規定される。
　ミリ波レーダ３は、例えば、道路周辺の構造物の上方に設けられる。ミリ波レーダ３は、道路周辺に対してミリ波帯のレーダ信号を送信し、レーダ信号が道路周辺の物体によって反射した反射信号を受信する。なお、ミリ波レーダ３は、複数の方向へ、順次、レーダ信号を送信することによって、道路周辺を走査する。ミリ波レーダ３がレーダ信号を走査する範囲を走査エリアと記載してもよい。
　ミリ波レーダ３は、例えば、レーダ信号を送信した時刻と反射信号を受信した時刻との間の時間、レーダ信号を送信した方向、反射信号の受信強度、及び、反射信号のドップラー周波数の少なくとも１つの情報に基づいて、ミリ波データを生成する。
　ミリ波データは、例えば、レーダ信号を反射した道路周辺の物体（以下、反射物と記載）を示す情報を含む。例えば、ミリ波データは、ミリ波レーダ３の位置を基準に規定した座標系における、反射物の位置を示す点（以下、反射点と記載）の集合を含むデータである。ミリ波レーダ３の位置を基準に規定した座標系とは、例えば、ミリ波レーダ３の位置からの距離と、ミリ波レーダ３が走査する方位角とによる、極座標系である。なお、ミリ波レーダ３の位置を基準に規定した座標系は、ミリ波レーダ座標系と記載されてもよい。ミリ波レーダ座標系は、例えば、ミリ波レーダ３の設置位置、ミリ波レーダ３の向きおよびミリ波レーダ３の走査エリア（検知範囲）に基づいて規定される。
　なお、反射点は１つの反射物に対して１つに限られない。ミリ波データでは、１つの反射物が複数の反射点によって表されてもよい。
　また、反射物には、例えば、道路周辺を移動する車両及び歩行者（以下、移動体と記載する）と、道路周辺に設けられた構造物（道路標識、信号など、以下、静止物と記載する）とが含まれる。ミリ波データには、移動体の位置を示す反射点と、静止物の位置を示す反射点とが含まれていてもよい。
　ミリ波レーダ３は、ミリ波データを情報処理サーバ４に送信する。送信されるミリ波データには、ミリ波データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、ミリ波データを生成するためのレーダ信号を送信した時刻であってもよいし、レーダ信号を受信した時刻であってもよい。また、ミリ波レーダ３は、設定された周期で走査エリアを走査し、ミリ波データを情報処理サーバ４へ送信してもよい。
　カメラ２が画像データを生成するタイミングと、ミリ波レーダ３がミリ波データを生成するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。また、カメラ２が画像データを送信するタイミングと、ミリ波レーダ３がミリ波データを送信するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。例えば、カメラ２が画像データを生成する頻度は、ミリ波レーダ３がミリ波データを生成する頻度よりも多い。
　なお、カメラ２とミリ波レーダ３は、同一の構造物に設置されてもよいし、互いに異なる構造物に設置されてもよい。また、カメラ２とミリ波レーダ３は、同一の筐体に設けられてもよいし、別々の筐体に設けられてもよい。
　また、カメラ２とミリ波レーダ３の設置する方法、場所、および、相対的な位置関係は、限定されない。また、カメラ２の監視エリアとミリ波レーダ３の走査エリアの位置関係は限定されない。本開示は、カメラ２の監視エリアにミリ波レーダ３の走査エリアが含まれるように設置されるのが好ましい。
　例えば、少なくとも１つのカメラ２と少なくとも１つのミリ波レーダ３が組となり、１つの監視を行う地点（以下、監視地点と記載する）に設けられる。なお、１つの監視地点には、２つ以上のカメラ２が設けられてもよいし、２つ以上のミリ波レーダ３が設けられてもよい。
　情報処理サーバ４は、ネットワークＮ１を介して、複数の監視地点にそれぞれ設けられるカメラ２およびミリ波レーダ３と接続する。情報処理サーバ４は、カメラ２から画像データを取得し、ミリ波レーダ３からミリ波データを取得する。そして、情報処理サーバ４は、画像データ及びミリ波データに基づき、監視地点における道路状況に関する監視画面を生成する。情報処理サーバ４は、ネットワークＮ２を介して、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。
　なお、情報処理サーバ４は、監視画面に関する設定および／または監視地点に関する指示を含む指示情報を、遠隔監視ＰＣ５から受信してもよい。この場合、情報処理サーバ４は、指示情報に基づき、監視画面を生成する。
　遠隔監視ＰＣ５は、ネットワークＮ２を介して、情報処理サーバ４から、監視画面のデータを受信する。遠隔監視ＰＣ５は、監視画面のデータの処理を行い、表示部（図示せず）に監視画面を表示する。
　なお、遠隔監視ＰＣ５は、例えば、操作部（図示せず）を介して、監視画面に関する設定および／または監視地点に関する指示を、ユーザから受け付けてもよい。この場合、遠隔監視ＰＣ５は、監視画面に関する設定および／または監視地点に関する指示を含む指示情報を情報処理サーバ４へ送信してもよい。
　なお、図１では、１台の遠隔監視ＰＣ５が示されるが、遠隔監視ＰＣ５は、複数であってもよい。また、図１では、ネットワークＮ１とネットワークＮ２が示されるが、ネットワークＮ１とネットワークＮ２は、同一のネットワークであってもよいし、異なるネットワークであってもよい。また、情報処理サーバ４が、ネットワークＮ１を介して、カメラ２およびミリ波レーダ３と接続する例を示したが、情報処理サーバ４は、カメラ２および／またはミリ波レーダ３と、ネットワークＮ１を介さずに、直接、有線接続または無線接続してもよい。また、遠隔監視ＰＣ５は、情報処理サーバ４と、ネットワークＮ２を介さずに、直接、有線接続または無線接続してもよい。
　以上説明した交通監視システム１では、例えば、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、特定の監視地点を入力した（または選択した）場合、遠隔監視ＰＣ５はその入力された（または選択された）監視地点を示す指示情報を、情報処理サーバ４へ送信する。
　情報処理サーバ４は、指示情報が示す監視地点における道路状況に関する監視画面を生成する。そして、情報処理サーバ４は、生成した監視画面のデータを、指示情報の送信元の遠隔監視ＰＣ５へ送信する。
　＜情報処理サーバの構成＞
　次に、情報処理サーバ４の構成の一例について説明する。図２は、本実施の形態に係る情報処理サーバ４の構成の一例を示す図である。
　例えば、情報処理サーバ４は、通信部４１と、データ同期部４２と、データ蓄積部４３と、画面生成部４４と、モード設定部４５と、を備える。
　通信部４１は、ネットワークＮ１を介したカメラ２およびミリ波レーダ３との通信のインタフェースである。また、通信部４１は、ネットワークＮ２を介した遠隔監視ＰＣ５との通信のインタフェースである。
　データ同期部４２は、通信部４１を介して、カメラ２から画像データを取得する。また、データ同期部４２は、通信部４１を介して、ミリ波レーダ３からミリ波データを取得する。
　データ同期部４２は、画像データとミリ波データとの同期を図る。例えば、データ同期部４２は、画像データに含まれる時刻情報とミリ波データに含まれる時刻情報に基づき、画像データが生成されたタイミングとミリ波データが生成されたタイミングとを調整する。
　例えば、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻との時間差が所定値以下の時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを当該１フレームの画像データに対応づける。あるいは、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻に最も近い時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを１フレームの画像データに対応づけてもよい。
　なお、例えば、カメラ２が画像データを生成する頻度と、ミリ波レーダ３がミリ波データを生成する頻度とが異なる場合、データ同期部４２は、１つの画像データを２つの異なるミリ波データに対応づけるように、データの同期を図ってもよい。あるいは、データ同期部４２は、１つのミリ波データを２つの異なる画像データに対応づけるように、データの同期を図ってもよい。データ同期部４２は、それぞれの時刻情報が示す時刻が所定の時間内に含まれる、画像データとミリ波データを対応づける。
　データ同期部４２は、同期を図ったデータをデータ蓄積部４３へ出力する。また、データ同期部４２は、同期を図ったデータを画面生成部４４へ出力する。
　データ蓄積部４３は、データ同期部４２によって同期が図られた画像データとミリ波データとを対応付けて蓄積する。データ蓄積部４３には、例えば、時刻情報に基づいて、画像データとミリ波データが時系列で蓄積される。また、データ蓄積部４３には、複数の監視地点それぞれの画像データとミリ波データが蓄積されてもよい。
　画面生成部４４は、データ同期部４２から、同期が図られた（タイミングが調整された）画像データとミリ波データを取得する。また、画面生成部４４は、通信部４１を介して、遠隔監視ＰＣ５から監視画面に関する設定および／または監視地点に関する指示を含む指示情報を取得してもよい。
　そして、画面生成部４４は、同期が図られた（タイミングが調整された）画像データとミリ波データとを対応づけて、道路の状況を示す監視画面を生成する。
　例えば、画面生成部４４は、指示情報が示す監視地点に設けられたミリ波レーダ３のミリ波データに対して信号処理（例えば、クラスタリング処理）を行い、反射物に対応する領域を推定する。推定した領域は、ミリ波データの情報の一例である。
　また、画面生成部４４は、走査エリアに対応するミリ波データを、監視エリアに対応するように変換を行う。例えば、画面生成部４４は、ミリ波レーダ座標系によって規定されるミリ波データの情報を、カメラ座標系へ変換する座標変換処理を行ってもよい。画面生成部４４は、座標変換後のミリ波データの情報を、画像データが示す画像に重畳する。
　また、画面生成部４４は、モード設定部４５によって指示されるモードに応じた信号処理を行い、モードに応じた監視画面を生成してもよい。なお、モードおよびモードに応じた監視画面の例については後述する。
　そして、画面生成部４４は、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。なお、画面生成部４４は、監視画面のデータの生成に用いたミリ波データを遠隔監視ＰＣ５へ送信してもよい。
　なお、画面生成部４４は、データ蓄積部４３に蓄積されたデータを用いて、監視画面を生成してもよい。
　モード設定部４５は、通信部４１を介して、指示情報を取得する。モード設定部４５は、指示情報に含まれる、監視画面に関するモードを、画面生成部４４へ指示する。
　＜情報処理サーバにおける処理フロー＞
　次に、情報処理サーバ４において実行される処理フローの一例について図３を参照して説明する。
　図３は、本実施の形態に係る情報処理サーバ４の処理の一例を示すフローチャートである。なお、図３に示すフローチャートは、１つの監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対する処理を示す。情報処理サーバ４は、各監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対して、図３に示す処理を並行して行ってもよい。
　データ同期部４２は、カメラ２から画像データを取得する（Ｓ１０１）。
　データ同期部４２は、ミリ波レーダ３からミリ波データを取得する（Ｓ１０２）。
　なお、Ｓ１０１とＳ１０２の順は、これに限定されない。また、Ｓ１０１の処理は、カメラ２が画像データを送信する毎に実行され、Ｓ１０２の処理は、ミリ波レーダ３がミリ波データを送信する毎に実行される。
　データ同期部４２は、画像データとミリ波データとの同期を図るデータ同期処理を行う（Ｓ１０３）。
　データ同期部４２は、同期を図ったデータをデータ蓄積部４３に蓄積するデータ蓄積処理を行う（Ｓ１０４）。
　画面生成部４４は、ミリ波データに対してクラスタリング処理を行う（Ｓ１０５）。
　クラスタリング処理とは、ミリ波データに含まれる、１つの反射物に対応する複数の反射点をグルーピングする処理である。グルーピングする処理によって、反射物のサイズ、形状、色といった反射物に関する情報が取得されてもよい。なお、以下では、クラスタリング処理後の１つの反射物に対応する複数の反射点のグループを包含する領域を、反射領域と記載する。
　なお、クラスタリング処理では、画面生成部４４は、データ蓄積部４３に蓄積された、現時点よりも前のミリ波データを用いてもよい。画面生成部４４は、現時点よりも前のミリ波データを用いて時系列で処理することによって、例えば、移動体に対応する反射点と、静止物に対応する反射点を区別してもよい。
　次に、画面生成部４４は、設定されたモードに応じたデータ処理を行う（Ｓ１０６）。
　例えば、設定されたモードが移動体の移動方向を監視するモード（例えば、後述する逆走検知モード）である場合、画面生成部４４は、移動体の追跡処理を行う。例えば、画面生成部４４は、追跡処理の一例として、移動体に対応する反射領域の移動方向を判定する処理を行う。
　また、例えば、設定されたモードが反射物の種類を識別するモード（例えば、後述する物体識別モード）である場合、画面生成部４４は、ミリ波データが示す反射信号の受信強度、反射領域のサイズなどを用いて、反射物の種類を識別する。
　また、例えば、設定されたモードが、反射物の滞留状況を判定するモード（例えば、後述するヒートマップモード）である場合、画面生成部４４は、データ蓄積部４３に蓄積された一定時間内のミリ波データを用いて、走査エリアにおいて、反射物が検知された回数（頻度）を、部分的な範囲毎に算出する。
　なお、設定されたモードに応じたデータ処理は、上述した例に限られない。
　次に、画面生成部４４は、画像データとミリ波データとを対応付けた監視画面の生成処理を行う（Ｓ１０７）。
　例えば、画面生成部４４は、画像データが示すカメラ画像に、ミリ波データを重畳する処理を行う。この処理において、画面生成部４４は、カメラ座標系にミリ波レーダ座標系が揃うように、ミリ波データの情報を座標変換してもよい。
　画面生成部４４は、生成した監視画面のデータを送信する処理を行う（Ｓ１０８）。
　次に、情報処理サーバ４において生成され、遠隔監視ＰＣ５の表示部に表示される監視画面の表示例について説明する。
　＜表示例１＞
　表示例１は、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、交差点の監視地点を選択した場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。
　図４は、本実施の形態における表示画面の表示例１を示す図である。図４に示す表示例１は、監視地点である交差点の路面から見ての斜め上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。
　図４の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。各ボタンは、監視画面に関する設定、例えば、監視画面に関するモードを設定する場合にユーザによって押下される。
　図４の下部には、ミリ波データを表示する領域Ｒ１が示される。そして、領域Ｒ２には、監視画面の一例が示される。
　例えば、領域Ｒ１には、ミリ波レーダ３の位置を基準（原点）とし、複数の縦線と横線により区切られた複数のグリッドが示される。そして、領域Ｒ１には、ミリ波レーダ３の走査エリアを示すエリアＡ１と、エリアＡ１における反射点が示される。なお、領域Ｒ１の表示は、例えば、ユーザの設定によって、適宜、省略されてもよい。
　例えば、領域Ｒ２の監視画面には、カメラ画像に、ミリ波レーダ３によって走査されて得られるミリ波データが重畳されている。
　なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、座標変換処理を行ってもよい。例えば、画面生成部４４は、ミリ波レーダ座標系によって規定されるエリアＡ１およびエリアＡ１内の反射点を、カメラ座標系へ変換する。領域Ｒ２の監視画面は、カメラ２の監視エリアの座標系へ変換されたミリ波データが、カメラ画像に重畳されている。
　例えば、ミリ波レーダ座標系によって規定される領域Ｒ１のエリアＡ１は、カメラ座標系によって規定される領域Ｒ２の監視画面ではラインＬ１とラインＬ２によって挟まれるエリアに対応する。
　なお、領域Ｒ２のラインＬ１とラインＬ２によって挟まれるエリアは、カメラ画像におけるミリ波レーダ３の走査エリアを示す。ラインＬ１とラインＬ２によって挟まれるエリアは、例えば、カメラ画像が透過するように、カメラ画像と異なる態様（例えば、異なる色）によって示されてもよい。また、ラインＬ１とラインＬ２によって挟まれるエリアは、適宜、省略されてもよい。
　領域Ｒ２のラインＬ１とラインＬ２によって挟まれるエリアでは、ミリ波データに基づいて検知された反射物に対応する反射領域を示す枠ｒ１～ｒ６が示される。このように、領域Ｒ２の監視画面では、反射物に対応する反射領域が、カメラ画像において枠を用いて示されるため、監視エリアに存在し、ミリ波レーダ３によって検知された反射物をユーザが視覚的に確認できる。
　また、枠ｒ１～枠ｒ４は、枠ｒ５および枠ｒ６と異なる態様（例えば、異なる色）によって示される。枠の態様は、ミリ波データを用いて検知した反射物が移動体か静止物かによって異なっている。反射物を示す枠の態様を変えることによって、ミリ波レーダ３によって検知された反射物が移動体か静止物かという情報を、ユーザが視覚的に確認できる。
　例えば、枠ｒ１～枠ｒ４は、移動体（車両または歩行者）を示し、枠ｒ５および枠ｒ６は、静止物（道路の路側に設けられる構造物）を示す。
　なお、図４の上部の、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンは、それぞれ、逆走検知モード、物体識別モード、ヒートマップモードおよび設定モードに対応する。ユーザは、遠隔監視ＰＣ５の操作部を操作し、いずれかのボタンを押下してもよい。その場合、遠隔監視ＰＣ５は、押下されたボタンに対応するモードが設定されたことを情報処理サーバ４へ送信する。
　次に、情報処理サーバ４がモードを変更した場合の表示例について説明する。
　＜表示例２＞
　表示例２は、監視を行うユーザが遠隔監視ＰＣ５の操作部を介して「逆走検知」ボタンを押下し、逆走検知モードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。
　図５は、本実施の形態における表示画面の表示例２を示す図である。図５に示す表示例２は、監視地点である片側２車線ずつの合計４車線の道路の路面の上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。
　図５の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図５では、逆走検知モードに設定されているため、「逆走検知」ボタンが押下された状態である。
　領域Ｒ３は、逆走検知モードに設定された場合に表示される監視画面である。領域Ｒ３には、カメラ画像に、ミリ波データが重畳されている。
　なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、図４の例と同様に、座標変換処理を行ってもよい。また、逆走検知モードに設定されている場合、画面生成部４４は、移動体（例えば、車両）の逆走を検知する処理を行う。
　例えば、逆走を検知する処理において、画面生成部４４は、ミリ波データを用いて、走査エリアに存在する移動体を検知する。そして、画面生成部４４は、検知した移動体の移動方向を検知する。移動体の移動方向の検知方法は、例えば、ドップラーシフトを用いた方法であってもよいし、現時点と現時点よりも前の時点の移動体の位置とを比較する方法であってもよい。現時点よりも前の時点の移動体の位置は、例えば、データ蓄積部４３に蓄積された過去のミリ波データを用いて検知されてもよい。
　画面生成部４４は、検知した移動体の位置を示す枠（図５の枠ｒ７および枠ｒ８）および検知した移動体の移動方向を示す矢印（図５の矢印ｘ７および矢印ｘ８）をカメラ画像に重畳させてもよい。検知した移動体の位置を示す枠および移動方向を示す矢印は、ミリ波データの情報の一例である。
　そして、画面生成部４４は、検知した移動体の移動方向が、監視エリアに含まれる道路に対して定められた進行方向（以下、順方向と記載する）と異なるか否かを判定する。
　なお、基本的には、カメラ２およびミリ波レーダ３の位置および向きが定まり、監視エリア（および走査エリア）が定まると、順方向は一意に定まる。そのため、順方向は、例えば、カメラ２およびミリ波レーダ３が設置された位置および向きに応じて、予め設定されてもよい。あるいは、画面生成部４４は、一定時間、監視エリアを通過する複数の移動体の移動方向を監視して、順方向を判定してもよい。
　なお、図５では、説明の便宜上、順方向を示す矢印ｘ０が示されている。
　画面生成部４４は、検知した移動体の移動方向が、順方向と異なる場合、検知した移動体が逆走している、と判定する。
　例えば、図５では、枠ｒ７が囲む移動体の矢印ｘ７は、順方向である矢印ｘ０と同じ方向であるため、枠ｒ７が囲む移動体は逆走していないと判定される。一方で、枠ｒ８が囲む移動体の矢印ｘ８は、順方向である矢印ｘ０と逆方向であるため、枠ｒ８が囲む移動体は逆走している、と判定される。
　なお、逆走しているか否かを判定する場合、画面生成部４４は、図５に示すように、道路を細かく区切る目盛ｚを規定し、各目盛ｚにおいて移動方向を判定してもよい。複数の目盛りにおいて移動方向を判定することにより、判定誤りを抑制できる。
　画面生成部４４は、逆走している移動体を検知した場合、逆走している移動体を検知したことを示す警告情報を送信する。
　警告情報を受信した遠隔監視ＰＣ５は、表示部に警告を通知する。警告の通知方法は、例えば、記号および／または文字情報を用いる方法であってもよいし、表示部の少なくとも一部の色を変更する方法であってもよい。あるいは、遠隔監視ＰＣ５は、音声を用いて警告を通知してもよい。
　なお、画面生成部４４は、現時点以前のミリ波データを用いて、逆走している移動体を捕捉し、移動体が逆走した状況を判定してもよい。そして、画面生成部４４は、移動体が逆走した状況を示す情報を警告情報に追加してもよい。移動体が逆走した状況とは、例えば、逆走が故意なのか否か、あるいは、逆走が運転者の操作の誤りに起因するものか否かである。
　例えば、画面生成部４４は、移動体が、比較的長い時間、逆走を継続している場合、その逆走が故意である、と判定する。あるいは、画面生成部４４は、移動体が、進行方向を突発的に逆に変更する、所謂、Ｕターンを行った場合、その逆走が故意である、と判定する。あるいは、画面生成部４４は、移動体が一時的に逆走した後、進行方向を順方向に変更した場合、その逆走が運転者の操作の誤り（例えば、「うっかり」）に起因するものである、と判定する。
　例えば、高速道路におけるサービスエリアおよびパーキングエリア等の休憩施設に入った車両が、高速道路の本線に合流する場合に、運転者のうっかりした操作で逆走してしまい、途中で逆走に気付いて順方向へ変更する状況がある。このような状況は、一時的な逆走として判定されてもよい。なお、運転者が無意識で、逆走に気付かないまま逆走を継続してしまうこともあるので、このような状況は故意の逆走として判定されてもよい。
　警告情報を受信した遠隔監視ＰＣ５は、移動体が逆走した状況を示す情報に応じて、表示部に通知する警告を変更してもよい。なお、画面生成部４４は、監視画面において、逆走と判定された場合、枠ｒ８の枠線の太さ、種類、色調、明るさおよび、コントラストの少なくとも１つを変化させる、あるいは、枠ｒ８を点滅表示させる、などの強調表示を行ってもよい。
　また、情報処理サーバ４は、画面生成部４４から取得する警告情報に基づいて、外部の機器を制御し、逆走している移動体および／または逆走している移動体の周辺に警告を行う警告制御部を備えてもよい。
　警告制御部は、例えば、監視地点の周辺に設けられ、ネットワークＮ１と接続する警告灯、ＬＥＤ（Light Emitting Diode）照明柱、および、表示板（案内板）の少なくとも１つを制御し、逆走する移動体が存在することを監視地点の周辺に警告する。例えば、警告制御部は、警告灯および／ＬＥＤ照明柱の色、明るさ、点灯と消灯の間隔を制御し、監視地点の周辺に異常を通知する。
　このように、逆走検知モードでは、ミリ波データを用いて逆走を検知した結果を、カメラ画像に重畳することによって、カメラ画像では検知が遅れるおそれのある逆走を検知でき、ユーザの視覚による交通監視を効率良く補助できる。
　＜表示例３＞
　表示例３は、監視を行うユーザが遠隔監視ＰＣ５の操作部を介して「物体識別」ボタンを押下し、物体識別モードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。
　図６は、本実施の形態における表示画面の表示例３を示す図である。図６に示す表示例３は、監視地点である交差点の路面から見ての斜め上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。
　図６の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図６では、物体識別モードに設定されているため、「物体識別」ボタンが押下された状態である。
　領域Ｒ４は、物体識別モードに設定された監視画面である。領域Ｒ４には、カメラ画像に、ミリ波データが重畳されている。
　なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、図４の例と同様に、座標変換処理を行ってもよい。また、物体識別モードに設定されている場合、画面生成部４４は、ミリ波データにおいて検知された物体を識別する処理を行う。
　例えば、画面生成部４４は、ミリ波データを用いて、監視エリアに存在する物体を検知する。検知する物体は、移動体であってもよいし、静止物であってもよい。そして、画面生成部４４は、検知した物体を識別する特徴を検知する。物体を識別する特徴は、例えば、物体の種類（例えば、特大車、大型車、普通車、二輪車および人）、大きさ（例えば、幅および高さ）、色、および、形状の少なくとも１つであってもよい。
　物体の特徴を検知する方法は、例えば、反射信号の受信強度、及び、反射信号のドップラー周波数の少なくとも１つの情報、または、他の情報に基づいた、公知の方法であってもよい。
　画面生成部４４は、検知した物体の位置を示す枠と、検知した物体の特徴を示す情報をカメラ画像に重畳させてもよい。例えば、移動する物体として、人，自転車，バイク，普通車，大型車等の種類を識別することが可能である。
　物体の特徴を示す情報は、例えば、文字情報であってもよい。あるいは、物体の位置を示す枠の種類および／または色を、物体の特徴に応じて変更することによって、物体の特徴を示してもよい。
　また、物体の種類ごとの特徴の確からしさ（信頼度）を示す情報が、重畳されてもよい。
　例えば、図６では、検知した車両の位置を示す枠ｒ９と枠ｒ１０が、検知した歩行者の位置を示す枠ｒ１１と枠ｒ１２と異なる態様（例えば、異なる色）を用いて示される。そして、枠ｒ９によって示される車両の種類が「普通車」であることが文字情報を用いて示される。また、それらの特徴の確からしさが「０．９５」であることが文字情報を用いて示される。この数値は、例えば、枠ｒ９によって示される反射物が９５％の信頼度で普通車であることを示す。
　このように、物体識別モードでは、ミリ波データを用いて検知した物体の特徴を示す識別結果の情報を、カメラ画像に重畳することによって、ユーザは、カメラ画像では確認することが困難な物体の特徴を確認でき、交通監視を視覚的に行うことができる。例えば、天候および／または日時によってカメラ画像が鮮明では無い場合にも、物体の特徴を確認できる。なお、天候等に左右されない状況では、カメラ画像の解析結果を用いて、図６に示すように、物体の色情報として黒や白といった情報を付加してもよい。
　＜表示例４＞
　表示例４は、監視を行うユーザが遠隔監視ＰＣ５の操作部を介して「ヒートマップ」ボタンを押下し、ヒートマップモードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。
　図７は、本実施の形態における表示画面の表示例４を示す図である。図７に示す表示例４は、監視地点である交差点の路面から見ての斜め上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。
　図７の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図７では、ヒートマップモードに設定されているため、「ヒートマップ」ボタンが押下された状態である。
　領域Ｒ５は、ヒートマップモードに設定された監視画面である。領域Ｒ５には、カメラ画像に、ミリ波データが重畳されている。
　なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、図４の例と同様に、座標変換処理を行ってもよい。また、ヒートマップモードに設定されている場合、画面生成部４４は、現時点よりも前のミリ波データを用いて、物体の滞留状況を判定し、滞留状況を示すヒートマップの情報を生成する処理を行う。
　例えば、画面生成部４４は、現時点よりも前の一定時間に取得したミリ波データを用いて、監視エリアを複数のグリッドに分割した検出矩形枠のそれぞれにおいて一定時間に検出した反射物の数を数える。そして、画面生成部４４は、検出した反射物の数に応じて、検出矩形枠を分類する。その際、検出した反射物の種類（例えば、車両または歩行者）と数に応じて、検出矩形枠を分類してもよい。
　そして、画面生成部４４は、カメラ画像に、分類した検出矩形枠を示すヒートマップの情報を重畳させてもよい。
　分類した検出矩形枠を示すヒートマップの情報は、例えば、色の違いといった態様の違いである。例えば、画面生成部４４は、検出した反射物の数に対応する色を、カメラ画像を透過する態様で重畳してもよい。
　例えば、図７では、検出した反射物の数に応じて分類した検出矩形枠を示す情報が、「Ｌｖ１」～「Ｌｖ４」の４通りの色の違いによって示される。例えば、図７では、Ｌｖ２～Ｌｖ４の領域は、車道の領域に相当する。そして、Ｌｖ４の領域は、車両と歩行者の両方が通過する頻度の高い横断歩道に対応する領域、または、車両が停止する回数の多い停止線に対応する領域に相当する。また、Ｌｖ４及びＬｖ３の領域とＬｖ２の領域とを比較して、監視地点の交差点は、左折の少ない交差点であることがわかる。
　このように、ヒートマップの情報をカメラ画像に重畳させることによって、監視地点の道路構造（例えば、車線の数、車線の種類（例えば、右折専用車線）および、車線の形状）が推定できる。例えば、車両が検出される回数の多い領域は車道、歩行者が検出される回数の多い領域は歩道、および、車両と歩行者の両方が検出される回数の多い領域は横断歩道、といった推定を行うことができる。また、車道の領域の中でも、車両が検出される回数が比較的多い位置は車道の停止線付近である、といった推定を行うことができる。
　これにより、監視エリアの道路構造を精度良く推定できるため、ユーザに対する視覚効果の高い表示を行うことができる。
　また、監視エリアの道路構造が精度よく推定できるため、歩行者および／または車両の飛び出し、二輪車のすり抜けといった状況を精度よく予測でき、監視地点において効果的な警告を行うことができる。
　また、監視エリアの道路構造が精度よく推定できるため、カメラ２およびミリ波レーダ３を設置した際に道路構造を設定する手間が抑えられるため、設定を簡略にできる。
　なお、上述した表示例２～表示例４（図５～図７）では、１つの監視画面が表示される例を示した。本開示はこれに限定されない。例えば、図５～図７において、図４の領域Ｒ１と同様に、ミリ波レーダ３が走査して得られるミリ波データが表示されてもよい。
　＜表示例５＞
　表示例５は、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して「設定」ボタンを押下し、設定モードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。
　図８は、本実施の形態における表示画面の表示例５を示す図である。図８の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図８では、設定モードに設定されているため、「設定」ボタンが押下された状態である。
　また、図８の表示画面には、設定モードにて設定できる「メンテナンスモード」、「天候推定モード」、および、「夜間モード」のボタンが表示される。監視を行うユーザは、表示されたボタンを押下し、別のモードを選択する。以下、各モードについて、説明する。
　「メンテナンスモード」
　メンテナンスモードでは、監視地点を選択することによって、情報処理サーバ４は、その監視地点に設けられたカメラ２および／またはミリ波レーダ３の定点観測を行う。定点観測によって、監視地点の異常を検知した場合、情報処理サーバ４は、カメラ２のパラメータ（例えば、カメラ２の画角、解像度および露光）および／または、ミリ波レーダ３のパラメータ（例えば、分解能、送信出力および受信感度）を調整する。パラメータの調整を繰り返しても異常を検知する場合、情報処理サーバ４は、異常を知らせる情報を遠隔監視ＰＣ５へ通知する。通知を受けた遠隔監視ＰＣ５は、表示部に、異常を知らせる情報を表示する。
　「天候推定モード」
　天候推定モードでは、情報処理サーバ４は、ミリ波データを用いて、天候を推定する。例えば、情報処理サーバ４は、天候の違いに応じた、ミリ波データが示す反射信号の受信強度の減衰、および／または、反射信号のドップラー周波数の変動を検知し、検知した量に基づいて、天候を推定してもよい。
　「夜間モード」
　夜間モードでは、情報処理サーバ４は、ミリ波データをカメラ画像と重畳させるのではなく、ミリ波データに基づく表示をメインに表示する。これにより、夜間などのカメラ２が撮影した画像が鮮明では無く、物体識別が困難な場合に、重畳すると却って見づらくなるような表示を回避できる。
　なお、設定モードにて設定できるモードには、以下の例を示すモードが含まれてもよい。
　「交通流カウントモード」
　交通流カウンドモードでは、画面生成部４４は、現時点よりも前の一定時間に取得したミリ波データを用いて、監視エリアを複数のグリッドに分割した検出矩形枠のそれぞれにおいて一定時間に検出した車両の数を数える。そして、画面生成部４４は、検出した物体の数に応じて、交通流に関する情報を生成し、カメラ画像に重畳させる。
　例えば、交通流カウントモードでは、画面生成部４４は、検出した車両の数に応じて、車間距離、速度、および、車両の長さといった情報を統計的に算出する。そして、画面生成部４４は、監視エリアにおける渋滞の度合いを推定する。
　なお、画面生成部４４は、時間帯毎および／または日付毎に推定を行ってもよい。推定を行う時間帯および／または日付は、ユーザから遠隔監視ＰＣ５を介して指定されてもよい。
　また、画面生成部４４は、検知した物体の種類毎に渋滞の度合いを推定してもよい。例えば、画面生成部４４は、普通車、大型車、二輪車といった車両の種類毎に渋滞の度合いを推定してもよい。
　「交差点監視モード」
　交差点監視モードでは、情報処理サーバ４は、交差点の周囲に設けられたカメラ２およびミリ波レーダ３を用いて、交差点において発生しやすい事象を検知し、検知結果に応じて警告を行う。
　例えば、情報処理サーバ４は、車両が左折する際の巻き込みを防ぐために、左折する車両を検知した場合に、左折する車両の周囲の移動体（例えば、二輪車）の有無を確認する。そして、左折する車両の周囲に移動体が存在した場合、情報処理サーバ４は、二輪車およびその周囲に対して警告（例えば、飛び出し警報）を行う。
　また、例えば、情報処理サーバ４は、二輪車によるすり抜けを検知するために、ミリ波データを用いて、二輪車を優先して検知する。そして、情報処理サーバ４は、検知した二輪車の走行経路を追跡し、二輪車が普通車等の間をすり抜けている場合、二輪車およびその周囲に対して警告（例えば、飛び出し警報）を行う。
　「動物検知モード」
　動物検知モードでは、情報処理サーバ４は、ミリ波データに基づいて、道路上または道路の周辺における動物の存在の有無を検知する。例えば、情報処理サーバ４は、ミリ波データに含まれる反射信号の情報から、動物が反射物である場合に特有の情報を抽出し、動物の存在の有無を検知する。
　なお、本実施の形態では、車両、歩行者などが通行する道路交通を監視する交通監視システムを一例に挙げて説明した。本開示はこれに限定されない。例えば、鉄道と鉄道の利用者を監視する交通監視システムであってもよい。例えば、鉄道交通を監視する交通監視システムでは、カメラ２およびミリ波レーダ３は、ホームおよび線路を見渡せる位置、および／または、ホームよりも下の線路に近い位置に設けられてもよい。また、鉄道交通を監視する交通監視システムでは、「転落検知モード」などが設定可能なモードに含まれていてもよい。
　「転落検知モード」
　転落検知モードでは、ホームの上方に設けられるカメラ２および／またはミリ波レーダ３（以下、「ホーム上カメラ／レーダ」と記載する）が、ホームを歩行する人物または物品（傘、財布などの携行品）のホームの下方への落下を検知した場合、ホームの下方に設けられるカメラ２および／またはミリ波レーダ３（以下、「ホーム下カメラ／レーダ」と記載する）の検知を開始する。そして、ホーム下方への落下を検知した時点からのホーム上カメラ／レーダのデータと、ホーム下カメラ／レーダのデータとを、対応付けて保存する。
　また、ホーム下レーダが、移動体を検出しなかった場合、ホーム下カメラにおいて静止物の抽出を行ってもよい。
　以上、本実施の形態では、カメラが撮影した画像データと、ミリ波レーダが取得するミリ波データとの同期を図り、同期を図った画像データと前記ミリ波データとを対応づけて、道路の状況を示す監視画面を生成する情報処理サーバを備える交通監視システムについて説明した。本実施の形態によれば、カメラとミリ波レーダという２つのセンサデバイスから得られるデータの同期を図り、同期が図られたデータを対応付けた監視画面を生成するため、道路状況の監視を精度良くかつ効率的に行うことができる。
　例えば、カメラのデータから得られるカメラ画像は、監視するユーザに対して視覚的に有効な情報を提供でき、ミリ波レーダのデータは、監視するユーザに対して、カメラ画像からは得られない詳細な情報を提供できる。そのため、本実施の形態では、ミリ波レーダから得られる詳細な情報をカメラ画像に対応付けることによって、道路状況の監視を精度良く効率的に行うことができる。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　上記各実施の形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。
　また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力と出力を備えてもよい。これらは個別に１チップ化されてもよいし、各機能ブロックの一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法にはＬＳＩに限らず、専用回路または汎用プロセッサを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＬＳＩ内部の回路セルの接続、設定が再構成可能なリコンフィグラブル・プロセッサーを利用してもよい。
　更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、別技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　なお、本開示は、無線通信装置、または制御装置において実行される制御方法として表現することが可能である。また、本開示は、かかる制御方法をコンピュータにより動作させるためのプログラムとして表現することも可能である。更に、本開示は、かかるプログラムをコンピュータによる読み取りが可能な状態で記録した記録媒体として表現することも可能である。すなわち、本開示は、装置、方法、プログラム、記録媒体のうち、いずれのカテゴリーにおいても表現可能である。
　また、本開示は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。
　２０１８年４月４日出願の特願２０１８－０７２５４２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本開示は、交通監視に用いるに好適である。
　１　交通監視システム
　２　カメラ
　３　ミリ波レーダ
　４　情報処理サーバ（制御装置）
　５　遠隔監視ＰＣ
　４１　通信部
　４２　データ同期部
　４３　データ蓄積部
　４４　画面生成部
　４５　モード設定部

Claims (9)

  1. 　道路を含む監視エリアを撮影し、画像データを生成するカメラと、
    　前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、
    　前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、
    　を備える交通監視システムであって、
    　前記情報処理サーバは、
    　前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、
    　同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す監視画面を生成する画面生成部と、
    　を備える、
    　交通監視システム。
  2. 　前記データ同期部によって同期が図られた前記画像データと前記ミリ波データを蓄積するデータ蓄積部を
    　備え、
    　前記画面生成部は、前記データ蓄積部に蓄積された過去の前記画像データと前記ミリ波データを用いて、前記監視画面を生成する、
    　請求項１に記載の交通監視システム。
  3. 　前記画面生成部は、前記走査エリアに対応するミリ波データを、前記監視エリアに対応するように変換を行う、
    　請求項１に記載の交通監視システム。
  4. 　前記画面生成部は、前記ミリ波データに基づいて、前記走査エリアに含まれる物体を識別し、前記物体の識別結果を示す情報を前記画像データに重畳させる、
    　請求項１に記載の交通監視システム。
  5. 　前記物体の識別結果を示す情報は、文字情報、及び／又は、前記画像データにおける前記物体の範囲を示す枠を含む、
    　請求項４に記載の交通監視システム。
  6. 　前記画面生成部は、前記ミリ波データに基づいて、前記走査エリアにおいて物体の滞留状況を判定し、前記滞留状況を示す情報を前記画像データに重畳させる、
    　請求項１に記載の交通監視システム。
  7. 　前記滞留状況を示す情報は、前記物体の検出頻度に応じた色の情報であり、
    　前記画面生成部は、前記色の情報を前記画像データに透過させて重畳させる、
    　請求項６に記載の交通監視システム。
  8. 　ユーザによって指示される、前記監視画面に関する設定を変更するモード設定部を備え、
    　前記画面生成部は、前記設定に応じた監視画面を生成する、
    　請求項１に記載の交通監視システム。
  9. 　道路を含む監視エリアを撮影し、生成された画像データをカメラから取得し、
    　前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、
    　前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、
    　同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す監視画面を生成する、
    　交通監視方法。
PCT/JP2019/013925 2018-04-04 2019-03-29 交通監視システムおよび交通監視方法 WO2019194084A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/044,619 US11869347B2 (en) 2018-04-04 2019-03-29 Traffic monitoring system and traffic monitoring method
CN201980024460.9A CN111954898B (zh) 2018-04-04 2019-03-29 交通监视系统及交通监视方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018072542A JP7092540B2 (ja) 2018-04-04 2018-04-04 交通監視システムおよび交通監視方法
JP2018-072542 2018-04-04

Publications (1)

Publication Number Publication Date
WO2019194084A1 true WO2019194084A1 (ja) 2019-10-10

Family

ID=68100208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013925 WO2019194084A1 (ja) 2018-04-04 2019-03-29 交通監視システムおよび交通監視方法

Country Status (4)

Country Link
US (1) US11869347B2 (ja)
JP (1) JP7092540B2 (ja)
CN (1) CN111954898B (ja)
WO (1) WO2019194084A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933372A (zh) * 2019-12-03 2020-03-27 西安电子科技大学青岛计算技术研究院 一种基于ptz目标跟踪型监控方法
CN115407273A (zh) * 2022-08-29 2022-11-29 哈尔滨工业大学（威海） 一种特定安防区域监控提醒报警装置及方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220398850A1 (en) 2019-11-15 2022-12-15 Sumitomo Electric Industries, Ltd. Information generation device, information generation method, and non-transitory computer-readable storage medium
JP7379260B2 (ja) 2020-04-06 2023-11-14 Ｆｃｎｔ株式会社 逆走車検知装置、逆走車検知方法及び逆走車検知プログラム
CN111681418A (zh) * 2020-05-26 2020-09-18 南京信息职业技术学院 一种基于多个毫米波雷达的道路状态监测系统及其工作方法
KR102403018B1 (ko) * 2020-07-07 2022-05-30 퍼시픽솔루션 주식회사 레이더와 영상분석을 이용한 교통정보 수집 장치
CN113608355B (zh) * 2021-08-06 2023-07-21 湖南龙特科技有限公司 一种基于毫米波雷达和红外热成像仪的交互式显示方式
KR102624143B1 (ko) * 2021-09-24 2024-01-12 (주) 오토노머스에이투지 교차로에 설치된 라이다를 이용하여 신호등을 제어하기 위한 방법 및 이를 이용한 서버
KR102640491B1 (ko) * 2021-09-24 2024-02-27 (주) 오토노머스에이투지 고정된 라이다를 이용하여 교차로에서의 상태를 검지하는 방법 및 이를 이용한 서버
KR102652486B1 (ko) * 2021-09-24 2024-03-29 (주)오토노머스에이투지 라이다를 이용한 신호등 정보 예측 방법 및 이를 이용한 서버
JP2023109072A (ja) * 2022-01-26 2023-08-07 パナソニックホールディングス株式会社 交通流計測システムおよび交通流計測方法
JP2023109034A (ja) * 2022-01-26 2023-08-07 パナソニックホールディングス株式会社 交通流計測システムおよび交通流計測方法
JP2023109019A (ja) * 2022-01-26 2023-08-07 パナソニックホールディングス株式会社 交通流計測システムおよび交通流計測方法
CN114863682B (zh) * 2022-05-09 2023-04-11 合肥雷能信息技术有限公司 基于毫米波雷达的城市交通流量监测反馈系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260166A (ja) * 2001-03-01 2002-09-13 Omron Corp 情報配信装置及び情報配信システム
JP2005338941A (ja) * 2004-05-24 2005-12-08 Fujitsu Ltd 視程検出方法および視程検出装置
WO2015152304A1 (ja) * 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2015186202A (ja) * 2014-03-26 2015-10-22 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2018082313A (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 周辺監視装置
WO2019039279A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102545A (ja) 2002-09-06 2004-04-02 Sumitomo Electric Ind Ltd 交通状況表示方法及び交通状況表示装置
JP2005284410A (ja) * 2004-03-26 2005-10-13 Omron Corp 車両認識装置及び車両認識方法
JP2007257536A (ja) 2006-03-24 2007-10-04 Fujitsu Ltd ミリ波レーダによる道路交通監視装置
CA2863656C (en) 2014-04-25 2017-04-25 Takeshi Kurihara Surroundings monitoring system, work vehicle, and surroundings monitoring method
WO2017057061A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
CN106908783B (zh) * 2017-02-23 2019-10-01 苏州大学 基于多传感器信息融合的障碍物检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260166A (ja) * 2001-03-01 2002-09-13 Omron Corp 情報配信装置及び情報配信システム
JP2005338941A (ja) * 2004-05-24 2005-12-08 Fujitsu Ltd 視程検出方法および視程検出装置
JP2015186202A (ja) * 2014-03-26 2015-10-22 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
WO2015152304A1 (ja) * 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2018082313A (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 周辺監視装置
WO2019039279A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933372A (zh) * 2019-12-03 2020-03-27 西安电子科技大学青岛计算技术研究院 一种基于ptz目标跟踪型监控方法
CN110933372B (zh) * 2019-12-03 2024-03-19 西安电子科技大学青岛计算技术研究院 一种基于ptz目标跟踪型监控方法
CN115407273A (zh) * 2022-08-29 2022-11-29 哈尔滨工业大学（威海） 一种特定安防区域监控提醒报警装置及方法
CN115407273B (zh) * 2022-08-29 2024-01-05 哈尔滨工业大学（威海） 一种特定安防区域监控提醒报警装置及方法

Also Published As

Publication number Publication date
JP2019185220A (ja) 2019-10-24
JP7092540B2 (ja) 2022-06-28
CN111954898A (zh) 2020-11-17
US20210104154A1 (en) 2021-04-08
US11869347B2 (en) 2024-01-09
CN111954898B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
WO2019194084A1 (ja) 交通監視システムおよび交通監視方法
JP3876288B2 (ja) 状態認識システムおよび状態認識表示生成方法
US9214084B2 (en) Smart traffic sign system and method
JP7190820B2 (ja) 侵入検知システムおよび侵入検知方法
US8903640B2 (en) Communication based vehicle-pedestrian collision warning system
US8907771B2 (en) Vehicle and mobile device traffic hazard warning techniques
JP4923736B2 (ja) 道路通信システムおよび道路通信方法
WO2012018109A1 (ja) 情報管理装置、データ解析装置、信号機、サーバ、情報管理システム、信号機制御装置、およびプログラム
KR101731050B1 (ko) 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치 및 그 방법
KR101457137B1 (ko) 레이더 센서에 의한 차량 현장 통합 감시 시스템
CN102779430A (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
KR20130127822A (ko) 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치 및 방법
JP2008139320A (ja) 道路環境情報通知装置及び道路環境情報通知プログラム
KR102159144B1 (ko) 보행신호등 주변의 위반차량 무인단속시스템
KR102284286B1 (ko) 레이더 센서에 의한 차량 현장 통합 감시 및 통합 신호 관리 시스템 및 그 방법
KR20210014527A (ko) 속도감응 도로횡단자 경고장치
JP5354193B2 (ja) 車両用運転支援装置
KR102148826B1 (ko) 속도 감응 도로횡단자 경고 장치
JP2011258068A (ja) 交通情報提供システム
JP2007042042A (ja) 道路交通情報取得方法、道路交通情報表示装置及びｌｅｄの固定方法
JP2018136917A (ja) 情報処理装置、情報処理方法及びプログラム
CN104702967B (zh) 虚拟视频巡检系统与其组件
JP2012142832A (ja) 撮像装置
JP2001260885A (ja) 障害物検知システム及び障害物検知方法
JP2006118914A (ja) 物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19781209

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19781209

Country of ref document: EP

Kind code of ref document: A1