WO2019188429A1 - 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム - Google Patents
動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- WO2019188429A1 WO2019188429A1 PCT/JP2019/010894 JP2019010894W WO2019188429A1 WO 2019188429 A1 WO2019188429 A1 WO 2019188429A1 JP 2019010894 W JP2019010894 W JP 2019010894W WO 2019188429 A1 WO2019188429 A1 WO 2019188429A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- moving body
- moving
- moving object
- unit
- period
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to a moving object management apparatus, a moving object management system, a moving object management method, and a computer program.
- Patent Document 1 uses a plurality of sensors such as surveillance cameras installed on the street, acquires information affecting the object of the other sensor based on the measurement result detected by one sensor, and the plurality of sensors.
- a system that improves the performance of the entire system by holding various measurement results acquired from the above in an integrated form is disclosed.
- a moving body management device includes a first moving body detection unit that detects one or more first moving bodies in a first period based on a first signal received from the outside, and receives from the outside Based on the second signal, the second moving object detection unit that detects one or more second moving objects in a second period longer than the first period, the one first moving object, and the one An integration processing unit that executes a process of integrating the one first moving object and the one second moving object in a cycle shorter than the second cycle when the second moving body is the same; and the integration Based on the processing result of the processing unit, for a moving object that has a predetermined attribute and is in a position that satisfies a predetermined condition for a certain vehicle, a notification unit that notifies the certain vehicle of information related to the moving object that satisfies the predetermined condition Including.
- the moving body management system includes the above-described moving body management apparatus and a distance measurement signal indicating a distance to a surrounding object in the first period to the first moving body detection unit. And a second sensor that transmits an image signal indicating an image in the imaging range in the second period as the second signal to the second moving object detection unit.
- a moving object management method includes a first moving object detection step in which a computer detects one or more first moving objects in a first period based on a first signal received from outside.
- a second moving object detection step in which the computer detects one or more second moving objects in a second period longer than the first period based on a second signal received from outside; When the first moving body and one second moving body are the same, the process of integrating the one first moving body and the one second moving body is shorter than the second period.
- An integrated processing step executed periodically, and a moving object having a predetermined attribute and a position satisfying a predetermined condition for a certain vehicle based on a processing result of the integrated processing step with respect to the certain vehicle
- a computer program includes a first moving object detection step of detecting one or more first moving objects in a first period based on a first signal received from the outside in a computer.
- a second moving object detection step of detecting one or more second moving objects in a second period longer than the first period based on a second signal received from the outside; and the one first moving object;
- Integration processing step of executing processing for integrating the one first moving body and the one second moving body in a cycle shorter than the second cycle when one second moving body is the same.
- a moving object having a predetermined attribute and in a position satisfying a predetermined condition for a vehicle based on a processing result of the integration processing step, Inform And knowledge step, to the execution.
- a moving object management device receives a distance measurement signal from a distance sensor that measures a distance to a surrounding object in a first period and transmits a distance measurement signal, and is longer than the first period.
- a receiving unit connected so as to be able to receive the image signal from an imaging device that transmits an image signal representing an image in the imaging range in the second period, and the receiving unit capable of reading information received by the receiving unit
- a processor connected to the first moving object detecting step for detecting one or more first moving objects based on the ranging signal; and one or more first moving objects based on the image signal.
- the second moving body detecting step for detecting two moving bodies, the one first moving body, and the one second moving body are the same, the one first moving body and the one first moving body are the same.
- An integration process step executed at a predetermined cycle and a moving object having a predetermined attribute and in a position satisfying a predetermined condition for a certain vehicle based on the processing result of the integration processing step with respect to the certain vehicle. It is programmed to execute an informing step for informing information on a moving object that satisfies the above condition.
- the present disclosure can be realized as a moving object management apparatus including such a characteristic processing unit, a moving object management method using the characteristic process as a step, and a program for causing a computer to execute the characteristic process. it can. Further, it can be realized as a semiconductor integrated circuit having a function of executing part or all of the steps, or can be realized as a moving body management system including a moving body management apparatus.
- FIG. 1 is a schematic diagram showing an outline of a moving object management system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram of a sensor sharing server which is a moving object management apparatus that manages moving object information by integrating information from a plurality of types of sensors in the system shown in FIG. 1 and notifies the vehicle of information necessary for safe operation. It is.
- FIG. 3 is a diagram showing an analysis result by the moving body tracking unit of the sensor sharing server shown in FIG. 2 in a table format.
- FIG. 4 is a table showing the analysis result by the attribute detection unit of the sensor sharing server shown in FIG.
- FIG. 5 is a diagram showing an analysis result by the integration processing unit of the sensor sharing server shown in FIG. 2 in a table format.
- FIG. 1 is a schematic diagram showing an outline of a moving object management system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram of a sensor sharing server which is a moving object management apparatus that manages moving object information by
- FIG. 6 is a diagram showing vehicle information managed by the vehicle tracking unit of the sensor sharing server shown in FIG. 2 in a table format.
- FIG. 7 is a flowchart showing a control structure of a program for causing a computer to function as an integrated processing unit of the sensor sharing server shown in FIG.
- FIG. 8 is a flowchart showing a control structure of a program for causing a computer to operate so as to realize the analysis result integration processing shown in FIG.
- FIG. 9 is a flowchart showing a control structure of a program for causing a computer to operate as the warning notification unit shown in FIG.
- FIG. 10 is a view for explaining warning processing for a vehicle according to the first embodiment of the present invention.
- FIG. 11 is a diagram for explaining a certain combination method for integrating detected moving objects in the second embodiment of the present invention.
- FIG. 12 is a diagram for explaining another combination method for integrating detected moving objects in the second embodiment of the present invention.
- FIG. 13 is a flowchart showing a control structure of a program for causing a computer to operate to realize analysis result integration processing in the second embodiment of the present invention.
- FIG. 14 is a block diagram of a sensor sharing server according to the third embodiment of the present invention.
- FIG. 15 is an external view of the sensor sharing server according to the first embodiment.
- FIG. 16 is a block diagram showing an internal configuration of the sensor sharing server shown in FIG.
- Patent Document 1 ⁇ Problems to be solved by the present disclosure>
- the invention disclosed in Patent Document 1 can be said to be excellent in that the performance of the entire system is improved by integrating the measurement results of a plurality of sensors.
- Patent Document 1 has a problem in that it does not sufficiently consider differences in performance and characteristics of individual sensors.
- Patent Document 1 includes an image sensor (camera or the like), a distance sensor (laser radar), or the like as a sensor.
- it aims at the performance improvement of the whole system by integrating the information obtained from these.
- a distance sensor for example, only a short time is required to detect the position of a moving object by processing its output, whereas in order to derive information indicating the attribute of the moving object from the image obtained from the image sensor. It is necessary to perform image processing that requires a relatively long processing time. For this reason, the processing speed according to the invention disclosed in Patent Document 1 is ultimately limited by the image processing on the output of the image sensor, and there is a problem in that sufficient measurement accuracy of the position of the moving object cannot be obtained.
- the moving body management apparatus includes a first moving body detection unit that detects one or more first moving bodies in a first period based on a first signal received from the outside, and an external Based on the received second signal, one or more second moving bodies are detected in a second cycle longer than the first cycle, one second moving body, one first moving body, and one An integration processing unit that executes a process of integrating the one first moving object and the one second moving object at a cycle shorter than the second cycle when the second moving body is the same; Informing a certain vehicle of information relating to a moving object that satisfies the predetermined condition for a moving object that has a predetermined attribute and that satisfies a predetermined condition for a certain vehicle based on the processing result of the integrated processing unit Part.
- the moving object determined to have a specific attribute with high reliability by the detailed attribute information by the second moving object detection unit can be determined and tracked with high accuracy using the detection result by the first moving object detection unit. As a result, the moving object can be managed with higher accuracy.
- the integration processing unit is configured such that the position of one first moving object and the position of one second moving object satisfy a predetermined condition.
- a position determination unit that determines whether one first moving body is the same as the one second moving body, the one first moving body that is determined to be the same by the position determination unit, and the one And an integration unit that integrates the second moving object.
- the integration processing unit integrates moving objects that are determined to be the same based on the position of the moving object. Since the position calculation can be performed with a small amount of calculation, even if the number of moving objects increases, integration can be performed at high speed with simple processing.
- the position determination unit includes the one first moving object in addition to the position of the one first moving object and the position of the one second moving object.
- a position / time determination unit that determines whether or not the one second moving object matches may be included.
- the reliability of the integration result is increased. This is because the first moving body and the second moving body in which the detected position and time are close to each other are very likely to be the same.
- the integration unit determines the position and attribute of the moving object determined to be the same by the position determination unit, the position of the first moving object, and the one second It may be set using the attribute of the moving object.
- the integration unit includes: The number of moving objects for determining whether or not the number of the first moving objects detected by the first moving object detection unit matches the number of the second moving objects detected by the second moving object detection unit.
- the moving body detected by the first moving body detection unit is compared with the number of moving bodies detected by the second moving body detection unit, and the integration method is changed according to the result. Therefore, the moving body can be integrated by an optimum method according to the detection result of the moving body.
- the integration processing unit further includes the one second moving body in which the one first moving body in which the in-group determination unit is included in the group is included in the group. If it is not determined that it is the same as the moving object, or if the one second moving object included in the group is not determined to be the same as the one first moving object included in the group, the one A default value setting unit that generates a moving object after integration by setting a predetermined value to information that is not set in the information regarding the first moving object and the one second moving object may be included.
- the notification unit includes a vehicle position detection unit that detects the position of the vehicle in a predetermined area, a processing result of the integration processing unit, and a detection result of the vehicle position detection unit. And a warning unit for notifying the vehicle of a warning regarding a moving object that satisfies the predetermined condition when there is a vehicle located within a predetermined range centered on a moving object having a predetermined attribute. .
- the moving body management system includes a moving body management apparatus according to any one of (1) to (7) and a ranging signal indicating a distance to a surrounding object in the first period.
- a first sensor that transmits to the first moving body detection unit as the first signal, and an image signal that indicates an image in the imaging range in the second period as the second signal to the second moving body detection unit.
- the moving object determined to have a specific attribute with high reliability by the detailed attribute information by the second moving object detection unit of the moving object management device
- the position can be determined and tracked with high accuracy using the detection result of the first moving body detection unit of the moving body management apparatus. As a result, the moving object can be managed with higher accuracy.
- the moving body management method includes a first moving body detection step in which the computer detects one or more first moving bodies in a first period based on a first signal received from the outside.
- a second moving object detection step in which the computer detects one or more second moving objects in a second period longer than the first period based on a second signal received from outside; When the first moving body and one second moving body are the same, the process of integrating the one first moving body and the one second moving body is shorter than the second period.
- An integrated processing step executed periodically, and a moving object having a predetermined attribute and a position satisfying a predetermined condition for a certain vehicle based on a processing result of the integrated processing step with respect to the certain vehicle The predetermined And a notification step of notifying the information about the condition is satisfied body.
- the position of the moving object determined to have a specific attribute with high reliability by the detailed attribute information in the second moving object detection step of this moving object management method is determined with high accuracy using the detection result of the first moving object detection step. Can track. As a result, the moving object can be managed with higher accuracy.
- a computer program includes a first moving object detection step of detecting one or more first moving objects in a first cycle based on a first signal received from the outside in a computer.
- a second moving object detection step of detecting one or more second moving objects in a second period longer than the first period based on a second signal received from the outside; and the one first moving object;
- Integration processing step of executing processing for integrating the one first moving body and the one second moving body in a cycle shorter than the second cycle when one second moving body is the same.
- Notification A notification step that causes the execution.
- This computer program is obtained by executing the first moving object detection step for a moving object determined to have a specific attribute with high reliability based on the detailed attribute information obtained by executing the second moving object detection step.
- the position can be accurately determined and tracked using the detection result. As a result, the moving object can be managed with higher accuracy.
- the moving body management apparatus receives the distance measurement signal from a distance sensor that transmits a distance measurement signal by measuring the distance to a surrounding object in the first period, and is longer than the first period.
- a receiving unit connected so as to be able to receive the image signal from an imaging device that transmits an image signal representing an image in the imaging range in the second period, and the receiving unit capable of reading information received by the receiving unit
- a processor connected to the first moving object detecting step for detecting one or more first moving objects based on the ranging signal; and one or more first moving objects based on the image signal.
- the second moving body detecting step for detecting two moving bodies, the one first moving body, and the one second moving body are the same, the one first moving body and the one first moving body are the same.
- the process of integrating the two moving objects with the second period An integrated processing step executed at a shorter cycle, and a moving object having a predetermined attribute and a position satisfying a predetermined condition for a certain vehicle based on the processing result of the integrated processing step, with respect to the certain vehicle It is programmed to execute an informing step for informing information on a moving object that satisfies a predetermined condition.
- the moving object that is determined to have a specific attribute with high reliability by the detailed attribute information obtained by the processor executing the second moving object detection step on the image signal is the first for the ranging signal.
- the position can be accurately determined and tracked using the detection result obtained by executing the moving object detection step. As a result, the moving object can be managed with higher accuracy.
- program In the following description, in order to simplify the description, the computer program is simply referred to as “program”.
- the moving body management system 50 integrates the outputs of various sensors, which will be described later, and performs a process of appropriately notifying a vehicle or the like in a predetermined area.
- the sensor sharing server 66 a plurality of cameras 60 that capture a predetermined imaging range and transmit image signals to the sensor sharing server 66, and distances to moving objects existing in the surrounding predetermined range 64 are measured, and a ranging signal And a plurality of LiDARs (Laser Imaging Detection and Ranging) 62 for transmitting to the sensor sharing server 66.
- LiDARs Laser Imaging Detection and Ranging
- Some of the plurality of cameras 60 and the LiDAR 62 are infrastructure sensors attached to social infrastructure facilities (infrastructure, hereinafter referred to as “infrastructure”) such as street lamps, buildings, and signal poles, and other parts are installed in vehicles. It is a mounted vehicle sensor.
- the sensor sharing server 66 manages the location where each infrastructure sensor is installed. Therefore, the sensor sharing server 66 can calculate the position of each moving object by a combination of latitude and longitude by processing the ranging signal from the LiDAR 62 and the image signal from the camera 60.
- the camera 60 transmits an image signal to the sensor sharing server 66.
- the information contained in the image signal is large, and not only can people and vehicles be detected widely, but if it is a person, its position and posture, whether it is walking, whether it is walking with a smartphone, what color clothes Information indicating the attribute of each moving object such as whether it is coming can be obtained.
- the LiDAR 62 scans the surroundings with, for example, highly directional laser light, detects the laser light reflected by the moving body, and measures the distance to the moving body. In LiDAR 62, only limited object attributes are known, but the time required for processing in the sensor sharing server 66 is short.
- the purpose of the moving body management system 50 is to determine the fine attributes of an object as in the case of a plurality of cameras 60, but the sensor output that requires a relatively long time for processing and the attributes of the object as in LiDAR 62 are limited. If you find a person who is dangerous to the vehicle, such as a person 68 walking while looking at a smartphone, using both sensor output that only requires information but processing requires only a short time, the movement of that person is accurate. Highly track and send alerts to vehicles as needed.
- the sensor sharing server 66 includes signals from the plurality of infrastructure sensor facilities 80 (including either or both of the camera and the LiDAR) and the vehicle-mounted sensor 82 (whichever of the camera and the LiDAR). Or a reception processing unit 110 for receiving a signal from the reception processing unit 110.
- Each of the infrastructure sensor facilities 80 includes an infrastructure sensor 90 formed of a camera or LiDAR, and a communication device 92 for transmitting a signal output from the infrastructure sensor 90 to the reception processing unit 110 of the sensor sharing server 66.
- the vehicle-mounted sensor 82 includes a vehicle sensor 100 composed of a camera or LiDAR, and a communication device 102 that transmits a signal output from the vehicle sensor 100 to the reception processing unit 110 of the sensor sharing server 66.
- the sensor sharing server 66 further includes a moving object tracking unit 112 that determines and tracks the position of each moving object in the first period by analyzing a ranging signal from the LiDAR 62 among signals received by the reception processing unit 110, and a moving object.
- the first analysis result storage unit 114 for storing the analysis result 113 by the tracking unit 112 and the image signal from the camera among the signals received by the reception processing unit 110 are subjected to image analysis, so that And an attribute detector 116 that determines the attributes and positions of moving objects such as vehicles and people in the second period.
- the sensor sharing server 66 further stores a second analysis result storage unit 118 for storing the analysis result 117 of the attribute detection unit 116, an analysis result 113 stored in the analysis result storage unit 114, and an analysis result storage unit 118.
- the integrated analysis result 117 is repeatedly integrated in a cycle shorter than the second cycle, and the integrated analysis unit 124 that outputs the integrated analysis result 125 and the integrated analysis result 125 output by the integration processing unit 124 are accumulated.
- a third analysis result storage unit 126 for storage. Since the integration processing unit 124 performs integration processing with a period shorter than the second period, in some cases, the analysis by the attribute detection unit 116 may not be in time. In this embodiment, in such a case, moving objects are integrated so that there is no data loss by an integration process described later.
- the analysis results 113, 117, and 125 are calculated every predetermined time, respectively, but the analysis results calculated in the past fixed time are also accumulated and stored in the analysis result storage units 114, 118, and 126 as histories, respectively.
- the integration processing unit 124 performs integration processing
- the history of past integrated analysis results 125 stored in the analysis result storage unit 126 may be referred to.
- the sensor sharing server 66 further includes a vehicle tracking unit 120 for obtaining vehicle information including a position, a speed, a moving direction, and the like of a vehicle to be managed based on a signal received from each vehicle by the reception processing unit 110, a vehicle tracking And a vehicle information storage unit 122 for storing vehicle information 121 such as the position, speed, and moving direction of each vehicle analyzed by the unit 120.
- the sensor sharing server 66 further collates the moving body information of the analysis result 125 after the integration with the vehicle information 121, and for each pedestrian having an attribute of a dangerous pedestrian in the integrated moving body information, from the pedestrian.
- a warning notifying unit 128 for performing a process of notifying a warning to a vehicle located within a predetermined range, and a transmission processing unit 130 for transmitting a signal for warning notification by the warning notifying unit 128 to the target vehicle; Including.
- the analysis result 113 of the moving object tracking unit 112 shown in FIG. 2 includes, for each moving object to be managed, a moving object ID that is an identification number, a time when the moving object is detected, The position of the moving object at the time and the attribute detected by the LiDAR 62 for the moving object are included.
- the information obtained by the output from the LiDAR 62 includes other information, but the illustration thereof is omitted here.
- the moving body tracking unit 112 updates the analysis result 113 in the first period.
- the location is specified by longitude and latitude.
- the longitude and latitude of the moving object can be specified by the longitude and latitude of the position where the sensor is installed and the relative position of the moving object with respect to the sensor.
- a GPS Global Positioning System mounted on the vehicle and the measurement result of latitude and longitude by its correction means can be used as a reference.
- the moving object ID is for managing the moving object detected by the sensor sharing server 66. Therefore, when a new moving object is detected in the area managed by the sensor sharing server 66, a new ID is assigned to the moving object. When a moving object leaves the area managed by the sensor sharing server 66, the ID assignment is canceled in this embodiment.
- the moving body ID is the same in the following FIG. 4 and FIG. However, the moving object IDs shown in FIGS. 3 and 4 are not related to each other.
- the moving object ID shown in FIG. 5 varies depending on the way of processing, but in this embodiment, it is irrelevant to that shown in FIG. 3 or FIG.
- the analysis result 117 of the attribute detection unit 116 shown in FIG. 2 is the same as the analysis result 113, for each moving object to be managed, the moving object ID that is the identification number and the moving object is detected. And the position of the moving object at that time, and the attributes detected by performing image processing on the image signal from the camera 60 for the moving object.
- the image output from the camera 60 includes an image in a predetermined imaging range. Therefore, by performing appropriate image processing, more detailed attributes than the analysis result 113 for each moving object, for example, if a person, distinction between adults and children, the color of clothes worn, whether or not walking, Etc. can be obtained.
- Particularly used in the present embodiment are those who are doing so-called “walking smartphones”, children who move unpredictably, two children with small children and adults, bicycles where children or elderly people are driving, etc. It is an attribute indicating that the moving object should be particularly noted for the driver of the vehicle. Note that there is other information obtained as a result of image analysis on the camera 60, but it is not shown in FIG.
- the analysis result 117 is updated in a second period longer than the first period because image processing takes time.
- the configuration itself of the analysis result 125 of the integration processing unit 124 illustrated in FIG. 2 is the same as the analysis result 113 illustrated in FIG. 3 and the analysis result 117 illustrated in FIG. 4.
- the detected time, the position of the moving object at that time, and the attribute of the moving object are included.
- the analysis result 125 is different from the analysis result 113 and the analysis result 117 because the position of each moving object is a position when detected by the LiDAR 62 or the like by integrating the analysis result 113 and the analysis result 117.
- the attribute of each moving object is that it is a detailed attribute detected by the camera 60 or the like for the moving object. A method for integrating the analysis result 113 and the analysis result 117 will be described later.
- the analysis result 125 is created and stored for each integration process.
- the vehicle information 121 managed by the vehicle tracking unit 120 shown in FIG. 2 includes a vehicle ID, a time when the vehicle is detected, a position of the vehicle when the vehicle is detected, The traveling direction of the vehicle at that time and the speed at that time are included. As the position of the vehicle, the measurement result by the GPS mounted on the vehicle and its correcting means is used. From these pieces of information, it is possible to estimate the distance that the vehicle moves during a certain time and the position at that time.
- This vehicle ID is also irrelevant to the moving body ID shown in FIGS. 3, 4, and 5, and is assigned to the vehicle when it is detected that the vehicle has entered the area managed by the sensor sharing server 66. The assignment is canceled when the vehicle leaves the area.
- a program for realizing the integration processing unit 124 shown in FIG. 2 by a computer includes steps 150 for acquiring the current time from an NTP (Network Time Protocol) server and the time acquired in step 150. From the step 152 for setting the analysis start time (analysis start time) a predetermined time before the current time, the analysis result 113 shown in FIG. 3, and the analysis result 117 shown in FIG. And step 154 for extracting records having time information that falls within the range up to the time. Information indicating whether the record is extracted from the analysis result 113 or the analysis result 117 is attached to each record extracted here.
- NTP Network Time Protocol
- step 154 the program further detects the distance between the moving objects calculated by the difference in the position information of the extracted records and the time difference (difference in the detected time) within a predetermined threshold. And step 158 of executing processing 160 to be described later for each of the groups grouped in step 156.
- this threshold value is desirably a relatively small value.
- a moving object whose distance from all other moving objects is larger than a threshold value may occur. In such a case, a group having only the moving object as a component is formed.
- the distance here is the Euclidean distance, but any other distance can be used as long as it conforms to the mathematical definition of distance.
- the sum of the absolute values may be simply calculated as the distance.
- the distance was calculated by combining both time and position.
- the integration process becomes more accurate.
- the present invention is not limited to this, and the sum may be used as the final distance after calculating the distance for each.
- the reliability of the integration result is increased. This is because there is a high possibility that the moving objects whose detected positions and times are close to each other are the same.
- the distance may be calculated using only position information.
- the moving objects determined to be the same based on the position of the moving object are integrated. Since the position calculation can be performed with a small amount of calculation, even if the number of moving objects increases, integration can be performed at high speed with simple processing.
- the process 160 includes a step 170 for executing a process of integrating the analysis result 113 and the analysis result 117 for the group to be processed, and an analysis result storage unit (integrated analysis result) 125 of the step 170 shown in FIG. And step 172 of outputting to 126.
- the program realizing step 170 shown in FIG. 7 determines whether the number of moving objects detected by LiDAR 62 or the like is equal to the number of moving objects detected by camera 60 or the like, If the determination of 200 is affirmative, a step 202 is included in which, among the moving objects detected by the LiDAR 62 and the moving object detected by the camera 60, the closest moving objects are integrated and output as an analysis result 125 to end the process.
- the detection result of the LiDAR 62 is used as the position
- the detection result of the camera 60 is used as the attribute. This is because the LiDAR 62 can detect the positional information with higher accuracy at shorter intervals, while the detection result from the camera 60 is more detailed regarding the attribute.
- the integration result more accurately represents the position and attribute of the moving object.
- This program is executed in a cycle shorter than the second cycle and longer than the first cycle. If it is executed in the first cycle, the position of the moving object can be tracked with high accuracy, which is preferable. In this case, the update of the moving object detection by the attribute detection unit 116 may not be in time. However, in that case, since the information on the moving object detected by the attribute detection unit 116 immediately before is used as it is, there is no problem in the integration process.
- This program is further executed when the determination in step 200 is negative, and step 204 for determining whether or not the number of moving objects detected by the LiDAR 62 is greater than the number of moving objects detected by the camera 60 and the determination in step 204.
- the result is affirmative, for each moving object detected by the camera 60, the closest moving object among the moving objects detected by the LiDAR 62 is integrated and output as an analysis result 125.
- Each of the remaining moving bodies detected by the LiDAR 62 is closest to the position of the moving body in the analysis result after integration one cycle before and the value is smaller than a predetermined threshold value.
- Step 207 for determining whether or not there is a moving object, and when the determination in step 207 is affirmative, the moving object Steps 208 and 207 for extracting and substituting the attribute information into the attribute information of the information obtained by the LiDAR 62 to integrate both pieces of information and output the result as an integrated analysis result 125 and to end the processing.
- the determination is negative, the information of the moving body obtained from the LiDAR 62 is used as it is, and is output as the analysis result 125 after integration, and the process is terminated.
- the program further integrates the moving object detected by the camera 60 with each moving object detected by the camera 60 and outputs the result as an analysis result 125 when the determination in step 204 is negative. 210, and after step 210, the remaining moving object detected by the camera 60 is output as the analysis result 125, and the process is terminated. At this time, all the information obtained from the image regarding this moving object is carried over to the information of the moving object after integration.
- attribute information obtained by image processing is added to a moving object, for example, by the processing in step 208, the attribute information is succeeded even if the moving object is not captured by the camera thereafter. Therefore, it is possible to track a moving object having a specific attribute even where an image by a camera is not obtained and only information by the LiDAR 62 is obtained.
- the number of moving objects detected by the LiDAR 62 is compared with the number of moving objects detected by the camera 60, and different processing is performed according to the result.
- the moving objects can be integrated in an optimum manner according to the detection result of the moving objects, the processing is simplified, and the processing can be continued normally even if the number of moving objects temporarily does not match due to occlusion or the like.
- moving objects that are not combined with other moving objects in the above method are included in the analysis results after integration. As a result, the moving object is not overlooked, and safer moving object management can be performed for the vehicle.
- the program for realizing the warning notification unit 128 shown in FIG. 2 searches for a moving object having an attribute that should be noted for the vehicle, such as a dangerous pedestrian, as an attribute in the integrated result, and step 240.
- Step 240 is followed by Step 242 for executing processing 244 for each retrieved moving object.
- the process 244 is searched in steps 250 and 250 for searching for a vehicle located within a predetermined distance from the moving body such as the dangerous pedestrian and approaching the moving body in the vehicle information 121 shown in FIG. And a step 252 for transmitting a warning notifying the approach of a dangerous pedestrian to each vehicle.
- the moving object management system 50 operates as follows. With reference to FIG. 1, the plurality of cameras 60 of the moving body management system 50 each capture a predetermined imaging range and transmit an image signal to the sensor sharing server 66. Each of the plurality of LiDARs 62 measures the distance to the moving object existing in the surrounding predetermined range, and transmits a distance measurement signal to the sensor sharing server 66.
- the reception processing unit 110 of the sensor sharing server 66 receives the signals from the plurality of infrastructure sensor facilities 80 and the signals from the vehicle-mounted sensor 82 as described above, and tracks the signal from the LiDAR 62 as a moving object.
- the image signal from the camera 60 is supplied to the attribute detection unit 116.
- the reception processing unit 110 gives the vehicle tracking unit 120 information indicating the position, speed, and traveling direction of the vehicle among the information received from the vehicle sensor 100.
- the vehicle tracking unit 120 generates and manages the vehicle information 121 shown in FIG. 6 based on the received information.
- the moving object tracking unit 112 of the sensor sharing server 66 determines the position of each moving object in the first period by analyzing the distance measurement signal received from the LiDAR 62 or the like received from the reception processing unit 110. The time required for this analysis is short, and the analysis result 113 is updated in the first period.
- the attribute detection unit 116 performs image analysis on the image signal received from the reception processing unit 110 to determine the attribute and position of a moving object such as a vehicle or a person in the image. Since image processing takes time, the attribute detection period by the attribute detection unit 116 is a second period longer than the update period of the analysis result 113 by the moving object tracking unit 112.
- the analysis result 117 of the attribute detection unit 116 is stored in the analysis result storage unit 118.
- the program shown in Fig. 7 is started repeatedly at regular intervals.
- step 150 the current time is acquired, and in step 152, an analysis start time that is a predetermined time before the current time is calculated.
- step 154 a record having time information that falls within the range from the analysis start time to the current time is extracted from the analysis result 113 shown in FIG. 3 and the analysis result 117 shown in FIG. Information indicating whether the record is extracted from the analysis result 113 or the analysis result 117 is attached to each record extracted here.
- step 156 the program further groups those in which the distance between moving objects indicated by the record extracted in step 154 is within a threshold value.
- step 158 processing for integrating the analysis result 113 and the analysis result 117 is executed for each grouped group (step 170). Specifically, the following processing is executed.
- step 200 it is determined whether or not the number of moving objects detected by LiDAR 62 or the like is equal to the number of moving objects detected by camera 60 or the like.
- the determination in step 200 is affirmative, among the moving objects detected by the LiDAR 62 in step 202 and the moving objects detected by the camera 60, information on a new moving object that integrates the closest moving objects is an analysis result 125 after the integration.
- Output as.
- information on the analysis result 113 side from the LiDAR 62 is used as position information
- information on the analysis result 117 side from the camera 60 is used as attribute information. Predetermined information is adopted for each of the other elements not shown.
- step 204 is executed to determine whether the number of moving objects detected by the LiDAR 62 is greater than the number of moving objects detected by the camera 60. If the determination in step 204 is affirmative, in step 206, information on a new moving object formed by integrating the moving objects closest to each of the moving objects detected by the LiDAR 62 with respect to each moving object detected by the camera 60. Is output as an analysis result 125 after integration. Subsequent to step 206, among the moving objects detected by the LiDAR 62, the difference between the position and the position of this moving object is the smallest among the moving objects detected by the integration processing of the previous cycle, and the value thereof. It is determined in step 207 whether or not there is a value below the threshold value.
- step 208 information on a new moving object that can be obtained by integrating the attribute information of the moving object with the information obtained by the LiDAR 62 is output as an analysis result 125 after integration, and the process ends. If the determination in step 207 is negative, information on the moving body after integration is created using only the information on the moving body detected by the LiDAR 62, and the information is output as the analysis result 125, and the process is terminated.
- step 210 the moving object detected by the camera 60 is integrated with each moving object detected by the LiDAR 62 and output as an analysis result 125. After step 210, the remaining moving object detected by the camera 60 is output as the analysis result 125. At this time, all the information obtained from the image regarding this moving object is carried over to the information of the moving object after integration.
- the information obtained from the other party to be combined is set to a default value (for example, blank) because there is no other party. Even when there is no partner to be combined in this way, the operation is continued even if the number of detected moving objects becomes inconsistent due to temporary occlusion by creating an integrated result from information from only one side it can.
- step 170 of FIG. 7 When the analysis result integration process shown in step 170 of FIG. 7 is performed as described above, the process result (integration analysis result) of step 170 is output as the analysis result 125 shown in FIG.
- a process 160 consisting of the above steps 170 and 172 is executed for each group. As a result, an integrated analysis result 125 (see FIGS. 2 and 5) is generated.
- the analysis result 125 shown in FIG. 5 integrates the analysis result for the output of the LiDAR 62 and the like and the analysis result obtained as a result of the image processing for the image signal from the camera 60. It is recorded and managed in the form. In this case, information detected based on the output from the LiDAR 62 is used as the position information. Therefore, the position of each moving body is updated at a relatively short period of the first period, and the accuracy of information regarding the position of each moving body is increased. On the other hand, information regarding the attribute of each moving object obtained from the image signal output from the camera 60 is reflected in the attribute of the analysis result 125.
- This attribute update is performed in a second period lower than the first period, but is more detailed than the attribute detected by the LiDAR 62. Therefore, it is possible to accurately track the position of the moving object specified according to the accurate attribute based on the analysis result 125 after the integration.
- the warning notification unit 128 shown in FIG. 2 notifies the vehicle of a warning using the analysis result 125.
- the program searches for a moving object having an attribute to be noted for the vehicle, such as a dangerous pedestrian, as an attribute in the integrated result.
- the process 244 is executed for each of the dangerous pedestrians and the like.
- step 250 of process 244 a vehicle that is located within a predetermined distance from the dangerous pedestrian or the like to be processed and is approaching the moving object is searched.
- a warning for notifying the approach of a dangerous pedestrian to each searched vehicle is transmitted via the transmission processing unit 130 shown in FIG.
- a pedestrian is detected by, for example, LiDAR 304 and camera 294 at a position 308 in an area 306 where the detection ranges of camera 294 and LiDAR 304 overlap. Information obtained from these is integrated and managed in the form of an analysis result 125 shown in FIG. It is assumed that it is determined that the pedestrian is a dangerous pedestrian by performing image processing on the output of the camera 294. Then, the attribute which shows that it is a dangerous pedestrian is attached
- the sensor sharing server 66 can determine that the pedestrian has a dangerous attribute even if the image processing by the camera 302 is not in time. Therefore, walking that requires attention to a vehicle within a predetermined range 322 (for example, a range of radius R centered on the position 314) from the pedestrian position 314 or a vehicle 324 that is moving toward the range 322, etc.
- a warning 326 indicating that there is a person can be transmitted accurately.
- a moving object detected by a ranging signal from the LiDAR 62 that can be processed in a short cycle but cannot obtain detailed attributes, and can be processed only in a longer cycle
- the detected moving body is integrated by performing image processing on an image signal from the camera 60 or the like that can be detected.
- the position information obtained from the LiDAR 62 is used, and the attribute obtained from the camera 60 is used. Accordingly, it is possible to detect the attribute of the moving object with high reliability and at the same time to detect the position with high accuracy. Therefore, it is possible to accurately notify the surrounding vehicle or the like regarding the moving object to be noted.
- the system according to the present embodiment can be generally used for driving support of a vehicle, and can be used for safe operation management of a vehicle, particularly by calling attention to a moving object that requires attention within a certain area. .
- moving bodies 340 and 342 obtained from LiDAR 62 and moving bodies 344 and 346 obtained from camera 60 moving body 340 and moving body 344, moving body 340 and moving body 346, moving body 342 and moving body 344 are included.
- both the moving body 346 and the moving body 346 are equal to or less than the threshold value, the two combinations of FIGS. 11 and 12 occur.
- the moving body 340 and the moving body 344 are combined, and the moving body 342 and the moving body 346 are combined.
- the moving body 340 and the moving body 346 are combined, and the moving body 342 and the moving body 344 are combined.
- FIG. 12 the moving body 340 and the moving body 346 are combined, and the moving body 342 and the moving body 344 are combined.
- FIG. 11 is considered to be more appropriate as a combination method in such a case, but there is a possibility that when the moving object 342 and the moving object 344 are combined first, the result is as shown in FIG. This embodiment is for eliminating such a possibility as much as possible. Specifically, in the present embodiment, when the state shown in FIG. 11 occurs, the sum of the squares of the distances between moving objects to be combined is calculated for all possible combinations, and the value is The combination that makes the smallest is adopted.
- a program having a control structure shown in FIG. 13 is adopted instead of the program shown in FIG. Referring to FIG. 13, this program is executed for each group in which the distance between the moving object detected by LiDAR and the moving object detected by the camera is equal to or less than a threshold value. .
- This program calculates all possible combinations of the moving object detected by the LiDAR and the moving object detected by the camera, and for all the combinations calculated in step 350, the moving object detected by the LiDAR and the camera Calculate the sum of the squares of the distances between the detected moving object and the combination of the moving objects, and combine the combination of moving objects according to the combination adopted in step 352 and the step 352 that adopts the combination that minimizes the value. And a step 354 of outputting to a later analysis result. By this process, all the combinations that can be combined between the moving object detected by the LiDAR and the moving object detected by the camera are combined.
- step 354 the program further determines whether the number of moving objects detected by LiDAR in the processing target group is equal to the number of moving objects detected by the camera.
- Step 356 for ending the execution and step 358 for determining whether or not the number of moving objects detected by LiDAR is larger than the number of moving objects detected by the camera when the determination result of step 356 is negative.
- This program is further executed when the determination in step 358 is affirmative, and for each of the moving objects detected by LiDAR that has not been combined with other moving objects, the moving object is included in the history of the integration result of the previous step.
- Step 359 for determining whether or not there is a moving object that is close to the position of the position and whose value is within a predetermined threshold value.
- Step 359 If the determination in Step 359 is affirmative, the attribute information of the moving object is set to LiDAR. And substituting in the attribute information of the information obtained by the step 360, and outputting the information of the new moving object to the analysis result after integration. If the determination in step 359 is negative, this program further creates information on the moving body after integration using only the LiDAR information and outputs it to the analysis result after integration, and the determination in step 358 is negative. And step 362 for generating new post-integration information using the remaining camera detection moving body information and outputting it to the post-integration analysis result.
- the moving object detected by LiDAR and the moving object detected by the camera are most preferable (highly likely to be correct). Combinations can be obtained. As a result, it is possible to accurately track a moving object to which a dangerous attribute is assigned.
- the sensor sharing server 380 receives a signal from the infrastructure sensor facility 80 instead of the reception processing unit 110 shown in FIG.
- the first tracking processing unit 390 for supplying the signal from the LiDAR to the moving body tracking unit 112 and the image signal from the camera to the attribute detecting unit 116 and the signal from the vehicle-mounted sensor 82 are received to track the vehicle.
- a second reception processing unit 392 for giving to the unit 120 is provided.
- the moving object to be noted and the tracking thereof are performed only by signals from the infrastructure sensor facility 80.
- the sensor sharing server 380 has the same configuration as the sensor sharing server 66 and operates with the same program. Therefore, detailed description thereof will not be repeated.
- the position of the infrastructure sensor is known in advance, for example, a fixed background is deleted from the image signal to increase the speed of image processing, or images from two cameras are used. There is an effect that the detection accuracy of the position and attribute of the moving object can be increased. Further, by arranging a plurality of sensors only at important points, there is an effect that a moving object can be efficiently detected in a certain region.
- this embodiment also has a drawback that it is impossible to detect and track a moving object in an area where no infrastructure sensor is installed.
- the moving body management system 50 and its components according to the above embodiment of the present invention are realized by computer hardware including a processor, a program executed by the computer hardware, and data stored in the computer hardware.
- FIG. 15 shows the external appearance of the computer system 430
- FIG. 16 shows the internal configuration of the computer system 430.
- the computer system 430 includes a computer 440 having a DVD (Digital Versatile Disc) drive 450, a keyboard 446, a mouse 448, and a monitor 442.
- DVD Digital Versatile Disc
- computer 440 is connected to CPU (Central Processing Unit) 456, GPU (Graphic Processing Unit) 457, CPU 456, GPU 457, and DVD drive 450.
- CPU Central Processing Unit
- GPU Graphic Processing Unit
- a bus 466 a read only memory (ROM) 458 for storing a boot-up program and the like, a random access memory (RAM) 460 connected to the bus 466 for storing a program command, a system program, work data, and the like;
- a hard disk drive (HDD) 454 which is a volatile memory.
- the computer system 430 further includes a network interface (I / F) 444 that provides a connection to a network 468 that allows communication with other terminals.
- I / F network interface
- the analysis results 113, 117, and 125, the vehicle information 121, and the like shown in FIG. 2 are all stored in the HDD 454 or the RAM 460. That is, the analysis result storage units 114, 118, and 126, the vehicle information storage unit 122, and the like are realized by the HDD 454 and the RAM 460.
- the computer program for causing the computer system 430 to realize the functions of the moving object management system 50 and its constituent elements is stored in the DVD 462 attached to the DVD drive 450 and transferred from the DVD drive 450 to the HDD 454.
- the program may be transmitted to the computer 440 through the network 468 and stored in the HDD 454.
- the program is loaded into the RAM 460 when executed.
- the program may be loaded into the RAM 460 directly from the DVD 462 or via a network.
- This program includes a plurality of instructions for causing the computer 440 to operate as the sensor sharing server 66 and the sensor sharing server 380 of the moving object management system 50 of this embodiment.
- Some of the basic functions required to perform this operation are provided by operating system (OS) or third party programs running on the computer 440 or various toolkit modules installed on the computer 440. Therefore, this program does not necessarily include all functions necessary to realize the system and method of this embodiment.
- the program calls the appropriate function or “programming tool kit” in a controlled manner to obtain a desired result among the instructions, thereby operating the moving object management system 50 and its components. Need only contain instructions to execute The operation of computer system 430 is well known and will not be repeated here. Note that the GPU 457 can perform parallel processing, and effectively functions when executing integrated processing related to many moving objects in parallel.
- Appendix 1 A first history storage unit that stores, as a history, a predetermined number of detection results immediately before the first moving object detection unit capable of detecting one or more first moving objects; A second history storage unit that stores a predetermined number of detection results immediately before the second moving object detection unit capable of detecting one or more second moving objects as a history;
- the integrated processing unit includes the latest detection results of the first and second moving object detection units, and a predetermined number of detection results immediately before stored in the first history storage unit and the second history storage unit.
- a process of integrating the one first moving body and the one second moving body when the one first moving body and the one second moving body are the same. It includes a temporal and spatial integration processing unit that takes into consideration the time to be executed in the third cycle shorter than the cycle.
- the same moving object can be detected more accurately by the temporal and spatial integration processing unit.
- the moving object detected by the first moving object detection unit and the moving object detected by the second moving object detection unit exist not only spatially in the vicinity, but also when the times when both are detected are close This is because the possibility that both are the same moving object is very high.
- the temporal trajectories are known, there is a high possibility that the two moving objects can be distinguished at the latest detection.
- LiDAR LiDAR
- camera any type of sensors
- the present invention is not limited to such an embodiment.
- An infrared sensor may be used as the distance measuring sensor.
- the camera is a stereo camera, the accuracy of position detection by the camera can be increased.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
動体管理装置は、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知部と、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知部と、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理部と、前記統合処理部の処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知部とを含む。
Description
本発明は、動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラムに関する。本出願は、2018年3月29日出願の日本出願第2018-063865号に基づく優先権を主張し、前記日本出願に記載された全ての内容を援用するものである。
車両を運行する際には、自車の動きだけではなく、他車の動きにも十分に注意する必要がある。車両に加えて、歩行者が存在している場合には特に注意が必要である。従来、このような移動物体(以下、「動体」と呼ぶ。)を検知する技術として、後掲の特許文献1に開示された技術がある。
特許文献1には、街頭に設置された監視カメラなどの複数のセンサを用い、一方のセンサで検知された測定結果によって、他方のセンサの対象物に影響を与える情報を取得し、複数のセンサから取得した様々な計測結果を統合した形で保持することによって、システム全体の性能向上を図るシステムが開示されている。
本開示の一態様に係る動体管理装置は、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知部と、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知部と、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理部と、前記統合処理部の処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知部とを含む。
本開示の一の態様に係る動体管理システムは、上述の動体管理装置と、前記第1周期で周囲の物体までの距離を示す測距信号を前記第1の動体検知部に前記第1の信号として送信する第1のセンサと、前記第2周期で撮像範囲の画像を示す画像信号を前記第2の信号として前記第2の動体検知部に送信する第2のセンサとを含む。
本開示の一の態様に係る動体管理方法は、コンピュータが、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知ステップと、コンピュータが、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知ステップと、コンピュータが、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理ステップと、コンピュータが、前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップとを含む。
本開示の一の態様に係るコンピュータプログラムは、コンピュータに、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知ステップと、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知ステップと、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理ステップと、前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップと、を実行させる。
本開示の他の態様に係る動体管理装置は、第1周期で周囲の物体までの距離を測定して測距信号を送信する距離センサから前記測距信号を受信し、前記第1周期より長い第2周期で撮像範囲の画像を表す画像信号を送信する撮像装置から前記画像信号を受信することが可能なように接続された受信部と、受信部が受信した情報を読取り可能に前記受信部に接続されたプロセッサとを含み、前記プロセッサは、前記測距信号に基づいて1つ以上の第1の動体を検知する第1の動体検知ステップと、前記画像信号に基づいて1つ以上の第2の動体を検知する第2の動体検知ステップと、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を前記第2周期より短い周期で実行する統合処理ステップと、前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップとを実行するようにプログラムされている。
本開示は、このような特徴的な処理部を備える動体管理装置、かかる特徴的な処理をステップとする動体管理方法、及びかかる特徴的な処理をコンピュータに実行させるためのプログラムとして実現することができる。また、かかるステップの一部又は全部を実行する機能を有する半導体集積回路として実現したり、動体管理装置を含む動体管理システムとして実現したりすることができる。
<本開示が解決しようとする課題>
特許文献1に開示された発明は、複数のセンサの計測結果を統合することでシステム全体の性能向上を図る点で優れたものといえる。しかし、特許文献1は、個々のセンサの性能の相違及び特性を十分に考慮していないという問題がある。
特許文献1に開示された発明は、複数のセンサの計測結果を統合することでシステム全体の性能向上を図る点で優れたものといえる。しかし、特許文献1は、個々のセンサの性能の相違及び特性を十分に考慮していないという問題がある。
例えば特許文献1には、センサとして画像センサ(カメラ等)、距離センサ(レーザレーダ)等が挙げられている。特許文献1では、これらから得た情報を統合することによりシステム全体の性能向上を目指している。しかし、例えば距離センサの場合、その出力を処理して動体の位置を検出するためには短い時間しか必要としないのに対し、画像センサから得た画像から動体の属性等を示す情報を導き出すためには、比較的長い処理時間が必要な画像処理を行う必要がある。そのため、特許文献1に開示された発明による処理速度は、結局画像センサの出力に対する画像処理により律速されてしまい、動体の位置の計測精度が十分に得られないという問題がある。
<本開示の効果>
本開示によれば、動体の管理をより精度高く行うことができる。
本開示によれば、動体の管理をより精度高く行うことができる。
<本発明の実施形態の概要>
以下、本発明の実施形態の概要を列記して説明する。
(1) 本実施形態に係る動体管理装置は、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知部と、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知部と、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理部と、前記統合処理部の処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知部とを含む。
以下、本発明の実施形態の概要を列記して説明する。
(1) 本実施形態に係る動体管理装置は、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知部と、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知部と、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理部と、前記統合処理部の処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知部とを含む。
第2の動体検知部による詳細な属性情報により高い信頼性で特定の属性を持つと判定された動体について、第1の動体検知部による検知結果を用いて精度高く位置を定め追跡できる。その結果、動体の管理をより精度高く行うことができる。
(2) 本実施形態に係る動体管理装置において、前記統合処理部は、1つの前記第1の動体の位置と、1つの前記第2の動体の位置が所定の条件を充足するときに、前記1つの第1の動体と、前記1つの第2の動体とが同一か否かを判定する位置判定部と、前記位置判定部によって同一と判定された前記1つの第1の動体及び前記1つの第2の動体を統合する統合部とを含んでもよい。
統合処理部は、動体の位置に基づいて同一と判定された動体を統合する。位置計算は少ない計算量で行えるので、動体の数が多くなっても簡単な処理で高速に統合を実行できる。
(3) 本実施形態に係る動体管理装置において、前記位置判定部は、前記1つの第1の動体の前記位置と前記1つの第2の動体の前記位置に加えて、前記1つの第1の動体及び前記1つの第2の動体がそれぞれ前記第1の動体検知部及び前記第2の動体検知部により検知された時刻が所定の条件を充足するときに、前記1つの第1の動体と、前記1つの第2の動体とが一致するか否かを判定する位置・時間判定部を含んでもよい。
位置に加えて時間まで含めて同一と判定された動体を統合するので、統合結果の信頼性が高くなる。検出された位置及び時間が近接している第1の動体と第2の動体とは同一のものである可能性が非常に高いためである。
(4) 本実施形態に係る動体管理装置において、前記統合部は、前記位置判定部により同一と判定された動体の位置及び属性を、前記1つの第1の動体の位置及び前記1つの第2の動体の属性を用いて設定してもよい。
第1の動体検知部の出力と第2の動体検知部の出力との、他より優れた点を組合せるので、動体を統合した後の動体の追跡及び報知が的確に行える。
(5) 本実施形態に係る動体管理装置において、前記統合部は、
前記第1の動体検知部によって検知される前記第1の動体の数と、前記第2の動体検知部によって検知される前記第2の動体の数とが一致するか否かを判定する動体数判定部と、前記動体数判定部による結果に基づいて、統合の対象となり得る前記第1の動体と前記第2の動体とのグループを決定するグループ決定部とを含み、前記位置判定部は、前記グループ決定部により決定されたグループに含まれる1つの前記第1の動体の位置と、前記グループに含まれる1つの前記第2の動体の位置が所定の条件を充足するか否かによって、前記1つの第1の動体と、前記1つの第2の動体とが同一か否かを判定するグループ内判定部を含んでもよい。
前記第1の動体検知部によって検知される前記第1の動体の数と、前記第2の動体検知部によって検知される前記第2の動体の数とが一致するか否かを判定する動体数判定部と、前記動体数判定部による結果に基づいて、統合の対象となり得る前記第1の動体と前記第2の動体とのグループを決定するグループ決定部とを含み、前記位置判定部は、前記グループ決定部により決定されたグループに含まれる1つの前記第1の動体の位置と、前記グループに含まれる1つの前記第2の動体の位置が所定の条件を充足するか否かによって、前記1つの第1の動体と、前記1つの第2の動体とが同一か否かを判定するグループ内判定部を含んでもよい。
第1の動体検知部により検知された動体と第2の動体検知部により検知された動体の数とを比較し、その結果に応じて統合方法を変える。したがって、動体の検知結果に応じて最適な方法で動体の統合を行うことができる。
(6) 本実施形態に係る動体管理装置において、前記統合処理部はさらに、前記グループ内判定部が前記グループに含まれる前記1つの第1の動体が前記グループに含まれる前記1つの第2の動体と同一であると判定せず、又は、前記グループに含まれる前記1つの第2の動体が前記グループに含まれる前記1つの第1の動体と同一であると判定しない場合に、前記1つの第1の動体及び前記1つの第2の動体に関する情報のうちで値が設定されていないものに既定の値を設定することにより統合後の動体を生成する既定値設定部を含んでもよい。
他の動体と組合されなかった動体でも統合後の解析結果に含まれるので、動体の見落としがなくなる。その結果、車両にとってより安全な動体管理を行うことができる。
(7) 本実施形態に係る動体管理装置において、前記報知部は、所定領域内の車両の位置を検知する車両位置検知部と、前記統合処理部の処理結果及び前記車両位置検知部の検知結果に基づいて、所定の属性を持つ動体を中心とする所定範囲内に位置する車両があるときに、前記車両に対して前記所定の条件を満たす動体に関する警告を報知する警告部とを含んでもよい。
所定の属性を持つ動体から所定範囲内にある車両に、適時に注意すべき動体について的確な警告を報知できる。
(8) 本実施形態に係る動体管理システムは、(1)~(7)のいずれか1つに記載の動体管理装置と、前記第1周期で周囲の物体までの距離を示す測距信号を前記第1の動体検知部に前記第1の信号として送信する第1のセンサと、前記第2周期で撮像範囲の画像を示す画像信号を前記第2の信号として前記第2の動体検知部に送信する第2のセンサとを含む。
第1のセンサ及び第2のセンサの出力を動体管理装置に送信すると、動体管理装置の第2の動体検知部による詳細な属性情報により高い信頼性で特定の属性を持つと判定された動体について、動体管理装置の第1の動体検知部による検知結果を用いて精度高く位置を定め追跡できる。その結果、動体の管理をより精度高く行うことができる。
(9) 本実施形態に係る動体管理方法は、コンピュータが、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知ステップと、コンピュータが、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知ステップと、コンピュータが、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理ステップと、コンピュータが、前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップとを含む。
この動体管理方法の第2の動体検知ステップによる詳細な属性情報により高い信頼性で特定の属性を持つと判定された動体について、第1の動体検知ステップによる検知結果を用いて精度高く位置を定め追跡できる。その結果、動体の管理をより精度高く行うことができる。
(10) 本実施形態に係るコンピュータプログラムは、コンピュータに、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知ステップと、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知ステップと、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理ステップと、前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップと、を実行させる。
このコンピュータプログラムが第2の動体検知ステップを実行して得られる詳細な属性情報により、高い信頼性で特定の属性を持つと判定された動体について、第1の動体検知ステップを実行して得られる検知結果を用いて精度高く位置を定め追跡できる。その結果、動体の管理をより精度高く行うことができる。
(11) 本実施形態に係る動体管理装置は、第1周期で周囲の物体までの距離を測定して測距信号を送信する距離センサから前記測距信号を受信し、前記第1周期より長い第2周期で撮像範囲の画像を表す画像信号を送信する撮像装置から前記画像信号を受信することが可能なように接続された受信部と、受信部が受信した情報を読取り可能に前記受信部に接続されたプロセッサとを含み、前記プロセッサは、前記測距信号に基づいて1つ以上の第1の動体を検知する第1の動体検知ステップと、前記画像信号に基づいて1つ以上の第2の動体を検知する第2の動体検知ステップと、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を前記第2周期より短い周期で実行する統合処理ステップと、前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップとを実行するようにプログラムされている。
プロセッサが、画像信号に対して第2の動体検知ステップを実行して得られる詳細な属性情報により、高い信頼性で特定の属性を持つと判定された動体について、測距信号に対して第1の動体検知ステップを実行することにより得られる検知結果を用いて精度高く位置を定め追跡できる。その結果、動体の管理をより精度高く行うことができる。
<本発明の実施形態の詳細>
以下、図面を参照しつつ、本発明の実施形態の詳細を説明する。なお、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。
以下、図面を参照しつつ、本発明の実施形態の詳細を説明する。なお、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。
なお、以下の説明では、記載を簡略にするため、コンピュータプログラムを単に「プログラム」と呼ぶ。
<第1の実施形態>
〈構成〉
図1を参照して、本発明の第1の実施形態に係る動体管理システム50は、後述する各種センサの出力を統合し、所定領域内の車両に適宜警告等を報知する処理を行うためのセンサ共有サーバ66と、所定の撮像範囲を撮像して画像信号をセンサ共有サーバ66に送信する複数のカメラ60と、周囲の所定範囲64内に存在する動体までの距離を測定し、測距信号をセンサ共有サーバ66に送信する複数のLiDAR(Laser Imaging Detection and Ranging)62とを含む。複数のカメラ60及びLiDAR62の一部は、街灯、ビル、信号柱等の社会基盤施設(インフラストラクチャー。以下「インフラ」と呼ぶ。)に取り付けられたインフラセンサであり、他の一部は車両に搭載された車両センサである。本実施形態では、センサ共有サーバ66は各インフラセンサの設置された位置を管理している。そのため、センサ共有サーバ66はLiDAR62からの測距信号及びカメラ60からの画像信号を処理することで各動体の位置を緯度と経度との組合せで計算できる。
〈構成〉
図1を参照して、本発明の第1の実施形態に係る動体管理システム50は、後述する各種センサの出力を統合し、所定領域内の車両に適宜警告等を報知する処理を行うためのセンサ共有サーバ66と、所定の撮像範囲を撮像して画像信号をセンサ共有サーバ66に送信する複数のカメラ60と、周囲の所定範囲64内に存在する動体までの距離を測定し、測距信号をセンサ共有サーバ66に送信する複数のLiDAR(Laser Imaging Detection and Ranging)62とを含む。複数のカメラ60及びLiDAR62の一部は、街灯、ビル、信号柱等の社会基盤施設(インフラストラクチャー。以下「インフラ」と呼ぶ。)に取り付けられたインフラセンサであり、他の一部は車両に搭載された車両センサである。本実施形態では、センサ共有サーバ66は各インフラセンサの設置された位置を管理している。そのため、センサ共有サーバ66はLiDAR62からの測距信号及びカメラ60からの画像信号を処理することで各動体の位置を緯度と経度との組合せで計算できる。
カメラ60はセンサ共有サーバ66に対して画像信号を送信する。画像信号に含まれる情報は多く、人、車両等を広く検知できるだけではなく、人であればその位置及び姿勢、歩行中か否か、スマートフォンを持って歩いているか否か、何色の服を来ているか等の、各動体の属性を示す情報を得ることができる。しかし、これら属性情報を得るためにはセンサ共有サーバ66において画像信号に対する画像処理を行う必要があり、そのためには比較的長い時間が必要である。一方LiDAR62は、周囲を例えば指向性の高いレーザ光で周囲をスキャンし、動体により反射されたレーザ光を検知して動体までの距離を測定するものである。LiDAR62では対象物の属性としては限定されたものしかわからないが、センサ共有サーバ66において処理するための時間は短い。
動体管理システム50の目的は、複数のカメラ60のように対象物の細かい属性まで判別できるが処理には比較的長い時間を要するセンサ出力と、LiDAR62のように対象物の属性については限定的な情報しかわからないが、処理には短い時間しか必要としないセンサ出力との双方を用いて、例えばスマートフォンを見ながら歩く人68のように車両にとって危険な人物を発見したときには、その人物の移動を精度高く追跡し、必要に応じて車両に警告を送信することである。
図2を参照して、センサ共有サーバ66は、上記したように複数のインフラセンサ設備80(カメラ及びLiDARのいずれか又は双方を含む。)からの信号及び車両搭載センサ82(カメラ及びLiDARのいずれか又は双方を含む。)からの信号を受信するための受信処理部110を含む。インフラセンサ設備80の各々は、カメラ又はLiDARからなるインフラセンサ90と、インフラセンサ90の出力する信号をセンサ共有サーバ66の受信処理部110に対して送信するための通信装置92とを含む。車両搭載センサ82も同様、カメラ又はLiDARからなる車両センサ100と、車両センサ100の出力する信号をセンサ共有サーバ66の受信処理部110に向けて送信する通信装置102とを含む。
センサ共有サーバ66はさらに、受信処理部110が受信した信号のうち、LiDAR62等からの測距信号を解析することにより各動体の位置を第1周期で決定し追跡する動体追跡部112と、動体追跡部112による解析結果113を記憶するための第1の解析結果記憶部114と、受信処理部110が受信した信号のうち、カメラからの画像信号に対して画像解析を行うことにより、画像中の車両、人等の動体の属性及び位置を第2周期で決定する属性検出部116とを含む。センサ共有サーバ66はさらに、属性検出部116の解析結果117を記憶するための第2の解析結果記憶部118と、解析結果記憶部114に記憶された解析結果113と解析結果記憶部118に記憶された解析結果117とを第2周期より短い周期で繰返し統合し、統合後の解析結果125を出力する統合処理部124と、統合処理部124が出力した統合後の解析結果125を蓄積して記憶する第3の解析結果記憶部126とを含む。統合処理部124が第2周期より短い周期で統合処理を行うため、場合によっては属性検出部116による解析が間に合わないことがある。本実施形態では、そうしたときには後述する統合処理によってデータの欠損がないようにして動体の統合を行う。
解析結果113、117及び125はそれぞれ所定時間ごとに算出されるが、過去の一定時間に算出された解析結果もそれぞれ履歴として解析結果記憶部114、118及び126に蓄積され記憶されている。統合処理部124が統合処理を行うときに、解析結果記憶部126に蓄積されている過去の統合解析結果125の履歴を参照することがある。
センサ共有サーバ66はさらに、受信処理部110が各車両から受信した信号に基づいて、管理対象の車両の位置、速度及び移動方向等からなる車両情報を得るための車両追跡部120と、車両追跡部120により解析された各車両の位置、速度及び移動方向等の車両情報121を記憶するための車両情報記憶部122とを含む。センサ共有サーバ66はさらに、統合後の解析結果125の動体情報と、車両情報121とを照合し、統合後の動体情報において危険な歩行者という属性を持つ歩行者の各々について、当該歩行者から所定範囲内に位置する車両に対して警告を報知する処理を行うための警告報知部128と、警告報知部128による警告報知のための信号を対象車両に送信するための送信処理部130とを含む。
図3を参照して、図2に示す動体追跡部112の解析結果113は、管理対象となっている動体ごとに、その識別番号である動体IDと、その動体が検知された時刻と、その動体のその時刻における位置と、その動体についてLiDAR62で検出された属性とを含む。LiDAR62からの出力により得られる情報にはこれ以外の情報もあるが、ここではそれらの図示を省略している。動体追跡部112は、この解析結果113を第1周期で更新する。
位置は、経度及び緯度により特定される。インフラセンサの場合には、センサが設置された位置が予め分かっているため、センサの設置された位置の経度及び緯度と、センサに対する動体の相対位置とにより動体の経度及び緯度が特定できる。車両センサの場合には、車両に搭載されているGPS(Global Positionig System)及びその補正手段による緯度・経度の測定結果を基準に用いることができる。
LiDAR62は基本的に対象動体との距離を測定するためのものであるため、図3に示す属性はこの信号から判定できる限られた情報のみであり、例えば、人、一般車両、大型車両等の区別に限定されている。なお、動体IDは、センサ共有サーバ66が検出した動体を管理するためのものである。したがってセンサ共有サーバ66の管理する領域内で新たな動体が検知されるとその動体に新たなIDが割り当てられる。またセンサ共有サーバ66の管理する領域からある動体が離脱すると、本実施形態ではそのIDの割り当てが解消する。動体IDは以後の図4及び図5においても同様である。ただし、図3及び図4に示す動体IDは互いに無関係である。また図5に示す動体IDは処理の仕方により様々であるが、本実施形態では、後述するように図3又は図4に示すものとは無関係となる。
図4を参照して、図2に示す属性検出部116の解析結果117は、解析結果113と同様、管理対象となっている動体ごとに、その識別番号である動体IDと、その動体が検知された時刻と、その動体のその時刻における位置と、その動体についてカメラ60からの画像信号を画像処理することで検出された属性とを含む。カメラ60の出力する画像は所定の撮像範囲の画像を含む。したがって、適切な画像処理を行うことにより、各動体について解析結果113よりも詳細な属性、例えば人であれば、大人と子供の区別、着用している衣服の色彩、歩行しているか否か、等の属性を得ることができる。本実施形態で特に用いるのは、いわゆる「歩きスマホ」をしている人、予測できないような動きをする子供、小さい子供と大人との2人連れ、子供又は老人が運転している自転車等、車両の運転者にとって特に注意すべき動体であることを示す属性である。なお、カメラ60に対する画像解析の結果得られる情報はこれ以外にも存在するが、図4では図示を省略してある。また、解析結果117は、画像処理に時間がかかるため第1周期より長い第2周期で更新される。
図5を参照して、図2に示す統合処理部124の解析結果125の構成自体は、図3に示す解析結果113及び図4に示す解析結果117と同様で、動体IDと、その動体が検知された時刻と、その時刻のその動体の位置と、その動体の属性とを含む。解析結果125が解析結果113とも解析結果117とも異なるのは、解析結果113と解析結果117とを統合したことにより、各動体の位置はLiDAR62等により検知されたときの位置であるのに対し、各動体の属性はその動体についてカメラ60等により検出された詳細な属性となっている点である。解析結果113と解析結果117との統合を行う手法については後述する。解析結果125は、統合処理ごとに作成され、蓄積される。
図6を参照して、図2に示す車両追跡部120が管理する車両情報121は、車両IDと、その車両が検知された時刻と、その車両が検知されたときのその車両の位置と、そのときのその車両の進行方向と、そのときの速度とを含む。車両の位置としては、車両に搭載されているGPS及びその補正手段による測定結果を用いる。これらの情報から、その車両がある一定時間の間に移動する距離と、そのときの位置とが推定できる。この車両IDも、図3、図4、及び図5に示す動体IDとは無関係であり、センサ共有サーバ66が管理する領域に車両が進入したことが検知されたときにその車両に割り当てられ、車両がその領域から離脱したときに割り当てが解消される。
図7を参照して、図2に示す統合処理部124をコンピュータにより実現するためのプログラムは、NTP(Network Time Protocol)サーバ等から現時刻を取得するステップ150と、ステップ150において取得された時刻を基準として、解析を開始する時刻(解析開始時刻)を現時刻から所定時間前に設定するステップ152と、図3に示す解析結果113及び図4に示す解析結果117から、解析開始時刻から現時刻までの範囲に入る時刻情報を持つレコードを抽出するステップ154とを含む。ここで抽出された各レコードには、そのレコードが解析結果113から抽出されたものか、解析結果117から抽出されたものかを示す情報を付しておく。
このプログラムはさらに、ステップ154において、抽出されたレコードの位置情報の差及び時間的な差(検知された時刻の相違)により計算される動体間の距離が所定のしきい値内である動体同士をグルーピングするステップ156と、ステップ156でグルーピングされた各グループについて、後述する処理160を実行するステップ158とを含む。なお、このしきい値は比較的小さな値であることが望ましい。また、ステップ156のグルーピングでは、他の全ての動体との距離がしきい値より大きい動体が生じ得る。そうした場合にはその動体のみを構成要素とするグループを形成する。なお、ここでいう距離とは、ユークリッド距離であるものとするが、これ以外にも数学的な距離の定義に適合するものであればどのようなものでも使用できる。例えば位置の場合には単にその絶対値の和を計算して距離としてもよい。また、ここでは時間と位置との双方をまとめて距離を計算した。このように距離を計算することで統合処理がより正確となる。しかしこれに限らず、それぞれについて距離を計算した後にその和を最終的な距離として用いても良い。
位置に加えて時間まで含めて同一と判定された動体を統合するので、統合結果の信頼性が高くなる。検出された位置及び時間が近接している動体は同一のものである可能性が非常に高いためである。
さらに、位置情報のみを用いて距離を計算してもよい。この場合には動体の位置に基づいて同一と判定された動体を統合する。位置計算は少ない計算量で行えるので、動体の数が多くなっても簡単な処理で高速に統合を実行できる。
処理160は、処理対象のグループに対し、解析結果113と解析結果117とを統合する処理を実行するステップ170と、ステップ170の解析結果(統合解析結果)125を図2に示す解析結果記憶部126に出力するステップ172とを含む。
図8を参照して、図7に示すステップ170を実現するプログラムは、LiDAR62等で検知した動体の個数がカメラ60等で検知した動体の個数と等しいか否かを判定するステップ200と、ステップ200の判定が肯定ならLiDAR62により検知された動体とカメラ60により検知された動体のうち、最も近接する動体同士を統合し解析結果125として出力し処理を終了するステップ202とを含む。ここでの統合では、位置としてLiDAR62の検出結果を用い、属性としてはカメラ60の検出結果を用いる。位置情報についてはLiDAR62の方が短い間隔で精度高く検出できるのに対し、属性に関してはカメラ60からの検出結果の方が詳細だからである。このような組合せにより、統合結果はより的確に動体の位置及び属性を表現することになる。なお、このプログラムは、第2周期より短く第1周期以上の周期で実行される。第1周期で実行すれば動体の位置を精度高く追跡できて好ましい。この場合、属性検出部116による動体検知の更新が間に合わないことがあり得る。しかしその場合には、直前に属性検出部116により検知された動体の情報がそのまま用いられるため、統合処理に支障はない。
動体追跡部112の出力と属性検出部116の出力との、他より優れた点を組合せるので、動体を統合した後の動体の追跡及び報知が的確に行える。
このプログラムはさらに、ステップ200の判定が否定のときに実行され、LiDAR62が検知した動体の個数がカメラ60の検知した動体の個数より多いか否かを判定するステップ204と、ステップ204の判定が肯定であるときに、カメラ60により検知された動体の各々に対し、LiDAR62により検知された動体のうちで最も近接する動体を統合して解析結果125として出力するステップ206と、ステップ206の後に実行され、LiDAR62が検知した動体の内で残った動体の各々について、1サイクル前の統合後の解析結果の中で、この動体の位置と最も近接しておりかつその値が所定しきい値より小さかった動体があるか否かを判定するステップ207と、ステップ207の判定が肯定であるときに、その動体を抽出し、その属性情報をLiDAR62により得られた情報の属性情報に代入することで両者の情報を統合して統合後の解析結果125として出力し処理を終了するステップ208と、ステップ207の判定が否定であるときに、LiDAR62から得られた動体の情報をそのまま使用して統合後の解析結果125として出力し処理を終了するステップ209とを含む。
このプログラムはさらに、ステップ204の判定が否定のときに、LiDAR62により検知された動体の各々に、カメラ60により検知された動体の内で最も近接したものを統合して解析結果125として出力するステップ210と、ステップ210の後、カメラ60の検知した動体のうち残ったものを解析結果125として出力し処理を終了するステップ212とを含む。この際、この動体に関して画像から得られた情報は全て統合後の動体の情報に引き継がれる。ステップ208の処理により、例えばある動体に画像処理により得られた属性情報が付された場合、その後にその動体がカメラには捉えられなかったとしてもその属性情報が引き継がれる。したがって、カメラによる画像が得られずLiDAR62による情報しか得られないところでも、特定の属性を持つ動体を追跡することが可能になる。
以上のように本実施形態では、LiDAR62により検知された動体の数とカメラ60により検知された動体の数とを比較し、その結果に応じて異なる処理をしている。こうすることで動体の検知結果に応じて最適な方法で動体の統合が行え、処理が簡単になり、かつオクルージョン等で動体の数が一時的に一致しなくなっても処理を正常に継続できる。
また、上記方法では他の動体と組合されなかった動体でも統合後の解析結果に含まれる。その結果、動体の見落としがなくなり、車両にとってより安全な動体管理を行うことができる。
図9を参照して、図2に示す警告報知部128を実現するプログラムは、統合した結果の中で属性として危険な歩行者等、車両にとって注意すべき属性を持つ動体を検索するステップ240と、ステップ240に続き、検索された各動体について、処理244を実行するステップ242とを含む。
処理244は、図6に示す車両情報121の中で、その危険歩行者等の動体から所定距離内に位置し、かつその動体に接近中の車両を検索するステップ250と、ステップ250で検索された各車両に対して危険歩行者の接近を報知する警告を送信するステップ252とを含む。
<動作>
この第1の実施形態に係る動体管理システム50は以下のように動作する。図1を参照して、動体管理システム50の複数のカメラ60は、それぞれ所定の撮像範囲を撮像して画像信号をセンサ共有サーバ66に送信する。複数のLiDAR62は、それぞれ周囲の所定範囲内に存在する動体までの距離を測定し、測距信号をセンサ共有サーバ66に送信する。
この第1の実施形態に係る動体管理システム50は以下のように動作する。図1を参照して、動体管理システム50の複数のカメラ60は、それぞれ所定の撮像範囲を撮像して画像信号をセンサ共有サーバ66に送信する。複数のLiDAR62は、それぞれ周囲の所定範囲内に存在する動体までの距離を測定し、測距信号をセンサ共有サーバ66に送信する。
図2を参照して、センサ共有サーバ66の受信処理部110は、上記したように複数のインフラセンサ設備80からの信号及び車両搭載センサ82からの信号を受信し、LiDAR62からの信号を動体追跡部112に与え、カメラ60からの画像信号を属性検出部116に与える。一方、受信処理部110は、車両センサ100から受信した情報のうち、車両の位置、速度及び進行方向を示す情報を車両追跡部120に与える。車両追跡部120は受けた情報に基づいて図6に示す車両情報121を生成し、管理する。
センサ共有サーバ66の動体追跡部112は、受信処理部110から受けたLiDAR62等からの測距信号を解析することにより、各動体の位置を第1周期で決定する。この解析に要する時間は短く、第1周期で解析結果113が更新される。属性検出部116は、受信処理部110から受けた画像信号に対して画像解析を行うことにより、画像中の車両、人等の動体の属性及び位置を決定する。画像処理には時間がかかるため、属性検出部116による属性検出の周期は動体追跡部112による解析結果113の更新周期より長い第2周期となる。属性検出部116の解析結果117は解析結果記憶部118に格納される。
図7に示すプログラムは一定間隔で繰り返して起動される。ステップ150で現時刻を取得し、ステップ152で現時刻より所定時間前の解析開始時間を計算する。続いてステップ154で、図3に示す解析結果113及び図4に示す解析結果117から、解析開始時刻から現時刻までの範囲に入る時刻情報を持つレコードを抽出する。ここで抽出された各レコードには、そのレコードが解析結果113から抽出されたものか、解析結果117から抽出されたものかを示す情報を付しておく。
このプログラムはさらに、ステップ156において、ステップ154で抽出されたレコードにより示される動体の間の距離がしきい値以内となるものをグルーピングする。続くステップ158で、グルーピングされた各グループについて、解析結果113と解析結果117とを統合する処理を実行する(ステップ170)。具体的には以下の処理が実行される。
図8を参照して、ステップ200において、LiDAR62等で検知した動体の個数がカメラ60等で検知した動体の個数と等しいか否かを判定する。ステップ200の判定が肯定であるときには、ステップ202においてLiDAR62により検知された動体とカメラ60により検知された動体のうち、最も近接する動体同士を統合した新たな動体の情報を統合後の解析結果125として出力する。この統合処理では、位置情報としてはLiDAR62からの解析結果113側の情報を用い、属性情報としてはカメラ60からの解析結果117側の情報を用いる。図示していないこれら以外の要素については、それぞれ予め定められた既定の情報を採用する。
ステップ200の判定が否定のときには、LiDAR62が検知した動体の個数がカメラ60の検知した動体の個数より多いか否かを判定するステップ204が実行される。ステップ204の判定が肯定であれば、ステップ206で、カメラ60により検知された動体の各々に対し、LiDAR62により検知された動体のうちで最も近接する動体を統合して出来た新たな動体の情報を統合後の解析結果125として出力する。ステップ206に続き、LiDAR62が検知した動体の内で残った動体について、前のサイクルの統合処理により検知された動体のうちで、その位置とこの動体の位置との差が最も小さく、かつその値がしきい値以下のものがあるか否かをステップ207で判定する。ステップ207の判定が肯定であれば、ステップ208でその動体の属性情報をLiDAR62により得られた情報に統合してできる新たな動体の情報を統合後の解析結果125として出力し処理を終了する。ステップ207の判定が否定であれば、LiDAR62により検知された動体のみの情報を用いて統合後の動体の情報を作成し、解析結果125として出力し処理を終了する。
一方、ステップ204の判定が否定のときには、ステップ210で、LiDAR62により検知された動体の各々に、カメラ60により検知された動体の内で最も近接したものを統合して解析結果125として出力する。ステップ210の後、カメラ60の検知した動体のうちで残ったものを解析結果125として出力する。この際、この動体に関して画像から得られた情報は全て統合後の動体の情報に引き継がれる。ステップ208及びステップ212の双方において、組合せられる相手側から得られる筈だった情報については、相手が存在しないので、既定値(例えば空欄)に設定される。このように組合せる相手が存在していないときでも、一方のみからの情報で統合結果を作成することにより、一時的なオクルージョンが原因で、検出された動体数が不一致になっても動作を継続できる。
以上のようにして、図7のステップ170に示す解析結果の統合処理が行われると、続くステップ172でステップ170の処理結果(統合解析結果)を図2に示す解析結果125として出力する。
以上のステップ170および172からなる処理160が各グループに対して実行される。この結果、統合後の解析結果125(図2及び図5を参照)が生成される。
以上の処理が所定時間ごとに繰り返されることにより、図5に示す解析結果125は、LiDAR62等の出力に対する解析結果とカメラ60からの画像信号に対する画像処理の結果得られる解析結果とが互いに統合された形で記録され管理される。この場合、位置情報にはLiDAR62からの出力に基づいて検出された情報が用いられる。したがって各動体の位置は第1の周期という比較的短い周期で更新され、各移動体の位置に関する情報の精度が高くなる。一方、カメラ60の出力する画像信号から得られる各動体の属性に関する情報は、解析結果125の属性に反映される。この属性の更新は第1の周期より低い第2の周期で行われるが、LiDAR62により検知される属性と比較してより詳細である。したがって、この統合後の解析結果125により、正確な属性にしたがって特定した動体の位置を、精度高く追跡することが可能になる。
この解析結果125を利用して車両に対する警告を報知するのが図2に示す警告報知部128である。図9を参照して、このプログラムは、ステップ240により、統合した結果の中で属性として危険な歩行者等、車両にとって注意すべき属性を持つ動体を検索する。続くステップ242で、その危険歩行者等の各々について、処理244を実行する。処理244のステップ250では、処理対象の危険歩行者等から所定距離内に位置し、かつその動体に接近中の車両を検索する。続くステップ252で、検索された各車両に対して危険歩行者の接近を報知する警告を図2に示す送信処理部130を介して送信する。
-本実施形態の効果-
図10を参照して、例えばセンサ共有サーバ66の管理する領域280を考える。領域280には複数のカメラ290、292、294、296、298、300及び302と、LiDAR304を初めとする複数のLiDARが存在する。ここでは説明を分かりやすくするため、LiDARとしてはLiDAR304のみが存在するものとする。
図10を参照して、例えばセンサ共有サーバ66の管理する領域280を考える。領域280には複数のカメラ290、292、294、296、298、300及び302と、LiDAR304を初めとする複数のLiDARが存在する。ここでは説明を分かりやすくするため、LiDARとしてはLiDAR304のみが存在するものとする。
カメラ294とLiDAR304の検知範囲が重複する領域306内の位置308で例えばLiDAR304、カメラ294により歩行者が検知されたものとする。これらから得られる情報は統合され、図5に示す解析結果125のような形で管理される。カメラ294の出力を画像処理することにより、この歩行者が危険な歩行者であることが判定されたものとする。すると、この歩行者に対応する動体に関する統合情報には、危険歩行者であることを示す属性が付される。
一方、この歩行者が位置310を介して位置312に移動する間、カメラの画像情報が得られなかったものとする。この場合でも、統合情報に付された属性は引き継がれるため、LiDAR304からの情報しか得られなくてもこの特定の動体を追跡しながら、その動体が特定の属性を持つと判定できる。
そこで例えば歩行者が位置314まで移動したとき、カメラ302による画像処理が間に合わなくても、この歩行者が危険な属性を持つことがセンサ共有サーバ66では判定できる。したがって、歩行者の位置314から所定の範囲322(例えば位置314を中心とする半径Rの範囲)内にいる車両又はこの範囲322に向けて移動中の車両324等に対して、注意すべき歩行者がいることを示す警告326を的確に送信できる。
以上のように本実施形態によれば、短い周期で処理可能だが詳細な属性が得られないLiDAR62からの測距信号により検知した動体と、より長い周期でしか処理できないが、より詳細な属性を検出できるカメラ60等からの画像信号を画像処理することにより検知した動体とを統合する。この際、位置情報についてはLiDAR62から得られたものを用い、属性についてはカメラ60から得られたものを用いる。したがって、高い信頼性で動体の属性を検出すると同時に、その位置についての高い精度で検出できる。そのため、周囲の車両等に対して、注意すべき動体に関する的確な報知を行うことができる。その結果、本実施の形態に係るシステムは、一般的には車両の運転支援に利用でき、特にある領域内で注意を要する動体に関する注意喚起を行うことにより、車両の安全な運行管理に利用できる。
<第2の実施形態>
第1の実施形態では、LiDAR62から得られた動体と、カメラ60から得られた動体の位置との差が所定のしきい値以下の場合、その中で最も近接した動体同士を統合している。しかしこの場合、統合の仕方によっては統合の誤りが発生する可能性がある。
第1の実施形態では、LiDAR62から得られた動体と、カメラ60から得られた動体の位置との差が所定のしきい値以下の場合、その中で最も近接した動体同士を統合している。しかしこの場合、統合の仕方によっては統合の誤りが発生する可能性がある。
図11を参照して、例えば、LiDAR62から得られた動体340及び342と、カメラ60から得られた動体344及び346とにおいて、動体340と動体344、動体340と動体346、動体342と動体344及び動体346のいずれにおいてもしきい値以下の場合には図11と図12の2つの組合せ方が生じる。図11の場合には、動体340と動体344が組み合わされ、動体342と動体346とが組み合わされている。一方図12の場合には、動体340と動体346とが組み合わされ、動体342と動体344とが組み合わされている。こうした場合の組合せ方としては、図11の方が妥当と考えられるが、動体342と動体344とを先に組合せた場合、図12のようになってしまうという可能性がある。本実施形態は、こうした可能性をできるだけ排除するためのものである。具体的には、本実施形態では、図11に示すような状態が発生した場合、可能な組合せの全てについて、組合せる対象となる動体の間の距離の自乗の和を計算し、その値が最も小さくなるような組合せを採用する。
この第2の実施形態に係るセンサ共有サーバにおいては、図8に示すプログラムに替えて図13に示す制御構造を持つプログラムを採用する。図13を参照して、このプログラムは、LiDARにより検知された動体とカメラにより検知された動体との間の距離がしきい値以下となっているグループの各々に対して実行されるものである。このプログラムは、LiDARにより検知された動体とカメラにより検知された動体との可能な組合せを全て計算するステップ350と、ステップ350で計算された全ての組合せについて、LiDARにより検知された動体とカメラにより検知された動体とで組み合わされたものの間の距離の自乗の和を計算し、その値が最小となる組合せを採用するステップ352と、ステップ352で採用された組合せにしたがった動体の組合せを統合後の解析結果に出力するステップ354とを含む。この処理により、LiDARにより検知された動体とカメラにより検知された動体との間で組合せ可能なものは全て組合される。
このプログラムはさらに、ステップ354の後、処理対象のグループのうちでLiDARにより検知された動体の個数とカメラにより検知された動体の個数が等しいか否かを判定し、判定が肯定ならこのプログラムの実行を終了するステップ356と、ステップ356の判定結果が否定の時に、LiDARにより検知された動体の個数がカメラにより検知された動体の個数より多いか否かを判定するステップ358とを含む。このプログラムはさらに、ステップ358の判定が肯定のときに実行され、LiDARの検知した動体の内で他の動体と組合されなかった動体の各々について、1ステップ前の統合結果の履歴内においてこの動体の位置と近接する位置にあり、かつその値が所定のしきい値以内の動体があるか否かを判定するステップ359と、ステップ359の判定が肯定であれば、その動体の属性情報をLiDARにより得られた情報の属性情報に代入して新たな動体の情報を統合後の解析結果に出力するステップ360とを含む。このプログラムはさらに、ステップ359の判定が否定であれば、LiDARの情報のみを用いて統合後の動体の情報を作成し統合後の解析結果に出力するステップ361と、ステップ358の判定が否定のときに、残ったカメラ検知動体の情報を用いて新たな統合後の情報を生成し統合後の解析結果に出力するステップ362とを含む。
この第2の実施の形骸によれば、図11又は図12のようなケースが発生したときにも、LiDARの検知した動体とカメラの検知した動体との、もっとも好ましい(正しい可能性が高い)組合せを得ることができる。その結果、危険な属性が付与された動体について精度高く追跡できる。
<第3の実施形態>
第1及び第2の実施形態では、LiDARによる検知動体とカメラによる検知動体とを統合する際に、インフラセンサからの情報だけでなく車両センサからの情報を用いている。こうすることにより、インフラセンサが存在しない領域でも移動中の動体を検知できる可能性が高い。しかし本発明はそのような実施形態には限定されない。インフラセンサからの情報のみを用いることも考えられる。第3の実施形態はそのような実施形態である。
第1及び第2の実施形態では、LiDARによる検知動体とカメラによる検知動体とを統合する際に、インフラセンサからの情報だけでなく車両センサからの情報を用いている。こうすることにより、インフラセンサが存在しない領域でも移動中の動体を検知できる可能性が高い。しかし本発明はそのような実施形態には限定されない。インフラセンサからの情報のみを用いることも考えられる。第3の実施形態はそのような実施形態である。
図14を参照して、この第3の実施形態に係るセンサ共有サーバ380は、図2に示す受信処理部110に替えて、インフラセンサ設備80からの信号を受信し、インフラセンサ設備80の内のLiDARからの信号を動体追跡部112に、カメラからの画像信号を属性検出部116に、それぞれ与えるための第1の受信処理部390と、車両搭載センサ82からの信号を受信し、車両追跡部120に与えるための第2の受信処理部392とを含む。
このセンサ共有サーバ380では、注意すべき動体の検知及びその追跡は、インフラセンサ設備80からの信号のみによって行われる。その他の点ではセンサ共有サーバ380はセンサ共有サーバ66と同じ構成を持ち、同じプログラムで動作する。したがってそれらについての詳細な説明は繰り返さない。
この第3の実施形態によれば、予めインフラセンサの位置が分かっているため、例えば画像信号から固定的な背景を削除して画像処理の速度を上げたり、2つのカメラからの画像を用いて動体の位置及び属性の検知精度を高めたりすることができるという効果がある。また、重要な地点のみ、複数のセンサを配置しておくことで、ある領域については効率的に動体の検知を行うことができるという効果がある。ただしこの実施形態では、インフラセンサが設置されていない領域では動体の検知及び追跡が不可能になるという欠点もある。
[コンピュータによる実現]
この発明の上記実施形態に係る動体管理システム50及びその構成要素は、プロセッサを含むコンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図15はこのコンピュータシステム430の外観を示し、図16はコンピュータシステム430の内部構成を示す。
この発明の上記実施形態に係る動体管理システム50及びその構成要素は、プロセッサを含むコンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図15はこのコンピュータシステム430の外観を示し、図16はコンピュータシステム430の内部構成を示す。
図15を参照して、このコンピュータシステム430は、DVD(Digital Versatile Disc)ドライブ450を有するコンピュータ440と、キーボード446と、マウス448と、モニタ442とを含む。
図16を参照して、コンピュータ440は、DVDドライブ450に加えて、CPU(Central Processing Unit:中央処理装置)456と、GPU(Graphic Processing Unit)457と、CPU456、GPU457、DVDドライブ450に接続されたバス466と、ブートアッププログラム等を記憶する読出専用メモリ(ROM)458と、バス466に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ(RAM)460と、不揮発性メモリであるハードディスクドライブ(HDD)454を含む。コンピュータシステム430はさらに、他端末との通信を可能とするネットワーク468への接続を提供するネットワークインターフェイス(I/F)444を含む。
上記各実施形態では、図2に示す解析結果113、117及び125、並びに車両情報121等は、いずれもHDD454又はRAM460に記憶される。すなわち、HDD454、RAM460により解析結果記憶部114、118及び126、並びに車両情報記憶部122等が実現される。
コンピュータシステム430に動体管理システム50及びその構成要素の機能を実現させるためのコンピュータプログラムは、DVDドライブ450に装着されるDVD462に記憶され、DVDドライブ450からHDD454に転送される。又は、プログラムはネットワーク468を通じてコンピュータ440に送信されHDD454に記憶されてもよい。プログラムは実行の際にRAM460にロードされる。DVD462から、又はネットワークを介して、直接にRAM460にプログラムをロードしてもよい。
このプログラムは、コンピュータ440にこの実施形態の動体管理システム50のセンサ共有サーバ66及びセンサ共有サーバ380として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ440上で動作するオペレーティングシステム(OS)若しくはサードパーティのプログラム、又はコンピュータ440にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「プログラミング・ツール・キット」を呼出すことにより、上記した動体管理システム50及びその構成要素としての動作を実行する命令のみを含んでいればよい。コンピュータシステム430の動作は周知であるので、ここでは繰返さない。なお、GPU457は並行処理を行うことが可能であり、多くの動体に関する統合処理を同時並行的に実行する際に有効に機能する。
[変形例]
以上の説明は、以下に付記する特徴を含む。
以上の説明は、以下に付記する特徴を含む。
付記1
1以上の第1の動体を検知可能な第1の動体検知部の直前の所定回数の検知結果を履歴として記憶する第1の履歴記憶部と、
1以上の第2の動体を検知可能な第2の動体検知部の直前の所定回数の検知結果を履歴として記憶する第2の履歴記憶部とをさらに含み、
統合処理部は、第1及び第2の動体検知部の最新の検知結果と、前記第1の履歴記憶部及び前記第2の履歴記憶部に記憶された直前のそれぞれ所定回数の検知結果とに基づいて1つの前記第1の動体と1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い第3周期で実行する時間を考慮した時間・空間的統合処理部を含む。
1以上の第1の動体を検知可能な第1の動体検知部の直前の所定回数の検知結果を履歴として記憶する第1の履歴記憶部と、
1以上の第2の動体を検知可能な第2の動体検知部の直前の所定回数の検知結果を履歴として記憶する第2の履歴記憶部とをさらに含み、
統合処理部は、第1及び第2の動体検知部の最新の検知結果と、前記第1の履歴記憶部及び前記第2の履歴記憶部に記憶された直前のそれぞれ所定回数の検知結果とに基づいて1つの前記第1の動体と1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い第3周期で実行する時間を考慮した時間・空間的統合処理部を含む。
時間・空間的統合処理部により、同一の動体の検知がより正確に行える。第1の動体検知部が検知した動体と、第2の動体検知部が検知した動体とが空間的に近傍に存在しているだけでなく、両者が検出された時刻が近接している場合には、両者が同一の動体である可能性が非常に高いためである。また、空間的に複数の動体が検出されたときには、それらの時間的な軌跡が分かれば、最新の検出時に2つの動体を区別できる可能性が高くなるためである。
上記実施形態では、センサとしてLiDAR及びカメラの2種類のみを用いている。しかし本発明はそのような実施形態には限定されない。測距センサとしては赤外線によるものを用いても良い。又、カメラをステレオカメラにすれば、カメラによる位置検知の精度をより高くできる。
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
50 動体管理システム
60、290、292、294、296、298、300、302 カメラ
62、304 LiDAR
66、380 センサ共有サーバ
80 インフラセンサ設備
82 車両搭載センサ
90 インフラセンサ
92、102 通信装置
100 車両センサ
110、390、392 受信処理部
112 動体追跡部
113、117、125 解析結果
114、118、126 解析結果記憶部
116 属性検出部
120 車両追跡部
121 車両情報
122 車両情報記憶部
124、394 統合処理部
128 警告報知部
130 送信処理部
150、152、154、156、158、170、172、200、202、204、206、207、208、209、210、212、240、242、250、252、350、352、354、356、358、359、360、361、362 ステップ
160、244 処理
306 領域
308、310、312、314 位置
322 所定の範囲
324 車両
326 警告
340、342、344、346 動体
430 コンピュータシステム
440 コンピュータ
442 モニタ
444 ネットワークI/F
446 キーボード
448 マウス
450 DVDドライブ
454 ハードディスク
456 CPU
457 GPU
458 ROM
460 RAM
462 DVD
466 バス
468 ネットワーク
60、290、292、294、296、298、300、302 カメラ
62、304 LiDAR
66、380 センサ共有サーバ
80 インフラセンサ設備
82 車両搭載センサ
90 インフラセンサ
92、102 通信装置
100 車両センサ
110、390、392 受信処理部
112 動体追跡部
113、117、125 解析結果
114、118、126 解析結果記憶部
116 属性検出部
120 車両追跡部
121 車両情報
122 車両情報記憶部
124、394 統合処理部
128 警告報知部
130 送信処理部
150、152、154、156、158、170、172、200、202、204、206、207、208、209、210、212、240、242、250、252、350、352、354、356、358、359、360、361、362 ステップ
160、244 処理
306 領域
308、310、312、314 位置
322 所定の範囲
324 車両
326 警告
340、342、344、346 動体
430 コンピュータシステム
440 コンピュータ
442 モニタ
444 ネットワークI/F
446 キーボード
448 マウス
450 DVDドライブ
454 ハードディスク
456 CPU
457 GPU
458 ROM
460 RAM
462 DVD
466 バス
468 ネットワーク
Claims (11)
- 外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知部と、
外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知部と、
1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理部と、
前記統合処理部の処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知部とを含む、動体管理装置。 - 前記統合処理部は、
1つの前記第1の動体の位置と、1つの前記第2の動体の位置が所定の条件を充足するときに、前記1つの第1の動体と、前記1つの第2の動体とが同一か否かを判定する位置判定部と、
前記位置判定部によって同一と判定された前記1つの第1の動体及び前記1つの第2の動体を統合する統合部とを含む、請求項1に記載の動体管理装置。 - 前記位置判定部は、前記1つの第1の動体の前記位置と前記1つの第2の動体の前記位置に加えて、前記1つの第1の動体及び前記1つの第2の動体がそれぞれ前記第1の動体検知部及び前記第2の動体検知部により検知された時刻が所定の条件を充足するときに、前記1つの第1の動体と、前記1つの第2の動体とが一致するか否かを判定する位置・時間判定部を含む、請求項2に記載の動体管理装置。
- 前記統合部は、前記位置判定部により同一と判定された動体の位置及び属性を、前記1つの第1の動体の位置及び前記1つの第2の動体の属性を用いて設定する、請求項2または請求項3に記載の動体管理装置。
- 前記統合部は、
前記第1の動体検知部によって検知される前記第1の動体の数と、前記第2の動体検知部によって検知される前記第2の動体の数とが一致するか否かを判定する動体数判定部と、
前記動体数判定部による結果に基づいて、統合の対象となり得る前記第1の動体と前記第2の動体とのグループを決定するグループ決定部とを含み、
前記位置判定部は、前記グループ決定部により決定されたグループに含まれる1つの前記第1の動体の位置と、前記グループに含まれる1つの前記第2の動体の位置が所定の条件を充足するか否かによって、前記1つの第1の動体と、前記1つの第2の動体とが同一か否かを判定するグループ内判定部を含む、請求項2から請求項4のいずれか1項に記載の動体管理装置。 - 前記統合処理部はさらに、前記グループ内判定部が前記グループに含まれる前記1つの第1の動体が前記グループに含まれる前記1つの第2の動体と同一であると判定せず、又は、前記グループに含まれる前記1つの第2の動体が前記グループに含まれる前記1つの第1の動体と同一であると判定しない場合に、前記1つの第1の動体及び前記1つの第2の動体に関する情報のうちで値が設定されていないものに既定の値を設定することにより統合後の動体を生成する既定値設定部を含む、請求項5に記載の動体管理装置。
- 前記報知部は、
所定領域内の車両の位置を検知する車両位置検知部と、
前記統合処理部の処理結果及び前記車両位置検知部の検知結果に基づいて、所定の属性を持つ動体を中心とする所定範囲内に位置する車両があるときに、前記車両に対して前記所定の条件を満たす動体に関する警告を報知する警告部とを含む、請求項1から請求項6のいずれか1項に記載の動体管理装置。 - 請求項1から請求項7のいずれか1項に記載の動体管理装置と、
前記第1周期で周囲の物体までの距離を示す測距信号を前記第1の動体検知部に前記第1の信号として送信する第1のセンサと、
前記第2周期で撮像範囲の画像を示す画像信号を前記第2の信号として前記第2の動体検知部に送信する第2のセンサとを含む動体管理システム。 - コンピュータが、外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知ステップと、
コンピュータが、外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知ステップと、
コンピュータが、1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理ステップと、
コンピュータが、前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップとを含む、動体管理方法。 - コンピュータに、
外部から受信した第1の信号に基づいて、1つ以上の第1の動体を第1周期で検知する第1の動体検知ステップと、
外部から受信した第2の信号に基づいて、1つ以上の第2の動体を前記第1周期より長い第2周期で検知する第2の動体検知ステップと、
1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を、前記第2周期より短い周期で実行する統合処理ステップと、
前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップと、を実行させるためのコンピュータプログラム。 - 第1周期で周囲の物体までの距離を測定して測距信号を送信する距離センサから前記測距信号を受信し、前記第1周期より長い第2周期で撮像範囲の画像を表す画像信号を送信する撮像装置から前記画像信号を受信することが可能なように接続された受信部と、
前記受信部が受信した情報を読取り可能に前記受信部に接続されたプロセッサとを含み、
前記プロセッサは、
前記測距信号に基づいて1つ以上の第1の動体を検知する第1の動体検知ステップと、
前記画像信号に基づいて1つ以上の第2の動体を検知する第2の動体検知ステップと、
1つの前記第1の動体と、1つの前記第2の動体とが同一であるときに、前記1つの第1の動体と前記1つの第2の動体とを統合する処理を前記第2周期より短い周期で実行する統合処理ステップと、
前記統合処理ステップの処理結果に基づいて、所定の属性を持ち、かつある車両にとって所定の条件を満たす位置にある動体について、前記ある車両に対して前記所定の条件を満たす動体に関する情報を報知する報知ステップとを実行するようにプログラムされている、動体管理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020510659A JP7294323B2 (ja) | 2018-03-29 | 2019-03-15 | 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018063865 | 2018-03-29 | ||
JP2018-063865 | 2018-03-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019188429A1 true WO2019188429A1 (ja) | 2019-10-03 |
Family
ID=68058827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/010894 WO2019188429A1 (ja) | 2018-03-29 | 2019-03-15 | 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7294323B2 (ja) |
WO (1) | WO2019188429A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020110857A1 (ja) * | 2018-11-26 | 2020-06-04 | 住友電気工業株式会社 | 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム |
JP7515311B2 (ja) | 2020-06-17 | 2024-07-12 | 住友重機械工業株式会社 | 情報処理装置、情報処理装置の制御方法及び制御プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038640A (ja) * | 2002-07-04 | 2004-02-05 | Nissan Motor Co Ltd | 車両用外界認識装置 |
JP2007187618A (ja) * | 2006-01-16 | 2007-07-26 | Omron Corp | 物体識別装置 |
JP2009110172A (ja) * | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2015219721A (ja) * | 2014-05-16 | 2015-12-07 | 本田技研工業株式会社 | 動作支援システム及び物体認識装置 |
JP2016018413A (ja) * | 2014-07-09 | 2016-02-01 | 富士通テン株式会社 | 車両用装置、車両制御システム、車両制御方法 |
-
2019
- 2019-03-15 JP JP2020510659A patent/JP7294323B2/ja active Active
- 2019-03-15 WO PCT/JP2019/010894 patent/WO2019188429A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038640A (ja) * | 2002-07-04 | 2004-02-05 | Nissan Motor Co Ltd | 車両用外界認識装置 |
JP2007187618A (ja) * | 2006-01-16 | 2007-07-26 | Omron Corp | 物体識別装置 |
JP2009110172A (ja) * | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2015219721A (ja) * | 2014-05-16 | 2015-12-07 | 本田技研工業株式会社 | 動作支援システム及び物体認識装置 |
JP2016018413A (ja) * | 2014-07-09 | 2016-02-01 | 富士通テン株式会社 | 車両用装置、車両制御システム、車両制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020110857A1 (ja) * | 2018-11-26 | 2020-06-04 | 住友電気工業株式会社 | 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム |
JP7515311B2 (ja) | 2020-06-17 | 2024-07-12 | 住友重機械工業株式会社 | 情報処理装置、情報処理装置の制御方法及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7294323B2 (ja) | 2023-06-20 |
JPWO2019188429A1 (ja) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10077054B2 (en) | Tracking objects within a dynamic environment for improved localization | |
JP6494719B2 (ja) | 交通信号マップ作成及び検出 | |
JP2020021326A (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP6325806B2 (ja) | 車両位置推定システム | |
US9565534B2 (en) | Apparatus and method for identifying point of interest in contents sharing system | |
EP3494514A1 (en) | Low-level sensor fusion | |
JP2020115322A (ja) | 車両位置推定のためのシステムおよび方法 | |
US11538239B2 (en) | Joint modeling of object population estimation using sensor data and distributed device data | |
US10171774B2 (en) | Camera control device, camera control method, and camera control system | |
CN111784730B (zh) | 一种对象跟踪方法、装置、电子设备及存储介质 | |
US12062286B2 (en) | Method, apparatus, server, and computer program for collision accident prevention | |
JP2019028986A (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
WO2019188429A1 (ja) | 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム | |
CN113063421A (zh) | 导航方法及相关装置、移动终端、计算机可读存储介质 | |
US10896611B1 (en) | Mobile device transport parking notification and movement tracking | |
JP2016153832A (ja) | 地図データ記憶装置、制御方法、プログラム及び記憶媒体 | |
US20190143926A1 (en) | Vehicle management system, inspection information transmission system, information management system, vehicle management program, inspection information transmission program, and information management program | |
US20220198714A1 (en) | Camera to camera calibration | |
US11227495B1 (en) | Mobile device transport parking notification and movement tracking | |
US11421997B2 (en) | Map construction system and map construction method | |
CN112815962A (zh) | 联合应用传感器参数的标定方法及装置 | |
JP2019106166A (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP7069944B2 (ja) | 環境検出装置、環境検出システム、環境検出方法、及びコンピュータプログラム | |
KR20200048918A (ko) | 측위 방법 및 그 장치 | |
JP2020067818A (ja) | 画像選択装置及び画像選択方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19774199 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020510659 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19774199 Country of ref document: EP Kind code of ref document: A1 |