WO2020216316A1 - 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 - Google Patents

基于毫米波雷达的辅助驾驶系统、方法、终端和介质 Download PDF

Info

Publication number
WO2020216316A1
WO2020216316A1 PCT/CN2020/086578 CN2020086578W WO2020216316A1 WO 2020216316 A1 WO2020216316 A1 WO 2020216316A1 CN 2020086578 W CN2020086578 W CN 2020086578W WO 2020216316 A1 WO2020216316 A1 WO 2020216316A1
Authority
WO
WIPO (PCT)
Prior art keywords
dynamic
static
target
radar
individuals
Prior art date
Application number
PCT/CN2020/086578
Other languages
English (en)
French (fr)
Inventor
李旭阳
李刚
邱宗德
郑博
Original Assignee
纵目科技（上海）股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 纵目科技（上海）股份有限公司 filed Critical 纵目科技（上海）股份有限公司
Publication of WO2020216316A1 publication Critical patent/WO2020216316A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction

Definitions

  • the present invention relates to the technical field of automotive electronics, in particular to a driving assistance system, method, terminal and medium based on millimeter wave radar.
  • Assisted driving technology is now becoming more and more mature. Based on current technology, the commonly used perception devices in Advanced Driver Assistance System (ADAS) and unmanned driving systems are visual perception equipment, ultrasonic radar, and lidar.
  • ADAS Advanced Driver Assistance System
  • the camera is used as a sensing device because the resolution of the camera is higher than that of other sensors, and it can acquire enough environmental details to help the vehicle to recognize the environment.
  • the on-board camera can describe the appearance and shape of objects, read signs, etc.
  • the limitation of visual perception equipment is that it cannot accurately detect the distance of an object, is greatly affected by light, and poor light can easily cause false detection.
  • Ultrasonic radar has the following disadvantages as a sensing device: Due to the large attenuation of ultrasonic propagation in the air, the maximum detection distance of ultrasonic sensors is generally less than 6 meters, and it cannot respond to long-distance and fast objects during parking. Ultrasonic systems cannot provide accurate object information, such as horizontal and vertical angles, speed, and object contours. The false detection rate of the ultrasonic system is very high, and the environment such as humidity and wind will greatly affect the detection performance. In addition, the ultrasonic sensor needs to destroy the appearance of the bumper, and the drilling, installation and calibration work is very complicated.
  • lidar as a sensing device is that the use environment is less restrictive, that is, it can be used normally during the day or night.
  • the limiting factor is the high cost of lidar.
  • ADAS systems Advanced Driver Assistance Systems, Advanced Driver Assistance Systems
  • ADAS systems use vision and ultrasonic fusion methods to take advantage of the advantages of the two sensors, but the accuracy of the distance detection of objects is insufficient, and the false detection rate of dynamic objects is high and inaccurate.
  • the speed detection accuracy of dynamic objects is very poor, and the application scenarios are highly limited.
  • millimeter-wave radar generally uses 24GHz or 77GHz operating frequency.
  • the advantage of 77GHz lies in its higher accuracy of distance measurement and speed measurement, better horizontal angle resolution, and smaller antenna volume and less signal interference.
  • Radars mainly include two types: SRR, short-range radar system, and MRR/LRR, mid-range radar, long-range radar medium/long-range radar system.
  • the present invention provides a driving assistance system, method, terminal and storage medium based on millimeter wave radar.
  • the present invention may not rely on visual sensors and only use the point cloud obtained by millimeter wave radar. Data preprocessing, fusion, dynamic and static separation, acquisition of individual semantics, tracking, and analysis can achieve the same effect as the visual sensor processing image to obtain the target.
  • the present invention can also use visual perception data and radar perception data to fuse, and then process or analyze ;
  • the present invention is more accurate in relative distance, speed, and angle data when tracking target objects, and is more suitable for use in complex scenes such as parking lots, parks, basements, etc. with a large flow of people.
  • a driving assistance system based on millimeter wave radar including:
  • At least one millimeter wave (mmW) transceiver (Tx/Rx), which is configured to radiate a transmitted radar signal and receive an echo signal of the transmitted radar signal;
  • the original data processing unit which is used to preprocess the millimeter wave (mmW) transceiver (Tx/Rx) transmit/receive signal to obtain the target speed, target distance, azimuth and elevation angle Target point information within;
  • mmW millimeter wave
  • Tx/Rx millimeter wave
  • the dynamic and static separation unit performs dynamic and static classification and identification of all detected targets within the radar sight range:
  • Cluster identify, and classify static points to obtain static individuals.
  • the point cloud information obtained from multiple sets of original data is gathered in the fusion unit.
  • the fusion unit converts the point cloud information in different coordinate dimensions and merges it into a dense three-dimensional point cloud data set under a single coordinate system.
  • the point cloud information coordinate system of each millimeter wave sensor is converted to a Cartesian coordinate system to form a target point cloud within a 360° range.
  • an analysis unit that obtains one or more of the car body signal, dynamic individuals, static individuals, and environmental information, and analyzes the environmental information, the intentions of the dynamic individuals, and/or the static individuals’ path planning Influence, and output the analysis results to the decision-making unit.
  • it also includes a decision-making unit, which makes a decision based on the obtained millimeter wave analysis result or combines visual perception and analysis result to make a decision.
  • the fusion unit performs data fusion on multiple sets of raw data, which is based on the number of millimeter wave radars installed on the vehicle, the installation position and angle, and the calibration parameters.
  • a vehicle is equipped with angular radar on both sides of the front and a long-range radar in the front.
  • This radar layout and installation method allows the fusion unit to obtain the horizontal angle -+75° and vertical angle -+20 within the range of 180° in the front. °, covering the receptive field in the range of 10 cm to 1 meter, the long-distance radar ahead has a longer receptive field in the main direction.
  • a vehicle is equipped with angular radar on both sides of the rear and a long-range radar at the rear.
  • This radar layout allows the fusion unit to obtain the horizontal angle -+75° and the vertical angle -+20° in the 180° range of the rear. Covering a receptive field within a range of 10 cm to 1 meter, the rear long-range radar has a longer-distance receptive field in the main direction.
  • the vehicle is equipped with long-range radars in the front and rear, and angular radars at the four corners. This local method of radar enables the fusion unit to obtain the receptive field within the range of 180° in the front and the range of 10 cm to 1 m, and obtain the 180 in the rear.
  • the horizontal angle in the range of -+75° and the vertical angle of -+20° cover the receptive field in the range of 10 cm to 1 meter, but there are blind spots on the left and right sides.
  • the vehicle is equipped with angular radar and long-distance radar in the front and rear, so that the fusion unit in the 180° range of the front and rear of the vehicle can obtain the receptive field in the range of 10 cm to 1 meter and obtain the long-distance radar in the main direction.
  • Receptive field, and two long-range radars are installed on the left and right sides respectively, so that the fusion unit in the 180° range of the left and right sides of the vehicle can obtain the long-distance receptive field.
  • the tracking unit tracks individual information including but not limited to position, posture, size, and vector velocity.
  • the transceiver is configured as multiple receiving units (Rx), multiple transmitting units Tx, and multiple-input multiple-output (MIMO) is used to transmit and receive signals through multiple antennas at the transmitting end and the receiving end.
  • Rx receiving units
  • Tx transmitting units
  • MIMO multiple-input multiple-output
  • Tx multiple transmitting units
  • Rx multiple receiving units
  • the frequency domain classification is to divide the total frequency band into several equally spaced channels (or channels), and distinguish the channels between the transmitting unit and the receiving unit according to the frequency;
  • the time domain classification is to divide time into periodic frames, and each frame is divided into several time slots, and then according to a certain time slot allocation principle, the transmitting unit transmission time gap and the receiving unit receiving time gap are allocated to reach the transmitting unit The effect of not mixing with the receiving unit signal;
  • the coding classification means that the signals used by different transmitting units and receiving units to transmit information are not distinguished by different frequencies or time slots, but by different coding sequences.
  • the multiple transmitting units and multiple receiving units communicate in a time-domain classification manner.
  • the azimuth and elevation of the point are obtained through the specific coding rule setting of the transmitting unit (Tx) and the receiving unit (Rx) and the antenna layout setting Data output.
  • the antenna layout includes, but is not limited to, an antenna array distributed in a horizontal array, an antenna array distributed in a vertical array, or an array distribution in which a horizontal distributed antenna array and a vertical distributed antenna array overlap.
  • the layout of the 360° radar is shown in Figure 1.
  • the front and left sides of the car body are equipped with a corner radar, and the rear side of the car body is equipped with a corner radar.
  • the corner radar is a short-range radar.
  • the effective signal bandwidth of the angle radar is increased by more than 1GHz
  • the distance resolution of object detection makes the minimum detection distance less than 15cm.
  • the angular radar is installed in the front bumper and the rear bumper, and is installed through a clamping structure or an adhesive structure, or is fixedly installed on the chassis of the car to make the exterior invisible, which increases the beauty of the vehicle's appearance.
  • a long-range radar is provided directly in front of and/or directly behind the vehicle body, and the long-range radar is used to detect objects appearing in the coverage area directly in front of and directly behind the vehicle.
  • a long-range radar is provided on the left side and the right side of the vehicle body for detecting the target object on the left side of the vehicle and the target object on the right side of the vehicle. The long-range radars directly in front of the vehicle, directly behind, on the left, and on the right can be selectively set.
  • the original data processing unit preprocesses: the original data is two-dimensional Fourier transform 2D-FFT to obtain a two-dimensional range Doppler spectrogram, and the radar can be covered by two-dimensional CFAR (adaptive constant false alarm rate) Simultaneous detection of multiple targets in the range.
  • the ultra-wide bandwidth (centimeter-level range resolution) and the super-angle resolution ability obtained by the synthetic aperture of the MIMO scheme will make it possible to obtain multiple targets for each target within the visible range of the radar antenna.
  • Point cloud information, target point cloud information includes but is not limited to target speed, target distance, horizontal angle and vertical angle.
  • the dynamic and static separation unit is built in a millimeter wave sensor (the target point cloud information also includes height information), and it will receive vehicle body information based on the CAN bus.
  • a visual perception data fusion unit that processes the visual perception data including but not limited to images and videos acquired by the visual perception device through a unified time sequence, and then processes the processed visual perception The data is fused with the 360° radar point cloud data obtained by the fusion unit to obtain a unified time sequence, representation and storage of obstacles.
  • An assisted driving method based on millimeter wave radar including:
  • the millimeter wave (mmW) transceiver (Tx/Rx) radiates the transmitting radar signal and receives the echo signal of the transmitted radar signal, and performs preprocessing of the millimeter wave (mmW) transceiver (Tx/Rx) transmit/receive signal. Processing to obtain target point information including but not limited to target speed, target distance, azimuth and elevation angle;
  • S02 Perform dynamic and static classification and identification of all detected targets within the radar's line of sight:
  • Cluster identify, and classify static points to obtain static individuals.
  • S03 Convert the point cloud information coordinate system of each millimeter wave sensor to a Cartesian coordinate system to form a target point cloud within a 360° range.
  • an analysis unit that obtains one or more of the car body signal, dynamic individuals, static individuals, and environmental information, and analyzes the environmental information, the intentions of the dynamic individuals, and/or the static individuals’ path planning Influence, and output the analysis results to the decision-making unit.
  • it also includes a decision-making unit, which makes a decision based on the obtained millimeter wave analysis result or combines visual perception and analysis result to make a decision.
  • V D V′′ T -(V′ x +V′ y ).
  • V H represents the speed of the vehicle in the main direction
  • V′ H represents the component of the vehicle’s speed in the main direction in the direction connecting the vehicle to the target
  • V D represents the Doppler velocity
  • the Doppler velocity V D includes the vehicle Movement and goal movement.
  • V′ T the static target speed
  • V” T represents the projection of the dynamic target speed V′ T in the direction connecting the dynamic target and the vehicle body
  • V′′ T the static target speed
  • V D Doppler velocity
  • V D is equal to vehicle body vector velocity
  • the sum of projections in the direction connecting the static target and the vehicle body is expressed by the formula:
  • V D V′ x +V′ y .
  • the wheel speed pulse obtained by the body wheel speed sensor calculates the driving speed, and the steering information is obtained through the steering wheel angle, and then the vehicle body vector speed is expressed by the driving speed and the steering wheel angle information among them Is the vector velocity before transpose, Is the vector velocity after transposition.
  • the information of static individuals where these static obstacle points are located is extracted.
  • the potential static obstacle points are predicted according to the vehicle body intention/path planning, and the information of the static individuals where the obstacle points are located is extracted.
  • static individual classification because the contours of objects have been obtained, machine learning/deep learning, etc. can be used to establish a network model, using some samples of static individual contour point clouds with the same category of annotation semantics as input, and training the network model to give Static individual classification.
  • semantic information of static individuals such as the edge of the road, the ground lock, the pillar, and the anti-collision strip.
  • the clustering process can use the K-means algorithm model, that is, to define a cost function for possible clusters, and the goal of the clustering algorithm is to find a partition that minimizes the cost.
  • the meaning of the object represented by each part of the point cloud after the fusion is obtained through machine learning/deep learning, as well as the approximate orientation and outline of each individual object in each type of object, so as to determine the feeling of a single cluster Area of interest. From the region of interest, use the classifier clustering to find the individual center points and the individual peripheral clusters.
  • the clustering process can also be obtained through a linked clustering model.
  • the most important factor that determines the specific form of the link algorithm is the "inter-domain similarity measurement function", which can be divided into three types: single link, average link, and maximum link.
  • the clustering process can also be obtained through a density-based clustering method (DBSCAN, namely Density-Based Spatial Clustering of Application with Noise).
  • DBSCAN Density-Based Spatial Clustering of Application with Noise.
  • DBSCAN Density-Based Spatial Clustering of Application with Noise.
  • One fundamental difference between the density-based clustering method and other methods is that it is not based on distance measurement, but based on density. Therefore, it can overcome the shortcoming that distance-based algorithms can only find "quasi-circular" clusters.
  • the clustering process can also be obtained through a model-based method.
  • Model-based methods assume a model (pre-set) for each cluster, and then look for a data set that satisfies the model well. There are usually two directions to try: statistical schemes and neural network schemes.
  • the tracking process is specifically expressed: the tracking unit built into the ECU, in the process of tracking dynamic individuals, the ECU will select the dynamic individuals of interest according to the current car body intention/path planning, and such dynamic individuals may include one or several.
  • the tracking is terminated.
  • the priority of tracking the dynamic individual is increased. Tracking the target is iterated continuously through body intention and path planning.
  • the tracking algorithm can use Sequential Monte Carlo Methods, particle filters, Kalman filters, Extended Kalman filters, and so on.
  • the map constructed by the millimeter wave sensing device can be fused and complemented by the map constructed by the visual sensing device SLAM. It not only improves the distance and high accuracy of the map, but also obtains the semantic information of static and dynamic individuals (matching static individuals and obtaining semantic information from visual SLAM).
  • the classification unit classifies the target points according to their moving attributes, and divides the target points into static points and dynamic points:
  • Tracking, clustering, and reclassifying dynamic points to obtain dynamic individuals including but not limited to pedestrians, carts, motor vehicles, and bicycles;
  • the static points are clustered, classified, and then classified to obtain static individuals;
  • the static individuals include but are not limited to walls, pillars, toll booths and barriers, anti-collision bars, obstacles, speed bumps, signs, telephone poles, roads Edges, trees, shrubs, barriers and guardrails;
  • the analysis unit obtains vehicle body signals, dynamic individuals, static individuals, and environmental information, analyzes environmental information, the intentions of dynamic individuals, and/or the influence of static individuals on current path planning, and outputs the analysis results to the decision-making unit;
  • the environmental information includes semantic information of parking elements loaded in the map, and the intention of the dynamic individual includes but is not limited to the path prediction of pedestrians and vehicles within the vehicle-based perception range, the classification of vehicle lights, and the semantics of usage rules;
  • the influence of the static individual on the current path planning includes, but is not limited to, the influence of roadsides, guardrails, walls, trees, bushes, pillars, obstacles, ground locks, and anti-collision bars on the parking path planning.
  • a computer storage medium used to store the software program corresponding to the millimeter-wave radar-based assisted driving method and/or the millimeter-wave radar-based assisted driving system.
  • the present invention has the following beneficial effects:
  • the invention can perform preprocessing, fusion, dynamic and static separation, acquisition of individual semantics, tracking, and analysis on the point cloud data obtained by millimeter wave radar without relying on the vision sensor, and can achieve the same effect as the vision sensor processing image to obtain the target. It is also possible to use visual perception data and radar perception data to fuse, and then process or analyze; the present invention is more accurate in relative distance, speed, and angle data when tracking target objects, and is more suitable for complex scenes such as parking lots with heavy traffic , Parks, basements and other environments.
  • Figure 1 shows a schematic diagram of the installation scheme of the vehicle-mounted millimeter wave radar of the present invention.
  • Fig. 2 shows a schematic diagram of another embodiment of the installation scheme of the vehicle-mounted millimeter wave radar of the present invention.
  • Fig. 3 shows a schematic diagram of another embodiment of the installation scheme of the vehicle-mounted millimeter wave radar of the present invention.
  • Figure 4 shows a schematic diagram of dynamic object recognition of the present invention.
  • Figure 5 shows a schematic diagram of the static object recognition of the present invention.
  • Fig. 6 shows a diagram of the main direction velocity vector, the main direction component in the Doppler direction, and the turning angle of the vehicle of the present invention.
  • Fig. 7 shows the decomposition of the main direction velocity vector in the Doppler direction.
  • Figure 8 shows a schematic diagram of the vehicle millimeter wave radar sensing point cloud and free areas.
  • Figure 9 shows a schematic diagram of vehicle millimeter wave radar sensing static point cloud, free area and static target detection.
  • Figure 10 shows a schematic diagram of vehicle millimeter wave radar sensing dynamic point cloud and free area.
  • Figure 11 shows a schematic diagram of vehicle millimeter wave radar sensing dynamic point cloud, free area and dynamic target detection.
  • Figure 12 shows a schematic diagram of a vehicle millimeter-wave radar tracking a dynamic target.
  • Figure 13 shows a schematic flow chart of the present invention.
  • a driving assistance system based on millimeter wave radar including:
  • At least one millimeter wave (mmW) transceiver which is configured to radiate the transmitted radar signal and receive the echo signal of the transmitted radar signal; a raw data processing unit, the raw data processing unit is used to Wave (mmW) transceiver (Tx/Rx) transmit/receive signal pre-processing to obtain target point information including but not limited to target speed, target distance, azimuth and elevation angle; dynamic and static separation unit, the dynamic and static separation The unit performs dynamic and static classification and identification of all detected targets within the radar's line of sight: clustering, tracking, and reclassifying dynamic points to obtain dynamic individuals; clustering, identifying, and classifying static points to obtain static individuals.
  • mmW millimeter wave
  • tracking individual information includes, but is not limited to, position, posture, size, and vector velocity.
  • the driving assistance system based on millimeter-wave radar also includes a fusion unit.
  • the point cloud information obtained from multiple sets of raw data is gathered in the fusion unit, and the fusion unit converts the point cloud information in different coordinate dimensions and merges them into a single coordinate system. Download the dense 3D point cloud data set, and convert the point cloud information coordinate system of each millimeter wave sensor to the Cartesian coordinate system to form a target point cloud within a 360° range.
  • the fusion unit performs data fusion on multiple sets of raw data, which is based on the number of millimeter wave radars installed on the vehicle, the installation position and angle, and the calibration parameters.
  • a vehicle is equipped with angular radar on both sides of the front and a long-range radar in the front.
  • This radar layout and installation method allows the fusion unit to obtain the horizontal angle -+75° and vertical angle -+20 within the range of 180° in the front. °, covering the receptive field in the range of 10 cm to 1 meter, the long-distance radar ahead has a longer receptive field in the main direction.
  • a vehicle is equipped with angular radar on both sides of the rear and a long-range radar at the rear. This radar layout allows the fusion unit to obtain the horizontal angle -+75° and the vertical angle -+20° in the 180° range of the rear.
  • the rear long-range radar has a longer-distance receptive field in the main direction.
  • the vehicle is equipped with long-range radars in the front and rear, and angular radars at the four corners.
  • This local method of radar enables the fusion unit to obtain the receptive field within the range of 180° in the front and the range of 10 cm to 1 m, and obtain the 180 in the rear.
  • the horizontal angle in the range of -+75° and the vertical angle of -+20° cover the receptive field in the range of 10 cm to 1 meter, but there are blind spots on the left and right sides.
  • the vehicle is equipped with angular radar and long-distance radar in the front and rear, so that the fusion unit in the 180° range of the front and rear of the vehicle can obtain the receptive field in the range of 10 cm to 1 meter and obtain the long-distance radar in the main direction.
  • Receptive field, and two long-distance radars are installed on the left and right sides respectively, so that the fusion unit in the 180° range of the left and right sides of the vehicle can obtain the long-distance receptive field.
  • the assisted driving system based on millimeter wave radar further includes an analysis unit that obtains one or more of vehicle body signals, dynamic individuals, static individuals, and environmental information, and analyzes environmental information and intentions of dynamic individuals And/or the influence of static individuals on their own path planning, and output the analysis results to the decision-making unit.
  • the driving assistance system based on millimeter-wave radar further includes a decision-making unit that makes decisions based on the obtained millimeter-wave analysis results or integrates visual perception and analysis results to make decisions.
  • the transceiver is configured as multiple receiving units (Rx), multiple transmitting units Tx, and multiple-input multiple-output (MIMO) is used to transmit and receive signals through multiple antennas at the transmitting and receiving ends , Without increasing the spectrum resources and antenna transmit power, the system channel capacity can be doubled.
  • Rx receiving units
  • Tx transmitting units
  • MIMO multiple-input multiple-output
  • the detection principle of multi-transmitting unit (Tx) and multi-receiving unit (Rx) adopts frequency domain classification, time domain classification, and coding classification;
  • the frequency domain classification is to divide the total frequency band into several equally spaced channels (Or channel), distinguish the channel between the transmitting unit and the receiving unit according to the frequency;
  • the time domain classification is to divide the time into periodic frames, and each frame is divided into several time slots, and then allocated according to a certain time slot
  • the principle is to allocate the transmission time interval of the transmitting unit and the time interval of the receiving unit to achieve the effect that the signals of the transmitting unit and the receiving unit are not mixed;
  • the coding classification means that the signals used by different transmitting units and receiving units to transmit information are not based on different frequencies or Different time slots are used to distinguish, but different coding sequences are used to distinguish.
  • the multiple transmitting units and multiple receiving units communicate in a time-domain classification manner.
  • the azimuth angle of the point is obtained through the specific coding rule setting of the transmitting unit (Tx) and the receiving unit (Rx) and the antenna layout setting And elevation angle data output.
  • the antenna layout includes, but is not limited to, an antenna array distributed in a horizontal array, an antenna array distributed in a vertical array, or an array distribution in which a horizontal distributed antenna array and a vertical distributed antenna array overlap.
  • the layout of the 360° radar is shown in Figure 1.
  • the front and left sides of the car body are equipped with a corner radar, and the rear side of the car body is equipped with a corner radar.
  • the corner radar is a short-range radar.
  • the effective signal bandwidth of the angle radar is increased by more than 1GHz
  • the distance resolution of object detection makes the minimum detection distance less than 15cm.
  • the angular radar is installed in the front bumper and the rear bumper when installed, and is installed through a clamping structure or an adhesive structure, or fixedly installed on the chassis of the car to make the exterior invisible, which increases the beauty of the vehicle's appearance.
  • a long-range radar is provided directly in front of and/or directly behind the vehicle body, and the long-range radar is used to detect objects appearing in the coverage area directly in front of and directly behind the vehicle.
  • a long-range radar is provided on the left side and the right side of the vehicle body for detecting the target object on the left side of the vehicle and the target object on the right side of the vehicle. The long-range radars directly in front of the vehicle, directly behind, on the left, and on the right can be selectively set.
  • the original data processing unit preprocesses: the original data is two-dimensional Fourier transform 2D-FFT to obtain a two-dimensional range Doppler spectrogram, and the two-dimensional CFAR (adaptive constant false alarm rate) can be used to correct Simultaneous detection of multiple targets within the coverage of the radar.
  • the ultra-wide bandwidth (centimeter-level range resolution) and the super-angle resolution obtained by the synthetic aperture of the MIMO scheme will enable each target within the visible range of the radar antenna to be detected.
  • Multiple point cloud information the target point cloud information includes but is not limited to target speed, target distance, horizontal angle, and vertical angle.
  • the dynamic and static separation unit is built in a millimeter wave sensor (the target point cloud information also includes height information), and it will be based on the vehicle body information received by the CAN bus.
  • a visual perception data fusion unit that processes the visual perception data including but not limited to images and videos acquired by the visual perception device through a unified time sequence, and then processes the processed visual perception The data is fused with the 360° radar point cloud data obtained by the fusion unit to obtain a unified time sequence, representation and storage of obstacles.
  • An assisted driving method based on millimeter wave radar including:
  • the millimeter wave (mmW) transceiver (Tx/Rx) radiates the transmitting radar signal and receives the echo signal of the transmitted radar signal, and performs preprocessing of the millimeter wave (mmW) transceiver (Tx/Rx) transmit/receive signal. Processing to obtain target point information including but not limited to target speed, target distance, azimuth and elevation angle;
  • S02 Perform dynamic and static classification and identification of all detected targets within the radar's line of sight:
  • Cluster identify, and classify static points to obtain static individuals.
  • S03 Convert the point cloud information coordinate system of each millimeter wave sensor to a Cartesian coordinate system to form a target point cloud within a 360° range.
  • the assisted driving method based on millimeter-wave radar further includes an analysis unit that obtains one or more of vehicle body signals, dynamic individuals, static individuals, and environmental information, and analyzes environmental information and intentions of dynamic individuals And/or the influence of static individuals on their own path planning, and output the analysis results to the decision-making unit.
  • the assisted driving method based on millimeter wave radar further includes a decision-making unit that makes decisions based on the obtained millimeter wave analysis results or integrates visual perception and analysis results to make decisions.
  • the specific method of dynamic and static classification by the dynamic and static separation unit :
  • V D V′′ T -(V′ x +V′ y ).
  • V H represents the speed of the vehicle in the main direction
  • V′ H represents the component of the vehicle’s speed in the main direction in the direction connecting the vehicle to the target
  • V D represents the Doppler velocity
  • the Doppler velocity V D includes the vehicle Movement and goal movement.
  • V′ T the static target speed
  • V” T represents the projection of the dynamic target speed V′ T in the direction connecting the dynamic target and the vehicle body
  • V D Doppler velocity
  • V D is equal to vehicle body vector velocity
  • the sum of the projections in the direction connecting the static target and the vehicle body is expressed by the formula:
  • V D V′ x +V′ y .
  • the wheel speed pulse obtained by the body wheel speed sensor calculates the driving speed, and the steering information is obtained through the steering wheel angle, and then the vehicle body vector speed is expressed by the driving speed and the steering wheel angle information among them Is the vector velocity before transpose, Is the vector velocity after transposition.
  • the process of classifying static points to obtain static individuals in the process of classifying static points to obtain static individuals, and extracting the information of static individuals where these static obstacle points are located.
  • the potential static obstacle points are predicted according to the body intention/path planning, and the information of the static individuals where the obstacle points are located is extracted.
  • static individual classification because the contours of objects have been obtained, machine learning/deep learning, etc. can be used to establish a network model, using some samples of static individual contour point clouds with the same category of annotation semantics as input, and training the network model to give Static individual classification.
  • semantic information of static individuals such as the edge of the road, the ground lock, the pillar, and the anti-collision strip.
  • the clustering process is specifically expressed:
  • the clustering process can use the K-means algorithm model, that is, to define a cost function for possible clusters, and the goal of the clustering algorithm is to find a partition that minimizes the cost.
  • the meaning of the object represented by each part of the point cloud after the fusion is obtained through machine learning/deep learning, as well as the approximate orientation and outline of each individual object in each type of object, so as to determine the feeling of a single cluster Area of interest. From the region of interest, use the classifier clustering to find the individual center points and the individual peripheral clusters.
  • the clustering process can also be obtained through a linked clustering model.
  • the most important factor that determines the specific form of the link algorithm is the "inter-domain similarity measurement function", which can be divided into three types: single link, average link, and maximum link.
  • the clustering process can also be obtained through a density-based clustering method (DBSCAN, namely Density-Based Spatial Clustering of Application with Noise).
  • DBSCAN Density-Based Spatial Clustering of Application with Noise.
  • DBSCAN Density-Based Spatial Clustering of Application with Noise.
  • One fundamental difference between the density-based clustering method and other methods is that it is not based on distance measurement, but based on density. Therefore, it can overcome the shortcoming that distance-based algorithms can only find "quasi-circular" clusters.
  • the clustering process can also be obtained through a model-based method.
  • Model-based methods assume a model (pre-set) for each cluster, and then look for a data set that satisfies the model well. There are usually two directions to try: statistical solutions; and neural network solutions.
  • the tracking process is specifically expressed: the tracking unit built into the ECU, in the process of tracking dynamic individuals, the ECU will select the dynamic individuals of interest according to the current car body intention/path planning, and such dynamic individuals may include one or several.
  • the tracking is terminated.
  • the priority of tracking the dynamic individual is increased. Tracking the target is iterated continuously through body intention and path planning.
  • the tracking algorithm can use Sequential Monte Carlo Methods, particle filters, Kalman filters, Extended Kalman filters, and so on.
  • a static point is used as SLAM to construct a three-dimensional map in real time.
  • the map constructed by the millimeter wave sensing device can be fused and complemented by the map constructed by the visual sensing device SLAM. It not only improves the distance and high accuracy of the map, but also obtains the semantic information of static and dynamic individuals (matching static individuals and obtaining semantic information from visual SLAM).
  • the classification unit classifies the target points according to their moving attributes, and divides the target points into static points and dynamic points:
  • Tracking, clustering, and reclassifying dynamic points to obtain dynamic individuals including but not limited to pedestrians, carts, motor vehicles, and bicycles;
  • the static points are clustered, classified, and then classified to obtain static individuals;
  • the static individuals include but are not limited to walls, pillars, toll booths and barriers, anti-collision bars, obstacles, speed bumps, signs, telephone poles, roads Edges, trees, shrubs, barriers and guardrails;
  • the analysis unit obtains vehicle body signals, dynamic individuals, static individuals, and environmental information, analyzes environmental information, the intentions of dynamic individuals, and/or the influence of static individuals on current path planning, and outputs the analysis results to the decision-making unit;
  • the environmental information includes semantic information of parking elements loaded in the map, and the intention of the dynamic individual includes but is not limited to the path prediction of pedestrians and vehicles within the vehicle-based perception range, the classification of vehicle lights, and the semantics of usage rules;
  • the influence of the static individual on the current path planning includes, but is not limited to, the influence of roadsides, guardrails, walls, trees, bushes, pillars, obstacles, ground locks, and anti-collision bars on the parking path planning.
  • a computer storage medium used to store the software program corresponding to the millimeter-wave radar-based assisted driving method and/or the millimeter-wave radar-based assisted driving system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于毫米波雷达的辅助驾驶系统、方法、终端和存储介质，包括：至少一个毫米波(mmW)收发器(Tx/Rx)、原始数据处理单元、动静分离单元、融合单元、分析单元、决策单元，可以不依靠视觉传感器，单以毫米波雷达获得的点云数据进行预处理、融合、动静分离、获取个体语义、跟踪、分析，可以达到与视觉传感器处理图像获得目标同样的效果，也可以利用视觉感知数据与雷达感知数据融合，再进行处理或分析；对于目标物体跟踪时在相对距离、速度、角度数据上更精准，更适合在复杂场景比如人流量较大的停车场、园区、地库等环境中使用。

Description

基于毫米波雷达的辅助驾驶系统、方法、终端和介质 技术领域
本发明涉及汽车电子技术领域，特别是涉及一种基于毫米波雷达的辅助驾驶系统、方法、终端和介质。
背景技术
辅助驾驶技术现如今日渐成熟，就以现在的技术看，高级辅助驾驶系统(Advanced Driver Assistance System，ADAS)及无人驾驶系统中常用的感知设备是视觉感知设备、超声波雷达、激光雷达。
应用摄像头作为感知设备是因为摄像头分辨率进高于其他传感器，可以获取足够多的环境细节，帮助车辆进行环境认知，车载摄像头可以描绘物体的外观和形状、读取标志等。视觉感知设备的局限在于：无法准确检测出物体的距离、受光照影响很大，光照较差容易引起误检。
超声波雷达作为感知设备存在以下劣势：由于超声波在空气中的传播衰减较大，超声波传感器最大检测距离一般小于6米，无法在泊车过程中对远距离及速度较快的物体做出反应。超声波系统无法提供准确的物体信息，例如水平角度和垂直角度，速度,物体的轮廓等。超声波系统的错误检测率很高，而且环境比如湿度、风会很大影响检测性能。另外，超声波传感器需要破坏保险杠的外型，钻孔，安装和标定工作非常繁琐。
激光雷达作为感知设备的最大优势在于使用环境限制较小，即不管在白天或是夜晚都能正常使用，限制因素是激光雷达的成本高昂。
有些ADAS系统(Advanced Driver Assistance Systems，高级驾驶员辅助系统)采用视觉和超声波融合的方式，利用了两种传感器的优势，但对物体的距离检测精度不够，动态物体误检率高而且不准确，动态物体的速度检测精度很差，应用场景局限度高。
毫米波雷达作为感知设备，一般采用24GHz或77GHz的工作频率。77GHz的优势在于其对测距和测速的准确性更高，水平角度的分辨率也更好，同时天线体积更小，也更少出现信号干扰的情况。雷达主要包括两种：SRR即Short-range radar短程雷达系统、MRR/LRR即mid-range radar,long-range radar中/长程雷达系统。
现有公开车在毫米波雷达应用专利，例如公开号为DE19912370、DE102010051207、DE102010048896、DE102010015723、DE102009030075、DE102009016479、DE102014218092的 一系列文献公开了毫米波雷达车载应用的技术路线，但创新点在于如何处理单个雷达数据以获得精准的速度、距离和角度信息。但是对于如何处理点云以获得车载雷达覆盖范围内点云的语义信息没有做出贡献。
需要一种支持多场景、环境局限度低的驾驶员辅助驾驶系统，既降低了量产成本，又可以弥补单依靠传统视觉设备、视觉和超声波融合、激光雷达等感知、定位、决策方案的缺陷。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于毫米波雷达的辅助驾驶系统、方法、终端和存储介质，本发明可以不依靠视觉传感器，单以毫米波雷达获得的点云数据进行预处理、融合、动静分离、获取个体语义、跟踪、分析，可以达到与视觉传感器处理图像获得目标同样的效果，本发明也可以利用视觉感知数据与雷达感知数据融合，再进行处理或分析；本发明对于目标物体跟踪时在相对距离、速度、角度数据上更精准，更适合在复杂场景比如人流量较大的停车场、园区、地库等等环境中使用。
一种基于毫米波雷达的辅助驾驶系统，包括：
至少一个毫米波(mmW)收发器(Tx/Rx)，其被配置成放射发射雷达信号且接收所述发射雷达信号的回波信号；
原始数据处理单元，所述原始数据处理单元用于对毫米波(mmW)收发器(Tx/Rx)发射/接收信号进行预处理，获得包括但不限于目标速度、目标距离、方位角和仰角在内的目标点信息；
动静分离单元，所述动态静态分离单元对雷达视线范围内的所有检测到的目标进行动态静态分类、识别：
对动态点聚类、跟踪，再分类获得动态个体；
对静态点聚类、识别、分类，获得静态个体。
进一步地，还包括融合单元，多组原始数据获得的点云信息汇聚于融合单元，融合单元转换不同坐标维度下的点云信息，并融合成单一坐标系下密集的三维点云数据集，将每一个毫米波传感器的点云信息坐标系转换到笛卡尔坐标系下，形成360°范围内目标点云。
进一步地，还包括分析单元，所述分析单元获取车身信号、动态个体、静态个体以及环境信息中的一种或几种，分析环境信息、动态个体的意图和/或静态个体对自身路径规划的影响，并将分析结果输出至决策单元。
进一步地，还包括决策单元，所述决策单元自获取到的毫米波分析结果做决策或融合视觉感知、分析结果做决策。
其中，融合单元对多组原始数据进行数据融合，是根据毫米波雷达在车辆上的安装数量、安装方位和角度、标定参数等等参量进行融合。例如，车辆在前方两侧安装角雷达，并在前方安装远距离雷达，这种雷达布局方式和安装方式使融合单元可以获取前方180°范围内的水平角-+75°、垂直角-+20°，覆盖范围10厘米到1米范围内的感受野，前方远距离雷达在主方向有更长距离的感受野。再例如，车辆在后方两侧安装角雷达，并在后方安装远距离雷达，这种雷达布局方式使融合单元可以获取后方180°范围内的水平角-+75°、垂直角-+20°，覆盖范围10厘米到1米范围内的感受野，后方远距离雷达在主方向有更长距离的感受野。再例如，车辆在前方、后方安装远距离雷达、在四角安装角雷达，这种雷达局部方式使融合单元可以获取前方180°范围内的10厘米到1米范围内的感受野，并获取后方180°范围内的水平角-+75°、垂直角-+20°，覆盖范围10厘米到1米范围内的感受野，但在左侧、右侧两个侧方向上存在盲区。再例如，车辆在前方、后方均安装有角雷达和长距离雷达，使车辆前方和后方180°范围内融合单元均获取10厘米到1米范围内的感受野并在主方向上获取长距离的感受野，并在左侧和右侧分别安装有两个远距离雷达，使车辆左侧、右侧180°范围内融合单元均获取长距离感受野范围。
进一步地，还包括跟踪单元，跟踪单元对于每个可以跟踪的动态物体来说，跟踪个体信息的包括但不限于位置、姿态、尺寸、矢量速度。
进一步地，所述收发器被配置为多个接收单元(Rx)、多个发射单元Tx，通过MIMO(Multiple-Input Multiple-Output)使信号通过发射端与接收端的多个天线传送和接收，在不增加频谱资源和天线发射功率的情况下，可以成倍的提高系统信道容量。
进一步地，对多发射单元(Tx)和多接收单元(Rx)检测原理通过频域分类、时域分类、编码分类的方式；
其中频域分类即将总频段划分成若干个等间隔的频道(或称信道)，根据频率区分发射单元、接收单元之间的信道；
其中时域分类即将时间分割成周期性的帧，每一帧再分割成若干个时隙，然后根据一定的时隙分配原则，分配发射单元发射时间间隙、接收单元接收的时间间隙，达到发射单元和接收单元信号不混扰的效果；
其中编码分类是指不同发射单元和接收单元传输信息所用的信号不是靠频率不同或时隙不同来区分，而是用各自不同的编码序列来区分。
优选地，多发射单元和多接收单元采用时域分类的方式通信。
进一步地，所述原始数据处理单元计算Azimuth和Eelevation(方位角和仰角)时：通过 发射单元(Tx)和接收单元(Rx)特定的编码规则设置以及天线布局设置，获得点的方位角和仰角数据输出。天线布局包括但不限于横向阵列分布的天线阵列、纵向阵列分布的天线阵列或横向分布天线阵列和纵向分布天线阵列交叠的阵列分布。
其中，360°雷达的布局方案如图1所示，车身的前侧左右两边各设置一个角雷达，车身的后侧两边各设置一个角雷达，角雷达是短距离雷达，通过增加收发通道数量，增大天线虚拟孔径尺寸、采用MIMO技术等等方式增强水平和垂直的角度检测的分辨率，具有较大的水平和垂直FoV，且可以检测物体的绝对高度，角雷达有效信号带宽为大于1GHz提高对物体检测的距离分辨率，使最小检测距离可以小于15cm。角雷达安装时设置在前保险杠、后保险杠内，通过卡接结构或者粘接结构安装，或者固定安装在汽车底盘上，使外部不可见，这样增加了车辆外观的美感。
优选地，如图2-3所示，车身正前方和/或正后方设置有长距离雷达，长距离雷达用于探测车辆正前方、正后方覆盖范围内出现的物体。优选地，车身左侧和车身右侧设置有长距离雷达，用于探测车辆左侧目标物体和车辆右侧目标物体。车身正前方、正后方、左侧、右侧的长距离雷达可以选择性的设置。
进一步地，所述原始数据处理单元预处理:将原始数据二维傅里叶变换2D-FFT得到二维的距离多普勒频谱图，通过二维CFAR(adaptive constant false alarm rate)可对雷达覆盖范围内的多目标同时检测，通过ultra wide bandwidth超带宽(厘米级的距离分辨率)及MIMO方案的合成孔径得到的超角分辨能力，会使对雷达天线可视范围内每个目标获得多个点云信息，目标点云信息包括但不限于目标速度、目标距离、水平角和垂直角。
进一步地，所述动静分离单元是(目标点云信息还包括高度信息)毫米波传感器内置的，它会根据CAN总线接收到的车体信息。
进一步地，还包括视觉感知数据融合单元，所述视觉感知数据融合单元将视觉感知设备获取的包括但不限于图像、视频在内的视觉感知数据通过统一的时序处理之后，将处理过的视觉感知数据与融合单元获得的360°雷达点云数据做融合，获得统一的时序、障碍物的表述与存储方式。
一种基于毫米波雷达的辅助驾驶方法，包括：
S01：毫米波(mmW)收发器(Tx/Rx)放射发射雷达信号且接收所述发射雷达信号的回波信号，于对毫米波(mmW)收发器(Tx/Rx)发射/接收信号进行预处理，获得包括但不限于目标速度、目标距离、方位角和仰角在内的目标点信息；
S02：对雷达视线范围内的所有检测到的目标进行动态静态分类、识别：
对动态点聚类、跟踪，再分类获得动态个体；
对静态点聚类、识别、分类，获得静态个体。
S03：将每一个毫米波传感器的点云信息坐标系转换到笛卡尔坐标系下，形成360°范围内目标点云。
进一步地，还包括分析单元，所述分析单元获取车身信号、动态个体、静态个体以及环境信息中的一种或几种，分析环境信息、动态个体的意图和/或静态个体对自身路径规划的影响，并将分析结果输出至决策单元。
进一步地，还包括决策单元，所述决策单元自获取到的毫米波分析结果做决策或融合视觉感知、分析结果做决策。
进一步地，动静分离单元对动态静态分类的具体方式：
当目标是动态物体时：结合车体多普勒速度V D及角速度ω H,其中车体矢量速度用
Figure PCTCN2020086578-appb-000001
表示，其中动态目标速度用V′ T表示，则V″ T表示动态目标速度V′ T在动态目标与车体连线方向的投影；多普勒速度V D就等于车体矢量速度
Figure PCTCN2020086578-appb-000002
在动态目标与车体连线方向的投影之和再加上动态目标速度V′ T在动态目标与车体连线方向上的投影V″ T，用公式表示：
V D＝V″ T-(V′ x+V′ y)。
其中V H表示车辆在主方向的速度，V′ H表示车辆在主方向的速度在车辆与目标连线方向上的分量，V D表示多普勒速度，其中多普勒速度V D包括来自车辆的运动和目标的运动。
当目标是静态物体时：静态目标速度用V′ T表示，V″ T表示动态目标速度V′ T在动态目标与车体连线方向的投影，则静态目标的V″ T为0。多普勒速度V D就等于车体矢量速度
Figure PCTCN2020086578-appb-000003
在静态目标与车体连线方向的投影之和，用公式表示：
V D＝V′ x+V′ y。
以检测目标在目标与车体连线方向连线方向的投影V″ T是否为0来判断该目标是静态目标还是动态目标。
其中，由车身轮速传感器获得的轮速脉冲，计算出行驶速度，通过方向盘转角获得转向信息，再以行驶速度和方向盘转角信息来表示车体矢量速度
Figure PCTCN2020086578-appb-000004
其中
Figure PCTCN2020086578-appb-000005
是转置前的矢量速度，
Figure PCTCN2020086578-appb-000006
是转置后的矢量速度。
进一步地，对静态点分类获得静态个体的过程中，并提取这些静态障碍点所在静态个体的信息。在泊车场景中，根据车身意图/路径规划预测潜在的静态障碍点，提取障碍点所在静态个体的信息。在静态个体分类中(由于已经获取物体轮廓，可以采用机器学习/深度学习等等方式，建立一个网络模型，用一些同一类别的标注语义的静态个体轮廓点云的样本作为输入，训练网络模型给静态个体分类。)可能获取静态个体的语义信息，比如是路边沿、是地锁、是立柱、是防撞条。
在短暂的驾驶中，收集并绘制数多帧的点云，以产生三维地图上的自由空间、汽车、路缘和各种障碍的轮廓。通过估计障碍物高度的能力，还可以确定汽车是否应该越过或避开障碍物，这是对停车及避障功能非常有利的特征。
进一步地，聚类过程具体表述：
优选地，聚类过程可以用K-means算法模型，即对可能的聚类定义一个代价函数，聚类算法的目标是寻找一种使代价最小的划分。
用100-1000帧标注好的360°融合点云训练一个Kmeans分类器，用训练好的Kmeans分类器对当前输入帧360°融合点云进行聚类处理，获得聚类中心。
使用Kmeans分类器时，虽然第一个中心点仍然随机选择，但其他的点则优先选择那些彼此相距很远的点。
更优选地，通过机器学习/深度学习获得融合后各部分点云所代表的物体含义，以及每一类物体中每一个物体个体所在的大致方位和大致轮廓，以此先确定单次聚类所感兴趣的区域。再从感兴趣区域中，用分类器聚类找出个体中心点以及这些个体外围轮廓簇。
优选地，聚类过程也可以通过链接聚类模型获取。决定链接算法具体形式的最重要的因素就是“域间相似性度量函数”，因此可分为单链接、平均链接、最大链接这三种。
优选地，聚类过程也可以通过基于密度的聚类方法(DBSCAN，即Density-Based Spatial Clustering of Application with Noise)获取。基于密度的聚类方法与其他方法的一个根本区别是：它不是基于距离度量的，而是基于密度的。因此它能克服基于距离的算法只能发现“类圆形”的聚类的缺点。
优选地，聚类过程也可以通过基于模型的方法获取。基于模型的方法给每个聚类假定一个模型(预先设定)，然后寻找能够很好地满足这个模型的数据集。通常有两种尝试方向：统计方案和神经网络方案。
进一步地，跟踪过程具体表述：ECU内置的跟踪单元，跟踪动态个体过程中，ECU会根据当前车身意图/路径规划选择感兴趣的动态个体，这种动态个体可能包括一个或者几个。当动态个体离开车身感知覆盖范围后，跟踪终止。当动态个体持续靠近车身，则增加该动态个体跟踪的优先级。跟踪目标通过车身意图和路径规划不断的迭代。
其中，跟踪算法可以使用连续蒙特卡罗方法(Sequential Monte Carlo Methods)、粒子滤波器(particle filter)、卡尔曼滤波器(kalman filter).扩展卡尔曼滤波器(Extend Kalman filter)等等等。
进一步地，以静态点做SLAM，实时构建三维地图，毫米波感知设备构建的地图可以通过与视觉感知设备SLAM构建地图融合、互补。不仅提高地图的距离、高度的精准度，也获取静态个体、动态个体的语义信息(匹配静态个体，从视觉SLAM中获取语义信息)。
一种基于毫米波雷达的辅助驾驶系统在泊车场景中的应用，其中
基于毫米波雷达的辅助驾驶系统中：
分类单元将目标点按照其移动属性分类，将目标点分为静态点和动态点：
对动态点跟踪、聚类，再分类获得动态个体，所述动态个体包括但不限于行人、推车、机动车辆、自行车；
对静态点聚类、分类，再分类获得静态个体；所述静态个体包括但不限于墙、立柱、收费亭和道闸机、防撞条、障碍物、减速带、指示牌、电线杆、路边沿、树、灌木、隔离带和护栏；
分析单元获取车身信号、动态个体、静态个体以及环境信息，分析环境信息、动态个体的意图和/或静态个体对当前路径规划的影响，并将分析结果输出至决策单元；
其中，所述环境信息包括地图中加载泊车元素的语义信息，所述动态个体的意图包括但不限于车基感知范围内行人和车辆的路径预测、车灯的分类和使用规则的语义；
其中，所述静态个体对当前路径规划的影响包括但不限于路边沿、护栏、墙、树、灌木、立柱、障碍物、地锁、防撞条对泊车路径规划的影响。
一种计算机存储介质，所述计算机存储介质用于存储上述基于毫米波雷达的辅助驾驶方法所对应的软件程序和/或基于毫米波雷达的辅助驾驶系统。
如上所述，本发明的具有以下有益效果：
本发明可以不依靠视觉传感器，单以毫米波雷达获得的点云数据进行预处理、融合、动静分离、获取个体语义、跟踪、分析，可以达到与视觉传感器处理图像获得目标同样的效果，本发明也可以利用视觉感知数据与雷达感知数据融合，再进行处理或分析；本发明对于目标物体跟踪时在相对距离、速度、角度数据上更精准，更适合在复杂场景比如人流量较大的停车场、园区、地库等等环境中使用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明车载毫米波雷达安装方案的示意图。
图2显示为另一实施例本发明车载毫米波雷达安装方案的示意图。
图3显示为另一实施例本发明车载毫米波雷达安装方案的示意图。
图4显示为本发明动态物体识别的示意图。
图5显示为本发明静态物体识别的示意图。
图6显示为本发明车辆主方向速度矢量、主方向在多普勒方向分量、转角的图示。
图7显示为主方向速度矢量在多普勒方向分量分解的图示。
图8显示为车辆毫米波雷达感知点云以及自由区域的示意图。
图9显示为车辆毫米波雷达感知静态点云、自由区域和静态目标检测的示意图。
图10显示为车辆毫米波雷达感知动态点云、自由区域的示意图。
图11显示为车辆毫米波雷达感知动态点云、自由区域和动态目标检测的示意图。
图12显示为车辆毫米波雷达跟踪动态目标的示意图。
图13显示为本发明的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图13，
一种基于毫米波雷达的辅助驾驶系统，包括：
至少一个毫米波(mmW)收发器(Tx/Rx)，其被配置成放射发射雷达信号且接收所述发射雷达信号的回波信号；原始数据处理单元，所述原始数据处理单元用于对毫米波(mmW)收发器(Tx/Rx)发射/接收信号进行预处理，获得包括但不限于目标速度、目标距离、方位角和仰角在内的目标点信息；动静分离单元，所述动态静态分离单元对雷达视线范围内的所有检测到的目标进行动态静态分类、识别：对动态点聚类、跟踪，再分类获得动态个体；对静态点聚类、识别、分类，获得静态个体。
作为优选实施例，其中对于每个可以跟踪的动态物体来说，跟踪个体信息的包括但不限于位置、姿态、尺寸、矢量速度。
作为优选实施例，基于毫米波雷达的辅助驾驶系统还包括融合单元，多组原始数据获得的点云信息汇聚于融合单元，融合单元转换不同坐标维度下的点云信息，并融合成单一坐标系下密集的三维点云数据集，将每一个毫米波传感器的点云信息坐标系转换到笛卡尔坐标系下，形成360°范围内目标点云。其中，融合单元对多组原始数据进行数据融合，是根据毫米波雷达在车辆上的安装数量、安装方位和角度、标定参数等等参量进行融合。例如，车辆在前方两侧安装角雷达，并在前方安装远距离雷达，这种雷达布局方式和安装方式使融合单元可以获取前方180°范围内的水平角-+75°、垂直角-+20°，覆盖范围10厘米到1米范围内的感受野，前方远距离雷达在主方向有更长距离的感受野。再例如，车辆在后方两侧安装角雷达，并在后方安装远距离雷达，这种雷达布局方式使融合单元可以获取后方180°范围内的水平角-+75°、垂直角-+20°，覆盖范围10厘米到1米范围内的感受野，后方远距离雷达在主方向有更长距离的感受野。再例如，车辆在前方、后方安装远距离雷达、在四角安装角雷达，这种雷达局部方式使融合单元可以获取前方180°范围内的10厘米到1米范围内的 感受野，并获取后方180°范围内的水平角-+75°、垂直角-+20°，覆盖范围10厘米到1米范围内的感受野，但在左侧、右侧两个侧方向上存在盲区。再例如，车辆在前方、后方均安装有角雷达和长距离雷达，使车辆前方和后方180°范围内融合单元均获取10厘米到1米范围内的感受野并在主方向上获取长距离的感受野，并在左侧和右侧分别安装有两个远距离雷达，使车辆左侧、右侧180°范围内融合单元均获取长距离感受野范围。
作为优选实施例，基于毫米波雷达的辅助驾驶系统还包括分析单元，所述分析单元获取车身信号、动态个体、静态个体以及环境信息中的一种或几种，分析环境信息、动态个体的意图和/或静态个体对自身路径规划的影响，并将分析结果输出至决策单元。
作为优选实施例，基于毫米波雷达的辅助驾驶系统还包括决策单元，所述决策单元自获取到的毫米波分析结果做决策或融合视觉感知、分析结果做决策。
作为优选实施例，所述收发器被配置为多个接收单元(Rx)、多个发射单元Tx，通过MIMO(Multiple-Input Multiple-Output)使信号通过发射端与接收端的多个天线传送和接收，在不增加频谱资源和天线发射功率的情况下，可以成倍的提高系统信道容量。
作为优选实施例，对多发射单元(Tx)和多接收单元(Rx)检测原理通过频域分类、时域分类、编码分类的方式；其中频域分类即将总频段划分成若干个等间隔的频道(或称信道)，根据频率区分发射单元、接收单元之间的信道；其中时域分类即将时间分割成周期性的帧，每一帧再分割成若干个时隙，然后根据一定的时隙分配原则，分配发射单元发射时间间隙、接收单元接收的时间间隙，达到发射单元和接收单元信号不混扰的效果；其中编码分类是指不同发射单元和接收单元传输信息所用的信号不是靠频率不同或时隙不同来区分，而是用各自不同的编码序列来区分。优选地，多发射单元和多接收单元采用时域分类的方式通信。
作为优选实施例，所述原始数据处理单元计算Azimuth和Eelevation(方位角和仰角)时：通过发射单元(Tx)和接收单元(Rx)特定的编码规则设置以及天线布局设置，获得点的方位角和仰角数据输出。天线布局包括但不限于横向阵列分布的天线阵列、纵向阵列分布的天线阵列或横向分布天线阵列和纵向分布天线阵列交叠的阵列分布。
其中，360°雷达的布局方案如图1所示，车身的前侧左右两边各设置一个角雷达，车身的后侧两边各设置一个角雷达，角雷达是短距离雷达，通过增加收发通道数量，增大天线虚拟孔径尺寸、采用MIMO技术等等方式增强水平和垂直的角度检测的分辨率，具有较大的水平和垂直FoV，且可以检测物体的绝对高度，角雷达有效信号带宽为大于1GHz提高对物体检测的距离分辨率，使最小检测距离可以小于15cm。角雷达安装时设置在前保险杠、后保险杠内， 通过卡接结构或者粘接结构安装，或者固定安装在汽车底盘上，使外部不可见，这样增加了车辆外观的美感。
优选地，如图2-3所示，车身正前方和/或正后方设置有长距离雷达，长距离雷达用于探测车辆正前方、正后方覆盖范围内出现的物体。优选地，车身左侧和车身右侧设置有长距离雷达，用于探测车辆左侧目标物体和车辆右侧目标物体。车身正前方、正后方、左侧、右侧的长距离雷达可以选择性的设置。
作为优选实施例，所述原始数据处理单元预处理:将原始数据二维傅里叶变换2D-FFT得到二维的距离多普勒频谱图，通过二维CFAR(adaptive constant false alarm rate)可对雷达覆盖范围内的多目标同时检测，通过ultra wide bandwidth超带宽(厘米级的距离分辨率)及MIMO方案的合成孔径得到的超角分辨能力，会使对雷达天线可视范围内每个目标获得多个点云信息，目标点云信息包括但不限于目标速度、目标距离、水平角和垂直角。
作为优选实施例，所述动静分离单元是(目标点云信息还包括高度信息)毫米波传感器内置的，它会根据CAN总线接收到的车体信息。
进一步地，还包括视觉感知数据融合单元，所述视觉感知数据融合单元将视觉感知设备获取的包括但不限于图像、视频在内的视觉感知数据通过统一的时序处理之后，将处理过的视觉感知数据与融合单元获得的360°雷达点云数据做融合，获得统一的时序、障碍物的表述与存储方式。
一种基于毫米波雷达的辅助驾驶方法，包括：
S01：毫米波(mmW)收发器(Tx/Rx)放射发射雷达信号且接收所述发射雷达信号的回波信号，于对毫米波(mmW)收发器(Tx/Rx)发射/接收信号进行预处理，获得包括但不限于目标速度、目标距离、方位角和仰角在内的目标点信息；
S02：对雷达视线范围内的所有检测到的目标进行动态静态分类、识别：
对动态点聚类、跟踪，再分类获得动态个体；
对静态点聚类、识别、分类，获得静态个体。
S03：将每一个毫米波传感器的点云信息坐标系转换到笛卡尔坐标系下，形成360°范围内目标点云。
作为优选实施例，基于毫米波雷达的辅助驾驶方法还包括分析单元，所述分析单元获取车身信号、动态个体、静态个体以及环境信息中的一种或几种，分析环境信息、动态个体的意图和/或静态个体对自身路径规划的影响，并将分析结果输出至决策单元。
作为优选实施例，基于毫米波雷达的辅助驾驶方法还包括决策单元，所述决策单元自获取到的毫米波分析结果做决策或融合视觉感知、分析结果做决策。
作为优选实施例，动静分离单元对动态静态分类的具体方式：
当目标是动态物体时：结合车体多普勒速度V D及角速度ω H,其中车体矢量速度用
Figure PCTCN2020086578-appb-000007
表示，其中动态目标速度用V′ T表示，则V″ T表示动态目标速度V′ T在动态目标与车体连线方向的投影；多普勒速度V D就等于车体矢量速度
Figure PCTCN2020086578-appb-000008
在动态目标与车体连线方向的投影之和再加上动态目标速度V′ T在动态目标与车体连线方向上的投影V″ T，用公式表示：
V D＝V″ T-(V′ x+V′ y)。
其中V H表示车辆在主方向的速度，V′ H表示车辆在主方向的速度在车辆与目标连线方向上的分量，V D表示多普勒速度，其中多普勒速度V D包括来自车辆的运动和目标的运动。
当目标是静态物体时：静态目标速度用V′ T表示，V″ T表示动态目标速度V′ T在动态目标与车体连线方向的投影，则静态目标的V″ T为0。多普勒速度V D就等于车体矢量速度
Figure PCTCN2020086578-appb-000009
在静态目标与车体连线方向的投影之和，用公式表示：
V D＝V′ x+V′ y。
以检测目标在目标与车体连线方向连线方向的投影V″ T是否为0来判断该目标是静态目标还是动态目标。
其中，由车身轮速传感器获得的轮速脉冲，计算出行驶速度，通过方向盘转角获得转向信息，再以行驶速度和方向盘转角信息来表示车体矢量速度
Figure PCTCN2020086578-appb-000010
其中
Figure PCTCN2020086578-appb-000011
是转置前的矢量速度，
Figure PCTCN2020086578-appb-000012
是转置后的矢量速度。
作为优选实施例，对静态点分类获得静态个体的过程中，并提取这些静态障碍点所在静态个体的信息。在泊车场景中，根据车身意图/路径规划预测潜在的静态障碍点，提取障碍点 所在静态个体的信息。在静态个体分类中(由于已经获取物体轮廓，可以采用机器学习/深度学习等等方式，建立一个网络模型，用一些同一类别的标注语义的静态个体轮廓点云的样本作为输入，训练网络模型给静态个体分类。)可能获取静态个体的语义信息，比如是路边沿、是地锁、是立柱、是防撞条。
在短暂的驾驶中，收集并绘制数多帧的点云，以产生三维地图上的自由空间、汽车、路缘和各种障碍的轮廓。通过估计障碍物高度的能力，还可以确定汽车是否应该越过或避开障碍物，这是对停车及避障功能非常有利的特征。
作为优选实施例，聚类过程具体表述：
优选地，聚类过程可以用K-means算法模型，即对可能的聚类定义一个代价函数，聚类算法的目标是寻找一种使代价最小的划分。
用100-1000帧标注好的360°融合点云训练一个Kmeans分类器，用训练好的Kmeans分类器对当前输入帧360°融合点云进行聚类处理，获得聚类中心。
使用Kmeans分类器时，虽然第一个中心点仍然随机选择，但其他的点则优先选择那些彼此相距很远的点。
更优选地，通过机器学习/深度学习获得融合后各部分点云所代表的物体含义，以及每一类物体中每一个物体个体所在的大致方位和大致轮廓，以此先确定单次聚类所感兴趣的区域。再从感兴趣区域中，用分类器聚类找出个体中心点以及这些个体外围轮廓簇。
优选地，聚类过程也可以通过链接聚类模型获取。决定链接算法具体形式的最重要的因素就是“域间相似性度量函数”，因此可分为单链接、平均链接、最大链接这三种。
优选地，聚类过程也可以通过基于密度的聚类方法(DBSCAN，即Density-Based Spatial Clustering of Application with Noise)获取。基于密度的聚类方法与其他方法的一个根本区别是：它不是基于距离度量的，而是基于密度的。因此它能克服基于距离的算法只能发现“类圆形”的聚类的缺点。
优选地，聚类过程也可以通过基于模型的方法获取。基于模型的方法给每个聚类假定一个模型(预先设定)，然后寻找能够很好地满足这个模型的数据集。通常有两种尝试方向：统计方案；和神经网络方案。
作为优选实施例，跟踪过程具体表述：ECU内置的跟踪单元，跟踪动态个体过程中，ECU会根据当前车身意图/路径规划选择感兴趣的动态个体，这种动态个体可能包括一个或者几个。当动态个体离开车身感知覆盖范围后，跟踪终止。当动态个体持续靠近车身，则增加该动态个体跟踪的优先级。跟踪目标通过车身意图和路径规划不断的迭代。
其中，跟踪算法可以使用连续蒙特卡罗方法(Sequential Monte Carlo Methods)、粒子滤波器(particle filter)、卡尔曼滤波器(kalman filter).扩展卡尔曼滤波器(Extend Kalman filter)等等等。
作为优选实施例，以静态点做SLAM，实时构建三维地图，毫米波感知设备构建的地图可以通过与视觉感知设备SLAM构建地图融合、互补。不仅提高地图的距离、高度的精准度，也获取静态个体、动态个体的语义信息(匹配静态个体，从视觉SLAM中获取语义信息)。
一种基于毫米波雷达的辅助驾驶系统在泊车场景中的应用，其中
基于毫米波雷达的辅助驾驶系统中：
分类单元将目标点按照其移动属性分类，将目标点分为静态点和动态点：
对动态点跟踪、聚类，再分类获得动态个体，所述动态个体包括但不限于行人、推车、机动车辆、自行车；
对静态点聚类、分类，再分类获得静态个体；所述静态个体包括但不限于墙、立柱、收费亭和道闸机、防撞条、障碍物、减速带、指示牌、电线杆、路边沿、树、灌木、隔离带和护栏；
分析单元获取车身信号、动态个体、静态个体以及环境信息，分析环境信息、动态个体的意图和/或静态个体对当前路径规划的影响，并将分析结果输出至决策单元；
其中，所述环境信息包括地图中加载泊车元素的语义信息，所述动态个体的意图包括但不限于车基感知范围内行人和车辆的路径预测、车灯的分类和使用规则的语义；
其中，所述静态个体对当前路径规划的影响包括但不限于路边沿、护栏、墙、树、灌木、立柱、障碍物、地锁、防撞条对泊车路径规划的影响。
一种计算机存储介质，所述计算机存储介质用于存储上述基于毫米波雷达的辅助驾驶方法所对应的软件程序和/或基于毫米波雷达的辅助驾驶系统。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (16)

  1. 一种基于毫米波雷达的辅助驾驶系统，其特征在于，包括：
    至少一个毫米波(mmW)收发器(Tx/Rx)，其被配置成放射发射雷达信号且接收所述发射雷达信号的回波信号；
    原始数据处理单元，所述原始数据处理单元用于对毫米波(mmW)收发器(Tx/Rx)发射/接收信号进行预处理，获得包括但不限于目标速度、目标距离、方位角和仰角在内的目标点信息；
    动静分离单元，所述动态静态分离单元对雷达视线范围内的所有检测到的目标进行动态静态分类、识别：
    对动态点聚类、跟踪，再分类获得动态个体；
    对静态点聚类、识别、分类，获得静态个体。
  2. 根据权利要求1所述的基于毫米波雷达的辅助驾驶系统，其特征在于，还包括融合单元，多组原始数据获得的点云信息汇聚于融合单元，融合单元转换不同坐标维度下的点云信息，并融合成单一坐标系下密集的三维点云数据集。
  3. 根据权利要求1所述的基于毫米波雷达的辅助驾驶系统，其特征在于，还包括分析单元，所述分析单元获取车身信号、动态个体、静态个体以及环境信息中的一种或几种，分析环境信息、动态个体的意图和/或静态个体对自身路径规划的影响，并将分析结果输出至决策单元。
  4. 根据权利要求1所述的基于毫米波雷达的辅助驾驶系统，其特征在于，还包括决策单元，所述决策单元自获取到的毫米波分析结果做决策或融合视觉感知、分析结果做决策。
  5. 根据权利要求1所述的基于毫米波雷达的辅助驾驶系统，其特征在于，所述原始数据处理单元预处理:将原始数据二维傅里叶变换2D-FFT得到二维的距离多普勒频谱图，通过二维CFAR可对雷达覆盖范围内的多目标同时检测，通过ultra wide bandwidth超带宽及MIMO方案的合成孔径得到的超角分辨能力，会使对雷达天线可视范围内每个目标获得多个点云信息，目标点云信息包括但不限于目标速度、目标距离、水平角和垂直角。
  6. 根据权利要求1所述的基于毫米波雷达的辅助驾驶系统，其特征在于，还包括跟踪单元，跟踪单元对于每个可以跟踪的动态物体来说，跟踪个体信息的包括但不限于位置、姿态、尺寸、矢量速度。
  7. 根据权利要求1所述的基于毫米波雷达的辅助驾驶系统，其特征在于，还包括视觉感知数据融合单元，所述视觉感知数据融合单元将视觉感知设备获取的包括但不限于图像、视频在内的视觉感知数据通过统一的时序处理之后，将处理过的视觉感知数据与融合单元获得的360°雷达点云数据做融合，获得统一的时序表述与存储方式、障碍物的表述与存储方式。
  8. 一种基于毫米波雷达的辅助驾驶方法，其特征在于，包括：
    S01：毫米波(mmW)收发器(Tx/Rx)放射发射雷达信号且接收所述发射雷达信号的回波信号，于对毫米波(mmW)收发器(Tx/Rx)发射/接收信号进行预处理，获得包括但不限于目标速度、目标距离、方位角和仰角在内的目标点信息；
    S02：对雷达视线范围内的所有检测到的目标进行动态静态分类、识别：
    对动态点聚类、跟踪，再分类获得动态个体；
    对静态点聚类、识别、分类，获得静态个体。
    S03：将每一个毫米波传感器的点云信息坐标系转换到笛卡尔坐标系下，形成360°范围内目标点云。
  9. 根据权利要求8所述的基于毫米波雷达的辅助驾驶方法，其特征在于，所述动静分离单元对动态静态分类的具体方式：
    当目标是动态物体时：其中车体矢量速度用
    Figure PCTCN2020086578-appb-100001
    表示，其中动态目标速度用V′ T表示，则V″ T表示动态目标速度V′ T在动态目标与车体连线方向的投影；多普勒速度V D就等于车体矢量速度
    Figure PCTCN2020086578-appb-100002
    在动态目标与车体连线方向的投影之和再加上动态目标速度V′ T在动态目标与车体连线方向上的投影V″ T，用公式表示：
    V D＝V″ T-(V′ x+V′ y)
    其中V D表示多普勒速度，其中多普勒速度V D包括来自车辆的运动和目标的运动，当V D不为零时，则目标被判定为动态物体；
    当目标是静态物体时：静态目标速度用V′ T表示，V″ T表示动态目标速度V′ T在动态目标与车体连线方向的投影，则静态目标的V″ T为0。多普勒速度V D就等于车体矢量速度
    Figure PCTCN2020086578-appb-100003
    在静态目标与车体连线方向的投影之和，用公式表示：
    V D＝V′ x+V′ y。
    以检测目标在目标与车体连线方向连线方向的投影V″ T是否为零来判断该目标是静态目标还是动态目标。
  10. 根据权利要求8所述的基于毫米波雷达的辅助驾驶方法，其特征在于，对静态点分类获得静态个体的过程中，提取这些静态障碍点所在静态个体的信息，根据车身意图/路径规划预测潜在的静态障碍点，提取障碍点所在静态个体的信息以机器学习/深度学习建立一个静态个体语义识别网络模型，用一些同一类别的标注语义的静态个体轮廓点云作为样本输入，训练静态个体语义识别网络，可能获取静态个体的语义信息。
  11. 根据权利要求8所述的基于毫米波雷达的辅助驾驶方法，其特征在于，所述聚类过程具体表述：
    S021：聚类过程可以用K-means算法模型，将标注好的360°融合点云训练一个Kmeans分类器，用训练好的Kmeans分类器对当前输入帧360°融合点云进行聚类处理，获得聚类中心；
    S022：通过机器学习/深度学习获得融合后各部分点云所代表的物体含义，以及每一类物体中每一个物体个体所在的大致方位和大致轮廓，以此先确定单次聚类所感兴趣的区域；
    S023：再从感兴趣区域中，用分类器聚类找出个体中心点以及这些个体外围轮廓簇。
  12. 一种终端设备，其特征在于：所述终端设备为调度上述权利要求1-7任一项所述基于毫米波雷达的辅助驾驶系统的车载终端控制设备。
  13. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求8至11任一权利要求所述的方法中的步骤。
  14. 一种基于毫米波雷达的辅助驾驶系统在泊车场景中的应用，其特征在于，
    动静分离单元将点云按照其移动属性分类，将目标点分为静态点和动态点：
    对动态点聚类，跟踪，再分类获得动态个体，所述动态个体包括但不限于行人、推车、机动车辆、自行车；
    对静态点聚类、识别、分类，获得静态个体；所述静态个体包括但不限于墙、立柱、收费亭和道闸机、防撞条、障碍物、减速带、指示牌、电线杆、路边沿、树、灌木、隔离带和护栏。
  15. 根据权利要求14所述的基于毫米波雷达的辅助驾驶系统在泊车场景中的应用，其特征在于，还包括分析单元，分析单元获取车身信号、动态个体、静态个体以及环境信息，分析环境信息、动态个体的意图和/或静态个体对当前路径规划的影响，并将分析结果输出至决策单元；所述环境信息包括地图中加载泊车元素的语义信息，所述动态个体的意图包括但不限于车基感知范围内行人和车辆的路径预测、车灯的分类和使用规则的语义。
  16. 根据权利要求14所述的基于毫米波雷达的辅助驾驶系统在泊车场景中的应用，其特征在于，所述静态个体对当前路径规划的影响包括但不限于路边沿、护栏、墙、树、灌木、立柱、障碍物、地锁、防撞条对泊车路径规划的影响；所述动态个体的意图对当前路径规划的影响包括但不限于行人、推车、机动车辆、自行车对对泊车路径规划的影响。
PCT/CN2020/086578 2019-04-26 2020-04-24 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 WO2020216316A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910343795.9 2019-04-26
CN201910343795.9A CN110208793B (zh) 2019-04-26 2019-04-26 基于毫米波雷达的辅助驾驶系统、方法、终端和介质

Publications (1)

Publication Number Publication Date
WO2020216316A1 true WO2020216316A1 (zh) 2020-10-29

Family

ID=67786415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/086578 WO2020216316A1 (zh) 2019-04-26 2020-04-24 基于毫米波雷达的辅助驾驶系统、方法、终端和介质

Country Status (2)

Country Link
CN (1) CN110208793B (zh)
WO (1) WO2020216316A1 (zh)

Cited By (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363143A (zh) * 2020-11-24 2021-02-12 北京小米移动软件有限公司 一种空调设备基于毫米波进行空间识别的方法和系统
CN112417757A (zh) * 2020-11-18 2021-02-26 中国汽车技术研究中心有限公司 车载雷达信号级仿真方法、装置、设备及可读存储介质
CN112590781A (zh) * 2020-12-22 2021-04-02 南京理工大学 基于毫米波相控阵雷达的车辆防撞警示方法及装置
CN112598741A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 点云数据标注方法、装置、设备及存储介质
CN112651405A (zh) * 2020-12-10 2021-04-13 深兰人工智能(深圳)有限公司 目标检测方法及装置
CN112764022A (zh) * 2020-12-24 2021-05-07 珠海格力电器股份有限公司 公共安全管理方法及公共安全管理系统
CN112835026A (zh) * 2020-12-31 2021-05-25 福瑞泰克智能系统有限公司 雷达镜像目标检测方法、装置、雷达设备和车辆
CN112835051A (zh) * 2021-01-12 2021-05-25 广州主塔智能科技有限公司 一种车载雷达警示系统
CN112835045A (zh) * 2021-01-05 2021-05-25 北京三快在线科技有限公司 一种雷达探测方法、装置、存储介质及电子设备
CN112859033A (zh) * 2021-02-23 2021-05-28 加特兰微电子科技(上海)有限公司 目标探测的方法、装置及相关设备
CN112946654A (zh) * 2021-01-27 2021-06-11 中国人民解放军国防科技大学 雷达滤除动态杂波的方法、装置、计算机系统及存储介质
CN112946630A (zh) * 2021-01-27 2021-06-11 上海兰宝传感科技股份有限公司 一种基于毫米波雷达的人员计数跟踪方法
CN113033340A (zh) * 2021-03-10 2021-06-25 郑景粲 一种基于深度信息的视觉盲区预警装置
CN113066299A (zh) * 2021-03-25 2021-07-02 上海智能新能源汽车科创功能平台有限公司 一种基于车路云一体的客运数字交通系统
CN113189580A (zh) * 2021-04-02 2021-07-30 天地（常州）自动化股份有限公司 一种基于毫米波雷达与uwb标签的无轨胶轮车辅助驾驶方法
CN113189583A (zh) * 2021-04-26 2021-07-30 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法
CN113219507A (zh) * 2021-01-29 2021-08-06 重庆长安汽车股份有限公司 基于rt3000的自动驾驶车辆感知融合数据的精度测量方法
CN113267779A (zh) * 2021-05-17 2021-08-17 南京师范大学 一种基于雷达与图像数据融合的目标检测方法及系统
CN113370994A (zh) * 2021-06-16 2021-09-10 上海追势科技有限公司 一种基于周围车辆行为的自动驾驶行为决策方法
CN113433946A (zh) * 2021-07-14 2021-09-24 北京华科软通科技有限公司 一种防撞预警方法、装置、系统、电子设备以及存储介质
CN113435404A (zh) * 2021-07-14 2021-09-24 深圳市比一比网络科技有限公司 基于雷达及图像检测的电客车调车安全辅助驾驶方法与系统
CN113484863A (zh) * 2021-07-07 2021-10-08 上海商汤临港智能科技有限公司 一种车辆及其车载传感器系统、以及行车数据采集方法
CN113479218A (zh) * 2021-08-09 2021-10-08 哈尔滨工业大学 一种路基自动驾驶辅助探测系统及其控制方法
CN113589288A (zh) * 2021-06-24 2021-11-02 广西综合交通大数据研究院 基于毫米波雷达的目标筛选方法、装置、设备及存储介质
CN113671491A (zh) * 2021-08-16 2021-11-19 珠海格力电器股份有限公司 一种路况检测及预警方法及装置
CN113682259A (zh) * 2021-09-22 2021-11-23 海南大学 一种车用开门预警防撞系统及控制方法
CN113740848A (zh) * 2021-09-30 2021-12-03 中科芯集成电路有限公司 一种基于毫米波雷达的独居老人追踪式跌倒检测装置
CN113759331A (zh) * 2021-02-07 2021-12-07 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN113763717A (zh) * 2021-08-31 2021-12-07 广州文远知行科技有限公司 一种车辆的识别方法、装置、计算机设备和存储介质
CN113807168A (zh) * 2021-08-05 2021-12-17 北京蜂云科创信息技术有限公司 一种车辆行驶环境感知方法、车载设备和存储介质
CN113835074A (zh) * 2021-08-04 2021-12-24 南京常格科技发展有限公司 一种基于毫米波雷达的人流量动态监测方法
CN113850995A (zh) * 2021-09-14 2021-12-28 华设设计集团股份有限公司 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN113867334A (zh) * 2021-09-07 2021-12-31 华侨大学 一种移动机械无人驾驶的路径规划方法和系统
CN114035570A (zh) * 2021-09-24 2022-02-11 山西省交通科技研发有限公司 基于脑机接口与激光雷达融合感知的防撞控制方法
CN114037707A (zh) * 2021-10-29 2022-02-11 天津大学 一种网络带宽自适应的自动驾驶点云数据协作感知系统
CN114091601A (zh) * 2021-11-18 2022-02-25 业成科技（成都）有限公司 人员状况侦测的传感器融合方法
CN114124299A (zh) * 2021-11-08 2022-03-01 国汽智控(北京)科技有限公司 一种雷达数据的传输方法、装置、设备及介质
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法
CN114199168A (zh) * 2021-12-16 2022-03-18 珠海格力电器股份有限公司 一种室内体积探测方法、装置、设备及介质
CN114216412A (zh) * 2021-12-22 2022-03-22 北京行易道科技有限公司 一种交通参与者的角度信息获取方法、装置和存储介质
CN114387672A (zh) * 2022-01-18 2022-04-22 北京理工大学 一种基于时-空-频三维雷达点云的人体行为分类方法
CN114419152A (zh) * 2022-01-14 2022-04-29 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114429672A (zh) * 2021-12-28 2022-05-03 浙江芯力微电子股份有限公司 基于神经网络的毫米波雷达人体动作实时检测方法
CN114460598A (zh) * 2022-01-30 2022-05-10 中国第一汽车股份有限公司 一种目标识别方法、装置、设备及存储介质
CN114495026A (zh) * 2022-01-07 2022-05-13 武汉市虎联智能科技有限公司 一种激光雷达识别方法、装置、电子设备和存储介质
TWI769602B (zh) * 2020-11-30 2022-07-01 群邁通訊股份有限公司 利用毫米波雷達的人體姿態識別方法及電腦可讀存儲介質
CN114740970A (zh) * 2022-02-23 2022-07-12 广东工业大学 一种基于联邦学习的毫米波手势识别方法及系统
CN114814825A (zh) * 2022-03-23 2022-07-29 合肥工业大学 一种基于雷达和视频融合的车辆轨迹感知与状态提取方法
CN114863501A (zh) * 2021-02-04 2022-08-05 西安电子科技大学青岛计算技术研究院 一种基于调频连续波雷达和神经网络的人脸识别算法
CN114884543A (zh) * 2022-05-06 2022-08-09 星谷晶微科技(深圳)有限公司 一种基于uwb频段的通信感知一体化mimo系统
CN114884994A (zh) * 2022-05-09 2022-08-09 山东高速建设管理集团有限公司 一种基于迁移学习的车路协同信息融合方法及系统
CN114924249A (zh) * 2022-07-22 2022-08-19 中国科学技术大学 基于毫米波雷达的人体姿态估计方法、装置及电子设备
CN114924274A (zh) * 2022-04-08 2022-08-19 苏州大学 一种基于固定网格的高动态铁路环境雷达感知方法
CN115050192A (zh) * 2022-06-09 2022-09-13 南京矽典微系统有限公司 基于毫米波雷达的停车位检测的方法及应用
CN115214624A (zh) * 2022-03-04 2022-10-21 广州汽车集团股份有限公司 泊车路径的确定方法、装置、车辆及存储介质
CN115236627A (zh) * 2022-09-21 2022-10-25 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115376365A (zh) * 2022-10-21 2022-11-22 北京德风新征程科技有限公司 车辆控制方法、装置、电子设备和计算机可读介质
CN115407345A (zh) * 2021-05-29 2022-11-29 上海追势科技有限公司 一种基于车载超声传感器的车辆实时定位方法
CN115685185A (zh) * 2022-12-30 2023-02-03 苏州尚同墨方智能科技有限公司 一种4d毫米波雷达与视觉融合感知方法
CN115985122A (zh) * 2022-10-31 2023-04-18 内蒙古智能煤炭有限责任公司 无人驾驶系统感知方法
CN116052420A (zh) * 2023-01-05 2023-05-02 北京清丰智行科技有限公司 一种用于园区的车路云协同大数据管理系统
CN116106853A (zh) * 2023-04-12 2023-05-12 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN116630394A (zh) * 2023-07-25 2023-08-22 山东中科先进技术有限公司 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN117111053A (zh) * 2023-10-23 2023-11-24 武汉未来幻影科技有限公司 一种毫米波雷达跟踪结果的处理方法、装置以及处理设备
CN117289255A (zh) * 2023-10-19 2023-12-26 广州行深智能科技有限公司 目标检测方法、装置、终端设备及存储介质
CN117470254A (zh) * 2023-12-28 2024-01-30 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于雷达服务的车载导航系统和方法
CN117593650A (zh) * 2024-01-18 2024-02-23 上海几何伙伴智能驾驶有限公司 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN117611638A (zh) * 2023-12-07 2024-02-27 北京擎锋精密科技有限公司 一种基于图像处理的车辆行人多目标跟踪方法
CN117649583A (zh) * 2024-01-30 2024-03-05 科大国创合肥智能汽车科技有限公司 一种自动驾驶车辆行驶实时道路模型融合方法
CN118015594A (zh) * 2024-02-19 2024-05-10 大连理工大学 一种基于4d毫米波雷达的列车前向障碍物检测方法
CN118372743A (zh) * 2024-06-21 2024-07-23 洛阳理工学院 一种全景视觉行车辅助系统及动态行车提示方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208793B (zh) * 2019-04-26 2022-03-11 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN111175716B (zh) * 2019-09-24 2024-04-19 纵目科技（上海）股份有限公司 可抑制雷达近距离谐波的辅助驾驶方法
US20220326367A1 (en) * 2019-10-30 2022-10-13 Google Llc Smart-Device-Based Radar System Performing Gesture Recognition Using a Space Time Neural Network
CN110764080B (zh) * 2019-10-30 2023-08-15 武汉理工大学 基于毫米波雷达的船闸内领航-跟随船舶编队目标检测方法
CN111160385B (zh) * 2019-11-27 2023-04-18 北京中交兴路信息科技有限公司 海量位置点聚合的方法、装置、设备及存储介质
CN110865365B (zh) * 2019-11-27 2022-05-24 江苏集萃智能传感技术研究所有限公司 一种基于毫米波雷达的停车场噪声消除方法
EP4058825A4 (en) * 2019-12-04 2023-01-04 Huawei Technologies Co., Ltd. APPARATUS AND METHOD FOR AUTOMATICALLY COLLECTING AND MARKING MEASUREMENT DATA IN A TRAFFIC SCENARIO
CN112946623B (zh) * 2019-12-11 2024-03-19 长沙莫之比智能科技有限公司 基于车辆上安装77g毫米波雷达的测速方法和装置
CN110969855A (zh) * 2019-12-13 2020-04-07 长沙莫之比智能科技有限公司 一种基于毫米波雷达的交通流量监测系统
CN113033586B (zh) * 2019-12-24 2024-04-16 大富科技(安徽)股份有限公司 目标识别方法及设备
CN113052846B (zh) * 2019-12-27 2024-05-28 小米汽车科技有限公司 一种多线雷达点云稠密化方法和装置
CN111338336B (zh) * 2020-02-11 2021-07-13 腾讯科技（深圳）有限公司 一种自动驾驶方法及装置
CN113296086B (zh) * 2020-02-21 2024-08-27 华为技术有限公司 目标识别方法及装置
CN111401321A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 对象识别模型训练方法、装置、电子设备和可读存储介质
KR20210136631A (ko) * 2020-05-08 2021-11-17 주식회사 만도모빌리티솔루션즈 차량용 레이더의 수직 장착 오정렬 감지 장치, 방법 및 그를 포함하는 레이더 장치
CN111649740B (zh) * 2020-06-08 2022-09-20 武汉中海庭数据技术有限公司 一种基于imu进行车辆高精度定位的方法及系统
CN111708021B (zh) * 2020-07-15 2022-04-15 四川长虹电器股份有限公司 一种基于毫米波雷达的人员跟踪与识别算法
CN111862157B (zh) * 2020-07-20 2023-10-10 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN111986232B (zh) * 2020-08-13 2021-09-14 上海高仙自动化科技发展有限公司 目标物体的检测方法、装置、机器人及存储介质
CN112034445B (zh) * 2020-08-17 2022-04-12 东南大学 基于毫米波雷达的车辆运动轨迹跟踪方法和系统
CN114167404A (zh) * 2020-09-11 2022-03-11 华为技术有限公司 目标跟踪方法及装置
TWI770621B (zh) * 2020-09-29 2022-07-11 為昇科科技股份有限公司 具長短距離模態偵測之雷達系統
CN112406687A (zh) * 2020-10-16 2021-02-26 常州通宝光电股份有限公司 一种“人-车-路”协同的可编程矩阵式前照灯系统及方法
CN112415522A (zh) * 2020-10-27 2021-02-26 衡阳市智谷科技发展有限公司 一种实时及感知动态物体信息的语义slam方法
CN112937556B (zh) * 2021-03-08 2022-08-09 重庆长安汽车股份有限公司 一种远程挪车系统及远程挪车方法
CN113309169A (zh) * 2021-07-01 2021-08-27 吉林大学 一种无人驾驶装载机室内自主卸料系统及方法
CN113721234B (zh) * 2021-08-30 2023-09-01 南京慧尔视智能科技有限公司 一种车载毫米波雷达点云数据动静分离过滤方法和装置
CN113777601B (zh) * 2021-09-14 2024-08-06 无锡威孚高科技集团股份有限公司 一种基于特征的目标跟踪优化方法、装置和存储介质
CN114463832B (zh) * 2022-01-28 2024-09-17 山东大学 一种基于点云的交通场景视线追踪方法及系统
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114814826B (zh) * 2022-04-08 2023-06-16 苏州大学 一种基于目标网格的雷达轨行区环境感知方法
CN115014374A (zh) * 2022-05-27 2022-09-06 重庆长安汽车股份有限公司 一种融合动态事件的车道级路径规划方法
CN114872712B (zh) * 2022-06-29 2022-10-18 小米汽车科技有限公司 静态车辆检测方法、装置、设备、车辆及存储介质
CN116176579B (zh) * 2023-04-27 2023-06-27 安徽中科星驰自动驾驶技术有限公司 自动驾驶跟车车距测量计算装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202608661U (zh) * 2012-04-20 2012-12-19 广州汽车集团股份有限公司 一种车辆安全控制系统
CN104635233A (zh) * 2015-02-17 2015-05-20 苏州安智汽车零部件有限公司 基于车载毫米波雷达的前方物体运动状态估计及分类方法
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
US20180172825A1 (en) * 2016-12-16 2018-06-21 Automotive Research & Testing Center Environment recognition system using vehicular millimeter wave radar
CN108226924A (zh) * 2018-01-11 2018-06-29 李烜 基于毫米波雷达的汽车行驶环境探测方法、装置及其应用
CN109086788A (zh) * 2017-06-14 2018-12-25 通用汽车环球科技运作有限责任公司 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817488B (zh) * 2017-09-28 2021-08-03 西安电子科技大学昆山创新研究院 基于毫米波雷达与视觉融合的无人机避障装置及避障方法
US10754021B2 (en) * 2017-10-04 2020-08-25 Infineon Technologies Ag System and method for controlling operation of a vehicle using a millimeter-wave radar sensor
US10235877B1 (en) * 2017-12-27 2019-03-19 Christ G. Ellis Self-driving vehicles safety system
CN109212521B (zh) * 2018-09-26 2021-03-26 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109447161B (zh) * 2018-10-31 2021-07-13 桂林电子科技大学 一种基于汽车雷达数据的实时增量与自适应聚类方法
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202608661U (zh) * 2012-04-20 2012-12-19 广州汽车集团股份有限公司 一种车辆安全控制系统
CN104635233A (zh) * 2015-02-17 2015-05-20 苏州安智汽车零部件有限公司 基于车载毫米波雷达的前方物体运动状态估计及分类方法
US20180172825A1 (en) * 2016-12-16 2018-06-21 Automotive Research & Testing Center Environment recognition system using vehicular millimeter wave radar
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
CN109086788A (zh) * 2017-06-14 2018-12-25 通用汽车环球科技运作有限责任公司 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统
CN108226924A (zh) * 2018-01-11 2018-06-29 李烜 基于毫米波雷达的汽车行驶环境探测方法、装置及其应用
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质

Cited By (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417757A (zh) * 2020-11-18 2021-02-26 中国汽车技术研究中心有限公司 车载雷达信号级仿真方法、装置、设备及可读存储介质
CN112363143A (zh) * 2020-11-24 2021-02-12 北京小米移动软件有限公司 一种空调设备基于毫米波进行空间识别的方法和系统
CN112363143B (zh) * 2020-11-24 2023-11-07 北京小米移动软件有限公司 一种空调设备基于毫米波进行空间识别的方法和系统
TWI769602B (zh) * 2020-11-30 2022-07-01 群邁通訊股份有限公司 利用毫米波雷達的人體姿態識別方法及電腦可讀存儲介質
CN112651405A (zh) * 2020-12-10 2021-04-13 深兰人工智能(深圳)有限公司 目标检测方法及装置
CN112651405B (zh) * 2020-12-10 2024-04-26 深兰人工智能(深圳)有限公司 目标检测方法及装置
CN112590781A (zh) * 2020-12-22 2021-04-02 南京理工大学 基于毫米波相控阵雷达的车辆防撞警示方法及装置
CN112764022A (zh) * 2020-12-24 2021-05-07 珠海格力电器股份有限公司 公共安全管理方法及公共安全管理系统
CN112598741A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 点云数据标注方法、装置、设备及存储介质
CN112835026B (zh) * 2020-12-31 2024-02-20 福瑞泰克智能系统有限公司 雷达镜像目标检测方法、装置、雷达设备和车辆
CN112835026A (zh) * 2020-12-31 2021-05-25 福瑞泰克智能系统有限公司 雷达镜像目标检测方法、装置、雷达设备和车辆
CN112835045A (zh) * 2021-01-05 2021-05-25 北京三快在线科技有限公司 一种雷达探测方法、装置、存储介质及电子设备
CN112835051A (zh) * 2021-01-12 2021-05-25 广州主塔智能科技有限公司 一种车载雷达警示系统
CN112946630A (zh) * 2021-01-27 2021-06-11 上海兰宝传感科技股份有限公司 一种基于毫米波雷达的人员计数跟踪方法
CN112946654B (zh) * 2021-01-27 2023-06-23 中国人民解放军国防科技大学 雷达滤除动态杂波的方法、装置、计算机系统及存储介质
CN112946654A (zh) * 2021-01-27 2021-06-11 中国人民解放军国防科技大学 雷达滤除动态杂波的方法、装置、计算机系统及存储介质
CN113219507B (zh) * 2021-01-29 2024-02-23 重庆长安汽车股份有限公司 基于rt3000的自动驾驶车辆感知融合数据的精度测量方法
CN113219507A (zh) * 2021-01-29 2021-08-06 重庆长安汽车股份有限公司 基于rt3000的自动驾驶车辆感知融合数据的精度测量方法
CN114863501A (zh) * 2021-02-04 2022-08-05 西安电子科技大学青岛计算技术研究院 一种基于调频连续波雷达和神经网络的人脸识别算法
CN113759331B (zh) * 2021-02-07 2024-04-12 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN113759331A (zh) * 2021-02-07 2021-12-07 贵州京邦达供应链科技有限公司 一种雷达定位方法、装置、设备及存储介质
CN112859033A (zh) * 2021-02-23 2021-05-28 加特兰微电子科技(上海)有限公司 目标探测的方法、装置及相关设备
CN113033340A (zh) * 2021-03-10 2021-06-25 郑景粲 一种基于深度信息的视觉盲区预警装置
CN113066299A (zh) * 2021-03-25 2021-07-02 上海智能新能源汽车科创功能平台有限公司 一种基于车路云一体的客运数字交通系统
CN113189580A (zh) * 2021-04-02 2021-07-30 天地（常州）自动化股份有限公司 一种基于毫米波雷达与uwb标签的无轨胶轮车辅助驾驶方法
CN113189583A (zh) * 2021-04-26 2021-07-30 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法
CN113267779A (zh) * 2021-05-17 2021-08-17 南京师范大学 一种基于雷达与图像数据融合的目标检测方法及系统
CN115407345A (zh) * 2021-05-29 2022-11-29 上海追势科技有限公司 一种基于车载超声传感器的车辆实时定位方法
CN113370994A (zh) * 2021-06-16 2021-09-10 上海追势科技有限公司 一种基于周围车辆行为的自动驾驶行为决策方法
CN113589288A (zh) * 2021-06-24 2021-11-02 广西综合交通大数据研究院 基于毫米波雷达的目标筛选方法、装置、设备及存储介质
CN113484863A (zh) * 2021-07-07 2021-10-08 上海商汤临港智能科技有限公司 一种车辆及其车载传感器系统、以及行车数据采集方法
CN113435404B (zh) * 2021-07-14 2023-05-12 深圳市比一比网络科技有限公司 基于雷达及图像检测的电客车调车安全辅助驾驶方法与系统
CN113433946A (zh) * 2021-07-14 2021-09-24 北京华科软通科技有限公司 一种防撞预警方法、装置、系统、电子设备以及存储介质
CN113435404A (zh) * 2021-07-14 2021-09-24 深圳市比一比网络科技有限公司 基于雷达及图像检测的电客车调车安全辅助驾驶方法与系统
CN113835074A (zh) * 2021-08-04 2021-12-24 南京常格科技发展有限公司 一种基于毫米波雷达的人流量动态监测方法
CN113835074B (zh) * 2021-08-04 2024-01-16 南京常格科技发展有限公司 一种基于毫米波雷达的人流量动态监测方法
CN113807168A (zh) * 2021-08-05 2021-12-17 北京蜂云科创信息技术有限公司 一种车辆行驶环境感知方法、车载设备和存储介质
CN113479218A (zh) * 2021-08-09 2021-10-08 哈尔滨工业大学 一种路基自动驾驶辅助探测系统及其控制方法
CN113479218B (zh) * 2021-08-09 2022-05-31 哈尔滨工业大学 一种路基自动驾驶辅助探测系统及其控制方法
CN113671491A (zh) * 2021-08-16 2021-11-19 珠海格力电器股份有限公司 一种路况检测及预警方法及装置
CN113763717A (zh) * 2021-08-31 2021-12-07 广州文远知行科技有限公司 一种车辆的识别方法、装置、计算机设备和存储介质
CN113867334A (zh) * 2021-09-07 2021-12-31 华侨大学 一种移动机械无人驾驶的路径规划方法和系统
CN113867334B (zh) * 2021-09-07 2023-05-05 华侨大学 一种移动机械无人驾驶的路径规划方法和系统
CN113850995A (zh) * 2021-09-14 2021-12-28 华设设计集团股份有限公司 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN113850995B (zh) * 2021-09-14 2022-12-27 华设设计集团股份有限公司 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN113682259A (zh) * 2021-09-22 2021-11-23 海南大学 一种车用开门预警防撞系统及控制方法
CN114035570A (zh) * 2021-09-24 2022-02-11 山西省交通科技研发有限公司 基于脑机接口与激光雷达融合感知的防撞控制方法
CN113740848B (zh) * 2021-09-30 2023-11-17 中科芯集成电路有限公司 一种基于毫米波雷达的独居老人追踪式跌倒检测装置
CN113740848A (zh) * 2021-09-30 2021-12-03 中科芯集成电路有限公司 一种基于毫米波雷达的独居老人追踪式跌倒检测装置
CN114037707A (zh) * 2021-10-29 2022-02-11 天津大学 一种网络带宽自适应的自动驾驶点云数据协作感知系统
CN114124299A (zh) * 2021-11-08 2022-03-01 国汽智控(北京)科技有限公司 一种雷达数据的传输方法、装置、设备及介质
CN114124299B (zh) * 2021-11-08 2024-04-23 国汽智控(北京)科技有限公司 一种雷达数据的传输方法、装置、设备及介质
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法
CN114091601B (zh) * 2021-11-18 2023-05-05 业成科技（成都）有限公司 人员状况侦测的传感器融合方法
CN114091601A (zh) * 2021-11-18 2022-02-25 业成科技（成都）有限公司 人员状况侦测的传感器融合方法
CN114199168A (zh) * 2021-12-16 2022-03-18 珠海格力电器股份有限公司 一种室内体积探测方法、装置、设备及介质
CN114216412A (zh) * 2021-12-22 2022-03-22 北京行易道科技有限公司 一种交通参与者的角度信息获取方法、装置和存储介质
CN114216412B (zh) * 2021-12-22 2023-12-26 北京行易道科技有限公司 一种交通参与者的角度信息获取方法、装置和存储介质
CN114429672A (zh) * 2021-12-28 2022-05-03 浙江芯力微电子股份有限公司 基于神经网络的毫米波雷达人体动作实时检测方法
CN114495026A (zh) * 2022-01-07 2022-05-13 武汉市虎联智能科技有限公司 一种激光雷达识别方法、装置、电子设备和存储介质
CN114419152B (zh) * 2022-01-14 2024-04-26 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114419152A (zh) * 2022-01-14 2022-04-29 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114387672A (zh) * 2022-01-18 2022-04-22 北京理工大学 一种基于时-空-频三维雷达点云的人体行为分类方法
WO2023142814A1 (zh) * 2022-01-30 2023-08-03 中国第一汽车股份有限公司 目标识别方法、装置、设备及存储介质
CN114460598A (zh) * 2022-01-30 2022-05-10 中国第一汽车股份有限公司 一种目标识别方法、装置、设备及存储介质
CN114740970B (zh) * 2022-02-23 2024-05-24 广东工业大学 一种基于联邦学习的毫米波手势识别方法及系统
CN114740970A (zh) * 2022-02-23 2022-07-12 广东工业大学 一种基于联邦学习的毫米波手势识别方法及系统
CN115214624B (zh) * 2022-03-04 2023-12-26 广州汽车集团股份有限公司 泊车路径的确定方法、装置、车辆及存储介质
CN115214624A (zh) * 2022-03-04 2022-10-21 广州汽车集团股份有限公司 泊车路径的确定方法、装置、车辆及存储介质
CN114814825A (zh) * 2022-03-23 2022-07-29 合肥工业大学 一种基于雷达和视频融合的车辆轨迹感知与状态提取方法
CN114924274A (zh) * 2022-04-08 2022-08-19 苏州大学 一种基于固定网格的高动态铁路环境雷达感知方法
CN114924274B (zh) * 2022-04-08 2023-06-30 苏州大学 一种基于固定网格的高动态铁路环境雷达感知方法
CN114884543A (zh) * 2022-05-06 2022-08-09 星谷晶微科技(深圳)有限公司 一种基于uwb频段的通信感知一体化mimo系统
CN114884994A (zh) * 2022-05-09 2022-08-09 山东高速建设管理集团有限公司 一种基于迁移学习的车路协同信息融合方法及系统
CN115050192A (zh) * 2022-06-09 2022-09-13 南京矽典微系统有限公司 基于毫米波雷达的停车位检测的方法及应用
CN115050192B (zh) * 2022-06-09 2023-11-21 南京矽典微系统有限公司 基于毫米波雷达的停车位检测的方法及应用
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115236674B (zh) * 2022-06-15 2024-06-04 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN114924249A (zh) * 2022-07-22 2022-08-19 中国科学技术大学 基于毫米波雷达的人体姿态估计方法、装置及电子设备
CN114924249B (zh) * 2022-07-22 2022-10-28 中国科学技术大学 基于毫米波雷达的人体姿态估计方法、装置及电子设备
CN115236627A (zh) * 2022-09-21 2022-10-25 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
CN115236627B (zh) * 2022-09-21 2022-12-16 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
CN115376365B (zh) * 2022-10-21 2023-01-13 北京德风新征程科技有限公司 车辆控制方法、装置、电子设备和计算机可读介质
CN115376365A (zh) * 2022-10-21 2022-11-22 北京德风新征程科技有限公司 车辆控制方法、装置、电子设备和计算机可读介质
CN115985122A (zh) * 2022-10-31 2023-04-18 内蒙古智能煤炭有限责任公司 无人驾驶系统感知方法
CN115685185A (zh) * 2022-12-30 2023-02-03 苏州尚同墨方智能科技有限公司 一种4d毫米波雷达与视觉融合感知方法
CN116052420A (zh) * 2023-01-05 2023-05-02 北京清丰智行科技有限公司 一种用于园区的车路云协同大数据管理系统
CN116052420B (zh) * 2023-01-05 2023-09-22 北京清丰智行科技有限公司 一种用于园区的车路云协同大数据管理系统
CN116106853B (zh) * 2023-04-12 2023-09-01 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN116106853A (zh) * 2023-04-12 2023-05-12 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN116630394A (zh) * 2023-07-25 2023-08-22 山东中科先进技术有限公司 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN116630394B (zh) * 2023-07-25 2023-10-20 山东中科先进技术有限公司 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN117289255A (zh) * 2023-10-19 2023-12-26 广州行深智能科技有限公司 目标检测方法、装置、终端设备及存储介质
CN117111053B (zh) * 2023-10-23 2024-02-27 武汉未来幻影科技有限公司 一种毫米波雷达跟踪结果的处理方法、装置以及处理设备
CN117111053A (zh) * 2023-10-23 2023-11-24 武汉未来幻影科技有限公司 一种毫米波雷达跟踪结果的处理方法、装置以及处理设备
CN117611638B (zh) * 2023-12-07 2024-05-17 北京擎锋精密科技有限公司 一种基于图像处理的车辆行人多目标跟踪方法
CN117611638A (zh) * 2023-12-07 2024-02-27 北京擎锋精密科技有限公司 一种基于图像处理的车辆行人多目标跟踪方法
CN117470254A (zh) * 2023-12-28 2024-01-30 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于雷达服务的车载导航系统和方法
CN117470254B (zh) * 2023-12-28 2024-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于雷达服务的车载导航系统和方法
CN117593650B (zh) * 2024-01-18 2024-04-26 上海几何伙伴智能驾驶有限公司 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN117593650A (zh) * 2024-01-18 2024-02-23 上海几何伙伴智能驾驶有限公司 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN117649583B (zh) * 2024-01-30 2024-05-14 科大国创合肥智能汽车科技有限公司 一种自动驾驶车辆行驶实时道路模型融合方法
CN117649583A (zh) * 2024-01-30 2024-03-05 科大国创合肥智能汽车科技有限公司 一种自动驾驶车辆行驶实时道路模型融合方法
CN118015594A (zh) * 2024-02-19 2024-05-10 大连理工大学 一种基于4d毫米波雷达的列车前向障碍物检测方法
CN118372743A (zh) * 2024-06-21 2024-07-23 洛阳理工学院 一种全景视觉行车辅助系统及动态行车提示方法

Also Published As

Publication number Publication date
CN110208793A (zh) 2019-09-06
CN110208793B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
WO2020216316A1 (zh) 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CA3168740C (en) Method for object avoidance during autonomous navigation
US10677894B2 (en) Vehicle sensing system for classification of vehicle model
Dickmann et al. Making bertha see even more: Radar contribution
CN108226951B (zh) 一种基于激光传感器的快速运动障碍物实时跟踪方法
US11479262B2 (en) Geographically disparate sensor fusion for enhanced target detection and identification in autonomous vehicles
US11011063B2 (en) Distributed data collection and processing among vehicle convoy members
US20190204834A1 (en) Method and apparatus for object detection using convolutional neural network systems
US11195028B2 (en) Real-time simultaneous detection of lane marker and raised pavement marker for optimal estimation of multiple lane boundaries
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
WO2021218388A1 (zh) 高精度地图的生成方法、定位方法及装置
CN112162283B (zh) 一种全路段组网交通雷达多目标探测系统
WO2022184127A1 (zh) 一种车辆、传感器的仿真方法及装置
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN112654891A (zh) 改善车辆检测低电磁轮廓物体的系统和方法
Akita et al. Object tracking and classification using millimeter-wave radar based on LSTM
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
CN114442101A (zh) 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
WO2022160127A1 (zh) 控制方法和装置
KR20200108097A (ko) 빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치
Yusuf et al. Vehicle-to-everything (V2X) in the autonomous vehicles domain–A technical review of communication, sensor, and AI technologies for road user safety
CN116299473A (zh) 一种基于mimo毫米波雷达的横穿目标探测方法
WO2023025777A1 (en) Automotive sensor fusion of radar, lidar, camera systems with improved safety by use of machine learning
WO2022256819A1 (en) Intelligent radar systems and methods
Venkatesha et al. Detection mechanism for vehicle collision avoidance using mmWave Radar

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20794226

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20794226

Country of ref document: EP

Kind code of ref document: A1