WO2022088720A1 - 样本生成、神经网络的训练、数据处理方法及装置 - Google Patents

样本生成、神经网络的训练、数据处理方法及装置 Download PDF

Info

Publication number
WO2022088720A1
WO2022088720A1 PCT/CN2021/102678 CN2021102678W WO2022088720A1 WO 2022088720 A1 WO2022088720 A1 WO 2022088720A1 CN 2021102678 W CN2021102678 W CN 2021102678W WO 2022088720 A1 WO2022088720 A1 WO 2022088720A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud data
target
target detection
neural network
Prior art date
Application number
PCT/CN2021/102678
Other languages
English (en)
French (fr)
Inventor
杨霁晗
史少帅
王哲
石建萍
Original Assignee
上海商汤临港智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海商汤临港智能科技有限公司 filed Critical 上海商汤临港智能科技有限公司
Priority to JP2022514192A priority Critical patent/JP2023502834A/ja
Priority to KR1020227007014A priority patent/KR20220058900A/ko
Publication of WO2022088720A1 publication Critical patent/WO2022088720A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present disclosure relates to the technical field of machine learning, and in particular, to a method, device, computer equipment and storage medium for sample generation, neural network training, data processing, and driving control of an intelligent driving device.
  • object detection neural networks are widely used in fields such as autonomous driving and robotic handling.
  • autonomous driving after using lidar to collect data from the target scene, the obtained point cloud data can be marked, and the marked point cloud data can be used to train the target detection neural network; the target detection neural network can be used for automatic Obstacle detection during driving.
  • the current target detection neural network has the problem of low detection accuracy during training.
  • the embodiments of the present disclosure provide at least a method, device, computer equipment, and storage medium for sample generation, neural network training, data processing, and driving control of an intelligent driving device.
  • an embodiment of the present disclosure provides a sample generation method, including:
  • the first confidence threshold characterizing the existence of the target in the point cloud data
  • the second confidence threshold characterizing the absence of the target in the point cloud data
  • Sample data is generated based on the first target point cloud data and a first target detection result corresponding to the first target point cloud data.
  • the reliability of the generated sample data can be improved, thereby improving the detection accuracy of the target detection model obtained after training.
  • the first target detection result includes: the confidence level of the target in the first point cloud data of each frame; the first confidence level threshold is greater than the second confidence level threshold;
  • determining the first target point cloud data includes:
  • the first point cloud data including the target whose confidence is greater than the first confidence threshold or smaller than the second confidence threshold is determined as the first target point cloud data.
  • the first point cloud data can be screened by using the first probability threshold and the second probability threshold used to characterize the possibility of determining the existence of the target object in the first point cloud data, and ignoring the part cannot accurately determine whether the target detection result is Therefore, the classification accuracy of the first target point cloud data can be improved.
  • a pre-trained target detection neural network is used to perform target detection on each frame of the first point cloud data in the multi-frame first point cloud data, based on the first target point cloud data, and the first target detection result of the first target point cloud data to generate sample data, including:
  • the pre-trained target detection neural network is iteratively trained; after using the first target point cloud data , and the first target detection result of the first target point cloud data, after performing k rounds of iterative training on the pre-trained target detection neural network, the trained target detection neural network is obtained; k is a positive integer;
  • the sample data is generated based on the second target detection result of the first point cloud data of each frame.
  • the obtained trained target detection neural network learns the features in the first target point cloud data. Therefore, using the trained target The detection neural network then performs target detection processing on the first point cloud data, which has higher accuracy than the pre-trained target detection neural network.
  • it also includes: in the case where the loop stop condition is not met, based on the second target detection result of the first point cloud data of each frame, the first confidence threshold, and the The second confidence threshold is to determine the second target point cloud data from the multiple frames of the first point cloud data;
  • the target detection results of the first point cloud data are continuously updated, and during the update process, the accuracy is continuously improved, so that the final sample data has a higher labeling accuracy.
  • the cycle stop condition includes at least one of the following:
  • the number of times of obtaining the trained target detection neural network reaches a preset number of times; the preset number of times is an integer multiple of k;
  • the similarity between the first target detection result and the second target detection result of the first point cloud data of each frame is greater than the preset similarity threshold.
  • it also includes:
  • the generating sample data based on the first target point cloud data and the first target detection result of the first target point cloud data includes:
  • the first target detection result of the first target point cloud data, the third target point cloud data, and the third target detection result of the third target point cloud data Based on the first target point cloud data, the first target detection result of the first target point cloud data, the third target point cloud data, and the third target detection result of the third target point cloud data, generating the sample data.
  • the influence on the training of the target detection neural network can be avoided when the data amount of the first target point cloud data is small; or, the trained target detection neural network can have stronger generalization ability .
  • the data enhancement processing includes at least one of the following:
  • an embodiment of the present disclosure provides a method for training a neural network, including:
  • the target detection neural network to be trained is trained to obtain the trained target detection neural network.
  • an embodiment of the present disclosure provides a data processing method, including:
  • the point cloud data to be processed is processed to obtain a data processing result of the point cloud data to be processed.
  • an embodiment of the present disclosure provides a driving control method for an intelligent driving device, including:
  • the intelligent driving device is controlled.
  • an embodiment of the present disclosure further provides a sample generation device, including:
  • a first detection module configured to perform target detection on each frame of the first point cloud data in the multiple frames of the first point cloud data, and obtain a first target detection result of the first point cloud data in each frame;
  • a determination module for detecting a first target based on the first point cloud data of each frame, a first confidence threshold characterizing the existence of a target in the point cloud data, and a second confidence characterizing the absence of a target in the point cloud data a threshold, from the multi-frame first point cloud data, to determine the first target point cloud data;
  • the first generation module is configured to generate sample data based on the first target point cloud data and the first target detection result corresponding to the first target point cloud data.
  • an embodiment of the present disclosure further provides a training device for a neural network, including:
  • a second generation module configured to generate sample data by using the sample generation method described in the first aspect or any optional implementation manner of the first aspect of the embodiments of the present disclosure
  • the model training module is used for using the sample data to train the target detection neural network to be trained to obtain the trained target detection neural network.
  • an embodiment of the present disclosure further provides a data processing apparatus, including:
  • the first acquisition module is used to acquire point cloud data to be processed
  • a processing module configured to process the point cloud data to be processed by using the neural network trained based on the neural network training method described in any one of the second aspects to obtain data processing of the point cloud data to be processed result.
  • an embodiment of the present disclosure further provides a driving control device for an intelligent driving device, including:
  • the second acquisition module is used for acquiring point cloud data collected by the intelligent driving device during driving;
  • a second detection module configured to detect the target object in the point cloud data using the neural network trained by the neural network training method according to any one of the second aspects
  • the control module is used for controlling the intelligent driving device based on the detected target object.
  • an optional implementation manner of the present disclosure further provides a computer device, a processor, and a memory, where the memory stores machine-readable instructions executable by the processor, and the processor is configured to execute the memory stored in the memory
  • the machine-readable instructions when the machine-readable instructions are executed by the processor, the machine-readable instructions when executed by the processor perform the above-mentioned first aspect, second aspect, third aspect or fourth aspect steps in any of the possible implementations.
  • an optional implementation manner of the present disclosure further provides a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and the computer program executes the first aspect, the second aspect, and the third aspect when the computer program is run.
  • FIG. 1 shows a flowchart of a sample generation method provided by an embodiment of the present disclosure
  • FIG. 2 shows a flowchart of a specific method for generating sample data based on the determined first target point cloud data and the first target detection result corresponding to the first target point cloud data provided by an embodiment of the present disclosure
  • FIG. 3 shows a flowchart of a method for training a neural network provided by an embodiment of the present disclosure
  • FIG. 4 shows a flowchart of a data processing method provided by an embodiment of the present disclosure
  • FIG. 5 shows a flowchart of a driving control method of an intelligent driving device provided by an embodiment of the present disclosure
  • FIG. 6 shows a schematic diagram of a sample generating apparatus provided by an embodiment of the present disclosure
  • FIG. 7 shows a schematic diagram of a training apparatus for a neural network provided by an embodiment of the present disclosure
  • FIG. 8 shows a schematic diagram of a data processing apparatus provided by an embodiment of the present disclosure
  • FIG. 9 shows a schematic diagram of a driving control device of an intelligent driving device provided by an embodiment of the present disclosure.
  • FIG. 10 shows a schematic diagram of the structure of a computer device provided by an embodiment of the present disclosure.
  • the execution subject of the sample generation method provided by the embodiment of the present disclosure is generally a device with a certain computing capability, such as Including: terminal equipment or server or other processing equipment, terminal equipment can be user equipment (User Equipment, UE), mobile equipment, user terminal, terminal, cellular phone, cordless phone, Personal Digital Assistant (Personal Digital Assistant, PDA), handheld devices, computing devices, in-vehicle devices, wearable devices, etc.
  • terminal equipment can be user equipment (User Equipment, UE), mobile equipment, user terminal, terminal, cellular phone, cordless phone, Personal Digital Assistant (Personal Digital Assistant, PDA), handheld devices, computing devices, in-vehicle devices, wearable devices, etc.
  • the sample generation method may be implemented by a processor invoking computer-readable instructions stored in a memory.
  • the sample generation method includes steps S101-S103, wherein:
  • S101 Perform target detection on each frame of the first point cloud data in the multiple frames of the first point cloud data, and obtain a first target detection result of the first point cloud data in each frame;
  • S102 Based on the first target detection result of the first point cloud data of each frame, the first confidence threshold representing the existence of the target in the point cloud data, and the second confidence threshold representing the absence of the target in the point cloud data, from the multi-frame In the first point cloud data, determine the first target point cloud data;
  • S103 Generate sample data based on the first target point cloud data and the first target detection result corresponding to the first target point cloud data.
  • a preset first confidence threshold representing the existence of a target in the first point cloud data and a first confidence threshold representing the first point are used.
  • the second confidence threshold that the target does not exist in the cloud data determines the first target point cloud data, and then uses the first target point cloud data and its corresponding first target detection result to generate sample data; after determining the first target point cloud data During the process, select the first point cloud data with a higher target confidence (eg, closer to 1) in the first target detection result, or select the first target detection result with a lower target confidence (eg, closer to 0)
  • the first point cloud data is used as the first target point cloud data, and the first point cloud data whose target confidence is closer to the intermediate value (for example, a value between 0 and 1) in the first target detection result is not selected as the first target point Cloud data, thereby increasing the reliability of the generated sample data.
  • the first point cloud data may be, for example, point cloud data obtained by collecting the first target space by using at least one collection device of a radar, a depth camera, a color camera, or the like.
  • the target space may contain objects such as obstacles.
  • the radar when a radar is used to acquire point cloud data in the target space, the radar can transmit a detection signal, detect the target space, and obtain the first point cloud data in the target space based on the detection result.
  • one or more of structured light, binocular vision, light time-of-flight method, etc. can be used to obtain the depth image of the target space, and then based on the depth image, the target space can be obtained.
  • the color camera can collect a two-dimensional image of the target space; reconstruct the three-dimensional space based on the two-dimensional image to obtain the first point cloud data of the target space.
  • the embodiments of the present disclosure are described by using radar to obtain the first point cloud data of the target space.
  • the pre-trained target detection neural network includes, for example, a Bayesian neural network. , BN) or artificial neural network (Artificial Neural Network, ANN).
  • BN Bayesian neural network
  • ANN Artificial Neural Network
  • the second point cloud data can be acquired first, and the acquired second point cloud data usually has label information; here, the radar that acquires the second point cloud data, for example, can be obtained with the same method as acquiring the first point cloud data.
  • the radars of the data are different; among them, it can be at least one of different radar parameters, different radar types, different radar installation postures, different radar application areas, etc. The details are not repeated here.
  • the labeling information may include, for example, "obstacle” and "non-obstacle", and in the case of an obstacle, the position information of the obstacle in the second point cloud data (for example, the labeling frame corresponding to the obstacle is at the second point. coordinates in cloud data), obstacle size, obstacle class, and a confidence score for that class.
  • the first target detection result of the first point cloud data obtained by using the pre-trained target detection neural network also includes: the coordinates of the target in the first point cloud data, the target size, the obstacle category to which the target belongs, and the A confidence score for a category; here, the confidence score may, for example, be in the form of a predicted probability.
  • a pre-trained target detection neural network can be obtained by training the second point cloud data with label information.
  • the target detection neural network pre-trained by the second point cloud data has good processing performance for the second point cloud data; the pre-trained target detection neural network is used to detect the first point cloud of each frame of the multi-frame first point cloud data.
  • the data is subjected to target detection processing, and the first target detection result corresponding to the first point cloud data of each frame is obtained.
  • the pre-trained target detection neural network since the pre-trained target detection neural network is obtained by training using the second point cloud data with label information, it has good processing performance for point cloud data with similar feature distribution to the second point cloud data; but Since the first point cloud data and the second point cloud data have a certain difference in the feature domain, the target detection network pre-trained based on the second point cloud data processes the first point cloud data, and obtains the corresponding first point cloud data.
  • the first target detection result is , there is a certain difference between the first target prediction result and the real target detection result corresponding to the first point cloud data.
  • the first point cloud data should be screened based on S102 of the present disclosure, and the first target point should be determined from the multiple frames of the first point cloud data cloud data.
  • the preset first confidence threshold for characterizing the existence of the target in the first point cloud data and the non-existence in the first point cloud data may be used.
  • the second confidence threshold of the target is to determine the first target point cloud data with higher confidence in the classification result from the multi-frame first point cloud data.
  • the first confidence threshold and the second confidence threshold are used to represent the possibility of determining the existence/absence of the target in the first point cloud data; when screening the first target point cloud data from the first point cloud data , you can select the first point cloud data with higher target confidence (eg, closer to 1) in the first target detection result, or select the first target detection result with lower target confidence (eg, closer to 0)
  • the first point cloud data The point cloud data is used as the first target point cloud data, and the first point cloud data whose target confidence is closer to the intermediate value in the first target detection result is not selected as the first target point cloud data, thereby improving the reliability of the generated sample data. sex.
  • the first confidence threshold is higher than the second confidence threshold
  • the first confidence threshold may be represented as P 1
  • the second confidence threshold may be represented as P 2 , for example.
  • the first confidence threshold P 1 may be set to 70%
  • the second confidence threshold P 2 may be set to 30%, that is to say, it is considered that there must be no existence when the confidence of the first target detection result is lower than 30%. The target must exist when the confidence of the first target detection result exceeds 70%.
  • first confidence threshold and second confidence threshold are all examples.
  • the specific values of the first confidence threshold and the second confidence threshold it can be set according to experience, or according to the target detection result.
  • the accuracy requirements are determined, and the specifics can be determined according to the actual situation, which will not be repeated here.
  • the following methods when determining the first confidence threshold and the second confidence threshold, when determining the first target point cloud data from multiple frames of first point cloud data, for example, the following methods may be used:
  • the first point cloud data of the target of the second confidence threshold is determined as the first target point cloud data.
  • the confidence levels of targets in different first point cloud data of N frames can be Denoted as p i ,i ⁇ [1,N].
  • the results obtained by comparing the confidence level p i with the first confidence level threshold P 1 and the second confidence level threshold P 2 include the following one: kind:
  • the point cloud data of the i -th frame must not include the target; in the case of P 1 ⁇ pi, it is considered that the point cloud data of the i-th frame must include the target;
  • the i-frame point cloud data is determined as the first target point cloud data.
  • the point cloud data of the ith frame is determined as the buffer domain (that is, the confidence level is located in the first confidence level). point cloud data in the region between the threshold and the second confidence threshold).
  • the target detection result obtained based on the first target point cloud data is more accurate.
  • the multi-frame first target point cloud data screened from the multi-frame first point cloud data can more accurately determine whether the target contains the target. Therefore, when training the target detection neural network based on the first target point cloud data, due to The reliability of the first target detection results generated for the first target point cloud data is relatively high, and the negative impact of the point cloud data with low reliability of the detection results on the target detection neural network can be excluded, so that the target detection neural network can be eliminated. with higher precision.
  • S1031 Perform iterative training on the pre-trained target detection neural network by using the first target point cloud data and the first target detection result of the first target point cloud data.
  • S1033 Use the trained target detection neural network to determine a second target detection result of each frame of the first point cloud data in the multiple frames of the first point cloud data.
  • S1034 Determine whether the loop stop condition is satisfied; if so, jump to S1037, and if not, jump to S1035.
  • S1035 Based on the second target detection result, the first confidence threshold, and the second confidence threshold of the first point cloud data of each frame, determine the second target point cloud data from the multiple frames of the first point cloud data.
  • S1036 Use the second target point cloud data as new first target point cloud data, and use the second target detection result of the second target point cloud data as a new first target of the new first target point cloud data
  • the detection result and the training of the target detection neural network as the pre-trained target detection neural network are returned to S1031.
  • S1037 Generate sample data based on the second target detection result of the first point cloud data of each frame.
  • the pre-trained target detection neural network can be obtained by training the second point cloud data with label information. Since the second point cloud data and the first point cloud data may belong to different radar data sets, if the pre-trained target detection neural network is directly used for target detection on the first point cloud data, the obtained processing results may be different from the actual ones. There are deviations.
  • the first point cloud data may be screened to obtain the first target point cloud data, and then the pre-trained target detection neural network may be trained by using the first target point cloud data. , the trained target detection neural network can learn the features in the first target point cloud data. Therefore, using the trained target detection neural network to perform target detection processing on the first point cloud data, compared with the pre-trained target The detection neural network has higher accuracy.
  • the above-mentioned loop stop condition may include that the number of times of obtaining the trained target detection neural network reaches a preset number of times.
  • the number of times of obtaining the trained target detection neural network may be increased by 1 each time iterative training is performed.
  • the preset times are, for example, 5 times, 7 times, and 10 times. When the preset number of times is small, the number of iterations is small, and the target detection neural network can be obtained by training faster within the allowable error range; when the preset number of times is large, more accurate target detection can be determined.
  • Neural network for object detection may include that the number of times of obtaining the trained target detection neural network reaches a preset number of times.
  • the above-mentioned loop stop condition may include that the preset number of times is an integer multiple of k, and the preset number of times is, for example, N ⁇ k times, where N is a positive integer.
  • N can be set to a large positive integer, such as 5.
  • N can be set to a small positive integer, such as 2 or 3.
  • the specific preset number of times can be determined according to the actual situation, and details are not repeated here.
  • the above-mentioned loop stop condition may include: the similarity between the first target detection result and the second target detection result of the first point cloud data in each frame is greater than a preset similarity threshold.
  • the target detection results of the first point cloud data are finally continuously updated, and during the update process, the accuracy is continuously improved, so that the final sample data has high labeling accuracy.
  • the second target detection result since the second target detection result is more accurate than the first target detection result obtained most recently, the second target point cloud data and the After the first confidence threshold and the second confidence threshold are compared, the data volume of the obtained new first target point cloud data may increase, so that there are more abundant training samples in the next training of the target detection neural network; Or, when using the first confidence threshold and the second confidence threshold to determine the first target point cloud data, the confidence of the target is located between the first confidence threshold and the second confidence threshold. The number is reduced, that is, when the first target detection result is used to determine whether there is a target at the corresponding position in the first point cloud data, the reliability is higher.
  • data enhancement processing can also be performed on the first target point cloud data to generate third target point cloud data, and based on the first target detection result corresponding to the first point cloud data, a third target point cloud is generated.
  • the third object detection result of the data is generated.
  • the data enhancement processing includes at least one of the following: random rotation scene processing, random scene flipping processing along the coordinate axis, random object scaling processing, random object rotation processing, and random sampling point cloud processing along the coordinate axis.
  • the random rotation scene processing includes, for example, rotating the coordinate axis corresponding to some point cloud data in the first target point cloud data, and determining the new coordinate value corresponding to this part of the point cloud point based on the coordinate axis obtained after the rotation, and using the new coordinate value to update
  • the first target point cloud data determines the third target point cloud data.
  • the first target detection result of the cloud data is adjusted to generate a third target detection result of the third target point cloud data.
  • the method of generating sample data by using other data enhancement methods is similar to the above-mentioned method of generating sample data by using the random rotation scene processing method, and will not be repeated here.
  • the sample data is generated based on the first target point cloud data, the first target detection result corresponding to the first target point cloud data, the third target point cloud data, and the third target detection result corresponding to the third target point cloud data.
  • the specific sample data is generated.
  • Ways for example, can include:
  • the training The pre-trained target detection neural network is obtained, and the trained target detection neural network is obtained;
  • the sample data is generated based on the second target detection results corresponding to the multiple frames of the first point cloud data; or, based on the multiple frames of the first point cloud data corresponding to The second target detection result and the third target detection results corresponding to the multi-frame third target point cloud data respectively, generate sample data.
  • the embodiments of the present disclosure also provide a neural network training method corresponding to the sample generation method.
  • the training method includes steps S301 to S304 , wherein:
  • S301 Perform target detection on each frame of the first point cloud data in the multiple frames of the first point cloud data, to obtain a first target detection result of the first point cloud data in each frame;
  • S302 Based on the first target detection result of the first point cloud data of each frame, the first confidence threshold representing the existence of the target in the point cloud data, and the second confidence threshold representing the absence of the target in the point cloud data, from the multi-frame In the first point cloud data, determine the first target point cloud data;
  • S303 Generate sample data based on the first target point cloud data and the first target detection result corresponding to the first target point cloud data;
  • the target detection neural network may be the same as the pre-trained target detection neural network in the above-mentioned sample generation method, or a new target detection neural network is selected for training.
  • the target detection neural network may include, for example, a Bayesian neural network (Bayesian Network, BN) or an artificial neural network (Artificial Neural Network, ANN).
  • BN Bayesian neural network
  • ANN Artificial Neural Network
  • the target detection neural network to be trained can be trained to obtain the target detection neural network.
  • the specific method for generating sample data corresponding to the above S301-S303 is similar to the sample generating method corresponding to the above-mentioned S101-S103, and details are not repeated here.
  • the embodiments of the present disclosure also provide a data processing method corresponding to the sample generation method.
  • the data processing method includes steps S5-S402, wherein:
  • the point cloud data to be processed may include, for example, first point cloud data, or point cloud data without label information.
  • the specific method for acquiring the point cloud data to be processed is similar to the method for acquiring the first point cloud data in the above S101, and details are not repeated here.
  • the obtained data processing result of the point cloud data to be processed may include, for example, the target detection result corresponding to the point cloud data to be processed, That is, it is determined for the point cloud data to be processed whether the corresponding position contains the label information of the target object.
  • the target detection result obtained by the obtained target detection neural network when performing target detection on any point cloud data is more accurate, the data obtained after target detection processing is performed on the point cloud data to be processed by the target detection neural network. The accuracy of the processing results is higher.
  • the embodiment of the present disclosure also provides a driving control method of an intelligent driving device corresponding to the sample generation method.
  • the driving method for an intelligent driving device includes steps S501 to S503 , wherein:
  • S501 Acquire point cloud data collected by the intelligent driving device during driving
  • S502 Use the neural network trained by the neural network training method provided by the embodiment of the present disclosure to detect the target object in the point cloud data;
  • the driving device is, for example, but not limited to, any one of the following: an autonomous vehicle, a vehicle equipped with an advanced driving assistance system (Advanced Driving Assistance System, ADAS), or a robot, and the like.
  • an autonomous vehicle a vehicle equipped with an advanced driving assistance system (Advanced Driving Assistance System, ADAS), or a robot, and the like.
  • ADAS Advanced Driving Assistance System
  • robot a robot, and the like.
  • Controlling the traveling device includes, for example, controlling the traveling device to accelerate, decelerate, turn, and brake, or play voice prompt information to prompt the driver to control the traveling device to accelerate, decelerate, turn, and brake.
  • the specific position of the obstacle in the target space can be determined based on the target object, so as to control the intelligent driving device to avoid the obstacle in the target space;
  • the specific position of the road that can be driven in the target space can be determined based on the target object, so as to control the intelligent driving device to drive within the range of the road that can be driven.
  • the target detection neural network obtained by using the neural network training method has higher accuracy, when the target detection neural network obtained by using the neural network training method is used to perform target detection on the point cloud data to be processed , the obtained target detection result is more accurate, so that there is a more accurate judgment result when judging whether there is an obstacle in the target space, so that the ability to avoid obstacles when controlling the intelligent driving device to drive is stronger, and the safety is higher.
  • the writing order of each step does not mean a strict execution order but constitutes any limitation on the implementation process, and the specific execution order of each step should be based on its function and possible Internal logic is determined.
  • the embodiment of the present disclosure also provides a sample generation device corresponding to the sample generation method. Reference may be made to the implementation of the method, and repeated descriptions will not be repeated.
  • the device includes: a first detection module 61 , a determination module 62 , and a first generation module 63 ; wherein,
  • the first detection module 61 is configured to perform target detection on each frame of the first point cloud data in the multiple frames of the first point cloud data, and obtain a first target detection result of the first point cloud data in each frame;
  • a determination module 62 used for the first target detection result based on the first point cloud data of each frame, the first confidence threshold for characterizing the existence of the target in the point cloud data, and the second confidence characterizing the absence of the target in the point cloud data a degree threshold, from the multi-frame first point cloud data, to determine the first target point cloud data;
  • the first generating module 63 is configured to generate sample data based on the first target point cloud data and the first target detection result corresponding to the first target point cloud data.
  • the first target detection result includes: the confidence level of the target in the first point cloud data of each frame; the first confidence level threshold is greater than the second confidence level threshold;
  • the determination module 62 is based on the first target detection result corresponding to the first point cloud data of each frame, the first confidence threshold representing the existence of the target in the point cloud data, and the first threshold representing the absence of the target in the point cloud data. Two confidence thresholds, which are used to determine the first target point cloud data from the multi-frame first point cloud data:
  • the first point cloud data including the target whose confidence is greater than the first confidence threshold or smaller than the second confidence threshold is determined as the first target point cloud data.
  • the first detection module 61 uses a pre-trained target detection neural network to perform target detection on each frame of the first point cloud data in the multiple frames of first point cloud data, and the first point cloud data
  • a generating module 63 when generating sample data based on the first target point cloud data and the first target detection result of the first target point cloud data, is used for:
  • the pre-trained target detection neural network is iteratively trained; after using the first target point cloud data , and the first target detection result of the first target point cloud data, after performing k rounds of iterative training on the pre-trained target detection neural network, the trained target detection neural network is obtained; k is a positive integer;
  • the sample data is generated based on the second target detection result of the first point cloud data of each frame.
  • the first generation module 63 is further configured to: in the case that the loop stop condition is not satisfied, based on the second target detection result of the first point cloud data of each frame, the a confidence threshold and the second confidence threshold, from the multi-frame first point cloud data, to determine the second target point cloud data;
  • the cycle stop condition includes at least one of the following:
  • the number of times of obtaining the trained target detection neural network reaches a preset number of times; the preset number of times is an integer multiple of k;
  • the similarity between the first target detection result and the second target detection result of the first point cloud data in each frame is greater than a preset similarity threshold.
  • it also includes a data enhancement processing module 64 for:
  • the first generation module 63 when generating sample data based on the first target point cloud data and the first target detection result of the first target point cloud data, is used for:
  • the first target detection result of the first target point cloud data, the third target point cloud data, and the third target detection result of the third target point cloud data Based on the first target point cloud data, the first target detection result of the first target point cloud data, the third target point cloud data, and the third target detection result of the third target point cloud data, generating the sample data.
  • the data enhancement processing includes at least one of the following:
  • the embodiment of the present disclosure also provides a sample generation device corresponding to the sample generation method. Reference may be made to the implementation of the method, and repeated descriptions will not be repeated.
  • the apparatus includes: a second generation module 71 and a model training module 72 ; wherein,
  • the second generation module 71 is configured to generate sample data by using any of the sample generation methods provided in the embodiments of the present disclosure
  • the model training module 72 is configured to use the sample data to train the target detection neural network to be trained to obtain the trained target detection neural network.
  • the embodiment of the present disclosure also provides a neural network training device corresponding to the neural network training method, because the principle of solving the problem by the device in the embodiment of the present disclosure and the above-mentioned neural network training method in the embodiment of the present disclosure Similar, therefore, the implementation of the apparatus may refer to the implementation of the method, and repeated descriptions will not be repeated.
  • the apparatus includes: a first acquisition module 81 and a processing module 82 ; wherein,
  • the first acquisition module 81 is used to acquire point cloud data to be processed
  • the processing module 82 is configured to process the point cloud data to be processed by using the neural network trained based on any of the neural network training methods provided in the embodiments of the present disclosure to obtain data of the point cloud data to be processed process result.
  • the embodiment of the present disclosure also provides a data processing apparatus corresponding to the data processing method. Reference may be made to the implementation of the method, and repeated descriptions will not be repeated.
  • FIG. 9 is a schematic diagram of a driving control device of an intelligent driving device provided by an embodiment of the present disclosure
  • the device includes: a second acquisition module 91 , a second detection module 92 , and a control module 93 ; wherein,
  • the second acquisition module 91 is configured to acquire point cloud data collected by the intelligent driving device during driving;
  • the second detection module 92 is configured to detect the target object in the point cloud data by using the neural network trained based on any one of the neural network training methods provided in the embodiments of the present disclosure;
  • the control module 93 is configured to control the intelligent driving device based on the detected target object.
  • An embodiment of the present disclosure also provides a computer device. As shown in FIG. 10 , a schematic diagram of the structure of the computer device provided by the embodiment of the present disclosure includes:
  • a processor 10 and a memory 20 stores machine-readable instructions executable by the processor 10, the processor 10 is configured to execute the machine-readable instructions stored in the memory 20, and the machine-readable instructions are executed by the processor 10 When executed, the processor 10 performs the following steps:
  • the first confidence threshold characterizing the existence of the target in the point cloud data
  • the second confidence threshold characterizing the absence of the target in the point cloud data
  • Sample data is generated based on the first target point cloud data and the first target detection result corresponding to the first target point cloud data.
  • the processor 10 performs the following steps:
  • the target detection neural network to be trained is trained, and the trained target detection neural network is obtained.
  • the processor 10 performs the following steps:
  • the neural network trained by any of the neural network training methods provided in the embodiments of the present disclosure processes the point cloud data to be processed to obtain a data processing result of the point cloud data to be processed.
  • the processor 10 performs the following steps:
  • the intelligent driving device is controlled.
  • the above-mentioned memory 20 includes a memory 2021 and an external memory 2022; the memory 2021 here is also called an internal memory, which is used to temporarily store the operation data in the processor 10 and the data exchanged with the external memory 2022 such as the hard disk.
  • the external memory 2022 performs data exchange.
  • Embodiments of the present disclosure further provide a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and when the computer program is run by a processor, the sample generation, neural Network training, data processing, and steps of a driving method for an intelligent driving device.
  • the storage medium may be a volatile or non-volatile computer-readable storage medium.
  • Embodiments of the present disclosure further provide a computer program product, where the computer program product carries program code, and the program code includes instructions that can be used to perform the sample generation and neural network training and training respectively corresponding to the above method embodiments , data processing, and the steps of the driving method of the intelligent driving device, for details, refer to the above method embodiments, which will not be repeated here.
  • the computer program product can be specifically implemented by hardware, software or a combination thereof.
  • the computer program product is embodied as a computer storage medium, and in another optional embodiment, the computer program product is embodied as a software product, such as a software development kit (Software Development Kit, SDK), etc. Wait.
  • the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • each functional unit in each embodiment of the present disclosure may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the functions, if implemented in the form of software functional units and sold or used as stand-alone products, may be stored in a processor-executable non-volatile computer-readable storage medium.
  • the computer software products are stored in a storage medium, including Several instructions are used to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in various embodiments of the present disclosure.
  • the aforementioned storage medium includes: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program codes .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种样本生成、神经网络的训练、数据处理方法及装置，通过对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。这种方法提高了生成的样本数据的可靠性，从而提高了训练后得到的目标检测模型的检测精度。

Description

样本生成、神经网络的训练、数据处理方法及装置
相关申请的交叉引用
本专利申请要求于2020年10月30日提交的、申请号为202011194001.6、发明名称为“样本生成、神经网络的训练、数据处理方法及装置”的中国专利申请的优先权，该申请的全文以引用的方式并入本文中。
技术领域
本公开涉及机器学习技术领域，具体而言，涉及一种样本生成、神经网络的训练、数据处理、智能行驶装置的行驶控制方法、装置、计算机设备及存储介质。
背景技术
目前，目标检测神经网络在例如自动驾驶、机器人搬运等领域有广泛的应用。以自动驾驶为例，利用激光雷达对目标场景进行数据采集后，可以对得到的点云数据进行标注，并利用经过标注的点云数据训练目标检测神经网络；该目标检测神经网络能够用于自动驾驶过程中的障碍物检测。
当前目标检测神经网络在训练时存在检测精度低的问题。
发明内容
本公开实施例至少提供一种样本生成、神经网络的训练、数据处理、智能行驶装置的行驶控制方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种样本生成方法，包括：
对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
这样，可以提高生成的样本数据的可靠性，从而提高了训练后得到的目标检测模型的检测精度。
一种可选的实施方式中，所述第一目标检测结果包括：所述每帧第一点云数据中的目标的置信度；所述第一置信度阈值大于所述第二置信度阈值；
基于所述每帧第一点云数据分别对应的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据，包括：
将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；
将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
这样，利用用于表征第一点云数据中确定存在目标对象的可能程度的第一概率阈值、以及第二概率阈值，可以对第一点云数据进行筛选，忽略部分不能准确确定目标检测结果是否可信的数据，因此可以提高第一目标点云数据的分类准确度。
一种可选的实施方式中，利用预训练的目标检测神经网络对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行迭代训练；在利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行k轮迭代训练之后，得到训练后的目标检测神经网络；k为正整数；
利用所述训练后的目标检测神经网络，确定所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
在满足循环停止条件的情况下，基于每帧第一点云数据的第二目标检测结果，生成所述样本数据。
这样，由于利用第一目标点云数据训练预训练的目标检测神经网络的过程中，得到的训练后的目标检测神经网络学习到第一目标点云数据中的特征，因此，利用训练后的目标检测神经网络再对第一点云数据进行目标检测处理，较之预训练的目标检测神经网络具有更高的准确度。
一种可选的实施方式中，还包括：在不满足循环停止条件的情况下，基于所述每帧第一点云数据的第二目标检测结果、所述第一置信度阈值、以及所述第二置信度阈值，从所述多帧第一点云数据中，确定第二目标点云数据；
将第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第一目标点云数据的新的第一目标检测结果，以及将所述训练后的目标检测神经网络作为预训练的目标检测神经网络，返回至利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练的步骤。
这样，第一点云数据的目标检测结果不断更新，并在更新过程中，不断提升精度，使得最终得到的样本数据具有较高的标注精度。
一种可选的实施方式中，所述循环停止条件包括下述至少一种：
得到所述训练后的目标检测神经网络的次数达到预设次数；所述预设次数为k的整数倍；
每帧第一点云数据的第一目标检测结果和第二目标检测结果之间的相似度，大于预 设的相似度阈值。
一种可选的实施方式中，还包括：
对所述第一目标点云数据进行数据增强处理，生成第三目标点云数据，以及基于所述第一目标点云数据对应的第一目标检测结果，生成所述第三目标点云数据的第三目标检测结果；
所述基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
基于所述第一目标点云数据、所述第一目标点云数据的第一目标检测结果、所述第三目标点云数据、所述第三目标点云数据的第三目标检测结果，生成所述样本数据。
这样，可以避免在第一目标点云数据的数据量较小的情况下，对目标检测神经网络的训练带来的影响；或者，可以使训练得到的目标检测神经网络具有更强的泛化能力。
一种可选的实施方式中，所述数据增强处理，包括下述至少一种：
随机缩放场景处理、随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
第二方面，本公开实施例提供了一种神经网络的训练方法，包括：
利用本发明实施例第一方面或者第一方面的任一一种可选的实施方式中的样本生成方法生成样本数据；
利用所述样本数据，训练待训练的目标检测神经网络，得到训练后的目标检测神经网络。
第三方面，本公开实施例提供了一种数据处理方法，包括：
获取待处理的点云数据；
利用第二方面任一项所述的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
第四方面，本公开实施例提供了一种智能行驶装置的行驶控制方法，包括：
获取智能行驶装置在行驶过程中采集的点云数据；
利用第二方面任一项所述的神经网络的训练方法生成的神经网络，检测所述点云数据中的目标对象；
基于检测的目标对象，控制所述智能行驶装置。
第五方面，本公开实施例还提供一种样本生成装置，包括：
第一检测模块，用于对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
确定模块，用于基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所 述多帧第一点云数据中，确定第一目标点云数据；
第一生成模块，用于基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
第六方面，本公开实施例还提供一种神经网络的训练装置，包括：
第二生成模块，用于利用本公开实施例的第一方面或者第一方面任意一种可选的实施方式所述的样本生成方法生成样本数据；
模型训练模块，用于利用所述样本数据，训练待训练的目标检测神经网络，得到训练后的目标检测神经网络。
第七方面，本公开实施例还提供一种数据处理装置，包括：
第一获取模块，用于获取待处理的点云数据；
处理模块，用于利用基于第二方面任一项所述的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
第八方面，本公开实施例还提供一种智能行驶装置的行驶控制装置，包括：
第二获取模块，用于获取智能行驶装置在行驶过程中采集的点云数据；
第二检测模块，用于利用基于第二方面任一项所述的神经网络的训练方法训练的神经网络，检测所述点云数据中的目标对象；
控制模块，用于基于检测的目标对象，控制所述智能行驶装置。
第九方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面、第二方面、第三方面或第四方面中任一种可能的实施方式中的步骤。
第十方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面、第二方面、第三方面或第四方面中任一种可能的实施方式中的步骤。
关于上述样本生成装置、计算机设备、及计算机可读存储介质的效果描述参见上述样本生成方法的说明；关于上述神经网络的训练装置、计算机设备、及计算机可读存储介质的效果描述参见上述神经网络的训练方法的说明；关于上述数据处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述数据处理方法的说明；关于上述智能行驶装置的行驶装置、计算机设备、及计算机可读存储介质的效果描述参见上述智能行驶装置的行驶方法的说明，这里均不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种样本生成方法的流程图；
图2示出了本公开实施例所提供的一种基于确定的第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果生成样本数据的具体方法的流程图；
图3示出了本公开实施例所提供的一种神经网络的训练方法的流程图；
图4示出了本公开实施例所提供的一种数据处理方法的流程图；
图5示出了本公开实施例所提供的一种智能行驶装置的行驶控制方法的流程图；
图6示出了本公开实施例所提供的一种样本生成装置的示意图；
图7示出了本公开实施例所提供的一种神经网络的训练装置的示意图；
图8示出了本公开实施例所提供的一种数据处理装置的示意图；
图9示出了本公开实施例所提供的一种智能行驶装置的行驶控制装置的示意图；
图10示出了本公开实施例所提供的一种计算机设备结构的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的帧件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，随着自动驾驶领域的不断发展，激光雷达的种类越来越多，然而激光雷达的使用和数据采集并没有一个统一的规范；目前的雷达数据集，大都使用不同种类的雷达获取；除此之外，每个雷达数据集所采集的城市地理，天气情况，行驶车辆的高度等均有差异。以上情况都导致了在一个雷达数据集上训练好的目标检测模型，可能用在另一个数据集上就会有较大的性能下降。因此，对于每一种新的激光雷达，为了得到能够适应新的激光雷达的目标检测模型，需要针对新的激光雷达收集检测数据并对收集的雷达检测数据进行标注，然后采用经过标注的雷达检测数据，训练目标检测模型，造成数据标注的成本过大。为了减少数据标注的成本开支，目前通常利用完成标注的数据， 对未标注的数据进行标注；但是由于已经完成标注的数据和未完成标注的数据之间存在一定的特征差异，导致了利用该种数据标注方法生成的标注，和真实结果之间存在较大的差异，利用这种样本训练得到的目标检测神经网络的精度值较低。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种样本生成方法进行详细介绍，本公开实施例所提供的样本生成方法的执行主体一般为具有一定计算能力的设备，该设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该样本生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的样本生成方法加以说明。
参见图1所示，为本公开实施例提供的一种样本生成方法的流程图，所述样本生成方法包括步骤S101～S103，其中：
S101：对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
S102：基于每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从多帧第一点云数据中，确定第一目标点云数据；
S103：基于第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果，生成样本数据。
本公开实施例在对多帧第一点云数据中的每帧点云数据进行目标检测处理后，利用预先设置的表征第一点云数据中存在目标的第一置信度阈值与表征第一点云数据中不存在目标的第二置信度阈值确定第一目标点云数据，然后利用第一目标点云数据及其对应的第一目标检测结果生成样本数据；在确定第一目标点云数据的过程中选择第一目标检测结果中目标置信度更高(例如更接近1)的第一点云数据，或者选择第一目标检测结果中目标置信度更低(例如，更接近0)的第一点云数据作为第一目标点云数据，而不选择第一目标检测结果中目标置信度更接近于中间值(例如，0与1之间的值)的第一点云数据作为第一目标点云数据，从而提高生成的样本数据的可靠性。
下面对上述S101～S103加以详细说明。
针对上述S101，第一点云数据例如可以是利用雷达、深度相机、彩色相机等中至少一种采集设备对第一目标空间进行采集得到的点云数据。其中，目标空间可能包含的目 标例如有障碍物等。
示例性的，在利用雷达获取目标空间的点云数据时，雷达能够发射探测信号，对目标空间进行探测，并基于探测结果，得到目标空间的第一点云数据。
在利用深度相机获取目标空间的点云数据时，例如可以利用结构光、双目视觉、光飞行时间法等的一种或者多种得到目标空间的深度图像，然后基于该深度图像，得到目标空间的第一点云数据。
在利用彩色相机获取目标空间的点云数据时，彩色相机能够采集目标空间的二维图像；基于二维图像进行三维空间的重构，得到目标空间的第一点云数据。
本公开实施例以利用雷达获取目标空间的第一点云数据进行说明。
在利用预训练的目标神经网络对多帧第一点云数据中的每帧第一点云数据进行目标检测处理的情况下，预训练的目标检测神经网络例如包括贝叶斯神经网络(Bayesian Network，BN)或者人工神经网络(Artificial Neural Network，ANN)。其中，预训练的目标检测神经网络是利用具有标注信息的第二点云数据训练得到的。
在一种可能的实施方式中，可以先获取第二点云数据，获取的第二点云数据通常具有标注信息；此处，获取第二点云数据的雷达，例如可以与获取第一点云数据的雷达不同；其中，可以是雷达参数不同、雷达类型不同、雷达安装位姿不同、雷达应用的区域不同等中至少一种；具体在此不再赘述。标注信息例如可以包括“障碍物”以及“非障碍物”，以及在有障碍物的情况下，障碍物在第二点云数据中的位置信息(如障碍物所对应的标注框在第二点云数据中的坐标)、障碍物尺寸、障碍物类别、以及该类别的可信度分数。
利用预训练的目标检测神经网络得到的第一点云数据的第一目标检测结果中，也包括了：目标在第一点云数据中的坐标、目标尺寸、目标所属的障碍物类别、以及该类别的可信度分数；此处，可信度分数例如可以展现为预测概率的形式。
在确定具有标注信息的第二点云数据的情况下，即可以利用具有标注信息的第二点云数据训练得到预训练的目标检测神经网络。
利用第二点云数据预训练的目标检测神经网络，对第二点云数据具有良好的处理性能；利用预训练的目标检测神经网络对多帧第一点云数据中的每帧第一点云数据进行目标检测处理，得到每帧第一点云数据对应的第一目标检测结果。
针对上述S102，由于预训练的目标检测神经网络是使用具有标注信息的第二点云数据训练得到的，其对于与第二点云数据具有相似特征分布的点云数据具有良好的处理性能；但由于第一点云数据和第二点云数据在特征域上具有一定的差异，因此基于第二点云数据预训练的目标检测网络对第一点云数据进行处理，得到第一点云数据对应的第一目标检测结果时，该第一目标预测结果与第一点云数据对应的真实目标检测结果，具有一定的差异。为了减小该差异，提升基于第一点云数据生成的样本的可信度，要基于本公开S102对第一点云数据进行筛选，从多帧第一点云数据中，确定第一目标点云数据。
在从第一点云数据中筛选第一目标点云数据时，可以通过预先设置的用于表征第一 点云数据中存在目标的第一置信度阈值、以及表征第一点云数据中不存在目标的第二置信度阈值，从多帧第一点云数据中确定分类结果具有更高可信度的第一目标点云数据。其中，第一置信度阈值、以及第二置信度阈值用于表征第一点云数据中确定存在/不存在目标的可能程度；在从第一点云数据中筛选第一目标点云数据的时候，可以选择第一目标检测结果中目标置信度更高(例如更接近1)的第一点云数据，或者选择第一目标检测结果中目标置信度更低(例如，更接近0)的第一点云数据作为第一目标点云数据，而不选择第一目标检测结果中目标置信度更接近于中间值的第一点云数据作为第一目标点云数据，从而提高生成的样本数据的可靠性。
示例性的，第一置信度阈值高于第二置信度阈值，第一置信度阈值例如可以表示为P 1，第二置信度阈值例如可以表示为P 2。
示例性的，可以设置第一置信度阈值P 1为70％、第二置信度阈值P 2为30％，也即认为在第一目标检测结果的置信度低于30％的情况下一定不存在目标，在第一目标检测结果的置信度超过70％的情况下一定存在目标。
此处，上述第一置信度阈值和第二置信度阈值均为举例说明，在设置第一置信度阈值与第二置信度阈值的具体数值时，可以依据经验设置，或者按照对目标检测结果的精度要求确定，具体的可以根据实际情况确定，在此不再赘述。
在确定第一置信度阈值、以及第二置信度阈值的情况下，在从多帧第一点云数据中确定第一目标点云数据时，例如可以采用下述方式：
将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
示例性的，在多帧第一点云数据中包括N(N为大于1的整数)帧第一点云数据的情况下，N帧不同第一点云数据中的目标的置信度，例如可以表示为p i,i∈[1,N]。
以第i帧第一点云数据中的目标的置信度p i为例，置信度p i与第一置信度阈值P 1以及第二置信度阈值P 2进行比对得到的结果包括下述一种：
p i＜P 2、P 2≤p i≤P 1、以及P 1＜p i。
在p i＜P 2的情况下，认为第i帧点云数据中一定不包括目标；在P 1＜p i的情况下，认为第i帧点云数据中一定包括目标；此时，将第i帧点云数据确定为第一目标点云数据。在P 2≤p i≤P 1的情况下，无法较为准确的判断第i帧点云数据中是否存在目标，则将第i帧点云数据确定为缓冲域(即置信度位于第一置信度阈值和第二置信度阈值之间的区域)中的点云数据。
由于第一目标点云数据是忽略了部分不能准确确定目标检测结果是否可信的数据，因此基于第一目标点云数据得到的目标检测结果更加准确。此时，从多帧第一点云数据中筛选得到的多帧第一目标点云数据均能较为准确的确定是否包含目标，因此在基于第一目标点云数据训练目标检测神经网络时，由于为第一目标点云数据生成的第一目标检测结果的可信度均较高，可以排除检测结果的可信度较低的点云数据对目标检测神经网络的负面影响，使得目标检测神经网络具有更高的精度。
针对上述S103，如图2所示，在确定第一目标点云数据的情况下，基于确定的第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果生成样本数据时，例如可以采用下述方式：
S1031：利用第一目标点云数据、以及第一目标点云数据的第一目标检测结果，对预训练的目标检测神经网络进行迭代训练。
S1032：在利用第一目标点云数据、以及第一目标点云数据的第一目标检测结果，对预训练的目标检测神经网络进行k轮迭代训练之后，得到训练后的目标检测神经网络；k为正整数。
S1033：利用训练后的目标检测神经网络，确定多帧第一点云数据中每帧第一点云数据的第二目标检测结果。
S1034：判断是否满足循环停止条件；若是，则跳转至S1037，若否，则跳转至S1035。
S1035：基于每帧第一点云数据的第二目标检测结果、第一置信度阈值、以及第二置信度阈值，从多帧第一点云数据中，确定第二目标点云数据。
S1036：将所述第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第一目标点云数据的新的第一目标检测结果，以及将训练后的目标检测神经网络作为预训练的目标检测神经网络，返回至S1031。
S1037：基于每帧第一点云数据的第二目标检测结果，生成样本数据。
在本公开实施例中，利用了迭代更新以及循环更新两种更新策略来对预训练的神经网络进行训练。在上文对步骤S101的描述中，预训练的目标检测神经网络可以通过具有标注信息的第二点云数据训练获得。由于第二点云数据与第一点云数据可能属于不同的雷达数据集，因此如果直接利用预训练的目标检测神经网络对第一点云数据进行目标检测，则获得的处理结果可能与实际的情况存在偏差。然而，在本公开实施例中，可以先对第一点云数据进行筛选来获得第一目标点云数据，再利用第一目标点云数据对预训练的目标检测神经网络进行训练，在此过程中，训练后的目标检测神经网络可以学习到第一目标点云数据中的特征，因此，利用训练后的目标检测神经网络再对第一点云数据进行目标检测处理，较之预训练的目标检测神经网络具有更高的准确度。
在一个示例中，上述循环停止条件可以包括得到训练后的目标检测神经网络的次数达到预设次数。在上述步骤S1032中，每进行一次迭代训练，得到训练后的目标检测神经网络的次数可以增加1。该预设次数例如为5次、7次、及10次。在预设次数较小的情况下，迭代次数较少，可以在允许的误差范围内较快的训练得到目标检测神经网络；在预设次数较大的情况下，可以确定更为准确的目标检测神经网络进行目标检测。
在一个示例中，上述循环停止条件可以包括预设次数为k的整数倍，预设次数例如为N×k次，其中，N为正整数。示例性的，在希望多帧第一点云数据中每帧第一点云数据对应的目标检测结果的可信度更高的情况下，可以将N设置为较大的正整数，例如为5或者6；在希望更快得到目标检测神经网络的情况下，也即减少对预训练的目标检测神经网络的训练时间以提高效率的情况下，可以将N设置为较小的正整数，例如 为2或者3。
具体的预设次数可以按照实际情况进行确定，在此不再赘述。
在一个示例中，上述循环停止条件可以包括：每帧第一点云数据的第一目标检测结果和第二目标检测结果之间的相似度，大于预设的相似度阈值。
经过上述多轮迭代的过程，最终使得第一点云数据的目标检测结果不断进行更新，并在更新过程中，不断提升精度，使得最终得到的样本数据具有较高的标注精度。
在利用第二目标检测结果不断更新第一目标点云数据的情况下，由于第二目标检测结果相较于最近一次得到的第一目标检测结果更为准确，因此利用第二目标点云数据与第一置信度阈值、以及第二置信度阈值进行比对后，得到的新的第一目标点云数据的数据量可能会增多，使得在下一次训练目标检测神经网络时有更丰富的训练样本；或者，在利用第一置信度阈值、以及第二置信度阈值确定第一目标点云数据时，目标的置信度位于第一置信度阈值及第二置信度阈值之间的第一目标检测结果的数量减少，也即利用第一目标检测结果确定第一点云数据中的对应位置是否有目标时的可信度更高。
在一种可能的实施方式中，在例如第一目标点云数据的数据量较小的情况下，或者希望训练得到的目标检测神经网络具有更强的泛化能力的情况下，本公开实施例提供的样本生成方法中，还可以对第一目标点云数据进行数据增强处理，生成第三目标点云数据，以及基于第一点云数据对应的第一目标检测结果，生成第三目标点云数据的第三目标检测结果。
其中，数据增强处理包括下述至少一种：随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
以利用随机旋转场景处理方法作为数据增强处理方法为例对生成样本数据的情况进行说明：
随机旋转场景处理例如包括对第一目标点云数据中部分点云数据对应的坐标轴进行旋转，并基于旋转后得到的坐标轴确定此部分点云点对应的新坐标值，利用新坐标值更新第一目标点云数据确定第三目标点云数据。
此时，由于仅对第一目标点云数据中的部分点云数据的坐标值做出了改变，并不影响第一点云数据中是否存在目标的实际情况，因此相应的对第一目标点云数据的第一目标检测结果进行调整，生成第三目标点云数据的第三目标检测结果。
利用其他数据增强方法生成样本数据的方法与上述利用随机旋转场景处理方法生成样本数据的方法相似，在此不再赘述。
在基于第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果，生成样本数据时，例如可以采用下述方式：
基于第一目标点云数据、第一目标点云数据对应的第一目标检测结果、第三目标点云数据、第三目标点云数据对应的第三目标检测结果，生成样本数据。
其中，利用第一目标点云数据、第一目标点云数据对应的第一目标检测结果、第三目标点云数据、第二目标点云数据对应的第三目标检测结果，生成样本数据的具体 方式，例如可以包括：
利用所述第一目标点云数据、所述第一目标点云数据对应的第一目标检测结果、第三目标点云数据、以及第三目标点云数据对应的第三目标检测结果，训练所述预训练的目标检测神经网络，得到训练后的目标检测神经网络；
利用所述训练后的目标检测神经网络，获取所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
在满足循环停止条件的情况下，基于所述多帧第一点云数据分别对应的所述第二目标检测结果，生成所述样本数据；或者，基于所述多帧第一点云数据分别对应的所述第二目标检测结果、以及多帧第三目标点云数据分别对应的第三目标检测结果，生成样本数据。
具体的实现过程与上述图2对应的实施例类似，在此不再赘述。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的神经网络的训练方法。
参见图3所示，为本公开实施例提供的一种神经网络的训练方法的流程图，训练方法包括步骤S301～S304，其中：
S301：对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
S302：基于每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从多帧第一点云数据中，确定第一目标点云数据；
S303：基于第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果，生成样本数据；
S304：利用样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
在具体实施中，目标检测神经网络可以与上述样本生成方法中的预训练的目标检测神经网络相同，或者，重新选取一个目标检测神经网络进行训练。同样的，在重新选取一个目标检测神经网络的情况下，目标检测神经网络例如可以包括贝叶斯神经网络(Bayesian Network，BN)或者人工神经网络(Artificial Neural Network，ANN)，此处，重新确定的待训练的目标检测神经网络的结构，与预训练的目标检测神经网络的结构相同，初始参数不同。
利用样本数据，可以对待训练的目标检测神经网络进行训练，以得到目标检测神经网络。其中，上述S301～S303对应的生成样本数据的具体方法与上述S101～S103对应的样本生成方法相似，在此不再赘述。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的数据处理方法。
参见图4所示，为本公开实施例提供的一种数据处理方法的流程图，数据处理方法包括步骤S5～S402，其中：
S401：获取待处理的点云数据；
S402：利用本公开实施例提供的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
其中，待处理的点云数据例如可以包括第一点云数据，或者不具有标注信息的点云数据。具体获取待处理的点云数据的方法与上述S101中获取第一点云数据的方法相似，在此不再赘述。
在利用确定的目标检测神经网络即可以对待处理的点云数据进行处理的情况下，得到的待处理的点云数据的数据处理结果例如可以包括与待处理的点云数据对应的目标检测结果，也即为待处理的点云数据确定对应位置是否包含目标对象的标注信息。
此时，由于得到的目标检测神经网络在对任一点云数据进行目标检测时得到的目标检测结果准确性更高，因此利用目标检测神经网络对待处理的点云数据进行目标检测处理后得到的数据处理结果的准确性更高。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的智能行驶装置的行驶控制方法。
参见图5所示，为本公开实施例提供的一种智能行驶装置的行驶控制方法的流程图，智能行驶装置的行驶方法包括步骤S501～S503，其中：
S501：获取智能行驶装置在行驶过程中采集的点云数据；
S502：利用本公开实施例提供的神经网络的训练方法训练的神经网络，检测点云数据中的目标对象；
S503：基于检测的目标对象，控制智能行驶装置。
在具体实施中，行驶装置例如但不限于下述任一种：自动驾驶车辆、装有高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)的车辆、或者机器人等。
控制行驶装置，例如包括控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
在将表征对应位置存在障碍物的点云数据作为目标对象的情况下，可以基于目标对象确定目标空间中障碍物的具体位置，从而控制智能行驶装置避开目标空间中的障碍物行进；在将表征对应位置不存在障碍物的点云数据作为目标对象的情况下，可以基于目标对象确定目标空间中可以行驶的道路的具体位置，从而控制智能行驶装置在可以行驶的道路的范围内行驶。
由于利用本公开实施例提供的神经网络的训练方法得到的目标检测神经网络具有更高的精度，因此在利用该神经网络的训练方法得到的目标检测神经网络对待处理的点云数据进行目标检测时，得到的目标检测结果准确性更高，从而在判断目标空间中是否存在障碍物时有更准确的判断结果，使得在控制智能行驶装置行驶时避障的能力更强， 安全性更高。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的样本生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述样本生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图6所示，为本公开实施例提供的一种样本生成装置的示意图，所述装置包括：第一检测模块61、确定模块62、第一生成模块63；其中，
第一检测模块61，用于对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
确定模块62，用于基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
第一生成模块63，用于基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
一种可选的实施方式中，所述第一目标检测结果包括：所述每帧第一点云数据中的目标的置信度；所述第一置信度阈值大于所述第二置信度阈值；
所述确定模块62在基于所述每帧第一点云数据分别对应的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据时，用于：
将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；
将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
一种可选的实施方式中，所述第一检测模块61利用预训练的目标检测神经网络对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，所述第一生成模块63在基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据时，用于：
利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行迭代训练；在利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行k轮迭代训练之后，得到训练后的目标检测神经网络；k为正整数；
利用所述训练后的目标检测神经网络，确定所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
在满足循环停止条件的情况下，基于每帧第一点云数据的第二目标检测结果，生成所述样本数据。
一种可选的实施方式中，所述第一生成模块63还用于：在不满足循环停止条件的情况下，基于所述每帧第一点云数据的第二目标检测结果、所述第一置信度阈值、以及所述第二置信度阈值，从所述多帧第一点云数据中，确定第二目标点云数据；
将第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第一目标点云数据的新的第一目标检测结果，以及将所述训练后的目标检测神经网络作为预训练的目标检测神经网络，返回至利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练的步骤。
一种可选的实施方式中，所述循环停止条件包括下述至少一种：
得到所述训练后的目标检测神经网络的次数达到预设次数；所述预设次数为k的整数倍；
每帧第一点云数据的第一目标检测结果和第二目标检测结果之间的相似度，大于预设的相似度阈值。
一种可选的实施方式中，还包括数据增强处理模块64，用于：
对所述第一目标点云数据进行数据增强处理，生成第三目标点云数据，以及基于所述第一目标点云数据对应的第一目标检测结果，生成所述第三目标点云数据的第三目标检测结果；
所述第一生成模块63在基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据时，用于：
基于所述第一目标点云数据、所述第一目标点云数据的第一目标检测结果、所述第三目标点云数据、所述第三目标点云数据的第三目标检测结果，生成所述样本数据。
一种可选的实施方式中，所述数据增强处理，包括下述至少一种：
随机缩放场景处理、随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的样本生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述样本生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种神经网络的训练装置的示意图，所述装置包括：第二生成模块71、模型训练模块72；其中，
第二生成模块71，用于利用本公开实施例提供的任一种样本生成方法生成样本数据；
模型训练模块72，用于利用所述样本数据，训练待训练的目标检测神经网络，得到训练后的目标检测神经网络。
基于同一发明构思，本公开实施例中还提供了与神经网络的训练方法对应的神经网络的训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络的训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例提供的一种数据处理装置的示意图，所述装置包括：第一获取模块81、处理模块82；其中，
第一获取模块81，用于获取待处理的点云数据；
处理模块82，用于利用基于本公开实施例提供的任一种神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一发明构思，本公开实施例中还提供了与数据处理方法对应的数据处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图9所示，为本公开实施例提供的一种智能行驶装置的行驶控制装置的示意图，所述装置包括：第二获取模块91、第二检测模块92、控制模块93；其中，
第二获取模块91，用于获取智能行驶装置在行驶过程中采集的点云数据；
第二检测模块92，用于利用基于本公开实施例提供的任一种神经网络的训练方法训练的神经网络，检测所述点云数据中的目标对象；
控制模块93，用于基于检测的目标对象，控制所述智能行驶装置。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图10所示，为本公开实施例提供的计算机设备结构的示意图，包括：
处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：
对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测 结果，生成样本数据。
或者，处理器10执行下述步骤：
利用本公开实施例提供的任一种样本生成方法生成样本数据；
利用样本数据，训练待训练的目标检测神经网络，得到训练后的目标检测神经网络。
或者，处理器10执行下述步骤：
获取待处理的点云数据；
利用本公开实施例提供的任一种神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
或者，处理器10执行下述步骤：
获取智能行驶装置在行驶过程中采集的点云数据；
利用本公开实施例提供的任一种神经网络的训练方法生成的神经网络，检测所述点云数据中的目标对象；
基于检测的目标对象，控制所述智能行驶装置。
上述存储器20包括内存2021和外部存储器2022；这里的内存2021也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器2022交换的数据，处理器10通过内存2021与外部存储器2022进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中分别对应的所述的样本生成、神经网络的训练、数据处理、智能行驶装置的行驶方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中分别对应的所述的样本生成、神经网络的训练、数据处理、智能行驶装置的行驶方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中分别对应的所述的样本生成、神经网络的训练训练、数据处理、智能行驶装置的行驶方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅 仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (16)

  1. 一种样本生成方法，其特征在于，包括：
    对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
    基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
    基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
  2. 根据权利要求1所述的样本生成方法，其特征在于，所述第一目标检测结果包括：所述每帧第一点云数据中的目标的置信度；所述第一置信度阈值大于所述第二置信度阈值；
    基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据，包括：
    将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；
    将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
  3. 根据权利要求1所述的样本生成方法，其特征在于，利用预训练的目标检测神经网络对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，
    基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
    利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行迭代训练；在利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行k轮迭代训练之后，得到训练后的目标检测神经网络；k为正整数；
    利用所述训练后的目标检测神经网络，确定所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
    在满足循环停止条件的情况下，基于每帧第一点云数据的第二目标检测结果，生成所述样本数据。
  4. 根据权利要求3所述的样本生成方法，其特征在于，还包括：在不满足循环停止条件的情况下，基于所述每帧第一点云数据的第二目标检测结果、所述第一置信度阈值、以及所述第二置信度阈值，从所述多帧第一点云数据中，确定第二目标点云数据；
    将第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第一目标点云数据的新的第一目标检测结果，以及将所述训练后的目标检测神经网络作为所述预训练的目标检测神经网络，返回至利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经 网络进行迭代训练的步骤。
  5. 根据权利要求3或4所述的样本生成方法，其特征在于，所述循环停止条件包括下述至少一种：
    得到所述训练后的目标检测神经网络的次数达到预设次数；所述预设次数为k的整数倍；
    每帧第一点云数据的第一目标检测结果和第二目标检测结果之间的相似度，大于预设的相似度阈值。
  6. 根据权利要求1-5任一项所述的样本生成方法，其特征在于，还包括：
    对所述第一目标点云数据进行数据增强处理，生成第三目标点云数据，以及基于所述第一目标点云数据对应的第一目标检测结果，生成所述第三目标点云数据的第三目标检测结果；
    所述基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
    基于所述第一目标点云数据、所述第一目标点云数据的第一目标检测结果、所述第三目标点云数据、所述第三目标点云数据的第三目标检测结果，生成所述样本数据。
  7. 根据权利要求6所述的样本生成方法，其特征在于，所述数据增强处理，包括下述至少一种：
    随机缩放场景处理、随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
  8. 一种神经网络的训练方法，其特征在于，包括：
    利用权利要求1-7任一项所述的样本生成方法生成样本数据；
    利用所述样本数据，训练待训练的目标检测神经网络，得到训练后的目标检测神经网络。
  9. 一种数据处理方法，其特征在于，包括：
    获取待处理的点云数据；
    利用基于权利要求8所述的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行目标检测，得到目标检测结果。
  10. 一种智能行驶装置的行驶控制方法，其特征在于，包括：
    获取智能行驶装置在行驶过程中采集的点云数据；
    利用基于权利要求8所述的神经网络的训练方法训练的神经网络，检测所述点云数据中的目标对象；
    基于检测的目标对象，控制所述智能行驶装置。
  11. 一种样本生成装置，其特征在于，包括：
    第一检测模块，用于对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
    确定模块，用于基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
    第一生成模块，用于基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
  12. 一种神经网络的训练装置，其特征在于，包括：
    第二生成模块，用于利用权利要求1-7任一项所述的样本生成方法生成样本数据；
    模型训练模块，用于利用所述样本数据，训练待训练的目标检测神经网络，得到训练后的目标检测神经网络。
  13. 一种数据处理装置，其特征在于，包括：
    第一获取模块，用于获取待处理的点云数据；
    处理模块，用于利用基于权利要求8所述的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
  14. 一种智能行驶装置的行驶控制装置，其特征在于，包括：
    第二获取模块，用于获取智能行驶装置在行驶过程中采集的点云数据；
    第二检测模块，用于利用基于权利要求8所述的神经网络的训练方法训练的神经网络，检测所述点云数据中的目标对象；
    控制模块，用于基于检测的目标对象，控制所述智能行驶装置。
  15. 一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的样本生成方法的步骤；或者权利要求8所述的神经网络的训练方法的步骤；或者权利要求9所述的数据处理方法的步骤；或者权利要求10所述的智能行驶装置的行驶控制方法的步骤。
  16. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任一项所述的样本生成方法的步骤；或者权利要求8所述的神经网络的训练方法的步骤；或者权利要求9所述的数据处理方法的步骤；或者权利要求10所述的智能行驶装置的行驶控制方法的步骤。
PCT/CN2021/102678 2020-10-30 2021-06-28 样本生成、神经网络的训练、数据处理方法及装置 WO2022088720A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022514192A JP2023502834A (ja) 2020-10-30 2021-06-28 サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置
KR1020227007014A KR20220058900A (ko) 2020-10-30 2021-06-28 샘플 생성, 신경망의 트레이닝, 데이터 처리 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011194001.6 2020-10-30
CN202011194001.6A CN112163643A (zh) 2020-10-30 2020-10-30 样本生成、神经网络的训练、数据处理方法及装置

Publications (1)

Publication Number Publication Date
WO2022088720A1 true WO2022088720A1 (zh) 2022-05-05

Family

ID=73866303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/102678 WO2022088720A1 (zh) 2020-10-30 2021-06-28 样本生成、神经网络的训练、数据处理方法及装置

Country Status (4)

Country Link
JP (1) JP2023502834A (zh)
KR (1) KR20220058900A (zh)
CN (1) CN112163643A (zh)
WO (1) WO2022088720A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994589A (zh) * 2023-03-23 2023-04-21 北京易控智驾科技有限公司 训练方法和装置、目标检测方法、电子设备和存储介质
CN116721399A (zh) * 2023-07-26 2023-09-08 之江实验室 一种量化感知训练的点云目标检测方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置
CN112950622B (zh) * 2021-03-29 2023-04-18 上海商汤临港智能科技有限公司 一种目标检测方法、装置、计算机设备和存储介质
CN112990200A (zh) * 2021-03-31 2021-06-18 上海商汤临港智能科技有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN114488072A (zh) * 2021-06-09 2022-05-13 深圳市速腾聚创科技有限公司 障碍物检测方法、装置及存储介质
US11624831B2 (en) 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919302B (zh) * 2019-02-28 2021-11-02 新华三技术有限公司 一种用于图像的神经网络的训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994589A (zh) * 2023-03-23 2023-04-21 北京易控智驾科技有限公司 训练方法和装置、目标检测方法、电子设备和存储介质
CN115994589B (zh) * 2023-03-23 2023-05-23 北京易控智驾科技有限公司 训练方法和装置、目标检测方法、电子设备和存储介质
CN116721399A (zh) * 2023-07-26 2023-09-08 之江实验室 一种量化感知训练的点云目标检测方法及装置
CN116721399B (zh) * 2023-07-26 2023-11-14 之江实验室 一种量化感知训练的点云目标检测方法及装置

Also Published As

Publication number Publication date
CN112163643A (zh) 2021-01-01
JP2023502834A (ja) 2023-01-26
KR20220058900A (ko) 2022-05-10

Similar Documents

Publication Publication Date Title
WO2022088720A1 (zh) 样本生成、神经网络的训练、数据处理方法及装置
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
US10885352B2 (en) Method, apparatus, and device for determining lane line on road
EP4148622A1 (en) Neural network training method, image classification system, and related device
CN108288088B (zh) 一种基于端到端全卷积神经网络的场景文本检测方法
US20220114759A1 (en) Target detection method, electronic device and medium
CN107851191B (zh) 用于图像中的对象检测的基于上下文的先验
US20220058818A1 (en) Object-centric three-dimensional auto labeling of point cloud data
US20140241617A1 (en) Camera/object pose from predicted coordinates
Lu et al. Learning transform-aware attentive network for object tracking
WO2023050810A1 (zh) 一种目标检测的方法、装置、电子设备及存储介质、计算机程序产品
CN111027576A (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
WO2021238586A1 (zh) 一种训练方法、装置、设备以及计算机可读存储介质
WO2022000469A1 (en) Method and apparatus for 3d object detection and segmentation based on stereo vision
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
US20200005444A1 (en) Systems and methods of feature correspondence analysis
Zhang et al. MixedFusion: An efficient multimodal data fusion framework for 3-D object detection and tracking
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
Zhu et al. Deep Neural Network Based Object Detection Algorithm With optimized Detection Head for Small Targets
Chai et al. 3D gesture recognition method based on faster R-CNN network
Li Global face pose detection based on an improved PSO-SVM method
Dulian et al. Exploiting latent representation of sparse semantic layers for improved short-term motion prediction with Capsule Networks
Zhou et al. Vision sensor‐based SLAM problem for small UAVs in dynamic indoor environments
Wang et al. Research on Vehicle Object Detection Based on Deep Learning
Kozel et al. Real-Time Traffic Light Identification using YOLOv3 Algorithm For Autonomous Vehicles

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022514192

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21884461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.10.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21884461

Country of ref document: EP

Kind code of ref document: A1