WO2025200340A1 - 多任务网络训练方法及电子设备 - Google Patents

多任务网络训练方法及电子设备

Info

Publication number
WO2025200340A1
WO2025200340A1 PCT/CN2024/120200 CN2024120200W WO2025200340A1 WO 2025200340 A1 WO2025200340 A1 WO 2025200340A1 CN 2024120200 W CN2024120200 W CN 2024120200W WO 2025200340 A1 WO2025200340 A1 WO 2025200340A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
prediction result
comprehensive
interaction parameter
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/120200
Other languages
English (en)
French (fr)
Inventor
杨晓慧
余萌
巢中迪
杨臻
李锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Publication of WO2025200340A1 publication Critical patent/WO2025200340A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Definitions

  • the embodiments of the present application relate to, but are not limited to, the field of image processing technology, and in particular to a multi-task network training method and electronic device.
  • a multi-task loss function is determined according to the target detection prediction result and the semantic segmentation prediction result, and the training of the multi-task network is optimized based on the multi-task loss function.
  • FIG2 is a system architecture diagram of a network training system provided by an embodiment of the present application.
  • FIG9 is a schematic structural diagram of an electronic device proposed in an embodiment of the present application.
  • references herein to "embodiments” mean that a particular feature, structure, or characteristic described in connection with the embodiments may be included in at least one embodiment of the present application.
  • the appearance of this phrase in various places in the specification does not necessarily refer to the same embodiment, nor does it constitute an independent or alternative embodiment that is mutually exclusive of other embodiments. It is understood, both explicitly and implicitly, by those skilled in the art that the embodiments described herein may be combined with other embodiments.
  • the autonomous driving system 10 includes an environment perception and positioning module 101, a decision-making and planning module 102, and an execution control module 103.
  • the environment perception and positioning module 101 also includes a training module 1011.
  • the environment perception and positioning module 101 is mainly used for environment perception and positioning services, mainly through sensor technology, camera, GPS positioning and other technologies to obtain the environment during the vehicle's driving process.
  • the decision-making planning module 102 mainly judges and guides the next behavior of the vehicle through the collected data
  • the execution control module 103 mainly controls the throttle, brake and other related systems of the vehicle through signal instructions according to the decision
  • the training module 1011 may include a network training system, which is mainly used to optimize the multi-task network for target detection and semantic segmentation, so that the final prediction effect of the multi-task network is close to the true value of the manual annotation, so as to better perceive the environment around the vehicle and provide accurate guidance information for the subsequent decision-making and execution of the automatic driving system 10.
  • Figure 2 is a system architecture diagram of a network training system provided by an embodiment of the present application.
  • the network training system 20 includes a data category balancing module 201, an information interaction module 202, and a loss weight module 203, wherein the network training system 20 is the main system in the autonomous driving system architecture, and provides guidance for subsequent autonomous driving decision-making and control through the prediction results of the multi-task network in the network training system 20.
  • the image category is replicated and the category is balanced sampled by the data category balancing module 201, so as to improve the generalization ability of the multi-task model for small sample categories in target detection and semantic segmentation tasks, so as to enhance the flexibility of the multi-task model;
  • the complete interaction from feature to output is carried out by the information interaction module 202, so as to realize the function of multi-task information interaction;
  • the conditional probability of the network prediction output is modeled by the loss weight module 203, and the uncertainty of each subtask is calculated, so as to dynamically allocate training weights to the subtasks, so that the multi-task training process converges faster.
  • the network training system 20 it is flexible to adapt to the situation of misaligned subtask labeling categories and incomplete data labeling, and fully utilize the existing data to train the entire network, so as to enable the multi-task network to achieve better recognition performance in the absence of data labeling.
  • Figure 3 is a flow chart of a multi-task network training method provided by an embodiment of the present application. The method includes the following steps.
  • S310 Acquire a data training set, where the data training set includes multiple images.
  • Figure 4 is a flow chart of a method for obtaining a data training set provided in an embodiment of the present application.
  • the specific steps include:
  • S420 Determine the number of detections for each category according to the category set.
  • S430 Count the categories of all images in the data set and the number of detections corresponding to the categories to obtain data category distribution.
  • the steps S410-S420 are looped to count the number of categories in all pictures in the entire data set, and the data category distribution of the entire data set under multi-task is accumulated, where the data category distribution can be: ⁇ category: total number ⁇ .
  • the total number of the largest category is used as a benchmark.
  • the ratio of the total number of remaining categories in the dataset to the total number of the largest category is calculated.
  • the sample sets of the other categories are then expanded based on these ratios to obtain an expanded dataset.
  • the largest category is motor vehicles, which has a total number of 90.
  • a semantic segmentation prediction result for reference can be determined based on the comprehensive features, and then the categories of the target detection prediction results are selected from the categories of the semantic segmentation prediction results for reference, and then these identical categories are padded by 1 to reach the same dimension as the number of categories of the semantic segmentation prediction results for reference, to obtain a new target detection prediction result, and then the semantic segmentation prediction results for reference are weighted by dot product based on the new target detection prediction result to obtain the final semantic segmentation prediction result.
  • the multi-task can include multiple sub-tasks.
  • it can include two sub-tasks, namely the target detection sub-task and the semantic segmentation sub-task.
  • the uncertainty caused by other tasks is ⁇ i .
  • the classification task assuming that p(y i
  • the loss of the subtask can also be adaptively calculated according to the following loss function formula.
  • Li is the loss value of the subtask
  • the loss function calculation formula for subtask Ti is Softmax for classification subtasks and mean square error (MSE) for regression subtasks.
  • MSE calculates the average of the squared errors between the predicted values and the true values. A smaller MSE value indicates that the model's predictions are closer to the true values.
  • MSE can be used in supervised learning, such as linear regression, polynomial regression, and neural networks. In neural networks, MSE is often used for regression problems, such as predicting house prices and stock prices. By optimizing the MSE loss function, the model's parameters can be adjusted to minimize the error between the predicted values and the true values, thereby improving the model's performance.
  • each category contained in each image in the initially acquired vehicle-related image set can be counted based on the segmentation annotations.
  • the categories contained in each image are then counted.
  • the number of categories of all images in the initial image set is counted and accumulated to obtain the image category distribution under multiple tasks.
  • the data category distribution can be: ⁇ category: total number ⁇ . Exemplary data category distributions may include: ⁇ pedestrians: 47 ⁇ , ⁇ motor vehicles: 58 ⁇ , ⁇ warning posts: 20 ⁇ , ⁇ cones: 18 ⁇ , ⁇ animals: 10 ⁇ , etc.
  • the total number of the largest category is used as a benchmark.
  • the ratio of the total number of the remaining categories in the dataset to the total number of the largest category is calculated.
  • the image set is then expanded based on these ratios, so that the total number of the remaining categories is equal to the total number of the largest category.
  • the largest category is pedestrians.
  • This expanded vehicle-related image set is then subjected to class-balanced sampling, ensuring that each category uses an equal number of samples.
  • the correlation between the data annotations of semantic segmentation and target detection is combined, and the situation of misalignment of data volume and category types between semantic segmentation and target detection is also compatible, which can effectively generate a relatively category-balanced training data set, thereby achieving the purpose of improving the generalization ability of the multi-task model for small sample categories in semantic segmentation and target detection;
  • the annotation categories of semantic segmentation and target detection can be flexibly configured according to application requirements, and the annotation amount between the two subtasks can also be different, which greatly reduces the requirements for data annotation.
  • the multiple feature vectors include a first feature vector and a second feature vector
  • the multiple detection-related feature vectors include a first detection-related feature vector and a second detection-related feature vector
  • determining the comprehensive feature based on the first feature and the second feature includes: mapping the first detection-related feature vector to a segmentation feature space to generate a first interaction parameter and a second interaction parameter, the segmentation feature space being used to characterize a set space composed of multiple segmentation-related feature vectors obtained by feature extraction of the multiple feature vectors at different scales; performing feature fusion based on the first interaction parameter, the second interaction parameter and the first feature vector to obtain a first comprehensive feature; fusing the first comprehensive feature and the second feature vector to generate a new second feature vector; mapping the second detection-related feature vector to the segmentation feature space to generate a third interaction parameter and a fourth interaction parameter; performing feature fusion based on the third interaction parameter, the fourth interaction parameter and the new second feature vector to obtain a second comprehensive feature, and determining the second comprehensive feature as the comprehensive
  • the feature vector f1 at the m1 scale and the feature vector f2 at the m2 scale in the first feature can be obtained, and then the detection-related feature vector d1 is extracted from the f1 feature vector at the m1 scale; the detection-related feature vector d1 is mapped to the segmentation feature space through mapping, and two interaction parameter vectors a1 and b1 at the m1 scale are generated respectively, where a1 and b1 are obtained by the same feature mapping, and the f1 feature vector at the m1 scale and the interaction parameter vectors a1 and b1 are weighted multiple times to obtain the fused comprehensive feature vector c1 at the m1 scale.
  • the feature vector X is first weighted with the incoming interaction parameter vector A before the convolution layer, which can be understood as providing guidance for the semantic segmentation prediction result based on the target detection prediction result, and pre-pointing out which channels' information is more effective.
  • Feature extraction is performed on the weighted feature X' to obtain a new feature vector F; wherein, feature extraction of the weighted feature X' is performed through the convolution layer, and examples thereof may be vehicle texture features and vehicle color features in vehicle-related images.
  • the new feature vector F is weighted with the incoming interaction parameter vector B, yielding a new weighted feature vector F'.
  • the interaction parameter vector B can be another interaction parameter, different from A, obtained by mapping the detection-related feature vectors to the segmentation feature space.
  • the weighting of the new feature vector F and the incoming interaction parameter vector B occurs after the convolutional layer, which can be understood as aligning the object detection features with the semantic segmentation features along the channel dimension.
  • the weighted new feature vector F' is passed through a batch normalization layer and an activation function, outputting a feature vector Y. Applying a batch normalization layer before the activation function improves output accuracy and produces a more stable distribution.
  • Batch normalization is a commonly used neural network optimization technique used to accelerate neural network training and improve model generalization. It normalizes the intermediate layers of a neural network to stabilize the mean and variance of the input data, thereby reducing internal covariate shift within the network.
  • An activation function is a nonlinear function commonly used in neural networks to perform nonlinear transformations on neuron outputs, thereby increasing the network's expressive power and fitting capabilities.
  • the main function of an activation function is to map the output of a neuron into a nonlinear space, enabling the neural network to better handle complex nonlinear problems.
  • the output value processed by the activation function can be used to represent the excitation level of the neuron.
  • Activation functions are typically applied to the hidden and output layers of a neural network. Common activation functions include the Sigmoid function, the ReLU function, the Tanh function, and the Softmax function.
  • the detection-related feature vector d2 is extracted from the feature vector f2 at the m2 scale, and the detection-related feature vector d2 is mapped to the segmentation feature space through mapping, and two interaction parameter vectors a2 and b2 at the m2 scale are generated respectively, where a2 and b2 are obtained by the same feature mapping.
  • the comprehensive feature vector c1 at the m1 scale is taken, and c1 is expanded to the same dimension as the feature vector f2 through upsampling operation.
  • Each element in c1 and f2 is added element by element to generate a new feature after multi-scale fusion.
  • Vector f'2; the new feature vector f'2, the interaction parameter vectors a2 and b2 are weighted multiple times to obtain the fused comprehensive feature vector c2 at the m2 scale, and the comprehensive feature vector c2 can be determined as the comprehensive feature.
  • the multiple feature vectors also include a third feature vector
  • the multiple detection-related feature vectors also include a third detection-related feature vector.
  • the method also includes: fusing the second comprehensive feature and the third feature vector to generate a new third feature vector; mapping the third detection-related feature vector to the segmentation feature space to generate a fifth interaction parameter and a sixth interaction parameter; performing feature fusion based on the fifth interaction parameter, the sixth interaction parameter and the new third feature vector to obtain a third comprehensive feature, and determining the third comprehensive feature as the comprehensive feature.
  • the exemplary feature vector f1 at the m1 scale, the feature vector f2 at the m2 scale, and the feature vector f3 at the m3 scale can be obtained in the first feature.
  • the feature vector f3 at the m3 scale is extracted to detect the relevant feature vector d3, and the detection-related feature vector d3 is mapped to the segmentation feature space through mapping, and two interaction parameter vectors a3 and b3 at the m3 scale are generated respectively, where a3 and b3 are obtained by the same feature mapping, and then the comprehensive feature vector c2 at the m2 scale is taken, and the detection-related feature vector d3 is mapped to the segmentation feature space through upsampling operation.
  • the feature fusion is performed based on the first interaction parameter, the second interaction parameter and the first eigenvector to obtain the first comprehensive feature, including: determining a new first eigenvector based on the weight of the first interaction parameter and the weight of the first eigenvector, the weight of the first interaction parameter and the weight of the first eigenvector being obtained by respectively calculating based on different parts of the first interaction parameter and the first eigenvector; performing feature extraction on the new first eigenvector to obtain a fourth eigenvector; determining a new fourth eigenvector based on the weight of the second interaction parameter and the weight of the fourth eigenvector, the weight of the second interaction parameter and the weight of the fourth eigenvector being obtained by respectively calculating based on different parts of the second interaction parameter and the fourth eigenvector, and the first comprehensive feature is determined based on the new fourth eigenvector.
  • the weights of the above-mentioned interaction parameters and feature vectors are calculated through the attention mechanism, and different weights are assigned according to different parts of the input data to control the degree of attention of the multi-task network to different parts, thereby focusing the attention of the multi-task network on the key parts of the input data and improving the representation and generalization capabilities of the multi-task network.
  • the weight of the feature vector M and the weight of the interaction parameter vector N are calculated through the attention mechanism, and the above weights are weighted to obtain the weighted feature M'; image feature extraction is performed on the weighted feature M' to obtain a new feature vector O; the weight of the new feature vector O and the weight of the interaction parameter vector P are calculated through the attention mechanism, and the above weights are weighted to obtain a weighted new feature vector O'; the weighted new feature vector O' is passed through the batch normalization layer and the activation function in sequence to obtain the first comprehensive feature.
  • determining the semantic segmentation prediction result based on the comprehensive features and the target detection prediction result includes: determining a first semantic segmentation prediction result based on the comprehensive features; determining a second category in the target detection prediction result that is the same as the first category in the first semantic segmentation prediction result; dimensionally aligning the second category based on the first category so that the number of the second categories is the same as the number of the first categories, to obtain a new target detection prediction result; determining a second semantic segmentation prediction result based on the new target detection prediction result and the first semantic segmentation prediction result, and determining the second semantic segmentation prediction result as the semantic segmentation prediction result.
  • a semantic segmentation prediction result for reference can be determined based on the comprehensive features, and then the categories in the target detection prediction result are selected from the categories in the semantic segmentation prediction result for reference, and then these identical categories are padded by 1 to reach the same dimension as the number of categories in the semantic segmentation prediction result for reference, to obtain a new target detection prediction result, and then the semantic segmentation prediction result for reference is weighted by dot product based on the new target detection prediction result to obtain the final semantic segmentation prediction result.
  • An example of the padded by 1 method is that the detection outputs 3 categories, specifically [motor vehicle, non-motor vehicle, pedestrian], whose logical value logits is [2, 3, 5], and the segmentation outputs 5 categories, specifically [motor vehicle, non-motor vehicle, pedestrian, cone barrel, warning column], then the logits of the detection output can be padded by 1 to become [2, 3, 5, 1, 1], thereby achieving dimensional alignment.
  • Figure 6 is a schematic diagram of a partial label training method provided by an embodiment of the present application.
  • the solid single arrow is the forward reasoning path
  • the dotted single arrow is the back propagation path.
  • the global shared features output by the feature extraction module 601 are first successively obtained through the detection head module 602 and the detection output module 604 to obtain the detection features and the detection output classification logits, and the detection loss is calculated by the detection loss module 606 according to the detection output classification logits.
  • the detection head module 602 is used to extract detection-related features based on global shared features.
  • the gradients from the segmentation output module 605 propagate to the segmentation head module 603, and the gradients from the detection output module 604 propagate to the detection head module 602.
  • the segmentation head module 603 incorporates detection-related features
  • a branch of the gradient flow in the segmentation head module 603 also propagates back to the detection head module 602 via the detection features. Therefore, the detection head module 602 receives two gradient flows and combines them to optimize itself.
  • the gradient flows from both the segmentation and detection branches propagate back to the feature extraction module 601, jointly supervising the feature extraction module 601.
  • the detection prediction results are integrated, thereby strengthening the connection between the two subtasks; and through the partial label training method, even in the absence of true value annotations of the detection, while learning the segmentation, the detection will also be optimized accordingly, thereby being able to supervise the entire network and improve the efficiency of training; and incompletely labeled data can also be used for training to expand the overall data set, alleviate the problem of tight labeled data resources, and reduce the requirements and difficulty of data labeling.
  • the multi-task includes multiple sub-tasks, and the multiple sub-tasks include target detection and semantic segmentation.
  • the multi-task loss function is determined based on the target detection prediction result and the semantic segmentation prediction result.
  • the method includes: determining a target detection loss value L 1 according to the target detection prediction result, determining a semantic segmentation loss value L 2 according to the semantic segmentation prediction result, and a subtask loss value Li satisfies the following formula:
  • fw (x) is the subtask prediction output probability, is the loss function calculation formula
  • the multi-task loss function is determined according to the subtask loss value Li .
  • Softmax is used for classification subtasks, while MSE is used for regression subtasks.
  • Semantic segmentation is a classification subtask; object detection tasks include classification and regression branches, meaning they contain two types of loss functions.
  • Softmax can be used for classification tasks, while MSE can be used for regression tasks.
  • the loss value can be calculated adaptively to the situation where the subtask annotation is incomplete.
  • determining a multi-task loss function based on the subtask loss values Li includes: determining subtask weights ⁇ i respectively according to the uncertainties of the multiple tasks; determining a multi-task loss function -log p( y1 , y2
  • p represents the probability distribution
  • yi is the predicted output result (including target detection prediction result and semantic segmentation prediction result)
  • fw (x) is the predicted output probability of the subtask
  • w represents the parameter
  • f represents the mapping function
  • C represents the number of output categories; for regression tasks, assuming that p( yi
  • the multiple images are vehicle-related images.
  • vehicle-related images can be vehicle images, vehicle surrounding environment images and road surrounding environment images.
  • Vehicles such as cars, trucks, bicycles, etc. are detected through vehicle images, and various objects around the vehicle such as pedestrians, obstacles, etc. are detected through vehicle surrounding environment images.
  • Road signs such as traffic signs, lane markings, parking space markings and pedestrian crossing lines are detected through road surrounding environment images.
  • FIG7 is a functional unit block diagram of a multi-task network training device provided in an embodiment of the present application.
  • the multi-task network training device 70 includes: a first acquisition unit 71 for acquiring a data training set, wherein the data training set includes multiple images; a second acquisition unit 72 for performing feature extraction on the multiple images in the data training set by the second acquisition unit to obtain first features and second features, wherein the first features include multiple feature vectors corresponding to the multiple images at different scales, and the second features are multiple detection-related feature vectors obtained by feature extraction of the multiple feature vectors at different scales; a first determination unit 73 for determining a comprehensive feature based on the first feature and the second feature, wherein the comprehensive feature is used to represent the feature obtained by fusing the multiple feature vectors corresponding to the image at different scales; a second determination unit 74 for determining a target detection prediction result based on the second feature; a third determination unit 75 for determining a semantic segmentation prediction result based on
  • the first acquisition unit 71 is specifically configured to: Refer to FIG. 4 , which is a flow chart illustrating a method for acquiring a data training set provided by an embodiment of the present application.
  • the specific steps include: S410, determining a set of categories in the dataset. For example, a vehicle-related image P from an existing dataset can be obtained. Then, based on the segmentation annotations, each category contained in image P is counted. For example, these categories may be motor vehicles, non-motor vehicles, pedestrians, animals, etc., and these categories can be combined to form a set of categories S. S420, determining the number of detections for each category based on the set of categories.
  • Steps S410-S420 are looped to count the number of categories in all images in the entire dataset, and the data category distribution of the entire multi-task dataset is accumulated.
  • the data category distribution can be: ⁇ category:total number ⁇ .
  • S440 determines the image category with the largest total number based on the data category distribution, and expands the dataset based on the image category with the largest total number. Based on the statistically calculated multi-task data category distribution, the total number of the largest category is used as a benchmark to calculate the ratio of the total number of the remaining categories in the dataset to the total number of the largest category.
  • the sample sets of the other categories are expanded based on the ratios to obtain the expanded dataset.
  • balanced sampling of different image categories is performed on the expanded dataset to obtain a training data set. During training, the same number of samples is sampled for all categories in the expanded dataset. For example, 50 samples are taken for each of the motor vehicle, non-motor vehicle, pedestrian, and obstacle categories. As can be seen, by combining statistics based on the semantic segmentation categories and the number of object detections, and expanding the dataset according to the aforementioned ratio, balanced data categories are achieved for multiple tasks.
  • the second acquisition unit 72 is specifically used to: extract features from vehicle-related images in the data training set, which is a global feature extraction for multi-task features.
  • the multi-task may include target detection and semantic segmentation, and the first feature belongs to the global shared feature of the multi-task.
  • the image can have multiple scales.
  • Multi-scale refers to signal sampling at different scales. Different features can be observed at different scales. In simple terms, it is related to a certain When the distance between fixed objects is different, the features perceived by people are different, that is, when the image size of an object in the field of view is different (different scales), the features it exhibits are also different. Images of different scales are suitable for different tasks.
  • multi-scale fusion can be specifically manifested as the output feature map containing both global overall information and local detail information to better perceive the environment around the vehicle.
  • feature screening is performed in the above-mentioned shared features, and features related to target detection are selected as the second feature.
  • the first determination unit 73 is specifically used to: obtain multiple feature vectors at multiple scales in the first feature, such as the first feature vector at the first scale and the second feature vector at the second scale, and then extract the first detection-related feature vector from the first feature vector at the first scale; map the first detection-related feature vector to the segmentation feature space through mapping, and generate the first interaction parameter vector and the second interaction parameter vector at the first scale respectively.
  • the segmentation feature space can be a feature screening of the first feature globally shared by multiple tasks, selecting features related to semantic segmentation, and forming the feature space based on the selected features related to semantic segmentation; the first interaction parameter vector and the second interaction parameter vector are obtained by the same feature mapping.
  • the first eigenvector, the first interaction parameter vector, and the second interaction parameter vector at the first scale are weighted multiple times to obtain a fused first comprehensive eigenvector at the first scale;
  • the second detection-related eigenvector is extracted from the second eigenvector at the second scale, and the second detection-related eigenvector is mapped to the segmentation feature space to generate a third interaction parameter vector and a fourth interaction parameter vector at the second scale, respectively, where the third interaction parameter vector and the fourth interaction parameter vector are obtained by the same feature mapping;
  • the first comprehensive eigenvector at the first scale is taken, and the first comprehensive eigenvector is expanded to the same dimension as the second eigenvector through an upsampling operation; each element in the first comprehensive eigenvector and the second eigenvector is added element by element to generate a new second eigenvector after multi-scale fusion;
  • the new second eigenvector, the third interaction parameter vector, and the fourth interaction parameter vector are weighted
  • the second determination unit 74 is specifically configured to: exemplarily obtain a precise candidate region based on the second feature, extract a candidate region feature map based on the precise candidate region, and then determine the target category based on the candidate region feature map, thereby outputting a target detection category prediction result.
  • the second feature may be used to detect categories such as pedestrians, motor vehicles, and traffic signal signs near the vehicle.
  • the third determination unit 75 is specifically used to: determine a semantic segmentation prediction result for reference based on the comprehensive features, and then select the same categories as the categories in the semantic segmentation prediction result for reference from the categories of the target detection prediction result, and then fill in these same categories by 1 to achieve the same dimension as the number of categories of the semantic segmentation prediction result for reference, to obtain a new target detection prediction result, and then perform dot product weighting on the semantic segmentation prediction result for reference based on the new target detection prediction result to obtain the final semantic segmentation prediction result.
  • the method of filling in 1 can be exemplified by the detection output of 3 categories, specifically [motor vehicle, non-motor vehicle, pedestrian], whose logical value logits is [2, 3, 5], and the segmentation output of 5 categories, specifically [motor vehicle, non-motor vehicle, pedestrian, cone barrel, warning column], then the logits of the detection output can be filled in by 1, becoming [2, 3, 5, 1, 1], thereby achieving dimensional alignment.
  • the Softmax function converts each element in vector z into a real number between 0 and 1, indicating the importance or probability of the element among all elements.
  • the output of the Softmax function can be viewed as a probability distribution, where each element represents the probability of the corresponding category.
  • Softmax is usually used as the activation function of the last output layer. Using the Softmax function can make the probability distribution of the network output clearer and more intuitive, making it easier to perform classification or probability prediction. For regression tasks, assuming that p(y i
  • MSE calculates the average of the squared errors between the predicted values and the true values. A smaller MSE value indicates that the model's predictions are closer to the true values.
  • MSE can be used in supervised learning, such as linear regression, polynomial regression, and neural networks. In neural networks, MSE is often used for regression problems, such as predicting house prices and stock prices. By optimizing the MSE loss function, the model's parameters can be adjusted to minimize the error between the predicted values and the true values, thereby improving the model's performance.
  • the multi-task network training device 70 includes: a processing module 702 and a communication module 701.
  • the processing module 702 is used to control and manage the actions of the multi-task network training device 70, for example, executing the steps of the first acquisition unit 71, the second acquisition unit 72, the first determination unit 73, the second determination unit 74, the third determination unit 75 and the fourth determination unit 76, and/or for executing other processes of the technology described herein.
  • the communication module 701 is used for interaction between the multi-task network training device 70 and other devices.
  • the multi-task network training device 70 may also include a storage module 703, which is used for program code and data of the multi-task network training device 70.
  • the above multi-task network training device 70 can execute the multi-task network training method shown in FIG3.
  • the electronic device 900 includes a processor 910, a memory 920, a communication interface 930, and one or more programs 921.
  • the one or more programs are stored in the memory and are configured to be executed by the processor.
  • the program When the program is executed, it includes some or all of the steps of any one of the multi-task network training methods described in the above method embodiments.
  • the processor, memory, and communication interface are interconnected and complete communication work with each other.
  • the memory may be a volatile memory such as a dynamic random access memory (DRAM) or a non-volatile memory such as a mechanical hard disk.
  • DRAM dynamic random access memory
  • the memory is used to store a set of executable program codes, and the processor is used to call the executable program codes stored in the memory to execute some or all of the steps of any multi-task network training method described in the above multi-task network training method embodiment.
  • the electronic device 900 described in the embodiment of the present application first obtains a data training set, which includes multiple images; then performs feature extraction on the multiple images in the data training set to obtain a first feature and a second feature, wherein the first feature includes multiple feature vectors corresponding to the multiple images at different scales, and the second feature is a plurality of detection-related feature vectors obtained by feature extraction of the multiple feature vectors at different scales; then determines a comprehensive feature based on the first feature and the second feature, and the comprehensive feature is used to characterize the feature obtained by fusing the multiple feature vectors corresponding to the image at different scales; then determines the target detection prediction result based on the second feature; then determines the semantic segmentation prediction result based on the comprehensive feature and the target detection prediction result; finally, determines the multi-task loss function based on the target detection prediction result and the semantic segmentation prediction result.
  • the training framework based on the multi-task network realizes the function of multi-task information interaction, flexibly adapts to the situation where the sub-task labeling categories are not aligned and the data labeling is incomplete, and makes full use of the existing data for training, so that the multi-task network can achieve accurate recognition in the absence of data labeling, thereby better perceiving the environment around the vehicle and providing accurate guidance information for autonomous driving tracking and decision-making.
  • An embodiment of the present application also provides a computer storage medium, wherein the computer storage medium stores a computer program for electronic data exchange, and the computer program enables a computer to execute part or all of the steps of any method described in the above method embodiments, and the above computer includes an electronic device.
  • the present application also provides a computer program product comprising a non-transitory computer-readable storage medium storing a computer program, wherein the computer program is operable to cause a computer to perform some or all of the steps of any of the methods described in the above method embodiments.
  • the computer program product may be a software installation package, and the computer may comprise an electronic device.
  • the units described above as separate components may or may not be physically separate, and the components shown as units may or may not be physical units, that is, they may be located in one place or distributed across multiple network units. Some or all of these units may be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • the functional units in the various embodiments of the present application may be integrated into a single processing unit, or each unit may exist physically separately, or two or more units may be integrated into a single unit.
  • the aforementioned integrated units may be implemented in the form of hardware or software functional units.
  • the above-mentioned integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer-readable memory.
  • the computer software product is stored in a memory and includes several instructions for enabling a computer electronic device (which can be a personal computer, electronic device or network electronic device, etc.) to execute all or part of the steps of the above-mentioned methods in each embodiment of the present application.
  • the aforementioned memory includes: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disk and other media that can store program codes.
  • each module/unit in the above embodiments can be implemented in the form of hardware, for example, by implementing its corresponding functions through an integrated circuit, or in the form of a software functional module, for example, by having a processor execute a program/instruction stored in the memory to implement its corresponding function.
  • the present application is not limited to any specific form of combination of hardware and software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本文公布一种多任务网络训练方法及电子设备，所述方法包括：获取数据训练集，数据训练集包括多个图像；对数据训练集中的多个图像进行特征提取，获取第一特征和第二特征；根据第一特征和第二特征确定综合特征；根据第二特征确定目标检测预测结果；根据综合特征和目标检测预测结果确定语义分割预测结果；根据目标检测预测结果和语义分割预测结果确定多任务损失函数，基于所述多任务损失函数优化多任务网络的训练。

Description

多任务网络训练方法及电子设备
本公开要求于2024年3月28日在中国专利局提交的、申请号为202410373734.8、公开名称为“多任务网络训练方法及相关装置”的中国专利公开的优先权，其全部内容通过引用结合在本公开中。
技术领域
本申请实施例涉及但不限于图像处理技术领域，尤其涉及一种多任务网络训练方法及电子设备。
背景技术
随着自动驾驶技术的发展，目标物自动识别成为自动驾驶的关键，当前一般应用同步训练的目标检测和语义分割对目标物进行自动识别。
当前针对语义分割和目标检测的多任务网络对训练数据的要求高，在数据存在标签缺失的情况下无法被用于多任务网络的训练，容易造成数据浪费，因此在标注数据资源紧张的情况下，对数据标注的要求高，容易导致多任务网络的训练难度大。
技术解决方案
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供一种多任务网络训练方法及电子设备，通过多任务网络的训练框架实现多任务信息交互的功能，以灵活适配子任务标注类别不对齐和数据标注不全的情况，充分利用现有的数据进行训练，使得多任务网络在数据标注缺失的情况下实现精准识别。
第一方面，本申请实施例提供了一种多任务网络训练方法，包括：
获取数据训练集，所述数据训练集包括多个图像；
对所述数据训练集中的多个图像进行特征提取，获取第一特征和第二特征，其中，所述第一特征包括所述多个图像在不同尺度下对应的多个特征向量，所述第二特征是对所述不同尺度下的多个特征向量进行特征提取获取的多个检测相关特征向量；
根据所述第一特征和所述第二特征确定综合特征，所述综合特征用于表征图像不同尺度下对应的多个特征向量进行融合后获得的特征；
根据所述第二特征确定目标检测预测结果；
根据所述综合特征和所述目标检测预测结果确定语义分割预测结果；
根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数，基于所述多任务损失函数优化多任务网络的训练。
第二方面，本申请实施例提供一种电子设备，包括处理器以及存储有执行指令的存储器，所述存储器存储有一个或多个程序；当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行根据第一方面所述的方法。
第三方面，本申请实施例提供一种计算机可读存储介质，存储有能源数据管理程序，包括执行指令，当电子设备的处理器执行所述执行指令时，所述处理器执行根据第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
通过实施本申请实施例，首先获取数据训练集，所述数据训练集包括多个图像；然后对所述数据训练集中的多个图像进行特征提取，获取第一特征和第二特征，其中，所述第一特征包括所述多个图像在不同尺度下对应的多个特征向量，所述第二特征是对所述不同尺度下的多个特征向量进行特征提取获取的多个检测相关特征向量；之后根据所述第一特 征和所述第二特征确定综合特征，所述综合特征用于表征图像不同尺度下对应的多个特征向量进行融合后获得的特征；再根据所述第二特征确定目标检测预测结果；接着根据所述综合特征和所述目标检测预测结果确定语义分割预测结果；最后根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数，基于所述多任务损失函数优化多任务网络的训练。如此，基于多任务网络的训练框架实现了多任务信息交互的功能，灵活适配子任务标注类别不对齐和数据标注不全的情况，充分利用现有的数据进行训练，使得多任务网络在数据标注缺失的情况下实现精准识别。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供一种自动驾驶系统的系统架构图；
图2是本申请实施例提供一种网络训练系统的系统架构图；
图3是本申请实施例提供的一种多任务网络训练方法的流程示意图；
图4是本申请实施例提供的一种数据训练集获取方法的流程示意图；
图5是本申请实施例提供的一种特征融合方法的示意图；
图6是本申请实施例提供的一种偏标签的训练方法的示意图；
图7是本申请实施例提供的一种多任务网络训练装置的功能单元组成框图；
图8是本申请实施例提供的另一种多任务网络训练装置的功能单元组成框图；
图9是本申请实施例提出的一种电子设备的结构示意图。
本申请的实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
当前多任务网络对训练数据的要求高，在数据存在标签缺失的情况下无法被用于多任务网络的训练，容易造成数据浪费；且存在子任务训练数据的类别数量和种类不平衡的问题；以及子任务之间的损失量级、收敛速度是不一样的，且子任务之间的相关性强弱也是不确定的，因此如何优化多任务网络，如何为两个子任务分配训练权重是十分关键的。
请参阅图1，图1是本申请实施例提供一种自动驾驶系统的系统架构图。如图1所示，自动驾驶系统10包括环境感知定位模块101、决策规划模块102以及执行控制模块103，环境感知定位模块101还包括训练模块1011，环境感知定位模块101主要用于环境感知和定位服务，主要是通过传感器技术和摄像头、GPS定位等技术获取汽车行驶过程中的环境 指标，并且将数据进行采集；决策规划模块102主要是通过收集的数据，对车辆的下一步行为作出判断和指导；执行控制模块103主要是根据决策通过信号指令控制汽车的油门、制动等相关系统；其中训练模块1011可以包括网络训练系统，主要用于优化针对目标检测和语义分割的多任务网络，使得多任务网络的最终的预测效果和人工标注的真值接近，以更好的感知车辆周围的环境，为自动驾驶系统10后续的决策和执行提供准确的指导信息。
请参阅图2，图2是本申请实施例提供一种网络训练系统的系统架构图。如图2所示，网络训练系统20包括数据类别平衡模块201、信息交互模块202以及损失权重模块203，其中网络训练系统20是自动驾驶系统架构中的主要系统，通过网络训练系统20中的多任务网络的预测结果，为后续自动驾驶的决策和控制提供指导。其中，通过数据类别平衡模块201对图像类别进行复制比例和类别平衡采样，提高多任务模型在目标检测和语义分割任务上对小样本类别的泛化能力，以提升多任务模型的灵活性；通过信息交互模块202进行从特征到输出的完整交互，实现多任务信息交互的功能；通过损失权重模块203对网络预测输出的条件概率进行建模，计算各个子任务的不确定性，从而为子任务动态地分配训练权重，从而使得多任务训练过程收敛得更快。通过网络训练系统20，灵活适配于子任务标注类别不对齐和数据标注不全的情况，充分利用已有数据对整个网络进行训练，实现在数据标注缺失的情况下能够使多任务网络达到更优的识别性能的目的。
请参阅图3，图3是本申请实施例提供的一种多任务网络训练方法的流程示意图。所述方法包括以下步骤。
S310，获取数据训练集，所述数据训练集包括多个图像。
其中，请参阅图4，图4是本申请实施例提供的一种数据训练集获取方法的流程示意图。具体步骤包括：
S410，确定数据集中的类别集合。
其中，示例性的可以先获取现有的数据集中的任意一张与车辆相关的图片P，然后根据分割标注统计图片P中包含的每一个类别，例如可能是机动车、非机动车、行人、动物等，根据这些类别组成类别集合S。
S420，根据所述类别集合确定每一个类别的检测数量。
其中，对类别集合S中的每一个类别，判断其是否有检测标注；如果某一类别存在检测标注，则统计该类别在图片P中的检测框数量N，得到该类别的个数为N；如果某一类别没有检测标注，则默认该类别的个数为1。示例性的可以是该类别为行人，在该图片P中行人的检测框为3个，则可以确认为该图片P中的行人的个数为3个。
S430，统计所述数据集中所有图像的类别和与类别对应的检测数量，得到数据类别分布情况。
其中，循环S410-S420的步骤，对整个数据集中的所有图片中的类别的个数进行统计，累加得到多任务下的数据集整体的数据类别分布情况，其中数据类别分布情况可以是：{类别:总个数}。
S440，根据所述数据类别分布情况确定总个数最大的图像类别，以及根据所述总个数最大的图像类别扩充数据集。
其中，根据统计出来的多任务数据类别分布情况，以个数最大的类别的总个数为基准，分别计算数据集中其余类别的总个数与个数最大的类别的总个数的比例，根据所述比例对其他类别的样本集进行扩充，得到扩充后的数据集。示例性的统计出来的个数最大的类别为机动车，该机动车的总个数为90，而其他类别中非机动车类别的总个数为20，则90/20＝4.5，可是对非机动车类别的个数扩充4.5倍，使非机动车的总个数达到90，以此扩充数据集。
S450，对扩充后的数据集进行不同图像类别的均衡采样，得到数据训练集。
其中，训练时在扩充后的数据集上对所有类别采样相同数量的样本，示例性的可以是对机动车、非机动车、行人、障碍物等类别都取50个样本。
可见，根据语义分割的类别和目标检测的数量合并统计，且根据上述比例进行数据集扩充，从而实现多任务下的数据类别平衡。
S320，对所述数据训练集中的多个图像进行特征提取，获取第一特征和第二特征，其中，所述第一特征包括所述多个图像在不同尺度下对应的多个特征向量，所述第二特征是对所述不同尺度下的多个特征向量进行特征提取获取的多个检测相关特征向量。
其中，对数据训练集中的车辆相关图像进行特征提取是针对多任务特征的全局特征提取，多任务可以包括目标检测和语义分割，第一特征属于多任务的全局共享特征。其中，图像可以有多个尺度，多尺度是指不同尺度的信号采样，在不同尺度下可以观察到不同的特征，简单来说就是与某固定事物之间的距离不同时人所感知的特征不同，即某物体在视场中成像大小不同时(尺度不同)，其表现出的特征也不同。不同尺度的图像适用于不同的任务，在本实施例中为了优化多任务网络，需要对不同尺度下的特征进行融合，例如车辆相关图像中存在的物体具有局部区域的相似性，例如颜色、纹理等，在此实施例中多尺度融合可具体表现为在输出特征图中既包含全局整体信息，又包含局部细节信息，以更好的感知车辆周围的环境。其中，在获取多任务全局共享的第一特征之后，在上述共享特征中进行特征筛选，选择出与目标检测相关的特征，作为第二特征。
S330，根据所述第一特征和所述第二特征确定综合特征，所述综合特征用于表征图像不同尺度下对应的多个特征向量进行融合后获得的特征。
其中，可以获取第一特征中的多个尺度下的多个特征向量，例如第一尺度下的第一特征向量，第二尺度下的第二特征向量，然后对第一尺度下的第一特征向量提取第一检测相关的特征向量；将第一检测相关的特征向量通过映射，把第一检测相关的特征向量映射到分割特征空间里，分别生成第一尺度下的第一交互参数向量和第二交互参数向量。其中，分割特征空间可以是对多任务全局共享的第一特征进行特征筛选，选择出与语义分割相关的特征，根据选择出来的与语义分割相关的特征形成，第一交互参数向量和第二交互参数向量是由同一个特征映射得到的。将第一尺度下的第一特征向量、第一交互参数向量和第二交互参数向量通过多次加权得到融合后的第一尺度下的第一综合特征向量；对第二尺度下的第二特征向量提取第二检测相关的特征向量，将第二检测相关的特征向量通过映射，把第二检测相关的特征向量映射到分割特征空间里，分别生成第二尺度下的第三交互参数向量和第四交互参数向量，其中第三交互参数向量和第四交互参数向量是由同一个特征映射得到的，然后取第一尺度下的第一综合特征向量，通过上采样操作将第一综合特征向量扩展到与第二特征向量相同的维度，将第一综合特征向量和第二特征向量中的每个元素进行逐元素相加生成多尺度融合后的新的第二特征向量；将新的第二特征向量、第三交互参数向量和第四交互参数向量通过多次加权得到融合后的第二尺度下的第二综合特征向量，可以将第二综合特征向量确定为综合特征。
其中，第一尺度和第二尺度只是多个尺度下的任意两个尺度，第一特征向量和第二特征向量也只是多个特征向量中的任意两个特征向量。
S340，根据所述第二特征确定目标检测预测结果。
其中，示例性的可以是根据第二特征获得精确的候选区域，根据精确的候选区域提取出候选区特征图，然后根据候选区特征图判定目标的类别，以此输出目标检测的类别预测结果。示例性的，可以是根据第二特征检测出车辆附近的行人、机动车、交通信号指示等类别。
S350，根据所述综合特征和所述目标检测预测结果确定语义分割预测结果。
其中，可以根据综合特征确定出一个可供参考的语义分割预测结果，然后在目标检测预测结果的类别中，挑选出与可供参考的语义分割预测结果中的类别相同的类别，再将这部分相同的类别通过补1的方式达到与可供参考的语义分割预测结果的类别数相同的维度，得到新的目标检测预测结果，之后根据新的目标检测预测结果，对可供参考的语义分割预测结果进行点积加权，得到最终的语义分割预测结果。其中补1的方式示例性的可以是检测输出了3类，具体为[机动车，非机动车，行人]，其逻辑值logits为[2，3，5]，而分割输出了5类，具体为[机动车，非机动车，行人，锥桶，警示柱]，则可以把检测输出的logits补1，变成了[2，3，5，1，1]，因此实现维度对齐。
S360，根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数，基于所述多任务损失函数优化多任务网络的训练。
其中，多任务可以包括多个子任务，在本实施例中，可以包括两个子任务，分别为目标检测子任务和语义分割子任务。假设在多任务同时训练的情况下，对于任意子任务Ti，由其它任务带来的不确定性为δi，对于分类任务，假设p(yi|fw(x))服从玻尔兹曼分布，则有：
其中，p表示概率分布，i＝1或i＝2，yi为预测输出结果(包括目标检测预测结果和语义分割预测结果)；fw(x)为子任务的预测输出概率，w表示参数，f表示映射函数；C表示输出的类别数量(3类，5类)；激活函数Softmax是一种常用的数学函数，通常用于多分类问题中，它将一组任意实数值映射到具有概率意义的值域，使得每个值都在0到1之间且所有值的和等于1。在神经网络中，Softmax常用于将网络输出转换为概率分布，以便进行分类或概率预测。给定一个向量z＝(z1,z2,...,zk)，Softmax函数可以表示为：
其中，e是自然常数，k是向量z的长度。Softmax函数将向量z中的每个元素转换为一个介于0和1之间的实数，表示该元素在所有元素中的重要程度或概率。Softmax函数的输出可以看作是一个概率分布，其中每个元素表示对应类别的概率。在神经网络中，Softmax通常作为最后一层输出层的激活函数。使用Softmax函数可以使网络输出的概率分布更加明确和直观，从而更容易进行分类或概率预测。对于回归任务，假设p(yi|fw(x))服从拉普拉斯分布，则有：
其中，进一步利用多任务负对数似然函数可以得到基于不确定性多任务损失函数如下：
其中，为了适配子任务标注不全的情况，还可以根据下列损失函数公式自适应计算子任务的损失。
其中，Li为子任务的损失值，为子任务Ti的损失函数计算公式，对分类型子任务选用Softmax，对回归型子任务则选用均方误差MSE。其中MSE是一种常用的损失函数，用于衡量模型预测值与真实值之间的差异。在回归问题中，MSE是一种广泛使用的损失函数。给定一组预测值和对应的真实值y＝(y1,y2,...,yn)，MSE可以定义为：
其中，n是样本数量。MSE计算了预测值和真实值之间的平方误差的平均值。MSE的值越小，表示模型预测的结果越接近真实值。MSE可以用于监督学习中，例如线性回归、多项式回归和神经网络等。在神经网络中，MSE通常用于回归问题，例如预测房价、预测股票价格等。通过优化MSE损失函数，可以调整模型的参数以最小化预测值与真实值之间的误差，从而提高模型的性能。
可见，在本实施例中，通过多任务网络的训练框架实现了多任务信息交互的功能，灵活适配子任务标注类别不对齐和数据标注不全的情况，充分利用现有的数据进行训练，使得多任务网络在数据标注缺失的情况下实现精准识别，从而更好的感知车辆周围的环境，为自动驾驶的追踪和决策提供准确的指导信息。
在一个可能的实施例中，所述获取数据训练集，包括：获取初始图像集合，对所述初始图像集合中的第一类图像通过语义分割标注和目标检测标注确定图像类别分布情况，所述图像类别分布情况包括类别和总个数；根据所述图像类别分布情况确定总个数最大的图像类别；根据所述总个数最大的图像类别对应的第一总个数与其他图像类别对应的第二总个数的数量比，对所述其他图像类别的图像进行基于所述数量比的复制，使得所述其他图像类别的总个数达成所述第一总个数，其中复制图像为第二类图像，所述第一类图像和所述第二类图像组成扩展图像集合；对所述扩展图像集合进行不同图像类别的均衡采样，获得所述数据训练集。
其中，可以根据分割标注统计初始获取的车辆相关的图像集合中每一个图像包含的每一个类别，统计出每一个图像包含的类别，然后判断每一个图像包含的每一个类别是否存在检测标注；如果存在检测标注，则统计该类别在对应的图像中的检测框的数量，将检测框的数量确定为该类别的个数；如果不存在检测标注，则默认该类别的个数为1个；统计初始图像集合中的所有图像的类别的个数，累加得到多任务下的图像类别分布情况，其中数据类别分布情况可以是：{类别：总个数}。示例性的数据类别分布情况可以包括：{行人：47}、{机动车：58}、{警示柱：20}、{锥桶：18}、{动物：10}等。
其中，根据统计出来的图像类别分布情况，以个数最大的类别的总个数为基准，分别计算数据集中其余类别的总个数与个数最大的类别的总个数的数量比，根据所述数量比扩充图像集合，使得其他类别的总个数与个数最大的类别的总个数相同。示例性的个数最大的类别为行人，统计出来的行人的总个数为50，而锥桶的总个数为10，则50/10＝5，可是对锥桶的个数扩充5倍，使其总个数达到50，以此得到扩展后的车辆相关图像集合。之后对上述扩展的车辆相关图像集合进行类别均衡采样，使得各类别采用相同数量的样本。
可见，在本实施例中，一方面，结合语义分割和目标检测的数据标注之间的相关性，同时也兼容了语义分割和目标检测之间数据量和类别种类不对齐的情况，能够有效地生成相对类别均衡的训练数据集，从而达到提高多任务模型在语义分割和目标检测上对小样本类别的泛化能力的目的；另一方面，可以根据应用需求灵活地配置语义分割和目标检测的标注类别，同时两个子任务之间的标注量也可以有所差别，大大降低了对数据标注的要求。
在一个可能的实施例中，所述多个特征向量包括第一特征向量和第二特征向量，所述多个检测相关特征向量包括第一检测相关特征向量和第二检测相关特征向量，所述根据所述第一特征和所述第二特征确定综合特征，包括：将所述第一检测相关特征向量映射到分割特征空间中，生成第一交互参数和第二交互参数，所述分割特征空间用于表征根据对所述不同尺度下的多个特征向量进行特征提取获取的多个分割相关特征向量组成的集合空间；根据所述第一交互参数、所述第二交互参数以及所述第一特征向量进行特征融合，得到第一综合特征；将所述第一综合特征和所述第二特征向量进行融合生成新的第二特征向量；将所述第二检测相关特征向量映射到所述分割特征空间中，生成第三交互参数和第四交互参数；根据所述第三交互参数、所述第四交互参数以及所述新的第二特征向量进行特征融合，得到第二综合特征，将所述第二综合特征确定为所述综合特征。
其中，示例性的可以获取第一特征中的m1尺度下的特征向量f1和m2尺度下的特征向量f2，然后对m1尺度下的f1特征向量提取检测相关的特征向量d1；将检测相关的特征向量d1通过映射，把检测相关的特征向量d1映射到分割特征空间里，分别生成m1尺度下的两个交互参数向量a1、b1，其中a1和b1是由同一个特征映射得到的，将m1尺度下的f1特征向量、交互参数向量a1和b1通过多次加权得到融合后的m1尺度下的综合特征向量c1。
其中，通过多次加权得到c1中的多次加权可以包含两个注意力加权操作，请参阅图5，图5是本申请实施例提供的一种特征融合方法的示意图。如图5所示，具体步骤包括：对输入的特征向量X，首先与传入的交互参数向量A进行注意力加权，得到加权后的特征X'；其中，输入的特征向量X可以是第一特征，交互参数向量A可以是将检测相关的特征向量映射到分割特征空间得到的其中一个交互参数，特征向量X先与传入的交互参数向量A进行加权是在卷积层之前，可以理解为根据目标检测预测结果为语义分割预测结果提供指导，预先指出哪些通道的信息更加有效。对加权后的特征X'进行特征提取，得到新的特征向量F；其中，通过卷积层对加权后的特征X'进行特征提取，示例性的可以是车辆相关图像中的车辆纹理特征和车辆颜色特征等。对新的特征向量F，与传入的交互参数向量B进行注意力加权，得到加权后的新特征向量F'；其中，交互参数向量B可以是将检测相关的特征向量映射到分割特征空间得到的不与A相同的另一个交互参数，新的特征向量F与传入的交互参数向量B进行加权是在卷积层之后，可以理解为将目标检测的特征和语义分割的特征在通道维度上的对齐。将加权后的新特征向量F'依次通过批归一化层和激活函数，输出特征向量Y。其中，在激活函数前使用批归一化层，可以提高输出的精度，输出更加稳定的分布结果。批归一化是一种常用的神经网络优化技术，用于加快神经网络的训练和提高模型的泛化性能。它通过对神经网络的中间层进行归一化处理，使得输入数据的均值和方差保持稳定，从而减少网络中的内部协变量偏移问题。激活函数是一种非线性函数，通常应用于神经网络中，用于对神经元的输出进行非线性变换，从而增加网络的表达能力和拟合能力。激活函数的主要作用是将神经元的输出映射到一个非线性空间中，使得神经网络能够更好地处理复杂的非线性问题。激活函数处理后的输出值可以用来表示神经元的兴奋程度。激活函数通常被应用于神经网络的隐藏层和输出层。常用的激活函数包括Sigmoid函数、ReLU函数、Tanh函数和Softmax函数等。
其中，在获取综合特征向量c1之后，对m2尺度下的特征向量f2提取检测相关的特征向量d2，将检测相关的特征向量d2通过映射，把检测相关的特征向量d2映射到分割特征空间里，分别生成m2尺度下的两个交互参数向量a2、b2，其中a2和b2是由同一个特征映射得到的，然后取m1尺度下的综合特征向量c1，通过上采样操作将c1扩展到与特征向量f2相同的维度，将c1和f2中的每个元素进行逐元素相加生成多尺度融合后的新的特征 向量f'2；将新的特征向量f'2、交互参数向量a2和b2通过多次加权得到融合后的m2尺度下的综合特征向量c2，可以将综合特征向量c2确定为综合特征。
可见，在本实施例中，对目标检测的尺度特征转化而来的交互参数进行加权，以及通过两个注意力加权操作，加强两个目标检测和语义分割之间的相关性。
在一个可能的实施例中，所述多个特征向量还包括第三特征向量，所述多个检测相关特征向量还包括第三检测相关特征向量，所述得到第二综合特征之后，所述方法还包括：将所述第二综合特征和所述第三特征向量进行融合生成新的第三特征向量；将所述第三检测相关特征向量映射到所述分割特征空间中，生成第五交互参数和第六交互参数；根据所述第五交互参数、所述第六交互参数以及所述新的第三特征向量进行特征融合，得到第三综合特征，将所述第三综合特征确定为所述综合特征。
其中，示例性的可以获取第一特征中的m1尺度下的特征向量f1、m2尺度下的特征向量f2和m3尺度下的特征向量f3，根据上述在获取综合特征向量c2之后，对m3尺度下的特征向量f3提取检测相关的特征向量d3，将检测相关的特征向量d3通过映射，把检测相关的特征向量d2映射到分割特征空间里，分别生成m3尺度下的两个交互参数向量a3、b3，其中a3和b3是由同一个特征映射得到的，然后取m2尺度下的综合特征向量c2，通过上采样操作将c2扩展到与特征向量f3相同的维度，将c2和f3中的每个元素进行逐元素相加生成多尺度融合后的新的特征向量；将新的特征向量f'3与交互参数向量a3进行加权，得到加权后的特征f”3；对加权后的特征f”3进行图像特征提取，得到新的特征向量e，将新的特征向量F与交互参数向量b3进行加权，得到加权后的新特征向量e'；将加权后的新特征向量e'依次通过批归一化层和激活函数层，得到综合特征c3，可以将综合特征c3确定为综合特征。
其中，一个图像可以有多个不同尺度的，在本实施例中只抽取多个尺度中的任意3个作为示例进行说明，在只有两个尺度的情况下，可以将综合特征c2确定为综合特征，在只有三个尺度的情况下，可以将综合特征c3确定为综合特征。综合特征是将图像中所有尺度的特征进行融合之后得到的。
可见，在本实施例中，通过融合多尺度特征，可以很好地提升模型的性能。
在一个可能的实施例中，所述根据所述第一交互参数、所述第二交互参数以及所述第一特征向量进行特征融合，得到第一综合特征，包括：根据所述第一交互参数的权重和所述第一特征向量的权重确定新的第一特征向量，所述第一交互参数的权重和所述第一特征向量的权重是根据所述第一交互参数和所述第一特征向量的不同部分分别计算所获取的；对所述新的第一特征向量进行特征提取，得到第四特征向量；根据所述第二交互参数的权重和所述第四特征向量的权重确定新的第四特征向量，所述第二交互参数的权重和所述第四特征向量的权重是根据所述第二交互参数和所述第四特征向量的不同部分分别计算所获取的，所述第一综合特征根据所述新的第四特征向量确定。
其中，通过注意力机制计算上述交互参数和特征向量的权重，根据输入数据的不同部分分配不同的权重，以控制多任务网络对不同部分的关注程度，从而将多任务网络的注意力集中于输入数据的关键部分，提高多任务网络的表示能力和泛化能力。
其中，通过注意力机制计算特征向量M的权重和交互参数向量N的权重，对上述权重进行加权，得到加权后的特征M'；对加权后的特征M'进行图像特征提取，得到新的特征向量O；通过注意力机制计算新的特征向量O的权重与交互参数向量P的权重，对上述权重进行加权，得到加权后的新特征向量O'；将加权后的新特征向量O'依次通过批归一化层和激活函数，得到第一综合特征。
可见，在本实施例中，通过两个注意力加权操作，加强两个目标检测和语义分割之间的相关性。
在一个可能的实施例中，所述根据所述综合特征和所述目标检测预测结果确定语义分割预测结果，包括：根据所述综合特征确定第一语义分割预测结果；在所述目标检测预测结果中确定与所述第一语义分割预测结果中第一类别相同的第二类别；根据所述第一类别对所述第二类别进行维度对齐，使得所述第二类别的数量与所述第一类别的数量相同，得到新的目标检测预测结果；根据所述新的目标检测预测结果和所述第一语义分割预测结果确定第二语义分割预测结果，将所述第二语义分割预测结果确定为所述语义分割预测结果。
其中，可以根据综合特征确定出一个可供参考的语义分割预测结果，然后在目标检测预测结果中的类别中，挑选出与可供参考的语义分割预测结果中的类别相同的类别，再将这部分相同的类别通过补1的方式达到与可供参考的语义分割预测结果的类别数相同的维度，得到新的目标检测预测结果，之后根据新的目标检测预测结果，对可供参考的语义分割预测结果进行点积加权，得到最终的语义分割预测结果。其中补1的方式示例性的可以是检测输出了3类，具体为[机动车，非机动车，行人]，其逻辑值logits为[2，3，5]，而分割输出了5类，具体为[机动车，非机动车，行人，锥桶，警示柱]，则可以把检测输出的logits补1，变成了[2，3，5，1，1]，因此实现维度对齐。
其中，在特征交互和输出交互的基础上，增加了一个正向推理和反向传播的偏标签的训练，请参阅图6，图6是本申请实施例提供的一种偏标签的训练方法的示意图。如图6所示，实线单箭头是正向推理路径，虚线单箭头是反向传播路径，在正向推理路径中，对特征提取模块601输出的全局共享特征，首先陆续通过检测头模块602和检测输出模块604分别得到检测特征和检测输出分类的logits，以及根据检测输出分类的logits通过检测损失模块606计算检测的损失。其中，检测头模块602用于根据全局共享特征提取与检测相关的特征，检测输出模块604用于根据检测特征确定检测类别的logits，检测损失模块606用于根据检测输出分类的logits确定检测的损失；接着将检测特征和全局共享特征输入分割头模块603进行融合得到综合特征，分割头模块603中包括卷积模块和上采样模块，卷积模块用于映射，将检测相关的特征映射到分割特征空间里，加强检测和分割的交互，上采样模块用于增加图像的分辨率，提高图像质量或增加特征图的细节。然后将融合后的综合特征和检测输出分类的logits送入分割输出模块605，得到最终分割的输出结果，以及根据分割的输出结果通过分割损失模块607确定分割的损失。分割输出模块605用于目标检测和语义分割输出的类别预测的自相关加权，实现子任务之间的类别输出对齐，分割损失模块607用于根据分割的输出结果计算分割的损失。如图6所示，在反向传播路径中，因为分割的输出融合了检测类别的logits，所以当分割的损失loss进行梯度反向传播时，梯度流一部分沿着分割输出模块605向分割头模块603流动，一部分通过检测类别的logits流向检测输出模块604。接下来，分割输出模块605的梯度向分割头模块603进行传播，检测输出模块604的梯度向检测头模块602进行传播。由于分割头模块603中融合了检测相关的特征，所以分割头模块603中也会有一条支路梯度流通过检测的特征向检测头模块602进行反向传播。因此，检测头模块602会得到两条梯度流并组合起来对自身进行优化。最终分割和检测两条支路的梯度流会反向传播回特征提取模块601，一同对特征提取模块601进行监督。
可见，在本实施例中，通过将检测预测结果融合到分割预测结果中，对两个子任务的预测输出进行融合，加强了两个子任务之间的联系；以及通过偏标签的训练方式，即使在缺少了检测的真值标注的情况下，在对分割进行学习的同时，检测也会相应地同步进行优化，从而能够对整个网络起到监督作用，提升训练的效率；且还可以使用标注不全的数据进行训练，扩充整体数据集，缓解标注数据资源紧张的问题，降低数据标注的要求和难度。
在一个可能的实施例中，所述多任务包括多个子任务，所述多个子任务包括目标检测和语义分割，所述根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函 数，所述方法包括：根据所述目标检测预测结果确定目标检测损失值L1，根据所述语义分割预测结果确定语义分割损失值L2，子任务损失值Li满足如下公式：
其中，yi为子任务预测结果，i＝1或2，fw(x)为子任务预测输出概率，为损失函数计算公式；根据所述子任务损失值Li确定多任务损失函数。
其中，对分类型子任务取Softmax，对回归型子任务则选用MSE。语义分割任务属于分类型子任务；目标检测任务包括分类分支和回归分支，即包含两类损失函数，对于分类任务可以选用Softmax，对于回归任务可以选用MSE。
可见，在本实施例中，可以适配子任务标注不全的情况，自适应的计算损失值。
在一个可能的实施例中，所述根据所述子任务损失值Li确定多任务损失函数，包括：根据所述多任务的不确定性分别确定子任务权重δi；通过负对数似然损失函数根据所述子任务损失值Li和所述子任务权重δi确定多任务损失函数-log p(y1,y2|fw(x))，基于如下公式计算所述多任务损失函数：
其中p表示概率分布。
其中，在多任务同时训练的情况下，对于任意任务Ti，由其它任务带来的不确定性为δi，对于分类任务，假设p(yi|fw(x))服从玻尔兹曼分布，则有：
其中，p表示概率分布，i＝1或i＝2，yi为预测输出结果(包括目标检测预测结果和语义分割预测结果)；fw(x)为子任务的预测输出概率，w表示参数，f表示映射函数；C表示输出的类别数量；对于回归任务，假设p(yi|fw(x))服从拉普拉斯分布，则有：
进一步利用多任务负对数似然函数可以得到基于不确定性多任务损失函数如下：
可见，在本实施例中，通过网络预测输出的条件概率进行建模，计算各个子任务的不 确定性，从而为子任务动态地分配训练权重，使得多任务训练过程收敛得更快。
在一个可能的实施例中，所述多个图像为车辆相关图像。
其中，车辆相关图像是可以是车辆图像、车辆周边环境图像以及道路周边环境图像，通过车辆图像对车辆进行检测，如汽车、货车、自行车等，通过车辆周边环境图像检测车辆周围的各种物体，如行人、障碍物等，通过道路周边环境图像检测道路标志，如交通标志、车道划线、停车位标记和行人过街线等。
与上述实施例一致的，请参阅图7，图7是本申请实施例提供的一种多任务网络训练装置的功能单元组成框图。多任务网络训练装置70包括：第一获取单元71，用于获取数据训练集，所述数据训练集包括多个图像；第二获取单元72，用于所述第二获取单元对所述数据训练集中的多个图像进行特征提取，获取第一特征和第二特征，其中，所述第一特征包括所述多个图像在不同尺度下对应的多个特征向量，所述第二特征是对所述不同尺度下的多个特征向量进行特征提取获取的多个检测相关特征向量；第一确定单元73，用于根据所述第一特征和所述第二特征确定综合特征，所述综合特征用于表征图像不同尺度下对应的多个特征向量进行融合后获得的特征；第二确定单元74，用于根据所述第二特征确定目标检测预测结果；第三确定单元75，用于根据所述综合特征和所述目标检测预测结果确定语义分割预测结果；第四确定单元76，用于根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数。
在一个可能的实施例中，在获取数据方面，第一获取单元71具体用于：请参阅图4，图4是本申请实施例提供的一种数据训练集获取方法的流程示意图。具体步骤包括：S410，确定数据集中的类别集合。其中，示例性的可以先获取现有的数据集中的任意一张与车辆相关的图片P，然后根据分割标注统计图片P中包含的每一个类别，例如可能是机动车、非机动车、行人、动物等根据这些类别组成类别集合S。S420，根据所述类别集合确定每一个类别的检测数量。其中，对类别集合S中的每一个类别，判断其是否有检测标注；如果某一类别存在检测标注，则统计该类别在图片P中的检测框数量N，得到该类别的个数为N；如果某一类别没有检测标注，则默认该类别的个数为1。示例性的可以是该类别为行人，在该图片P中行人的检测框为3个，则可以确认为该图片P中的行人的个数为3个。S430，统计所述数据集中所有图像的类别和与类别对应的检测数量，得到数据类别分布情况。其中，循环S410-S420的步骤，对整个数据集中的所有图片中的类别的个数进行统计，累加得到多任务下的数据集整体的数据类别分布情况，其中数据类别分布情况可以是：{类别:总个数}。S440，根据所述数据类别分布情况确定总个数最大的图像类别，以及根据所述总个数最大的图像类别扩充数据集。其中，根据统计出来的多任务数据类别分布情况，以个数最大的类别的总个数为基准，分别计算数据集中其余类别的总个数与个数最大的类别的总个数的比例，根据所述比例对其他类别的样本集进行扩充，得到扩充后的数据集。示例性的统计出来的个数最大的类别为机动车，该机动车的总个数为90，而其他类别中非机动车类别的总个数为20，则90/20＝4.5，可是对非机动车类别的个数扩充4.5倍，使非机动车的总个数达到90，以此扩充数据集。S450，对扩充后的数据集进行不同图像类别的均衡采样，得到数据训练集。其中，训练时在扩充后的数据集上对所有类别采样相同数量的样本，示例性的可以是对机动车、非机动车、行人、障碍物等类别都取50个样本。可见，根据语义分割的类别和目标检测的数量合并统计，且根据上述比例进行数据集扩充，从而实现多任务下的数据类别平衡。
在一个可能的实施例中，在获取特征方面，第二获取单元72具体用于：对数据训练集中的车辆相关图像进行特征提取是针对多任务特征的全局特征提取，多任务可以包括目标检测和语义分割，第一特征属于多任务的全局共享特征。其中，图像可以有多个尺度，多尺度是指不同尺度的信号采样，在不同尺度下可以观察到不同的特征，简单来说就是与某 固定事物之间的距离不同时人所感知的特征不同，即某物体在视场中成像大小不同时(尺度不同)，其表现出的特征也不同。不同尺度的图像适用于不同的任务，在本实施例中为了优化多任务网络，需要对不同尺度下的特征进行融合，例如车辆相关图像中存在的物体具有局部区域的相似性，例如颜色、纹理等，在此实施例中多尺度融合可具体表现为在输出特征图中既包含全局整体信息，又包含局部细节信息，以更好的感知车辆周围的环境。其中，在获取多任务全局共享的第一特征之后，在上述共享特征中进行特征筛选，选择出与目标检测相关的特征，作为第二特征。
在一个可能的实施例中，在特征融合方面，第一确定单元73具体用于：可以获取第一特征中的多个尺度下的多个特征向量，例如第一尺度下的第一特征向量，第二尺度下的第二特征向量，然后对第一尺度下的第一特征向量提取第一检测相关的特征向量；将第一检测相关的特征向量通过映射，把第一检测相关的特征向量映射到分割特征空间里，分别生成第一尺度下的第一交互参数向量和第二交互参数向量。其中，分割特征空间可以是对多任务全局共享的第一特征进行特征筛选，选择出与语义分割相关的特征，根据选择出来的与语义分割相关的特征形成的；第一交互参数向量和第二交互参数向量是由同一个特征映射得到的。将第一尺度下的第一特征向量、第一交互参数向量和第二交互参数向量通过多次加权得到融合后的第一尺度下的第一综合特征向量；对第二尺度下的第二特征向量提取第二检测相关的特征向量，将第二检测相关的特征向量通过映射，把第二检测相关的特征向量映射到分割特征空间里，分别生成第二尺度下的第三交互参数向量和第四交互参数向量，其中第三交互参数向量和第四交互参数向量是由同一个特征映射得到的，然后取第一尺度下的第一综合特征向量，通过上采样操作将第一综合特征向量扩展到与第二特征向量相同的维度，将第一综合特征向量和第二特征向量中的每个元素进行逐元素相加生成多尺度融合后的新的第二特征向量；将新的第二特征向量、第三交互参数向量和第四交互参数向量通过多次加权得到融合后的第二尺度下的第二综合特征向量，可以将第二综合特征向量确定为综合特征。其中第一尺度和第二尺度只是多个尺度下的任意两个尺度，第一特征向量和第二特征向量也只是多个特征向量中的任意两个特征向量。
在一个可能的实施例中，在确定检测输出结果方面，第二确定单元74具体用于：示例性的可以是根据第二特征获得精确的候选区域，根据精确的候选区域提取出候选区特征图，然后根据候选区特征图判定目标的类别，以此输出目标检测的类别预测结果。示例性的可以是根据第二特征检测出车辆附近的行人、机动车、交通信号指示等类别。
在一个可能的实施例中，在确定分割输出结果方面，第三确定单元75具体用于：可以根据综合特征确定出一个可供参考的语义分割预测结果，然后在目标检测预测结果的类别中，挑选出与可供参考的语义分割预测结果中的类别相同的类别，再将这部分相同的类别通过补1的方式达到与可供参考的语义分割预测结果的类别数相同的维度，得到新的目标检测预测结果，之后根据新的目标检测预测结果，对可供参考的语义分割预测结果进行点积加权，得到最终的语义分割预测结果。其中补1的方式示例性的可以是检测输出了3类，具体为[机动车，非机动车，行人]，其逻辑值logits为[2，3，5]，而分割输出了5类，具体为[机动车，非机动车，行人，锥桶，警示柱]，则可以把检测输出的logits补1，变成了[2，3，5，1，1]，因此实现维度对齐。
在一个可能的实施例中，在确定损失方面，第四确定单元76具体用于：多任务可以包括多个子任务，在本实施例中，可以包括两个子任务，分别为目标检测子任务和语义分割子任务。假设在多任务同时训练的情况下，对于任意子任务Ti，由其它任务带来的不确定性为δi，对于分类任务，假设p(yi|fw(x))服从玻尔兹曼分布，则有：
其中，p表示概率分布，i＝1或i＝2，yi为预测输出结果(包括目标检测预测结果和语义分割预测结果)；fw(x)为子任务的预测输出概率，w表示参数，f表示映射函数；C表示输出的类别数量(3类，5类)；激活函数Softmax是一种常用的数学函数，通常用于多分类问题中，它将一组任意实数值映射到具有概率意义的值域，使得每个值都在0到1之间且所有值的和等于1。在神经网络中，Softmax常用于将网络输出转换为概率分布，以便进行分类或概率预测。给定一个向量z＝(z1,z2,...,zk)，Softmax函数可以表示为：
其中，e是自然常数，k是向量z的长度。Softmax函数将向量z中的每个元素转换为一个介于0和1之间的实数，表示该元素在所有元素中的重要程度或概率。Softmax函数的输出可以看作是一个概率分布，其中每个元素表示对应类别的概率。在神经网络中，Softmax通常作为最后一层输出层的激活函数。使用Softmax函数可以使网络输出的概率分布更加明确和直观，从而更容易进行分类或概率预测。对于回归任务，假设p(yi|fw(x))服从拉普拉斯分布，则有：
其中，进一步利用多任务负对数似然函数可以得到基于不确定性多任务损失函数如下：
其中，为了适配子任务标注不全的情况，还可以根据下列损失函数公式自适应计算子任务的损失。
其中，Li为子任务的损失值，为子任务Ti的损失函数计算公式，对分类型子任务选用Softmax，对回归型子任务则选用均方误差MSE。其中MSE是一种常用的损失函数，用于衡量模型预测值与真实值之间的差异。在回归问题中，MSE是一种广泛使用的损失函数。给定一组预测值和对应的真实值y＝(y1,y2,...,yn)，MSE可以定义为：
其中，n是样本数量。MSE计算了预测值和真实值之间的平方误差的平均值。MSE的值越小，表示模型预测的结果越接近真实值。MSE可以用于监督学习中，例如线性回归、多项式回归和神经网络等。在神经网络中，MSE通常用于回归问题，例如预测房价、预测股票价格等。通过优化MSE损失函数，可以调整模型的参数以最小化预测值与真实值之间的误差，从而提高模型的性能。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
在采用集成的单元的情况下，请参阅图8，图8是本申请实施例提供的另一种多任务网络训练装置的功能单元组成框图，如图8所示，多任务网络训练装置70包括：处理模块702和通信模块701。处理模块702用于多任务网络训练装置70的动作进行控制管理，例如，执行第一获取单元71、第二获取单元72、第一确定单元73、第二确定单元74、第三确定单元75和第四确定单元76的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块701用于多任务网络训练装置70与其他设备之间的交互。如图8所示，多任务网络训练装置70还可以包括存储模块703，存储模块703用于多任务网络训练装置70的程序代码和数据。
其中，处理模块702可以是处理器或控制器，例如可以是中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块701可以是收发器、RF电路或通信接口等。存储模块703可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述多任务网络训练装置70可执行上述图3所示的多任务网络训练方法。
请参阅图9，图9是本申请实施例提出的一种电子设备的结构示意图，如图9所示，该电子设备900包括处理器910、存储器920、通信接口930以及一个或多个程序921，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，该程序执行时包括上述方法实施例中记载的任何一种多任务网络训练方法的部分或全部步骤，处理器、存储器和通信接口相互连接，并且完成相互间的通信工作；
其中，存储器可以是易失性存储器如动态随机存储器DRAM，也可以是非易失性存储器如机械硬盘。上述存储器用于存储一组可执行程序代码，上述处理器用于调用存储器中存储的可执行程序代码，可以执行如上述多任务网络训练方法实施例中记载的任何多任务网络训练方法的部分或全部步骤。
可以看出，本申请实施例中所描述的电子设备900，首先获取数据训练集，所述数据训练集包括多个图像；然后对所述数据训练集中的多个图像进行特征提取，获取第一特征和第二特征，其中，所述第一特征包括所述多个图像在不同尺度下对应的多个特征向量，所述第二特征是对所述不同尺度下的多个特征向量进行特征提取获取的多个检测相关特征向量；之后根据所述第一特征和所述第二特征确定综合特征，所述综合特征用于表征图像不同尺度下对应的多个特征向量进行融合后获得的特征；再根据所述第二特征确定目标检测预测结果；接着根据所述综合特征和所述目标检测预测结果确定语义分割预测结果；最后根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数。如此，基于多任务网络的训练框架实现了多任务信息交互的功能，灵活适配子任务标注类别不对齐和数据标注不全的情况，充分利用现有的数据进行训练，使得多任务网络在数据标注缺失的情况下实现精准识别，从而更好的感知车辆周围的环境，为自动驾驶的追踪和决策提供准确的指导信息。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机电子设备(可为个人计算机、电子设备或者网络电子设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本申请不限制于任何特定形式的硬件和软件的结合。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或者等同替换，而不脱离本申请技术方案的精神和范围，均应涵盖在本申请的权利要求范围当中。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (18)

  1. 一种多任务网络训练方法，其中，包括：
    获取数据训练集，所述数据训练集包括多个图像；
    对所述数据训练集中的多个图像进行特征提取，获取第一特征和第二特征，其中，所述第一特征包括所述多个图像在不同尺度下对应的多个特征向量，所述第二特征是对所述不同尺度下的多个特征向量进行特征提取获取的多个检测相关特征向量；
    根据所述第一特征和所述第二特征确定综合特征，所述综合特征用于表征图像不同尺度下对应的多个特征向量进行融合后获得的特征；
    根据所述第二特征确定目标检测预测结果；
    根据所述综合特征和所述目标检测预测结果确定语义分割预测结果；
    根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数，基于所述多任务损失函数优化多任务网络的训练。
  2. 根据权利要求1所述的方法，其中，所述获取数据训练集，包括：
    获取初始图像集合，对所述初始图像集合中的第一类图像通过语义分割标注和目标检测标注确定图像类别分布情况，所述图像类别分布情况包括类别和总个数；
    根据所述图像类别分布情况确定总个数最大的图像类别；
    根据所述总个数最大的图像类别对应的第一总个数与其他图像类别对应的第二总个数的数量比，对所述其他图像类别的图像进行基于所述数量比的复制，使得所述其他图像类别的总个数达成所述第一总个数，其中复制图像为第二类图像，所述第一类图像和所述第二类图像组成扩展图像集合；
    对所述扩展图像集合进行不同图像类别的均衡采样，获得所述数据训练集。
  3. 根据权利要求1所述的方法，其中，所述多个特征向量包括第一特征向量和第二特征向量，所述多个检测相关特征向量包括第一检测相关特征向量和第二检测相关特征向量，所述根据所述第一特征和所述第二特征确定综合特征，包括：
    将所述第一检测相关特征向量映射到分割特征空间中，生成第一交互参数和第二交互参数，所述分割特征空间用于表征根据对所述不同尺度下的多个特征向量进行特征提取获取的多个分割相关特征向量组成的集合空间；
    根据所述第一交互参数、所述第二交互参数以及所述第一特征向量进行特征融合，得到第一综合特征；
    将所述第一综合特征和所述第二特征向量进行融合生成新的第二特征向量；
    将所述第二检测相关特征向量映射到所述分割特征空间中，生成第三交互参数和第四交互参数；
    根据所述第三交互参数、所述第四交互参数以及所述新的第二特征向量进行特征融合，得到第二综合特征，将所述第二综合特征确定为所述综合特征。
  4. 根据权利要求3所述的方法，所述多个特征向量还包括第三特征向量，所述多个检测相关特征向量还包括第三检测相关特征向量，所述得到第二综合特征之后，还包括：
    将所述第二综合特征和所述第三特征向量进行融合生成新的第三特征向量；
    将所述第三检测相关特征向量映射到所述分割特征空间中，生成第五交互参数和第六交互参数；
    根据所述第五交互参数、所述第六交互参数以及所述新的第三特征向量进行特征融合，得到第三综合特征，将所述第三综合特征确定为所述综合特征。
  5. 根据权利要求3所述的方法，其中，所述根据所述第一交互参数、所述第二交互参数以及所述第一特征向量进行特征融合，得到第一综合特征，包括：
    根据所述第一交互参数的权重和所述第一特征向量的权重确定新的第一特征向量，所述第一交互参数的权重和所述第一特征向量的权重是根据所述第一交互参数和所述第一特征向量的不同部分分别计算所获取的；
    对所述新的第一特征向量进行特征提取，得到第四特征向量；
    根据所述第二交互参数的权重和所述第四特征向量的权重确定新的第四特征向量，所述第二交互参数的权重和所述第四特征向量的权重是根据所述第二交互参数和所述第四特征向量的不同部分分别计算所获取的，所述第一综合特征根据所述新的第四特征向量确定。
  6. 根据权利要求1所述的方法，其中，所述根据所述综合特征和所述目标检测预测结果确定语义分割预测结果，包括：
    根据所述综合特征确定第一语义分割预测结果；
    在所述目标检测预测结果中确定与所述第一语义分割预测结果中第一类别相同的第二类别；
    根据所述第一类别对所述第二类别进行维度对齐，使得所述第二类别的数量与所述第一类别的数量相同，得到新的目标检测预测结果；
    根据所述新的目标检测预测结果和所述第一语义分割预测结果确定第二语义分割预测结果，将所述第二语义分割预测结果确定为所述语义分割预测结果。
  7. 根据权利要求6所述的方法，其中，所述多任务包括多个子任务，所述多个子任务包括目标检测和语义分割，所述根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数，所述方法包括：
    根据所述目标检测预测结果确定目标检测损失值L1，根据所述语义分割预测结果确定语义分割损失值L2，子任务损失值Li满足如下公式：
    其中，yi为子任务预测结果，i＝1或2，fw(x)为子任务预测输出概率，为损失函数计算公式；
    根据所述子任务损失值Li确定多任务损失函数。
  8. 根据权利要求7所述的方法，其中，所述根据所述子任务损失值Li确定多任务损失函数，包括：
    根据所述多任务的不确定性分别确定子任务权重δi；
    通过负对数似然损失函数根据所述子任务损失值Li和所述子任务权重δi确定多任务损失函数-log p(y1,y2|fw(x))，基于如下公式计算所述多任务损失函数：
    其中p表示概率分布。
  9. 根据权利要求1所述的方法，其中，所述多个图像为车辆相关图像。
  10. 一种电子设备，其中，包括处理器以及存储有执行指令的存储器，所述存储器存储有一个或多个程序；当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行以下步骤的指令；
    获取数据训练集，所述数据训练集包括多个图像；
    对所述数据训练集中的多个图像进行特征提取，获取第一特征和第二特征，其中，所述第一特征包括所述多个图像在不同尺度下对应的多个特征向量，所述第二特征是对所述不同尺度下的多个特征向量进行特征提取获取的多个检测相关特征向量；
    根据所述第一特征和所述第二特征确定综合特征，所述综合特征用于表征图像不同尺度下对应的多个特征向量进行融合后获得的特征；
    根据所述第二特征确定目标检测预测结果；
    根据所述综合特征和所述目标检测预测结果确定语义分割预测结果；
    根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数，基于所述多任务损失函数优化多任务网络的训练。
  11. 根据权利要求10所述的电子设备，其中，所述获取数据训练集，包括：
    获取初始图像集合，对所述初始图像集合中的第一类图像通过语义分割标注和目标检测标注确定图像类别分布情况，所述图像类别分布情况包括类别和总个数；
    根据所述图像类别分布情况确定总个数最大的图像类别；
    根据所述总个数最大的图像类别对应的第一总个数与其他图像类别对应的第二总个数的数量比，对所述其他图像类别的图像进行基于所述数量比的复制，使得所述其他图像类别的总个数达成所述第一总个数，其中复制图像为第二类图像，所述第一类图像和所述第二类图像组成扩展图像集合；
    对所述扩展图像集合进行不同图像类别的均衡采样，获得所述数据训练集。
  12. 根据权利要求10所述的电子设备，其中，所述多个特征向量包括第一特征向量和第二特征向量，所述多个检测相关特征向量包括第一检测相关特征向量和第二检测相关特征向量，所述根据所述第一特征和所述第二特征确定综合特征，包括：
    将所述第一检测相关特征向量映射到分割特征空间中，生成第一交互参数和第二交互参数，所述分割特征空间用于表征根据对所述不同尺度下的多个特征向量进行特征提取获取的多个分割相关特征向量组成的集合空间；
    根据所述第一交互参数、所述第二交互参数以及所述第一特征向量进行特征融合，得到第一综合特征；
    将所述第一综合特征和所述第二特征向量进行融合生成新的第二特征向量；
    将所述第二检测相关特征向量映射到所述分割特征空间中，生成第三交互参数和第四交互参数；
    根据所述第三交互参数、所述第四交互参数以及所述新的第二特征向量进行特征融合，得到第二综合特征，将所述第二综合特征确定为所述综合特征。
  13. 根据权利要求12所述的电子设备，所述多个特征向量还包括第三特征向量，所述多个检测相关特征向量还包括第三检测相关特征向量，所述得到第二综合特征之后，所述处理器还执行以下步骤的指令：
    将所述第二综合特征和所述第三特征向量进行融合生成新的第三特征向量；
    将所述第三检测相关特征向量映射到所述分割特征空间中，生成第五交互参数和第六交互参数；
    根据所述第五交互参数、所述第六交互参数以及所述新的第三特征向量进行特征融合，得到第三综合特征，将所述第三综合特征确定为所述综合特征。
  14. 根据权利要求11所述的电子设备，其中，所述根据所述第一交互参数、所述第二交互参数以及所述第一特征向量进行特征融合，得到第一综合特征，包括：
    根据所述第一交互参数的权重和所述第一特征向量的权重确定新的第一特征向量，所述第一交互参数的权重和所述第一特征向量的权重是根据所述第一交互参数和所述第一特征向量的不同部分分别计算所获取的；
    对所述新的第一特征向量进行特征提取，得到第四特征向量；
    根据所述第二交互参数的权重和所述第四特征向量的权重确定新的第四特征向量，所述第二交互参数的权重和所述第四特征向量的权重是根据所述第二交互参数和所述第四特 征向量的不同部分分别计算所获取的，所述第一综合特征根据所述新的第四特征向量确定。
  15. 根据权利要求10所述的电子设备，其中，所述根据所述综合特征和所述目标检测预测结果确定语义分割预测结果，包括：
    根据所述综合特征确定第一语义分割预测结果；
    在所述目标检测预测结果中确定与所述第一语义分割预测结果中第一类别相同的第二类别；
    根据所述第一类别对所述第二类别进行维度对齐，使得所述第二类别的数量与所述第一类别的数量相同，得到新的目标检测预测结果；
    根据所述新的目标检测预测结果和所述第一语义分割预测结果确定第二语义分割预测结果，将所述第二语义分割预测结果确定为所述语义分割预测结果。
  16. 根据权利要求15所述的电子设备，其中，所述多任务包括多个子任务，所述多个子任务包括目标检测和语义分割，所述根据所述目标检测预测结果和所述语义分割预测结果确定多任务损失函数，所述方法包括：
    根据所述目标检测预测结果确定目标检测损失值l1，根据所述语义分割预测结果确定语义分割损失值l2，子任务损失值Li满足如下公式：
    其中，yi为子任务预测结果，i＝1或2，fw(x)为子任务预测输出概率，为损失函数计算公式；
    根据所述子任务损失值Li确定多任务损失函数。
  17. 根据权利要求16所述的电子设备，其中，所述根据所述子任务损失值Li确定多任务损失函数，包括：
    根据所述多任务的不确定性分别确定子任务权重δi；
    通过负对数似然损失函数根据所述子任务损失值Li和所述子任务权重δi确定多任务损失函数-log p(y1,y2|fw(x))，基于如下公式计算所述多任务损失函数：
    其中p表示概率分布。
  18. 根据权利要求10所述的电子设备，其中，所述多个图像为车辆相关图像。
PCT/CN2024/120200 2024-03-28 2024-09-20 多任务网络训练方法及电子设备 Pending WO2025200340A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202410373734.8 2024-03-28
CN202410373734.8A CN119832512A (zh) 2024-03-28 2024-03-28 多任务网络训练方法及相关装置

Publications (1)

Publication Number Publication Date
WO2025200340A1 true WO2025200340A1 (zh) 2025-10-02

Family

ID=95065313

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/120200 Pending WO2025200340A1 (zh) 2024-03-28 2024-09-20 多任务网络训练方法及电子设备

Country Status (3)

Country Link
EP (1) EP4625357A1 (zh)
CN (1) CN119832512A (zh)
WO (1) WO2025200340A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183395A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 基于多任务学习神经网络的道路场景识别方法和系统
CN114359572A (zh) * 2021-11-25 2022-04-15 深圳市优必选科技股份有限公司 多任务检测模型的训练方法、装置及终端设备
CN115082954A (zh) * 2022-03-07 2022-09-20 湖南中科助英智能科技研究院有限公司 一种面向在线考试的人物目标检测方法、装置和设备
CN115308816A (zh) * 2022-06-20 2022-11-08 哈尔滨工业大学 一种多参数大气数据同步预测系统及方法
US20240037930A1 (en) * 2022-07-29 2024-02-01 Rakuten Group, Inc. Online knowledge distillation for multi-task learning system, method, device, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298262B (zh) * 2019-06-06 2024-01-02 华为技术有限公司 物体识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183395A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 基于多任务学习神经网络的道路场景识别方法和系统
CN114359572A (zh) * 2021-11-25 2022-04-15 深圳市优必选科技股份有限公司 多任务检测模型的训练方法、装置及终端设备
CN115082954A (zh) * 2022-03-07 2022-09-20 湖南中科助英智能科技研究院有限公司 一种面向在线考试的人物目标检测方法、装置和设备
CN115308816A (zh) * 2022-06-20 2022-11-08 哈尔滨工业大学 一种多参数大气数据同步预测系统及方法
US20240037930A1 (en) * 2022-07-29 2024-02-01 Rakuten Group, Inc. Online knowledge distillation for multi-task learning system, method, device, and program

Also Published As

Publication number Publication date
CN119832512A (zh) 2025-04-15
EP4625357A1 (en) 2025-10-01

Similar Documents

Publication Publication Date Title
CN112749666B (zh) 一种动作识别模型的训练及动作识别方法与相关装置
CN110245579B (zh) 人流密度预测方法及装置、计算机设备及可读介质
CN109740670B (zh) 视频分类的方法及装置
CN113920370A (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN113095346A (zh) 数据标注的方法以及数据标注的装置
US12525013B1 (en) Prelabeling of bounding boxes in video frames
CN112329616B (zh) 目标检测方法、装置、设备以及存储介质
CN110378278B (zh) 神经网络的训练方法、对象搜索方法、装置以及电子设备
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN111160959B (zh) 一种用户点击转化预估方法及装置
CN112784750B (zh) 基于像素和区域特征匹配的快速视频物体分割方法和装置
CN112528961A (zh) 一种基于Jetson Nano的视频分析方法
CN113673604A (zh) 目标检测方法和装置、存储介质及电子装置
WO2024066697A1 (zh) 一种图像处理方法和相关装置
CN114821538B (zh) 一种多任务模型的训练方法及装置
CN116932788B (zh) 封面图像提取方法、装置、设备及计算机存储介质
CN113269171B (zh) 车道线检测方法、电子设备及车辆
CN112380948A (zh) 对象重识别神经网络的训练方法、系统和电子设备
CN112906525A (zh) 年龄识别方法、装置及电子设备
CN115359570A (zh) 一种基于时空上下文的行为检测方法、装置、设备及介质
CN114463662A (zh) 特征处理方法、动作定位方法、设备及装置
CN114565017A (zh) 基于标签到标签的多属性预测方法、装置、设备及介质
US12462528B2 (en) Method for classifying images and electronic device
CN119293733A (zh) 一种物业场景感知与决策方法、装置、设备及存储介质
TW202520130A (zh) 對上界固有任意不確定性的共形預測

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24932338

Country of ref document: EP

Kind code of ref document: A1