WO2024138993A1 - 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法 - Google Patents

一种用于交通道路路面信息的多任务联合感知网络模型及检测方法 Download PDF

Info

Publication number
WO2024138993A1
WO2024138993A1 PCT/CN2023/092501 CN2023092501W WO2024138993A1 WO 2024138993 A1 WO2024138993 A1 WO 2024138993A1 CN 2023092501 W CN2023092501 W CN 2023092501W WO 2024138993 A1 WO2024138993 A1 WO 2024138993A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
image
feature
information
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/092501
Other languages
English (en)
French (fr)
Inventor
王海
张桂荣
蔡英凤
陈龙
李祎承
刘擎超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to DE112023000135.9T priority Critical patent/DE112023000135T5/de
Priority to JP2024503558A priority patent/JP7665256B2/ja
Priority to US18/575,391 priority patent/US12307789B2/en
Publication of WO2024138993A1 publication Critical patent/WO2024138993A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the information that the environmental perception system of smart cars needs to extract is dynamic and static obstacles and road surface environment.
  • Dynamic obstacles mainly refer to other vehicles, pedestrians and dynamic or static objects on the ground around the vehicle that may affect the safe driving of the vehicle;
  • the road surface environment mainly refers to the geographical environment and road traffic information around the vehicle, such as lane lines, road boundary lines, etc.
  • road environment perception can be simplified to the detection of drivable areas.
  • the detection of these two types of traffic road surface information, lane line detection and drivable area detection is crucial.
  • the segmentation-based methods include the classic SCNN, which uses layer-by-layer convolution to realize the transmission of messages between row and column pixels, and the SAD-Enet, which uses the self-attention distillation module to aggregate context information;
  • the anchoring-based methods include LaneATT, which proposes a new anchor-based attention mechanism to aggregate global information, and UFLD, which is based on the row anchor method to achieve ultra-fast lane detection speed.
  • this network is also the first to propose a row classification method.
  • Semantic segmentation can enable drivable area detection tasks to obtain pixel-level results.
  • FCN fully convolutional neural network
  • the first to introduce fully convolutional networks into the field of semantic segmentation was FCN, which further extended the classification at the graphic level to the pixel level.
  • the network did not fully consider the relationship between pixels and pixel time, thus lacking spatial consistency.
  • SegNet calculates the nonlinear upsampling of the corresponding encoder during the maximum pooling process of the decoder, thereby eliminating the upsampling learning process.
  • PSPNet combines features of four different pyramid sizes to form a module that contains different scale information between different sub-regions, so that contextual relationships can be fully utilized.
  • the feature information obtained by the image through the feature extraction network is input into the feature fusion module, namely the feature pyramid network FPN, so that the information is further fused.
  • a dilated convolution residual module is designed after FPN.
  • the network model designed for the present invention is relatively lightweight. While ensuring the inference speed, it will inevitably lead to insufficient model receptive field. Therefore, the present invention designs and adds
  • the dilated convolution residual module is used to enhance the receptive field of the model, so that each convolution output contains a larger range of information. This module uses four layers of 3 ⁇ 3 convolutions, and the dilation rates of these four layers of convolutions are coordinated in an increasing manner to enhance the long-range information connection of the drivable area segmentation task and the lane line detection task.
  • the back end of the dilated convolution residual module is two decoders, namely the lane detection branch module and the drivable area segmentation branch module. These two decoders upsample the image features output from the neck network (i.e., the dilated convolution residual module) three times, thereby restoring the image to its original size of 1280 ⁇ 720.
  • S6 performs feature sharing on the feature map obtained by S5, performs an Add operation on the feature map obtained by the first upsampling during the executable area segmentation and the feature map obtained by the first upsampling during the lane line detection, and then inputs the feature map after the Add operation into the lane line detection branch for a second upsampling.
  • the feature fusion of S4 adds a dilated convolution residual module at the end of the feature pyramid network to fuse multi-scale feature information, introduces a dilation rate in the convolution process, and controls the spacing between the points of the convolution kernel by setting the parameter value of the dilation rate.
  • the present invention innovatively proposes a dilated convolution residual module to enhance the network's prediction performance for details, and the decoder part shares the features of the drivable area with the lane line detection to enhance the lane line detection effect under complex road conditions.
  • the present invention proposes a novel alternating optimization training method to improve the overall segmentation performance of the model.
  • the model of the present invention achieves very high accuracy and excellent speed performance in the challenging BDD100K dataset.
  • the mIoU of the drivable area segmentation reaches 92.51%
  • the lane line detection accuracy and IoU are 87.29% and 32.12% respectively
  • the overall inference speed reaches 39FPS.
  • the detection effect is better than the traditional single-task network model.
  • FIG. 1 is a flowchart of the invention implementation
  • Figure 2 is the overall framework of the RSI-Net network
  • Figure 3 is a schematic diagram of Focus slicing
  • FIG. 4 shows the CSP module structure
  • Step 4 Design the neck network and perform feature fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种用于交通道路路面信息的多任务联合感知网络模型及检测方法，可同时检测车道线和可行驶区域，将坐标注意力机制融入了传统的特征提取网络中保证不增加计算量的同时增强特征提取效果，在颈部网络中，本发明创新性地提出了膨胀卷积残差模块以增强网络对细节的预测性能，解码器部分则将可行驶区域的特征共享到车道线检测中以增强复杂路况下车道线检测效果。在训练环节，提出一种新颖的交替优化训练方法以提高模型整体的分割性能。本发明在具有挑战性的BDD100K数据集中取得了非常高的准确性和优异的速度表现，可行驶区域分割的mIoU达到92.51％，车道线检测准确率和IoU分别是87.29％和32.12％，并且整体推理速度达到39FPS，检测效果优于传统的单任务网络模型。

Description

一种用于交通道路路面信息的多任务联合感知网络模型及检测方法 技术领域
本发明属于智能自动驾驶汽车环境感知技术领域，特别设计了一种用于交通道路路面信息的多任务检测方法。
背景技术
智能汽车的环境感知系统需要提取的信息分别是动静态障碍物和道路路面环境。动态障碍物主要是指车辆周边的其他车辆、行人以及地面上可能影响车辆安全行驶的动态或静态物体；道路路面环境主要指车辆周围的地理环境与道路交通信息，如车道线、道路边界线等，对于非结构化道路，道路环境感知可以简化为可行驶区域的检测。在自动驾驶感知系统中，对于车道线检测和可行驶区域检测这两类交通道路路面信息的检测是至关重要的。
目前大多数网络模型都是单独处理自动驾驶感知任务。针对车道线检测任务有很多基于深度学习的方案，基于CNN的车道线检测主要有三种，分别是基于分割的方法、基于锚定的方法和基于曲线拟合的方法。基于分割的方法有经典的SCNN使用逐层卷积实现了消息在行和列像素之间的传递，还有使用自注意力蒸馏模块来聚合上下文信息的SAD-Enet；基于锚定方法的有LaneATT为了聚合全局信息提出了新的基于锚的注意力机制，UFLD是基于行锚的方法实现了超快的车道线检测速度，同时该网络也是第一个提出行分类的方法，行分类虽然保证了检测的速度，但是检测效果不是很好，尤其在车辆变道是会出现无法检测的问题；基于曲线拟合方法与单纯的点回归不同，其使用参数对车道线曲线进行建模并对这些参数进行回归，该方法比较经典的网络有PolyLaneNet，然而曲线拟合的方法在对高阶系数误差进行预测时会出现车道线变形的状况。
针对可行驶区域检测任务的处理大多使用语义分割的方法，使用语义分割可以使可行驶区域检测任务得到像素级别的结果，首次将全卷积网络引入语义分割领域的是FCN，即将图形级别的分类进一步延伸到像素级别的分类，但是该网络没有充分考虑像素与像素时间的关系从而缺乏空间一致性。SegNet在解码器的最大池化过程中计算对应编码器的非线性上采样从而省去上采样的学习过程。PSPNet融合了四种不同金字塔尺寸的特征形成一个包含不同子区域之间的不同尺度信息的模块，如此可以充分利用上下文关 系。SNE-RoadSeg是基于表面法向量提取的道路可行驶区域分割方法，该网络类似于U-Net(U-Net证明了使用跳跃连接有利于提高整个空间的分辨率)的编码和解码，在上采样部分融入表面法线估计器SNE的模块，该方法在自由空间检测方面表现优异。
尽管单任务处理方案已取得很好的检测效果，但是单个任务接续处理必然比多个任务共同处理所消耗的时间更长，在嵌入式设备上进行部署往往需要考虑延迟以及有限的计算资源。
发明内容
针对此问题，本发明提出了一种用于路面信息的多任务联合感知网络模型RSI-Net，如图2所示，可用于同时处理车道线检测任务和可行驶区域分割任务。该网络模型包括数据前处理模块、Focus切片模块、骨干网络特征提取模块、特征融合模块、膨胀卷积残差模块、车道线检测分支模块、可行驶区域分割分支模块、特征共享模块。
首先利用数据前处理模块对输入的二维图像进行预处理，在预处理过程中使用数据增强对图像的光度和几何形状进行改变，具体的操作是调整图像的色调和饱和度以及对图像进行随机旋转、缩放、平移、裁剪和翻转。
然后使用Focus切片模块对预处理后的图形进行切片处理，将图像中H和W维度的信息集中到通道空间中，从而使原有图像变成没有信息损失的二倍下采样图，接下来将处理好的图像传输到骨干网络特征提取模块中。
接下来使用改进后的CSPDarkNet53作为骨干网络特征提取模块对图形进行三次下采样以提取更多图形特征。CSPDarkNet53原本就具有优异的特征提取能力，可以保证不损失检测精度的前提下，降低整个模型的计算损耗。然而车道线和可行使区域属于纵深目标，需要网络模型捕获更多的方向和位置的感知信息，所以本发明将坐标注意力机制融入到CSPDarkNet53中的CBL模块和CSP模块之间，这样从CBL模块中卷积出来的特征图分别沿着垂直方向和水平方向聚合为两个单独的方向感知特征映射，这两个具有嵌入方向特定信息的特征映射随后分别编码为两个注意映射，每个注意映射捕获输入特征图沿一个空间方向的远距离依赖关系。
之后再将图像经过特征提取网络所得到的特征信息输入到特征融合模块，即特征金字塔网络FPN中，使得信息进一步融合。
在FPN后面的设计了一个膨胀卷积残差模块，针对本发明设计的网络模型较为轻量化，在保证推理速度的同时难免会导致模型感受野不足的情况，因此本发明设计加入 了膨胀卷积残差模块以增强模型的感受野，让每个卷积输出都包含较大范围的信息。该模块采用四层3×3卷积，这四层卷积的膨胀率按照递增形式配合以增强可行驶区域分割任务和车道线检测任务的远距离信息联系。
膨胀卷积残差模块的后端则是两个解码器，分别是车道线检测分支模块和可行驶区域分割分支模块，这两个解码器分别将从颈部网络(即膨胀卷积残差模块)输出的图像特征进行三次上采样，从而将图像还原到原来的1280×720的大小。
在这两个解码器之间本发明还设计了一个特征共享模块，将可行使区域分割分支模块第一次上采样出来的特征图与车道线检测分支模块第一次上采样出来的特征图进行Add操作，然后将经过Add操作过后的特征图输入到车道线检测分支模块中进行第二次上采样。由于可行驶区域和车道线是相互交融的目标，使用特征共享模块可以将可行驶区域分割分支模块的特征信息共享到车道线检测分支模块任务中，从而为车道线检测提供有益的信息进而提高车道线检测的精度。
在整个网络模型训练环节，传统端到端的训练方式是最简单的，但是消耗计算和训练时间，所以为了压缩训练时间和优化参数本发明设计了一种全新的交替优化算法，逐步训练本发明的模型。
本发明还提出了一种用于交通道路路面信息的多任务检测方法，包括如下步骤：
S1图像预处理；
S2对预处理后的图像进行切片处理；
S3对S2切片处理后的图像进行融合坐标注意力机制的特征提取；
S4对提取的特征进行特征融合并增强感受野；
S5对融合后的特征进行可行使区域分割以及车道线检测，针对增强了感受野的特征进行三次上采样，将图像还原到原始大小；
S6对S5得到的特征图进行特征共享，将可行使区域分割时第一次上采样出来的特征图与车道线检测的第一次上采样出来的特征图进行Add操作，然后将经过Add操作过后的特征图输入到车道线检测分支中进行第二次上采样。
进一步，所述S1的预处理包括：对输入的图像和标签进行调整大小处理，调整图像的色调和饱和度以及对图像进行随机旋转、缩放、平移、裁剪和翻转，进行归一化和边界补零处理得到具有三通道的数字式的图像。
进一步，所述S2的切片处理，是在一张图片中每隔一个像素得到一个值，类似于临近下采样，由一张图片得到四张图片，可以将W、H维度的信息集中到通道空间中，输入通道扩张到原本的四倍，最终可以得到没有信息丢失情况下的二倍下采样图。
进一步，所述S3的特征提取：使用改进后的CSPDarknet53来提取图片特征，对切片后的图像进行三次下采样，所述CSPDarkNet53的改进是在CBL模块和CSP模块之间融入了坐标注意力机制，坐标注意力机制是在SE和CBAM这两个注意力机制的基础上做出的改进，坐标注意力机制为使用两个独立并行的1D全局池化操作，分别沿垂直方向和水平方向将输入特征聚合为两个单独的方向感知特征映射，这两个具有嵌入方向特定信息的特征映射随后分别编码为两个注意映射，每个注意映射捕获输入特征图沿一个空间方向的远距离依赖关系，经过以上操作位置信息就可以保存在生成的注意映射中，然后通过乘法将两个注意力映射应用于输入特征映射，以强调兴趣的表示。
进一步，所述S4的特征融合，通过在特征金字塔网络末端增加了膨胀卷积残差模块，融合多尺度的特征信息，在卷积过程中引入膨胀率，通过设定膨胀率的参数值来控制卷积核各点之间的间距，当膨胀率d为1时，3×3的膨胀卷积相当于标准卷积，单层感受野只有3×3大小；当膨胀卷积d为3时，单层感受野增大到7×7大小；其中，膨胀卷积残差模块采用了四层3×3卷积，这四层卷积的膨胀率按照递增形式配合以增强可行驶区域分割任务和车道线检测任务的远距离信息联系，使用三个膨胀卷积残差模块以增强模型的感受野，让每个卷积输出都包含较大范围的信息。
本发明的有益效果：
1)本发明提出了一种专注于路面信息的多任务联合感知网络模型RSI-Net，可用于同时检测车道线和可行驶区域。
2)本发明将坐标注意力机制融入了传统的特征提取网络中保证不增加计算量的同时增强特征提取效果，
3)在颈部网络中，本发明创新性地提出了膨胀卷积残差模块以增强网络对细节的预测性能，解码器部分则将可行驶区域的特征共享到车道线检测中以增强复杂路况下车道线检测效果。
4)在训练环节，本发明提出了一种新颖的交替优化训练方法以提高模型整体的分割性能。
5)本发明的模型在具有挑战性的BDD100K数据集中取得了非常高的准确性和优异的速度表现，可行驶区域分割的mIoU达到92.51％，车道线检测准确率和IoU分别是87.29％和32.12％，并且整体推理速度达到39FPS，检测效果优于传统的单任务网络模型。
附图说明
图1为发明实施流程图
图2为RSI-Net网络整体框架图
图3为Focus切片示意图
图4为CSP模块构成图
图5为坐标注意力机制结构图
图6为不同膨胀率下的感受野示意图
图7为膨胀卷积残差结构图
图8为特征共享模块结构图
具体实施方式
本发明提出了一种用于交通道路路面信息的多任务联合感知网络模型及检测方法，可同时检测车道线和可行驶区域，将坐标注意力机制融入了传统的特征提取网络中保证不增加计算量的同时增强特征提取效果，在颈部网络中，本发明创新性地提出了膨胀卷积残差模块以增强网络对细节的预测性能，解码器部分则将可行驶区域的特征共享到车道线检测中以增强复杂路况下车道线检测效果。在训练环节，提出一种新颖的交替优化训练方法以提高模型整体的分割性能。本发明在具有挑战性的BDD100K数据集中取得了非常高的准确性和优异的速度表现，可行驶区域分割的mIoU达到92.51％，车道线检测准确率和IoU分别是87.29％和32.12％，并且整体推理速度达到39FPS，检测效果优于传统的单任务网络模型。
下面结合附图对本发明作进一步说明。
如图1、2所示，本发明的实施包含以下步骤：
Step1数据预处理
首先准备好用于模型训练的带有标注的数据集：BDD100K数据集。在模型训练时，使用以下方法进行图像的预处理。(1)从本地文件加载数据集。(2)从本地文件加载标签 文件。(3)对输入的图像和标签进行调整大小处理。(4)调整图像的色调和饱和度以及对图像进行随机旋转、缩放、平移、裁剪和翻转，以增强模型的鲁棒性。(5)进行归一化和边界补零处理得到具有三通道的数字形式的图像。
Step2利用Focus切片模块对图像进行切片处理
在特征提取之前本发明使用了Focus模块对图形进行了切片处理，如图3所示是Focus切片操作的示意图，该操作是在一张图片中每隔一个像素得到一个值，类似于临近下采样，由一张图片得到四张图片就可以将W、H维度的信息集中到通道空间中，输入通道扩张到原本的四倍，最终可以得到没有信息丢失情况下的二倍下采样图。该模块最主要的作用是保证原始信息不丢失的情况下提高感受野，其并不是增加网络的精度，而是为了减少模型的计算量、提高模型的推理速度。
Step3融合坐标注意力机制的特征提取
在主干网络中，本发明使用改进后的CSPDarknet53来提取图片特征，对切片后的图像进行三次下采样。传统的CSPDarkNet53在YOLOv4中展示出了优异的特征提取能力，在本发明的网络模型中使用该网络结构作为主干网络的优点主要包含两方面：首先在不损失检测精度的前提下，提升卷积网络对特征提取的能力，从而提升模型整体的检测速度；其次是降低整个模型的计算损耗，使得模型在配置简单的CPU上也能执行高效的学习和训练。
CSPDarkNet53主要包含两个模块分别是CBL模块和CSP模块，如图4所示是CSP模块结构示意图，CBL模块分别是由卷积层、标准正则化和Leaky_relu激活函数组成，CSP模块则是借鉴CSPNet网络结构的思路先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证较高的准确率。
本发明对传统的CSPDarkNet53的改进就是在CBL模块和CSP模块之间融入了坐标注意力机制，如图5所示是坐标注意力机制的二维结构图。坐标注意力机制是在SE和CBAM这两个注意力机制的基础上做出的改进。SE注意力机制只关注了通道之间的联系，而忽略了位置信息，位置信息对于视觉任务中捕获目标结构至关重要；CBAM则是通过对每个位置的多个通道取最大值和平均值来作为加权系数，因此这种加权只考虑了局部范围的信息，从而无法获取长范围依赖的信息。坐标注意力机制为了避免2D池化造成的位置信息损失便使用两个独立并行的1D全局池化操作，分别沿垂直方向和水平方向将输入特征聚合为两个单独的方向感知特征映射，这两个具有嵌入方向特定信息的特征映射随后分别编码为两个注意映射，每个注意映射捕获输入特征图沿一个空间 方向的远距离依赖关系。经过以上操作位置信息就可以保存在生成的注意映射中，然后通过乘法将两个注意力映射应用于输入特征映射，以强调兴趣的表示。该方法不仅能够获取跨通道的特征信息，而且可以捕获方向感知信息和位置感知信息。由于车道线和可行使区域属于纵深目标，在特征提取网络中融入坐标注意力机制有助于模型更加精确地识别和定位路面上的车道线目标以及提升可行驶区域的分割效果。
Step4设计颈部网络，进行特征融合
颈部网络本发明采用的特征融合模块是经典的特征金字塔网络，同时本发明还在颈部网络的末端结合了本发明提出的膨胀卷积残差模块。由于车道线是属于结构细长的目标并且可行使区域是属于空间纵深目标，这就要求本发明的网络模型既需要高层次的语义特征，又需要局部的细节特征，因此本发明采用特征金字塔网络来融合多尺度的特征信息。本发明颈部网络中的CSP模块是将原本的多个残差键替换成了多个CBL模块，从而减少了网络模型的计算量，增强了整体的推理速度。
针对本发明所设计的网络较为轻量化，在保证推理速度的同时难免会导致模型感受野不足的情况，因此本发明设计加入了膨胀卷积以增强模型的感受野，让每个卷积输出都包含较大范围的信息。膨胀卷积是指在卷积过程中引入膨胀率，通过设定膨胀率的参数值来控制卷积核各点之间的间距，相较于普通的卷积，在卷积核尺寸相同的时候，参数量不变，但是膨胀卷积的感受野更大，单层膨胀卷积的感受野大小遵循公式：
kd＝k+(k-1)(d-1)#(1)
式中：k为原始卷积核的感受野大小；kd为膨胀过后卷积核的感受野大小；d为膨胀率的大小。
如图6所示，当膨胀率d为1时，3×3的膨胀卷积相当于标准卷积，单层感受野只有3×3大小；当膨胀卷积d为3时，单层感受野增大到7×7大小。
本发明提出了一种基于膨胀卷积的残差模块，如图7所示，采用了四层3×3卷积，这四层卷积的膨胀率按照递增形式配合以增强可行驶区域分割任务和车道线检测任务的远距离信息联系。本发明在编码网络中使用三个膨胀卷积残差模块以增强模型的感受野，这样可以提高网络模型的检测精度，尤其对于远距离的车道线和可行驶区域的检测起到很大的作用。
Step 5可行使区域分割及车道线检测分支
解码器部分包含可行使区域分割头和车道线检测分割头，这两个分割头采用相同的 网络结构。本发明将膨胀卷积残差模块的底层馈送到两个分割分支当中，其大小为(W/8，H/8，256)。在经过三次上采样之后，本发明将从颈部网络输出的特征图恢复为(W，H，2)的大小。为了节约计算成本，本发明在上采样层中使用了最近插值法，而不是常规的反卷积。
Step 6特征共享
此外，本发明还设计了一个特征共享的环节，如图8所示是特征共享模块运行示意图。本发明将可行使区域分割头第一次上采样出来的特征图与车道线检测头第一次上采样出来的特征图进行Add操作，然后将经过Add操作过后的特征图输入到车道线检测头中进行第二次上采样。以下公式分别解释了Add操作。
在公式中，X和Y分别表示通道，i表示第i条通道，通道数量为c，K表示相应通道的权重。
由于可行驶区域和车道线是相互交融的目标，使用特征共享模块可以将可行驶区域分割部分的特征信息共享到车道线检测任务中从而为车道线检测提供有益的信息进而提高车道线检测的精度。
Step 7模型训练与损失函数设置
由于本发明的网络中有两个解码器，多任务损失分别是可行区域分割损失和车道线分割损失这两种损失都包含交叉熵Logits的损失，其目的就是让网络模型输出的像素和目标之间的类别误差最小化。其中本发明在车道线损失中加入了IoU损失：
其中，TP表示被模型预测为正类的正样本，FP表示被模型预测为正类的负样本，FN表示被模型预测为负类的正样本。
和分别定义为：

总之，本发明的最终损失是两个部分的加权，如等式所示。
其中，γ1和γ2为调整因子，用来平衡总损耗的所有部分。
由于本发明模型是一个多任务联合检测网络，所以在训练过程中，本发明尝试使用不同的训练方式来训练本发明的模型。端到端的训练方式是最简单的，但是消耗计算和训练时间，所以为了压缩训练时间和优化参数本发明设计了一种全新的交替优化算法，逐步训练本发明的模型。在每个步骤中，模型都可以关注一个或多个相关任务，而不考虑那些不相关的任务。如表1所示，本发明的训练策略，具体为：第一步训练编码器和可行驶区域分割头；第二步冻结可行驶区域分割头的训练权重，解锁车道线检测分割头；第三步训练编码器和车道线检测分割头；第四步联合可行驶区域和车道线检测分割头训练；第五步重复以上训练步骤至效果最佳。
表1
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，包括：包括数据前处理模块、Focus切片模块、骨干网络特征提取模块、特征融合模块、膨胀卷积残差模块、车道线检测分支模块、可行驶区域分割分支模块、特征共享模块；
    数据前处理模块，对输入的二维图像进行预处理，在预处理过程中使用数据增强对图像的光度和几何形状进行改变，具体的操作是调整图像的色调和饱和度以及对图像进行随机旋转、缩放、平移、裁剪和翻转；
    Focus切片模块，对预处理后的图形进行切片处理，将图像中H和W维度的信息集中到通道空间中，从而使原有图像变成没有信息损失的二倍下采样图，接下来将处理好的图像传输到骨干网络特征提取模块中；
    骨干网络特征提取模块对切片后的图像进行三次下采样以提取更多图像特征；
    特征融合模块，接收骨干网络特征提取模块输出的图形特征，使得信息进一步融合；
    膨胀卷积残差模块，位于特征融合模块后面，其用于增强模型的感受野，让每个卷积输出都包含较大范围的信息；
    膨胀卷积残差模块的后端则是两个解码器，分别是车道线检测分支模块和可行驶区域分割分支模块，这两个解码器分别将从指膨胀卷积残差模块输出的图像特征进行三次上采样，将图像还原到原来的大小；
    特征共享模块，位于所述两个解码器之间，其将可行使区域分割分支模块第一次上采样出来的特征图与车道线检测分支模块第一次上采样出来的特征图进行Add操作，并将Add操作过后的特征图输入到车道线检测分支模块中进行第二次上采样。
  2. 根据权利要求1所述的一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，骨干网络特征提取模块，采用改进的CSPDarkNet53，本发明将坐标注意力机制融入到CSPDarkNet53中的CBL模块和CSP模块之间，这样从CBL模块中卷积出来的特征图分别沿着垂直方向和水平方向聚合为两个单独的方向感知特征映射，这两个具有嵌入方向特定信息的特征映射随后分别编码为两个注意映射，每个注意映射捕获输入特征图沿一个空间方向的远距离依赖关系。
  3. 根据权利要求1所述的一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，特征融合模块，采用特征金字塔网络FPN。
  4. 根据权利要求1所述的一种用于交通道路路面信息的多任务联合感知网络模型， 其特征在于，膨胀卷积残差模块，采用四层3×3卷积，这四层卷积的膨胀率按照递增形式配合以增强可行驶区域分割任务和车道线检测任务的远距离信息联系。
  5. 根据权利要求1-4任一项所述的一种用于交通道路路面信息的多任务联合感知网络模型，其特征在于，所述模型的损失函数包括可行区域分割损失函数和车道线分割损失函数这两种损失函数都包含交叉熵Logits的损失函数，其中在车道线损失函数中加入了IoU损失：
    则和分别设计为：

    模型最终的损失函数是两个损失函数的加权和：
    其中，γ1和γ2为调整因子；
    所述模型的训练采用交替优化算法，具体如下：
    第一步训练编码器和可行驶区域分割头；
    第二步冻结可行驶区域分割头的训练权重，解锁车道线检测分割头；
    第三步训练编码器和车道线检测分割头；
    第四步联合可行驶区域和车道线检测分割头训练；
    第五步重复以上训练步骤至效果最佳。
  6. 一种用于交通道路路面信息的多任务检测方法，其特征在于，包括如下步骤：
    S1图像预处理；
    S2对预处理后的图像进行切片处理；
    S3对S2切片处理后的图像进行融合坐标注意力机制的特征提取；
    S4对提取的特征进行特征融合并增强感受野；
    S5对融合后的特征进行可行使区域分割以及车道线检测，针对增强了感受野的特 征进行三次上采样，将图像还原到原始大小；
    S6对S5得到的特征图进行特征共享，将可行使区域分割时第一次上采样出来的特征图与车道线检测的第一次上采样出来的特征图进行Add操作，然后将经过Add操作过后的特征图输入到车道线检测分支中进行第二次上采样。
  7. 根据权利要求6所述的一种用于交通道路路面信息的多任务检测方法，其特征在于，所述S1的预处理包括：对输入的图像和标签进行调整大小处理，调整图像的色调和饱和度以及对图像进行随机旋转、缩放、平移、裁剪和翻转，进行归一化和边界补零处理得到具有三通道的数字式的图像。
  8. 根据权利要求6所述的一种用于交通道路路面信息的多任务检测方法，其特征在于，所述S2的切片处理，是在一张图片中每隔一个像素得到一个值，类似于临近下采样，由一张图片得到四张图片，可以将W、H维度的信息集中到通道空间中，输入通道扩张到原本的四倍，最终可以得到没有信息丢失情况下的二倍下采样图。
  9. 根据权利要求6所述的一种用于交通道路路面信息的多任务检测方法，其特征在于，所述S3的特征提取：使用改进后的CSPDarknet53来提取图片特征，对切片后的图像进行三次下采样，所述CSPDarkNet53的改进是在CBL模块和CSP模块之间融入了坐标注意力机制，坐标注意力机制是在SE和CBAM这两个注意力机制的基础上做出的改进，坐标注意力机制为使用两个独立并行的1D全局池化操作，分别沿垂直方向和水平方向将输入特征聚合为两个单独的方向感知特征映射，这两个具有嵌入方向特定信息的特征映射随后分别编码为两个注意映射，每个注意映射捕获输入特征图沿一个空间方向的远距离依赖关系，经过以上操作位置信息就可以保存在生成的注意映射中，然后通过乘法将两个注意力映射应用于输入特征映射，以强调兴趣的表示。
  10. 根据权利要求6所述的一种用于交通道路路面信息的多任务检测方法，其特征在于，所述S4的特征融合，通过在特征金字塔网络末端增加了膨胀卷积残差模块，融合多尺度的特征信息，在卷积过程中引入膨胀率，通过设定膨胀率的参数值来控制卷积核各点之间的间距，当膨胀率d为1时，3×3的膨胀卷积相当于标准卷积，单层感受野只有3×3大小；当膨胀卷积d为3时，单层感受野增大到7×7大小；其中，膨胀卷积残差模块采用了四层3×3卷积，这四层卷积的膨胀率按照递增形式配合以增强可行驶 区域分割任务和车道线检测任务的远距离信息联系，使用三个膨胀卷积残差模块以增强模型的感受野，让每个卷积输出都包含较大范围的信息。
PCT/CN2023/092501 2022-12-26 2023-05-06 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法 Ceased WO2024138993A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112023000135.9T DE112023000135T5 (de) 2022-12-26 2023-05-06 MULTI-TASK-VERBUND-ERFASSUNGSNETZWERKMODELL UND -ERKENNUNGSVERFAHREN FÜR INFORMATIONEN DER STRAßENOBERFLÄCHEN
JP2024503558A JP7665256B2 (ja) 2022-12-26 2023-05-06 交通道路路面情報用のマルチタスク共同知覚ネットワークモデル及び検出方法
US18/575,391 US12307789B2 (en) 2022-12-26 2023-05-06 Multi-task joint perception network model and detection method for traffic road surface information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211675099.6 2022-12-26
CN202211675099.6A CN115797881B (zh) 2022-12-26 2022-12-26 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法

Publications (1)

Publication Number Publication Date
WO2024138993A1 true WO2024138993A1 (zh) 2024-07-04

Family

ID=85427225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/092501 Ceased WO2024138993A1 (zh) 2022-12-26 2023-05-06 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法

Country Status (5)

Country Link
US (1) US12307789B2 (zh)
JP (1) JP7665256B2 (zh)
CN (1) CN115797881B (zh)
DE (1) DE112023000135T5 (zh)
WO (1) WO2024138993A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118470679A (zh) * 2024-07-10 2024-08-09 山东省计算中心（国家超级计算济南中心） 一种基于轻量级车道线分割识别方法及系统
CN118552929A (zh) * 2024-07-29 2024-08-27 南昌大学 一种基于改进YOLOv8n的交通目标检测方法及系统
CN118799563A (zh) * 2024-09-12 2024-10-18 华东交通大学 基于YOLOv9和扩散模型的输电线路异物检测方法
CN119027676A (zh) * 2024-10-31 2024-11-26 华东交通大学 基于感知解析的桥梁图像多种病害分割算法及定量计算
CN119067990A (zh) * 2024-08-17 2024-12-03 江西师范大学 基于残差注意力与多尺度特征聚合的视网膜图像分割方法
CN119180947A (zh) * 2024-11-25 2024-12-24 中国人民解放军国防科技大学 基于形态特征差异学习的空间碎片智能检测方法和装置
CN119379613A (zh) * 2024-09-27 2025-01-28 西南交通大学 一种混凝土结构病害实时视觉感知方法及手持式设备
CN119475074A (zh) * 2024-09-09 2025-02-18 清华大学 一种基于自适应混合专家模型的自动驾驶多任务感知方法
CN119478401A (zh) * 2024-10-30 2025-02-18 西安电子科技大学 基于注意力边界增强和聚合金字塔的城市街景图像实时语义分割方法
CN119516458A (zh) * 2024-10-15 2025-02-25 南京大学 一种慢速设备运行状态检测方法、电子设备及存储介质
CN119600436A (zh) * 2024-11-14 2025-03-11 安徽大学 一种遥感影像小目标检测方法、设备、介质及产品
CN119672348A (zh) * 2025-02-21 2025-03-21 智洋创新科技股份有限公司 一种轻量化的闪电图像实例分割方法
CN119863613A (zh) * 2025-03-24 2025-04-22 南昌大学 基于自适应感知注意力的实时交通目标检测方法及系统
CN119887902A (zh) * 2024-11-13 2025-04-25 安徽工业大学 应用点云处理的转炉安装位置偏差检测方法
CN119919658A (zh) * 2024-12-31 2025-05-02 耕宇牧星(北京)空间科技有限公司 一种基于多级特征聚合与分割的遥感图像目标分割方法
CN120014354A (zh) * 2025-01-22 2025-05-16 南京交通职业技术学院 一种基于自适应特征提取与多尺度增强的目标检测方法及系统
CN120032277A (zh) * 2025-01-22 2025-05-23 复旦大学 一种基于改进detr的面向无人机图像的小目标检测方法
CN120339675A (zh) * 2025-03-03 2025-07-18 沈阳化工大学 一种污水处理的污泥状态异常识别检测方法
CN120355593A (zh) * 2025-06-24 2025-07-22 厦门大学 一种基于仿生视觉的图像增强装置、水下目标检测系统及方法
CN120355940A (zh) * 2025-06-18 2025-07-22 天津长芦汉沽盐场有限责任公司 基于轻量化神经网络模型的输电线路弧垂检测方法及系统
CN120495846A (zh) * 2025-07-17 2025-08-15 长安大学 一种用于积水区域的检测、形态分析及测距方法及系统
CN120708112A (zh) * 2025-08-26 2025-09-26 吉林大学 基于图形处理的雪场无人机图像安全状态分析方法
CN120852801A (zh) * 2025-09-19 2025-10-28 中国计量大学 基于多尺度旋转可变形注意力模块的红外小目标检测方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797881B (zh) 2022-12-26 2026-03-03 江苏大学 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法
CN116503834A (zh) * 2023-04-10 2023-07-28 江苏大学 一种基于语义分割的交通路面附着系数预测模型及预测方法
CN117173653A (zh) * 2023-04-17 2023-12-05 东华大学 一种基于改进yolop的自动驾驶全景感知方法
CN116778446B (zh) * 2023-06-26 2025-11-07 华侨大学 一种车道线快速检测方法、装置及可读介质
CN116665176B (zh) * 2023-07-21 2023-09-26 石家庄铁道大学 一种面向车辆自动驾驶的多任务网络道路目标检测方法
CN117036301A (zh) * 2023-08-14 2023-11-10 深圳云天励飞技术股份有限公司 一种道路病害检测方法、装置和设备
KR102606750B1 (ko) * 2023-09-08 2023-11-29 메이사플래닛 주식회사 도로 추출 장치 및 방법
CN117152419B (zh) * 2023-10-11 2024-03-29 中国矿业大学 一种矿井架空乘人装置人员违规携带物品的检测方法及系统
CN119399732A (zh) * 2024-10-25 2025-02-07 哈尔滨工业大学（威海） 基于深度学习的非结构化道路可行驶区域识别方法和程序
CN119131736B (zh) * 2024-11-11 2025-02-14 江西师范大学 一种基于聚合式提示增强的路面交通标线检测方法
CN119339380B (zh) * 2024-12-20 2025-05-06 深圳市大数据研究院 基于自动驾驶场景的图像标注方法、装置、设备及介质
CN119851108B (zh) * 2025-01-03 2025-10-10 中国海洋大学 一种基于rt-detr改进的水下目标检测系统及方法
CN119579629B (zh) * 2025-01-17 2025-10-03 长沙理工大学 边缘增强的路面裂缝分割网络处理方法及系统
CN119559605B (zh) * 2025-01-20 2025-04-29 杭州电子科技大学 基于可学习线锚和kan网络检测头的车道线检测方法
CN119919429B (zh) * 2025-01-21 2026-02-24 东南大学 一种基于轻量化深度学习和se注意力机制的混凝土物相分割方法
CN119540901B (zh) * 2025-01-23 2025-04-15 江西师范大学 一种基于高效视觉变换的路面交通标线检测方法
CN119575367B (zh) * 2025-01-24 2025-05-02 山东浪潮科学研究院有限公司 一种隐藏目标的相机和雷达信号融合的方法、设备及介质
CN119649310B (zh) * 2025-02-18 2025-05-16 湘潭大学 一种应用于输电线路破损绝缘子的实时巡检方法
CN119722462B (zh) * 2025-02-27 2025-05-27 北京大学 基于扩散模型和多模态大语言模型的遥感影像超分辨率方法及产品
CN120219914B (zh) * 2025-03-10 2026-01-02 成都老板创新科技有限公司 目标检测方法和程序产品
CN119832220B (zh) * 2025-03-14 2025-06-03 安徽中科大国祯信息科技有限责任公司 一种基于多维度注意力机制的低照度目标检测方法
CN120279248B (zh) * 2025-03-21 2025-10-03 广东工业大学 一种智能侦察装备的结合u型网络和补丁注意力红外图像弱小目标检测方法
CN119884410B (zh) * 2025-03-31 2025-07-08 中国科学院空天信息创新研究院 一种全局-局部解码的遥感影像路网提取方法
CN119964090A (zh) * 2025-04-09 2025-05-09 中国铁道科学研究院集团有限公司电子计算技术研究所 一种轨道交通人员检测方法、设备及存储介质
CN119992073B (zh) * 2025-04-11 2025-07-04 江南大学 一种基于目标检测的井盖隐患检测方法
CN120031872B (zh) * 2025-04-21 2025-07-18 河南科技学院 一种基于深度学习的印刷电路板表面缺陷检测方法
CN120047776B (zh) * 2025-04-23 2025-07-01 浙江省交通运输科学研究院 基于Retinex-DCE-YOLOv5s的隧道机电设备识别方法及系统
CN120126100A (zh) * 2025-05-09 2025-06-10 北京茵沃汽车科技有限公司 多任务处理模型的训练方法、多任务处理方法及相关装置
CN120526169B (zh) * 2025-05-15 2026-02-10 石家庄铁道大学 一种跨模态共注意光场显著目标检测方法
CN120526397A (zh) * 2025-05-27 2025-08-22 北京理工大学前沿技术研究院 一种用于全面的驾驶感知的多任务检测方法
CN120563514B (zh) * 2025-07-31 2025-09-26 山东科技大学 基于改进实时目标检测模型的工业表面缺陷检测方法
CN121095908B (zh) * 2025-11-07 2026-04-14 之江实验室 基于增强型cbam模块的城市交通可通行域检测方法
CN121214178B (zh) * 2025-12-01 2026-02-03 华东交通大学 一种图形商标识别方法及装置
CN121259307B (zh) * 2025-12-05 2026-04-10 中电科新型智慧城市研究院有限公司 训练多任务目标检测模型的方法、多任务目标检测的方法
CN121353873B (zh) * 2025-12-17 2026-03-27 无锡车联天下智能科技股份有限公司 一种基于YOLOv8的路面坑洼及小型路障检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882620A (zh) * 2020-06-19 2020-11-03 江苏大学 一种基于多尺度信息道路可行驶区域分割方法
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
WO2021110166A1 (zh) * 2019-12-06 2021-06-10 华为技术有限公司 道路结构检测方法及装置
CN115223130A (zh) * 2022-09-20 2022-10-21 南京理工大学 基于改进YOLOv5的多任务全景驾驶感知方法与系统
WO2022237139A1 (zh) * 2021-05-14 2022-11-17 淮阴工学院 一种基于LaneSegNet的车道线检测方法及系统
US11527074B1 (en) * 2021-11-24 2022-12-13 Continental Automotive Technologies GmbH Systems and methods for deep multi-task learning for embedded machine vision applications
CN115482518A (zh) * 2022-09-26 2022-12-16 大连理工大学 一种面向交通场景的可扩展多任务视觉感知方法
CN115797881A (zh) * 2022-12-26 2023-03-14 江苏大学 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111380545B (zh) * 2015-02-10 2024-11-12 御眼视觉技术有限公司 用于自主车辆导航的方法、服务器、自主车辆以及介质
JP6798860B2 (ja) * 2016-11-29 2020-12-09 株式会社Ｓｏｋｅｎ 境界線推定装置
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
CN108830199B (zh) * 2018-05-31 2021-04-16 京东方科技集团股份有限公司 识别交通灯信号的方法、装置、可读介质及电子设备
US11927457B2 (en) * 2019-07-10 2024-03-12 Deka Products Limited Partnership System and method for real time control of an autonomous device
CN110378976B (zh) * 2019-07-18 2020-11-13 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
JP7359715B2 (ja) * 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
CN111340048B (zh) * 2020-02-28 2022-02-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111860155B (zh) * 2020-06-12 2022-04-29 华为技术有限公司 一种车道线的检测方法及相关设备
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN120372239A (zh) * 2021-02-26 2025-07-25 华为技术有限公司 一种特征提取的方法以及装置
US20240193923A1 (en) * 2021-04-28 2024-06-13 Beijing Baidu Netcom Science Technology Co., Ltd. Method of training target object detection model, method of detecting target object, electronic device and storage medium
CN113822314B (zh) * 2021-06-10 2024-05-28 腾讯云计算（北京）有限责任公司 图像数据处理方法、装置、设备以及介质
CN114359873B (zh) * 2022-01-06 2024-04-26 中南大学 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法
CN114462555B (zh) * 2022-04-13 2022-08-16 国网江西省电力有限公司电力科学研究院 基于树莓派的多尺度特征融合配电网设备识别方法
CN114821246B (zh) * 2022-06-28 2022-10-14 山东省人工智能研究院 基于多层次残差网络感知和注意力机制的小目标检测方法
CN115273005A (zh) * 2022-07-15 2022-11-01 哈尔滨理工大学 一种基于改进yolo算法的视觉导航车环境感知方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021110166A1 (zh) * 2019-12-06 2021-06-10 华为技术有限公司 道路结构检测方法及装置
CN111882620A (zh) * 2020-06-19 2020-11-03 江苏大学 一种基于多尺度信息道路可行驶区域分割方法
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
WO2022237139A1 (zh) * 2021-05-14 2022-11-17 淮阴工学院 一种基于LaneSegNet的车道线检测方法及系统
US11527074B1 (en) * 2021-11-24 2022-12-13 Continental Automotive Technologies GmbH Systems and methods for deep multi-task learning for embedded machine vision applications
CN115223130A (zh) * 2022-09-20 2022-10-21 南京理工大学 基于改进YOLOv5的多任务全景驾驶感知方法与系统
CN115482518A (zh) * 2022-09-26 2022-12-16 大连理工大学 一种面向交通场景的可扩展多任务视觉感知方法
CN115797881A (zh) * 2022-12-26 2023-03-14 江苏大学 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118470679A (zh) * 2024-07-10 2024-08-09 山东省计算中心（国家超级计算济南中心） 一种基于轻量级车道线分割识别方法及系统
CN118552929A (zh) * 2024-07-29 2024-08-27 南昌大学 一种基于改进YOLOv8n的交通目标检测方法及系统
CN119067990A (zh) * 2024-08-17 2024-12-03 江西师范大学 基于残差注意力与多尺度特征聚合的视网膜图像分割方法
CN119475074A (zh) * 2024-09-09 2025-02-18 清华大学 一种基于自适应混合专家模型的自动驾驶多任务感知方法
CN118799563A (zh) * 2024-09-12 2024-10-18 华东交通大学 基于YOLOv9和扩散模型的输电线路异物检测方法
CN119379613A (zh) * 2024-09-27 2025-01-28 西南交通大学 一种混凝土结构病害实时视觉感知方法及手持式设备
CN119516458A (zh) * 2024-10-15 2025-02-25 南京大学 一种慢速设备运行状态检测方法、电子设备及存储介质
CN119516458B (zh) * 2024-10-15 2025-10-24 南京大学 一种慢速设备运行状态检测方法、电子设备及存储介质
CN119478401B (zh) * 2024-10-30 2025-09-26 西安电子科技大学 基于注意力边界增强和聚合金字塔的城市街景图像实时语义分割方法
CN119478401A (zh) * 2024-10-30 2025-02-18 西安电子科技大学 基于注意力边界增强和聚合金字塔的城市街景图像实时语义分割方法
CN119027676A (zh) * 2024-10-31 2024-11-26 华东交通大学 基于感知解析的桥梁图像多种病害分割算法及定量计算
CN119887902A (zh) * 2024-11-13 2025-04-25 安徽工业大学 应用点云处理的转炉安装位置偏差检测方法
CN119600436A (zh) * 2024-11-14 2025-03-11 安徽大学 一种遥感影像小目标检测方法、设备、介质及产品
CN119180947A (zh) * 2024-11-25 2024-12-24 中国人民解放军国防科技大学 基于形态特征差异学习的空间碎片智能检测方法和装置
CN119919658A (zh) * 2024-12-31 2025-05-02 耕宇牧星(北京)空间科技有限公司 一种基于多级特征聚合与分割的遥感图像目标分割方法
CN120014354A (zh) * 2025-01-22 2025-05-16 南京交通职业技术学院 一种基于自适应特征提取与多尺度增强的目标检测方法及系统
CN120032277A (zh) * 2025-01-22 2025-05-23 复旦大学 一种基于改进detr的面向无人机图像的小目标检测方法
CN119672348A (zh) * 2025-02-21 2025-03-21 智洋创新科技股份有限公司 一种轻量化的闪电图像实例分割方法
CN120339675A (zh) * 2025-03-03 2025-07-18 沈阳化工大学 一种污水处理的污泥状态异常识别检测方法
CN120339675B (zh) * 2025-03-03 2026-03-17 沈阳化工大学 一种污水处理的污泥状态异常识别检测方法
CN119863613A (zh) * 2025-03-24 2025-04-22 南昌大学 基于自适应感知注意力的实时交通目标检测方法及系统
CN120355940A (zh) * 2025-06-18 2025-07-22 天津长芦汉沽盐场有限责任公司 基于轻量化神经网络模型的输电线路弧垂检测方法及系统
CN120355593A (zh) * 2025-06-24 2025-07-22 厦门大学 一种基于仿生视觉的图像增强装置、水下目标检测系统及方法
CN120495846A (zh) * 2025-07-17 2025-08-15 长安大学 一种用于积水区域的检测、形态分析及测距方法及系统
CN120708112A (zh) * 2025-08-26 2025-09-26 吉林大学 基于图形处理的雪场无人机图像安全状态分析方法
CN120852801A (zh) * 2025-09-19 2025-10-28 中国计量大学 基于多尺度旋转可变形注意力模块的红外小目标检测方法
CN120852801B (zh) * 2025-09-19 2026-02-10 中国计量大学 基于多尺度旋转可变形注意力模块的红外小目标检测方法

Also Published As

Publication number Publication date
US12307789B2 (en) 2025-05-20
US20240420487A1 (en) 2024-12-19
CN115797881A (zh) 2023-03-14
DE112023000135T5 (de) 2024-08-22
JP2025503828A (ja) 2025-02-06
JP7665256B2 (ja) 2025-04-21
CN115797881B (zh) 2026-03-03

Similar Documents

Publication Publication Date Title
WO2024138993A1 (zh) 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN112801027B (zh) 基于事件相机的车辆目标检测方法
CN111582201A (zh) 一种基于几何注意力感知的车道线检测系统
CN113077505A (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN110414387A (zh) 一种基于道路分割的车道线多任务学习检测方法
CN111340844A (zh) 基于自注意力机制的多尺度特征光流学习计算方法
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN117475145B (zh) 融合多重注意力机制的多尺度遥感影像语义分割方法及系统
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
CN120877528B (zh) 基于无人机视觉的道路车辆速度与车距检测的方法、系统及设备
CN114764856B (zh) 图像语义分割方法和图像语义分割装置
CN114581762A (zh) 一种基于多尺度条形池化和金字塔池化的道路提取方法
CN116681976A (zh) 用于红外小目标检测的渐进式特征融合方法
CN114821064A (zh) 基于多光谱图像融合的森林非结构化场景分割方法
CN116188779A (zh) 一种基于UFLane-Detection的车道线检测方法
CN115937704A (zh) 基于拓扑感知神经网络的遥感图像道路分割方法
CN121121578B (zh) 无人机航拍目标检测方法、设备及存储介质
CN119007149A (zh) 一种面向低光照度场景的实时交通目标检测方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN121392794A (zh) 一种针对智能无人车小目标的轻量化检测方法
CN115497069A (zh) 基于双向分离注意力的车道线检测与分类方法及系统
CN114332840A (zh) 一种无约束场景下的车牌识别方法
CN118552767A (zh) 一种基于统一空间的多模态融合的3d目标检测方法
CN116524420A (zh) 一种交通场景下的关键目标检测方法及系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2024503558

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112023000135

Country of ref document: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23908942

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18575391

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 23908942

Country of ref document: EP

Kind code of ref document: A1