WO2024227286A1 - 一种轻量快速准确的自监督深度估计方法及系统 - Google Patents

一种轻量快速准确的自监督深度估计方法及系统 Download PDF

Info

Publication number
WO2024227286A1
WO2024227286A1 PCT/CN2023/092055 CN2023092055W WO2024227286A1 WO 2024227286 A1 WO2024227286 A1 WO 2024227286A1 CN 2023092055 W CN2023092055 W CN 2023092055W WO 2024227286 A1 WO2024227286 A1 WO 2024227286A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth estimation
feature map
network model
input
estimation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/092055
Other languages
English (en)
French (fr)
Inventor
王飞
程俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to PCT/CN2023/092055 priority Critical patent/WO2024227286A1/zh
Publication of WO2024227286A1 publication Critical patent/WO2024227286A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Definitions

  • the present application relates to the field of computer vision and image processing technology, and in particular to a lightweight, fast and accurate self-supervised depth estimation method and system.
  • the ability to accurately recover the depth information of a scene from a two-dimensional image helps to better understand the three-dimensional structure of the scene and the distance relationship between the current camera and objects in the scene, thereby assisting in completing various visual tasks such as obstacle avoidance and endoscopic surgery.
  • a complex depth estimation network model is often required to fit the data distribution characteristics in the input image, and a complex depth estimation network model often increases the time complexity and space complexity of the algorithm, causing the algorithm's reasoning speed to slow down and the number of model parameters to increase.
  • the present application provides a lightweight, fast and accurate self-supervised depth estimation method and system.
  • the present application provides a lightweight, fast and accurate self-supervised depth estimation method, characterized by comprising:
  • the initial image data set is a two-dimensional image data set consisting of a monocular image sequence
  • a weighted coefficient matrix calculation module to calculate the contribution of feature maps under different paths to the final output feature map.
  • the original input feature map and the sparsely coded feature map are pixel-wise fused to construct a sparse coding module.
  • a small depth estimation network model is constructed, and the input data is input into the small depth estimation network model to obtain an estimation result.
  • the step of obtaining an initial image data set and preprocessing the initial image data set to obtain input data further includes the following steps:
  • the preliminary processed data is converted to obtain the input data, where the input data is C ⁇ H ⁇ W tensor data, and the batch dimension is omitted in the input data, wherein C represents the channel dimension size of the sample, H represents the height of the input sample image, and W represents the width of the input sample image.
  • the step of constructing a weighted coefficient matrix calculation module further includes the following steps:
  • the average value of the feature map under each path is calculated And each path under The average value of the feature map Splicing is performed along the channel dimension to obtain a mixed feature map
  • the final output feature map is calculated based on the Softmax function probability values in different channels but at the same spatial position, and forming a weighting coefficient matrix according to the probability values;
  • C is the number of channels of the feature map
  • H is the height of the feature map
  • W is the width of the feature map
  • N is the number of paths
  • r is the expansion coefficient
  • ⁇ hs ( ⁇ ) represents the activation function
  • the original input feature map and the sparsely coded feature map are pixel-wise fused according to the contribution degree to construct a sparse coding module, and the following steps are also included:
  • the input feature map and the sparse feature map are fused at pixel level.
  • performing sparse modeling in the high-dimensional channel space of the input feature map to obtain a sparse feature map further includes the following steps:
  • the step of calculating the contribution degree according to the weighted coefficient matrix calculation module and fusing the input feature map with the sparse feature map at the pixel level further includes the following steps:
  • the constructing of a small depth estimation network model based on the weighted coefficient matrix calculation module and the sparse coding module further includes the following steps:
  • the small depth estimation network model adopts an encoder-decoder structure, which converts The encoder and the decoder are divided into 5 stages.
  • the input feature map of the encoder stage i ⁇ 0,1,2,3,4 ⁇ is given as
  • the small depth estimation network model is trained using photometric loss and function approximation loss as supervisory signals, driving the small depth estimation network model to simulate the data distribution characteristics of the feature maps of each stage of the high-precision depth estimation model to optimize the depth estimation accuracy of the small depth estimation network model.
  • the present application provides a lightweight, fast and accurate self-supervised depth estimation system, comprising:
  • An input module is used to obtain an initial image data set and preprocess the initial image data set to obtain input data, wherein the initial image data set is a two-dimensional image data set consisting of a monocular image sequence;
  • a calculation module is used to construct a weighted coefficient matrix calculation module, which is used to calculate the contribution of feature maps under different paths to the final output feature map.
  • the original input feature map and the sparsely coded feature map are pixel-wise fused to construct a sparse coding module.
  • a processing module is used to construct a small depth estimation network model based on the weight coefficient matrix calculation module and the sparse coding module, and input the input data into the small depth estimation network model to obtain an estimation result.
  • the lightweight depth estimation system further includes:
  • a calibration module used to construct and train a large depth estimation network model using photometric loss as a supervisory signal to obtain a high-precision depth estimation model, and freeze the model weights of the high-precision depth estimation model;
  • An optimization module is used to use photometric loss and function approximation loss as supervision signals to train the small depth estimation network model, driving the small depth estimation network model to simulate the data distribution characteristics of the feature maps of each stage of the high-precision depth estimation model to optimize the depth estimation accuracy of the small depth estimation network model.
  • the present application provides a lightweight, fast and accurate self-supervised depth estimation method and system.
  • the lightweight, fast and accurate self-supervised depth estimation method and system calculates the contribution of feature maps under different paths to the final output feature map through a weighted coefficient matrix calculation module, thereby driving the feature maps of different paths to achieve more efficient pixel-level fusion; speeds up the inference speed of the model and reduces the number of model parameters through a sparse feature encoding module; drives the characteristics of each stage of a lightweight and fast small depth estimation model to approximate the complex and time-consuming large depth estimation network model through function approximation loss.
  • the distribution characteristics are used to improve the depth estimation accuracy of small models.
  • FIG1 is a flow chart of a lightweight, fast and accurate self-supervised depth estimation method shown in an exemplary embodiment of the present application
  • FIG2 is a schematic diagram of a process of obtaining input data shown in another exemplary embodiment of the present application.
  • FIG3 is a schematic diagram of a flow chart of constructing a weighting coefficient matrix calculation module and a sparse coding module according to another exemplary embodiment of the present application;
  • FIG4 is a schematic diagram of a process of sparse modeling according to another exemplary embodiment of the present application.
  • FIG5 is a schematic diagram of a process of fusing an input feature map with a sparse feature map according to another exemplary embodiment of the present application
  • FIG6 is a schematic diagram of a process of constructing a small depth estimation network model according to another exemplary embodiment of the present application.
  • FIG7 is a schematic diagram of a flow chart of introducing function approximation loss as an additional supervisory signal to train a lightweight depth estimation model, shown in another exemplary embodiment of the present application;
  • FIG8 is a schematic diagram of the structure of a lightweight, fast and accurate self-supervised depth estimation system shown in an exemplary embodiment of the present application;
  • FIG9 is a schematic diagram of a weighting coefficient matrix calculation module shown in an exemplary embodiment of the present application.
  • FIG10 is a schematic diagram of a sparse feature coding module shown in an exemplary embodiment of the present application.
  • FIG11 is a schematic diagram of a small depth estimation network model connection diagram shown in an exemplary embodiment of the present application.
  • FIG12 is a schematic block diagram of the overall training of a small depth estimation network model shown in an exemplary embodiment of the present application.
  • 700 lightweight depth estimation system
  • 710 input module
  • 720 calculation module
  • 730 processing module
  • 731 calibration module
  • 732 optimization module
  • the ability to accurately recover the depth information of a scene from a two-dimensional image helps to better understand the three-dimensional structure of the scene and the distance relationship between the current camera and objects in the scene, thereby assisting in completing various visual tasks such as obstacle avoidance and endoscopic surgery.
  • a complex depth estimation network model is often required to fit the data distribution characteristics in the input image, and a complex depth estimation network model often increases the time complexity and space complexity of the algorithm, causing the algorithm's reasoning speed to slow down and the number of model parameters to increase.
  • the present application provides a lightweight, fast and accurate self-supervised depth estimation method and system, which constructs a weighted coefficient matrix calculation module to simultaneously model the contextual dependency of pixels in the feature map under the same path, as well as the dependency relationship between feature maps of different paths, to calculate the contribution of feature maps under different paths to the feature map of the final output, and realizes pixel-level fusion of feature maps obtained from different paths according to their contribution; uses a sparse coding module to perform sparse modeling on channel information, speeds up the reasoning speed of the model, and reduces the parameters of the model; constructs a small depth estimation network model based on the weighted coefficient matrix calculation module and the sparse coding module; uses function approximation loss to drive the feature maps output at each stage of the small depth estimation network model to approximate the distribution characteristics of the feature maps output at the corresponding stage of the large depth estimation model, so as to improve the accuracy of the scene depth estimated by the small depth estimation network model.
  • FIG1 is a flow chart of a lightweight, fast and accurate self-supervised depth estimation method shown in an exemplary embodiment of the present application.
  • a lightweight, fast and accurate self-supervised depth estimation method is provided.
  • the method may include the following steps:
  • Step 100 obtaining an initial image data set, and preprocessing the initial image data set to obtain input data, wherein the initial image data set is a two-dimensional image data set consisting of a monocular image sequence;
  • Step 200 construct a weighted coefficient matrix calculation module to calculate the contribution of feature maps under different paths to the final output feature map.
  • the original input feature map and the sparsely coded feature map are pixel-wise fused to construct a sparse coding module.
  • Step 300 Based on the weight coefficient matrix calculation module and the sparse coding module, a small depth estimation network model is constructed, and the input data is input into the small depth estimation network model to obtain an estimation result.
  • this embodiment uses a weighted coefficient matrix calculation module to calculate the contribution of feature maps under different paths to the final output feature map, thereby driving the feature maps of different paths to achieve more efficient pixel-level fusion; and uses a sparse feature encoding module to speed up the model's reasoning speed and reduce the number of model parameters.
  • FIG. 2 is a schematic diagram of a flow chart of obtaining input data, shown in another exemplary embodiment of the present application.
  • the step of obtaining an initial image data set and preprocessing the initial image data set to obtain input data further includes the following steps:
  • Step 110 performing random flipping, random cropping and data normalization processing on the initial image data set to obtain preliminary processed data
  • Step 120 Convert the preliminary processed data to obtain the input data, where the input data is C ⁇ H ⁇ W tensor data, and the batch dimension is omitted in the input data, where C represents the channel dimension size of the sample, H represents the height of the input sample image, and W represents the width of the input sample image.
  • the input data can be used as the input of the depth estimation network and the camera posture network
  • FIG3 is a flowchart of constructing a weighting coefficient matrix calculation module and a sparse coding module shown in another exemplary embodiment of the present application
  • FIG9 is a schematic diagram of a weighting coefficient matrix calculation module shown in an exemplary embodiment of the present application.
  • the weighting coefficient matrix calculation module is constructed, further comprising the following steps:
  • Step 210 Given the feature graph of the i-th path
  • Step 220 Based on the channel dimension, calculate the average value of the feature map under each path And the average value of the feature map under each path Splicing is performed along the channel dimension to obtain a mixed feature map
  • Step 260 Calculate the final output feature map based on the Softmax function probability values in different channels but at the same spatial position, and forming a weighting coefficient matrix according to the probability values;
  • the mixed feature map is subjected to high-dimensional mapping.
  • the high-dimensional feature map is subjected to nonlinear mapping processing.
  • C is the number of channels of the feature map
  • H is the height of the feature map
  • W is the width of the feature map
  • N represents the number of paths
  • r is the expansion coefficient
  • ⁇ hs ( ⁇ ) represents the activation function
  • F exp ( ⁇ ), F mid ( ⁇ ), F squ ( ⁇ ) are feature mapping functions.
  • r is set to 2
  • the feature mapping functions F exp ( ⁇ ), F mid ( ⁇ ), F squ ( ⁇ ) can be implemented by a convolution kernel with a kernel size of 3 ⁇ 3 and a step size of 1.
  • this embodiment constructs a weighted coefficient matrix calculation module as shown in Figure 9.
  • the contribution of feature maps under different paths to the final output feature map is calculated.
  • the feature maps under different paths are weightedly fused at the pixel level according to the calculated pixel-level weights.
  • FIG. 10 is a schematic diagram of a sparse feature coding module shown in an exemplary embodiment of the present application.
  • the original input feature map and the sparsely coded feature map are pixel-wise fused according to the contribution degree to construct a sparse coding module, and the following steps are also included:
  • Step 270 Perform sparse modeling in the high-dimensional channel space of the input feature map to obtain a sparse feature map
  • Step 280 According to the contribution calculated by the weighting coefficient matrix calculation module, the input feature map and the sparse feature map are fused at pixel level.
  • FIG. 4 is a schematic diagram of a process of sparse modeling according to another exemplary embodiment of the present application.
  • performing sparse modeling in the high-dimensional channel space of the input feature map to obtain a sparse feature map further includes the following steps:
  • Step 271 Given an input feature map According to the formula Map the input feature map to the high-dimensional channel feature space to obtain a high-dimensional input feature map
  • Step 272 Based on the formula For the high-dimensional input feature map Each channel of is encoded separately to obtain a high-dimensional sparse feature map
  • the low-dimensional channel features are mapped to the high-dimensional channel feature space.
  • the high-dimensional input feature map is mapped to the high-dimensional channel feature space. Each channel is encoded separately.
  • FIG5 is a schematic diagram of a process of fusing an input feature map with a sparse feature map according to another exemplary embodiment of the present application.
  • the contribution degree calculated by the weighted coefficient matrix calculation module and the pixel-level fusion of the input feature map and the sparse feature map further include the following steps:
  • Step 281 Using the formula The high-dimensional sparse feature map Compressed to the input feature map The same feature space dimension, resulting in a sparse feature map
  • Step 282 According to the formula Calculate the weighted coefficient matrix of different path feature graphs And based on the formula Calculate the fused sparse feature map
  • this embodiment groups the feature graphs to be processed, uses dense modeling for the feature graphs within the group, and cuts off the information interaction between the groups, so as to speed up the inference time.
  • FIG6 is a schematic diagram of a process of constructing a small depth estimation network model according to another exemplary embodiment of the present application
  • FIG11 is a schematic diagram of a connection of a small depth estimation network model according to an exemplary embodiment of the present application.
  • the small depth estimation network model is constructed based on the weighted coefficient matrix calculation module and the sparse coding module, and further includes the following steps:
  • Step 310 The small depth estimation network model adopts the structure of encoder-decoder.
  • the encoder and decoder are divided into 5 stages according to the resolution of the output feature map.
  • the input feature map of the encoder stage i ⁇ 0,1,2,3,4 ⁇ is given as
  • Step 320 According to the formula Calculate the output characteristics of the encoder at stage i picture
  • Step 330 According to the formula Calculate the output feature map of the decoder at stage i
  • Step 340 Based on the formula Regression yields the disparity of the scene.
  • F spblock ( ⁇ ) is a sparse coding module
  • F down ( ⁇ ) is a convolution kernel function with a stride of 2 and a kernel size of 3 ⁇ 3
  • F disp ( ⁇ ) is a convolution kernel function with a kernel size of 3 ⁇ 3 and a stride of 1
  • a Sigmoid activation function The connection method is shown in Figure 11.
  • Figure 7 is a flowchart of another exemplary embodiment of the present application showing the introduction of function approximation loss as an additional supervisory signal to train a lightweight depth estimation model
  • Figure 12 is a schematic block diagram of the overall training of a small depth estimation network model shown in an exemplary embodiment of the present application.
  • Step 400 construct and train a large-scale depth estimation network model using photometric loss as a supervisory signal to obtain a high-precision large-scale depth estimation network model, and freeze the model weights of the high-precision large-scale depth estimation network model;
  • some embodiments of the present application first use the depth estimation network invented in the invention patent CN202111488926.6 "Depth estimation method, device, electronic device and storage medium of image” by Cheng Jun et al. as a large depth estimation network model, and train the large depth estimation network model, bridge network and camera posture network in a fully unsupervised manner to obtain a high-precision large depth estimation model, and then freeze the model weights of the trained large depth estimation network model and the bridge network.
  • Step 500 Use photometric loss and function approximation loss as supervisory signals to train the small depth estimation network model, driving the small depth estimation network model to simulate the data distribution characteristics of the feature maps of each stage of the high-precision depth estimation model to optimize the depth estimation accuracy of the small depth estimation network model.
  • the output feature maps of the i-th stage encoder and decoder of the small depth estimation network model are The disparity of the i-th scale is
  • the output feature maps of the encoder and decoder of the i-th stage of the large depth estimation network model are The disparity of the i-th scale is
  • this scheme uses the trained bridge network to compress the feature maps output by the encoder and decoder of each stage of the large depth estimation network model, so that the output of each stage of the small depth estimation network model approximates the feature map with more compact information.
  • this application uses photometric loss and function approximation loss as additional supervisory signals, and uses the image reconstruction objective function invented in the invention patent CN202110346713.3 "Image scene depth estimation method, device, terminal device and storage medium” by Wang Fei et al. as the photometric loss of this technical solution, and at the same time according to:
  • Step 600 Input the input data into the small depth estimation network model to obtain an estimation result.
  • the optimized small depth estimation network model can estimate the corresponding scene depth from a monocular image, and can also use the camera posture alone to estimate the relative posture between adjacent frame images.
  • this embodiment drives the features of each stage of the lightweight and fast small depth estimation model to approach the distribution characteristics of the feature maps of each stage of the complex and time-consuming large depth estimation network model through photometric loss and function approximation loss, thereby improving the depth estimation accuracy of the small model.
  • the present application also provides an embodiment of a lightweight, fast and accurate self-supervised depth estimation system using the same technical concept.
  • FIG8 is a schematic diagram of the structure of a lightweight, fast and accurate self-supervised depth estimation system shown in an exemplary embodiment of the present application.
  • the depth estimation system 700 includes:
  • An input module 710 is used to obtain an initial image data set and preprocess the initial image data set to obtain input data, wherein the initial image data set is a two-dimensional image data set consisting of a monocular image sequence;
  • a calculation module 720 is used to construct a weighted coefficient matrix calculation module, which is used to calculate the contribution of feature maps under different paths to the final output feature map, and at the same time, according to the contribution, the original input feature map and the sparsely coded feature map are pixel-wise fused to construct a sparse coding module;
  • the processing module 730 is used to construct a small depth estimation network model based on the weight coefficient matrix calculation module and the sparse coding module, and input the input data into the small depth estimation network model to obtain an estimation result.
  • the lightweight depth estimation system further includes:
  • a calibration module 731 is used to construct and train a large depth estimation network model using photometric loss as a supervisory signal to obtain a high-precision depth estimation model, and freeze the model weights of the high-precision depth estimation model;
  • the optimization module 732 is used to use the photometric loss and the function approximation loss as supervision signals to train the small depth estimation network model, driving the small depth estimation network model to simulate the data distribution characteristics of the feature maps of each stage of the high-precision depth estimation model to optimize the depth estimation accuracy of the small depth estimation network model.
  • Each module in the above-mentioned lightweight depth estimation system can be implemented in whole or in part by software, hardware and a combination thereof.
  • the above-mentioned modules can be embedded in or independent of the processor in the computer device in the form of hardware, or can be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the above modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉及图像处理技术领域，具体而言，涉及一种轻量快速准确的自监督深度估计方法及系统，一定程度上可以解决从二维图像中恢复出场景的深度，需要复杂的深度估计网络模型的问题。方法包括：获取初始图像数据集；构建加权系数矩阵计算模块及稀疏编码模块；基于加权系数矩阵计算模块及稀疏编码模块，构建小型深度估计网络模型，以加快算法推理速度，降低模型的参数量；同时构建并以光度损失作为监督信号训练大型深度估计网络模型；再使用光度损失及函数近似损失作为监督信号，训练小型深度估计网络模型，以优化小型深度估计网络模型的深度估计精度；最后，将输入数据输入小型深度估计网络模型，得到估计结果。

Description

一种轻量快速准确的自监督深度估计方法及系统 技术领域
本申请涉及计算机视觉及图像处理技术领域，具体而言，涉及一种轻量快速准确的自监督深度估计方法及系统。
背景技术
随着计算机视觉及图像处理技术的发展，能够从二维图像中准确的恢复出场景的深度信息有助于更好地理解场景的三维结构，了解当前相机与场景中物体之间的距离关系，从而协助完成避障、内窥镜手术等各种视觉任务。
但是，普通相机获取的是二维图像，丢失了场景的深度信息，通过神经网络的强大数据拟合能力，以全无监督的形式直接从单目视频中恢复的场景的深度，虽然得益于神经网络的强大数据拟合能力，其精度有了很大的提高。
但是，往往需要复杂的深度估计网络模型去拟合待输入图像中的数据分布特性，而复杂的深度估计网络模型往往会增加算法的时间复杂度和空间复杂度，致使算法的推理速度变慢，模型的参数量增加。
发明内容
为了解决现有技术通过神经网络从二维图像中恢复出场景的深度信息，需要复杂的深度估计网络模型，使得算法的推理速度变慢，模型的参数量增加的问题，本申请提供了一种轻量快速准确的自监督深度估计方法及系统。
本申请的实施例是这样实现的：
第一方面，本申请提供的一种轻量快速准确的自监督深度估计方法，其特征在于，包括：
获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，所述初始图像数据集为单目图像序列构成的二维图像数据集；
构建加权系数矩阵计算模块，用于计算不同路径下的特征图对最终输出特征图的贡献程度，同时，根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块；
基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，并将所述输入数据输入所述小型深度估计网络模型，得到估计结果。
在一种可能的实现方式中，所述获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，还包括以下步骤：
对所述初始图像数据集进行随机翻转、随机裁剪及数据归一化处理，得到初步处理数据；
对所述初步处理数据进行转换，得到所述输入数据，所述输入数据为C×H×W的张量数据，所述输入数据省略了batch维度，其中，C表示样本的通道维度大小，H表示输入样本图像的高度，W表示输入样本图像的宽度。
在一种可能的实现方式中，所述构建加权系数矩阵计算模块，还包括以下步骤：
给定第i条路径的特征图为
基于通道维度，计算得到每条路径下的特征图的平均值并将每条路径下的 特征图的平均值沿所述通道维度进行拼接，得到混合特征图
根据公式Xexp＝δhs(Fexp(Xfuse))，将所述混合特征图映射到高维空间，得到高维特征图
利用公式Xmid＝δhs(Fmid(Xexp))，对所述高维特征图进行非线性映射出处理，得到增强高维特征图
根据公式Xsqu＝Fsqu(Xmid)，将所述增强高维特征图映射到原始特征空间维度得到最终输出特征图
基于Softmax函数计算所述最终输出特征图在不同通道，但位于同一空间位置处的概率值，并根据所述概率值构成加权系数矩阵；
其中，C为特征图的通道数，H为特征图的高度，W为特征图的宽度，N表示路径的个数，r为膨胀系数，δhs(·)表示激活函数，Fexp(·),Fmid(·),Fsqu(·)为特征映射函数。
在一种可能的实现方式中，所述根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块，还包括以下步骤：
在输入特征图的高维通道空间进行稀疏建模，得到稀疏特征图；
根据所述加权系数矩阵计算模块计算出的贡献程度，并将输入特征图与所述稀疏特征图进行像素级融合。
在一种可能的实现方式中，所述在输入特征图的高维通道空间进行稀疏建模，得到稀疏特征图，还包括以下步骤：
给定输入特征图为根据公式将所述输入特征图映射到高维通道特征空间，得到高维输入特征图
基于公式对所述高维输入特征图的每个通道进行单独编码，得到高维稀疏特征图
在一种可能的实现方式中，所述根据所述加权系数矩阵计算模块计算出的贡献程度，并将输入特征图与所述稀疏特征图进行像素级融合，还包括以下步骤：
利用公式将所述高维稀疏特征图压缩至与所述输入特征图相同的特征空间维度，得到稀疏特征图
根据公式计算出不同路径下特征图的加权系数矩阵，并基于公式计算得到融合后的稀疏特征图
其中，和可以采用经济快速的核大小为1×1的卷积核函数实现，基于核大小为3×3的卷积核函数实现，代替对通道之间信息进行稠密建模，此处只对每一通道特征单独编码。
在一种可能的实现方式中，所述基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，还包括以下步骤：
所述小型深度估计网络模型采用编码器解码器的结构形式，根据输出特征图的分辨率将 所述编码器与所述解码器划分为5个阶段，给定编码器第i∈{0,1,2,3,4}阶段的输入特征图为
根据公式计算得出第i阶段编码器的输出特征图其中Fspblock(·)为稀疏编码模块，Fdown(·)是步长为2，核大小为3×3的卷积核函数；
根据公式计算得到第i阶段解码器的输出特征图
基于公式回归得到场景的视差。
在一种可能的实现方式中，在所述基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型之后，进一步包括以下步骤：
构建并以光度损失作为监督信号训练大型深度估计网络模型，得到高精度的大型深度估计网络模型，并冻结所述高精度的大型深度估计网络模型的模型权重；
使用光度损失及函数近似损失作为监督信号，训练所述小型深度估计网络模型，驱使所述小型深度估计网络模型模拟所述高精度的深度估计模型的各阶段的特征图的数据分布特性，以优化所述小型深度估计网络模型的深度估计精度。
第二方面，本申请提供一种轻量快速准确的自监督深度估计系统，包括：
输入模块，用于获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，所述初始图像数据集为单目图像序列构成的二维图像数据集；
计算模块，用于构建加权系数矩阵计算模块，用于计算不同路径下的特征图对最终输出特征图的贡献程度，同时，根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块；
处理模块，用于基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，并将所述输入数据输入所述小型深度估计网络模型，得到估计结果。
在一种可能的实现方式中，所述轻量深度估计系统还包括：
标定模块，用于构建并以光度损失作为监督信号训练大型深度估计网络模型，得到高精度的深度估计模型，并冻结所述高精度的深度估计模型的模型权重；
优化模块，用于使用光度损失及函数近似损失作为监督信号，训练所述小型深度估计网络模型，驱使所述小型深度估计网络模型模拟所述高精度的深度估计模型的各阶段的特征图的数据分布特性，以优化所述小型深度估计网络模型的深度估计精度。
本申请提供的技术方案至少可以达到以下有益效果：
本申请提供了一种轻量快速准确的自监督深度估计方法及系统，上述轻量快速准确的自监督深度估计方法及系统，通过加权系数矩阵计算模块来计算出不同路径下的特征图对最终输出特征图的贡献程度，以此驱使不同路径的特征图实现更高效的像素级融合；通过稀疏特征编码模块来加快模型的推理速度，并降低模型的参数量；通过函数近似损失驱使轻量快速的小型深度估计模型的各阶段特征逼近复杂耗时的大型深度估计网络模型各阶段特征图的分 布特性，以此来提高小模型的深度估计精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例示出的一种轻量快速准确的自监督深度估计方法的流程示意图；
图2是本申请另一示例性实施例示出的获取输入数据的流程示意图；
图3是本申请另一示例性实施例示出的构建加权系数矩阵计算模块及稀疏编码模块的流程示意图；
图4是本申请另一示例性实施例示出的稀疏建模的流程示意图；
图5是本申请另一示例性实施例示出的输入特征图与稀疏特征图进行融合的流程示意图；
图6是本申请另一示例性实施例示出的构建小型深度估计网络模型的流程示意图；
图7是本申请另一示例性实施例示出的引入函数近似损失作为额外的监督信号来训练轻量深度估计模型的流程示意图；
图8是本申请一示例性实施例示出的一种轻量快速准确的自监督深度估计系统的结构示意图；
图9是本申请一示例性实施例示出的加权系数矩阵计算模块示意图；
图10是本申请一示例性实施例示出的稀疏特征编码模块示意图；
图11是本申请一示例性实施例示出的小型深度估计网络模型连接示意图；
图12是本申请一示例性实施例示出的小型深度估计网络模型整体训练示意框图。
附图标记：
700、轻量深度估计系统；710、输入模块；720、计算模块；730、处理模块；731、标定模块；732、优化模块。
具体实施方式
为了使本申请的目的、实施方式和优点更加清楚明白，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整的描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例，应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”“第二”“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出 的或对于这些产品或设备固有的其他组件。
在对本申请实施例提供的一种轻量快速准确的自监督深度估计方法及系统进行解释说明之前，先对本申请实施例的应用场景和实施环境进行介绍。
随着计算机视觉及图像处理技术的发展，能够从二维图像中准确的恢复出场景的深度信息有助于更好地理解场景的三维结构，了解当前相机与场景中物体之间的距离关系，从而协助完成避障、内窥镜手术等各种视觉任务。
但是，普通相机获取的是二维图像，丢失了场景的深度信息，通过神经网络的强大数据拟合能力，以全无监督的形式直接从单目视频中恢复的场景的深度，虽然得益于神经网络的强大数据拟合能力，其精度有了很大的提高。
但是，往往需要复杂的深度估计网络模型去拟合待输入图像中的数据分布特性，而复杂的深度估计网络模型往往会增加算法的时间复杂度和空间复杂度，致使算法的推理速度变慢，模型的参数量增加。
基于此，本申请提供了一种轻量快速准确的自监督深度估计方法及系统，通过构建加权系数矩阵计算模块来同时建模同一路径下特征图中像素的上下文依赖，以及不同路径特征图之间的依赖关系的方式来计算不同路径下的特征图对最终输出的特征图的贡献程度，依据其贡献程度实现不同路径获得的特征图的像素级融合；利用稀疏编码模块对通道信息进行稀疏建模，加快模型的推理速度，并降低模型的参数；基于加权系数矩阵计算模块和稀疏编码模块，构造小型深度估计网络模型；利用函数近似损失驱使小型深度估计网络模型的各阶段输出的特征图逼近大型深度估计模型对应阶段输出的特征图分布特性，来提高小型深度估计网络模型估计的场景深度的精度。
接下来，将通过实施例并结合附图具体地对本申请的技术方案，以及本申请的技术方案如何解决上述技术问题进行详细说明。各实施例之间可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。显然，所描述的实施例是本申请实施例一部分实施例，而不是全部的实施例。
图1是本申请一示例性实施例示出的一种轻量快速准确的自监督深度估计方法的流程示意图。
在一个示例性实施例中，如图1所示，提供了一种轻量快速准确的自监督深度估计方法，本实施例中，该方法可以包括以下步骤：
步骤100：获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，所述初始图像数据集为单目图像序列构成的二维图像数据集；
步骤200：构建加权系数矩阵计算模块，用于计算不同路径下的特征图对最终输出特征图的贡献程度，同时，根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块；
步骤300：基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，并将所述输入数据输入所述小型深度估计网络模型，得到估计结果。
可以看出，本实施例通过加权系数矩阵计算模块来计算出不同路径下的特征图对最终输出特征图的贡献程度，以此驱使不同路径的特征图实现更高效的像素级融合；通过稀疏特征编码模块来加快模型的推理速度，并降低模型的参数量。
图2是本申请另一示例性实施例示出的获取输入数据的流程示意图。
在一种可能的实现方式中，如图2所示，所述获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，还包括以下步骤：
步骤110：对所述初始图像数据集进行随机翻转、随机裁剪及数据归一化处理，得到初步处理数据；
步骤120：对所述初步处理数据进行转换，得到所述输入数据，所述输入数据为C×H×W的张量数据，所述输入数据省略了batch维度，其中，C表示样本的通道维度大小，H表示输入样本图像的高度，W表示输入样本图像的宽度。
其中，输入数据可以作为深度估计网络和相机姿态网络的输入，C表示样本的通道维度大小，深度估计网络中，C＝3，相机姿态网络中C＝9，H表示输入样本图像的高度，在本实施例中，H＝128，W表示输入样本图像的宽度，W＝416。
图3是本申请另一示例性实施例示出的构建加权系数矩阵计算模块及稀疏编码模块的流程示意图，图9是本申请一示例性实施例示出的加权系数矩阵计算模块示意图。
在一种可能的实现方式中，如图3所示，所述构建加权系数矩阵计算模块，还包括以下步骤：
步骤210：给定第i条路径的特征图为
步骤220：基于通道维度，计算得到每条路径下的特征图的平均值并将每条路径下的特征图的平均值沿所述通道维度进行拼接，得到混合特征图
步骤230：根据公式Xexp＝δhs(Fexp(Xfuse))，将所述混合特征图Xfuse映射到高维空间，得到高维特征图
步骤240：利用公式Xmid＝δhs(Fmid(Xexp))，对所述高维特征图进行非线性映射出处理，得到增强高维特征图
步骤250：根据公式Xsqu＝Fsqu(Xmid)，将所述增强高维特征图映射到原始特征空间维度得到最终输出特征图
步骤260：基于Softmax函数计算所述最终输出特征图在不同通道，但位于同一空间位置处的概率值，并根据所述概率值构成加权系数矩阵；
其中，为了建模不同路径之间特征图的加权系数矩阵，将混合特征图进行高维映射，为了增强高维特征的表达能力，再将高维特征图进行非线性映射处理，C为特征图的通道数，H为特征图的高度，W为特征图的宽度，N表示路径的个数，r为膨胀系数，δhs(·)表示激活函数，Fexp(·),Fmid(·),Fsqu(·)为特征映射函数，在本实施例中设置r＝2，特征映射函数Fexp(·),Fmid(·),Fsqu(·)可由核大小为3×3步长为1的卷积核实现。
可以看出，本实施例为了能够让不同路径获得的特征图在像素级别更好地融合，构建了如图9所示的加权系数矩阵计算模块，通过同时建模同一路径下特征图中的像素的上下文依赖，以及不同路径特征图之间的依赖关系来计算不同路径下的特征图对最终输出的特征图的贡献程度，最后，依据计算的像素级权重对不同路径下的特征图进行像素级加权融合。
图10是本申请一示例性实施例示出的稀疏特征编码模块示意图。
在一种可能的实现方式中，如图3所示，所述根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块，还包括以下步骤：
步骤270：在输入特征图的高维通道空间进行稀疏建模，得到稀疏特征图；
步骤280：根据所述加权系数矩阵计算模块计算出的贡献程度，并将输入特征图与所述稀疏特征图进行像素级融合。
可以看出，为了加快模型的推理速度并兼顾模型的推理精度，我们构造了如图10所示的稀疏特征编码模块Fspblock(·)，该模块通过对通道信息进行稀疏建模，达到加快模型推理速度的目的。
图4是本申请另一示例性实施例示出的稀疏建模的流程示意图。
在一种可能的实现方式中，如图4所示，所述在输入特征图的高维通道空间进行稀疏建模，得到稀疏特征图，还包括以下步骤：
步骤271：给定输入特征图为根据公式将所述输入特征图映射到高维通道特征空间，得到高维输入特征图
步骤272：基于公式对所述高维输入特征图的每个通道进行单独编码，得到高维稀疏特征图
可以看出，为了弥补因对通道信息稀疏建模而致使通道之间无法进行信息交互的缺点，将低维通道特征映射到高维通道特征空间，为了能与包含通道之间信息关系的原始输入特征图进行信息交流，对所述高维输入特征图的每个通道进行单独编码。
图5是本申请另一示例性实施例示出的输入特征图与稀疏特征图进行融合的流程示意图。
在一种可能的实现方式中，如图5所示，所述根据所述加权系数矩阵计算模块计算出的贡献程度，并将输入特征图与所述稀疏特征图进行像素级融合，还包括以下步骤：
步骤281：利用公式将所述高维稀疏特征图压缩至与所述输入特征图相同的特征空间维度，得到稀疏特征图
步骤282：根据公式计算出不同路径特征图的加权系数矩阵并基于公式计算得到融合后的稀疏特征图
其中，和可以采用经济快速的核大小为1×1的卷积核函数实现，基于核大小为3×3的卷积核函数实现，代替对通道之间信息进行稠密建模，此处只对每一通道特征单独编码。
可以看出，本实施例将待处理特征图进行分组，组内特征图使用稠密建模，切断组与组之间的信息交互，以此来加快推理时间。
图6是本申请另一示例性实施例示出的构建小型深度估计网络模型的流程示意图，图11是本申请一示例性实施例示出的小型深度估计网络模型连接示意图。
在一种可能的实现方式中，如图6所示，所述基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，还包括以下步骤：
步骤310：所述小型深度估计网络模型采用编码器解码器的结构形式，根据输出特征图的分辨率将所述编码器与所述解码器划分为5个阶段，给定编码器第i∈{0,1,2,3,4}阶段的输入特征图为
步骤320：根据公式计算得出第i阶段编码器的输出特征 图
步骤330：根据公式计算得到第i阶段解码器的输出特征图
步骤340：基于公式回归得到场景的视差。
其中，Fspblock(·)为稀疏编码模块，Fdown(·)是步长为2，核大小为3×3的卷积核函数，Fdisp(·)核大小为3×3，步长为1的卷积核函数以及Sigmoid激活函数组成，连接方式如图11所示。
图7是本申请另一示例性实施例示出的引入函数近似损失作为额外的监督信号来训练轻量深度估计模型的流程示意图，图12是本申请一示例性实施例示出的小型深度估计网络模型整体训练示意框图。
在一种可能的实现方式中，如图7所示，在所述基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型之后，进一步包括以下步骤：
步骤400：构建并以光度损失作为监督信号训练大型深度估计网络模型，得到高精度的大型深度估计网络模型，并冻结所述高精度的大型深度估计网络模型的模型权重；
其中，本申请的一些实施例，首先使用程俊等人的发明专利CN202111488926.6《图像的深度估计方法、装置、电子设备及存储介质》中发明的深度估计网络作为大型深度估计网络模型，以全无监督的方式去训练大型深度估计网络模型，桥接网络和相机姿态网络，以此来获得一个高精度的大型深度估计模型，再冻结已训练好的大型深度估计网络模型和桥接网络的模型权重。
步骤500：使用光度损失及函数近似损失作为监督信号，训练所述小型深度估计网络模型，驱使所述小型深度估计网络模型模拟所述高精度的深度估计模型的各阶段的特征图的数据分布特性，以优化所述小型深度估计网络模型的深度估计精度。
具体的，小型深度估计网络模型的第i阶段编码器、解码器的输出特征图分别为第i尺度的视差为
大型深度估计网络模型的第i阶段的编码器、解码器的输出特征图分别为第i尺度的视差为
为了进一步降低每一阶段的通道数量并对齐对应阶段通道数量，以便可以使用更轻量更快的小型深度估计网络模型来模拟大型深度估计网络模型，本方案利用已经训练好的桥接网络对大型深度估计网络模型每一阶段的编码器解码器输出的特征图进行信息压缩，让小型深度估计网络模型的每一阶段输出去逼近信息更紧凑的特征图
其中，是小型深度估计网络模型第i阶段编码器/解码器输出特征图的通道数量。
将作为大型深度估计网络模型的编码器第i+1阶段的输入/解码器第i-1阶段的输入。
其中，由核大小为3×3步长为1的卷积核函数、Hardswish激活函数、程俊等人的发明专利CN202111488926.6《图像的深度估计方法、装置、电子设备及存储介质》中的信息精调模块组成，分别用于特征图压缩以及信息精调；由核大小为3×3步长为1的卷积核函数、Hardswish激活函数组成，用于特征图通道维度恢复。
其中，λenc,λdec,λdisp是对应损失加权超参数，本方案设置其为λenc＝0.05,λdec＝0.1,λdisp＝10。
为了进一步提高小型深度估计网络模型的精度，本申请将光度损失及函数近似损失作为额外的监督信号，使用王飞等人的发明专利CN202110346713.3《图像场景深度的估计方法、装置、终端设备和存储介质》中发明的图像重建目标函数作为本技术方案的光度损失，同时根据：
作为函数近似损失。
步骤600：将所述输入数据输入所述小型深度估计网络模型，得到估计结果。
其中，优化后的小型深度估计网络模型，能够从单目图像中估计出对应的场景深度，也可以单独使用相机姿态估计出相邻帧图像之间的相对位姿。
可以看出，为了进一步提高小型深度估计网络模型的估计精度，如图12所示，本实施例通过光度损失及函数近似损失驱使轻量快速的小型深度估计模型的各阶段特征逼近复杂耗时的大型深度估计网络模型各阶段特征图的分布特性，以此来提高小模型的深度估计精度。
应该理解的是，虽然上述实施例所涉及的流程图中的各个步骤按照指示依次显示，但是这些步骤并不是必然按照指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其他的顺序执行。而且，上述实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
与前述一种轻量快速准确的自监督深度估计方法的实施例相对应，采用相同的技术构思，本申请还提供了一种轻量快速准确的自监督深度估计系统的实施例。
图8是本申请一示例性实施例示出的一种轻量快速准确的自监督深度估计系统的结构示意图。
在一个示例性实施例中，如图8所示，该深度估计系统700包括：
输入模块710，用于获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，所述初始图像数据集为单目图像序列构成的二维图像数据集；
计算模块720，用于构建加权系数矩阵计算模块，用于计算不同路径下的特征图对最终输出特征图的贡献程度，同时，根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块；
处理模块730，用于基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，并将所述输入数据输入所述小型深度估计网络模型，得到估计结果。
在一种可能的实现方式中，如图8所示，所述轻量深度估计系统还包括：
标定模块731，用于构建并以光度损失作为监督信号训练大型深度估计网络模型，得到高精度的深度估计模型，并冻结所述高精度的深度估计模型的模型权重；
优化模块732，用于使用光度损失及函数近似损失作为监督信号，训练所述小型深度估计网络模型，驱使所述小型深度估计网络模型模拟所述高精度的深度估计模型的各阶段的特征图的数据分布特性，以优化所述小型深度估计网络模型的深度估计精度。
关于轻量深度估计系统的具体限定可以参见上文中对于轻量快速准确的自监督深度估计方法的限定，在此不再赘述。上述轻量深度估计系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
应该理解的是，本申请实施例中的技术方案可借助软件加必需的通用硬件平台的方式来实现。因此，本申请实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品可以存储在计算机可读存储介质中。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述的实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

  1. 一种轻量快速准确的自监督深度估计方法，其特征在于，包括：
    获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，所述初始图像数据集为单目图像序列构成的二维图像数据集；
    构建加权系数矩阵计算模块，用于计算不同路径下的特征图对最终输出特征图的贡献程度，同时，根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块；
    基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，并将所述输入数据输入所述小型深度估计网络模型，得到估计结果。
  2. 如权利要求1所述的轻量快速准确的自监督深度估计方法，其特征在于，所述获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，还包括以下步骤：
    对所述初始图像数据集进行随机翻转、随机裁剪及数据归一化处理，得到初步处理数据；
    对所述初步处理数据进行转换，得到所述输入数据，所述输入数据为C×H×W的张量数据，所述输入数据省略了batch维度，其中，C表示样本的通道维度大小，H表示输入样本图像的高度，W表示输入样本图像的宽度。
  3. 如权利要求1所述的轻量快速准确的自监督深度估计方法，其特征在于，所述构建加权系数矩阵计算模块，还包括以下步骤：
    给定第i条路径的特征图为
    基于通道维度，计算得到每条路径下的特征图的平均值并将每条路径下的特征图的平均值沿所述通道维度进行拼接，得到混合特征图
    根据公式将所述混合特征图映射到高维空间，得到高维特征图
    利用公式Xmid＝δhs(Fmid(Xexp))，对所述高维特征图进行非线性映射出处理，得到增强高维特征图
    根据公式Xsqu＝Fsqu(Xmid)，将所述增强高维特征图映射到原始特征空间维度得到最终输出特征图
    基于Softmax函数计算所述最终输出特征图在不同通道，但位于同一空间位置处的概率值，并根据所述概率值构成加权系数矩阵；
    其中，C为特征图的通道数，H为特征图的高度，W为特征图的宽度，N表示路径的个数，r为膨胀系数，δhs(·)表示激活函数，Fexp(·),Fmid(·),Fsqu(·)为特征映射函数。
  4. 如权利要求1所述的轻量快速准确的自监督深度估计方法，其特征在于，所述根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块，还包括以下步骤：
    在输入特征图的高维通道空间进行稀疏建模，得到稀疏特征图；
    根据所述加权系数矩阵计算模块计算出的贡献程度，并将输入特征图与所述稀疏特征图进行像素级融合。
  5. 如权利要求4所述的轻量快速准确的自监督深度估计方法，其特征在于，所述在输入 特征图的高维通道空间进行稀疏建模，得到稀疏特征图，还包括以下步骤：
    给定输入特征图为根据公式将所述输入特征图映射到高维通道特征空间，得到高维输入特征图
    基于公式对所述高维输入特征图的每个通道进行单独编码，得到高维稀疏特征图
  6. 如权利要求4所述的轻量快速准确的自监督深度估计方法，其特征在于，所述根据所述加权系数矩阵计算模块计算出的贡献程度，并将输入特征图与所述稀疏特征图进行像素级融合，还包括以下步骤：
    利用公式将所述高维稀疏特征图压缩至与所述输入特征图相同的特征空间维度，得到稀疏特征图
    根据公式计算出不同路径特征图的加权系数矩阵，并基于公式计算得到融合后的稀疏特征图
    其中，和可以采用经济快速的核大小为1×1的卷积核函数实现，基于核大小为3×3的卷积核函数实现，代替对通道之间信息进行稠密建模，此处只对每一通道特征单独编码。
  7. 如权利要求1所述的轻量快速准确的自监督深度估计方法，其特征在于，所述基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，还包括以下步骤：
    所述小型深度估计网络模型采用编码器解码器的结构形式，根据输出特征图的分辨率将所述编码器与所述解码器划分为5个阶段，给定编码器第i∈{0,1,2,3,4}阶段的输入特征图为
    根据公式计算得出第i阶段编码器的输出特征图其中Fspblock(·)为稀疏编码模块，Fdown(·)是步长为2，核大小为3×3的卷积核函数；
    根据公式计算得到第i阶段解码器的输出特征图
    基于公式回归得到场景的视差。
  8. 如权利要求1所述的轻量快速准确的自监督深度估计方法，其特征在于，在所述基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型之后，进一步包括以下步骤：
    构建并以光度损失作为监督信号训练大型深度估计网络模型，得到高精度的大型深度估 计网络模型，并冻结所述高精度的大型深度估计网络模型的模型权重；
    使用光度损失及函数近似损失作为监督信号，训练所述小型深度估计网络模型，驱使所述小型深度估计网络模型模拟所述高精度的深度估计模型的各阶段的特征图的数据分布特性，以优化所述小型深度估计网络模型的深度估计精度。
  9. 一种轻量快速准确的自监督深度估计系统，其特征在于，包括：
    输入模块，用于获取初始图像数据集，并对所述初始图像数据集进行预处理，得到输入数据，所述初始图像数据集为单目图像序列构成的二维图像数据集；
    计算模块，用于构建加权系数矩阵计算模块，用于计算不同路径下的特征图对最终输出特征图的贡献程度，同时，根据所述贡献程度，将原始输入特征图与稀疏编码后的特征图进行像素级融合，进而构建出稀疏编码模块；
    处理模块，用于基于所述加权系数矩阵计算模块及所述稀疏编码模块，构建小型深度估计网络模型，并将所述输入数据输入所述小型深度估计网络模型，得到估计结果。
  10. 如权利要求9所述的轻量快速准确的自监督深度估计系统，其特征在于，所述轻量深度估计系统还包括：
    标定模块，用于构建并以光度损失作为监督信号训练大型深度估计网络模型，得到高精度的深度估计模型，并冻结所述高精度的深度估计模型的模型权重；
    优化模块，用于使用光度损失及函数近似损失作为监督信号，训练所述小型深度估计网络模型，驱使所述小型深度估计网络模型模拟所述高精度的深度估计模型的各阶段的特征图的数据分布特性，以优化所述小型深度估计网络模型的深度估计精度。
PCT/CN2023/092055 2023-05-04 2023-05-04 一种轻量快速准确的自监督深度估计方法及系统 Ceased WO2024227286A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/092055 WO2024227286A1 (zh) 2023-05-04 2023-05-04 一种轻量快速准确的自监督深度估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/092055 WO2024227286A1 (zh) 2023-05-04 2023-05-04 一种轻量快速准确的自监督深度估计方法及系统

Publications (1)

Publication Number Publication Date
WO2024227286A1 true WO2024227286A1 (zh) 2024-11-07

Family

ID=93332789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/092055 Ceased WO2024227286A1 (zh) 2023-05-04 2023-05-04 一种轻量快速准确的自监督深度估计方法及系统

Country Status (1)

Country Link
WO (1) WO2024227286A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119904158A (zh) * 2025-03-31 2025-04-29 山东临沂港国际物流有限公司 一种基于人工智能的物流管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004646A1 (en) * 2019-07-06 2021-01-07 Toyota Research Institute, Inc. Systems and methods for weakly supervised training of a model for monocular depth estimation
US20210183083A1 (en) * 2019-12-16 2021-06-17 Robert Bosch Gmbh Self-supervised depth estimation method and system
CN113192149A (zh) * 2021-05-20 2021-07-30 西安交通大学 图像深度信息单目估计方法、设备及可读存储介质
CN114022799A (zh) * 2021-09-23 2022-02-08 中国人民解放军军事科学院国防科技创新研究院 一种自监督单目深度估计方法和装置
CN115375844A (zh) * 2022-08-22 2022-11-22 东北大学秦皇岛分校 一种融合注意力机制的单目三维重建方法
CN115861723A (zh) * 2022-10-26 2023-03-28 北京航天七零六信息科技有限公司 一种基于卷积稀疏编码的单目深度估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004646A1 (en) * 2019-07-06 2021-01-07 Toyota Research Institute, Inc. Systems and methods for weakly supervised training of a model for monocular depth estimation
US20210183083A1 (en) * 2019-12-16 2021-06-17 Robert Bosch Gmbh Self-supervised depth estimation method and system
CN113192149A (zh) * 2021-05-20 2021-07-30 西安交通大学 图像深度信息单目估计方法、设备及可读存储介质
CN114022799A (zh) * 2021-09-23 2022-02-08 中国人民解放军军事科学院国防科技创新研究院 一种自监督单目深度估计方法和装置
CN115375844A (zh) * 2022-08-22 2022-11-22 东北大学秦皇岛分校 一种融合注意力机制的单目三维重建方法
CN115861723A (zh) * 2022-10-26 2023-03-28 北京航天七零六信息科技有限公司 一种基于卷积稀疏编码的单目深度估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119904158A (zh) * 2025-03-31 2025-04-29 山东临沂港国际物流有限公司 一种基于人工智能的物流管理系统

Similar Documents

Publication Publication Date Title
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN111739078B (zh) 一种基于上下文注意力机制的单目无监督深度估计方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN109919887B (zh) 一种基于深度学习的无监督图像融合方法
CN111445476A (zh) 基于多模态无监督图像内容解耦的单目深度估计方法
WO2024193622A1 (zh) 一种三维构建网络训练方法、三维模型生成方法以及装置
CN111539884A (zh) 一种基于多注意力机制融合的神经网络视频去模糊方法
CN117710429A (zh) 一种融合CNN与Transformer改进的轻量化单目深度估计方法
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN111508013A (zh) 立体匹配方法
CN116012253A (zh) 一种基于融合Transformer的卷积神经网络的图像去雾方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN112766099B (zh) 一种从局部到全局上下文信息提取的高光谱影像分类方法
CN119006813B (zh) 一种图神经网络与Mamba模型结合的U型多模态融合分割方法
CN114004766A (zh) 一种水下图像增强方法、系统和设备
CN111539888B (zh) 一种基于金字塔通道特征注意力的神经网络图像去雾方法
Maslov et al. Online supervised attention-based recurrent depth estimation from monocular video
CN117745944A (zh) 预训练模型确定方法、装置、设备以及存储介质
CN115953311B (zh) 基于Transformer的多尺度特征表示的图像去雾方法
CN115035298A (zh) 基于多维注意力机制的城市街景语义分割增强方法
CN120182786B (zh) 一种针对图像融合和语义分割的协同优化方法
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
CN118470219A (zh) 一种基于无标定图像的多视角三维重建方法和系统
Basak et al. Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image
CN118469842A (zh) 一种基于生成对抗网络的遥感图像去雾方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23935660

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE