WO2020253171A1 - 一种融合几何特性与力学特性的地形建模方法及系统 - Google Patents

一种融合几何特性与力学特性的地形建模方法及系统 Download PDF

Info

Publication number
WO2020253171A1
WO2020253171A1 PCT/CN2019/125875 CN2019125875W WO2020253171A1 WO 2020253171 A1 WO2020253171 A1 WO 2020253171A1 CN 2019125875 W CN2019125875 W CN 2019125875W WO 2020253171 A1 WO2020253171 A1 WO 2020253171A1
Authority
WO
WIPO (PCT)
Prior art keywords
terrain
point cloud
semantic
modeling method
geometric
Prior art date
Application number
PCT/CN2019/125875
Other languages
English (en)
French (fr)
Inventor
丁亮
邓宗全
周如意
高海波
丰文浩
徐鹏
李楠
刘振
Original Assignee
哈尔滨工业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 哈尔滨工业大学 filed Critical 哈尔滨工业大学
Publication of WO2020253171A1 publication Critical patent/WO2020253171A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种融合几何特性与力学特性的地形建模方法及系统，涉及环境建模技术领域，该方法包括获取探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义分割，融合语义分割结果和同一时刻所述深度图像包含的深度信息，生成语义点云；将所述语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述语义点云中的高程值和语义信息更新至所述对应栅格；根据所述语义信息进行地面力学特性计算，将计算结果更新至所述对应栅格，生成地形模型。该方法在地形因子中加入力学特性参数，从几何特性与力学特性两个维度进行地形表征。利用视觉感知的方式提前推断未接触区域的地面承压特性和剪切特性，扩大了感知范围。

Description

一种融合几何特性与力学特性的地形建模方法及系统 技术领域
本发明涉及环境建模技术领域，具体涉及一种融合几何特性与力学特性的地形建模方法及系统。
背景技术
随着科技的发展和进步，人类已开始向其他星球展开科学探测研究。但随着星球探测任务要求日益提高、探测环境日趋复杂，单纯的地形几何信息已经难以满足星球车适应环境的需求。例如火星表面崎岖不平，松软沙地遍布，星球车曾多次因地面非几何特性引发沉陷或打滑事故，阻碍了探测活动的顺利进行。可见地面力学特性已成为影响星球车运动状态的重要因素。
地形地图作为地形信息的集中表达，为星球探测多个任务环节提供环境基础。为了规划更安全的可通行路径，设计更适应环境的控制策略，进行更高保真度的运动仿真，以轮-地相互作用模型为基础，以地面力学参数为已知条件的地面力学理论已渗透到越来越多的任务环节。因此，亟需提出包含几何特性和力学特性的地形模型及其构建方法，以保障基于地面力学的方法能够可靠应用。
鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。
发明内容
为解决上述技术缺陷，本发明采用的技术方案在于，提供一种融合几何特性与力学特性的地形建模方法，其包括：
获取探测区域的输入图像，对所述输入图像进行处理，生成点云，所述点云包括所述输入图像的高程值；
将所述点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述高程值更新至所述对应栅格；
对所述输入图像进行地面力学特性计算，将计算结果更新至所述对应栅格，生成地形模型。
较佳地，所述对所述输入图像进行地形语义分割，生成语义点云包括：
获取所述探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义 分割，融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成所述点云。
较佳地，所述对所述彩色图像进行地形语义分割包括：
采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
分别统计所述训练集的RGB三通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行数据增强处理，并修正其对应的所述掩码标签；
构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述彩色图像进行所述地形语义分割。
较佳地，所述语义信息包括经过所述地形语义分割后得到的置信度较高的多种地形类别及其对应概率。
较佳地，所述融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成所述语义点云包括：
将所述彩色图像中每个像素的所述语义信息和同一时刻所述深度图像包含的深度信息相结合；
利用星球车所携带相机的位姿信息进行坐标转换，生成所述地图坐标系下的所述语义点云。
较佳地，所述利用星球车所携带相机的位姿信息进行坐标转换，生成所述地图坐标系下的所述语义点云包括：
将深度相机坐标系下的三维点云映射到同一时刻彩色相机坐标系下，形成彩色相机坐标系下的彩色三维点云；
将所述彩色三维点云经星球车基底坐标系转换到所述地图坐标系下。
较佳地，所述彩色相机坐标系和所述深度相机坐标系与星球车本体固连，所述星球车基底坐标系随所述星球车位姿变化而变化，其坐标原点在所述地图坐标系的XY平面上的投影与所述地图坐标系的原点重合。
较佳地，所述将所述点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述高程值赋予所述对应栅格包括：当不同时刻的点云对应同一栅格时，所述栅格中所包含的所述高程值和所述语义信息通过数据融合进行 更新。
较佳地，所述高程值通过求取所述多个点云包含的高程值的平均值进行更新。
较佳地，所述语义信息通过数据融合进行更新包括：通过贝叶斯更新规则将所述多个点云包含的地形类别及其概率进行更新。
较佳地，所述语义信息通过数据融合进行更新包括：若两个语义点云的最大概率对应类别相同，则更新后的地形类别不变，对应更新后的概率值为两者概率值的平均值；若两个语义点云的最大概率对应类别不同，则保留概率值大的地形类别为更新后的地形类别，对应更新后的概率为对应较大概率值的α倍。
较佳地，所述对所述输入图像进行地面力学特性估计，将所述地面力学特性估计的结果赋予所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
结合所述语义信息进行带有安全系数的力学特性数值估计，将计算结果更新至所述对应栅格，生成所述地形模型。
较佳地较佳地，所述结合所述语义信息进行带有安全系数的力学特性数值计算包括：
分别计算等效刚度模量K s的安全系数S(K s)和等效摩擦模量
Figure PCTCN2019125875-appb-000001
的安全系数
Figure PCTCN2019125875-appb-000002
Figure PCTCN2019125875-appb-000003
其中，c i表示所述地形语义分割结果中第i种地形类别所对应的置信度，F i(K s)表示所述等效刚度模量的累积分布函数，
Figure PCTCN2019125875-appb-000004
表示所述等效摩擦模量的累积分布函数。
较佳地，所述对所述输入图像进行地面力学特性估计，将计算结果更新至所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
根据地形类别的对应概率对不同地形类别的等效刚度模量和等效摩擦模量的值进行加权计算，将计算结果赋予所述对应栅格，生成所述地形模型。
较佳地，所述对所述输入图像进行地面力学特性估计，将计算结果更新至所述对应栅格，生成地形模型包括：
根据地面力学特性统计数据拟合其分布函数；
采用拟合得到的均值作为等效刚度模量和等效摩擦模量的估计值，将所述估计值赋予所述对应栅格，生成所述地形模型。
较佳地较佳地，所述对所述输入图像进行处理包括：
采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
分别统计所述训练集中彩色图像和深度图像结合后生成的RGBD四通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行增强处理，同时修正其对应的所述掩码标签；
构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述输入图像进行所述地形语义分割。
较佳地，所述对所述输入图像进行处理，生成点云包括：
向目标区域发射激光并通过接收器接收，得到所述目标区域的带有三维坐标信息的点云数据，获取所述目标区域的彩色图像并通过语义分割，经坐标转化与所述点云相数据结合，生成点云。
较佳地，所述获取探测区域的输入图像，对所述输入图像进行处理，生成点云包括：
获取所述探测区域的彩色图像和深度图像，将所述彩色图像与同一时刻的所述深度图像相结合，经坐标转换后生成所述点云。
与现有技术比较本发明的有益效果在于：提供一种融合几何特性与力学特性的地形建模方法，这样，通过分层的形式，创新地从几何与力学特性两个维度进行地形表征，根据表现地形要素不同将地形模型分为几何特性层和力学特性层。在地形因子中加入地面力学特性参数，便于在仿真中利用轮-地相互作用进行星球车的运动模拟。
第二方面，本发明提供一种计算机可读存储介质，其包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的融合几何特性与力学特性的地形建模方法。
第三方面，本发明提供一种计算设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如上所述的融合几何特性与力学特性的地形建模方法。
附图说明
为了更清楚地说明本发明各实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本发明实施例构建的地形模型的原理示意图；
图2是本发明实施例融合几何特性与力学特性的地形建模方法的原理图；
图3是本发明实施例融合几何特性与力学特性的地形建模方法的流程示意图；
图4是本发明实施例生成语义分割模型的流程示意图；
图5是本发明实施例地图构建相关坐标系的示意图；
图6是本发明实施例坐标映射及坐标系之间的转换关系示意图；
图7是本发明实施例语义点云的数据结构示意图；
图8是本发明实施例根据地面力学特性统计数据拟合分布函数的示意图；
图9是本发明另一实施例语义融合方法的流程示意图；
图10是本发明实施例融合力学特性和几何特性的地形建模系统的示意性框图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。
在地形感知方面，现有的星球环境模型通常以数字地形高程图(Digital Elevation Model，DEM)形式呈现，主要反映地形几何特征。应用时可通过地形统计分析的方式提取坡度、粗糙度、起伏度等基本地形因子，对多种障碍信息进行融合来构建地形可通行性代价函数，以反映地形可通行性状况。但在实际星球环境下，星球车可能在表面平坦的松软沙地中发生打滑沉陷，却又可能在表面凸起的坚硬石堆中安全爬坡通过。由此可见，仅包含地形几何特性的地形 模型无法全面反映地形的松软崎岖特性，已经难以满足星球车对环境感知的信息需求，无法更好地发挥星球车的移动性能。因此，现有的地图模型及地形非几何特性感知方法对于星球车来说在适应性和准确性方面都没有达到令人满意的程度。
实施例1：
图1所示为本发明实施例构建的地形模型的原理示意图，该模型为分层结构，由地形几何特性层和力学特性层组成。其中，几何特性层用来表现地形表面的几何属性，由地表三维坐标表示；力学特性层用来表现地形表面的力学属性，包括刚度特性层和摩擦特性层，分别由地面的等效刚度模量K s和等效摩擦模量
Figure PCTCN2019125875-appb-000005
来表征地表基质在法向上的承压特性和切向上的剪切特性。因此，本发明实施例构建的地形模型融合了地形几何特性和力学特性，其可表达为地表高程z、等效刚度模量K s和等效摩擦模量
Figure PCTCN2019125875-appb-000006
关于平面坐标x，y两个自变量的连续函数。其中，高程为地理空间中的第三维坐标，等效刚度模量K s以及等效摩擦模量
Figure PCTCN2019125875-appb-000007
分别为该空间坐标点在法向和切向上的力学属性。
在本发明实施例中，其对应的地形模型为连续模型离散化后的表现形式，表示为某一地形区域D上包含五个地形因子的有限序列：
Figure PCTCN2019125875-appb-000008
其中，(x i,y i)∈D表示平面坐标，z i、K si、
Figure PCTCN2019125875-appb-000009
分别表示(x i,y i)对应的高程值、等效刚度模量值和等效摩擦模量值。特别地，当该序列中各向量的平面点位呈规则栅格排列时，其平面坐标(x i,y i)可省略，此时地形模型就简化为三元素向量序列：
Figure PCTCN2019125875-appb-000010
从广义上讲，地形模型由地表规则栅格单元构成的多通道张量进行表征。其中，记规则栅格中第i行、第j列的单元为C i,j，每个单元格均包含多个地形因子，即地表基质在几何特性和力学特性方面的基本参数。因此，每个单元中地形因子可表示为C i,j＝(G i,j,M i,j)，其中，G i,j是由高程值z表示的几何因子，M i,j表示与第i行、第j列的单元相关联的力学因子。单元格中的因子数与多通道张量的通道数相同。地形模型还包括三角网等其他数字表示形式，栅格中任意一点的几何或力学特性值可通过插值等方法进行计算。地形模型中的地形几 何因子和力学因子是表征地形几何特性和力学特性的基本参量，在其几何特性和力学特性表征方面具有主导作用，其他地形要素可由这些参量直接或间接导出。例如几何要素可派生出坡度、坡向等信息，力学要素可派生出车轮沉陷量、车轮滑转率等信息。
图2所示为本发明实施例融合几何特性与力学特性的地形建模方法的原理图。图3所示为本发明实施例融合几何特性与力学特性的地形建模方法的流程示意图，包括步骤S1～S3。下面结合图2和图3对本发明的一个具体实施例1进行描述。
在步骤S1中，通过导航相机获取场景彩色图像数据和深度图像数据，对同一时刻的彩色图像数据和深度图像数据进行如下处理：对探测区域的彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和深度图像包含的深度信息，将二维图像(即彩色图像)中每个像素的语义信息映射到三维坐标系中，生成语义点云。在本发明实施例中，通过RGB-D相机获取彩色图像数据流和深度图像数据流。
对彩色图像进行地形语义分割借鉴了计算机视觉领域最新的语义分割研究成果，以力学特性差异显著的多种地形为分割对象，基于机器学习算法训练分类器，对导航相机采集的周围环境彩色图像进行地形分类。即通过加载学习训练得到的语义分割模型，输入采集到的原始彩色图像，输出像素级别的地形分类结果，即每个像素的预测结果表示为该像素隶属于不同类别地形的概率，其概率之和为1。
所述语义分割模型基于卷积神经网络(CNN)针对特定分割对象生成。其中，输入彩色图像中的每个像素通过训练后的语义分割模型得到类别标签，在本发明实施例中，地形环境中的材料类别分为沙子、岩石、砾石、基岩和未知地形。在本发明其他实施例中，地形环境中的材料类别可设置为其他不同类别，并不以此为限。图4所示为本发明实施例生成语义分割模型的流程示意图，包括训练数据准备步骤、图像预处理步骤以及模型参数训练步骤，具体如下步骤a～步骤c：
步骤a：在模拟地形上，利用星球车视觉系统采集地形图像作为数据源。利用软件对所采集图像中的目标地形进行标注并生成对应掩码标签，目标地形 包含沙子、岩石、砾石和基岩四种基本类型，其余难辨别地形均标记为未知地形。将标注后的图像以4:1的比例随机分成训练集和验证集。
步骤b：分别统计训练集的RGB三通道的均值和方差，对每张输入图像进行数据归一化处理，并通过随机裁剪、随机翻转、随机旋转、随机缩放、颜色跳动以及噪声扰动、模糊增强等多种数据增强方法对训练集中的原始彩色图像进行增强处理，同时修正其对应的掩码标签，以扩增数据集大小。
其中，修正对应的掩码标签具体是指，若对原始彩色图像进行随机裁剪增强处理，则其对应的掩码标签也应进行相同大小的裁剪修正；若对原始彩色图像进行随机翻转增强处理，则其对应的掩码标签也应进行相同的翻转修正；若对原始彩色图像进行随机旋转增强处理，则其对应的掩码标签也应进行相同的旋转修正；若对原始彩色图像进行随机缩放增强处理，则其对应掩码标签也应以相同的缩放比例进行缩放修正；若对原始彩色图像进行颜色跳动数据增强处理，则其对应掩码标签不变；若对原始彩色图像进行噪声扰动、模糊增强处理，则其对应掩码标签不变。多种数据增强处理方式随机选择并且可在原始彩色图像上叠加进行，则其对应掩码标签也依次叠加对应修正方法进行处理。
步骤c：构建卷积神经网络，进行语义分割模型训练。加载Pascal VOC预训练模型的权值，以此初始化相同的特征层，不同特征层则采用零值进行权值初始化。通过随机梯度下降法对网络在自建训练集上进行网络参数的微调。将模型训练至收敛，并通过不断调整训练参数选择精度最高的模型作为语义分割模型用于地形分割应用。
将彩色图像的地形语义分割结果与同一时刻的深度图像相结合，由深度图像获取相对于平面图像各像素点的三维坐标，即点云。地形语义分割结果根据x，y坐标与点云一一对应，由此得到视野范围内各像素点相对于相机坐标系的带有语义信息的点云。再利用相机位姿信息进行坐标转换，生成地图坐标系下的语义点云。
在本发明实施例中，建立如附图5所示的地图构建相关坐标系。其中，彩色相机坐标系Σ C和深度相机坐标系Σ D与星球车本体固连，星球车基底坐标系Σ B随星球车位姿变化而变化，但其坐标原点在地图坐标系Σ M的XY平面上的投影与地图坐标系Σ M的原点重合。记深度相机坐标系Σ D到彩色相机坐标系Σ C 之间的转换矩阵为
Figure PCTCN2019125875-appb-000011
彩色相机坐标系Σ C到星球车基底坐标系Σ B的转换矩阵为
Figure PCTCN2019125875-appb-000012
星球车基底坐标系Σ B到地图坐标系Σ M的转换矩阵为
Figure PCTCN2019125875-appb-000013
彩色图像数据流中每帧图像上的每个像素可解析为彩色图像坐标平面上的(x c,y c,R,G,B)数据队列，深度图像数据流中每帧图像的每个像素可解析为深度图像坐标平面上的(x d,y d,z d)数据队列。
整个坐标映射过程及各坐标系之间的转换关系如附图6所示。首先，以(x c,y c)为线索将深度相机坐标系Σ D下的坐标映射到彩色相机坐标系Σ C下，形成彩色相机坐标系下的(x c,y c,z c,R,G,B)数据形式的彩色三维点云。然后，将彩色三维点云借助星球车基底坐标系Σ B转换到地图坐标系Σ M下。其中，深度相机坐标系Σ D到彩色相机坐标系Σ C的坐标转换为：
Figure PCTCN2019125875-appb-000014
彩色相机坐标系Σ C到地图坐标系Σ M的转换矩阵为：
Figure PCTCN2019125875-appb-000015
其中，
Figure PCTCN2019125875-appb-000016
以及
Figure PCTCN2019125875-appb-000017
三者均为空间坐标系之间的齐次转换矩阵，其可遵从统一的表达形式：
Figure PCTCN2019125875-appb-000018
其中，R为3×3旋转矩阵，表示两个空间坐标系之间的旋转变换，P为3×1平移矢量，表示两个空间坐标系之间的平移变换。
若记：
Figure PCTCN2019125875-appb-000019
则地图坐标系下Σ M的三维坐标(x m,y m,z m)通过以下方式进行转换：
Figure PCTCN2019125875-appb-000020
则与(x c,y c,z c)坐标点关联的彩色信息跟随坐标转换对应到地图坐标系Σ M下的(x m,y m,z m)坐标点上，组成地图坐标系Σ M下的(x m,y m,z m,R,G,B)特征向量。
在本发明实施例中，语义点云包含几何信息和语义信息，其数据结构如图7(a)所示，包括几何信息即三维坐标(XYZ)、与文中所述(R,G,B)特征向量相对应的RGB三通道的彩色信息(RGB)、语义信息即所属地形类别(label1～label3)及其对应置信度(confidence1～confidence3)。其中，语义信息保存为概率最大的前若干种地形类别及其对应概率，在实施例1中可取5种地形类别中概率最高的前3种。
在本发明实施例中，地形类别示意性的仅划分为5类。但是当场景变得更加复杂，例如需要辨别泥质地表、土壤地表等多种地形类型，或者出现更细化的地形分割要求，例如需要区分不同粒度的沙子(粗砂和细沙)、不同形状的岩石(尖头岩石和圆头岩石)、不同大小的岩石(大型岩石和中小型岩石)、不同材质的砾石(玄武岩材质的砾石和花岗岩材质的砾石)等，则地形类别会相应增多。当地形类别增加到一定数量(例如20种)，若将所有的地形类别及其对应置信度均保存在语义点云中，则数据量将过于庞大而给处理过程带来困难。同时，仅置信度最大的前若干种地形类别及其对应置信度具有保存意义，其余地形对应置信度一般情况下趋近于零，逐一保存意义不大。此时仅在语义点云中保存置信度最大的前若干种地形类别及其对应置信度，将有效降低数据存储量，提高运算效率。
在步骤S2中，将语义点云映射至地图坐标系下的栅格地图中，生成对应栅格。并将语义点云中的高程值赋予对应栅格，形成地形模型的几何特性层。不同时刻的语义点云对应视野不同，通过坐标映射生成新的栅格，从而扩展所构建栅格地图的范围。其中，栅格即为地图坐标系下XY坐标经离散化后形成的规 则网络。
当多个语义点云对应同一栅格时，栅格中所包含的高程值和语义信息需要通过数据融合进行更新。在本发明实施例中，多个语义点云包含的高程值通过求取均值进行融合，多个语义点云包含的语义类别及其概率通过贝叶斯更新规则进行融合。将融合结果进行归一化处理，取概率最大的若干种地形类别及其对应概率作为融合后的结果，作为属性赋予对应栅格。其中，语义信息的融合结果为若干种地形类别及其对应置信度，其置信度之和为1，根据置信度大小对其所对应的地形类别进行排序，取置信度最大的若干种地形类别及其置信度作为融合后的结果，保存为对应的栅格属性。
因为栅格由语义点云通过映射得到，其记录的语义信息数据类型应与语义点云相同，即若语义点云的语义信息中仅存储置信度最大的若干种地形类别及其对应置信度，则栅格地图中的每个栅格也根据置信度大小存储相同数量的地形类别及其对应置信度。
在步骤S3中，根据语义信息进行地面力学特性估计，并生成融合地形几何特性和力学特性的地形模型。具体为：根据地面力学特性统计数据拟合其分布函数，结合地形语义信息进行带有保守系数的力学特性数值估计，将结果赋予相应栅格，形成地形模型的力学特性层。结合步骤2中形成的地形模型的几何特性层，则构成如图1所示的融合地形几何特性和力学特性的地形模型。其中，力学特性数值包括等效刚度特性值和等效摩擦特性值。
下表所示为本发明实施例的力学特性统计数据表：
Figure PCTCN2019125875-appb-000021
其中，每一条样本数据包含三个特征属性：地形类别T i、等效刚度模量K si以及等效摩擦模量
Figure PCTCN2019125875-appb-000022
其中地形类别在本发明实施例中具体为沙地、砾石、岩石、基岩和其他地形类别。图8是拟合不同地形类别对应的等效刚度模量和等效摩擦模量分布函数的示意图，为对上述数据表进行进一步处理的效果呈现。 具体处理为先对不同地形类别数据进行归类，然后对各地形类别的力学特性数据进行回归拟合，得出不同地形类别的力学特性分布函数。在本发明实施例中，以高斯函数拟合同一地形的等效刚度模量K si以及等效摩擦模量
Figure PCTCN2019125875-appb-000023
的数值分布，拟合函数随着统计数据的变化而更新。
其中，获取等效刚度模量K si以及等效摩擦模量
Figure PCTCN2019125875-appb-000024
的具体方法是：根据星球车行驶过程中利用在车轮上的力传感器上采集得到的车轮所受力和力矩的数据，借助轮-地相互作用模型，通过迭代拟合的方式对轮-地相互作用模型中的等效刚度模量K si以及等效摩擦模量
Figure PCTCN2019125875-appb-000025
两个参数进行辨识。随着在位测量的不断进行，新的辨识结果作为样本添加进数据库中。
对于每个像素，语义分割后得到像素点属于第i类地形T i的置信度(即概率)c i。在实际应用中，地形表面越松软，则星球车在其上移动就越容易发生沉陷的危险。因此，基于实际地形种类的刚度值其对应的预测刚度值越小，说明预测的结果也越保守，则基于该结果对星球车进行路径规划或运动控制就越安全。具体来说，假设每种地形的等效刚度模量K s的数值特征表现为某种概率分布f i(K s)，如果第i类地形T i的等效刚度模量预测值为K s，则可由等效刚度模量对应的累积分布函数F i(K s)来表示推断的安全性，由安全系数S(K s)表示。对于地形分类结果T，可以推断其等效刚度模量K s的安全系数S(K s)表示如下：
Figure PCTCN2019125875-appb-000026
其中，c i表示地形语义分割结果中第i种地形类别所对应的概率值。因此，当给定一个安全系数S，不难找到一个等效刚度模量K s与其对应。
在本发明一实施例中，假设某种地形的等效刚度模量呈现高斯分布
Figure PCTCN2019125875-appb-000027
则该地表的松软程度可推断为K s，其对应的安全系数S(K s)表示如下：
Figure PCTCN2019125875-appb-000028
Figure PCTCN2019125875-appb-000029
其中，Φ i(K s)是高斯误差函数，均值μ i和方差σ i 2可利用对星球车车轮走过的地形表面进行多次采样从而求取其参数。
同理，也可以使用相同的方法推断每个像素对应的等效摩擦模量。通过第i类地形T i的等效摩擦模量的累积分布函数
Figure PCTCN2019125875-appb-000030
类似地，根据下式计算给定安全系数：
Figure PCTCN2019125875-appb-000031
因此，可以找到一个对应的等效摩擦模量
Figure PCTCN2019125875-appb-000032
作为特性值，表示安全系数为S的等效摩擦模量大小。
在实施例1中通过设定安全系数S可衡量预测结果的安全性，可进行具有更高安全系数的地面力学特性参数估计。根据给定的安全系数S得到每个栅格对应的等效刚度模量和等效摩擦模量参数估计，即可得到对应栅格的力学特性参数，完成所有栅格的地面力学特性参数估计即形成力学特性层。再与步骤2得到的几何特性层相结合就可生成如图1所示的融合地形几何特性和力学特性的地形模型。
在本发明其他实施例中，通过步骤3拟合得到刚度模量和摩擦模量的函数，可直接采用拟合得到的均值作为等效刚度模量和等效摩擦模量的估计值。当取安全系数为0.5时，对应的参数估计值即为分布函数的均值，由此可直接采用拟合函数的均值作为对应参数的估计值。基于每个栅格融合后的语义信息进行概率最大的等效刚度模量和等效摩擦模量参数估计，即可得到对应栅格的力学特性参数，完成所有栅格的地面力学特性参数估计即形成力学特性层。再与步骤2得到的几何特性层相结合就可生成如图1所示的融合地形几何特性和力学特性的地形模型。
本发明实施例通过分层的形式，创新地从几何与力学特性两个维度进行地形表征，根据表现地形要素不同将地形分为地形几何特性层和力学特性层。在地形因子中加入地面力学特性参数，便于在仿真中利用轮-地相互作用进行星球车运动模拟。本发明还分别采用等效刚度模量K s和等效摩擦模量
Figure PCTCN2019125875-appb-000033
来表征地面的在法向上的承压特性和切向上的剪切特性。仅用两个参量统一地表征多地形的力学特性，满足不同地形下轮-地相互作用模型的表征需求。
现有的地形特性感知通常采用本体传感器测量星球车车轮受力/力矩或机体加速度的情况来判断正在通过的地形的坡度、颠簸度等特性。但这种基于本体信号的感测方式仅在通过地形表面时才可获取信号，难以提前对地形情况进行预判。本发明实施例用视觉感知的方式进行地面力学特性的预测，通过创建地形类别及其对应地形属性表建立起视觉特征与触觉特征之间的桥梁，提前推断未接触区域的地面承压和剪切特性，扩大了感知范围；通过概率方法，预测具有一定安全系数的地面等效刚度模量和等效摩擦模量值，使得原本需要通过本体传感器对地面力学特性进行直接测量的过程，可以通过外部视觉传感器进行间接的特性预测，降低了直接接触未知地面对星球车带来的潜在危险，同时拓宽了感测范围。
以下给出本发明其他实施例，以便更好的描述本发明。
实施例2：
本实施例与实施例1相似，不同点是地形力学因子由Bekker承压特性模型中的k c、k φ、n和Janosi剪切特性模型中的c，φ，K表示。其中，k c、k φ、n分别表示为内聚力模量、摩擦模量和沉陷指数；c，φ，K分别表示内聚力、内摩擦角和剪切弹性模量。则地形模型表示为某一地形区域D上包含九个地形因子的有限序列：
Figure PCTCN2019125875-appb-000034
类似的，相应的力学特性层也相应增加为六层，几何特性层层数不变。
实施例3：
本实施例与实施例1相似，不同点是采用双目相机获取深度图像。通过两个位置已经标定好的2D相机对同一环境进行拍摄获取图像数据流，根据同一时刻两个相机分别获得的图像帧，针对其内容进行像素点立体匹配，对周围环境进行深度计算，以获取深度图像。
实施例4：
本实施例与实施例1相似，不同点是采用基于结构光的相机获取深度图像。投影设备将结构光主动投射到被测物体上，摄像机拍摄在被测物体上形成的三维光图像，采集相位信息，经过运算单元处理后获得被测物体表面数据，获取 深度图像。
实施例5：
本实施例与实施例1相似，不同点是语义点云通过激光雷达和彩色相机获取，激光雷达通过向目标区域发射激光并通过接收器接收，得到目标区域距离数据，通过处理可获取带有三维坐标信息的点云，彩色图像通过语义分割，借助坐标转化与点云相结合，生成带有语义信息的点云。
实施例6：
本实施例与实施例1相似，不同点是语义分割过程以RGBD四通道信息为输入，包含了图像的深度信息。结合彩色图像和深度图像共同训练卷积神经网络，借助深度图像区分开视觉上相似、空间位置上显著差异的地形区域，进一步提升地形语义分割效果。
实施例7：
本实施例与实施例1相似，不同点是语义点云的数据结构及其对应的语义融合方法。其中，语义点云数据结构如附图7(b)所示，语义信息仅保存概率最大的一种地形类别及其置信度。对应的语义融合方法的流程示意图如图9所示，包括：若两个点云预测的最大概率对应类别相同，则融合后的地形类别不变，对应融合后的概率值为两者概率值的平均值；若两个点云预测的最大概率对应类别不同，则比较其对应概率值，保留概率值大的地形类别为融合类别，融合概率更新为对应概率的α倍。
实施例8：
本实施例与实施例1相似，不同点是在步骤S3的力学特性推断过程中，地面等效刚度模量和等效摩擦模量估计结果直接根据地形类别置信度对不同地形类别的等效刚度模量和等效摩擦模量特征值进行加权计算获得。具体地，等效刚度模量和等效摩擦模量预测值计算如下：
Figure PCTCN2019125875-appb-000035
其中，c i代表地形语义分割结果中第i种地形类别所对应的概率值，
Figure PCTCN2019125875-appb-000036
分别代表第i种地形类别所对应的等效刚度模量、等效摩擦模量。
实施例9：
本实施例与实施例1相似，不同点是由相机采集的彩色图像不经过地形语义分割环节，直接对彩色图像进行端到端的地面力学特性估计，每张图像获得像素级别的地面力学特性估计值。其几何特性层还是通过映射不带有语义信息的点云的几何信息获得，进而生成融合地形几何特征和力学特征的地形模型。
图10所示为本发明实施例融合力学特性和几何特性的地形建模系统的示意性框图，包括语义点云生成模块、几何特性获取模块、力学特性获取模块以及星球模型生成模块，其中，语义点云生成模块用于获取探测区域的彩色图像和深度图像，对彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和同一时刻深度图像包含的深度信息，生成语义点云；几何特性获取模块用于将语义点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将语义点云中的高程值赋予对应栅格；力学特性获取模块用于将所述语义点云中的语义信息赋予所述对应栅格，根据语义信息进行地面力学特性估计，将估计结果赋予对应栅格；星球模型生成模块用于结合几何特性获取模块和力学特性获取模块的结果生成地形模型。
本发明实施例将地面力学特性作为地形因子的一部分，从地面几何特性和力学特性两个层面表征地形。基于生成的该地形模型对星球车进行路径规划或运动控制，将使星球车具有更好的地形适应能力，有利于充分发挥其移动性能，减少由地面非几何特性引起的车辆沉陷事故。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所存储的计算机程序被处理器读取并运行时，可实现如上所述的融合几何特性与力学特性的地形建模方法。
本发明还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如上所述的融合几何特性与力学特性的地形建模方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例 或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (20)

  1. 一种融合几何特性与力学特性的地形建模方法，包括以下步骤：
    获取探测区域的输入图像，对所述输入图像进行处理，生成点云，所述点云包括所述输入图像的高程值；
    将所述点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述高程值更新至所述对应栅格；
    对所述输入图像进行地面力学特性计算，将计算结果更新至所述对应栅格，生成地形模型。
  2. 根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其中，所述获取探测区域的输入图像，对所述输入图像进行处理，生成点云包括：
    获取所述探测区域的彩色图像和深度图像，对所述彩色图像进行地形语义分割，融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成所述点云。
  3. 根据权利要求2所述的融合几何特性与力学特性的地形建模方法，其中，所述对所述彩色图像进行地形语义分割包括：
    采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
    分别统计所述训练集的RGB三通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行数据增强处理，并修正其对应的所述掩码标签；
    构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述彩色图像进行所述地形语义分割。
  4. 根据权利要求2所述的融合几何特性与力学特性的地形建模方法，其中，所述语义信息包括经过所述地形语义分割后得到的置信度较高的多种地形类别及其对应概率。
  5. 根据权利要求2所述的融合几何特性与力学特性的地形建模方法，其中，所述融合语义分割获得的地面语义信息和同一时刻所述深度图像包含的深度信息，生成所述语义点云包括：
    将所述彩色图像中每个像素的所述语义信息和同一时刻所述深度图像包含的深度信息相结合；
    利用星球车所携带相机的位姿信息进行坐标转换，生成所述地图坐标系下的 所述语义点云。
  6. 根据权利要求5所述的融合几何特性与力学特性的地形建模方法，其中，所述利用星球车所携带相机位的姿信息进行坐标转换，生成所述地图坐标系下的所述语义点云包括：
    将深度相机坐标系下的三维点云映射到同一时刻彩色相机坐标系下，形成彩色相机坐标系下的彩色三维点云；
    将所述彩色三维点云经星球车基底坐标系转换到所述地图坐标系下。
  7. 根据权利要求6所述的融合几何特性与力学特性的地形建模方法，其中，所述彩色相机坐标系和所述深度相机坐标系与星球车本体固连，所述星球车基底坐标系随所述星球车位姿变化而变化，其坐标原点在所述地图坐标系的XY平面上的投影与所述地图坐标系的原点重合。
  8. 根据权利要求2所述的融合几何特性与力学特性的地形建模方法，其中，所述将所述点云映射至地图坐标系下的栅格地图中，生成对应栅格，并将所述高程值赋予所述对应栅格包括：
    当不同时刻的点云对应同一栅格时，所述栅格中所包含的所述高程值和所述语义信息通过数据融合进行更新。
  9. 根据权利要求8所述的融合几何特性与力学特性的地形建模方法，其中，所述高程值通过求取所述多个点云包含的高程值的平均值进行更新。
  10. 根据权利要求8所述的融合几何特性与力学特性的地形建模方法，其中，所述语义信息通过数据融合进行更新包括：
    通过贝叶斯更新规则将所述多个点云包含的地形类别及其概率进行更新。
  11. 根据权利要求8所述的融合几何特性与力学特性的地形建模方法，其中，所述语义信息通过数据融合进行更新包括：
    若两个语义点云的最大概率对应类别相同，则更新后的地形类别不变，对应更新后的概率值为两者概率值的平均值；
    若两个语义点云的最大概率对应类别不同，则保留概率值大的地形类别为更新后的地形类别，对应更新后的概率为对应较大概率值的α倍。
  12. 根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其中，所述对所述输入图像进行地面力学特性估计，将计算结果更新至所述对应栅格，生成地形模型包括：
    根据地面力学特性统计数据拟合其分布函数；
    结合所述语义信息进行带有安全系数的力学特性数值估计，将估计结果赋予所述对应栅格，生成所述地形模型。
  13. 根据权利要求12所述的融合几何特性与力学特性的地形建模方法，其中，所述结合所述语义信息进行带有安全系数的力学特性数值计算包括：
    分别计算等效刚度模量K s的安全系数S(K s)和等效摩擦模量
    Figure PCTCN2019125875-appb-100001
    的安全系数
    Figure PCTCN2019125875-appb-100002
    Figure PCTCN2019125875-appb-100003
    其中，c i表示所述地形语义分割结果中第i种地形类别所对应的置信度，F i(K s)表示所述等效刚度模量的累积分布函数，
    Figure PCTCN2019125875-appb-100004
    表示所述等效摩擦模量的累积分布函数。
  14. 根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其中，所述对所述输入图像进行地面力学特性估计，将计算结果更新至所述对应栅格，生成地形模型包括：
    根据地面力学特性统计数据拟合其分布函数；
    根据地形类别的对应概率对不同地形类别的等效刚度模量和等效摩擦模量的值进行加权计算，将计算结果赋予所述对应栅格，生成所述地形模型。
  15. 根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其中，所述对所述输入图像进行地面力学特性估计，将计算结果更新至所述对应栅格，生成地形模型包括：
    根据地面力学特性统计数据拟合其分布函数；
    采用拟合得到的均值作为等效刚度模量和等效摩擦模量的估计值，将所述估计值赋予所述对应栅格，生成所述地形模型。
  16. 根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其中，所述对所述输入图像进行处理包括：
    采集地形图像作为数据源，对所采集图像中的目标地形进行标注并生成对应掩码标签，将标注后的图像按比例随机分成训练集和验证集；
    分别统计所述训练集中彩色图像和深度图像结合后生成的RGBD四通道的均值和方差，对每张输入图像进行数据归一化处理，并对所述训练集中的原始图像进行增强处理，同时修正其对应的所述掩码标签；
    构建卷积神经网络，进行语义分割模型训练，选择精度最高的模型作为所述语义分割模型对所述输入图像进行地形语义分割。
  17. 根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其中，所述对所述输入图像进行处理，生成点云包括：
    向目标区域发射激光并通过接收器接收，得到所述目标区域的带有三维坐标信息的点云数据，获取所述目标区域的彩色图像并通过语义分割，经坐标转化与所述点云数据相结合，生成所述点云。
  18. 根据权利要求1所述的融合几何特性与力学特性的地形建模方法，其中，所述获取探测区域的输入图像，对所述输入图像进行处理，生成点云包括：
    获取所述探测区域的彩色图像和深度图像，将所述彩色图像与同一时刻的所述深度图像相结合，经坐标转换后生成所述点云。
  19. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1至18中任一项所述的融合几何特性与力学特性的地形建模方法。
  20. 一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至18中任一项所述的融合几何特性与力学特性的地形建模方法。
PCT/CN2019/125875 2019-06-21 2019-12-17 一种融合几何特性与力学特性的地形建模方法及系统 WO2020253171A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910544272.0 2019-06-21
CN201910544272.0A CN110264572B (zh) 2019-06-21 2019-06-21 一种融合几何特性与力学特性的地形建模方法及系统

Publications (1)

Publication Number Publication Date
WO2020253171A1 true WO2020253171A1 (zh) 2020-12-24

Family

ID=67920462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/125875 WO2020253171A1 (zh) 2019-06-21 2019-12-17 一种融合几何特性与力学特性的地形建模方法及系统

Country Status (3)

Country Link
US (1) US11195329B2 (zh)
CN (1) CN110264572B (zh)
WO (1) WO2020253171A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112930554A (zh) * 2018-09-12 2021-06-08 丰田自动车欧洲公司 用于确定车辆环境的语义网格的电子设备、系统和方法
CN110264572B (zh) * 2019-06-21 2021-07-30 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统
CN110458895B (zh) * 2019-07-31 2020-12-25 腾讯科技（深圳）有限公司 图像坐标系的转换方法、装置、设备及存储介质
CN110766793B (zh) * 2019-10-08 2023-06-30 北京地平线机器人技术研发有限公司 一种基于语义点云的地图构建方法及装置
CN111043953B (zh) * 2019-10-17 2021-07-27 杭州电子科技大学 一种基于深度学习语义分割网络的二维相位解包裹方法
CN110930064B (zh) * 2019-12-09 2023-04-25 山东大学 一种火星尘暴时空概率提取和着陆安全性评价的方法
CN110956651B (zh) * 2019-12-16 2021-02-19 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111426330B (zh) * 2020-03-24 2022-03-15 江苏徐工工程机械研究院有限公司 路径生成方法和设备、无人化运输系统和存储介质
CN111462091B (zh) * 2020-04-02 2023-06-06 哈尔滨工业大学 一种探测设备的车轮检测方法及检测装置
CN111461245B (zh) * 2020-04-09 2022-11-04 武汉大学 一种融合点云和图像的轮式机器人语义建图方法及系统
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN112036275B (zh) * 2020-08-19 2023-02-03 华东师范大学 一种基于渐进式功能增强网络的物理模型材料识别方法
CN112037268B (zh) * 2020-09-02 2022-09-02 中国科学技术大学 一种动态场景下的基于概率传递模型的环境感知方法
CN112034863A (zh) * 2020-09-21 2020-12-04 北京洛必德科技有限公司 地面性质信息的检测方法及装置、计算机设备
CN112124312B (zh) * 2020-09-23 2022-02-15 合肥工业大学 一种履带式拖拉机控制方法及控制系统
CN112543938B (zh) * 2020-09-29 2022-02-08 华为技术有限公司 占据栅格地图的生成方法和装置
CN112529953B (zh) * 2020-12-17 2022-05-03 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN112861911A (zh) * 2021-01-10 2021-05-28 西北工业大学 一种基于深度特征选择融合的rgb-d语义分割方法
CN112396039B (zh) * 2021-01-12 2022-06-24 之江实验室 一种基于邻域关系的火星栅格地形地图生成方法
CN112819833B (zh) * 2021-02-05 2022-07-12 四川大学 一种大场景点云语义分割方法
CN112966775B (zh) * 2021-03-24 2023-12-01 广州大学 建筑构件的三维点云分类方法、系统、装置及存储介质
CN113128405B (zh) * 2021-04-20 2022-11-22 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法
CN113240678B (zh) * 2021-05-10 2023-05-30 青岛小鸟看看科技有限公司 平面信息检测方法及系统
US11741621B2 (en) * 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information
CN113192196B (zh) * 2021-05-19 2022-06-14 北京理工大学 一种复杂行星表面模拟生成方法
CN113436559B (zh) * 2021-05-19 2023-04-14 吉林大学 一种沙盘动态景观实时显示系统及显示方法
CN113298781B (zh) * 2021-05-24 2022-09-16 南京邮电大学 一种基于图像和点云融合的火星表面三维地形检测方法
CN113256712B (zh) * 2021-06-01 2023-04-18 北京有竹居网络技术有限公司 定位方法、装置、电子设备和存储介质
CN113379898B (zh) * 2021-06-17 2022-11-11 西安理工大学 一种基于语义分割的三维室内场景重建方法
CN113592891B (zh) * 2021-07-30 2024-03-22 华东理工大学 无人车可通行域分析方法及导航栅格地图制作方法
CN113537406B (zh) * 2021-08-30 2023-04-07 重庆紫光华山智安科技有限公司 一种图像自动数据增强方法、系统、介质及终端
CN114332228A (zh) * 2021-12-30 2022-04-12 高德软件有限公司 数据处理方法、电子设备及计算机存储介质
CN116679315A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 作业地形检测方法、装置及用于检测作业地形的工程设备
CN114742310B (zh) * 2022-04-22 2022-09-16 山东省人工智能研究院 基于轮地相互作用的地形可通过性地图构建方法
CN114970186A (zh) * 2022-06-08 2022-08-30 哈尔滨理工大学 一种复杂地形中探测器高保真动力学仿真系统构建方法
CN114812540B (zh) * 2022-06-23 2022-11-29 深圳市普渡科技有限公司 一种建图方法、装置和计算机设备
CN115661286A (zh) * 2022-10-27 2023-01-31 北京星天科技有限公司 矢量化海图绘制方法、装置及电子设备
CN115435793B (zh) * 2022-11-08 2023-02-17 西北工业大学 机器人路径规划方法及装置、存储介质、电子设备
CN115862014B (zh) * 2023-02-27 2023-04-28 中国地质大学（武汉） 矿区语义分割模型构建方法、装置及矿区语义分割方法
CN116258970B (zh) * 2023-05-15 2023-08-08 中山大学 一种融合遥感图像与点云数据的地理要素识别方法
CN117132727B (zh) * 2023-10-23 2024-02-06 光轮智能(北京)科技有限公司 一种地图数据获取方法、计算机可读存储介质及电子设备
CN117863190A (zh) * 2024-03-08 2024-04-12 广州小鹏汽车科技有限公司 足式机器人的移动控制方法及足式机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125226A1 (en) * 2013-09-17 2016-05-05 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for automatically optimizing quality of point cloud data
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
CN107403459A (zh) * 2016-05-20 2017-11-28 北京师范大学 真实地形快速建模方法和滑坡可视化技术
CN108257212A (zh) * 2016-12-29 2018-07-06 香港科技大学深圳研究院 一种用于三维城市模型的细节层次转换方法和系统
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
WO2014171988A2 (en) * 2013-01-29 2014-10-23 Andrew Robert Korb Methods for analyzing and compressing multiple images
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
US10796403B2 (en) * 2017-09-14 2020-10-06 The Regents Of The University Of Colorado, A Body Corporate Thermal-depth fusion imaging
CN109559320B (zh) * 2018-09-18 2022-11-18 华东理工大学 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125226A1 (en) * 2013-09-17 2016-05-05 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for automatically optimizing quality of point cloud data
CN107403459A (zh) * 2016-05-20 2017-11-28 北京师范大学 真实地形快速建模方法和滑坡可视化技术
CN108257212A (zh) * 2016-12-29 2018-07-06 香港科技大学深圳研究院 一种用于三维城市模型的细节层次转换方法和系统
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统

Also Published As

Publication number Publication date
CN110264572B (zh) 2021-07-30
US11195329B2 (en) 2021-12-07
US20200402300A1 (en) 2020-12-24
CN110264572A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
WO2020253171A1 (zh) 一种融合几何特性与力学特性的地形建模方法及系统
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
US11004202B2 (en) Systems and methods for semantic segmentation of 3D point clouds
EP3639241B1 (en) Voxel based ground plane estimation and object segmentation
CN100407798C (zh) 三维几何建模系统和方法
US20200184027A1 (en) System and method for modeling physical objects in a simulation
JP2021152662A5 (zh)
US11125861B2 (en) Mesh validation
CN111507222B (zh) 一种基于多源数据知识迁移的三维物体检测框架
CN114365201A (zh) 结构注释
CN113449736B (zh) 一种基于深度学习的摄影测量点云语义分割方法
CN111340939A (zh) 一种室内三维语义地图构建方法
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
CN105224935A (zh) 一种基于Android平台的实时人脸关键点定位方法
Zhao et al. Application research of image recognition technology based on CNN in image location of environmental monitoring UAV
CN112668461B (zh) 一种具有野生动物识别的智能监管系统
CN114120115A (zh) 一种融合点特征和网格特征的点云目标检测方法
CN114612660A (zh) 一种基于多特征融合点云分割的三维建模方法
Ewen et al. These maps are made for walking: Real-time terrain property estimation for mobile robots
Zhang et al. Detection and tracking of human track and field motion targets based on deep learning
US20220382246A1 (en) Differentiable simulator for robotic cutting
CN116740146A (zh) 无人驾驶挖掘机动态目标检测跟踪方法、装置及设备
Jancosek et al. Scalable multi-view stereo
CN115393601A (zh) 一种基于点云数据的三维目标检测方法
Zhao et al. Improving Autonomous Vehicle Visual Perception by Fusing Human Gaze and Machine Vision

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933680

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933680

Country of ref document: EP

Kind code of ref document: A1