WO2020103109A1 - 一种地图生成方法、设备、飞行器及存储介质 - Google Patents
一种地图生成方法、设备、飞行器及存储介质Info
- Publication number
- WO2020103109A1 WO2020103109A1 PCT/CN2018/117037 CN2018117037W WO2020103109A1 WO 2020103109 A1 WO2020103109 A1 WO 2020103109A1 CN 2018117037 W CN2018117037 W CN 2018117037W WO 2020103109 A1 WO2020103109 A1 WO 2020103109A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- point cloud
- semantics
- point
- image data
- Prior art date
Links
- 230000000875 corresponding Effects 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 20
- 230000001276 controlling effect Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007667 floating Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 230000001537 neural Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 241000209094 Oryza Species 0.000 description 5
- 235000007164 Oryza sativa Nutrition 0.000 description 5
- 235000009566 rice Nutrition 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005507 spraying Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 239000000575 pesticide Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- CWRVKFFCRWGWCS-UHFFFAOYSA-N Pentrazole Chemical compound C1CCCCC2=NN=NN21 CWRVKFFCRWGWCS-UHFFFAOYSA-N 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 239000004568 cement Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 230000000717 retained Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Abstract
一种地图生成方法、设备、飞行器及存储介质，其中，方法包括：获取飞行器上挂载的摄像装置拍摄的第一图像数据（S401）；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义（S402）；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据（S403）；使用所述包含语义的第一点云数据生成点云地图（S404）。通过这种方式，可自动生成并更新包含语义的点云地图，满足了语义识别的自动化和智能化需求，提高航拍应用的有效性和效率。
Description
本发明涉及控制技术领域，尤其涉及一种地图生成方法、设备、飞行器及存储介质。
随着飞行器技术的发展，目前飞行器(如无人机)已经广泛地应用于执行各种类型的作业任务(例如航拍、农业植保、勘测等)，其中，以飞行器上的航拍技术的应用最为广泛。以挂载有拍摄装置的飞行器为例，传统的飞行器的航拍技术在拍摄过程中无法自动识别所拍摄图像中各对象的类别，需依靠人工来判断拍摄图像中各对象的类别，这在一定程度上限制了飞行器航拍的应用。因此如何更有效地提高航拍应用的有效性和效率成为研究的重点。
发明内容
本发明实施例提供了一种地图生成方法、设备、飞行器及存储介质，可自动生成并更新包含语义的点云地图，满足了语义识别的自动化和智能化需求，提高航拍应用的有效性和效率。
第一方面，本发明实施例提供了一种地图生成方法，所述方法包括：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
第二方面，本发明实施例提供了一种地图生成设备，包括存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
第三方面，本发明实施例提供了一种飞行器，包括：
机身；
设置于所述机身的动力系统，用于提供飞行动力；
摄像装置，用于拍摄第一图像数据；
处理器，用于获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的地图生成方法。
本发明实施例中，地图生成设备可以基于语义识别模型对从飞行器上挂载的摄像装置拍摄到的第一图像数据进行处理，以识别出所述第一图像数据中每个像素点所具有的语义，并根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，以及使用所述包含语义的第一点云数据生成点云地图，通过这种方式，满足了语义识别的自动化和智能化需求，提高了基于语义识别的航拍应用的有效性和效率。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种点云地图的界面示意图；
图2.1是本发明实施例提供的一种正射影像的界面示意图；
图2.2是本发明实施例提供的另一种点云地图的界面示意图；
图2.3是本发明实施例提供的一种标记障碍物的点云地图的界面示意图；
图3是本发明实施例提供的一种地图生成系统的工作场景示意图；
图4是本发明实施例提供的一种地图生成方法的流程示意图；
图5是本发明实施例提供的另一种地图生成方法的流程示意图；
图6是本发明实施例提供的一种地图生成设备的结构示意图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在本发明实施例提供的地图生成方法可以由一种地图生成系统执行，所述地图生成系统包括地图生成设备和飞行器，所述地图生成设备和飞行器之间可以建立双向通信连接，以进行双向通信。在某些实施例中，所述地图生成设备可以设置在配置有负载(如拍摄装置、红外探测装置、测绘仪等)的飞行器(如无人机)上。在其他实施例中，所述地图生成设备还可以设置在其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。在某些实施例中，所述地图生成设备可以是飞行器的部件，即所述飞行器包括所述地图生成设备；在其他实施例中，所述地图生成设备还可以在空间上独立于飞行器。下面结合附图对应用于飞行器的地图生成方法的实施例进行举例说明。
本发明实施例中，地图生成设备首先可以通过飞行器的摄像装置采集样本图像数据，并对所述样本图像数据对应的样本图像进行语义标注，得到包括语义标注信息的样本图像数据。所述地图生成设备可以根据预设的语义识别算法生成初始语义识别模型，并将所述包括语义标注信息的样本图像数据作为输入数据，输入该初始语义识别模型中进行训练，得到训练结果，其中，所述训练 结果包括所述样本图像数据对应的位置数据、高度数据以及所述样本图像中每个像素点的语义。在某些实施例中，所述样本图像数据对应的位置数据包括所述样本图像的经度和纬度，所述样本图像数据对应的高度数据为所述样本图像的高度。在得到训练结果之后，所述地图生成设备可以将所述训练结果中样本图像中每个像素点的语义与所述样本图像的语义标注信息进行对比，如果不匹配，则调整所述初始语义识别模型中的参数，直至训练结果样本图像中每个像素点的语义与所述语义标注信息相匹配时，生成所述语义识别模型。
在一些实施例中，所述样本图像数据可以包括彩色图像或正射影像；或者，所述样本图像可以包括彩色图像和所述彩色图像对应的景深数据；或者，所述样本图像可以包括正射影像和所述正射影像对应的景深数据。在某些实施例中，所述正射影像是一种经过几何纠正(比如使之拥有统一的比例尺)的航拍图像，与没有纠正过的航拍图像不同的是，正射影像量可用于测实际距离，因为它是通过几何纠正后得到的地球表面的真实描述，所述正射影像具有信息量丰富、直观、可量测的特性。在某些实施例中，所述彩色图像是根据RGB值确定的图像。在某些实施例中，所述景深数据反映所述摄像装置到被拍摄物的距离。
在生成所述语义识别模型之后，所述地图生成设备可以在飞行器的飞行过程中获取挂载在飞行器上的摄像装置采集到的第一图像数据，并将所述第一图像数据输入所述语义识别模型中进行处理，识别得到所述第一图像数据中每个像素点所具有的语义，以及根据识别得到的所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图。
在某些实施例中，所述第一图像数据可以包括彩色图像或正射影像；或者，所述样本图像可以包括彩色图像和所述彩色图像对应的景深数据；或者，所述第一图像可以包括正射影像和所述正射影像对应的景深数据。在某些实施例中，所述第一点云数据与所述第一图像数据中每个像素点相对应，所述点云地图上不同点云数据的语义可以用不同的显示方式进行标记，如通过不同的颜色进行标记。如图1所示，图1是本发明实施例提供的一种点云地图的界面示意图，如图1为通过不同的颜色对点云地图上不同语义的点云数据进行标记得到示意图，图1中显示的不同的颜色代表不同类别。
在一个实施例中，当所述第一图像数据包括正射影像时，所述地图生成设备可以对所述正射影像进行语义标注(即对地物的类别进行标记，以便识别地物类别)，得到包含语义标注信息的正射影像，并将所述包含语义标注信息的正射影像输入训练好的所述语义识别模型中进行处理，识别得到所述正射影像上的每个像素点对应的语义，并输出所述正射影像上的每个像素点所具有的语义的置信度、位置数据和高度数据。在某些实施例中，所述位置数据包括所述第一图像数据中第一图像的经度和纬度，所述高度数据包括所述第一图像数据中第一图像的高度。
在一个实施例中，当所述第一图像数据包括正射影像和所述正射影像对应的景深数据时，所述地图生成设备可以通过训练好的语义识别模型对所述正射影像和所述正射影像对应的景深数据进行识别，识别出所述正射影像上每个像素点对应的语义。所述地图生成设备可以根据所述正射影像对应的位置数据、高度数据、景深数据和所述正射影像上每个像素点对应的语义，生成包含语义的第一点云数据，从而生成包含语义的点云地图。在某些实施例中，所述景深数据可以通过深度图来显示，所述深度图是指从摄像装置中读取到的带有深度信息的一帧数据(即景深数据)，由于深度图不适合直观查看，因此可以根据预设规则将深度图转化为点云数据，以便根据所述点云数据生成点云地图，方便用户查看。
在一些实施例中，所述第一图像数据包括正射影像，由于不同时刻获取到的正射影像可能具有较大的重叠，在不同的两个时刻采集到的两张正射影像中可能会出现具有相同位置数据的多个像素点，且识别出的两张正射影像具有相同位置数据的多个像素点的语义可能存在不一致。因此，为了更加可靠的对具有相同位置数据的多个像素点进行语义识别，所述地图生成设备可以根据语义识别模型输出的具有相同位置数据的多个像素点的语义的置信度的高低，来确定置信度较高的语义为具有相同位置数据的多个像素点的语义。
在某些实施例中，所述地图生成设备还可以采用人工投票的方式确定具有相同位置数据的多个像素点的语义；在某些实施例中，所述地图生成设备还可以将具有相同位置数据的多个像素点被标记次数最多的语义，确定为具有相同位置数据的多个像素点的语义；在其他实施例中，具有相同位置数据的多个像素点的语义同样还可以根据其他规则确定，例如根据预设的语义的优先级来确 定，本发明实施例在此不做具体限定。
在一个实施例中，地图生成设备生成点云地图之后，可以根据所述点云地图上各图像区域对应的像素点的语义，规划飞行航线。所述地图生成设备可以根据所述点云地图上各图像区域对应的像素点的语义，确定出所述点云地图上的障碍区域，并将该障碍区域通过特定的标记方式自动的标记出来，例如，农田中的电线杆、农田中孤立的树木等。将障碍区域自动标记之后，地图生成设备可以根据预设的航线生成算法生成自动规避标记的障碍区域的飞行航线。在某些实施例中，所述点云地图中可以包括多个图像区域，各图像区域是根据所述点云地图中每个像素点的语义划分的。
通过这种根据带有语义的点云图像进行航线规划的实施方式，可以自动化的将指定为障碍物或障碍区域的语义所对应的区域标记为航线需要规避的障碍区域，这在很大程度减少了依赖人工判读障碍物的工作量；通过对包含语义的点云地图进行实时更新，使得点云地图融合了对多张正射影像中识别的结果，降低了对地物的误判或遗漏的概率，提高了识别地物类别的效率。
具体可结合图2.1、图2.2和图2.3进行举例说明，图2.1是本发明实施例提供的一种正射影像的界面示意图，图2.2是本发明实施例提供的另一种点云地图的界面示意图，图2.3是本发明实施例提供的一种标记障碍物的点云地图的界面示意图。地图生成设备可以根据获取到的如图2.1所示的正射影像，将图2.1所示的正射影像输入训练好的语义识别模型中，识别出所述图2.1所示的正射影像对应的像素点的语义。由于不同的语义对应不同类型的地物，假设不同的语义用不同的颜色代表，且每种颜色代表一种类型的地物，则所述地图生成设备可以对包含语义的点云地图进行渲染，得到如图2.2所示的点云地图，其中，图2.2中的区域201中的灰色点代表需要标记的障碍物如电线杆。因此，可以通过对图2.2中的区域201中的灰色点进行标记，如用图2.3中所示的圆圈对区域201中的灰色点进行标记，可以得到如图2.3所示的标记障碍物的示意图。在其他实施例中，对障碍物的标记方式可以是其他标记方式，本发明实施例不做具体限定。
在一个实施例中，所述包含语义的点云地图还可以应用于违章建筑的检测，所述地图生成设备可以基于带有语义标注信息的正射影像，通过语义识别模型识别两个不同时刻采集的正射影像对应像素点的语义，并根据两个不同时 刻采集的正射影像对应的位置数据、高度数据以及每个像素点所具有的语义，生成包含语义的点云数据，以及使用点云数据生成各自包含语义的点云地图。如果检测到两个点云地图上具有相同位置数据的像素点，则可以通过对比具有相同位置数据的像素点的语义的置信度(即地物类别)，来确定具有相同位置数据的像素点的语义，从而根据语义判断具有相同位置数据的像素点区域是否出现了违章建筑；或判断具有相同位置数据的像素点区域是否发生变化。通过这种结合带有语义的点云地图的实施方式，能够更加可靠的检测变化区域，并且提供更为详尽的变化信息。
在一个实施例中，所述包含语义的点云地图还可以应用于地物分类。具体可以根据点云地图上对应各像素点的语义、所述点云地图上对应各像素点的位置数据、高度数据，对所述点云地图上的地物进行分类，和/或对所述点云地图上的地物按类别进行划分或分割等操作。
在一个实施例中，所述包含语义的点云地图还可以应用于农机的喷洒任务，对于农机喷洒任务的飞行航线的规划，可以通过判断农机飞行的区域是否为需要喷洒的作物来控制农药喷洒开关，以避免浪费农药的使用。
具体请参见图3，图3是本发明实施例提供的一种地图生成系统的工作场景示意图，如图3所示的地图生成系统包括：地图生成设备31和飞行器32，所述地图生成设备31可以为飞行器32的控制终端，具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的任意一种或多种。所述飞行器32可以是旋翼型飞行器，例如四旋翼飞行器、六旋翼飞行器、八旋翼飞行器，也可以是固定翼飞行器。飞行器32包括动力系统321，动力系统用于为飞行器32提供飞行动力，其中，动力系统321包括螺旋桨、电机、电子调速器中的任意一种或多种，飞行器32还可以包括云台322以及摄像装置323，摄像装置323通过云台322搭载于飞行器32的主体上。摄像装置323用于在飞行器32的飞行过程中进行图像或视频拍摄，包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等，云台322为多轴传动及增稳系统，云台322电机通过调整转动轴的转动角度来对成像设备的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小成像设备的抖动。
本发明实施例中，所述地图生成系统可以通过所述地图生成设备31获取飞行器32上挂载的摄像装置323拍摄的第一图像数据，并基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义，以及根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图。在某些实施例中，所述第一点云数据包含复数个点数据，所述点数据与所述第一图像数据中每个像素点相对应。通过这种实施方式可以生成包含语义的点云地图，以便飞行器在航拍应用中可以根据点云地图上的语义，确定地物类别。当然，本实施例不对点云数据与第一图像数据中像素点的对应关系进行限定，点云数据可以与图像数据中的像素点呈一一对应关系；每个点云数据也可以对应多个像素点，其语义由多个像素点的聚类结果决定。
在一个实施例中，所述地图生成设备31可以获取飞行器32上挂载的摄像装置323拍摄的第二图像数据，并基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义，以及根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据，从而使用所述第二点云数据更新所述点云地图。在某些实施例中，所述第二点云数据包含复数个点数据，所述点数据与所述第二图像数据中每个像素点相对应。通过这种方式实现了对点云地图的实时更新，以实现在相同位置数据处的地物类别发生变化时，能及时更新点云地图，提高点云地图中语义的准确性。
在一些实施例中，所述第一图像数据和所述第二图像数据均包括彩色图像，例如RGB图像；或者，在某些实施例中，所述第一图像数据和所述第二图像数据均包括彩色图像和所述彩色图像对应的景深数据；或者，在某些实施例中，所述第一图像数据和所述第二图像数据均包括正射影像；或者，在其他实施例中，所述第一图像数据和所述第一图像数据均包括正射影像和所述正射影像对应的景深数据。
请参见图4，图4是本发明实施例提供的一种地图生成方法的流程示意图，所述方法可以由地图生成设备执行，其中，所述地图生成设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S401：获取飞行器上挂载的摄像装置拍摄的第一图像数据。
本发明实施例中，地图生成设备可以获取飞行器上挂载的摄像装置拍摄的第一图像数据。其中，所述第一图像数据的解释如前所述，此处不再赘述。
S402：基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义。
本发明实施例中，地图生成设备可以基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义。在一个实施例中所述语义识别模型处理所述第一图像数据时还可以输出所述第一图像数据对应的位置数据和/或高度数据。
在一个实施例中，所述地图生成设备在基于语义识别模型处理所述第一图像数据之前，可以训练生成所述语义识别模型。在训练生成所述语义识别模型时，所述地图生成设备可以获取样本数据库，所述样本数据库包括样本图像数据，并根据预设的语义识别算法生成初始语义识别模型，以及基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型。
在某些实施例中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。在某些实施例中，所述预设的语义识别算法可以包括卷积神经网络算法，也可以是其他用于识别语音的算法，本发明实施例不做具体限定。在某些实施例中，所述样本图像可以是彩色图像或正射影像。
在一个实施例中，所述样本图像数据中可以包括样本图像，所述样本图像可以通过飞行器上挂载的摄像装置拍摄得到。所述地图生成设备在获取到样本图像之后，可以对所述样本图像进行语义标注，得到包含语义标注信息的样本图像即样本图像数据。所述地图生成设备可以将所述包含语义标注信息的样本图像输入初始语义识别模型进行训练，通过调整所述语义识别模型中的参数，直至该初始语义识别模型输出的语义与样本图像中的语义标注信息相匹配时，确定生成该语义识别模型。
在一个实施例中，所述样本图像数据可以包括样本图像和所述样本图像中各个像素点对应的景深数据，通过对所述样本图像进行语义标注，得到包含语义标注信息和景深数据的样本图像即样本图像数据，并调用所述初始语义识别 模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果。通过调整所述初始语义识别模型中的参数，若所述识别结果中识别出的语义与所述样本图像数据包括的语义标注信息相匹配，则可以确定生成该语义识别模型。
在一个实施例中，本方案使用的所述语义识别模型可以为卷积神经网络(Convolutional Neural Networks，CNN)模型，所述CNN模型的架构主要包括输入层、卷积层、激励层、池化层。在神经网络模型中，可以包括多个子网，所述子网被布置在从最低到最高的序列中，并且，通过所述序列中的子网中的每一个来处理输入的图像数据。序列中的子网包括多个模块子网以及可选地包括一个或多个其它子网，所述其它子网均由一个或者多个常规神经网络层组成，例如最大池化层、卷积层、全连接层、正则化层等。每个子网接收由序列中的前子网生成的在前输出表示；通过直通卷积来处理所述在前输出表示，以生成直通输出；通过神经网络层的一个或者多个群组来处理在前输出表示，以生成一个或者多个群组，连接所述直通输出和所述群组输出，以生成所述模块子网的输出表示。
在某些实施例中，所述输入层用于输入图像数据，所述卷积层用于对所述图像数据进行运算，所述激励层用于对卷积层输出的结果做非线性映射，所述池化层用于压缩数据和参数的量，减少过拟合，提高性能。本方案采用进行语义标注后的样本图像数据作为输入数据，输入CNN模型的输入层，经过卷积层计算之后，通过多个通道输出不同语义的置信度，例如，农田通道(置信度)、果树通道(置信度)、河流通道(置信度)等。作为CNN的输出结果，可以表示为一个张量数值，例如对于某一个像素点{经纬度，高度，K1,K2,…,Kn}，该张量数值表示了像素点的三维点云信息和n个通道的语义信息，其中，K1,K2,…,Kn表示置信度，张量数据中置信度最大的语义通道被作为该像素点的语义。例如，第i个语义通道的置信度Ki＝0.8，是最高的置信度，则该第i个通道对应的语义被作为该像素点的语义。
S403：根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据。
本发明实施例中，地图生成设备可以根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语 义的第一点云数据。在某些实施例中，所述位置数据包括经度和纬度。
在一个实施例中，所述第一点云数据包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义，且所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点相对应。在某些实施例中，所述不同置信度的多个语义是通过语义识别模型识别之后从多个通道输出得到的；在某些实施例中，与一般神经网络输出的结果不同的是，在神经网络的输出通道后增加分段输出函数，若通道置信度结果为负值，则将通道置信度结果置为零，保证神经网络输出的置信度为正浮点数据。使用正浮点数据作为语义通道的置信度，可以直接通过两个像素点数据的减法运算获得较大的置信度，由于张量的减法运算只需要对数组对应的数值内容进行减法操作，其运算量非常小，在同等算力的情况下，可以大大提高运算速度。尤其适合高精度地图绘制过程中，由于高精度地图需要大量运算，而造成的算力紧张问题。
S404：使用所述包含语义的第一点云数据生成点云地图。
本发明实施例中，地图生成设备可以使用所述包含语义的第一点云数据生成点云地图。在一个实施例中，所述点云地图包含复数个点数据，且每个点数据包括位置数据、高度数据和不同置信度的多个语义。
在一个实施例中，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示，例如通过不同的颜色对不同语义的各图像区域进行标记。
本发明实施例中，地图生成设备可以获取飞行器上挂载的摄像装置拍摄的第一图像数据，并基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义，以及根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图，通过这种方式，满足了语义识别的自动化和智能化需求，提高了基于语义识别的各航拍应用的有效性和效率。
请参见图5，图5是本发明实施例提供的另一种地图生成方法的流程示意图，所述方法可以由地图生成设备执行，其中，地图生成设备的具体解释如前所述。本发明实施例与上述图4所述实施例的区别在于，本发明实施例主要是对点云地图的更新过程进行详细的说明。
S501：获取飞行器上挂载的摄像装置拍摄的第一图像数据。
本发明实施例中，地图生成设备可以获取飞行器上挂载的摄像装置拍摄的第一图像数据，所述第一图像数据的解释如前所述，此处不再赘述。
S502：基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义。
本发明实施例中，地图生成设备可以基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义，具体实施例及举例如前所述，此处不再赘述。
S503：根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据。
本发明实施例中，所述地图生成设备可以根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，具体实施例及举例如前所述，此处不再赘述。
S504：使用所述包含语义的第一点云数据生成点云地图。
本发明实施例中，所述地图生成设备可以使用所述包含语义的第一点云数据生成点云地图，所述点云地图的解释如前所述。
S505：获取飞行器上挂载的摄像装置拍摄的第二图像数据。
本发明实施例中，地图生成设备可以获取飞行器上挂载的摄像装置在不同时刻拍摄得到的第二图像数据。
在一个实施例中，所述第二图像数据包括彩色图像；或者，所述第二图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，所述第二图像数据包括正射影像；或者，所述第二图像数据包括正射影像和所述正射影像对应的景深数据。
S506：基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义。
本发明实施例中，地图生成设备可以基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义。其中，具体实施过程与处理第一图像数据的实施过程类似，此处不再赘述。
S507：根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据。
本发明实施例中，地图生成设备可以根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据。
在一个实施例中，所述第二点云数据包含复数个点数据，且每个点数据包括位置数据、高度数据和不同置信度的多个语义，在某些实施例中，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。在某些实施例中，所述置信度为正浮点数据。
S508：使用所述第二点云数据更新所述点云地图。
本发明实施例中，地图生成设备可以使用所述第二点云数据更新所述点云地图。在一些实施例中，所述点云地图的解释如前所述，此处不再赘述。
在一个实施例中，所述地图生成设备在更新所述点云地图之前，可以检测根据所述第一点云数据生成的点云地图中是否存在与所述第二点云数据具有相同的位置数据的点数据(即重叠的像素点)；如果检测到根据所述第一点云数据生成的点云地图中存在与所述第二点云数据具有相同位置数据的点数据，则可以比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义的置信度，并保留所述两个点数据中具有较高置信度的点数据的语义。
在一个实施例中，所述地图生成设备在使用所述第二点云数据更新所述点云地图时，可以将所述两个点数据中具有较高置信度的点数据的语义确定为所述点云地图中与所述第二点数据位置数据相同的点数据的语义，以及将所述第二点云数据中与所述点云地图中位置数据不相同的点数据与所述点云地图进行叠加，从而实现对所述点云地图的更新。
在某些实施例中，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
在一个实施例中，所述地图生成设备在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，可以对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。在某些实施例中，所述减法运算是去掉两个点数据中置信度较低的语义，保留置信度较高的语义。
例如，假设地图生成设备在更新所述点云地图之前，检测到根据所述第一 点云数据生成的点云地图中存在与所述第二点云数据具有相同的位置数据的点数据，如果根据所述第一点云数据生成的点云地图中所述相同的位置数据的点数据的语义为果树，且置信度为50％，以及所述第二点云数据中所述相同的位置数据的点数据的语义为水稻，且置信度为80％，则可以比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义的置信度，由于置信度80％大于50％，则可以去掉两个点数据中置信度较低的语义即果树，将所述点云地图中的语义更新为水稻。
在一个实施例中，所述地图生成设备在使用所述第二点云数据更新所述点云地图时，还可以通过统计根据所述第一点云数据生成的点云地图中和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记的各语义的个数，并将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
在一个实施例中，所述地图生成设备在使用所述第二点云数据更新所述点云地图时，还可以根据所述第二点云数据和根据所述第一点云数据生成的点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
在一个实施例中，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示，例如，通过不同的颜色对不同语义的各图像区域进行标记。
在一个实施例中，所述地图生成设备在使用所述第二点云数据更新所述点云地图之后，还可以确定所述点云地图上各个图像区域对应的语义，并根据所述点云地图上各图像区域对应的语义规划飞行航线，从而控制所述飞行器按照所述飞行航线飞行。
在一个实施例中，所述地图生成设备在根据所述点云地图上各图像区域的语义规划飞行航线时，可以根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域，并在规划航线时绕过所述障碍区域规划所述飞行航线。
在一个实施例中，所述地图生成设备在控制所述飞行器按照所述飞行航线飞行时，可以判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像 区域的语义是否与目标任务的语义相匹配，如果判断出所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义与目标任务的语义相匹配，则可以控制所述飞行器执行所述目标任务，如果判断出所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义与目标任务的语义不匹配，则可以控制所述飞行器停止执行所述目标任务。在某些实施例中，所述目标任务可以是农药喷洒任务、障碍物检测任务、对场景目标进行分类等任意一种或多种任务。
在一个实施例中，如果所述目标任务为对场景目标进行分类，则所述地图生成设备在控制所述飞行器执行所述目标任务时，可以对航拍场景的目标进行识别，并根据识别结果生成包含语义的点云地图，以及根据所述包含语义的点云地图对航拍场景的类别进行划分。
在一个实施例中，所述地图生成设备在对所述航拍场景的类别进行划分时，可以根据所述点云地图中对应各像素点的语义的置信度、位置数据、高度数据对所述航拍场景的类别进行划分。
具体可举例说明，假设所述航拍场景为大田，所述大田中的类别包括树、道路、地面、电线杆、建筑物、水面、水稻田、其他农作物等，则所述地图生成设备可以根据所述点云地图对应各像素点的语义的置信度、位置数据、高度数据中的任意一种或多种，确定语义为树，且高度数据大于第一预设高度阈值的像素点所对应的区域为树的区域；确定语义为水泥和/或柏油的像素点所对应的区域为道路；确定语义置信度为水泥、柏油对应的像素点为道路；确定语义为杆状物，且高度数据大于第二预设高度阈值像素点所对应的区域为电线杆；确定语义为水、河流等被水覆盖的像素点所对应的区域为水面；确定语义为楼房，亭子，蓄水池(不包括水面)，厂房，塑料大棚等为建筑物；确定语义为水稻的像素点所对应的区域确定为水稻田；确定空白区域或高度数据小于第三预设高度阈值的其他语义的像素点所对应的区域为地面。根据识别出的大田中包括的各个类别，实现对所述大田所对应的各个区域进行划分。
本发明实施例中，地图生成设备可以获取飞行器上挂载的摄像装置拍摄的第二图像数据，并基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义，以及根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成 包含语义的第二点云数据，使用所述第二点云数据更新所述点云地图。通过这种方式，实现了自动化和智能化地对点云地图进行实时更新，提高了语义识别的准确性。
请参见图6，图6是本发明实施例提供的一种地图生成设备的结构示意图。具体的，所述地图生成设备包括：存储器601、处理器602以及数据接口603。
所述存储器601可以包括易失性存储器(volatile memory)；存储器601也可以包括非易失性存储器(non-volatile memory)；存储器601还可以包括上述种类的存储器的组合。所述处理器602可以是中央处理器(central processing unit，CPU)。所述处理器602还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
进一步地，所述存储器601用于存储程序指令，当程序指令被执行时所述处理器602可以调用存储器601中存储的程序指令，用于执行如下步骤：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
进一步地，所述处理器602还用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
进一步地，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
进一步地，所述置信度为正浮点数据。
进一步地，所述处理器602在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
进一步地，所述处理器602在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
进一步地，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
进一步地，所述处理器602在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
进一步地，所述处理器602在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
进一步地，所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
进一步地，所述处理器602在基于语义识别模型处理所述第一图像数据之 前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
进一步地，所述处理器602在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
进一步地，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
进一步地，所述处理器602使用所述第二点云数据更新所述点云地图之后，还用于：
确定所述点云地图上各个图像区域对应的语义；
根据所述点云地图上各图像区域对应的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
进一步地，所述处理器602根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
进一步地，所述处理器602在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当 前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
本发明实施例中，地图生成设备可以获取飞行器上挂载的摄像装置拍摄的第一图像数据，并基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义，以及根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图，通过这种方式，满足了语义识别的自动化和智能化需求，提高了基于语义识别的各航拍应用的有效性和效率。
本发明实施例还提供了一种飞行器，包括：机身；设置于所述机身上的动力系统，用于提供飞行动力；摄像装置，用于拍摄第一图像数据；所述动力系统包括：桨叶、电机，用于驱动桨叶转动；处理器，用于获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。
进一步地，所述处理器，所述处理器还用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
进一步地，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素 点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
进一步地，所述置信度为正浮点数据。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
进一步地，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
进一步地，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
进一步地，所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
进一步地，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
进一步地，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
进一步地，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
进一步地，所述处理器使用所述第二点云数据更新所述点云地图之后，还用于：
确定所述点云地图上各个图像区域对应的语义；
根据所述点云地图上各图像区域对应的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
进一步地，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
进一步地，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语 义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
本发明实施例中，地图生成设备可以获取飞行器上挂载的摄像装置拍摄的第一图像数据，并基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义，以及根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图，通过这种方式，满足了语义识别的自动化和智能化需求，提高了基于语义识别的各航拍应用的有效性和效率。
在本发明的实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图图4或图5所对应实施例中描述的地图生成方法方式，也可实现图6所述本发明所对应实施例的地图生成设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一项实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (49)
- 一种地图生成方法，其特征在于，所述方法包括：获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。
- 根据权利要求1所述的方法，其特征在于，所述方法还包括：获取飞行器上挂载的摄像装置拍摄的第二图像数据；基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；使用所述第二点云数据更新所述点云地图。
- 根据权利要求2所述的方法，其特征在于，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
- 根据权利要求3所述的方法，其特征在于，所述置信度为正浮点数据。
- 根据权利要求2所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保 留所述两个点数据中具有较高置信度的点数据。
- 根据权利要求5所述的方法，其特征在于，比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，包括：对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
- 根据权利要求6所述的方法，其特征在于，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
- 根据权利要求5所述的方法，其特征在于，所述使用所述第二点云数据更新所述点云地图，包括：统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
- 根据权利要求5所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
- 根据权利要求1所述的方法，其特征在于，所述第一图像数据包括彩色图像；或者，所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，所述第一图像数据包括正射影像；或者，所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
- 根据权利要求1所述的方法，其特征在于，所述基于语义识别模型处理所述第一图像数据之前，包括：获取样本数据库，所述样本数据库包括样本图像数据；根据预设的语义识别算法生成初始语义识别模型；基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
- 根据权利要求11所述的方法，其特征在于，所述基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型，包括：调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
- 根据权利要求2所述的方法，其特征在于，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
- 根据权利要求13所述的方法，其特征在于，所述使用所述第二点云数据更新所述点云地图之后，还包括：确定所述点云地图上各个图像区域对应的语义；根据所述点云地图上各图像区域的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
- 根据权利要求14所述的方法，其特征在于，所述根据所述点云地图上各图像区域的语义，规划飞行航线，包括：根据所述点云地图上各图像区域的语义，确定所述点云地图上的障碍区域；在规划航线时绕过所述障碍区域规划所述飞行航线。
- 根据权利要求15所述的方法，其特征在于，所述控制所述飞行器按照所述飞行航线飞行，包括：在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；如果判断结果为是，则控制所述飞行器执行所述目标任务；如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
- 一种地图生成设备，其特征在于，所述设备包括：存储器和处理器；所述存储器，用于存储程序指令；所述处理器，调用存储器中存储的程序指令，用于执行如下步骤：获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。
- 根据权利要求17所述的设备，其特征在于，所述处理器还用于：获取飞行器上挂载的摄像装置拍摄的第二图像数据；基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；使用所述第二点云数据更新所述点云地图。
- 根据权利要求18所述的设备，其特征在于，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
- 根据权利要求19所述的设备，其特征在于，所述置信度为正浮点数据。
- 根据权利要求18所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
- 根据权利要求21所述的设备，其特征在于，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
- 根据权利要求22所述的设备，其特征在于，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
- 根据权利要求21所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数 据相同的两个点数据的语义。
- 根据权利要求21所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
- 根据权利要求17所述的设备，其特征在于，所述第一图像数据包括彩色图像；或者，所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，所述第一图像数据包括正射影像；或者，所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
- 根据权利要求17所述的设备，其特征在于，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：获取样本数据库，所述样本数据库包括样本图像数据；根据预设的语义识别算法生成初始语义识别模型；基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
- 根据权利要求27所述的设备，其特征在于，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所 述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
- 根据权利要求28所述的设备，其特征在于，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
- 根据权利要求29所述的设备，其特征在于，所述处理器使用所述第二点云数据更新所述点云地图之后，还用于：确定所述点云地图上各个图像区域对应的语义；根据所述点云地图上各图像区域对应的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
- 根据权利要求30所述的设备，其特征在于，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；在规划航线时绕过所述障碍区域规划所述飞行航线。
- 根据权利要求31所述的设备，其特征在于，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；如果判断结果为是，则控制所述飞行器执行所述目标任务；如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
- 一种飞行器，其特征在于，包括：机身；设置于所述机身上的动力系统，用于提供飞行动力；摄像装置，用于拍摄第一图像数据；处理器，用于获取飞行器上挂载的摄像装置拍摄的第一图像数据；基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；使用所述包含语义的第一点云数据生成点云地图。
- 根据权利要求33所述的飞行器，其特征在于，所述处理器还用于：获取飞行器上挂载的摄像装置拍摄的第二图像数据；基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；使用所述第二点云数据更新所述点云地图。
- 根据权利要求34所述的飞行器，其特征在于，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
- 根据权利要求35所述的飞行器，其特征在于，所述置信度为正浮点数据。
- 根据权利要求34所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
- 根据权利要求37所述的飞行器，其特征在于，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
- 根据权利要求38所述的飞行器，其特征在于，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
- 根据权利要求37所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
- 根据权利要求37所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
- 根据权利要求33所述的飞行器，其特征在于，所述第一图像数据包括彩色图像；或者，所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，所述第一图像数据包括正射影像；或者，所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
- 根据权利要求33所述的飞行器，其特征在于，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：获取样本数据库，所述样本数据库包括样本图像数据；根据预设的语义识别算法生成初始语义识别模型；基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
- 根据权利要求43所述的飞行器，其特征在于，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
- 根据权利要求44所述的飞行器，其特征在于，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
- 根据权利要求45所述的飞行器，其特征在于，所述处理器使用所述第二点云数据更新所述点云地图之后，还用于：确定所述点云地图上各个图像区域对应的语义；根据所述点云地图上各图像区域对应的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
- 根据权利要求46所述的飞行器，其特征在于，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；在规划航线时绕过所述障碍区域规划所述飞行航线。
- 根据权利要求47所述的飞行器，其特征在于，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；如果判断结果为是，则控制所述飞行器执行所述目标任务；如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
- 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至16任一项所述方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/117037 WO2020103109A1 (zh) | 2018-11-22 | 2018-11-22 | 一种地图生成方法、设备、飞行器及存储介质 |
| CN201880038403.1A CN110799983A (zh) | 2018-11-22 | 2018-11-22 | 一种地图生成方法、设备、飞行器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/117037 WO2020103109A1 (zh) | 2018-11-22 | 2018-11-22 | 一种地图生成方法、设备、飞行器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020103109A1 true WO2020103109A1 (zh) | 2020-05-28 |
Family
ID=69425374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/117037 WO2020103109A1 (zh) | 2018-11-22 | 2018-11-22 | 一种地图生成方法、设备、飞行器及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110799983A (zh) |
| WO (1) | WO2020103109A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111427904A (zh) * | 2020-03-30 | 2020-07-17 | 北京四维图新科技股份有限公司 | 高精地图数据的更新方法、装置及电子设备 |
| CN113741413B (zh) * | 2020-05-29 | 2022-11-08 | 广州极飞科技股份有限公司 | 一种无人设备的作业方法、无人设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
| CN107933921A (zh) * | 2017-10-30 | 2018-04-20 | 广州极飞科技有限公司 | 飞行器及其喷洒路线生成和执行方法、装置、控制终端 |
| CN108140130A (zh) * | 2015-11-05 | 2018-06-08 | 谷歌有限责任公司 | 边缘感知的双边图像处理 |
| CN108229425A (zh) * | 2018-01-29 | 2018-06-29 | 浙江大学 | 一种基于高分辨率遥感图像的水体识别方法 |
| CN108427438A (zh) * | 2018-04-11 | 2018-08-21 | 北京木业邦科技有限公司 | 飞行环境检测方法、装置、电子设备及存储介质 |
-
2018
- 2018-11-22 CN CN201880038403.1A patent/CN110799983A/zh active Pending
- 2018-11-22 WO PCT/CN2018/117037 patent/WO2020103109A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108140130A (zh) * | 2015-11-05 | 2018-06-08 | 谷歌有限责任公司 | 边缘感知的双边图像处理 |
| CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
| CN107933921A (zh) * | 2017-10-30 | 2018-04-20 | 广州极飞科技有限公司 | 飞行器及其喷洒路线生成和执行方法、装置、控制终端 |
| CN108229425A (zh) * | 2018-01-29 | 2018-06-29 | 浙江大学 | 一种基于高分辨率遥感图像的水体识别方法 |
| CN108427438A (zh) * | 2018-04-11 | 2018-08-21 | 北京木业邦科技有限公司 | 飞行环境检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110799983A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10614562B2 (en) | Inventory, growth, and risk prediction using image processing | |
| RU2735151C2 (ru) | Распознавание сорняков в естественной среде | |
| US10929664B2 (en) | Visual observer of unmanned aerial vehicle for monitoring horticultural grow operations | |
| WO2020103108A1 (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
| Duggal et al. | Plantation monitoring and yield estimation using autonomous quadcopter for precision agriculture | |
| US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
| WO2020103109A1 (zh) | 一种地图生成方法、设备、飞行器及存储介质 | |
| US10546216B1 (en) | Recurrent pattern image classification and registration | |
| WO2020103110A1 (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
| Rojas-Perez et al. | Real-time landing zone detection for UAVs using single aerial images | |
| CN111611869B (zh) | 一种基于串行深度神经网络的端到端单目视觉避障方法 | |
| CN112528912A (zh) | 基于边缘计算的作物生长监测嵌入式系统及方法 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN112378397A (zh) | 无人机跟踪目标的方法、装置及无人机 | |
| CN111811502B (zh) | 一种运动载体多源信息融合导航方法及系统 | |
| CN112596071A (zh) | 无人机自主定位方法、装置及无人机 | |
| CN112380933A (zh) | 无人机识别目标的方法、装置及无人机 | |
| Cao et al. | Improved real-time semantic segmentation network model for crop vision navigation line detection | |
| CN111339953B (zh) | 一种基于聚类分析的薇甘菊监测方法 | |
| WO2022061496A1 (zh) | 对象边界提取方法、装置、可移动平台及存储介质 | |
| CN114355378B (zh) | 无人机的自主导航方法、装置、无人机及存储介质 | |
| Tang et al. | sUAS and Machine Learning Integration in Waterfowl Population Surveys | |
| WO2022094854A1 (zh) | 农作物的生长监测方法、设备及存储介质 | |
| Prystavka et al. | Information Technology of Realtime Optical Navigation based on Photorealistic Orthophoto Plan | |
| Павленко et al. | RECOGNITION OF UNDERLYING SURFACE USING A CONVOLUTIONAL NEURAL NETWORK ON A SINGLE-BOARD COMPUTER |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18940936 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18940936 Country of ref document: EP Kind code of ref document: A1 |