WO2020103110A1 - 一种基于点云地图的图像边界获取方法、设备及飞行器 - Google Patents

一种基于点云地图的图像边界获取方法、设备及飞行器

Info

Publication number
WO2020103110A1
WO2020103110A1 PCT/CN2018/117038 CN2018117038W WO2020103110A1 WO 2020103110 A1 WO2020103110 A1 WO 2020103110A1 CN 2018117038 W CN2018117038 W CN 2018117038W WO 2020103110 A1 WO2020103110 A1 WO 2020103110A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
data
semantics
image
cloud map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/117038
Other languages
English (en)
French (fr)
Inventor
王涛
马东东
张明磊
刘政哲
李鑫超
闫光
杨志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to PCT/CN2018/117038 priority Critical patent/WO2020103110A1/zh
Priority to CN201880038404.6A priority patent/CN110770791A/zh
Publication of WO2020103110A1 publication Critical patent/WO2020103110A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Definitions

  • the invention relates to the technical field of control, and in particular to a method, device and aircraft for acquiring image boundaries based on a point cloud map.
  • Embodiments of the present invention provide an image boundary acquisition method, device, and aircraft based on a point cloud map, which can automatically divide an image area to meet the needs of automation and intelligence for classifying image areas.
  • an embodiment of the present invention provides a method for acquiring an image boundary based on a point cloud map.
  • the method includes:
  • each image area with different semantics on the point cloud map is determined.
  • an embodiment of the present invention provides a route planning method based on a point cloud map.
  • the method includes:
  • an embodiment of the present invention provides an image boundary acquisition device based on a point cloud map, including a memory and a processor;
  • the memory is used to store program instructions
  • the processor executes the program instructions stored in the memory. When the program instructions are executed, the processor is used to perform the following steps:
  • each image area with different semantics on the point cloud map is determined.
  • an embodiment of the present invention provides a route planning device based on a point cloud map, including a memory and a processor;
  • the memory is used to store program instructions
  • the processor executes the program instructions stored in the memory. When the program instructions are executed, the processor is used to perform the following steps:
  • an embodiment of the present invention provides an aircraft, including:
  • a power system provided on the fuselage for providing flight power
  • the processor is used to obtain a point cloud map containing semantics; according to the semantics on the point cloud map, determine each image area with different semantics on the point cloud map.
  • an embodiment of the present invention provides another aircraft, including:
  • a power system provided on the fuselage for providing flight power
  • an embodiment of the present invention provides a computer-readable storage medium that stores a computer program, which when executed by a processor implements a point cloud-based map as described in the first aspect above Image boundary acquisition method or the route planning method based on point cloud map described in the second aspect.
  • an image boundary acquisition device based on a point cloud map can acquire a point cloud map containing semantics; according to the semantics on the point cloud map, each image area with different semantics on the point cloud map is determined.
  • This method can automatically divide the image area to meet the needs of automation and intelligence to classify the image area.
  • FIG. 1 is a schematic diagram of a working scene of an image boundary acquisition system based on a point cloud map provided by an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of an image boundary acquisition method based on a point cloud map provided by an embodiment of the present invention
  • Figure 3.1 is a schematic diagram of an etching operation provided by an embodiment of the present invention.
  • Figure 3.2 is a schematic diagram of an expansion operation provided by an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of a route planning method based on a point cloud map provided by an embodiment of the present invention
  • FIG. 5 is a schematic diagram of an interface of a point cloud map provided by an embodiment of the present invention.
  • Figure 6.1 is a schematic diagram of an orthophoto image interface provided by an embodiment of the present invention.
  • FIG. 6.2 is a schematic diagram of another point cloud map interface provided by an embodiment of the present invention.
  • Figure 6.3 is a schematic diagram of an interface of a point cloud map for marking obstacles provided by an embodiment of the present invention.
  • FIG. 7 is a schematic structural diagram of an image boundary acquisition device based on a point cloud map provided by an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of a route planning device based on a point cloud map provided by an embodiment of the present invention.
  • the method for acquiring an image boundary based on a point cloud map may be performed by an image boundary acquiring system based on a point cloud map, the image boundary acquiring system based on a point cloud map includes an image boundary acquiring based on a point cloud map
  • a two-way communication connection can be established between the point cloud map-based image boundary acquisition device and the aircraft for two-way communication.
  • the point cloud map-based image boundary acquisition device may be set on an aircraft (such as a drone) equipped with a load (such as a camera, infrared detection device, surveying instrument, etc.).
  • the point cloud map-based image boundary acquisition device may also be provided on other movable devices, such as autonomous devices such as robots, unmanned vehicles, and unmanned boats.
  • the point cloud map-based image boundary acquisition device may be a component of an aircraft, that is, the aircraft includes the point cloud map-based image boundary acquisition device; in other embodiments, the based The point cloud map image boundary acquisition device can also be spatially independent of the aircraft. The following describes an example of an embodiment of a method for acquiring an image boundary based on a point cloud map for an aircraft with reference to the drawings.
  • an image boundary acquisition device based on a point cloud map may obtain a point cloud map containing semantics and determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map.
  • the image boundary acquisition device may Determine the image areas with continuous and identical semantics on the point cloud map, and perform edge processing operations on the image areas with continuous and identical semantics to obtain image areas with different semantics on the point cloud map.
  • the edge processing operation includes a forward edge processing operation and / or a reverse edge processing operation.
  • the forward edge processing operation and / or the reverse edge processing operation can eliminate noise, segment independent image elements, connect adjacent elements in the image, and find obvious maxima regions in the image Or the minimum area, find the gradient of the image to achieve the segmentation of the image.
  • the forward edge processing operation may be that the highlighted part in the original image is eroded, that is, "the domain is eroded", and the image obtained through the forward edge processing operation has a smaller height than the original image. Bright area.
  • the reverse edge processing operation may be an expansion operation performed on the highlighted part in the image, that is, "domain expansion", and the image obtained by the reverse edge processing operation has a larger size than the original image. Highlight the area.
  • the image boundary acquisition device based on the point cloud map may perform global positive correction on all image areas on the point cloud map when performing edge processing operations on the image areas with continuous same semantics
  • determine the image boundary of the pseudo-adhesion so as to divide the image regions of the pseudo-adhesion; and / or, perform the local positive edge processing operation on the image regions connected on the point cloud map
  • the semi-adhesive image boundary is determined to divide the semi-adhesive image area among the connected image areas.
  • the image boundary acquisition device based on the point cloud map may perform a global positive edge processing operation on all image areas on the point cloud map to determine the false The image boundary of adhesion is to divide each image area of pseudo adhesion.
  • the image boundary acquisition device based on the point cloud map may also determine the image areas connected on the point cloud map according to the semantics of the point cloud map, and perform the image areas connected on the point cloud map.
  • the local positive edge processing operation determines the semi-adhesive image boundary, so as to segment the semi-adhesive image region among the connected image regions.
  • the image boundary acquisition device based on the point cloud map may also perform a reverse edge processing operation on the point cloud map, thereby dividing the field into multiple images with different semantics region.
  • FIG. 1 is a schematic diagram of a working scene of an image boundary acquisition system based on a point cloud map provided by an embodiment of the present invention.
  • the image boundary acquisition system based on a point cloud map shown in FIG. 1 includes: An image boundary acquisition device 11 for a cloud map and an aircraft 12, the image boundary acquisition device 11 based on a point cloud map may be a control terminal of the aircraft 12, specifically a remote controller, a smartphone, a tablet computer, a laptop computer, Any one or more of ground stations and wearable devices (watches, bracelets).
  • the aircraft 12 may be a rotor-type aircraft, such as a four-rotor aircraft, a six-rotor aircraft, an eight-rotor aircraft, or a fixed-wing aircraft.
  • the aircraft 12 includes a power system 121 for providing flight power to the aircraft 12, wherein the power system 121 includes any one or more of a propeller, a motor, and an electronic governor.
  • the aircraft 12 may further include a pan / tilt 122 and
  • the imaging device 123 is mounted on the main body of the aircraft 12 via the gimbal 122.
  • the camera device 123 is used for taking images or videos during the flight of the aircraft 12, including but not limited to multi-spectral imagers, hyper-spectral imagers, visible light cameras and infrared cameras, etc.
  • the gimbal 122 is a multi-axis transmission and stabilization system
  • the PTZ 122 motor compensates the imaging angle of the imaging device by adjusting the rotation angle of the rotation axis, and prevents or reduces the shaking of the imaging device by setting an appropriate buffer mechanism.
  • the point cloud map-based image boundary acquisition system may acquire a point cloud map containing semantics through the point cloud map-based image boundary acquisition device 11, and according to the semantics on the point cloud map, Each image area with different semantics on the point cloud map is determined.
  • FIG. 2 is a schematic flowchart of a method for acquiring an image boundary based on a point cloud map according to an embodiment of the present invention.
  • the method may be performed by an image boundary acquiring device based on a point cloud map.
  • the specific explanation of the image boundary acquisition device of the point cloud map is as described above.
  • the method in the embodiment of the present invention includes the following steps.
  • an image boundary acquisition device based on a point cloud map can acquire a point cloud map containing semantics.
  • the point cloud map is generated according to the semantics of each pixel on the image captured by the camera.
  • the point cloud map contains a plurality of point data, and each point data includes location data, altitude data, and multiple semantics with different confidence levels.
  • the image boundary acquisition device may collect sample image data through the camera of the aircraft, and perform a sample image corresponding to the sample image data. Semantic annotation, obtaining sample image data including semantic annotation information, and generating an initial semantic recognition model according to a preset semantic recognition algorithm, so that the sample image data including semantic annotation information is used as input data and input into the initial semantic recognition model Train to generate a semantic recognition model.
  • the sample image data may include a color image or an orthophoto; or, the sample image may include a color image and depth of field data corresponding to the color image; or, the sample image may include an orthophoto Depth of field data corresponding to the image and the orthophoto.
  • the orthophoto is an aerial image that has been geometrically corrected (for example, to have a uniform scale). Unlike the aerial image that has not been corrected, the amount of orthophoto can be used to measure the actual Distance, because it is a true description of the earth's surface obtained through geometric correction, the orthophotos have the characteristics of being rich in information, intuitive and measurable.
  • the color image is an image determined according to RGB values.
  • the depth of field data reflects the distance from the camera to the object.
  • the image boundary acquisition device may acquire the first image data collected by a camera mounted on the aircraft during the flight of the aircraft , And input the first image data into the semantic recognition model for processing, identify the semantics of each pixel in the first image data, and according to the identified corresponding to the first image data Position data, height data, and the semantics of each pixel in the first image data generate first point cloud data containing semantics, thereby generating a point cloud map using the first point cloud data containing semantics.
  • the semantic recognition model used in this solution may be a Convolutional Neural Network (CNN) model.
  • the architecture of the CNN model mainly includes an input layer, a convolutional layer, an excitation layer, and pooling Floor.
  • a plurality of subnets may be included, the subnets are arranged in a sequence from lowest to highest, and the input image data is processed by each of the subnets in the sequence.
  • the subnets in the sequence include multiple module subnets and optionally one or more other subnets, all of which are composed of one or more conventional neural network layers, such as maximum pooling layer, convolutional layer , Fully connected layer, regularization layer, etc.
  • Each subnet receives the previous output representation generated by the previous subnet in the sequence; processes the previous output representation by pass-through convolution to generate a pass-through output; and processes it by one or more groups of neural network layers.
  • the front output representation is used to generate one or more groups, and the through output and the group output are connected to generate an output representation of the module subnet.
  • the input layer is used to input image data
  • the convolution layer is used to perform operations on the image data
  • the excitation layer is used to perform non-linear mapping on the output of the convolution layer.
  • the pooling layer is used to compress the amount of data and parameters, reduce overfitting, and improve performance.
  • This solution uses the sample image data after semantic annotation as input data, enters the input layer of the CNN model, and after the calculation of the convolution layer, outputs the confidence of different semantics through multiple channels, for example, farm channel (confidence), fruit tree Channel (confidence), river channel (confidence), etc. As the output result of CNN, it can be expressed as a tensor value.
  • the tensor value represents the three-dimensional point cloud information of the pixel and n
  • the semantic information of the channel, where K1, K2, ..., Kn represent the confidence, and the semantic channel with the highest confidence in the tensor data is taken as the semantics of the pixel.
  • Ki 0.8, which is the highest confidence
  • the semantics corresponding to the i-th channel are taken as the semantics of the pixel.
  • S202 Determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map.
  • the image boundary acquisition device based on the point cloud map may determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map.
  • the image boundary acquisition device based on the point cloud map may determine the image regions of different semantics on the point cloud map according to the semantics on the point cloud map, according to the point cloud map On the point cloud map, determine image areas with continuous and identical semantics on the point cloud map, and perform edge processing operations on the image areas with continuous and identical semantics to obtain image areas with different semantics on the point cloud map .
  • the edge processing operation includes a forward edge processing operation and / or a reverse edge processing operation.
  • the forward edge processing operation may include an erosion operation
  • the reverse edge processing operation may include an expansion operation.
  • the formula of the corrosion operation is shown in formula (1):
  • dst (x, y) represents the target pixel value of the corrosion operation
  • (x, y) represents the pixel coordinate position
  • src (x + x ', y + y ') means value operation.
  • formula (2) is shown in formula (2):
  • dst (x, y) represents the target pixel value of the expansion operation
  • (x, y) represents the pixel coordinate position
  • src (x + x ', y + y ') means value operation.
  • the positive edge processing operation includes: performing a global positive edge processing operation on all image areas on the point cloud map to determine the image boundary of the pseudo-adhesion, Segment each image area; and / or, perform a local positive edge processing operation on each image area connected on the point cloud map to determine a semi-adhesive image boundary, so as to The semi-adhesive image area is segmented.
  • the global positive edge processing operation includes: convolving each semantic set image in the point cloud map with a preset computing kernel to obtain the pixel of the area covered by the computing kernel The minimum value, and assign the minimum value to the specified pixel.
  • the local positive edge processing operation includes: convolving the semantic collection image with connected domains in the point cloud map with a preset calculation kernel to obtain pixels of the area covered by the calculation kernel The minimum value of the point, and assign the minimum value to the specified pixel.
  • the preset calculation kernel is a predetermined figure with reference points.
  • FIG. 3.1 can be used as an example for illustration, and FIG. 3.1 is a schematic diagram of an etching operation provided by an embodiment of the present invention.
  • the image boundary acquisition device based on the point cloud map may use each semantic collection image 311 in the point cloud map as The predetermined figure 312 with reference points of the preset calculation kernel is convoluted to obtain the minimum value of the pixels of the area covered by the calculation kernel, and the minimum value is assigned to the specified pixel, as shown in Figure 3.1 Of the corrosion image 313.
  • the reverse edge processing operation includes: convolving each semantic set image in the point cloud map with a preset calculation kernel to obtain the maximum value of the pixels of the area covered by the calculation kernel And assign the maximum value to the specified pixel.
  • the preset calculation kernel is a predetermined figure with reference points.
  • FIG. 3.2 can be used as an example for illustration, and FIG. 3.2 is a schematic diagram of an expansion operation provided by an embodiment of the present invention.
  • the image boundary acquisition device based on the point cloud map may use each semantic collection image 321 in the point cloud map as The predetermined graph 322 with reference points of the preset calculation kernel is convoluted to obtain the maximum value of the pixels of the area covered by the calculation kernel, and the maximum value is assigned to the specified pixel, and the minimum The value is assigned to the specified pixel, and the expanded image 323 shown in Figure 3.2 is obtained.
  • a highlight area smaller than the original image can be obtained, and through the reverse edge processing operation, a highlight area larger than the original image can be obtained.
  • the image effect can be enhanced, and more effective data can be provided for the calculation in the subsequent image processing process, so as to improve the accuracy of the calculation.
  • an image boundary acquisition device based on a point cloud map may acquire a point cloud map containing semantics, and determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map, by In this way, the image area can be automatically divided, which meets the needs of automation and intelligence to classify the image area, and improves the accuracy of image division.
  • FIG. 4 is a schematic flowchart of a route planning method based on a point cloud map provided by an embodiment of the present invention.
  • the method may be executed by a route planning device based on a point cloud map.
  • the route planning equipment of the map can be installed on the aircraft, or on other mobile equipment that establishes a communication connection with the aircraft, such as autonomous equipment such as robots, unmanned vehicles, and unmanned boats.
  • the point cloud map-based route planning device may be a component of an aircraft; in other embodiments, the point cloud map-based route planning device may also be spatially independent of the aircraft.
  • the method in the embodiment of the present invention includes the following steps.
  • a route planning device based on a point cloud map can obtain a point cloud map containing semantics.
  • a route planning device based on a point cloud map may acquire first image data captured by a camera device mounted on the aircraft, and process the first image data based on a semantic recognition model Image data to obtain the semantics of each pixel in the first image data, and the position data, height data corresponding to the first image data and each pixel in the first image data To generate the first point cloud data containing semantics, so as to generate a point cloud map using the first point cloud data containing semantics.
  • the route planning device based on the point cloud map may train and generate the semantic recognition model before processing the first image data based on the semantic recognition model.
  • the point cloud map-based route planning device may collect sample image data through the camera of the aircraft, and semantically annotate the sample image corresponding to the sample image data to obtain including semantic annotation Sample image data for information.
  • the route planning device based on the point cloud map may generate an initial semantic recognition model according to a preset semantic recognition algorithm, and use the sample image data including semantic annotation information as input data, input the initial semantic recognition model for training, A training result is obtained, where the training result includes position data corresponding to the sample image data, height data, and the semantics of each pixel in the sample image.
  • the position data corresponding to the sample image data includes the longitude and latitude of the sample image
  • the height data corresponding to the sample image data is the height of the sample image.
  • the sample image data may include a color image or an orthophoto; or, the sample image may include a color image and depth of field data corresponding to the color image; or, the sample image may include an orthophoto Depth of field data corresponding to the image and the orthophoto.
  • the orthophoto is an aerial image that has been geometrically corrected (for example, to have a uniform scale). Unlike the aerial image that has not been corrected, the amount of orthophoto can be used to measure the actual Distance, because it is a true description of the earth's surface obtained through geometric correction, the orthophotos have the characteristics of being rich in information, intuitive and measurable.
  • the color image is an image determined according to RGB values.
  • the depth of field data reflects the distance from the camera to the object.
  • the first point cloud data corresponds to each pixel in the first image data
  • the semantics of different point cloud data on the point cloud map can be marked with different display methods, Such as marking by different colors.
  • FIG. 5 is a schematic diagram of an interface of a point cloud map provided by an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of tagging point cloud data with different semantics on a point cloud map by using different colors.
  • FIG. 5 The different colors shown in represent different categories.
  • the route planning device based on the point cloud map may semantically label the orthophotos (that is, mark the categories of features, so that Recognize feature types), obtain orthophotos containing semantic annotation information, and input the orthophotos containing semantic annotation information into the trained semantic recognition model for processing, and identify the orthophotos on the orthophotos Semantics corresponding to each pixel, and output semantic confidence, position data and height data of each pixel on the orthophoto.
  • the position data includes the longitude and latitude of the first image in the first image data
  • the height data includes the height of the first image in the first image data.
  • the point cloud map-based route planning device may use a trained semantic recognition model to The orthophoto and the depth data corresponding to the orthophoto are identified, and the semantics corresponding to each pixel on the orthophoto are identified.
  • the route planning device based on the point cloud map may generate a first point cloud containing semantics according to the position data, altitude data, depth data corresponding to the orthophoto and the semantics corresponding to each pixel on the orthophoto Data to generate a point cloud map containing semantics.
  • the depth of field data may be displayed by a depth map.
  • the depth map refers to a frame of data with depth information (that is, depth of field data) read from the camera device. It is suitable for intuitive viewing, so the depth map can be converted into point cloud data according to preset rules, so that a point cloud map can be generated according to the point cloud data, which is convenient for users to view.
  • the first image data includes orthophotos. Since the orthophotos obtained at different times may have a large overlap, the two orthophotos collected at two different times may be There may be multiple pixels with the same position data, and the semantics of the identified multiple pixels with the same position data in the two orthophotos may be inconsistent. Therefore, in order to more reliably perform semantic recognition on multiple pixels with the same location data, the route planning device based on the point cloud map can output the semantic confidence of the semantics of the multiple pixels with the same location data according to the semantic recognition model To determine the semantics with higher confidence as the semantics of multiple pixels with the same position data.
  • the point cloud map-based route planning device may also use manual voting to determine the semantics of multiple pixels with the same location data; in some embodiments, the point cloud map-based Of the route planning device can also determine the semantics of multiple pixels with the same location data as the most marked times as the semantics of multiple pixels with the same location data; in other embodiments, multiple The semantics of the pixel can also be determined according to other rules, for example, according to the preset semantic priority, which is not specifically limited in this embodiment of the present invention.
  • the semantic recognition model used in this solution may be a CNN model, and the architecture of the CNN model mainly includes an input layer, a convolutional layer, an excitation layer, and a pooling layer.
  • the neural network model a plurality of subnets may be included, the subnets are arranged in a sequence from lowest to highest, and the input image data is processed by each of the subnets in the sequence.
  • the subnets in the sequence include multiple module subnets and optionally one or more other subnets, all of which are composed of one or more conventional neural network layers, such as maximum pooling layer, convolutional layer , Fully connected layer, regularization layer, etc.
  • Each subnet receives the previous output representation generated by the previous subnet in the sequence; processes the previous output representation by pass-through convolution to generate a pass-through output; and processes it by one or more groups of neural network layers.
  • the front output representation is used to generate one or more groups, and the through output and the group output are connected to generate an output representation of the module subnet.
  • the input layer is used to input image data
  • the convolution layer is used to perform operations on the image data
  • the excitation layer is used to perform non-linear mapping on the output of the convolution layer.
  • the pooling layer is used to compress the amount of data and parameters, reduce overfitting, and improve performance.
  • the position data includes longitude and latitude;
  • the first point cloud data includes a plurality of point data, and each point data includes position data, height data, and multiple semantics with different confidence levels, and the Each point data contained in the first point cloud data corresponds to each pixel point in the first image data.
  • the multiple semantics with different confidence levels are obtained from multiple channels after being recognized by the semantic recognition model; in some embodiments, the difference from the output of the general neural network is that A segmented output function is added after the output channel of the neural network. If the channel confidence result is negative, the channel confidence result is set to zero to ensure that the neural network output confidence is positive floating-point data.
  • a route planning device based on a point cloud map may acquire second image data captured by a camera mounted on an aircraft, and process the second image data based on the semantic recognition model to obtain the first The semantics of each pixel in the second image data, and according to the position data, height data corresponding to the second image data and the semantics of each pixel in the second image data, a Two point cloud data, thereby updating the point cloud map using the second point cloud data.
  • the first point cloud data, the second point cloud data, and the point cloud map all contain a plurality of point data, and each point data includes position data, altitude data, and multiple semantics with different confidence levels
  • Each point data contained in the first point cloud data corresponds to each pixel in the first image data
  • each point data contained in the second point cloud data corresponds to the second image data Corresponds to each pixel.
  • the confidence level is positive floating point data.
  • the route planning device based on the point cloud map may detect whether the second point cloud exists in the point cloud map generated from the first point cloud data Point data where the data has the same position data (ie overlapping pixels); if it is detected that there is point data with the same position data as the second point cloud data in the point cloud map generated from the first point cloud data , You can compare the semantic confidence of two point data with the same position data in the second point cloud data and the point cloud map, and retain the point data with higher confidence in the two point data Semantic.
  • the two point data may have higher confidence point data
  • the semantics of is determined as the semantics of point data in the point cloud map that is the same as the position data of the second point data, and the point data in the second point cloud data that is different from the position data in the point cloud map Overlay with the point cloud map, so as to update the point cloud map.
  • two point data having the same position data in the first point cloud data and the second point cloud data overlap two of the first image data and the second image data Pixels correspond.
  • the route planning device based on the point cloud map may compare the first point cloud A plurality of semantics of different confidence levels in two point data with the same position data in the data and the second point cloud data are subtracted.
  • the subtraction operation is to remove the semantics with lower confidence in the two point data and retain the semantics with higher confidence.
  • the route planning device based on the point cloud map detects that the point cloud map generated from the first point cloud data has the same position data as the second point cloud data before updating the point cloud map Point data, if the semantics of the point data of the same location data in the point cloud map generated from the first point cloud data are fruit trees, and the confidence level is 50%, and the second point cloud data
  • the semantic of the point data of the same position data is rice, and the confidence is 80%
  • the semantic confidence of the two point data with the same position data in the second point cloud data and the point cloud map can be compared Since the confidence level of 80% is greater than 50%, the semantics that are lower in the two point data, that is, fruit trees, can be removed, and the semantics in the point cloud map can be updated to rice.
  • the point cloud map generated from the first point cloud data may also be calculated Neutralize the number of semantics of the two point data with the same position data in the second point cloud data in the history records, and use the largest number of semantics as the first point cloud data and all The semantics of the two point data with the same position data in the second point cloud data are described.
  • the point cloud map-based route planning device when the point cloud map-based route planning device uses the second point cloud data to update the point cloud map, it may also be based on the second point cloud data and the first point Priority corresponding to the semantics of the two point data with the same position data in the point cloud map generated by the cloud data, and determining the semantics with the highest priority is that the second point cloud data and the position data in the point cloud map are the same The semantics of the two point data.
  • S402 Determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map.
  • the route planning device based on the point cloud map may determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map.
  • each image area included in the point cloud map is divided according to the semantics of each pixel in the point cloud map, and each image area may be displayed by different display marking methods, for example, by Different colors mark each image area with different semantics. Specific embodiments are as described above, and will not be repeated here.
  • S403 Plan a flight route according to the semantics of each image area on the point cloud map.
  • the route planning device based on the point cloud map may plan the flight route according to the semantics of each image area on the point cloud map.
  • the flight route can be planned according to the semantics of pixel points corresponding to each image area on the point cloud map.
  • the route planning device based on the point cloud map may determine the obstacle area on the point cloud map according to the semantics of pixel points corresponding to each image area on the point cloud map, and pass the obstacle area through a specific marking method Automatic marking, for example, telephone poles in farmland, isolated trees in farmland, etc.
  • the route planning device based on the point cloud map can generate a flight route that automatically avoids the marked obstacle area according to a preset route generation algorithm.
  • the areas corresponding to the semantics designated as obstacles or obstacle areas can be automatically marked as obstacle areas to be avoided by the route, which is greatly reduced
  • the point cloud map containing semantics in real time the point cloud map merges the results of recognition in multiple orthophotos, reducing the misjudgment or omission of ground features Probability improves the efficiency of identifying features.
  • Figure 6.1 is a schematic diagram of an orthophoto image interface provided by an embodiment of the present invention
  • Figure 6.2 is another interface of a point cloud map provided by an embodiment of the present invention
  • FIG. 6.3 is a schematic diagram of an interface of a point cloud map for marking obstacles provided by an embodiment of the present invention.
  • the image boundary acquisition device based on the point cloud map can input the orthophoto shown in FIG. 6.1 into the trained semantic recognition model according to the acquired orthophoto shown in FIG. 6.1, and recognize the image shown in FIG. 6.1 The semantics of the pixels corresponding to the orthophoto.
  • the point cloud map-based image boundary acquisition device The point cloud map is rendered to obtain the point cloud map shown in FIG. 6.2, where the gray dots in the area 601 in FIG. 6.2 represent obstacles such as telephone poles that need to be marked. Therefore, by marking the gray dots in the area 601 in FIG. 6.2, such as marking the gray dots in the area 601 with the circle shown in FIG. 6.3, a schematic diagram of the marked obstacle as shown in FIG. 6.3 can be obtained .
  • the marking method for the obstacle may be other marking methods, which is not specifically limited in the embodiment of the present invention.
  • the route planning device based on the point cloud map may divide the categories of aerial photography scenes based on image regions with different semantics.
  • the route planning device based on the point cloud map divides the category of the aerial photography scene
  • the aerial photography scene can be based on the semantic confidence, position data, and altitude data corresponding to each pixel in the point cloud map. To classify.
  • the planning device may determine, according to any one or more of semantic confidence, position data, and height data corresponding to each pixel point of the point cloud map, pixels whose semantics are trees and whose height data is greater than a first preset height threshold
  • the area corresponding to the point is the area of the tree; the area corresponding to the pixel point whose semantic meaning is cement and / or asphalt is the road; the pixel position corresponding to the semantic confidence level is cement and asphalt is the road; the semantic meaning is the rod,
  • the area corresponding to the pixels whose height data is greater than the second preset height threshold is a telephone pole; it is determined that the area corresponding to the pixels covered by water such as water and rivers is the water surface; (Excluding water surface), factory buildings, plastic sheds, etc.
  • the areas corresponding to the field are buildings; areas corresponding to pixels whose semantic meaning is rice are determined as paddy fields; pixels whose blank area or other semantics whose height data is less than the third preset height threshold are determined The corresponding area is the ground. According to the identified categories included in the field, the areas corresponding to the field are divided.
  • the point cloud map containing semantics can also be applied to the detection of illegal buildings, and the route planning device based on the point cloud map can be based on orthophotos with semantic annotation information (ie, first image data ),
  • semantic annotation information ie, first image data
  • the semantic recognition model to identify the semantics of the pixels corresponding to the two orthophotos collected at different times, and according to the position data, height data and the semantics of each pixel corresponding to the orthophotos collected at two different times, Generate point cloud data with semantics and use point cloud data to generate point cloud maps with semantics.
  • the semantic confidence of the pixels with the same location data can be compared to determine the pixels with the same location data Semantics, so as to determine whether there is illegal building in the pixel area with the same position data according to the semantics; or whether the pixel area with the same position data has changed.
  • the point cloud map containing semantics can also be applied to feature classification. Specifically, the features on the point cloud map may be classified according to the semantics of the corresponding pixel points on the point cloud map, the position data and height data of the corresponding pixel points on the point cloud map, and / or the The features on the point cloud map are divided or divided by category.
  • the point cloud map containing semantics can also be applied to agricultural machinery spraying tasks.
  • pesticide spraying can be controlled by judging whether the area where the agricultural machinery is flying is a crop that needs to be sprayed Switch to avoid wasting pesticides.
  • S404 Control the aircraft to fly according to the flight path.
  • a route planning device based on a point cloud map may control the aircraft to fly according to the flight route.
  • the route planning device when the route planning device based on the point cloud map controls the aircraft to fly according to the flight route, it can determine the semantics of the image area corresponding to the current flight position of the aircraft in the point cloud map Whether it matches the semantics of the target mission, if it is determined that the semantics of the image area corresponding to the current flight position of the aircraft in the point cloud map match the semantics of the target mission, the aircraft can be controlled to execute the Target mission; if it is determined that the semantics of the image area corresponding to the current flight position of the aircraft in the point cloud map do not match the semantics of the target mission, the aircraft can be controlled to stop performing the target mission.
  • the target task may be any one or more tasks such as a pesticide spraying task, an obstacle detection task, and classifying scene targets.
  • the route planning device based on the point cloud map may identify the targets of the aerial scene when controlling the aircraft to perform the target tasks, And generate a point cloud map containing semantics according to the recognition result, and classify the aerial photography scene according to the point cloud map containing semantics.
  • a route planning device based on a point cloud map may obtain a point cloud map containing semantics, and determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map, and The semantic route of each image area on the point cloud map is used to plan a flight route, thereby controlling the aircraft to fly according to the flight route.
  • FIG. 7 is a schematic structural diagram of an image boundary acquisition device based on a point cloud map according to an embodiment of the present invention.
  • the image boundary acquisition device based on the point cloud map includes: a memory 701, a processor 702, and a data interface 703.
  • the memory 701 may include a volatile memory (volatile memory); the memory 701 may also include a non-volatile memory (non-volatile memory); the memory 701 may also include a combination of the foregoing types of memories.
  • the processor 702 may be a central processing unit (central processing unit, CPU).
  • the processor 702 may further include a hardware chip.
  • the hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD) or a combination thereof.
  • ASIC application-specific integrated circuit
  • PLD programmable logic device
  • FPGA field-programmable gate array
  • the memory 701 is used to store program instructions.
  • the processor 702 may call the program instructions stored in the memory 701 to perform the following steps:
  • each image area with different semantics on the point cloud map is determined.
  • processor 702 determines each image area with different semantics on the point cloud map according to the semantics on the point cloud map, it is specifically used to:
  • the edge processing operation includes: a forward edge processing operation and / or a reverse edge processing operation.
  • the forward edge processing operation includes:
  • the global edge processing operation includes:
  • Each semantic collection image in the point cloud map is convolved with a preset calculation kernel to obtain the minimum value of the pixels in the area covered by the calculation kernel, and the minimum value is assigned to the specified pixel.
  • the local positive edge processing operation includes:
  • the reverse edge processing operation includes:
  • Each semantic set image in the point cloud map is convoluted with a preset calculation kernel to obtain the maximum value of the pixels in the area covered by the calculation kernel, and the maximum value is assigned to the specified pixel.
  • the preset calculation kernel is a predetermined figure with reference points.
  • an image boundary acquisition device based on a point cloud map may acquire a point cloud map containing semantics, and determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map, by In this way, the image area can be automatically divided, which meets the needs of automation and intelligence to classify the image area, and improves the accuracy of image division.
  • FIG. 8 is a schematic structural diagram of a route planning device based on a point cloud map according to an embodiment of the present invention.
  • the route planning device based on the point cloud map includes: a memory 801, a processor 802, and a data interface 803.
  • the memory 801 may include a volatile memory (volatile memory); the memory 801 may also include a non-volatile memory (non-volatile memory); the memory 801 may also include a combination of the foregoing types of memories.
  • the processor 802 may be a central processing unit (central processing unit, CPU).
  • the processor 802 may further include a hardware chip.
  • the hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD) or a combination thereof.
  • ASIC application-specific integrated circuit
  • PLD programmable logic device
  • FPGA field programmable logic gate array
  • the memory 801 is used to store program instructions.
  • the processor 802 may call the program instructions stored in the memory 801 to perform the following steps:
  • processor 802 obtains a point cloud map containing semantics, it is specifically used to:
  • first point cloud data containing semantics according to the position data, height data corresponding to the first image data, and the semantics of each pixel in the first image data
  • a point cloud map is generated using the first point cloud data containing semantics.
  • processor 802 obtains a point cloud map containing semantics, it is specifically used to:
  • first point cloud data, the second point cloud data, and the point cloud map all contain a plurality of point data, and each point data includes position data, height data, and multiple semantics with different confidence levels;
  • Each point data included in the first point cloud data corresponds to each pixel in the first image data, and each point data included in the second point cloud data corresponds to the Each pixel corresponds.
  • the confidence level is positive floating point data.
  • processor 802 uses the second point cloud data to update the point cloud map, it is specifically used to:
  • processor 802 compares the second point cloud data and the two point data with the same position data in the point cloud map, it is specifically used to:
  • Subtraction operations are performed on a plurality of semantics with different confidence levels in two point data with the same position data in the first point cloud data and the second point cloud data.
  • two point data having the same position data in the first point cloud data and the second point cloud data correspond to two overlapping pixel points in the first image data and the second image data.
  • processor 802 uses the second point cloud data to update the point cloud map, it is specifically used to:
  • the semantics with the largest number is used as the semantics of the two point data with the same position data in the first point cloud data and the second point cloud data.
  • processor 802 uses the second point cloud data to update the point cloud map, it is specifically used to:
  • the semantics with the highest priority are the second point cloud data and the The semantics of two point data with the same position data in a point cloud map.
  • the first image data includes a color image
  • the first image data includes a color image and depth data corresponding to the color image; or,
  • the first image data includes an orthophoto; or,
  • the first image data includes orthophotos and depth data corresponding to the orthophotos.
  • the processor 802 is further used to:
  • sample database including sample image data
  • the sample image data includes a sample image and semantic annotation information; or, the sample image data includes a sample image, depth data corresponding to each pixel in the sample image and semantic annotation information.
  • the processor 802 trains and optimizes the initial semantic recognition model based on each sample image data in the sample database to obtain the semantic recognition model, it is specifically used to:
  • the model parameters of the initial semantic recognition model are optimized to obtain the semantic recognition model.
  • the point cloud map includes a plurality of image areas, the image areas are divided according to the semantics of each pixel in the point cloud map, and each image area is displayed by different display mark methods.
  • processor 802 is specifically used when planning a flight route according to the semantics of each image area on the point cloud map:
  • processor 802 controls the aircraft to fly according to the flight path, it is specifically used to:
  • a route planning device based on a point cloud map may obtain a point cloud map containing semantics, and determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map, and The semantic route of each image area on the point cloud map is used to plan a flight route, thereby controlling the aircraft to fly according to the flight route.
  • An embodiment of the present invention provides an aircraft including: a fuselage; a power system provided on the fuselage for providing flight power; the power system includes: a blade and a motor for driving the blade to rotate;
  • the processor is used to obtain a point cloud map containing semantics; according to the semantics on the point cloud map, determine each image area with different semantics on the point cloud map.
  • the processor determines each image area with different semantics on the point cloud map according to the semantics on the point cloud map, it is specifically used to:
  • the edge processing operation includes: a forward edge processing operation and / or a reverse edge processing operation.
  • the positive edge processing operation includes:
  • the global edge processing operation includes:
  • Each semantic collection image in the point cloud map is convolved with a preset calculation kernel to obtain the minimum value of the pixels in the area covered by the calculation kernel, and the minimum value is assigned to the specified pixel.
  • the local positive edge processing operation includes:
  • the reverse edge processing operation includes:
  • Each semantic set image in the point cloud map is convoluted with a preset calculation kernel to obtain the maximum value of the pixels in the area covered by the calculation kernel, and the maximum value is assigned to the specified pixel.
  • the preset calculation kernel is a predetermined figure with reference points.
  • an image boundary acquisition device based on a point cloud map may acquire a point cloud map containing semantics, and determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map, by In this way, the image area can be automatically divided, which meets the needs of automation and intelligence for the classification of the image area, and improves the accuracy of image division.
  • An embodiment of the present invention also provides an aircraft including: a fuselage; a power system provided on the fuselage for providing flight power; the power system includes: a blade and a motor for driving the blade to rotate
  • a processor for acquiring a point cloud map containing semantics; determining each image area with different semantics on the point cloud map according to the semantics on the point cloud map; according to the semantics of each image area on the point cloud map , Plan a flight route; control the aircraft to fly according to the flight route.
  • the processor obtains a point cloud map containing semantics, it is specifically used to:
  • first point cloud data containing semantics according to the position data, height data corresponding to the first image data, and the semantics of each pixel in the first image data
  • a point cloud map is generated using the first point cloud data containing semantics.
  • processor is also used to:
  • first point cloud data, the second point cloud data, and the point cloud map all contain a plurality of point data, and each point data includes position data, height data, and multiple semantics with different confidence levels;
  • Each point data included in the first point cloud data corresponds to each pixel in the first image data, and each point data included in the second point cloud data corresponds to the Each pixel corresponds.
  • the confidence level is positive floating point data.
  • the processor uses the second point cloud data to update the point cloud map, it is specifically used to:
  • the processor compares the second point cloud data and the two point data with the same position data in the point cloud map, it is specifically used to:
  • Subtraction operations are performed on a plurality of semantics with different confidence levels in two point data with the same position data in the first point cloud data and the second point cloud data.
  • two point data having the same position data in the first point cloud data and the second point cloud data correspond to two overlapping pixel points in the first image data and the second image data.
  • the processor uses the second point cloud data to update the point cloud map, it is specifically used to:
  • the semantics with the largest number is used as the semantics of the two point data with the same position data in the first point cloud data and the second point cloud data.
  • the processor uses the second point cloud data to update the point cloud map, it is specifically used to:
  • the semantics with the highest priority are the second point cloud data and the The semantics of two point data with the same position data in a point cloud map.
  • the first image data includes a color image
  • the first image data includes a color image and depth data corresponding to the color image; or,
  • the first image data includes an orthophoto; or,
  • the first image data includes orthophotos and depth data corresponding to the orthophotos.
  • the processor is further configured to:
  • sample database including sample image data
  • the sample image data includes a sample image and semantic annotation information; or, the sample image data includes a sample image, depth data corresponding to each pixel in the sample image and semantic annotation information.
  • the processor performs training optimization on the initial semantic recognition model based on each sample image data in the sample database to obtain the semantic recognition model, it is specifically used to:
  • the model parameters of the initial semantic recognition model are optimized to obtain the semantic recognition model.
  • the point cloud map includes a plurality of image areas, the image areas are divided according to the semantics of each pixel in the point cloud map, and each image area is displayed by different display mark methods.
  • the processor is specifically used when planning a flight route according to the semantics of each image area on the point cloud map:
  • the processor controls the aircraft to fly according to the flight path, it is specifically used to:
  • a route planning device based on a point cloud map may obtain a point cloud map containing semantics, and determine each image area with different semantics on the point cloud map according to the semantics on the point cloud map, and The semantic route of each image area on the point cloud map is used to plan a flight route, thereby controlling the aircraft to fly according to the flight route.
  • a computer-readable storage medium stores a computer program, and the computer program is executed by a processor to implement the invention described in the embodiment corresponding to FIG. 2.
  • the method of acquiring the image boundary based on the point cloud map or the route planning method based on the point cloud map described in the embodiment corresponding to FIG. 3 can also realize the method based on the point cloud map of the embodiment corresponding to the present invention shown in FIG.
  • the image boundary acquisition device or the point cloud map-based route planning device according to the embodiment of the present invention described in FIG. 7 will not be repeated here.
  • the computer-readable storage medium may be an internal storage unit of the device according to any one of the foregoing embodiments, such as a hard disk or a memory of the device.
  • the computer-readable storage medium may also be an external storage device of the device, for example, a plug-in hard disk equipped on the device, a smart memory card (Smart Media Card, SMC), and a secure digital (SD) card , Flash card (Flash Card), etc.
  • the computer-readable storage medium may also include both an internal storage unit of the device and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the device.
  • the computer-readable storage medium may also be used to temporarily store data that has been or will be output.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM) or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于点云地图的图像边界获取方法、设备、飞行器及存储介质，其中，方法包括：获取包含语义的点云地图（S201）；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域（S202）。通过这种方式，可实现自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求，以及提高了图像分割的准确性。

Description

一种基于点云地图的图像边界获取方法、设备及飞行器 技术领域
本发明涉及控制技术领域，尤其涉及一种基于点云地图的图像边界获取方法、设备及飞行器。
背景技术
随着飞行器技术的发展，目前飞行器(如无人机)已经广泛地应用于执行各种类型的作业任务(例如航拍、农业植保、勘测等)，其中，以飞行器上的航拍技术的应用最为广泛。以挂载有拍摄装置的飞行器为例，传统的飞行器的航拍技术在拍摄过程中无法自动对拍摄图像中不同类别的图像区域进行划分，这在一定程度上影响了飞行器执行作业任务。因此如何更有效地对图像区域进行分类成为研究的重点。
发明内容
本发明实施例提供了一种基于点云地图的图像边界获取方法、设备及飞行器，可自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求。
第一方面，本发明实施例提供了一种基于点云地图的图像边界获取方法，所述方法包括：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
第二方面，本发明实施例提供了一种基于点云地图的航线规划方法，所述方法包括：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
第三方面，本发明实施例提供了一种基于点云地图的图像边界获取设备， 包括存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
第四方面，本发明实施例提供了一种基于点云地图的航线规划设备，包括存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
第五方面，本发明实施例提供了一种飞行器，包括：
机身；
设置于所述机身的动力系统，用于提供飞行动力；
处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
第六方面，本发明实施例提供了另一种飞行器，包括：
机身；
设置于所述机身的动力系统，用于提供飞行动力；
处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；根据所述点云地图上各图像区域的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
第七方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方 面所述的基于点云地图的图像边界获取方法或第二方面所述的基于点云地图的航线规划方法。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，通过这种方式可自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于点云地图的图像边界获取系统的工作场景示意图；
图2是本发明实施例提供的一种基于点云地图的图像边界获取方法的流程示意图；
图3.1是本发明实施例提供的一种腐蚀操作的示意图；
图3.2是本发明实施例提供的一种膨胀操作的示意图；
图4是本发明实施例提供的一种基于点云地图的航线规划方法的流程示意图；
图5是本发明实施例提供的一种点云地图的界面示意图；
图6.1是本发明实施例提供的一种正射影像的界面示意图；
图6.2是本发明实施例提供的另一种点云地图的界面示意图；
图6.3是本发明实施例提供的一种标记障碍物的点云地图的界面示意图；
图7是本发明实施例提供的一种基于点云地图的图像边界获取设备的结构示意图；
图8是本发明实施例提供的一种基于点云地图的航线规划设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供的基于点云地图的图像边界获取方法可以由一种基于点云地图的图像边界获取系统执行，所述基于点云地图的图像边界获取系统包括基于点云地图的图像边界获取设备和飞行器，所述基于点云地图的图像边界获取设备和飞行器之间可以建立双向通信连接，以进行双向通信。在某些实施例中，所述基于点云地图的图像边界获取设备可以设置在配置有负载(如拍摄装置、红外探测装置、测绘仪等)的飞行器(如无人机)上。在其他实施例中，所述基于点云地图的图像边界获取设备还可以设置在其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。在某些实施例中，所述基于点云地图的图像边界获取设备可以是飞行器的部件，即所述飞行器包括所述基于点云地图的图像边界获取设备；在其他实施例中，所述基于点云地图的图像边界获取设备还可以在空间上独立于飞行器。下面结合附图对应用于飞行器的基于点云地图的图像边界获取方法的实施例进行举例说明。
本发明实施例中，基于点云地图的图像边界获取设备可以通过获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
在一个实施例中，所述基于点云地图的图像边界获取设备在根据所述点云地图上的语义确定所述点云地图上不同语义的各个图像区域时，可以根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域，并对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。在一些实施例中，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
在一些实施例中，所述正向边沿处理操作和/或逆向边沿处理操作可以消除噪声，分割出独立的图像元素，在图像中连接相邻的元素，寻找图像中的明显的极大值区域或极小值区域，求出图像的梯度，以实现对图像的分割。在某 些实施例中，所述正向边沿处理操作可以是原图中的高亮部分被腐蚀即“领域被蚕食”，通过正向边沿处理操作可以得到的图像拥有比原图更小的高亮区域。在某些实施例中，所述逆向边沿处理操作可以是对图像中的高亮部分进行的膨胀操作，即“领域扩张”，通过所述逆向边沿处理操作得到的图像拥有比原图更大的高亮区域。
在一个实施例中，所述基于点云地图的图像边界获取设备在对所述具有连续相同语义的各图像区域进行边沿处理操作时，可以对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。通过对点云地图的图像进行边沿处理操作，可以将伪黏连和半黏连的区域进行分割以及将重叠区域进行分割，提高了对图像区域进行分割的准确性。
例如，假设所述点云地图为大田的点云地图，则所述基于点云地图的图像边界获取设备可以对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割。所述基于点云地图的图像边界获取设备还可以根据所述点云地图的语义，确定出所述点云地图上联通的各图像区域，并对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。所述基于点云地图的图像边界获取设备在对所述点云地图进行腐蚀操作之后，还可以对所述点云地图进行逆向边沿处理操作，从而将所述大田分割为不同语义的多个图像区域。
具体请参见图1，图1是本发明实施例提供的一种基于点云地图的图像边界获取系统的工作场景示意图，如图1所示的基于点云地图的图像边界获取系统包括：基于点云地图的图像边界获取设备11和飞行器12，所述基于点云地图的图像边界获取设备11可以为飞行器12的控制终端，具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的任意一种或多种。所述飞行器12可以是旋翼型飞行器，例如四旋翼飞行器、六旋翼飞行器、八旋翼飞行器，也可以是固定翼飞行器。飞行器12包括动力系统121，动力系统用于为飞行器12提供飞行动力，其中，动力系统121包 括螺旋桨、电机、电子调速器中的任意一种或多种，飞行器12还可以包括云台122以及摄像装置123，摄像装置123通过云台122搭载于飞行器12的主体上。摄像装置123用于在飞行器12的飞行过程中进行图像或视频拍摄，包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等，云台122为多轴传动及增稳系统，云台122电机通过调整转动轴的转动角度来对成像设备的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小成像设备的抖动。
本发明实施例中，所述基于点云地图的图像边界获取系统可以通过所述基于点云地图的图像边界获取设备11获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
请参见图2，图2是本发明实施例提供的一种基于点云地图的图像边界获取方法的流程示意图，所述方法可以由基于点云地图的图像边界获取设备执行，其中，所述基于点云地图的图像边界获取设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S201：获取包含语义的点云地图。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图。在某些实施例中，所述点云地图是根据摄像装置拍摄到的图像上的各像素点的语义生成的。在某些实施例中，所述点云地图包含复数个点数据，且每个点数据包括位置数据、高度数据和不同置信度的多个语义。
在一个实施例中，所述基于点云地图的图像边界获取设备在获取包含语义的点云地图之前，可以通过飞行器的摄像装置采集样本图像数据，并对所述样本图像数据对应的样本图像进行语义标注，得到包括语义标注信息的样本图像数据，以及根据预设的语义识别算法生成初始语义识别模型，从而将所述包括语义标注信息的样本图像数据作为输入数据，输入该初始语义识别模型中进行训练，生成语义识别模型。
在一些实施例中，所述样本图像数据可以包括彩色图像或正射影像；或者，所述样本图像可以包括彩色图像和所述彩色图像对应的景深数据；或者，所述样本图像可以包括正射影像和所述正射影像对应的景深数据。在某些实施例中，所述正射影像是一种经过几何纠正(比如使之拥有统一的比例尺)的航拍图像，与没有纠正过的航拍图像不同的是，正射影像量可用于测实际距离，因 为它是通过几何纠正后得到的地球表面的真实描述，所述正射影像具有信息量丰富、直观、可量测的特性。在某些实施例中，所述彩色图像是根据RGB值确定的图像。在某些实施例中，所述景深数据反映所述摄像装置到被拍摄物的距离。
在一个实施例中，所述基于点云地图的图像边界获取设备在获取包含语义的点云地图时，可以在飞行器的飞行过程中获取挂载在飞行器上的摄像装置采集到的第一图像数据，并将所述第一图像数据输入所述语义识别模型中进行处理，识别得到所述第一图像数据中每个像素点所具有的语义，以及根据识别得到的所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图。
在一个实施例中，本方案使用的所述语义识别模型可以为卷积神经网络(Convolutional Neural Networks，CNN)模型，所述CNN模型的架构主要包括输入层、卷积层、激励层、池化层。在神经网络模型中，可以包括多个子网，所述子网被布置在从最低到最高的序列中，并且，通过所述序列中的子网中的每一个来处理输入的图像数据。序列中的子网包括多个模块子网以及可选地包括一个或多个其它子网，所述其它子网均由一个或者多个常规神经网络层组成，例如最大池化层、卷积层、全连接层、正则化层等。每个子网接收由序列中的前子网生成的在前输出表示；通过直通卷积来处理所述在前输出表示，以生成直通输出；通过神经网络层的一个或者多个群组来处理在前输出表示，以生成一个或者多个群组，连接所述直通输出和所述群组输出，以生成所述模块子网的输出表示。
在某些实施例中，所述输入层用于输入图像数据，所述卷积层用于对所述图像数据进行运算，所述激励层用于对卷积层输出的结果做非线性映射，所述池化层用于压缩数据和参数的量，减少过拟合，提高性能。本方案采用进行语义标注后的样本图像数据作为输入数据，输入CNN模型的输入层，经过卷积层计算之后，通过多个通道输出不同语义的置信度，例如，农田通道(置信度)、果树通道(置信度)、河流通道(置信度)等。作为CNN的输出结果，可以表示为一个张量数值，例如对于某一个像素点{经纬度，高度，K1,K2,…,Kn}，该张量数值表示了像素点的三维点云信息和n个通道的语义信息，其中， K1,K2,…,Kn表示置信度，张量数据中置信度最大的语义通道被作为该像素点的语义。例如，第i个语义通道的置信度Ki＝0.8，是最高的置信度，则该第i个通道对应的语义被作为该像素点的语义。
S202：根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
本发明实施例中，基于点云地图的图像边界获取设备可以根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
在一个实施例中，所述基于点云地图的图像边界获取设备在根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，可以根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域，并对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。在某些实施例中，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。在某些实施例中，所述正向边沿处理操作可以包括腐蚀操作，所述逆向边沿处理操作可以包括膨胀操作。在某些实施例中，所述腐蚀操作的公式如公式(1)所示：
dst(x,y)＝min src(x+x',y+y')
(x',y'):element(x',y')≠0 (1)
其中，上述公式(1)中，dst(x,y)表示腐蚀操作的目标像素值，(x,y)、(x',y')表示像素坐标位置，src(x+x',y+y')表示取值操作。
在某些实施例中，所述膨胀操作的公式如公式(2)所示：
dst(x,y)＝max src(x+x',y+y')
(x',y'):element(x',y')≠0 (2)
其中，上述公式(2)中，dst(x,y)表示膨胀操作的目标像素值，(x,y)、(x',y')表示像素坐标位置，src(x+x',y+y')表示取值操作。
在一个实施例中，所述正向边沿处理操作，包括：对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
在一个实施例中，所述全局正向边沿处理操作包括：将所述点云地图中的 每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。在一些实施例中，所述局部正向边沿处理操作包括：将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。在某些实施例中，所述预设计算核为带有参考点的预定图形。
具体可以图3.1为例进行说明，图3.1是本发明实施例提供的一种腐蚀操作的示意图。如图3.1所示，假设所述点云地图的图像区域为语义集合图像311，则所述基于点云地图的图像边界获取设备可以将所述点云地图中的每一个语义集合图像311与作为预设计算核的带有参考点的预定图形312进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点，得到如图3.1中的腐蚀图像313。
在一些实施例中，所述逆向边沿处理操作包括：将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。在某些实施例中，所述预设计算核为带有参考点的预定图形。
具体可以图3.2为例进行说明，图3.2是本发明实施例提供的一种膨胀操作的示意图。如图3.2所示，假设所述点云地图的图像区域为语义集合图像321，则所述基于点云地图的图像边界获取设备可以将所述点云地图中的每一个语义集合图像321与作为预设计算核的带有参考点的预定图形322进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点，并将所述最小值赋值给指定的像素点，得到如图3.2中的膨胀图像323。
通过正向边沿处理操作可以得到比原图更小的高亮区域，通过所述逆向边沿处理操作可以得到比原图更大的高亮区域。通过这种实施方式可以增强图像效果，为后续图像处理过程中的计算提供更有效的数据，以便提高计算的准确率。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，通过这种方式可以自动划分图像区域，满足了对图像区域进行分 类的自动化和智能化需求，以及提高了图像划分的准确性。
请参见图4，图4是本发明实施例提供的一种基于点云地图的航线规划方法的流程示意图，所述方法可以由基于点云地图的航线规划设备执行，其中，所述基于点云地图的航线规划设备可以设置在飞行器上，或者设置在与飞行器建立通信连接的其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。在某些实施例中，所述基于点云地图的航线规划设备可以是飞行器的部件；在其他实施例中，所述基于点云地图的航线规划设备还可以在空间上独立于飞行器。具体地，本发明实施例的所述方法包括如下步骤。
S401：获取包含语义的点云地图。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图。
在一个实施例中，基于点云地图的航线规划设备在获取包含语义的点云地图时，可以获取飞行器上挂载的摄像装置拍摄的第一图像数据，并基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义，以及根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图。
在一个实施例中，基于点云地图的航线规划设备在基于语义识别模型处理所述第一图像数据之前，可以训练生成所述语义识别模型。在训练生成所述语义识别模型时，所述基于点云地图的航线规划设备可以通过飞行器的摄像装置采集样本图像数据，并对所述样本图像数据对应的样本图像进行语义标注，得到包括语义标注信息的样本图像数据。所述基于点云地图的航线规划设备可以根据预设的语义识别算法生成初始语义识别模型，并将所述包括语义标注信息的样本图像数据作为输入数据，输入该初始语义识别模型中进行训练，得到训练结果，其中，所述训练结果包括所述样本图像数据对应的位置数据、高度数据以及所述样本图像中每个像素点的语义。在某些实施例中，所述样本图像数据对应的位置数据包括所述样本图像的经度和纬度，所述样本图像数据对应的高度数据为所述样本图像的高度。在得到训练结果之后，所述基于点云地图的航线规划设备可以将所述训练结果中样本图像中每个像素点的语义与所述样本图像的语义标注信息进行对比，如果不匹配，则可以调整所述初始语义识别 模型中的参数，直至训练结果样本图像中每个像素点的语义与所述语义标注信息相匹配时，生成所述语义识别模型。
在一些实施例中，所述样本图像数据可以包括彩色图像或正射影像；或者，所述样本图像可以包括彩色图像和所述彩色图像对应的景深数据；或者，所述样本图像可以包括正射影像和所述正射影像对应的景深数据。在某些实施例中，所述正射影像是一种经过几何纠正(比如使之拥有统一的比例尺)的航拍图像，与没有纠正过的航拍图像不同的是，正射影像量可用于测实际距离，因为它是通过几何纠正后得到的地球表面的真实描述，所述正射影像具有信息量丰富、直观、可量测的特性。在某些实施例中，所述彩色图像是根据RGB值确定的图像。在某些实施例中，所述景深数据反映所述摄像装置到被拍摄物的距离。
在某些实施例中，所述第一点云数据与所述第一图像数据中每个像素点相对应，所述点云地图上不同点云数据的语义可以用不同的显示方式进行标记，如通过不同的颜色进行标记。如图5所示，图5是本发明实施例提供的一种点云地图的界面示意图，如图5为通过不同的颜色对点云地图上不同语义的点云数据进行标记得到示意图，图5中显示的不同的颜色代表不同类别。
在一个实施例中，当所述第一图像数据包括正射影像时，所述基于点云地图的航线规划设备可以对所述正射影像进行语义标注(即对地物的类别进行标记，以便识别地物类别)，得到包含语义标注信息的正射影像，并将所述包含语义标注信息的正射影像输入训练好的所述语义识别模型中进行处理，识别得到所述正射影像上的每个像素点对应的语义，并输出所述正射影像上的每个像素点所具有的语义的置信度、位置数据和高度数据。在某些实施例中，所述位置数据包括所述第一图像数据中第一图像的经度和纬度，所述高度数据包括所述第一图像数据中第一图像的高度。
在一个实施例中，当所述第一图像数据包括正射影像和所述正射影像对应的景深数据时，所述基于点云地图的航线规划设备可以通过训练好的语义识别模型对所述正射影像和所述正射影像对应的景深数据进行识别，识别出所述正射影像上每个像素点对应的语义。所述基于点云地图的航线规划设备可以根据所述正射影像对应的位置数据、高度数据、景深数据和所述正射影像上每个像素点对应的语义，生成包含语义的第一点云数据，从而生成包含语义的点云地 图。在某些实施例中，所述景深数据可以通过深度图来显示，所述深度图是指从摄像装置中读取到的带有深度信息的一帧数据(即景深数据)，由于深度图不适合直观查看，因此可以根据预设规则将深度图转化为点云数据，以便根据所述点云数据生成点云地图，方便用户查看。
在一些实施例中，所述第一图像数据包括正射影像，由于不同时刻获取到的正射影像可能具有较大的重叠，在不同的两个时刻采集到的两张正射影像中可能会出现具有相同位置数据的多个像素点，且识别出的两张正射影像具有相同位置数据的多个像素点的语义可能存在不一致。因此，为了更加可靠的对具有相同位置数据的多个像素点进行语义识别，所述基于点云地图的航线规划设备可以根据语义识别模型输出的具有相同位置数据的多个像素点的语义的置信度的高低，来确定置信度较高的语义为具有相同位置数据的多个像素点的语义。
在某些实施例中，所述基于点云地图的航线规划设备还可以采用人工投票的方式确定具有相同位置数据的多个像素点的语义；在某些实施例中，所述基于点云地图的航线规划设备还可以将具有相同位置数据的多个像素点被标记次数最多的语义，确定为具有相同位置数据的多个像素点的语义；在其他实施例中，具有相同位置数据的多个像素点的语义同样还可以根据其他规则确定，例如根据预设的语义的优先级来确定，本发明实施例在此不做具体限定。
在一个实施例中，本方案使用的所述语义识别模型可以为CNN模型，所述CNN模型的架构主要包括输入层、卷积层、激励层、池化层。在神经网络模型中，可以包括多个子网，所述子网被布置在从最低到最高的序列中，并且，通过所述序列中的子网中的每一个来处理输入的图像数据。序列中的子网包括多个模块子网以及可选地包括一个或多个其它子网，所述其它子网均由一个或者多个常规神经网络层组成，例如最大池化层、卷积层、全连接层、正则化层等。每个子网接收由序列中的前子网生成的在前输出表示；通过直通卷积来处理所述在前输出表示，以生成直通输出；通过神经网络层的一个或者多个群组来处理在前输出表示，以生成一个或者多个群组，连接所述直通输出和所述群组输出，以生成所述模块子网的输出表示。
在某些实施例中，所述输入层用于输入图像数据，所述卷积层用于对所述图像数据进行运算，所述激励层用于对卷积层输出的结果做非线性映射，所述 池化层用于压缩数据和参数的量，减少过拟合，提高性能。本方案采用进行语义标注后的样本图像数据作为输入数据，输入CNN模型的输入层，经过卷积层计算之后，通过多个通道输出不同语义的置信度。具体实施例举例如前所述，此处不再赘述。
在一个实施例中，所述位置数据包括经度和纬度；所述第一点云数据包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义，且所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点相对应。在某些实施例中，所述不同置信度的多个语义是通过语义识别模型识别之后从多个通道输出得到的；在某些实施例中，与一般神经网络输出的结果不同的是，在神经网络的输出通道后增加分段输出函数，若通道置信度结果为负值，则将通道置信度结果置为零，保证神经网络输出的置信度为正浮点数据。使用正浮点数据作为语义通道的置信度，可以直接通过两个像素点数据的减法运算获得较大的置信度，由于张量的减法运算只需要对数组对应的数值内容进行减法操作，其运算量非常小，在同等算力的情况下，可以大大提高运算速度。尤其适合高精度地图绘制过程中，由于高精度地图需要大量运算，而造成的算力紧张问题。
在一个实施例中，基于点云地图的航线规划设备可以获取飞行器上挂载的摄像装置拍摄的第二图像数据，并基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义，以及根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据，从而使用所述第二点云数据更新所述点云地图。
在一个实施例中，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。在某些实施例中，所述置信度为正浮点数据。
在一个实施例中，所述基于点云地图的航线规划设备在更新所述点云地图之前，可以检测根据所述第一点云数据生成的点云地图中是否存在与所述第二点云数据具有相同的位置数据的点数据(即重叠的像素点)；如果检测到根据 所述第一点云数据生成的点云地图中存在与所述第二点云数据具有相同位置数据的点数据，则可以比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义的置信度，并保留所述两个点数据中具有较高置信度的点数据的语义。
在一个实施例中，所述基于点云地图的航线规划设备在使用所述第二点云数据更新所述点云地图时，可以将所述两个点数据中具有较高置信度的点数据的语义确定为所述点云地图中与所述第二点数据位置数据相同的点数据的语义，以及将所述第二点云数据中与所述点云地图中位置数据不相同的点数据与所述点云地图进行叠加，从而实现对所述点云地图的更新。
在某些实施例中，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
在一个实施例中，所述基于点云地图的航线规划设备在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，可以对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。在某些实施例中，所述减法运算是去掉两个点数据中置信度较低的语义，保留置信度较高的语义。
例如，假设基于点云地图的航线规划设备在更新所述点云地图之前，检测到根据所述第一点云数据生成的点云地图中存在与所述第二点云数据具有相同的位置数据的点数据，如果根据所述第一点云数据生成的点云地图中所述相同的位置数据的点数据的语义为果树，且置信度为50％，以及所述第二点云数据中所述相同的位置数据的点数据的语义为水稻，且置信度为80％，则可以比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义的置信度，由于置信度80％大于50％，则可以去掉两个点数据中置信度较低的语义即果树，将所述点云地图中的语义更新为水稻。
在一个实施例中，所述基于点云地图的航线规划设备在使用所述第二点云数据更新所述点云地图时，还可以通过统计根据所述第一点云数据生成的点云地图中和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记的各语义的个数，并将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
在一个实施例中，所述基于点云地图的航线规划设备在使用所述第二点云数据更新所述点云地图时，还可以根据所述第二点云数据和根据所述第一点云数据生成的点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
S402：根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
本发明实施例中，基于点云地图的航线规划设备可以根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。在某些实施例中，所述点云地图包括的各图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域可以通过不同的显示标记方式进行显示，例如，通过不同的颜色对不同语义的各图像区域进行标记。具体实施例如前所述，此处不再赘述。
S403：根据所述点云地图上各图像区域的语义，规划飞行航线。
本发明实施例中，基于点云地图的航线规划设备可以根据所述点云地图上各图像区域的语义，规划飞行航线。
在一个实施例中，基于点云地图的航线规划设备生成点云地图之后，可以根据所述点云地图上各图像区域对应的像素点的语义，规划飞行航线。所述基于点云地图的航线规划设备可以根据所述点云地图上各图像区域对应的像素点的语义，确定出所述点云地图上的障碍区域，并将该障碍区域通过特定的标记方式自动的标记出来，例如，农田中的电线杆、农田中孤立的树木等。将障碍区域自动标记之后，基于点云地图的航线规划设备可以根据预设的航线生成算法生成自动规避标记的障碍区域的飞行航线。
通过这种根据带有语义的点云图像进行航线规划的实施方式，可以自动化的将指定为障碍物或障碍区域的语义所对应的区域标记为航线需要规避的障碍区域，这在很大程度减少了依赖人工判读障碍物的工作量；通过对包含语义的点云地图进行实时更新，使得点云地图融合了对多张正射影像中识别的结果，降低了对地物的误判或遗漏的概率，提高了识别地物类别的效率。
具体可结合图6.1、图6.2和图6.3进行举例说明，图6.1是本发明实施例提供的一种正射影像的界面示意图，图6.2是本发明实施例提供的另一种点云地图的界面示意图，图6.3是本发明实施例提供的一种标记障碍物的点云地图 的界面示意图。基于点云地图的图像边界获取设备可以根据获取到的如图6.1所示的正射影像，将图6.1所示的正射影像输入训练好的语义识别模型中，识别出所述图6.1所示的正射影像对应的像素点的语义。由于不同的语义对应不同类型的地物，假设不同的语义用不同的颜色代表，且每种颜色代表一种类型的地物，则所述基于点云地图的图像边界获取设备可以对包含语义的点云地图进行渲染，得到如图6.2所示的点云地图，其中，图6.2中的区域601中的灰色点代表需要标记的障碍物如电线杆。因此，可以通过对图6.2中的区域601中的灰色点进行标记，如用图6.3中所示的圆圈对区域601中的灰色点进行标记，可以得到如图6.3所示的标记障碍物的示意图。在其他实施例中，对障碍物的标记方式可以是其他标记方式，本发明实施例不做具体限定。
在一个实施例中，基于点云地图的航线规划设备可以基于不同语义的各图像区域对航拍场景的类别进行划分。所述基于点云地图的航线规划设备在对所述航拍场景的类别进行划分时，可以根据所述点云地图中对应各像素点的语义的置信度、位置数据、高度数据对所述航拍场景的类别进行划分。
具体可举例说明，假设所述航拍场景为大田，所述大田中的类别包括树、道路、地面、电线杆、建筑物、水面、水稻田、其他农作物等，则所述基于点云地图的航线规划设备可以根据所述点云地图对应各像素点的语义的置信度、位置数据、高度数据中的任意一种或多种，确定语义为树，且高度数据大于第一预设高度阈值的像素点所对应的区域为树的区域；确定语义为水泥和/或柏油的像素点所对应的区域为道路；确定语义置信度为水泥、柏油对应的像素点为道路；确定语义为杆状物，且高度数据大于第二预设高度阈值像素点所对应的区域为电线杆；确定语义为水、河流等被水覆盖的像素点所对应的区域为水面；确定语义为楼房，亭子，蓄水池(不包括水面)，厂房，塑料大棚等为建筑物；确定语义为水稻的像素点所对应的区域确定为水稻田；确定空白区域或高度数据小于第三预设高度阈值的其他语义的像素点所对应的区域为地面。根据识别出的大田中包括的各个类别，实现对所述大田所对应的各个区域进行划分。
在一个实施例中，所述包含语义的点云地图还可以应用于违章建筑的检测，所述基于点云地图的航线规划设备可以基于带有语义标注信息的正射影像(即第一图像数据)，通过语义识别模型识别两个不同时刻采集的正射影像对 应像素点的语义，并根据两个不同时刻采集的正射影像对应的位置数据、高度数据以及每个像素点所具有的语义，生成包含语义的点云数据，以及使用点云数据生成各自包含语义的点云地图。如果检测到两个点云地图上具有相同位置数据的像素点，则可以通过对比具有相同位置数据的像素点的语义的置信度(即地物类别)，来确定具有相同位置数据的像素点的语义，从而根据语义判断具有相同位置数据的像素点区域是否出现了违章建筑；或判断具有相同位置数据的像素点区域是否发生变化。通过这种结合带有语义的点云地图的实施方式，能够更加可靠的检测变化区域，并且提供更为详尽的变化信息。
在一个实施例中，所述包含语义的点云地图还可以应用于地物分类。具体可以根据点云地图上对应各像素点的语义、所述点云地图上对应各像素点的位置数据、高度数据，对所述点云地图上的地物进行分类，和/或对所述点云地图上的地物按类别进行划分或分割等操作。
在一个实施例中，所述包含语义的点云地图还可以应用于农机的喷洒任务，对于农机喷洒任务的飞行航线的规划，可以通过判断农机飞行的区域是否为需要喷洒的作物来控制农药喷洒开关，以避免浪费农药的使用。
S404：控制所述飞行器按照所述飞行航线飞行。
本发明实施例中，基于点云地图的航线规划设备可以控制所述飞行器按照所述飞行航线飞行。
在一个实施例中，基于点云地图的航线规划设备在控制所述飞行器按照所述飞行航线飞行时，可以判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配，如果判断出所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义与目标任务的语义相匹配，则可以控制所述飞行器执行所述目标任务；如果判断出所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义与目标任务的语义不匹配，则可以控制所述飞行器停止执行所述目标任务。在某些实施例中，所述目标任务可以是农药喷洒任务、障碍物检测任务、对场景目标进行分类等任意一种或多种任务。
在一个实施例中，如果所述目标任务为对场景目标进行分类，则所述基于点云地图的航线规划设备在控制所述飞行器执行所述目标任务时，可以对航拍场景的目标进行识别，并根据识别结果生成包含语义的点云地图，以及根据所 述包含语义的点云地图对航拍场景的类别进行划分。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，以及根据所述点云地图上各图像区域的语义规划飞行航线，从而控制所述飞行器按照所述飞行航线飞行。通过这种实施方式可以实现根据不同语义规划飞行航线，以避免障碍区域以及提高飞行器的飞行安全。
请参见图7，图7是本发明实施例提供的一种基于点云地图的图像边界获取设备的结构示意图。具体的，所述基于点云地图的图像边界获取设备包括：存储器701、处理器702以及数据接口703。
所述存储器701可以包括易失性存储器(volatile memory)；存储器701也可以包括非易失性存储器(non-volatile memory)；存储器701还可以包括上述种类的存储器的组合。所述处理器702可以是中央处理器(central processing unit，CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
进一步地，所述存储器701用于存储程序指令，当程序指令被执行时所述处理器702可以调用存储器701中存储的程序指令，用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
进一步地，所述处理器702根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
进一步地，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
进一步地，述正向边沿处理操作，包括：
对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
进一步地，所述全局边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述局部正向边沿处理操作包括：
将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述逆向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
进一步地，所述预设计算核为带有参考点的预定图形。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，通过这种方式可以自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求，以及提高了图像划分的准确性。
请参见图8，图8是本发明实施例提供的一种基于点云地图的航线规划设备的结构示意图。具体的，所述基于点云地图的航线规划设备包括：存储器801、处理器802以及数据接口803。
所述存储器801可以包括易失性存储器(volatile memory)；存储器801也可以包括非易失性存储器(non-volatile memory)；存储器801还可以包括上述种类的存储器的组合。所述处理器802可以是中央处理器(central processing unit，CPU)。所述处理器802还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。具体例如可以是复杂可编程 逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
进一步地，所述存储器801用于存储程序指令，当程序指令被执行时所述处理器802可以调用存储器801中存储的程序指令，用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
进一步地，所述处理器802获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
进一步地，所述处理器802获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
进一步地，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
进一步地，所述置信度为正浮点数据。
进一步地，所述处理器802在使用所述第二点云数据更新所述点云地图 时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
进一步地，所述处理器802在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
进一步地，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
进一步地，所述处理器802在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
进一步地，所述处理器802在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
进一步地，所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
进一步地，所述处理器802在基于语义识别模型处理所述第一图像数据之前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
进一步地，所述处理器802在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
进一步地，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
进一步地，所述处理器802根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
进一步地，所述处理器802在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，以及根据所述点云地图上各图像区域的语义规划飞行航线，从而控制所述飞行器按照所述飞行航线飞行。通过这种实施方式可以实现根据不同语义规划飞行航线，以避免障碍区域以及提高飞行器的飞行安全。
本发明实施例提供了一种飞行器，包括：机身；设置于所述机身上的动力 系统，用于提供飞行动力；所述动力系统包括：桨叶、电机，用于驱动桨叶转动；处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
进一步地，所述处理器根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
进一步地，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
进一步地，所述正向边沿处理操作，包括：
对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
进一步地，所述全局边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述局部正向边沿处理操作包括：
将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述逆向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
进一步地，所述预设计算核为带有参考点的预定图形。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各 个图像区域，通过这种方式可以实现自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求，以及提高了图像划分的准确性。
本发明实施例还提供了一种飞行器，包括：机身；设置于所述机身上的动力系统，用于提供飞行动力；所述动力系统包括：桨叶、电机，用于驱动桨叶转动；处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；根据所述点云地图上各图像区域的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
进一步地，所述处理器获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
进一步地，所述处理器还用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
进一步地，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
进一步地，所述置信度为正浮点数据。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保 留所述两个点数据中具有较高置信度的点数据。
进一步地，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
进一步地，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
进一步地，所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
进一步地，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标 注信息。
进一步地，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
进一步地，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
进一步地，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
进一步地，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，以及根据所述点云地图上各图像区域的语义规划飞行航线，从而控制所述飞行器按照所述飞行航线飞行。通过这种实施方式可以实现根据不同语义规划飞行航线，以避免障碍区域以及提高飞行器的飞行安全。
在本发明的实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图2所对应实施例中描述的基于点云地图的图像边界获取方法方式或图3所对应 实施例中描述的基于点云地图的航线规划方法方式，也可实现图6所述本发明所对应实施例的基于点云地图的图像边界获取设备或图7所述本发明所对应实施例的基于点云地图的航线规划设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一项实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (73)

  1. 一种基于点云地图的图像边界获取方法，其特征在于，所述方法包括：
    获取包含语义的点云地图；
    根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，包括：
    根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
    对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
  3. 根据权利要求2所述的方法，其特征在于，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
  4. 根据权利要求3所述的方法，其特征在于，所述正向边沿处理操作，包括：
    对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
    对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
  5. 根据权利要求4所述的方法，其特征在于，所述全局正向边沿处理操作包括：
    将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
  6. 根据权利要求4所述的方法，其特征在于，所述局部正向边沿处理操作包括：
    将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
  7. 根据权利要求3所述的方法，其特征在于，所述逆向边沿处理操作包括：
    将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
  8. 根据权利要求5-7任一项所述的方法，其特征在于，所述预设计算核为带有参考点的预定图形。
  9. 一种基于点云地图的航线规划方法，其特征在于，所述方法包括：
    获取包含语义的点云地图；
    根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
    根据所述点云地图上各图像区域的语义，规划飞行航线；
    控制所述飞行器按照所述飞行航线飞行。
  10. 根据权利要求9所述的方法，其特征在于，所述获取包含语义的点云地图，包括：
    获取飞行器上挂载的摄像装置拍摄的第一图像数据；
    基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
    根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
    使用所述包含语义的第一点云数据生成点云地图。
  11. 根据权利要求10所述的方法，其特征在于，所述方法还包括：
    获取飞行器上挂载的摄像装置拍摄的第二图像数据；
    基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
    根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
    使用所述第二点云数据更新所述点云地图。
  12. 根据权利要求11所述的方法，其特征在于，
    所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
    所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
  13. 根据权利要求12所述的方法，其特征在于，所述置信度为正浮点数据。
  14. 根据权利要求11所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：
    比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
  15. 根据权利要求14所述的方法，其特征在于，比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，包括：
    对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
  16. 根据权利要求15所述的方法，其特征在于，
    所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与 所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
  17. 根据权利要求14所述的方法，其特征在于，所述使用所述第二点云数据更新所述点云地图，包括：
    统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
    将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
  18. 根据权利要求14所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：
    根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
  19. 根据权利要求10所述的方法，其特征在于，
    所述第一图像数据包括彩色图像；或者，
    所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
    所述第一图像数据包括正射影像；或者，
    所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
  20. 根据权利要求10所述的方法，其特征在于，所述基于语义识别模型处理所述第一图像数据之前，包括：
    获取样本数据库，所述样本数据库包括样本图像数据；
    根据预设的语义识别算法生成初始语义识别模型；
    基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
    其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
  21. 根据权利要求20所述的方法，其特征在于，所述基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型，包括：
    调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
    若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
  22. 根据权利要求11所述的方法，其特征在于，
    所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
  23. 根据权利要求22所述的方法，其特征在于，所述根据所述点云地图上各图像区域的语义，规划飞行航线，包括：
    根据所述点云地图上各图像区域的语义，确定所述点云地图上的障碍区域；
    在规划航线时绕过所述障碍区域规划所述飞行航线。
  24. 根据权利要求23所述的方法，其特征在于，所述控制所述飞行器按照所述飞行航线飞行，包括：
    在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
    如果判断结果为是，则控制所述飞行器执行所述目标任务；
    如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
  25. 一种基于点云地图的图像边界获取设备，其特征在于，所述设备包括：存储器和处理器；
    所述存储器，用于存储程序指令；
    所述处理器，调用存储器中存储的程序指令，用于执行如下步骤：
    获取包含语义的点云地图；
    根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
  26. 根据权利要求25所述的设备，其特征在于，所述处理器根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
    根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
    对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
  27. 根据权利要求26所述的设备，其特征在于，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
  28. 根据权利要求27所述的设备，其特征在于，所述正向边沿处理操作，包括：
    对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
    对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
  29. 根据权利要求28所述的设备，其特征在于，所述全局正向边沿处理操作包括：
    将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
  30. 根据权利要求28所述的设备，其特征在于，所述局部正向边沿处理 操作包括：
    将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
  31. 根据权利要求27所述的设备，其特征在于，所述逆向边沿处理操作包括：
    将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
  32. 根据权利要求29-31任一项所述的设备，其特征在于，所述预设计算核为带有参考点的预定图形。
  33. 一种基于点云地图的航线规划设备，其特征在于，所述设备包括：存储器和处理器；
    所述存储器，用于存储程序指令；
    所述处理器，调用存储器中存储的程序指令，用于执行如下步骤：
    获取包含语义的点云地图；
    根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
    根据所述点云地图上各图像区域的语义，规划飞行航线；
    控制所述飞行器按照所述飞行航线飞行。
  34. 根据权利要求33所述的设备，其特征在于，所述处理器获取包含语义的点云地图时，具体用于：
    获取飞行器上挂载的摄像装置拍摄的第一图像数据；
    基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
    根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
    使用所述包含语义的第一点云数据生成点云地图。
  35. 根据权利要求34所述的设备，其特征在于，所述处理器获取包含语义的点云地图时，具体用于：
    获取飞行器上挂载的摄像装置拍摄的第二图像数据；
    基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
    根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
    使用所述第二点云数据更新所述点云地图。
  36. 根据权利要求35所述的设备，其特征在于，
    所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
    所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
  37. 根据权利要求36所述的设备，其特征在于，所述置信度为正浮点数据。
  38. 根据权利要求35所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
    比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
  39. 根据权利要求38所述的设备，其特征在于，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
    对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
  40. 根据权利要求39所述的设备，其特征在于，
    所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
  41. 根据权利要求38所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
    统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
    将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
  42. 根据权利要求38所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
    根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
  43. 根据权利要求34所述的设备，其特征在于，
    所述第一图像数据包括彩色图像；或者，
    所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
    所述第一图像数据包括正射影像；或者，
    所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
  44. 根据权利要求34所述的设备，其特征在于，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：
    获取样本数据库，所述样本数据库包括样本图像数据；
    根据预设的语义识别算法生成初始语义识别模型；
    基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
    其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
  45. 根据权利要求44所述的设备，其特征在于，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
    调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
    若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
  46. 根据权利要求35所述的设备，其特征在于，
    所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
  47. 根据权利要求46所述的设备，其特征在于，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
    根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
    在规划航线时绕过所述障碍区域规划所述飞行航线。
  48. 根据权利要求47所述的设备，其特征在于，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：
    在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
    如果判断结果为是，则控制所述飞行器执行所述目标任务；
    如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
  49. 一种飞行器，其特征在于，包括：
    机身；
    设置于所述机身上的动力系统，用于提供飞行动力；
    处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
  50. 根据权利要求49所述的飞行器，其特征在于，所述处理器根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
    根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
    对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
  51. 根据权利要求50所述的飞行器，其特征在于，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
  52. 根据权利要求51所述的飞行器，其特征在于，所述正向边沿处理操作，包括：
    对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
    对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
  53. 根据权利要求52所述的飞行器，其特征在于，所述全局正向边沿处理操作包括：
    将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得 计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
  54. 根据权利要求52所述的飞行器，其特征在于，所述局部正向边沿处理操作包括：
    将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
  55. 根据权利要求51所述的飞行器，其特征在于，所述逆向边沿处理操作包括：
    将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
  56. 根据权利要求53-55任一项所述的飞行器，其特征在于，所述预设计算核为带有参考点的预定图形。
  57. 一种飞行器，其特征在于，包括：
    机身；
    设置于所述机身上的动力系统，用于提供飞行动力；
    处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；根据所述点云地图上各图像区域的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
  58. 根据权利要求57所述的飞行器，其特征在于，所述处理器获取包含语义的点云地图时，具体用于：
    获取飞行器上挂载的摄像装置拍摄的第一图像数据；
    基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
    根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
    使用所述包含语义的第一点云数据生成点云地图。
  59. 根据权利要求58所述的飞行器，其特征在于，所述处理器还用于：
    获取飞行器上挂载的摄像装置拍摄的第二图像数据；
    基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
    根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
    使用所述第二点云数据更新所述点云地图。
  60. 根据权利要求59所述的飞行器，其特征在于，
    所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
    所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
  61. 根据权利要求60所述的飞行器，其特征在于，所述置信度为正浮点数据。
  62. 根据权利要求59所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
    比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
  63. 根据权利要求62所述的飞行器，其特征在于，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
    对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
  64. 根据权利要求63所述的飞行器，其特征在于，
    所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
  65. 根据权利要求62所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
    统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
    将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
  66. 根据权利要求62所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
    根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
  67. 根据权利要求58所述的飞行器，其特征在于，
    所述第一图像数据包括彩色图像；或者，
    所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
    所述第一图像数据包括正射影像；或者，
    所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
  68. 根据权利要求58所述的飞行器，其特征在于，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：
    获取样本数据库，所述样本数据库包括样本图像数据；
    根据预设的语义识别算法生成初始语义识别模型；
    基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
    其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本 图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
  69. 根据权利要求68所述的飞行器，其特征在于，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
    调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
    若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
  70. 根据权利要求59所述的飞行器，其特征在于，
    所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
  71. 根据权利要求70所述的飞行器，其特征在于，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
    根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
    在规划航线时绕过所述障碍区域规划所述飞行航线。
  72. 根据权利要求71所述的飞行器，其特征在于，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：
    在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
    如果判断结果为是，则控制所述飞行器执行所述目标任务；
    如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
  73. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至24任一项所述方法。
PCT/CN2018/117038 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器 Ceased WO2020103110A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2018/117038 WO2020103110A1 (zh) 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器
CN201880038404.6A CN110770791A (zh) 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/117038 WO2020103110A1 (zh) 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器

Publications (1)

Publication Number Publication Date
WO2020103110A1 true WO2020103110A1 (zh) 2020-05-28

Family

ID=69328789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/117038 Ceased WO2020103110A1 (zh) 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器

Country Status (2)

Country Link
CN (1) CN110770791A (zh)
WO (1) WO2020103110A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258474A (zh) * 2020-10-22 2021-01-22 深圳集智数字科技有限公司 一种墙面异常检测方法和装置
CN112396699A (zh) * 2020-11-30 2021-02-23 常州市星图测绘科技有限公司 一种基于无人机影像进行地块自动勾画的方法
CN112991487A (zh) * 2021-03-11 2021-06-18 中国兵器装备集团自动化研究所有限公司 一种多线程实时构建正射影像语义地图的系统
CN113552879A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 自移动设备的控制方法、装置、电子设备及存储介质
CN114089787A (zh) * 2021-09-29 2022-02-25 航天时代飞鸿技术有限公司 基于多机协同飞行的地面三维语义地图及其构建方法
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
CN114519400A (zh) * 2022-02-22 2022-05-20 广州极飞科技股份有限公司 分割结果评估方法、装置、电子设备和可读存储介质
CN115330985A (zh) * 2022-07-25 2022-11-11 埃洛克航空科技（北京）有限公司 用于三维模型优化的数据处理方法和装置
CN115661664A (zh) * 2022-12-08 2023-01-31 东莞先知大数据有限公司 一种边界遮挡检测及补偿方法、电子设备和存储介质
CN116051681A (zh) * 2023-03-02 2023-05-02 深圳市光速时代科技有限公司 一种基于智能手表生成图像数据的处理方法及系统
CN116580299A (zh) * 2023-04-10 2023-08-11 深圳市正浩创新科技股份有限公司 障碍物识别方法、装置及自移动设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310765A (zh) * 2020-02-14 2020-06-19 北京经纬恒润科技有限公司 激光点云语义分割方法和装置
CN113970752B (zh) * 2020-07-22 2025-05-27 商汤集团有限公司 一种目标检测方法、装置、电子设备及存储介质
WO2022095067A1 (zh) * 2020-11-09 2022-05-12 深圳市大疆创新科技有限公司 路径规划方法、路径规划装置、路径规划系统和介质
CN114743062A (zh) * 2020-12-24 2022-07-12 广东博智林机器人有限公司 一种建筑特征的识别方法及装置
CN116608849A (zh) * 2023-05-18 2023-08-18 武汉四维图新科技有限公司 一种点云地图生成方法、装置及设备
CN116310189B (zh) * 2023-05-22 2023-09-01 浙江大华技术股份有限公司 地图模型构建方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036506A (zh) * 2014-06-09 2014-09-10 北京拓维思科技有限公司 结合面片特征与gps位置的地面激光点云拼接方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3428766B1 (en) * 2014-09-05 2021-04-07 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
CN107933921B (zh) * 2017-10-30 2020-11-17 广州极飞科技有限公司 飞行器及其喷洒路线生成和执行方法、装置、控制终端
CN108564874B (zh) * 2018-05-07 2021-04-30 腾讯大地通途（北京）科技有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036506A (zh) * 2014-06-09 2014-09-10 北京拓维思科技有限公司 结合面片特征与gps位置的地面激光点云拼接方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PU, SHI ET AL.: "Registration of Terrestrial Laser Point Clouds by Fusing Semantic Features and GPS Positions", ACTA GEODAETICA ET CARTOGRAPHICA SINICA, vol. 43, no. 5, 31 May 2014 (2014-05-31), pages 545 - 550, XP055709781, ISSN: 1001-1595 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258474A (zh) * 2020-10-22 2021-01-22 深圳集智数字科技有限公司 一种墙面异常检测方法和装置
CN112396699A (zh) * 2020-11-30 2021-02-23 常州市星图测绘科技有限公司 一种基于无人机影像进行地块自动勾画的方法
CN112991487B (zh) * 2021-03-11 2023-10-17 中国兵器装备集团自动化研究所有限公司 一种多线程实时构建正射影像语义地图的系统
CN112991487A (zh) * 2021-03-11 2021-06-18 中国兵器装备集团自动化研究所有限公司 一种多线程实时构建正射影像语义地图的系统
CN113552879A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 自移动设备的控制方法、装置、电子设备及存储介质
CN113552879B (zh) * 2021-06-30 2024-06-07 北京百度网讯科技有限公司 自移动设备的控制方法、装置、电子设备及存储介质
CN114089787A (zh) * 2021-09-29 2022-02-25 航天时代飞鸿技术有限公司 基于多机协同飞行的地面三维语义地图及其构建方法
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
CN114519400A (zh) * 2022-02-22 2022-05-20 广州极飞科技股份有限公司 分割结果评估方法、装置、电子设备和可读存储介质
CN115330985B (zh) * 2022-07-25 2023-09-08 埃洛克航空科技（北京）有限公司 用于三维模型优化的数据处理方法和装置
CN115330985A (zh) * 2022-07-25 2022-11-11 埃洛克航空科技（北京）有限公司 用于三维模型优化的数据处理方法和装置
CN115661664B (zh) * 2022-12-08 2023-04-07 东莞先知大数据有限公司 一种边界遮挡检测及补偿方法、电子设备和存储介质
CN115661664A (zh) * 2022-12-08 2023-01-31 东莞先知大数据有限公司 一种边界遮挡检测及补偿方法、电子设备和存储介质
CN116051681A (zh) * 2023-03-02 2023-05-02 深圳市光速时代科技有限公司 一种基于智能手表生成图像数据的处理方法及系统
CN116580299A (zh) * 2023-04-10 2023-08-11 深圳市正浩创新科技股份有限公司 障碍物识别方法、装置及自移动设备

Also Published As

Publication number Publication date
CN110770791A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110770791A (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
WO2020103109A1 (zh) 一种地图生成方法、设备、飞行器及存储介质
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
RU2768997C1 (ru) Способ, устройство и оборудование для распознавания препятствий или земли и управления полетом, и носитель данных
EP3805981A1 (en) Method and apparatus for planning operation in target region, storage medium, and processor
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN108496129A (zh) 一种基于飞行器的设施检测方法及控制设备
CN112378397A (zh) 无人机跟踪目标的方法、装置及无人机
CN112379681A (zh) 无人机避障飞行方法、装置及无人机
CN112596071A (zh) 无人机自主定位方法、装置及无人机
CN112991487B (zh) 一种多线程实时构建正射影像语义地图的系统
CN114089786A (zh) 一种基于无人机视觉的沿山区公路自主巡检系统
CN112380933A (zh) 无人机识别目标的方法、装置及无人机
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
CN105526916A (zh) 动态图像遮蔽系统和方法
CN119169081B (zh) 一种面向地磁导航的地磁适配区域定位方法以及装置
US20210286378A1 (en) Spray operation method and device for unmanned aerial vehicle
CN118295432A (zh) 基于改进神经网络的双系统无人机航线规划方法及装置
CN121007563B (zh) 一种用于未知森林区域的旋翼无人机视觉导航方法和系统
CN121409258A (zh) 基于视觉检测的无人机智能巡检路径规划方法及系统
CN115661556B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111309048A (zh) 一种多旋翼无人机结合道路检测沿路自主飞行的方法
CN121297848A (zh) 一种基于深度估计与光流分析的dbscan无人机路径规划方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941041

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941041

Country of ref document: EP

Kind code of ref document: A1