WO2021051264A1 - 基于机器视觉的树木识别方法及装置 - Google Patents

基于机器视觉的树木识别方法及装置 Download PDF

Info

Publication number
WO2021051264A1
WO2021051264A1 PCT/CN2019/106161 CN2019106161W WO2021051264A1 WO 2021051264 A1 WO2021051264 A1 WO 2021051264A1 CN 2019106161 W CN2019106161 W CN 2019106161W WO 2021051264 A1 WO2021051264 A1 WO 2021051264A1
Authority
WO
WIPO (PCT)
Prior art keywords
tree
center
pixel
target
image
Prior art date
Application number
PCT/CN2019/106161
Other languages
English (en)
French (fr)
Inventor
任创杰
李鑫超
李思晋
梁家斌
田艺
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/106161 priority Critical patent/WO2021051264A1/zh
Priority to CN201980033553.8A priority patent/CN112189202A/zh
Publication of WO2021051264A1 publication Critical patent/WO2021051264A1/zh
Priority to US17/695,830 priority patent/US20220207825A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Definitions

  • This application relates to the field of machine vision technology, and in particular to a tree recognition method and device based on machine vision.
  • the method of manual identification is usually used to obtain the position of the tree center.
  • the surveyor can use the measuring device to perform field measurement on the trees contained in an area to obtain manual measurement results, and determine the center position information of the trees in the area based on the manual measurement results.
  • the embodiments of the present application provide a tree recognition method and device based on machine vision, which are used to solve the problems of high labor cost and low recognition efficiency in determining the position of the tree center based on the manual recognition method in the prior art.
  • an embodiment of the present application provides a tree recognition method based on machine vision, the method including:
  • the top view image is processed to obtain the pixel position information of the tree center in the top view image and the tree path information corresponding to the tree center.
  • an embodiment of the present application provides a tree recognition method based on machine vision, the method including:
  • the top view image is processed to obtain tree information in the top view image, where the tree information includes pixel position information of the center of the tree.
  • an embodiment of the present application provides a tree recognition device based on machine vision, including: a processor and a memory;
  • the memory is used to store program code
  • the processor calls the program code, and when the program code is executed, is used to perform the following operations:
  • the top view image is processed to obtain the pixel position information of the tree center in the top view image and the tree path information corresponding to the tree center.
  • an embodiment of the present application provides a tree recognition device based on machine vision, including: a processor and a memory;
  • the memory is used to store program code
  • the processor calls the program code, and when the program code is executed, is used to perform the following operations:
  • the top view image is processed to obtain tree information in the top view image, where the tree information includes pixel position information of the center of the tree.
  • an embodiment of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes at least one piece of code, the at least one piece of code can be executed by a computer to control the The computer executes the method described in any one of the above-mentioned first aspects.
  • an embodiment of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes at least one piece of code, the at least one piece of code can be executed by a computer to control the The computer executes the method described in any one of the above second aspects.
  • an embodiment of the present application provides a computer program, when the computer program is executed by a computer, it is used to implement the method described in any one of the foregoing first aspects.
  • an embodiment of the present application provides a computer program, when the computer program is executed by a computer, it is used to implement the method described in any one of the above-mentioned second aspects.
  • the embodiments of the present application provide a tree recognition method and device based on machine vision.
  • the tree information in the bird's-eye view image is obtained by processing a bird's-eye view image including trees.
  • the tree information includes the pixel position information of the tree center.
  • the top view image automatically obtains the tree center position and tree path in the top view image. Compared with the method based on manual recognition to determine the tree center position, the labor cost is reduced and the recognition efficiency is improved.
  • FIG. 1 is a schematic diagram of an application scenario of a tree recognition method based on machine vision provided by an embodiment of the application;
  • FIG. 2 is a schematic flowchart of a tree recognition method based on machine vision provided by an embodiment of the application
  • FIG. 3 is a schematic flowchart of a tree recognition method based on machine vision provided by another embodiment of the application.
  • FIG. 4 is a schematic flowchart of a tree recognition method based on machine vision provided by another embodiment of this application.
  • Fig. 5 is a processing block diagram of a tree recognition method based on machine vision provided by an embodiment of the application
  • 6A-6D are schematic diagrams of displaying tree information in a tree recognition method based on machine vision provided by an embodiment of the application;
  • FIG. 7 is a schematic structural diagram of a tree recognition device based on machine vision provided by an embodiment of the application.
  • FIG. 8 is a schematic structural diagram of a tree recognition device based on machine vision provided by another embodiment of the application.
  • the tree recognition method based on machine vision provided by the embodiments of the present application can be applied to any scene that needs to recognize the center position of the tree, that is, the center position of the tree.
  • the method can be specifically executed by a tree recognition device based on machine vision.
  • the application scenario diagram of the tree recognition method based on machine vision provided by the embodiment of the present application may be as shown in FIG. 1.
  • the tree recognition device 11 based on machine vision can obtain a top view image containing trees from other devices/equipment 12, and The obtained top view image is processed using the tree recognition method based on machine vision provided in the embodiment of the present application.
  • the specific method for the communication connection between the machine vision-based tree recognition device 11 and other devices/devices 12 is not limited in this application.
  • a wireless communication connection may be realized based on a Bluetooth interface, or a wired communication connection may be realized based on an RS232 interface.
  • the type of equipment including the tree recognition device based on machine vision may not be limited in the embodiments of the present application.
  • the equipment may be, for example, a desktop computer, an all-in-one computer, a notebook computer, a palm computer, a tablet computer, and a smart phone. , Remote control with screen, drone, etc.
  • the machine vision-based tree recognition device obtains a top view image from other devices or equipment as an example.
  • the machine vision-based tree recognition device can obtain a top view image containing trees in other ways.
  • a tree recognition device based on machine vision can generate a bird's-eye view image.
  • the tree recognition method based on machine vision obtains tree information in the bird's-eye view image by processing the bird's-eye view image containing trees. Obtaining the position of the tree center automatically, compared with the method based on manual recognition to determine the position of the tree center, reduces the labor cost and improves the recognition efficiency.
  • FIG. 2 is a schematic flow chart of a method for tree recognition based on machine vision provided by an embodiment of the application.
  • the execution subject of this embodiment may be a tree recognition device based on machine vision, and specifically may be a processor of a tree recognition device based on machine vision.
  • the method of this embodiment may include:
  • Step 201 Obtain a top view image containing trees.
  • the specific method for obtaining the top view image containing trees may not be limited in this application.
  • a bird's-eye view image containing trees can be obtained from other devices/equipment.
  • Exemplary trees may be fruit trees, such as banana trees, apple trees, and the like.
  • Step 202 Process the top view image to obtain tree information in the top view image, where the tree information includes pixel position information of the center of the tree.
  • recognition processing may be performed on the overhead image to identify the trees included in the overhead image, so as to obtain tree information.
  • the characteristics of the trees may include, for example, one or more of color, shape, height, and the like.
  • identifying the location of the tree center can specifically identify the pixel corresponding to the tree center in the image, that is, to obtain a top view image The pixel location information of the center of the tree.
  • the tree information in the top view image is obtained, and the tree information includes the pixel position information of the tree center.
  • the tree center position is automatically obtained according to the top view image containing the tree, and the tree center position is obtained based on artificial recognition. Compared with the method of determining the position of the tree center, the labor cost is reduced and the recognition efficiency is improved.
  • FIG. 3 is a schematic flowchart of a tree recognition method based on machine vision provided by another embodiment of the application. This embodiment mainly describes an optional implementation manner of processing a top view image on the basis of the embodiment shown in FIG. 2. As shown in FIG. 3, the method of this embodiment may include:
  • Step 301 Obtain a top view image including trees.
  • the bird's-eye view image may be any type of image obtained from a bird's-eye view angle.
  • the top view image may include a Red Green Blue (RGB) image and/or a depth image.
  • RGB Red Green Blue
  • the top view image may specifically be a digital orthophoto map (Digital Orthophoto Map, DOM).
  • Step 301 may specifically include: using a Digital Elevation Model (DEM) to generate a DOM containing the area to be identified of the tree, and the above-mentioned top view image may include the DOM.
  • DEM Digital Elevation Model
  • the area to be identified can be understood as an area where trees need to be identified.
  • the application does not limit the specific method of generating the DOM containing the tree-to-be-identified area using DEM.
  • Step 302 Process the top view image by using a preset processing model to obtain tree information in the top view image, where the tree information includes pixel position information of the tree center.
  • the preset processing model may specifically preset a neural network model.
  • the preset neural network model may be a convolutional neural network model, and optionally, the preset neural network model may specifically be a fully convolutional neural network model.
  • step 302 may specifically include: inputting the top view image into a preset neural network model to obtain a model output result; and determining the tree information of the top view image according to the model output result. That is, the output of the preset neural network model may be an intermediate result for determining tree information, and the preset neural network model may be obtained by training according to the sample image with the target result corresponding to the sample image.
  • the type of the top view image and the type of the sample image may be the same.
  • the above-mentioned overhead image may include an RGB image; for example, when the sample image includes a depth image, the above-mentioned overhead image may include a depth image.
  • the target result may include a target confidence feature map
  • the pixel value in the target confidence feature map represents the probability that the pixel is the center of the tree.
  • the probability that pixel 1 is the center of the tree can be represented as 0.5.
  • the pixel value of pixel 2 in the target confidence feature map is 0.8, and the probability that pixel 2 is the center of the tree can be represented as 0.8.
  • the pixel value of the pixel 3 in the target confidence feature map is 1.1, and the probability that the pixel 3 is the center of the tree is 1.
  • the target confidence feature map and the sample image input to the preset neural network model can have the same size, for example, both are 150 times 200 images, that is, the pixels of the target confidence feature map can be the same as the sample image input to the preset neural network model.
  • the pixels correspond one to one.
  • the target confidence feature map can be generated according to user marks and probability generation algorithms. Specifically, the pixel corresponding to the tree center position in the sample image in the target confidence feature map (hereinafter referred to as the tree center pixel) can be determined according to the user mark, and the pixel of each pixel in the target confidence feature map can be determined based on the probability generation algorithm. value.
  • the pixel value of each pixel in the target confidence feature map may be determined according to the probability generation algorithm that the pixel value of the tree center pixel is 1, and the pixel value of the non-tree center pixel is 0.
  • the pixel value of each pixel in the target confidence feature map can be determined according to the probability generation algorithm that the pixel value meets the preset distribution with the tree center pixel as the center, that is, the pixel value in the target confidence feature map is based on the tree center pixel As the center meets the preset distribution.
  • the preset distribution is used to distinguish an area close to the tree center pixel and an area far from the tree center pixel. Since the pixel close to the tree center pixel has a small distance from the tree center pixel, it will not deviate too much from the real tree center pixel when it is recognized as a tree center pixel, and the pixel value far away from the tree center pixel will be offset from the tree center pixel. The distance between the center pixels is large, and the actual tree center pixels will be too large when they are recognized as tree center pixels.
  • the areas close to and far away from the tree center pixels can be distinguished by the preset distribution, and the area close to the tree center pixels can be realized
  • the pixels in are used as the tree center pixels in the tree recognition process, which can make the preset neural network reckless. For example, even if the real tree center position is not successfully recognized, the position around the real tree center position can be changed. Recognized as the center of the tree.
  • the preset distribution may specifically be any type of distribution capable of distinguishing an area far from the tree center pixel and an area close to the tree center pixel.
  • the preset distribution can be specifically It is a bell-shaped curve with high middle and low sides.
  • the preset distribution may include circular Gaussian distribution or quasi-circular Gaussian distribution.
  • the parameters of the preset distribution may be set according to a preset strategy, and the preset strategy includes that the area close to the tree center pixel satisfies at least one of the following conditions: two adjacent trees, areas can be distinguished Maximize the area.
  • the preset strategy includes that the area close to the center pixel of the tree satisfies the condition of being able to distinguish two adjacent trees, so that the preset neural network can identify adjacent trees, thereby improving the reliability of the preset neural network.
  • the preset strategy including the area close to the tree center pixel satisfying the condition of maximizing the area of the area, the robustness of the preset neural network can be improved as much as possible.
  • the standard deviation of the circular Gaussian distribution can be set according to a preset strategy. For example, first, a larger initial value can be used as the standard deviation of the circular Gaussian distribution. When the standard deviation is the initial value, two adjacent trees are identified as one tree, and then the value of the standard deviation can be reduced until the standard deviation Two adjacent trees are identified as two trees instead of one tree, so as to determine the final value of the standard deviation of the circular Gaussian distribution.
  • the model output result may include the confidence feature map.
  • the obtaining tree information according to the model output result may specifically include: obtaining the pixel position information of the tree center according to the confidence feature map.
  • the pixel value in the confidence feature map can represent the probability that the corresponding pixel is the tree center. According to the probability that each pixel is the tree center, the pixel corresponding to the tree center in the confidence feature map can be identified.
  • the pixels in the top view image correspond to the pixels in the top view image one-to-one, so the pixel location information of the top view image can be determined according to the position information of the pixel corresponding to the tree center in the confidence feature map (ie, pixel location information), which is exemplary .
  • the pixel location information corresponding to the tree center in the confidence feature map can be used as the pixel location information of the tree center in the overhead image.
  • the determining the pixel position information of the tree center in the overhead image according to the confidence feature map includes: using a sliding window of a preset size, and performing sliding window processing on the confidence feature map to obtain the sliding window The processed confidence feature map; the sliding window processing includes setting the non-maximum value in the window to a preset value, the preset value being less than a target threshold; the confidence feature map after the sliding window processing The pixel position information of the middle pixel value greater than the target threshold value is determined as the pixel position information of the tree center in the overhead image.
  • the shape of the sliding window may be a square or a rectangle.
  • a sliding window can be used to traverse the entire confidence feature map. It should be noted that the specific manner in which the sliding window traverses the entire confidence feature map may not be limited in this application. For example, you can use the origin in the image coordinate system of the confidence feature map as the starting point of the sliding window, first slide along the abscissa axis to the edge of the image, then slide one step along the ordinate axis, and then slide again along the abscissa axis To the edge of the image, ... until the entire confidence feature map is traversed.
  • the preset size satisfies the condition that two adjacent trees can be distinguished, that is, the preset size Can't be too big.
  • the preset size is too small, because the sliding window moves more times, there is a problem of a large amount of calculation, so the size of the sliding window can be set reasonably.
  • the preset size may be 5 times 5 size.
  • the target threshold can be understood as a threshold for determining whether the pixel position corresponding to a pixel value is the tree center position.
  • the target threshold can be determined according to the value characteristics of the pixel values in the confidence feature map.
  • the pixel value of the pixel near the center of the tree is usually 0.7, 0.8, and the target threshold can take a value less than 0.7, 0.8, for example Can be 0.3.
  • the preset value can be 0.
  • step 302 may further include: preprocessing the top view image to obtain a preprocessed top view image; correspondingly, step 302 may specifically include: processing the preprocessed top view image through a preset processing model Look down at the image.
  • the preprocessing may include noise reduction processing, and noise in the original overhead image can be removed by reducing the noise on the overhead image.
  • the pre-processing may include down-sampling processing, and the down-sampling processing can reduce the amount of data and increase the processing speed.
  • the top view image including trees is processed by the preset processing model to obtain tree information in the top view image, and the tree information includes the pixel position information of the tree center, so that the tree center position is automatically obtained according to the top view image containing the tree.
  • the labor cost is reduced and the recognition efficiency is improved.
  • FIG. 4 is a schematic flow diagram of a tree recognition method based on machine vision provided by another embodiment of the application.
  • This embodiment takes the preset processing model as the preset neural network model on the basis of the foregoing embodiment as an example, and mainly describes the recognition An optional realization of the tree's core and canopy radius.
  • the method of this embodiment may include:
  • Step 401 Obtain a top view image containing trees.
  • step 401 is similar to step 201 and step 301, and will not be repeated here.
  • Step 402 Input the top view image into a preset neural network model to obtain a model output result.
  • the model output result includes a confidence feature map and a tree path feature map.
  • the preset neural network is obtained by training based on a sample image and a target result corresponding to the sample image, and the target result includes a target confidence feature map and a target tree path feature map.
  • the pixel value of the pixel corresponding to the center pixel in the target confidence feature map in the target tree path feature map represents a tree crown radius (which may be referred to as a tree path for short).
  • the size of the target tree path feature map and the target confidence feature map can be the same, for example, both are 150 times 200 images. Therefore, the pixels of the target tree path feature map can correspond to the pixels of the target confidence feature map one-to-one.
  • the pixel with the coordinates (100, 100) in the target tree path feature map may correspond to the pixel with the coordinates (100, 100) in the target confidence feature map.
  • the pixel value of the pixel with the coordinates (100, 100) in the target tree path feature map can represent the tree diameter of the tree corresponding to the tree center pixel.
  • the pixel values of other pixels in the target tree path feature map except those corresponding to the tree center pixel have no specific meaning. Therefore, the pixel values of other pixels may not be concerned. For example, the pixel values of other pixels can be changed. Set to 0.
  • Step 403 Determine tree information in the overhead image according to the model output result, where the tree information includes pixel position information of the tree center and tree path information corresponding to the tree center.
  • step 403 may specifically include: obtaining the pixel position information of the tree center in the overhead image according to the confidence feature map; and according to the pixel position information of the tree center and the tree path feature Figure, obtain the tree path information corresponding to the tree center.
  • the relevant description about obtaining the pixel position information of the tree center according to the confidence characteristic map can refer to the embodiment shown in FIG. 3, which will not be repeated here.
  • the pixels in the tree path feature map correspond to the pixels in the confidence feature map one-to-one.
  • the pixel value of a pixel in the tree path feature map can indicate that the pixel in the confidence feature map corresponds to the tree center. Therefore, according to the pixel corresponding to the tree center in the confidence feature map, the tree path information of the tree center can be determined from the tree path feature map.
  • the determining the tree diameter information of the tree according to the tree center position information and the tree path characteristic map may specifically include the following steps A and B.
  • Step A Determine a target pixel corresponding to the tree center position information in the tree path feature map according to the tree center position information.
  • the tree center position information of tree 1 is the coordinate position (100, 200) in the confidence feature map
  • the tree center position information of tree 2 Is the coordinate position (50, 100) in the confidence feature map
  • the pixel at the coordinate position (100, 200) in the tree path feature map corresponding to the confidence feature map can be used as the target pixel corresponding to the pixel position information of tree 1
  • the pixel at the coordinate position (50, 100) in the tree path feature map corresponding to the confidence feature map is used as the target pixel corresponding to the pixel position information of the tree 2.
  • Step B Determine the tree diameter information of the tree according to the pixel value of the target pixel.
  • the pixel value in the tree path feature map when the pixel value in the tree path feature map is equal to the tree path information, the pixel value of the target pixel may be used as the tree information.
  • the pixel values in the tree path feature map may be normalized pixel values.
  • the pixel value in the tree path feature map It can be the result normalized according to 160.
  • the processing block diagram corresponding to step 401 to step 403 may be as shown in FIG. 5.
  • the RGB image and the depth image can be input to the full convolutional neural network model to obtain the confidence feature map and the tree path feature map.
  • the pixel location information of the tree center can be determined according to the confidence feature map, and the tree path information of the tree center can be determined based on the pixel location information of the tree center and the tree path feature map.
  • the output result of the preset neural network model is obtained, based on the processing of the preset neural network, the semantics in the top view image are distinguished, and the probability that the pixel is the center of the tree is obtained (I.e. the confidence feature map) and the tree path information when the pixel is the tree center (i.e. tree path feature map), further obtain the pixel location information of the tree center and the tree path information corresponding to the tree center, and realize the The top view image of the tree automatically obtains the position of the tree center and the tree diameter through the preset neural network model.
  • the following step may be further included: displaying the tree information.
  • the tree information can be displayed by directly displaying the information content.
  • the top view image includes two trees, namely tree 1 and tree 2
  • the pixel position information of the tree center of tree 1 is the position information of pixel a in the top view image and the tree diameter information is 20 meters
  • the tree center of tree 2 The pixel position information of is the position information of pixel b in the overhead image and the corresponding tree diameter information is 10 meters
  • the position coordinates of pixel a in the overhead image coordinate system and 20 meters, and the pixel b in the overhead image coordinate system can be directly displayed The position coordinates and 10 meters below.
  • the tree information can be displayed by marking and displaying on the top view image.
  • the top view image includes two trees, namely tree 1 and tree 2, and the pixel position information of the center of tree 1 is the position information of pixel a, and the pixel position information of the center of tree 2 is the position information of pixel b. 2.
  • the way of labeling display is more readable than the way of direct display, and it is convenient for users to know the location of the tree center.
  • the displaying the tree information may specifically include: marking the center of the tree in the target image according to the pixel position information of the center of the tree, obtaining the labeled image, and displaying the labeled image.
  • the labeling the tree center in the target image according to the pixel position information of the tree center may specifically include: labeling the tree center at the position corresponding to the pixel position information in the target image according to the pixel position information of the tree center point.
  • the displaying the tree information may specifically include: marking the tree center in the target image according to the pixel position information of the tree center, and according to the tree path corresponding to the tree center The information marks the tree path in the target image, and displays the marked image.
  • the marking the tree path in the target image according to the tree path information corresponding to the tree center may specifically include:
  • the target image is marked with the position corresponding to the pixel position information as the center of the circle, and the length corresponding to the tree path information is The radius of the circle.
  • the target image may include one or more of the following: an all-black image, an all-white image, and an overhead image.
  • the all-black image may be an image in which the R value, G value, and B value of each pixel are all 0
  • the all-white image may be an image in which the R value, G value, and B value of each pixel are all 255.
  • FIG. 6A the specific way of displaying the pixel location information of the tree center and the tree path information corresponding to the tree center can be shown in FIG. 6A, where the points in FIG. 6A are the labeled tree centers.
  • the circle in 6A is the marked tree diameter.
  • the displayed annotated image may be as shown in FIG. 6A. It can be seen from FIG. 6A that for a scenario where the tree cores are regularly distributed, the position of the tree core and the tree diameter can be determined by the method provided in the embodiment of the present application.
  • the displayed annotated image can be as shown in Figure 6B-6C, where Figure 6C is a comparison to the box in Figure 6B Schematic diagram showing the partial area enlarged. It can be seen from FIG. 6B and FIG. 6C that for a scene where the tree center distribution is irregular, the position of the tree center and the tree diameter can also be determined by the method provided in the embodiment of the present application.
  • the displayed annotated image may be as shown in FIG. 6D.
  • FIG. 7 is a schematic structural diagram of a tree recognition device based on machine vision provided by an embodiment of the application. As shown in FIG. 7, the device 700 may include a memory 701 and a processor 702.
  • the memory 701 is used to store program codes
  • the processor 702 calls the program code, and when the program code is executed, is configured to perform the following operations:
  • the top view image is processed to obtain the pixel position information of the tree center in the top view image and the tree path information corresponding to the tree center.
  • the tree recognition device based on machine vision provided in this embodiment can be used to implement the technical solution in the foregoing method embodiment in which tree information includes tree center position information and tree path information.
  • tree information includes tree center position information and tree path information.
  • the implementation principles and technical effects are similar to those in the method embodiments. This will not be repeated here.
  • FIG. 8 is a schematic structural diagram of a tree recognition device based on machine vision provided by another embodiment of the application.
  • the device 800 may include a memory 801 and a processor 802.
  • the memory 801 is used to store program codes
  • the processor 802 calls the program code, and when the program code is executed, is configured to perform the following operations:
  • the top view image is processed to obtain tree information in the top view image, where the tree information includes pixel position information of the center of the tree.
  • the tree recognition device based on machine vision provided in this embodiment can be used to implement the technical solutions of the foregoing method embodiments, and its implementation principles and technical effects are similar to those of the method embodiments, and will not be repeated here.
  • a person of ordinary skill in the art can understand that all or part of the steps in the foregoing method embodiments can be implemented by a program instructing relevant hardware.
  • the aforementioned program can be stored in a computer readable storage medium. When the program is executed, it executes the steps including the foregoing method embodiments; and the foregoing storage medium includes: ROM, RAM, magnetic disk, or optical disk and other media that can store program codes.

Abstract

一种基于机器视觉的树木识别方法及装置，该方法包括：获得包含树木的俯视图像(201)；处理所述俯视图像，以获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息(202)。实现了根据包含树木的俯视图像自动获得俯视图像中的树心位置以及树径，降低了人力成本，提高了识别效率。

Description

基于机器视觉的树木识别方法及装置 技术领域
本申请涉及机器视觉技术领域，尤其涉及一种基于机器视觉的树木识别方法及装置。
背景技术
随着农业自动化的不断发展，存在需要获知一片区域内所含树木的中心位置，即树心位置的场景。
现有技术中，通常采用人工识别的方法来获知树心位置。具体的，可以由测量人员使用测量装置，对一片区域内所含树木进行实地测量，获得人工测量结果，并根据人工测量结果确定该片区域的树木的树心位置信息。
但是，现有技术中基于人工识别的方法确定树心位置，存在人力成本高、识别效率低的问题。
发明内容
本申请实施例提供一种基于机器视觉的树木识别方法及装置，用以解决现有技术中基于人工识别的方法确定树心位置，存在人力成本高、识别效率低的问题。
第一方面，本申请实施例提供一种基于机器视觉的树木识别方法，所述方法包括：
获得包含树木的俯视图像；
处理所述俯视图像，以获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息。
第二方面，本申请实施例提供一种基于机器视觉的树木识别方法，所述 方法包括：
获得包含树木的俯视图像；
处理所述俯视图像，以获得所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息。
第三方面，本申请实施例提供一种基于机器视觉的树木识别装置，包括：处理器和存储器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获得包含树木的俯视图像；
处理所述俯视图像，以获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息。
第四方面，本申请实施例提供一种基于机器视觉的树木识别装置，包括：处理器和存储器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获得包含树木的俯视图像；
处理所述俯视图像，以获得所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息。
第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第一方面任一项所述的方法。
第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第二方面任一项所述的方法。
第七方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第一方面任一项所述的方法。
第八方面，本申请实施例提供一种计算机程序，当所述计算机程序被计 算机执行时，用于实现上述第二方面任一项所述的方法。
本申请实施例提供一种基于机器视觉的树木识别方法及装置，通过处理包括树木的俯视图像，以获得俯视图像中的树木信息，树木信息包括树心的像素位置信息，实现了根据包含树木的俯视图像自动获得俯视图像中的树心位置以及树径，与基于人工识别的方法确定树心位置相比，降低了人力成本，提高了识别效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于机器视觉的树木识别方法的应用场景示意图；
图2为本申请一实施例提供的基于机器视觉的树木识别方法的流程示意图；
图3为本申请另一实施例提供的基于机器视觉的树木识别方法的流程示意图；
图4为本申请又一实施例提供的基于机器视觉的树木识别方法的流程示意图；
图5为本申请一实施例提供的基于机器视觉的树木识别方法的处理框图；
图6A-图6D为本申请一实施例提供的基于机器视觉的树木识别方法中展示树木信息的示意图；
图7为本申请一实施例提供的基于机器视觉的树木识别装置的结构示意图；
图8为本申请另一实施例提供的基于机器视觉的树木识别装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的基于机器视觉的树木识别方法可以应用于任何需要识别树木的中心位置，即树心位置的场景。该方法具体可以由基于机器视觉的树木识别装置执行。本申请实施例提供的基于机器视觉的树木识别方法的应用场景示意图可以如图1所示，具体的，基于机器视觉的树木识别装置11可以从其他装置/设备12获得包含树木的俯视图像，并对获得的俯视图像采用本申请实施例提供的基于机器视觉的树木识别方法进行处理。对于基于机器视觉的树木识别装置11与其他装置/设备12通讯连接的具体方式，本申请可以不做限定，例如可以基于蓝牙接口实现无线通讯连接，或者基于RS232接口实现有线通讯连接。
需要说明的是，对于包括基于机器视觉的树木识别装置的设备的类型，本申请实施例可以不做限定，该设备例如可以为台式机、一体机、笔记本电脑、掌上电脑、平板电脑、智能手机、带屏遥控器、无人机等。
需要说明的是，图1中以基于机器视觉的树木识别装置从其他装置或设备获得俯视图像为例，可替换的，基于机器视觉的树木识别装置可以通过其他方式获得包含树木的俯视图像，示例性的，基于机器视觉的树木识别装置可以生成俯视图像。
本申请实施例提供的基于机器视觉的树木识别方法，通过处理包含树木的俯视图像，以获得俯视图像中的树木信息，该树木信息包括树心的像素位置信息，可以实现根据包含树木的俯视图像自动获得树心位置，与基于人工识别的方法确定树心位置相比，降低了人力成本，提高了识别效率。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图2为本申请一实施例提供的基于机器视觉的树木识别方法的流程示意图，本实施例的执行主体可以为基于机器视觉的树木识别装置，具体可以为 基于机器视觉的树木识别装置的处理器。如图2所示，本实施例的方法可以包括：
步骤201，获得包含树木的俯视图像。
本步骤中，对于获得包含树木的俯视图像的具体方式，本申请可以不做限定。例如，可以从其他装置/设备获得包含树木的俯视图像。
需要说明的是，对于树木的类型，本申请不做限定。示例性的所述树木具体可以为果树，例如香蕉树、苹果树等。
步骤202，处理所述俯视图像，以获得所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息。
本步骤中，示例性的，可以基于树木的特征，对俯视图像进行识别处理，识别出俯视图像中包含的树木，从而获得树木信息。其中，树木的特征例如可以包括颜色、形态、高度等中的一种或多种。
由于图像是由像素组成的，有些像素可以对应树木，有些像素可以对应其他对象，例如建筑物、地面等，因此识别树心位置具体可以为识别出图像中对应树心的像素，即获得俯视图像中树心的像素位置信息。
本实施例中，通过处理包括树木的俯视图像，以获得俯视图像中的树木信息，树木信息包括树心的像素位置信息，实现了根据包含树木的俯视图像自动获得树心位置，与基于人工识别的方法确定树心位置相比，降低了人力成本，提高了识别效率。
图3为本申请另一实施例提供的基于机器视觉的树木识别方法的流程示意图，本实施例在图2所示实施例的基础上主要描述了处理俯视图像的一种可选的实现方式。如图3所示，本实施例的方法可以包括：
步骤301，获得包含树木的俯视图像。
本步骤中，所述俯视图像具体可以为在俯视视角下获得的任意类型图像。示例性的，所述俯视图像可以包括红绿蓝(Red Green Blue，RGB)图像和/或深度图像。
示例性的，俯视图像具体可以为数字正射影像图(Digital Orthophoto Map，DOM)。步骤301具体可以包括：采用数字高程模型(Digital Elevation Model，DEM)，生成包含树木的待识别区域的DOM，上述俯视图像可以包括该DOM。其中，待识别区域可以理解为需要进行树木识别的区域。例如，可以通过无人机上设置的拍摄装置拍摄获得俯视视角的拍摄图像，并采用DEM对拍摄图 像进行处理，生成DOM。需要说明的是，对于采用DEM，生成包含树木的待识别区域的DOM的具体方式，本申请不做限定。
步骤302，通过预设处理模型处理所述俯视图像，以获得所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息。
本步骤中，示例性的，预设处理模型具体可以预设神经网络模型。示例性的，预设神经网络模型可以为卷积神经网络模型，可选的，预设神经网络模型具体可以为全卷积神经网络模型。
示例性的，步骤302具体可以包括：将俯视图像输入预设神经网络模型，得到模型输出结果；根据所述模型输出结果，确定所述俯视图像的树木信息。即，预设神经网络模型的输出可以为用于确定树木信息的中间结果，该预设神经网络模型可以根据样本图像以该样本图像对应的目标结果训练获得。
需要说明的是，俯视图像的类型与样本图像的类型可以一致。示例性的，在样本图像包括RGB图像时，上述俯视图像可以包括RGB图像；示例性的，在样本图像包括深度图像时，上述俯视图像可以包括深度图像。
可选的，目标结果可以包括目标置信度特征图，目标置信度特征图中像素值表征像素是树心的概率。例如，目标置信度特征图中像素1的像素值为0.5，可以表征像素1是树心的概率为0.5。再例如，目标置信度特征图中像素2的像素值为0.8，可以表征像素2是树心的概率为0.8。又例如，目标置信度特征图中像素3的像素值为1.1，可以表征像素3是树心的概率为1。
其中，目标置信度特征图与输入预设神经网络模型的样本图像的尺寸可以相同，例如均为150乘200的图像，即目标置信度特征图的像素可以与输入预设神经网络模型的样本图像的像素一一对应。
目标置信度特征图可以根据用户标记以及概率生成算法生成。具体的，可以根据用户标记确定目标置信度特征图中对应样本图像中树心位置的像素(以下称为树心像素)，进一步的根据概率生成算法，确定目标置信度特征图中各像素的像素值。
示例性的，可以根据树心像素的像素值为1，非树心像素的像素值为0的概率生成算法，确定目标置信度特征图中各像素的像素值。
示例性的，可以根据像素值以树心像素为中心满足预设分布的概率生成算法，确定目标置信度特征图中各像素的像素值，即，目标置信度特征图中像素值以树心像素为中心满足预设分布。
其中，所述预设分布用于区分靠近所述树心像素的区域和远离所述树心像素的区域。由于靠近树心像素的像素，其偏离树心像素的距离较小，将其识别为树心像素时不会偏离真实的树心像素过大，而远离树心像素的像素值，其偏移树心像素的距离较大，将其识别为树心像素时会偏移真实的树心像素过大，因此通过预设分布区分靠近和远离树心像素的区域，可以实现将靠近树心像素的区域中的像素作为树木识别过程中后补的树心像素，从而可以使得预设神经网络具有鲁莽性，例如，即使未成功识别出真实的树心位置，但是可以将真实的树心位置周围的位置识别为树心位置。
其中，预设分布具体可以为能够区分远离树心像素的区域和靠近树心像素的区域的任意类型分布。示例性的，考虑到距离树心像素的距离越近，则识别为树心像素所带来的误差越小，因此为了提高预设神经网络模型识别的精度，可选的，预设分布具体可以为呈中间高两边低的钟形曲线的分布方式。示例性的，预设分布可以包括圆高斯分布或类圆高斯分布。
示例性的，所述预设分布的参数可以根据预设策略设置，所述预设策略包括靠近所述树心像素的区域满足下述条件中的至少一个：能够区分相邻两棵树、区域面积最大化。其中，通过预设策略包括靠近树心像素的区域满足能够区分相邻两棵树的条件，可以使得预设神经网络能够识别相邻的树木，从而提高了预设神经网络的可靠性。通过预设策略包括靠近树心像素的区域满足区域面积最大化的条件，可以尽可能的提高预设神经网络的鲁棒性。
示例性的，可以根据预设策略设置圆高斯分布的标准差。例如，首先可以将一个较大的初始值作为圆高斯分布的标准差，标准差为该初始值时相邻两棵树被识别为一棵树，然后不断减小标准差的取值直至可以将相邻两棵树识别为两棵树而不是一棵树，从而确定出圆高斯分布的标准差最终值。
在预设神经网络模型的目标结果包括目标置信度特征图时，所述模型输出结果可以包括置信度特征图。相应的，所述根据模型输出结果获得树木信息具体可以包括：根据置信度特征图，获得树心的像素位置信息。
其中，置信度特征图中的像素值可以表征对应像素是树心的概率，根据各像素是树心的概率取值，可以识别出置信度特征图中树心对应的像素，由于置信度特征图中的像素与俯视图像中的像素一一对应，因此可以根据置信度特征图中树心对应的像素的位置信息(即，像素位置信息)确定俯视图像中树心的像素位置信息，示例性的，可以将置信度特征图中树心对应的像素 位置信息作为俯视图像中树心的像素位置信息。
示例性的，所述根据所述置信度特征图，确定俯视图像中树心的像素位置信息，包括：采用预设尺寸的滑动窗口，对所述置信度特征图进行滑窗处理，得到滑窗处理后的所述置信度特征图；所述滑窗处理包括将窗口内的非最大值设置为预设值，所述预设值小于目标阈值；将滑窗处理后的所述置信度特征图中像素值大于所述目标阈值的像素位置信息，确定为所述俯视图像中树心的像素位置信息。
示例性的，滑动窗口的形状可以为正方形或长方形。
示例性的，可以采用滑动窗口的方式，遍历整个置信度特征图。需要说明的是，对于滑动窗口遍历整个置信度特征图的具体方式，本申请可以不作限定。例如可以以置信度特征图的图像坐标系中的原点为滑动窗口的起点，先沿着横坐标轴滑动至图像边缘，然后沿着纵坐标轴滑动一个步长，之后再次沿着横坐标轴滑动至图像边缘，……，直至遍历整个置信度特征图。
为了避免由于滑动窗口过大导致相邻两棵树被识别为一棵树，从而导致识别准确性较差的问题，所述预设尺寸满足能够区分相邻两棵树的条件，即预设尺寸不能过大。在预设尺寸过小时，由于滑动窗口移动次数较多，存在运算量较大的问题，因此可以对滑动窗口的尺寸进行合理设置。示例性的，预设尺寸可以为5乘5大小。
目标阈值可以理解为决定一个像素值对应的像素位置是否为树心位置的门限。示例性的，目标阈值可以根据置信度特征图中像素值的取值特点确定，例如靠近树心位置的像素的像素值通常为0.7、0.8，则目标阈值可以取小于0.7、0.8的值，例如可以为0.3。
上述将窗口内的非最大值设置为预设值，由于预设值小于目标阈值，因此可以在对应真实树心位置的像素以及该像素附近的其他像素的像素值均较大时，避免将一棵树木识别为多棵树木，即可以避免针对一棵树木识别出多个树心位置。为了便于计算，预设值可以为0。
可选的，步骤302之前，还可以包括：对所述俯视图像进行预处理，获得预处理后的俯视图像；相应的，步骤302具体可以包括：通过预设处理模型处理所述预处理后的俯视图像。示例性的，预处理可以包括降噪处理，通过对所述俯视图像进行降噪可以清除原俯视图像中的噪声。示例性的，预处理可以包括下采样处理，通过下采样处理可以减小数据量，提高处理速度。
本实施例中，通过预设处理模型处理包括树木的俯视图像，以获得俯视图像中的树木信息，树木信息包括树心的像素位置信息，实现了根据包含树木的俯视图像自动获得树心位置，与基于人工识别的方法确定树心位置相比，降低了人力成本，提高了识别效率。
图4为本申请又一实施例提供的基于机器视觉的树木识别方法的流程示意图，本实施例在上述实施例的基础上以预设处理模型为预设神经网络模型为例，主要描述了识别树木的树心以及树冠半径的一种可选的实现方式。如图4所示，本实施例的方法可以包括：
步骤401，获得包含树木的俯视图像。
需要说明的是，步骤401与步骤201、步骤301类似，在此不再赘述。
步骤402，将俯视图像输入预设神经网络模型，得到模型输出结果，所述模型输出结果包括置信度特征图和树径特征图。
本步骤中，可选的，所述预设神经网络是基于样本图像以及所述样本图像对应的目标结果训练获得，所述目标结果包括目标置信度特征图和目标树径特征图。
其中，关于目标置信度特征图的相关描述可以参见图3所示实施例，在此不再赘述。所述目标树径特征图中与所述目标置信度特征图中树心像素对应像素的像素值表征树冠半径(可以简称为树径)。目标树径特征图与目标置信度特征图的尺寸可以相同，例如均为150乘200的图像，因此，目标树径特征图的像素可以与目标置信度特征图的像素一一对应。示例性的，目标树径特征图中的坐标为(100,100)的像素可以与目标置信度特征图中坐标为(100,100)的像素对应，当目标置信度特征图中坐标为(100,100)的像素为树心像素时，目标树径特征图中的坐标为(100,100)的像素的像素值可以表征该树心像素对应树木的树径。
需要说明的是，对于目标树径特征图中除与树心像素对应的其他像素，其像素值没有特定含义，因此可以不关心其他像素的像素值，示例性的，可以将其他像素的像素值设置为0。
步骤403，根据所述模型输出结果，确定所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息以及与所述树心对应的树径信息。
本步骤中，示例性的，步骤403具体可以包括：根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息；根据所述树心的像素位置信息以 及所述树径特征图，获得与所述树心对应的树径信息。其中，关于根据置信度特征图获得树心的像素位置信息的相关描述可以参见图3所示实施例，在此不再赘述。
其中，树径特征图中的像素与置信度特征图中的像素一一对应，树径特征图中一个像素的像素值，可以表示置信度特征图中与该像素对应像素是树心时相对应的树径信息，因此可以根据置信度特征图中树心对应的像素，从树径特征图中确定出该树心的树径信息。
示例性的，所述根据所述树心位置信息以及所述树径特征图，确定所述树木的树径信息，具体可以包括如下步骤A和步骤B。
步骤A，根据所述树心位置信息，确定所述树径特征图中与所述树心位置信息对应的目标像素。
例如，假设根据置信度特征图识别出两个树木，分别记为树木1和树木2，且树木1的树心位置信息为置信度特征图中坐标位置(100,200)，树木2的树心位置信息为置信度特征图中坐标位置(50,100)，则可以将该置信度特征图对应的树径特征图中坐标位置(100，200)的像素作为与树木1的像素位置信息对应的目标像素，将该置信度特征图对应的树径特征图中坐标位置(50,100)的像素作为与树木2的像素位置信息对应的目标像素。
步骤B，根据所述目标像素的像素值，确定所述树木的树径信息。
示例性的，在树径特征图中的像素值等于树径信息时，可以将目标像素的像素值作为树木信息。
示例性的，为了提高预设神经网络的处理速度，树径特征图中的像素值可以为归一化的像素值，例如，假设树木的最高高度为160米，则树径特征图中像素值可以为根据160进行归一化之后的结果。相应的，所述根据所述目标像素的像素值，确定所述树木的树径信息，具体可以包括：对所述目标像素的像素值进行反归一化，得到所述树木的树径信息。例如，假设目标像素的像素值为0.5，则进行反归一化之后树径信息可以为160×0.5＝80米。
以俯视图像包括RGB图像和深度图像，预设神经网络模型为全卷积神经网络模型为例，步骤401-步骤403对应的处理框图可以如图5所示。如图5所示，可以将RGB图像和深度图像分别输入全卷积神经网络模型，得到置信度特征图和树径特征图。进一步的，可以根据置信度特征图确定树心的像素位置信息，根据树心的像素位置信息以及树径特征图可以确定该树心的树径信息。
本实施例中，通过将俯视图像输入预设神经网络模型，得到预设神经网络模型的输出结果，基于预设神经网络的处理，对俯视图像中的语义进行区分，获得像素是树心的概率(即置信度特征图)以及像素是树心时的树径此信息(即树径特征图)，进一步获得树心的像素位置信息以及与该树心对应的树径信息，实现了根据包含树木的俯视图像通过预设神经网络模型自动获得树心位置以及树径。
可选的，为了便于用户查看树木信息，在上述实施例的基础上，还可以包括如下步骤：展示所述树木信息。
示例性的，可以通过直接展示信息内容的方式，展示树木信息。例如，假设俯视图像中包括两棵树木分别为树木1和树木2，且树木1的树心的像素位置信息为俯视图像中像素a的位置信息且树径信息为20米，树木2的树心的像素位置信息为俯视图像中像素b的位置信息且对应的树径信息为10米，则可以直接展示像素a在俯视图像坐标系下的位置坐标和20米、以及像素b在俯视图像坐标系下的位置坐标和10米。
示例性的，可以通过在俯视图像上标注展示的方式，展示树木信息。例如，假设俯视图像中包括两棵树木分别为树木1和树木2，且树木1的树心的像素位置信息为像素a的位置信息，树木2的树心的像素位置信息为像素b的位置信息2，则可以在俯视图像中标注像素a和像素b分别对应的位置。
其中，标注展示的方式与直接展示的方式相比，可读性更强，便于用户获知树心位置。
示例性的，所述展示所述树木信息具体可以包括：根据树心的像素位置信息在目标图像中标注树心，获得标注后的图像，并展示所述标注后的图像。
示例性的，所述根据树心的像素位置信息在所述目标图像中标注树心，具体可以包括：根据树心的像素位置信息，在目标图像中所述像素位置信息对应的位置标注树心点。
在树木信息包括与树心对应的树径信息时，所述展示所述树木信息具体可以包括：根据树心的像素位置信息在目标图像中标注树心，根据与所述树心对应的树径信息在所述目标图像中标注树径，并展示所述标注后的图像。
示例性的，所述根据与所述树心对应的树径信息在所述目标图像中标注树径，具体可以包括：
根据所述树心的像素位置信息以及与所述树心对应的树径信息，在所述 目标图像中标注以所述像素位置信息对应的位置为圆心，以所述树径信息对应的长度为半径的圆。
可选的，所述目标图像可以包括下述中的一种或多种：全黑图像、全白图像、俯视图像。其中，全黑图像可以为各像素的R值、G值和B值均为0的图像，全白图像可以为各像素的R值、G值和B值均为255的图像。
以目标图像为俯视图像为例，展示树心的像素位置信息以及与树心对应的树径信息的具体方式可以如图6A所示，其中，图6A中的点即为标注的树心，图6A中的圆即为标注的树径。
以目标图像为俯视图像，且所展示的树木信息包括树心位置和树径为例，展示的标注后的图像可以如图6A所示。通过图6A可以看出，对于树心规则分布的场景，通过本申请实施例提供的方法，可以确定出树心位置以及树径。
以目标图像为俯视图像，且所展示的树木信息包括树心位置和树径为例，展示的标注后的图像可以如图6B-图6C所示，其中，图6C为对图6B中方框中的局部区域进行放大显示的示意图。通过图6B和图6C可以看出，对于树心分布不规则的场景，通过本申请实施例提供的方法，也可以确定出树心位置以及树径。
以目标图像为全黑图像，且所展示的树木信息包括树心位置为例，对应于图6B所示的俯视图像，展示的标注后的图像可以如图6D所示。
图7为本申请一实施例提供的基于机器视觉的树木识别装置的结构示意图，如图7所示，该装置700可以包括：存储器701和处理器702。
所述存储器701，用于存储程序代码；
所述处理器702，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获得包含树木的俯视图像；
处理所述俯视图像，以获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息。
本实施例提供的基于机器视觉的树木识别装置，可以用于执行前述方法实施例中树木信息包括树心位置信息和树径信息的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
图8为本申请另一实施例提供的基于机器视觉的树木识别装置的结构示意图，如图8所示，该装置800可以包括：存储器801和处理器802。
所述存储器801，用于存储程序代码；
所述处理器802，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获得包含树木的俯视图像；
处理所述俯视图像，以获得所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息。
本实施例提供的基于机器视觉的树木识别装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (102)

  1. 一种基于机器视觉的树木识别方法，其特征在于，所述方法包括：
    获得包含树木的俯视图像；
    处理所述俯视图像，以获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息。
  2. 根据权利要求1所述的方法，其特征在于，所述处理所述俯视图像包括：
    将所述俯视图像输入预设神经网络模型，得到所述预设神经网络模型的模型输出结果；
    根据所述模型输出结果，获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息。
  3. 根据权利要求2所述的方法，其特征在于，所述预设神经网络模型是基于样本图像以及所述样本图像对应的目标结果训练获得，所述目标结果包括目标置信度特征图和目标树径特征图；
    所述目标置信度特征图中像素值表征像素是树心的概率，所述目标树径特征图中与树心像素对应像素的像素值表征树径，所述树心像素为所述目标置信度特征图中像素位置与所述样本图像中的树心对应的像素。
  4. 根据权利要求3所述的方法，其特征在于，所述目标置信度特征图中像素值以树心像素为中心满足预设分布，所述预设分布用于区分靠近所述树心像素的区域和远离所述树心像素的区域。
  5. 根据权利要求4所述的方法，其特征在于，所述预设分布包括圆高斯分布或类圆高斯分布。
  6. 根据权利要求4或5所述的方法，其特征在于，所述预设分布的参数是根据预设策略设置，所述预设策略包括靠近所述树心像素的区域满足下述条件中的至少一个：能够区分相邻两棵树、区域面积最大化。
  7. 根据权利要求3所述的方法，其特征在于，所述模型输出结果包括所述俯视图像对应的置信度特征图和树径特征图；
    所述根据所述模型输出结果，获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息，包括：
    根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息；
    根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对 应的树径信息。
  8. 根据权利要求7所述的方法，其特征在于，所述根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息，包括：
    采用预设尺寸的滑动窗口，对所述置信度特征图进行滑窗处理，得到滑窗处理后的所述置信度特征图；所述滑窗处理包括将窗口内的非最大值设置为预设值，所述预设值小于目标阈值；
    将滑窗处理后的所述置信度特征图中像素值大于所述目标阈值的像素的位置信息，作为所述树心的像素位置信息。
  9. 根据权利要求8所述的方法，其特征在于，所述预设尺寸满足能够区分相邻两棵树的条件。
  10. 根据权利要求8所述的方法，其特征在于，所述预设值为0。
  11. 根据权利要求7所述的方法，其特征在于，所述根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息，包括：
    根据所述树心的像素位置信息，确定所述树径特征图中与所述像素位置信息对应的目标像素；
    根据所述目标像素的像素值，获得与所述树心对应的树径信息。
  12. 根据权利要求11所述的方法，其特征在于，所述根据所述目标像素的像素值，获得与所述树心对应的树径信息，包括：
    对所述目标像素的像素值进行反归一化，得到与所述树心对应的树径信息。
  13. 根据权利要求2所述的方法，其特征在于，所述预设神经网络模型包括卷积神经网络模型。
  14. 根据权利要求13所述的方法，其特征在于，所述预设神经网络模型包括全卷积神经网络模型。
  15. 根据权利要求2所述的方法，其特征在于，所述将所述俯视图像输入预设神经网络模型之前，还包括：
    对所述俯视图像进行预处理。
  16. 根据权利要求1所述的方法，其特征在于，所述获得包含树木的俯视图像包括：
    采用数字高程模型DEM，生成包含树木的待识别区域的数字正射影像图DOM。
  17. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    展示所述树心的像素位置信息以及与所述树心对应的树径信息。
  18. 根据权利要求17所述的方法，其特征在于，所述展示所述树心的像素位置信息以及与所述树心对应的树径信息，包括：
    根据树心的像素位置信息在目标图像中标注树心，并根据与所述树心对应的树径信息在所述目标图像中标注树径，得到标注后的图像，并展示所述标注后的图像。
  19. 根据权利要求18所述的方法，其特征在于，根据树心的像素位置信息在所述目标图像中标注树心，包括：
    根据树心的像素位置信息，在所述目标图像中所述像素位置信息对应的位置标注树心点。
  20. 根据权利要求18所述的方法，其特征在于，所述根据与所述树心对应的树径信息在所述目标图像中标注所述树心对应的树径，包括：
    根据所述树心的像素位置信息以及所述树心对应的树径信息，在所述目标图像中标注以所述像素位置信息对应的位置为圆心，以所述树径信息对应的长度为半径的圆。
  21. 根据权利要求17-20任一项所述的方法，其特征在于，所述目标图像包括下述中的一种或多种：全黑图像、全白图像、俯视图像。
  22. 根据权利要求1所述的方法，其特征在于，所述俯视图像包括红绿蓝RGB图像和/或深度图像。
  23. 根据权利要求1所述的方法，其特征在于，所述方法应用于无人机。
  24. 一种基于机器视觉的树木识别方法，其特征在于，所述方法包括：
    获得包含树木的俯视图像；
    处理所述俯视图像，以获得所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息。
  25. 根据权利要求24所述的方法，其特征在于，所述处理所述俯视图像包括：
    将所述俯视图像输入预设神经网络模型，得到所述预设神经网络模型的模型输出结果；
    根据所述模型输出结果，获得所述俯视图像中的树木信息。
  26. 根据权利要求25所述的方法，其特征在于，所述预设神经网络模型 是基于样本图像以及所述样本图像对应的目标结果训练获得，所述目标结果包括目标置信度特征图；
    所述目标置信度特征图中像素值表征像素是树心的概率。
  27. 根据权利要求26所述的方法，其特征在于，所述目标置信度特征图中像素值以树心像素为中心满足预设分布，所述预设分布用于区分靠近所述树心像素的区域和远离所述树心像素的区域，所述树心像素为所述目标置信度特征图中像素位置与所述样本图像中的树心对应的像素。
  28. 根据权利要求27所述的方法，其特征在于，所述预设分布包括圆高斯分布或类圆高斯分布。
  29. 根据权利要求27或28所述的方法，其特征在于，所述预设分布的参数是根据预设策略设置，所述预设策略包括靠近所述树心像素的区域满足下述条件中的至少一个：能够区分相邻两棵树、区域面积最大化。
  30. 根据权利要求25所述的方法，其特征在于，所述模型输出结果包括所述俯视图像对应的置信度特征图；
    所述根据所述模型输出结果，获得所述俯视图像中树心的像素位置信息，包括：
    根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息。
  31. 根据权利要求30所述的方法，其特征在于，所述根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息，包括：
    采用预设尺寸的滑动窗口，对所述置信度特征图进行滑窗处理，得到滑窗处理后的所述置信度特征图；所述滑窗处理包括将窗口内的非最大值设置为预设值，所述预设值小于目标阈值；
    将滑窗处理后的所述置信度特征图中像素值大于所述目标阈值的像素的位置信息，作为所述树心的像素位置信息。
  32. 根据权利要求31所述的方法，其特征在于，所述预设尺寸满足能够区分相邻两棵树的条件。
  33. 根据权利要求31所述的方法，其特征在于，所述预设值为0。
  34. 根据权利要求26-29任一项所述的方法，其特征在于，所述树木信息还包括与所述树心对应的树径信息；所述目标结果还包括目标树径特征图；
    所述目标树径特征图中与所述目标置信度特征图中树心像素对应像素的像素值表征树冠半径，所述树心像素为所述目标置信度特征图中对应所述样 本图像中树心位置的像素。
  35. 根据权利要求34所述的方法，其特征在于，所述模型输出结果包括所述俯视图像对应的置信度特征图和树径特征图；
    所述根据所述模型输出结果，获得所述树木的树木信息，包括：
    根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息；
    根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息。
  36. 根据权利要求35所述的方法，其特征在于，所述根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息，包括：
    根据所述树心的像素位置信息，确定所述树径特征图中与所述像素位置信息对应的目标像素；
    根据所述目标像素的像素值，获得与所述树心对应的树径信息。
  37. 根据权利要求36所述的方法，其特征在于，所述根据所述目标像素的像素值，获得与所述树心对应的树径信息，包括：
    对所述目标像素的像素值进行反归一化，得到与所述树心对应的树径信息。
  38. 根据权利要求25所述的方法，其特征在于，所述预设神经网络模型包括卷积神经网络模型。
  39. 根据权利要求38所述的方法，其特征在于，所述预设神经网络模型包括全卷积神经网络模型。
  40. 根据权利要求25所述的方法，其特征在于，所述将所述俯视图像输入预设神经网络模型之前，还包括：
    对所述俯视图像进行预处理。
  41. 根据权利要求24所述的方法，其特征在于，所述获得包含树木的俯视图像包括：
    采用数字高程模型DEM，生成包含树木的待识别区域的数字正射影像图DOM。
  42. 根据权利要求24所述的方法，其特征在于，所述方法还包括：
    展示所述树木的树木信息。
  43. 根据权利要求42所述的方法，其特征在于，所述展示所述树木的树木信息，包括：
    根据树心的像素位置信息在目标图像中标注树心，得到标注后的图像，并展示所述标注后的图像。
  44. 根据权利要求43所述的方法，其特征在于，根据树心的像素位置信息在目标图像中标注树心，包括：
    根据树心的位置信息，在所述目标图像中所述像素位置信息对应的位置标注树心点。
  45. 根据权利要求43所述的方法，所述树木信息还包括与所述树心对应的树径信息；
    所述展示所述树木的树木信息，还包括根据与所述树心对应的树径信息在所述目标图像中标注树径。
  46. 根据权利要求45所述的方法，其特征在于，所述根据与所述树心对应的树径信息在所述目标图像中标注树径，包括：
    根据所述树心的像素位置信息以及所述树心对应的树径信息，在所述目标图像中标注以所述像素位置信息对应的位置为圆心，以所述树径信息对应的长度为半径的圆。
  47. 根据权利要求43-46任一项所述的方法，其特征在于，所述目标图像包括下述中的一种或多种：全黑图像、全白图像、俯视图像。
  48. 根据权利要求24所述的方法，其特征在于，所述俯视图像包括红绿蓝RGB图像和/或深度图像。
  49. 根据权利要求24所述的方法，其特征在于，所述方法应用于无人机。
  50. 一种基于机器视觉的树木识别装置，其特征在于，包括：处理器和存储器；
    所述存储器，用于存储程序代码；
    所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
    获得包含树木的俯视图像；
    处理所述俯视图像，以获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息。
  51. 根据权利要求50所述的装置，其特征在于，所述处理器用于处理所述俯视图像，具体包括：
    将所述俯视图像输入预设神经网络模型，得到所述预设神经网络模型的 模型输出结果；
    根据所述模型输出结果，获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息。
  52. 根据权利要求51所述的装置，其特征在于，所述预设神经网络模型是基于样本图像以及所述样本图像对应的目标结果训练获得，所述目标结果包括目标置信度特征图和目标树径特征图；
    所述目标置信度特征图中像素值表征像素是树心的概率，所述目标树径特征图中与树心像素对应像素的像素值表征树径，所述树心像素为所述目标置信度特征图中像素位置与所述样本图像中的树心对应的像素。
  53. 根据权利要求52所述的装置，其特征在于，所述目标置信度特征图中像素值以树心像素为中心满足预设分布，所述预设分布用于区分靠近所述树心像素的区域和远离所述树心像素的区域。
  54. 根据权利要求53所述的装置，其特征在于，所述预设分布包括圆高斯分布或类圆高斯分布。
  55. 根据权利要求53或54所述的装置，其特征在于，所述预设分布的参数是根据预设策略设置，所述预设策略包括靠近所述树心像素的区域满足下述条件中的至少一个：能够区分相邻两棵树、区域面积最大化。
  56. 根据权利要求52所述的装置，其特征在于，所述模型输出结果包括所述俯视图像对应的置信度特征图和树径特征图；
    所述处理器用于根据所述模型输出结果，获得所述俯视图像中树心的像素位置信息以及与所述树心对应的树径信息，具体包括：
    根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息；
    根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息。
  57. 根据权利要求56所述的装置，其特征在于，所述处理器用于根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息，具体包括：
    采用预设尺寸的滑动窗口，对所述置信度特征图进行滑窗处理，得到滑窗处理后的所述置信度特征图；所述滑窗处理包括将窗口内的非最大值设置为预设值，所述预设值小于目标阈值；
    将滑窗处理后的所述置信度特征图中像素值大于所述目标阈值的像素的位置信息，作为所述树心的像素位置信息。
  58. 根据权利要求57所述的装置，其特征在于，所述预设尺寸满足能够区分相邻两棵树的条件。
  59. 根据权利要求57所述的装置，其特征在于，所述预设值为0。
  60. 根据权利要求56所述的装置，其特征在于，所述处理器用于根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息，具体包括：
    根据所述树心的像素位置信息，确定所述树径特征图中与所述像素位置信息对应的目标像素；
    根据所述目标像素的像素值，获得与所述树心对应的树径信息。
  61. 根据权利要求60所述的装置，其特征在于，所述处理器用于根据所述目标像素的像素值，获得与所述树心对应的树径信息，具体包括：
    对所述目标像素的像素值进行反归一化，得到与所述树心对应的树径信息。
  62. 根据权利要求51所述的装置，其特征在于，所述预设神经网络模型包括卷积神经网络模型。
  63. 根据权利要求62所述的装置，其特征在于，所述预设神经网络模型包括全卷积神经网络模型。
  64. 根据权利要求52所述的装置，其特征在于，所述处理器还用于：
    对所述俯视图像进行预处理。
  65. 根据权利要求50所述的装置，其特征在于，所述处理器用于获得包含树木的俯视图像，具体包括：
    采用数字高程模型DEM，生成包含树木的待识别区域的数字正射影像图DOM。
  66. 根据权利要求50所述的装置，其特征在于，所述处理器还用于：
    展示所述树心的像素位置信息以及与所述树心对应的树径信息。
  67. 根据权利要求66所述的装置，其特征在于，所述处理器用于展示所述树心的像素位置信息以及与所述树心对应的树径信息，具体包括：
    根据树心的像素位置信息在目标图像中标注树心，并根据与所述树心对应的树径信息在所述目标图像中标注树径，得到标注后的图像，并展示所述标注后的图像。
  68. 根据权利要求67所述的装置，其特征在于，所述处理器用于根据树 心的像素位置信息在目标图像中标注树心，具体包括：
    根据树心的像素位置信息，在所述目标图像中所述像素位置信息对应的位置标注树心点。
  69. 根据权利要求67所述的装置，其特征在于，所述处理器用于根据与所述树心对应的树径信息在所述目标图像中标注所述树心对应的树径，具体包括：
    根据所述树心的像素位置信息以及所述树心对应的树径信息，在所述目标图像中标注以所述像素位置信息对应的位置为圆心，以所述树径信息对应的长度为半径的圆。
  70. 根据权利要求67-69任一项所述的装置，其特征在于，所述目标图像包括下述中的一种或多种：全黑图像、全白图像、俯视图像。
  71. 根据权利要求50所述的装置，其特征在于，所述俯视图像包括红绿蓝RGB图像和/或深度图像。
  72. 根据权利要求50所述的装置，其特征在于，所述装置应用于无人机。
  73. 一种基于机器视觉的树木识别装置，其特征在于，包括：处理器和存储器；
    所述存储器，用于存储程序代码；
    所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
    获得包含树木的俯视图像；
    处理所述俯视图像，以获得所述俯视图像中的树木信息，所述树木信息包括树心的像素位置信息。
  74. 根据权利要求73所述的装置，其特征在于，所述处理器用于处理所述俯视图像，具体包括：
    将所述俯视图像输入预设神经网络模型，得到所述预设神经网络模型的模型输出结果；
    根据所述模型输出结果，获得所述俯视图像中的树木信息。
  75. 根据权利要求74所述的装置，其特征在于，所述预设神经网络模型是基于样本图像以及所述样本图像对应的目标结果训练获得，所述目标结果包括目标置信度特征图；
    所述目标置信度特征图中像素值表征像素是树心的概率。
  76. 根据权利要求75所述的装置，其特征在于，所述目标置信度特征图中像素值以树心像素为中心满足预设分布，所述预设分布用于区分靠近所述树心像素的区域和远离所述树心像素的区域，所述树心像素为所述目标置信度特征图中像素位置与所述样本图像中的树心对应的像素。
  77. 根据权利要求76所述的装置，其特征在于，所述预设分布包括圆高斯分布或类圆高斯分布。
  78. 根据权利要求76或77所述的装置，其特征在于，所述预设分布的参数是根据预设策略设置，所述预设策略包括靠近所述树心像素的区域满足下述条件中的至少一个：能够区分相邻两棵树、区域面积最大化。
  79. 根据权利要求74所述的装置，其特征在于，所述模型输出结果包括所述俯视图像对应的置信度特征图；
    所述处理器用于根据所述模型输出结果，获得所述俯视图像中树心的像素位置信息，具体包括：
    根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息。
  80. 根据权利要求79所述的装置，其特征在于，所述处理器用于根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息，具体包括：
    采用预设尺寸的滑动窗口，对所述置信度特征图进行滑窗处理，得到滑窗处理后的所述置信度特征图；所述滑窗处理包括将窗口内的非最大值设置为预设值，所述预设值小于目标阈值；
    将滑窗处理后的所述置信度特征图中像素值大于所述目标阈值的像素的位置信息，作为所述树心的像素位置信息。
  81. 根据权利要求80所述的装置，其特征在于，所述预设尺寸满足能够区分相邻两棵树的条件。
  82. 根据权利要求80所述的装置，其特征在于，所述预设值为0。
  83. 根据权利要求75-78任一项所述的装置，其特征在于，所述树木信息还包括与所述树心对应的树径信息；所述目标结果还包括目标树径特征图；
    所述目标树径特征图中与所述目标置信度特征图中树心像素对应像素的像素值表征树冠半径，所述树心像素为所述目标置信度特征图中对应所述样本图像中树心位置的像素。
  84. 根据权利要求83所述的装置，其特征在于，所述模型输出结果包括所述俯视图像对应的置信度特征图和树径特征图；
    所述处理器用于根据所述模型输出结果，获得所述树木的树木信息，具体包括：
    根据所述置信度特征图，获得所述俯视图像中树心的像素位置信息；
    根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息。
  85. 根据权利要求84所述的装置，其特征在于，所述处理器用于根据所述树心的像素位置信息以及所述树径特征图，获得与所述树心对应的树径信息，具体包括：
    根据所述树心的像素位置信息，确定所述树径特征图中与所述像素位置信息对应的目标像素；
    根据所述目标像素的像素值，获得与所述树心对应的树径信息。
  86. 根据权利要求85所述的装置，其特征在于，所述处理器用于根据所述目标像素的像素值，获得与所述树心对应的树径信息，具体包括：
    对所述目标像素的像素值进行反归一化，得到与所述树心对应的树径信息。
  87. 根据权利要求74所述的装置，其特征在于，所述预设神经网络模型包括卷积神经网络模型。
  88. 根据权利要求87所述的装置，其特征在于，所述预设神经网络模型包括全卷积神经网络模型。
  89. 根据权利要求74所述的装置，其特征在于，所述处理器还用于：
    对所述俯视图像进行预处理。
  90. 根据权利要求73所述的装置，其特征在于，所述处理器用于获得包含树木的俯视图像，具体包括：
    采用数字高程模型DEM，生成包含树木的待识别区域的数字正射影像图DOM。
  91. 根据权利要求73所述的装置，其特征在于，所述处理器还用于：
    展示所述树木的树木信息。
  92. 根据权利要求91所述的装置，其特征在于，所述处理器用于展示所述树木的树木信息，具体包括：
    根据树心的像素位置信息在目标图像中标注树心，得到标注后的图像，并展示所述标注后的图像。
  93. 根据权利要求92所述的装置，其特征在于，所述处理器用于根据树心的像素位置信息在目标图像中标注树心，具体包括：
    根据树心的位置信息，在目标图像中所述像素位置信息对应的位置标注树心点。
  94. 根据权利要求91所述的装置，所述树木信息还包括与所述树心对应的树径信息；
    所述处理器还用于：根据与所述树心对应的树径信息在所述目标图像中标注树径。
  95. 根据权利要求94所述的装置，其特征在于，所述处理器用于根据与所述树心对应的树径信息在所述目标图像中标注树径，具体包括：
    根据所述树心的像素位置信息以及所述树心对应的树径信息，在所述目标图像中标注以所述像素位置信息对应的位置为圆心，以所述树径信息对应的长度为半径的圆。
  96. 根据权利要求92-95任一项所述的装置，其特征在于，所述目标图像包括下述中的一种或多种：全黑图像、全白图像、俯视图像。
  97. 根据权利要求73所述的装置，其特征在于，所述俯视图像包括红绿蓝RGB图像和/或深度图像。
  98. 根据权利要求73所述的装置，其特征在于，所述装置应用于无人机。
  99. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求1-23任一项所述的方法。
  100. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求24-49任一项所述的方法。
  101. 一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求1-23任一项所述的方法。
  102. 一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求24-49任一项所述的方法。
PCT/CN2019/106161 2019-09-17 2019-09-17 基于机器视觉的树木识别方法及装置 WO2021051264A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2019/106161 WO2021051264A1 (zh) 2019-09-17 2019-09-17 基于机器视觉的树木识别方法及装置
CN201980033553.8A CN112189202A (zh) 2019-09-17 2019-09-17 基于机器视觉的树木识别方法及装置
US17/695,830 US20220207825A1 (en) 2019-09-17 2022-03-16 Machine vision-based tree recognition method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/106161 WO2021051264A1 (zh) 2019-09-17 2019-09-17 基于机器视觉的树木识别方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/695,830 Continuation US20220207825A1 (en) 2019-09-17 2022-03-16 Machine vision-based tree recognition method and device

Publications (1)

Publication Number Publication Date
WO2021051264A1 true WO2021051264A1 (zh) 2021-03-25

Family

ID=73918997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/106161 WO2021051264A1 (zh) 2019-09-17 2019-09-17 基于机器视觉的树木识别方法及装置

Country Status (3)

Country Link
US (1) US20220207825A1 (zh)
CN (1) CN112189202A (zh)
WO (1) WO2021051264A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008676A (zh) * 2006-01-16 2007-08-01 北京林业大学 无人机航空摄影遥感森林计测方法
CN106969730A (zh) * 2017-05-19 2017-07-21 中国农业大学 一种基于无人机探测技术的果树树冠体积测量方法
CN107516068A (zh) * 2017-07-26 2017-12-26 福州大学 一种从无人机高分辨率影像中提取单木树冠的方法
US9977963B1 (en) * 2017-03-03 2018-05-22 Northrop Grumman Systems Corporation UAVs for tracking the growth of large-area wildland fires

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107832681B (zh) * 2017-10-16 2021-05-18 福州大学 联合LiDAR点云和同步遥感影像的森林单木树高估算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008676A (zh) * 2006-01-16 2007-08-01 北京林业大学 无人机航空摄影遥感森林计测方法
US9977963B1 (en) * 2017-03-03 2018-05-22 Northrop Grumman Systems Corporation UAVs for tracking the growth of large-area wildland fires
CN106969730A (zh) * 2017-05-19 2017-07-21 中国农业大学 一种基于无人机探测技术的果树树冠体积测量方法
CN107516068A (zh) * 2017-07-26 2017-12-26 福州大学 一种从无人机高分辨率影像中提取单木树冠的方法

Also Published As

Publication number Publication date
US20220207825A1 (en) 2022-06-30
CN112189202A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US11256905B2 (en) Face detection method and apparatus, service processing method, terminal device, and storage medium
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
WO2020248957A1 (zh) 遮挡的目标物体的检测方法、系统、设备及存储介质
CN111428581A (zh) 人脸遮挡检测方法及系统
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN105740774A (zh) 一种图像的文本区域定位方法及装置
WO2020143316A1 (zh) 证件图像提取方法及终端设备
WO2021051268A1 (zh) 基于机器视觉的树木种类识别方法及装置
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
US11893773B2 (en) Finger vein comparison method, computer equipment, and storage medium
CN108090486A (zh) 一种台球比赛中的图像处理方法及装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111553302B (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
CN112785714A (zh) 点云实例标注方法及装置、电子设备和介质
JP2022168167A (ja) 画像処理方法、装置、電子機器及び記憶媒体
CN111899247A (zh) 脉络膜血管的管腔区域识别方法、装置、设备及介质
US11588955B2 (en) Apparatus, method, and computer program for image conversion
CN114187515A (zh) 图像分割方法和图像分割装置
CN112749735A (zh) 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
WO2019223763A1 (zh) 图像检测方法、装置、设备及介质，图案化控制系统及方法
CN110135274B (zh) 一种基于人脸识别的人流量统计方法
WO2021051264A1 (zh) 基于机器视觉的树木识别方法及装置
WO2021047249A1 (zh) 数据预测方法、装置、设备及计算机可读存储介质
JP5080416B2 (ja) 入力画像から検出対象物の像を検出する画像処理装置
CN113420623B (zh) 基于自组织映射神经网络的5g基站检测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945678

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19945678

Country of ref document: EP

Kind code of ref document: A1