WO2018094719A1 - 生成点云地图的方法、计算机系统和装置 - Google Patents

生成点云地图的方法、计算机系统和装置 Download PDF

Info

Publication number
WO2018094719A1
WO2018094719A1 PCT/CN2016/107435 CN2016107435W WO2018094719A1 WO 2018094719 A1 WO2018094719 A1 WO 2018094719A1 CN 2016107435 W CN2016107435 W CN 2016107435W WO 2018094719 A1 WO2018094719 A1 WO 2018094719A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
pixel
spatial parameter
point cloud
dimensional
Prior art date
Application number
PCT/CN2016/107435
Other languages
English (en)
French (fr)
Inventor
潘慈辉
赵开勇
马岳文
姚尧
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2016/107435 priority Critical patent/WO2018094719A1/zh
Priority to CN201680002448.4A priority patent/CN106688017B/zh
Publication of WO2018094719A1 publication Critical patent/WO2018094719A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to the field of information technology and, more particularly, to a method, computer system and apparatus for generating a point cloud map.
  • the existing map construction generally adopts synchronous positioning and map construction technology, that is, the robot locates its position and posture through repeated observation of the map features during the movement, and then constructs a map according to its own position and posture to achieve simultaneous positioning and map construction. purpose.
  • the two aspects of map and positioning are bundled into a loop to support the two parties in finding a continuous solution in their respective processes.
  • the mutual iterative feedback in different processes will have an impact on both parties.
  • the maps generated by this method are all in the form of point clouds. They are generally just outlines. They are not fine enough to generate sparse or semi-dense point cloud maps.
  • the above non-dense maps are likely to miss important features in the navigation, such as missing traffic lights, or unable to provide accurate information on whether or not to pass, so the above solution is not competent to generate more accurate maps or generate more The task of a real visual model.
  • Embodiments of the present invention provide a method, a computer system, and a device for generating a point cloud map, which can efficiently generate a dense point cloud map.
  • a method for generating a point cloud map includes: initializing a spatial parameter of each pixel in the first picture, wherein the first picture is any picture in a two-dimensional picture set, and the spatial parameter is at least Include a depth of a three-dimensional spatial point corresponding to the pixel; update a spatial parameter of each pixel in the first image according to a matching error function, wherein the matching error function associates the pixel pair An error of the three-dimensional space point; determining a depth map corresponding to the first picture according to the updated spatial parameter of each pixel in the first picture; generating a dense point cloud map according to the depth map corresponding to the first picture .
  • a computer system comprising: a memory for storing computer executable instructions; a processor for accessing the memory and executing the computer executable instructions to perform the following operations: initializing a spatial parameter of each pixel in a picture, wherein the first picture is any picture in a two-dimensional picture set, the spatial parameter includes at least a depth of a three-dimensional space point corresponding to the pixel; and the first picture is updated according to a matching error function a spatial parameter of each of the pixels, wherein the matching error function associates an error of the three-dimensional space point corresponding to the pixel; and determines a depth corresponding to the first picture according to the updated spatial parameter of each pixel in the first picture a map; a dense point cloud map is generated according to the depth map corresponding to the first picture.
  • a third aspect provides an apparatus for generating a point cloud map, including: an initialization module, configured to initialize a spatial parameter of each pixel in the first picture, where the first picture is any picture in a two-dimensional picture set
  • the spatial parameter includes at least a depth of a three-dimensional spatial point corresponding to the pixel; and an updating module, configured to update a spatial parameter of each pixel in the first image according to a matching error function, wherein the matching error function associates a corresponding three-dimensional space of the pixel a depth map generating module, configured to determine a depth map corresponding to the first picture according to the updated spatial parameter of each pixel in the first picture;
  • a point cloud map generating module configured to use the first The depth map corresponding to the image generates a dense point cloud map.
  • a computer storage medium having stored therein program code, the program code being operative to indicate a method of performing the first aspect described above.
  • the technical solution of the embodiment of the present invention is to initialize the spatial parameters of each pixel in any one of the two-dimensional picture sets, and update the spatial parameters of each pixel in the picture according to the matching error function, and then according to the picture
  • the updated spatial parameters of each pixel determine the depth map corresponding to the image, and further generate a dense point cloud map, which can obtain a pixel granularity and a more accurate dense point cloud map, thereby effectively generating a dense point cloud map.
  • FIG. 1 is an architectural diagram of a technical solution to which an embodiment of the present invention is applied.
  • FIG. 2 is a schematic flow chart of a method for generating a point cloud map according to an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of a method for generating a point cloud map according to another embodiment of the present invention.
  • FIG. 4 is a schematic flow chart of a method for generating a point cloud map according to still another embodiment of the present invention.
  • Figure 5 is a schematic block diagram of a computer system in accordance with an embodiment of the present invention.
  • FIG. 6 is a schematic block diagram of an apparatus for generating a point cloud map in accordance with an embodiment of the present invention.
  • FIG. 7 is a schematic block diagram of an apparatus for generating a point cloud map according to another embodiment of the present invention.
  • the size of the sequence numbers of the processes does not imply a sequence of executions, and the order of execution of the processes should be determined by its function and internal logic, and should not be construed as an embodiment of the present invention.
  • the implementation process constitutes any limitation.
  • FIG. 1 is an architectural diagram of a technical solution to which an embodiment of the present invention is applied.
  • system 110 can obtain a dense point cloud map 130 from a two-dimensional collection 120. Specifically, the system 110 can process the two-dimensional picture set 120 by using the technical solution of the embodiment of the present invention to generate a dense point cloud map 130.
  • the two-dimensional picture set 120 may be a picture set obtained by multi-angle shooting of an object.
  • the present invention is not limited to a photographing apparatus that captures a two-dimensional picture set 120, and may be any photographing apparatus.
  • the photographing device may be a photographing device in a drone.
  • the two-dimensional set of pictures 120 obtained by the photographing device is provided to system 110 for processing.
  • System 110 is a system having processing functionality, such as a computer system.
  • System 110 can include at least one processor 111.
  • the processor 111 can execute the technical solution of the embodiment of the present invention.
  • the two-dimensional collection 120 is processed to generate a dense point cloud map.
  • the processor 111 can be any type of processor, which is not limited in the present invention.
  • System 110 can also include at least one memory 112.
  • the memory 112 can be used to store instructions and data, such as computer executable instructions to implement the technical solution of the embodiments of the present invention, data of the two-dimensional picture set 120, and the like.
  • the memory 112 can be any kind of memory, which is not limited in the present invention.
  • the dense point cloud map 130 generated by the technical solution of the embodiment of the present invention has high precision.
  • each pixel can have a corresponding three-dimensional space point, so that important information is not missed.
  • FIG. 2 shows a schematic flow chart of a method 200 of generating a point cloud map according to an embodiment of the present invention.
  • the method 200 can be performed by the system 110 of FIG.
  • the granularity of the processing is pixel level, that is, the processing is for each pixel in the first picture.
  • step 210 the spatial parameters of each pixel in the first picture are initialized. That is to say, for each pixel in the first picture, an initialization process is first performed to obtain an initial value of the spatial parameter of each pixel, so as to be subsequently updated, thereby obtaining the final value of the spatial parameter of each pixel.
  • the spatial parameters of the pixels can be used to generate a depth map, and therefore, the spatial parameters include at least the depth of the three-dimensional spatial points corresponding to the pixels.
  • the spatial parameter includes a depth of a three-dimensional spatial point corresponding to the pixel and a normal vector of the three-dimensional spatial point.
  • the normal vector of the three-dimensional space point is added, so that the subsequently generated dense point cloud map or the further generated three-dimensional map can be more accurate.
  • initializing spatial parameters of each pixel in the first picture may be in the following manner:
  • a spatial parameter of each pixel in the first picture is initialized according to the sparse point cloud map.
  • the spatial parameter initialization process for each pixel in the first picture may utilize a sparse point cloud map.
  • the method of generating a sparse point cloud map from a two-dimensional image set can use existing techniques.
  • the sparse point cloud map may be generated by a method of Structure from Motion (SfM), but the present invention is not limited thereto.
  • the initialization process can be performed in a Gaussian distribution manner.
  • a Gaussian distribution centered on a reference point in the sparse point cloud map is used to initialize a spatial parameter of the first pixel, where a pixel distance corresponding to the reference point is The first pixel is closest.
  • a reference point is selected, and the pixel corresponding to the reference point is closest to the pixel, and the spatial parameter of the pixel is initialized by using a Gaussian distribution centered on the reference point.
  • the manner of initializing the spatial parameter of the pixel according to the sparse point cloud map may be used for the first picture selected in the two-dimensional picture set; if the depth picture corresponding to the previous picture selected in the two-dimensional picture set has been obtained, The next picture can be initialized directly according to the depth map.
  • initializing spatial parameters of each pixel in the first picture may be in the following manner:
  • the spatial parameter of each pixel in the first picture may be initialized according to the depth map corresponding to the second picture.
  • the second picture and the first picture may be pictures selected from the two-dimensional picture set that satisfy a predetermined condition.
  • the difference between the shooting parameters of the first picture and the second picture satisfies a first predetermined condition.
  • the shooting parameters may include a camera position and a camera orientation, and the shooting parameters may also be represented as a camera displacement and a camera rotation angle, which are not limited in the present invention.
  • the first predetermined condition may be that the difference between the first picture and the shooting parameter of the second picture is that the difference between the pictures of the two-dimensional picture set and the shooting parameters of the second picture is not less than a first threshold. And not greater than a minimum difference of the second threshold, wherein the first threshold is less than the second threshold.
  • the relationship between the second picture and the first picture may be a relationship between the reference picture and the reference picture.
  • the picture is a reference picture, and any picture in the two-dimensional picture set can be a reference picture.
  • the reference picture select its corresponding reference picture.
  • the reference picture may have a similar perspective to the reference picture, and the baselines of both are neither too large nor too small.
  • a plurality of pictures for example, 8 pictures
  • the product sequence other than the reference picture may be selected as the backup test picture.
  • picture 2 is the reference picture of picture 1, and for picture 1, if it is the first picture processed, that is, there is no depth map of other picture pairs, then according to the sparse point
  • the cloud map initializes the picture 1 and further obtains the depth map corresponding to the picture 1; when the picture 2 is processed, if the depth picture corresponding to the picture 1 is present, the picture may be directly according to the depth picture corresponding to the picture 1 2 Perform initialization processing.
  • the second picture may also be any other picture in the two-dimensional picture set, which is not limited by the present invention. That is to say, as long as the depth map corresponding to a certain picture in the two-dimensional picture set is already available, the first picture may be directly initialized according to the depth picture.
  • the spatial parameters of each pixel are next updated to obtain the final value.
  • the spatial parameter after initialization may be different from the actual spatial parameter.
  • the update process can make the spatial parameter close to or reach the actual value (the actual value represents the value of the spatial parameter corresponding to the real three-dimensional space point).
  • the matching error function is used to perform the update processing of the spatial parameters.
  • the matching error function correlates the error of the three-dimensional space point corresponding to the pixel. That is to say, the matching error function can reflect the difference between the current value and the actual value of the spatial parameter, so that the spatial parameter updating process based on the matching error function can converge the spatial parameter to the actual value.
  • the matching error function may be determined according to a spatial parameter of each pixel in the first picture, a shooting parameter of the first picture, and a shooting parameter of the third picture in the two-dimensional picture set.
  • the third picture may be a reference picture of the first picture. That is, the difference between the third picture and the shooting parameter of the first picture may be that the difference between the picture of the two-dimensional picture set and the shooting parameter of the first picture is not less than a first threshold and not greater than a second threshold. a difference, wherein the first threshold is less than the second threshold.
  • the third picture may also be any other picture in the two-dimensional picture set, which is not limited by the present invention.
  • the matching error function may be,
  • B represents a square window centered on a pixel
  • an upper line indicates an average
  • H ij represents a homography matrix between pixels i and j
  • H ij is based on a spatial parameter of each pixel in the first picture.
  • the shooting parameters of the first picture and the shooting parameters of the third picture are determined.
  • the items related to q represent the gradation values corresponding to the corresponding pixels.
  • H ij in the above formula (1) may be determined according to a spatial parameter of each pixel in the first picture, a shooting parameter of the first picture, and a shooting parameter of the third picture.
  • the spatial parameter of the pixel is an actual value
  • the value of the matching error function of the above formula (1) is zero; when the spatial parameter of the pixel deviates from the actual value, the value of the matching error function is larger. Therefore, the spatial parameters of each pixel can be updated in a tendency to make the value of the matching error function smaller.
  • the first pixel in the first picture updating a spatial parameter of the first pixel according to the matching error function and a spatial parameter of the second pixel, wherein the second pixel
  • the pixel is a pixel adjacent to the first pixel and having updated spatial parameters.
  • each pixel it can be updated based on the spatial parameters of the pixels that are adjacent to it and that have been updated.
  • updating the update direction of the spatial parameter of each pixel in the first picture may be from the upper left to the lower right of the first picture, and/or from the lower right to the upper left of the first picture.
  • the second pixel may be at least one of the left, upper left, and upper pixels of the first pixel;
  • the second pixel may be at least one of pixels on the right, upper right, and lower sides of the first pixel.
  • the value of the matching error function obtained by using the spatial parameter of the second pixel is smaller than the matching error function obtained by using the spatial parameter of the first pixel
  • the value of the first pixel is updated to the spatial parameter of the second pixel.
  • the spatial parameter of the first pixel when the spatial parameter of the first pixel is updated, the value of the matching error function obtained by using the spatial parameter of the first pixel and the spatial parameter of the second pixel by the first pixel may be compared, and the obtained matching is selected.
  • the spatial parameter with a small value of the error function is used as the spatial parameter of the first pixel.
  • the spatial parameter of the first pixel may also be changed within a predetermined range, and if the value of the matching error function obtained by using the changed spatial parameter becomes smaller, The spatial parameter of the first pixel is updated to the changed spatial parameter.
  • the update of the spatial parameter of each pixel may also adopt a manner of changing within a predetermined range, that is, changing the spatial parameter of each pixel within a predetermined range, and if obtained, the obtained matching error function. If the value of the pixel becomes smaller, the spatial parameter of the pixel is updated to the changed spatial parameter. Alternatively, the above process may be repeated, and the changed range may be further reduced until the spatial parameter of the pixel finally converges to a certain stable value, so that the value of the matching error function is minimized.
  • the manner of updating according to the spatial parameters of the adjacent pixels may be combined with the updating manner that changes within a predetermined range, that is, for each pixel, the method of updating according to the spatial parameters of the adjacent pixels may be adopted first, and then the reservation is adopted.
  • the update method of the range change, after the spatial parameter of the pixel converges to a stable value, the spatial parameter of the next pixel is updated.
  • the element is calculated by the homography matrix.
  • the homography matrix can be calculated by the shooting parameters of the reference photo and the reference photo, and the spatial parameters of the pixels. Then, based on the correspondence between the pixels, the value of the matching error function is calculated. Then use the following point cloud iterative matching method to solve the minimum value of the matching error function.
  • the iteration of odd-numbered labels moves from the upper left corner of the reference photo to the lower right corner through the row, and the iteration of the even-numbered labels starts from the lower right corner through the row to the upper left.
  • the angle moves.
  • the iteration of odd-numbered labels for each pixel, compare it with the current spatial parameters and use the left, upper left, and upper pixels of the current pixel. If the value of the matching error function corresponding to the parameter is smaller, the spatial parameter that makes the matching error function smaller is used to replace the current spatial parameter.
  • a similar operation is performed, except that the compared object is changed to the right, bottom right, and bottom pixels of the current pixel.
  • the depth map corresponding to the first picture may be generated according to the updated spatial parameter.
  • the updated spatial parameters of each pixel are close to or reach the actual value, so that a more accurate depth map of the pixel granularity can be obtained.
  • the depth map corresponding to the picture can be obtained in the above manner. In this way, a dense point cloud map can be further generated based on these depth maps.
  • the method 200 may further include:
  • the untrusted point may include a depth map point corresponding to at least one of the third pixel and the fourth pixel in the first picture,
  • the value of the matching error function obtained by using the converged spatial parameter is greater than the first predetermined value
  • the depth in the depth map corresponding to the fourth pixel, the difference between the three-dimensional space point corresponding to the fourth pixel and the depth of the fourth picture in the two-dimensional picture set is greater than a second predetermined value.
  • the corresponding point is considered to be an untrusted point and should be removed.
  • the fourth picture for each point in the first picture, project it into a three-dimensional space point, and calculate its depth relative to the fourth picture (for example, the fourth picture may be a spare check picture), in the depth and depth map If the relative error between the two is large, the corresponding point is considered to be untrustworthy and should be removed.
  • the untrusted points can be removed in the manner described above.
  • a dense point cloud map can be generated according to the depth map.
  • the depth map corresponding to all the pictures in the two-dimensional picture set may be used, or the depth map corresponding to the partial pictures in the two-dimensional picture set may be used, which is not limited in the present invention.
  • the dense point cloud map may be generated by fusing a depth map corresponding to multiple pictures in the two-dimensional picture set.
  • the dense point cloud map may be generated by fusing a depth map corresponding to all the pictures in the two-dimensional picture set.
  • the occluded points and redundant points can be removed before the dense point cloud map is generated.
  • the depth value can be used to check if a point is occluded and should be removed if it is occluded. In addition, if the two points are very close, it can be considered as the calculation error, the actual point should be the same point, and a redundant point should be removed. After removal, the depth map is merged into a new dense point cloud map.
  • the present invention does not limit the manner in which the dense point cloud map is generated from the depth map, and other methods of generating a point cloud map from the depth map may be employed.
  • the method 200 may further include:
  • Dense point cloud maps can be further used to generate three-dimensional maps.
  • the present invention does not limit the manner in which a three-dimensional map is generated from a dense point cloud map.
  • the spatial parameter includes the depth of the three-dimensional spatial point corresponding to the pixel and the normal vector of the three-dimensional spatial point
  • the normal vector of the three-dimensional spatial point may also be combined when generating the three-dimensional map, thereby generating a more accurate three-dimensional map.
  • the method for generating a point cloud map performs initialization processing on spatial parameters of each pixel in any one of the two-dimensional picture sets, and updates the map according to the matching error function.
  • the spatial parameters of each pixel in the slice according to the updated spatial parameters of each pixel in the picture, determine the depth map corresponding to the picture, and further generate a dense point cloud map, which can obtain a pixel granularity and a more accurate density.
  • FIG. 5 shows a schematic block diagram of a computer system 500 in accordance with an embodiment of the present invention.
  • the computer system 500 can be the system 110 of FIG.
  • the computer system 500 can include a processor 510 and a memory 520.
  • the computer system 500 may also include components that are generally included in other computer systems, such as input and output devices, communication interfaces, and the like, which are not limited by the present invention.
  • Memory 520 is for storing computer executable instructions.
  • the memory 520 may be various kinds of memories, for example, may include a high speed random access memory (RAM), and may also include a non-volatile memory, such as at least one disk memory. This is not limited.
  • RAM high speed random access memory
  • non-volatile memory such as at least one disk memory. This is not limited.
  • the processor 510 is configured to access the memory 520 and execute the computer executable instructions to perform the operations in the method of generating a point cloud map of the embodiment of the present invention described above.
  • the processor 510 may include a microprocessor, a field-programmable gate array (FPGA), a central processing unit (CPU), a graphics processing unit (GPU), etc. This is not limited.
  • FPGA field-programmable gate array
  • CPU central processing unit
  • GPU graphics processing unit
  • FIG. 6 shows a schematic block diagram of an apparatus 600 for generating a point cloud map in accordance with an embodiment of the present invention.
  • the apparatus 600 can perform the method of generating a point cloud map of the embodiment of the present invention described above.
  • the device 600 can be disposed in the system 110 of FIG.
  • the apparatus 600 can include:
  • the initialization module 610 is configured to initialize a spatial parameter of each pixel in the first picture, where the first picture is any picture in the two-dimensional picture set, and the spatial parameter includes at least a depth of the three-dimensional space point corresponding to the pixel;
  • the updating module 620 is configured to update a spatial parameter of each pixel in the first picture according to a matching error function, where the matching error function associates an error of a three-dimensional space point corresponding to the pixel;
  • a depth map generating module 630 configured to determine a depth map corresponding to the first picture according to the updated spatial parameter of each pixel in the first picture;
  • the point cloud map generating module 640 is configured to generate a dense point cloud map according to the depth map corresponding to the first picture.
  • the device for generating a point cloud map in the embodiment of the present invention initializes a spatial parameter of each pixel in any one of the two-dimensional picture sets, and updates a spatial parameter of each pixel in the picture according to the matching error function. According to the updated spatial parameters of each pixel in the picture, the depth map corresponding to the picture is determined, and a dense point cloud map is further generated, and a pixel-grained and accurate map of dense point clouds can be obtained, thereby effectively generating dense maps. Point cloud map.
  • the spatial parameter includes a depth of a three-dimensional spatial point corresponding to the pixel and a normal vector of the three-dimensional spatial point.
  • the initialization module 610 is specifically configured to:
  • a spatial parameter of each pixel in the first picture is initialized according to the sparse point cloud map.
  • the initialization module 610 is specifically configured to:
  • the sparse point cloud map is generated by a device using a motion recovery structure.
  • the initialization module 610 is specifically configured to:
  • a Gaussian distribution centered on the reference point in the sparse point cloud map is used to initialize a spatial parameter of the first pixel, wherein the pixel corresponding to the reference point is closest to the first pixel .
  • the initialization module 610 is specifically configured to:
  • the difference between the shooting parameters of the first picture and the second picture meets a first predetermined condition.
  • the first predetermined condition is:
  • the difference between the first picture and the shooting parameter of the second picture is that a difference between the picture of the two-dimensional picture set and the shooting parameter of the second picture is not less than a first threshold and not greater than a second threshold.
  • the first threshold is less than the second threshold.
  • the matching error function is based on a spatial parameter of each pixel in the first picture, a shooting parameter of the first picture, and a shooting parameter of the third picture in the two-dimensional picture set. Determining, wherein the difference between the third picture and the shooting parameter of the first picture is full The second predetermined condition.
  • the second predetermined condition is:
  • the difference between the third picture and the shooting parameter of the first picture is that a difference between the picture of the two-dimensional picture set and the shooting parameter of the first picture is not less than a first threshold and not greater than a second threshold.
  • the first threshold is less than the second threshold.
  • the matching error function is
  • B represents a square window centered on a pixel
  • an upper line indicates an average
  • H ij represents a homography matrix between pixels i and j
  • H ij is based on a spatial parameter of each pixel in the first picture.
  • the shooting parameters include a camera position and a camera orientation.
  • the update module 620 is specifically configured to:
  • the update module 620 is specifically configured to:
  • the first pixel For the first pixel, if the value of the matching error function obtained by using the spatial parameter of the second pixel is smaller than the value of the matching error function obtained by using the spatial parameter of the first pixel, the first pixel is The spatial parameter is updated to the spatial parameter of the second pixel.
  • the update module 620 is specifically configured to:
  • the spatial parameter of the first pixel is changed within a predetermined range, and if the value of the matching error function obtained by using the changed spatial parameter becomes smaller, the spatial parameter of the first pixel is updated to the changed spatial parameter. .
  • the update module 620 is specifically configured to:
  • the spatial parameter of the first pixel After the spatial parameter of the first pixel converges to a stable value, the spatial parameter of the next pixel is updated.
  • the update direction of the spatial parameter of each pixel in the first picture is updated from the upper left to the lower right of the first picture, and/or from the first picture. From bottom right to top left.
  • the second pixel is at least one of a left, upper left, and upper pixel of the first pixel. Pixel; or,
  • the second pixel is at least one of pixels on the right, upper right, and lower sides of the first pixel.
  • the depth map generating module 630 is specifically configured to:
  • the depth map corresponding to the first picture is determined according to the spatial parameter of each pixel in the first picture.
  • the apparatus 600 further includes:
  • the removing module 650 is configured to remove the untrusted point in the depth map corresponding to the first picture.
  • the untrusted point includes a depth map point corresponding to at least one of the third pixel and the fourth pixel in the first picture
  • the value of the matching error function obtained by using the converged spatial parameter is greater than the first predetermined value
  • the depth in the depth map corresponding to the fourth pixel, the difference between the three-dimensional space point corresponding to the fourth pixel and the depth of the fourth picture in the two-dimensional picture set is greater than a second predetermined value.
  • the point cloud map generating module 640 is specifically configured to:
  • the dense point cloud map is generated by fusing a depth map corresponding to a plurality of pictures in the two-dimensional picture set.
  • the point cloud map generating module 640 is specifically configured to:
  • the dense point cloud map is generated by fusing a depth map corresponding to all the pictures in the two-dimensional picture set.
  • the point cloud map generating module 640 is specifically configured to:
  • the occluded points and redundant points are removed before the dense point cloud map is generated.
  • the apparatus 600 further includes:
  • the three-dimensional map generating module 660 is configured to generate a three-dimensional map according to the dense point cloud map.
  • the computer system of the embodiment of the present invention and the apparatus for generating a point cloud map may correspond to an execution body of a method of generating a point cloud map of the embodiment of the present invention, and the above and other modules of the computer system and each module in the apparatus for generating a point cloud map
  • the operations and/or functions are respectively implemented in order to implement the corresponding processes of the foregoing various methods, and are not described herein for brevity.
  • the embodiment of the invention further provides a computer storage medium, which is stored in the computer storage medium
  • a program code is stored, which can be used to indicate a method of generating a point cloud map that performs the above-described embodiments of the present invention.
  • the term "and/or” is merely an association relationship describing an associated object, indicating that there may be three relationships.
  • a and/or B may indicate that A exists separately, and A and B exist simultaneously, and B cases exist alone.
  • the character "/" in this article generally indicates that the contextual object is an "or" relationship.
  • the disclosed systems, devices, and methods may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, or an electrical, mechanical or other form of connection.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the embodiments of the present invention.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention contributes in essence or to the prior art, or all or part of the technical solution may be embodied in the form of a software product stored in a storage medium.
  • a number of instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like. .

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种生成点云地图的方法、计算机系统和装置；所述方法包括：初始化第一图片中的每一个像素的空间参数，其中，该第一图片为二维图片集中的任一图片，该空间参数至少包括像素对应的三维空间点的深度（210）；根据匹配误差函数更新该第一图片中的每一个像素的空间参数，其中，该匹配误差函数关联像素对应的三维空间点的误差（220）；根据该第一图片中的每一个像素的更新后的空间参数，确定该第一图片对应的深度图（230）；根据该第一图片对应的深度图，生成稠密点云地图（240）；所述生成点云地图的方法、计算机系统和装置，能够有效地生成稠密点云地图。

Description

生成点云地图的方法、计算机系统和装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本发明涉及信息技术领域，并且更具体地，涉及一种生成点云地图的方法、计算机系统和装置。
背景技术
现有的地图构建一般采用同步定位和地图构建技术，即机器人通过运动过程中重复观测到的地图特征定位自身的位置和姿势，再根据自身位置和姿势来构建地图，达到同时定位和地图构建的目的。在此思想下，地图和定位这两个方面被捆绑到一个循环之中，以此支持双方在各自进程中求得连续解，不同进程中的相互迭代反馈对双方都会有影响。使用这一种方法生成的地图都是以点云形式存在，一般只是个大概轮廓，不够精细，即只能生成稀疏或者半稠密点云地图。
然而上述非稠密的地图很有可能会漏掉导航中有着重要意义的特征，例如漏掉红绿灯，或者无法提供准确的是否能够允许通过的信息，所以上述方案并不能胜任生成较为精准地图或者生成较为真实的视觉模型的任务。
因此，如何有效地生成稠密点云地图，成为亟待解决的一个技术问题。
发明内容
本发明实施例提供了一种生成点云地图的方法、计算机系统和装置，能够有效地生成稠密点云地图。
第一方面，提供了一种生成点云地图的方法，包括：初始化第一图片中的每一个像素的空间参数，其中，该第一图片为二维图片集中的任一图片，该空间参数至少包括像素对应的三维空间点的深度；根据匹配误差函数更新该第一图片中的每一个像素的空间参数，其中，该匹配误差函数关联像素对 应的三维空间点的误差；根据该第一图片中的每一个像素的更新后的空间参数，确定该第一图片对应的深度图；根据该第一图片对应的深度图，生成稠密点云地图。
第二方面，提供了一种计算机系统，该计算机系统包括：存储器，用于存储计算机可执行指令；处理器，用于访问该存储器，并执行该计算机可执行指令，以进行如下操作：初始化第一图片中的每一个像素的空间参数，其中，该第一图片为二维图片集中的任一图片，该空间参数至少包括像素对应的三维空间点的深度；根据匹配误差函数更新该第一图片中的每一个像素的空间参数，其中，该匹配误差函数关联像素对应的三维空间点的误差；根据该第一图片中的每一个像素的更新后的空间参数，确定该第一图片对应的深度图；根据该第一图片对应的深度图，生成稠密点云地图。
第三方面，提供了一种生成点云地图的装置，包括：初始化模块，用于初始化第一图片中的每一个像素的空间参数，其中，该第一图片为二维图片集中的任一图片，该空间参数至少包括像素对应的三维空间点的深度；更新模块，用于根据匹配误差函数更新该第一图片中的每一个像素的空间参数，其中，该匹配误差函数关联像素对应的三维空间点的误差；深度图生成模块，用于根据该第一图片中的每一个像素的更新后的空间参数，确定该第一图片对应的深度图；点云地图生成模块，用于根据该第一图片对应的深度图，生成稠密点云地图。
第四方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面的方法。
本发明实施例的技术方案，通过对二维图片集中的任一图片中的每一个像素的空间参数进行初始化处理，并根据匹配误差函数更新图片中的每一个像素的空间参数，再根据图片中的每一个像素的更新后的空间参数，确定图片对应的深度图，并进一步生成稠密点云地图，可以得到像素粒度的、较准确的稠密点云地图，从而能够有效地生成稠密点云地图。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动 的前提下，还可以根据这些附图获得其他的附图。
图1是应用本发明实施例的技术方案的架构图。
图2是本发明一个实施例的生成点云地图的方法的示意性流程图。
图3是本发明另一个实施例的生成点云地图的方法的示意性流程图。
图4是本发明又一个实施例的生成点云地图的方法的示意性流程图。
图5是本发明实施例的计算机系统的示意性框图。
图6是本发明一个实施例的生成点云地图的装置的示意性框图。
图7是本发明另一个实施例的生成点云地图的装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本发明实施例，而非限制本发明实施例的范围。
还应理解，本发明实施例中的公式只是一种示例，而非限制本发明实施例的范围，该公式可以进行变形，这些变形也应属于本发明保护的范围。
还应理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图1是应用本发明实施例的技术方案的架构图。
如图1所示，系统110可以从二维图片集120得到稠密点云地图130。具体地，系统110可以采用本发明实施例的技术方案对二维图片集120进行处理，生成稠密点云地图130。
二维图片集120可以是对物体进行多角度拍摄得到的图片集。本发明对拍摄二维图片集120的拍摄设备不做限定，其可以为任意拍摄设备。作为一个举例，该拍摄设备可以为无人机中的拍摄设备。拍摄设备得到的二维图片集120提供给系统110以进行处理。
系统110为具有处理功能的系统，例如，计算机系统。系统110可以包括至少一个处理器111。该处理器111可以执行本发明实施例的技术方案， 例如，对二维图片集120进行处理，生成稠密点云地图。该处理器111可以为任意种类的处理器，本发明对此不做限定。系统110还可以包括至少一个存储器112。该存储器112可用于存储指令和数据，例如，实现本发明实施例的技术方案的计算机可执行指令，二维图片集120的数据等。该存储器112可以为任意种类的存储器，本发明对此也不做限定。
采用本发明实施例的技术方案生成的稠密点云地图130的精度高，例如，每个像素都可以有对应的三维空间点，因此不会遗漏重要的信息。
图2示出了本发明实施例的生成点云地图的方法200的示意性流程图。该方法200可以由图1中的系统110执行。
210，初始化第一图片中的每一个像素的空间参数，其中，该第一图片为二维图片集中的任一图片，该空间参数至少包括像素对应的三维空间点的深度。
在本发明实施例中，对于二维图片集中的任一图片(表示为第一图片)，处理的粒度为像素级，即处理针对第一图片中的每一个像素。
在步骤210中，初始化第一图片中的每一个像素的空间参数。也就是说，对于第一图片中的每一个像素，先进行初始化处理，得到每一个像素的空间参数的初始值，以便于后续进行更新，进而得到每一个像素的空间参数的最终值。
像素的空间参数可以用于生成深度图，因此，该空间参数至少包括像素对应的三维空间点的深度。
可选地，该空间参数包括像素对应的三维空间点的深度和该三维空间点的法向量。在像素对应的三维空间点的深度的基础上，再加上该三维空间点的法向量，这样，后续生成的稠密点云地图或者进一步生成的三维地图，能够更加准确。
可选地，在本发明一个实施例中，初始化第一图片中的每一个像素的空间参数可以采用以下方式：
根据该二维图片集，生成稀疏点云地图；
根据该稀疏点云地图，初始化该第一图片中的每一个像素的空间参数。
具体而言，对第一图片中的每一个像素的空间参数初始化处理可以利用稀疏点云地图。从二维图片集生成稀疏点云地图的方式可以采用已有的技 术，例如，可以采用运动恢复结构(Structure from Motion，SfM)的方法生成该稀疏点云地图，但本发明对此并不限定。
由于稀疏点云地图中的点比较稀疏，因此较多像素没有在稀疏点云地图中直接对应的点。在这种情况下，可以采用高斯分布的方式进行初始化处理。
可选地，对于该第一图片中的第一像素，采用以该稀疏点云地图中的参考点为中心的高斯分布，初始化该第一像素的空间参数，其中该参考点对应的像素距离该第一像素最近。
也就是说，对于每一个像素，选取一个参考点，该参考点对应的像素距离该像素最近，采用以该参考点为中心的高斯分布，初始化该像素的空间参数。
上述根据稀疏点云地图初始化像素的空间参数的方式，可以用于该二维图片集中选取的第一张图片；若已经得到了该二维图片集中选取的前一张图片对应的深度图，则可以直接根据该深度图，对下一张图片进行初始化处理。
可选地，在本发明另一个实施例中，初始化第一图片中的每一个像素的空间参数可以采用以下方式：
根据该二维图片集中的第二图片对应的深度图，初始化该第一图片中的每一个像素的空间参数。
也就是说，若已经得到了第二图片对应的深度图，则可以根据该第二图片对应的深度图，初始化该第一图片中的每一个像素的空间参数。
该第二图片和该第一图片可以为从该二维图片集中选取的满足预定条件的图片。可选地，该第一图片与该第二图片的拍摄参数的差别满足第一预定条件。
可选地，该拍摄参数可以包括相机位置和相机朝向，该拍摄参数也可以表示为相机位移和相机转角，本发明对此不做限定。
例如，该第一预定条件可以为：该第一图片与该第二图片的拍摄参数的差别为，该二维图片集中的所有图片与该第二图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，该第一阈值小于该第二阈值。
上述第二图片与第一图片的关系可以为基准图片和参考图片的关系。 在对某一图片进行处理时，该图片为基准图片，该二维图片集中的任一图片都可以为基准图片。对于基准图片，再选取其对应的参考图片。可选地，参考图片可以与基准图片有类似的视角，并且两者的基准线既不是太大也不是太小。
例如，可以首先使用运动恢复结构的方法计算出稀疏点云和每张图片对于基准图片的相机转角和相机位移，剔除掉转角过大或过小(例如，小于5度，大于60度)，位移过大或过小(例如，大于平均位移的两倍或小于平均位移的二十分之一)的图片，将剩下的图片按照转角和位移的乘积由小到大依次排列，选取该乘积最小的作为参考图片，另外，可选取除参考图片外该乘积序列前若干张(例如，可选取8张)图片作为备用检验图片。
举例来说，若图片1作为基准图片时，图片2为图片1的参考相片，对于图片1，若其为第一张处理的图片，即，没有其他图片对于的深度图，则可以根据稀疏点云地图对图片1进行初始化处理，后续再进一步得到图片1对应的深度图；在对图片2进行处理时，已有图片1对应的深度图，则可以直接根据图片1对应的深度图，对图片2进行初始化处理。
应理解，第二图片也可以为该二维图片集中的其他任一图片，本发明对此并不限定。也就是说，只要已经有了该二维图片集中某一图片对应的深度图，则可以直接根据该深度图，对第一图片进行初始化处理。
220，根据匹配误差函数更新该第一图片中的每一个像素的空间参数，其中，该匹配误差函数关联像素对应的三维空间点的误差。
在对第一图片中的每一个像素的空间参数进行初始化后，接下来对每一个像素的空间参数进行更新，以得到最终值。初始化后的空间参数可能与实际的空间参数有差别，通过更新处理可以使空间参数接近或达到实际值(该实际值表示真实的三维空间点对应的空间参数的值)。
在本发明实施例中，采用匹配误差函数进行空间参数的更新处理。该匹配误差函数关联像素对应的三维空间点的误差。也就是说，该匹配误差函数可以反映空间参数的当前值与实际值的差别，这样，基于该匹配误差函数进行空间参数的更新处理，可以使空间参数收敛到实际值。
可选地，该匹配误差函数可以根据该第一图片中的每一个像素的空间参数，该第一图片的拍摄参数和该二维图片集中的第三图片的拍摄参数确定。
该第三图片可以为该第一图片的参考图片。即该第三图片与该第一图片的拍摄参数的差别可以为，该二维图片集中的所有图片与该第一图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，该第一阈值小于该第二阈值。
应理解，该第三图片也可以为该二维图片集中的其他任一图片，本发明对此并不限定。
可选地，该匹配误差函数可以为，
Figure PCTCN2016107435-appb-000001
其中，B表示以像素为中心的方形窗口，上划线表示取平均，Hij表示像素i和j之间的单应性矩阵，Hij根据该第一图片中的每一个像素的空间参数，该第一图片的拍摄参数和该第三图片的拍摄参数确定。上述式(1)中，与q相关的各项表示相应像素对应的灰度值。
上述式(1)中的Hij可以根据该第一图片中的每一个像素的空间参数，该第一图片的拍摄参数和该第三图片的拍摄参数确定。在像素的空间参数为实际值时，上述式(1)的匹配误差函数的取值为零；在像素的空间参数偏离实际值越大时，该匹配误差函数的取值越大。因此，可以按照使该匹配误差函数的取值变小的趋向，更新每一个像素的空间参数。
可选地，在本发明一个实施例中，对于该第一图片中的第一像素，根据该匹配误差函数和第二像素的空间参数，更新该第一像素的空间参数，其中，该第二像素为与该第一像素相邻且已更新空间参数的像素。
也就是说，对于每一个像素，可以根据与其相邻且已进行了更新的像素的空间参数进行更新。
可选地，更新该第一图片中的每一个像素的空间参数的更新方向可以为从该第一图片的左上到右下，和/或，从该第一图片的右下到左上。
可选地，在该更新方向为从该第一图片的左上到右下时，该第二像素可以为该第一像素的左边、左上和上边的像素中的至少一个像素；或者，
在该更新方向为从该第一图片的右下到左上时，该第二像素可以为该第一像素的右边、右上和下边的像素中的至少一个像素。
可选地，对于该第一像素，若采用该第二像素的空间参数得到的该匹配误差函数的取值小于采用该第一像素的空间参数得到的该匹配误差函数 的取值，则将该第一像素的空间参数更新为该第二像素的空间参数。
也就是说，在对第一像素的空间参数进行更新时，可比较第一像素分别采用第一像素的空间参数和第二像素的空间参数得到的匹配误差函数的取值，选择所得到的匹配误差函数的取值较小的空间参数作为第一像素的空间参数。
可选地，在本发明另一个实施例中，还可以将该第一像素的空间参数在预定范围内变化，若采用变化后的空间参数得到的该匹配误差函数的取值变小，则将该第一像素的空间参数更新为该变化后的空间参数。
具体而言，对每一像素的空间参数的更新，还可以采用在预定范围内变化的方式，即，将每个像素的空间参数在预定范围内变化，若变化后，所得到的匹配误差函数的取值变小，则将该像素的空间参数更新为变化后的空间参数。可选地，还可以重复上述过程，另外还可以减小所变化的范围，直到该像素的空间参数最终收敛到某个稳定值，使得匹配误差函数的取值最小。
上述根据相邻像素的空间参数进行更新的方式与在预定范围内变化的更新方式可以结合，即，对于每一个像素，可以先采用根据相邻像素的空间参数进行更新的方式，再采用在预定范围内变化的更新方式，在该像素的空间参数收敛到稳定值后，再更新下一个像素的空间参数。
应理解，上述两种更新方式也可以单独实施，本发明对此并不限定。
下面举例说明像素的空间参数的更新过程。应理解，这只是为了帮助本领域技术人员更好地理解本发明实施例，而非限制本发明实施例的范围。
对于基准相片中的每个像素，选取以这个像素为中心的方形窗口，所选的方形窗口为一个w*w的方形像素块，对窗口中每一个元素，通过单应性矩阵计算与该元素对应的像素。其中，单应性矩阵可以通过基准相片和参考相片的拍摄参数，以及像素的空间参数计算得到。然后基于这种像素间的对应关系，计算匹配误差函数的取值。然后使用以下点云迭代匹配的方法来求解匹配误差函数的最小值。
举例来说，可以区分奇数标号的迭代和偶数标号的迭代，对奇数标号的迭代，从基准相片的左上角开始通过行向右下角移动，对偶数标号的迭代，从右下角开始通过行向左上角移动。在奇数标号的迭代中，对每个像素，比较其采用当前的空间参数与采用当前像素的左边，左上，和上边的像素的空 间参数所对应的匹配误差函数的取值，若匹配误差函数的取值更小，则采用使得匹配误差函数的取值更小的那个空间参数取代当前的空间参数。在偶数标号的迭代中，进行类似的操作，只是将比较的对象改成当前像素的右边，右下，和下边的像素。
在每个迭代中，在进行了比较和取代之后，再次进行对每个像素在当前空间参数附近范围内的均匀随机赋值。比较新赋值情况下的匹配误差函数的取值，若发现匹配误差函数的取值变小则用所得的随机赋值代替当前的空间参数，重复上面过程若干次，并可减小随机赋值的范围直到空间参数最终收敛到某个稳定值，使得匹配误差函数的取值最小。
230，根据该第一图片中的每一个像素的更新后的空间参数，确定该第一图片对应的深度图。
在通过前述步骤得到第一图片中的每一个像素的更新后的空间参数后，可根据更新后的空间参数，生成该第一图片对应的深度图。
可选地，可在该第一图片中的每一个像素的空间参数收敛到稳定值后，根据该第一图片中的每一个像素的空间参数，确定该第一图片对应的深度图。
通过之前的更新过程，每一个像素的更新后的空间参数接近或达到实际值，因此能够得到像素粒度的比较精确的深度图。
对于二维图片集中的任一图片，都可以采用上述方式得到该图片对应的深度图。这样，可以根据这些深度图，再进一步生成稠密点云地图。
可选地，在本发明一个实施例中，如图3所示，该方法200还可以包括：
250，移除该第一图片对应的深度图中的不可信点。
生成的深度图中，可能会有误差较大的点，需要将其移除。
可选地，该不可信点可以包括该第一图片中的第三像素和第四像素中的至少一个对应的深度图点，
其中，对于该第三像素，采用收敛后的空间参数得到的该匹配误差函数的取值大于第一预定值；
该第四像素对应的深度图中的深度，与该第四像素对应的三维空间点相对于该二维图片集中的第四图片的深度的差别大于第二预定值。
具体而言，若收敛之后的空间参数对应的匹配误差函数的取值仍然大 于第一预定值，则认为对应的点为不可信点，应该将其移除。另外，对第一图片中的每一个点，将其投射到三维空间点中，计算其相对于第四图片(例如，第四图片可以为备用检验图片)的深度，将该深度与深度图中的深度比较，若两者间的相对误差较大，则认为对应的点为不可信点，应该移除。
类似地，对于二维图片集中的任一图片，都可以采用上述方式移除不可信点。
240，根据该第一图片对应的深度图，生成稠密点云地图。
在通过前述步骤得到二维图片集中的图片对应的深度图后，可以根据该深度图，生成稠密点云地图。可以采用二维图片集中的所有图片对应的深度图，也可以采用二维图片集中的部分图片对应的深度图，本发明对此不做限定。
可选地，在本发明一个实施例中，可以通过融合该二维图片集中的多张图片对应的深度图，生成该稠密点云地图。
可选地，在本发明一个实施例中，可以通过融合该二维图片集中的所有图片对应的深度图，生成该稠密点云地图。
可选地，在生成稠密点云地图之前，可以移除被遮挡点和冗余点。
具体而言，可以使用深度值来检查某点是否被遮挡，若被遮挡则应该移除。另外若两个点非常接近，则可以认为是计算误差带来的，实际应为同一个点，应该移除一个冗余点。经过移除之后，将深度图融合成新的稠密点云地图。
应理解，本发明对由深度图生成稠密点云地图的方式并不限定，也可以采用其他由深度图生成点云地图的方式。
可选地，在本发明一个实施例中，如图4所示，该方法200还可以包括：
260，根据该稠密点云地图，生成三维地图。
稠密点云地图还可以进一步用于生成三维地图。本发明对由稠密点云地图生成三维地图的方式不做限定。另外，在空间参数包括像素对应的三维空间点的深度和该三维空间点的法向量时，在生成三维地图时还可以结合该三维空间点的法向量，从而生成更加准确的三维地图。
本发明实施例的生成点云地图的方法，通过对二维图片集中的任一图片中的每一个像素的空间参数进行初始化处理，并根据匹配误差函数更新图 片中的每一个像素的空间参数，再根据图片中的每一个像素的更新后的空间参数，确定图片对应的深度图，并进一步生成稠密点云地图，可以得到像素粒度的、较准确的稠密点云地图，从而能够有效地生成稠密点云地图。
上文中详细描述了本发明实施例的生成点云地图的方法，下面将描述本发明实施例的计算机系统和生成点云地图的装置。
图5示出了本发明实施例的计算机系统500的示意性框图。该计算机系统500可以为图1中的系统110。
如图5所示，该计算机系统500可以包括处理器510和存储器520。
应理解，该计算机系统500还可以包括其他计算机系统中通常所包括的部件，例如，输入输出设备、通信接口等，本发明对此并不限定。
存储器520用于存储计算机可执行指令。
存储器520可以是各种种类的存储器，例如可以包括高速随机存取存储器(Random Access Memory，RAM)，还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，本发明对此并不限定。
处理器510用于访问该存储器520，并执行该计算机可执行指令，以进行上述本发明实施例的生成点云地图的方法中的操作。
处理器510可以包括微处理器，现场可编程门阵列(Field－Programmable Gate Array，FPGA)，中央处理器(Central Processing unit，CPU)，图形处理器(Graphics Processing Unit，GPU)等，本发明对此并不限定。
图6示出了本发明实施例的生成点云地图的装置600的示意性框图。该装置600可以执行上述本发明实施例的生成点云地图的方法。该装置600可以设置于图1中的系统110中。
如图6所示，该装置600可以包括：
初始化模块610，用于初始化第一图片中的每一个像素的空间参数，其中，该第一图片为二维图片集中的任一图片，该空间参数至少包括像素对应的三维空间点的深度；
更新模块620，用于根据匹配误差函数更新该第一图片中的每一个像素的空间参数，其中，该匹配误差函数关联像素对应的三维空间点的误差；
深度图生成模块630，用于根据该第一图片中的每一个像素的更新后的空间参数，确定该第一图片对应的深度图；
点云地图生成模块640，用于根据该第一图片对应的深度图，生成稠密点云地图。
本发明实施例的生成点云地图的装置，通过对二维图片集中的任一图片中的每一个像素的空间参数进行初始化处理，并根据匹配误差函数更新图片中的每一个像素的空间参数，再根据图片中的每一个像素的更新后的空间参数，确定图片对应的深度图，并进一步生成稠密点云地图，可以得到像素粒度的、较准确的稠密点云地图，从而能够有效地生成稠密点云地图。
可选地，在本发明一个实施例中，该空间参数包括像素对应的三维空间点的深度和该三维空间点的法向量。
可选地，在本发明一个实施例中，该初始化模块610具体用于：
根据该二维图片集，生成稀疏点云地图；
根据该稀疏点云地图，初始化该第一图片中的每一个像素的空间参数。
可选地，在本发明一个实施例中，该初始化模块610具体用于：
根据该二维图片集，采用运动恢复结构的装置生成该稀疏点云地图。
可选地，在本发明一个实施例中，该初始化模块610具体用于：
对于该第一图片中的第一像素，采用以该稀疏点云地图中的参考点为中心的高斯分布，初始化该第一像素的空间参数，其中该参考点对应的像素距离该第一像素最近。
可选地，在本发明一个实施例中，该初始化模块610具体用于：
根据该二维图片集中的第二图片对应的深度图，初始化该第一图片中的每一个像素的空间参数。
可选地，在本发明一个实施例中，该第一图片与该第二图片的拍摄参数的差别满足第一预定条件。
可选地，在本发明一个实施例中，该第一预定条件为：
该第一图片与该第二图片的拍摄参数的差别为，该二维图片集中的所有图片与该第二图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，该第一阈值小于该第二阈值。
可选地，在本发明一个实施例中，该匹配误差函数根据该第一图片中的每一个像素的空间参数，该第一图片的拍摄参数和该二维图片集中的第三图片的拍摄参数确定，其中，该第三图片与该第一图片的拍摄参数的差别满 足第二预定条件。
可选地，在本发明一个实施例中，该第二预定条件为：
该第三图片与该第一图片的拍摄参数的差别为，该二维图片集中的所有图片与该第一图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，该第一阈值小于该第二阈值。
可选地，在本发明一个实施例中，该匹配误差函数为，
Figure PCTCN2016107435-appb-000002
其中，B表示以像素为中心的方形窗口，上划线表示取平均，Hij表示像素i和j之间的单应性矩阵，Hij根据该第一图片中的每一个像素的空间参数，该第一图片的拍摄参数和该第三图片的拍摄参数确定。
可选地，在本发明一个实施例中，该拍摄参数包括相机位置和相机朝向。
可选地，在本发明一个实施例中，该更新模块620具体用于：
对于该第一图片中的第一像素，根据该匹配误差函数和第二像素的空间参数，更新该第一像素的空间参数，其中，该第二像素为与该第一像素相邻且已更新空间参数的像素。
可选地，在本发明一个实施例中，该更新模块620具体用于：
对于该第一像素，若采用该第二像素的空间参数得到的该匹配误差函数的取值小于采用该第一像素的空间参数得到的该匹配误差函数的取值，则将该第一像素的空间参数更新为该第二像素的空间参数。
可选地，在本发明一个实施例中，该更新模块620具体用于：
将该第一像素的空间参数在预定范围内变化，若采用变化后的空间参数得到的该匹配误差函数的取值变小，则将该第一像素的空间参数更新为该变化后的空间参数。
可选地，在本发明一个实施例中，该更新模块620具体用于：
在该第一像素的空间参数收敛到稳定值后，更新下一个像素的空间参数。
可选地，在本发明一个实施例中，更新该第一图片中的每一个像素的空间参数的更新方向为从该第一图片的左上到右下，和/或，从该第一图片的右下到左上。
可选地，在本发明一个实施例中，在该更新方向为从该第一图片的左上到右下时，该第二像素为该第一像素的左边、左上和上边的像素中的至少一个像素；或者，
在该更新方向为从该第一图片的右下到左上时，该第二像素为该第一像素的右边、右上和下边的像素中的至少一个像素。
可选地，在本发明一个实施例中，该深度图生成模块630具体用于：
在该第一图片中的每一个像素的空间参数收敛到稳定值后，根据该第一图片中的每一个像素的空间参数，确定该第一图片对应的深度图。
可选地，在本发明一个实施例中，如图7所示，该装置600还包括：
移除模块650，用于移除该第一图片对应的深度图中的不可信点。
可选地，在本发明一个实施例中，该不可信点包括该第一图片中的第三像素和第四像素中的至少一个对应的深度图点，
其中，对于该第三像素，采用收敛后的空间参数得到的该匹配误差函数的取值大于第一预定值；
该第四像素对应的深度图中的深度，与该第四像素对应的三维空间点相对于该二维图片集中的第四图片的深度的差别大于第二预定值。
可选地，在本发明一个实施例中，该点云地图生成模块640具体用于：
通过融合该二维图片集中的多张图片对应的深度图，生成该稠密点云地图。
可选地，在本发明一个实施例中，该点云地图生成模块640具体用于：
通过融合该二维图片集中的所有图片对应的深度图，生成该稠密点云地图。
可选地，在本发明一个实施例中，该点云地图生成模块640具体用于：
在生成该稠密点云地图之前，移除被遮挡点和冗余点。
可选地，在本发明一个实施例中，如图7所示，该装置600还包括：
三维地图生成模块660，用于根据该稠密点云地图，生成三维地图。
本发明实施例的计算机系统和生成点云地图的装置可对应于本发明实施例的生成点云地图的方法的执行主体，并且计算机系统和生成点云地图的装置中的各个模块的上述和其它操作和/或功能分别为了实现前述各个方法的相应流程，为了简洁，在此不再赘述。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存 储有程序代码，该程序代码可以用于指示执行上述本发明实施例的生成点云地图的方法。
应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (51)

  1. 一种生成点云地图的方法，其特征在于，包括：
    初始化第一图片中的每一个像素的空间参数，其中，所述第一图片为二维图片集中的任一图片，所述空间参数至少包括像素对应的三维空间点的深度；
    根据匹配误差函数更新所述第一图片中的每一个像素的空间参数，其中，所述匹配误差函数关联像素对应的三维空间点的误差；
    根据所述第一图片中的每一个像素的更新后的空间参数，确定所述第一图片对应的深度图；
    根据所述第一图片对应的深度图，生成稠密点云地图。
  2. 根据权利要求1所述的方法，其特征在于，所述空间参数包括像素对应的三维空间点的深度和所述三维空间点的法向量。
  3. 根据权利要求1或2所述的方法，其特征在于，所述初始化第一图片中的每一个像素的空间参数，包括：
    根据所述二维图片集，生成稀疏点云地图；
    根据所述稀疏点云地图，初始化所述第一图片中的每一个像素的空间参数。
  4. 根据权利要求3所述的方法，其特征在于，所述根据所述二维图片集，生成稀疏点云地图，包括：
    根据所述二维图片集，采用运动恢复结构的方法生成所述稀疏点云地图。
  5. 根据权利要求3或4所述的方法，其特征在于，所述根据所述稀疏点云地图，初始化所述第一图片中的每一个像素的空间参数，包括：
    对于所述第一图片中的第一像素，采用以所述稀疏点云地图中的参考点为中心的高斯分布，初始化所述第一像素的空间参数，其中所述参考点对应的像素距离所述第一像素最近。
  6. 根据权利要求1或2所述的方法，其特征在于，所述初始化第一图片中的每一个像素的空间参数，包括：
    根据所述二维图片集中的第二图片对应的深度图，初始化所述第一图片中的每一个像素的空间参数。
  7. 根据权利要求6所述的方法，其特征在于，所述第一图片与所述第 二图片的拍摄参数的差别满足第一预定条件。
  8. 根据权利要求7所述的方法，其特征在于，所述第一预定条件为：
    所述第一图片与所述第二图片的拍摄参数的差别为，所述二维图片集中的所有图片与所述第二图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，所述第一阈值小于所述第二阈值。
  9. 根据权利要求1至8中任一项所述的方法，其特征在于，所述匹配误差函数根据所述第一图片中的每一个像素的空间参数，所述第一图片的拍摄参数和所述二维图片集中的第三图片的拍摄参数确定，其中，所述第三图片与所述第一图片的拍摄参数的差别满足第二预定条件。
  10. 根据权利要求9所述的方法，其特征在于，所述第二预定条件为：
    所述第三图片与所述第一图片的拍摄参数的差别为，所述二维图片集中的所有图片与所述第一图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，所述第一阈值小于所述第二阈值。
  11. 根据权利要求9或10所述的方法，其特征在于，所述匹配误差函数为，
    Figure PCTCN2016107435-appb-100001
    其中，B表示以像素为中心的方形窗口，上划线表示取平均，Hij表示像素i和j之间的单应性矩阵，Hij根据所述第一图片中的每一个像素的空间参数，所述第一图片的拍摄参数和所述第三图片的拍摄参数确定。
  12. 根据权利要求7至11中任一项所述的方法，其特征在于，所述拍摄参数包括相机位置和相机朝向。
  13. 根据权利要求1至12中任一项所述的方法，其特征在于，所述根据匹配误差函数更新所述第一图片中的每一个像素的空间参数，包括：
    对于所述第一图片中的第一像素，根据所述匹配误差函数和第二像素的空间参数，更新所述第一像素的空间参数，其中，所述第二像素为与所述第一像素相邻且已更新空间参数的像素。
  14. 根据权利要求13所述的方法，其特征在于，所述根据所述匹配误差函数和第二像素的空间参数，更新所述第一像素的空间参数，包括：
    对于所述第一像素，若采用所述第二像素的空间参数得到的所述匹配误差函数的取值小于采用所述第一像素的空间参数得到的所述匹配误差函数 的取值，则将所述第一像素的空间参数更新为所述第二像素的空间参数。
  15. 根据权利要求13或14所述的方法，其特征在于，所述根据匹配误差函数更新所述第一图片中的每一个像素的空间参数，还包括：
    将所述第一像素的空间参数在预定范围内变化，若采用变化后的空间参数得到的所述匹配误差函数的取值变小，则将所述第一像素的空间参数更新为所述变化后的空间参数。
  16. 根据权利要求15所述的方法，其特征在于，在所述第一像素的空间参数收敛到稳定值后，更新下一个像素的空间参数。
  17. 根据权利要求13至16中任一项所述的方法，其特征在于，更新所述第一图片中的每一个像素的空间参数的更新方向为从所述第一图片的左上到右下，和/或，从所述第一图片的右下到左上。
  18. 根据权利要求17所述的方法，其特征在于，在所述更新方向为从所述第一图片的左上到右下时，所述第二像素为所述第一像素的左边、左上和上边的像素中的至少一个像素；或者，
    在所述更新方向为从所述第一图片的右下到左上时，所述第二像素为所述第一像素的右边、右上和下边的像素中的至少一个像素。
  19. 根据权利要求1至18中任一项所述的方法，其特征在于，所述根据所述第一图片中的每一个像素的更新后的空间参数，确定所述第一图片对应的深度图，包括：
    在所述第一图片中的每一个像素的空间参数收敛到稳定值后，根据所述第一图片中的每一个像素的空间参数，确定所述第一图片对应的深度图。
  20. 根据权利要求1至19中任一项所述的方法，其特征在于，在根据所述第一图片对应的深度图，生成稠密点云地图之前，所述方法还包括：
    移除所述第一图片对应的深度图中的不可信点。
  21. 根据权利要求20所述的方法，其特征在于，所述不可信点包括所述第一图片中的第三像素和第四像素中的至少一个对应的深度图点，
    其中，对于所述第三像素，采用收敛后的空间参数得到的所述匹配误差函数的取值大于第一预定值；
    所述第四像素对应的深度图中的深度，与所述第四像素对应的三维空间点相对于所述二维图片集中的第四图片的深度的差别大于第二预定值。
  22. 根据权利要求1至21中任一项所述的方法，其特征在于，所述根 据所述第一图片对应的深度图，生成稠密点云地图，包括：
    通过融合所述二维图片集中的多张图片对应的深度图，生成所述稠密点云地图。
  23. 根据权利要求1至21中任一项所述的方法，其特征在于，所述根据所述第一图片对应的深度图，生成稠密点云地图，包括：
    通过融合所述二维图片集中的所有图片对应的深度图，生成所述稠密点云地图。
  24. 根据权利要求22或23所述的方法，其特征在于，在生成所述稠密点云地图之前，移除被遮挡点和冗余点。
  25. 根据权利要求1至24中任一项所述的方法，其特征在于，所述方法还包括：
    根据所述稠密点云地图，生成三维地图。
  26. 一种计算机系统，其特征在于，包括：
    存储器，用于存储计算机可执行指令；
    处理器，用于访问所述存储器，并执行所述计算机可执行指令，以进行根据权利要求1至25中任一项所述的方法中的操作。
  27. 一种生成点云地图的装置，其特征在于，包括：
    初始化模块，用于初始化第一图片中的每一个像素的空间参数，其中，所述第一图片为二维图片集中的任一图片，所述空间参数至少包括像素对应的三维空间点的深度；
    更新模块，用于根据匹配误差函数更新所述第一图片中的每一个像素的空间参数，其中，所述匹配误差函数关联像素对应的三维空间点的误差；
    深度图生成模块，用于根据所述第一图片中的每一个像素的更新后的空间参数，确定所述第一图片对应的深度图；
    点云地图生成模块，用于根据所述第一图片对应的深度图，生成稠密点云地图。
  28. 根据权利要求27所述的装置，其特征在于，所述空间参数包括像素对应的三维空间点的深度和所述三维空间点的法向量。
  29. 根据权利要求27或28所述的装置，其特征在于，所述初始化模块具体用于：
    根据所述二维图片集，生成稀疏点云地图；
    根据所述稀疏点云地图，初始化所述第一图片中的每一个像素的空间参数。
  30. 根据权利要求29所述的装置，其特征在于，所述初始化模块具体用于：
    根据所述二维图片集，采用运动恢复结构的装置生成所述稀疏点云地图。
  31. 根据权利要求29或30所述的装置，其特征在于，所述初始化模块具体用于：
    对于所述第一图片中的第一像素，采用以所述稀疏点云地图中的参考点为中心的高斯分布，初始化所述第一像素的空间参数，其中所述参考点对应的像素距离所述第一像素最近。
  32. 根据权利要求27或28所述的装置，其特征在于，所述初始化模块具体用于：
    根据所述二维图片集中的第二图片对应的深度图，初始化所述第一图片中的每一个像素的空间参数。
  33. 根据权利要求32所述的装置，其特征在于，所述第一图片与所述第二图片的拍摄参数的差别满足第一预定条件。
  34. 根据权利要求33所述的装置，其特征在于，所述第一预定条件为：
    所述第一图片与所述第二图片的拍摄参数的差别为，所述二维图片集中的所有图片与所述第二图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，所述第一阈值小于所述第二阈值。
  35. 根据权利要求27至34中任一项所述的装置，其特征在于，所述匹配误差函数根据所述第一图片中的每一个像素的空间参数，所述第一图片的拍摄参数和所述二维图片集中的第三图片的拍摄参数确定，其中，所述第三图片与所述第一图片的拍摄参数的差别满足第二预定条件。
  36. 根据权利要求35所述的装置，其特征在于，所述第二预定条件为：
    所述第三图片与所述第一图片的拍摄参数的差别为，所述二维图片集中的所有图片与所述第一图片的拍摄参数的差别中不小于第一阈值且不大于第二阈值的最小差别，其中，所述第一阈值小于所述第二阈值。
  37. 根据权利要求35或36所述的装置，其特征在于，所述匹配误差函数为，
    Figure PCTCN2016107435-appb-100002
    其中，B表示以像素为中心的方形窗口，上划线表示取平均，Hij表示像素i和j之间的单应性矩阵，Hij根据所述第一图片中的每一个像素的空间参数，所述第一图片的拍摄参数和所述第三图片的拍摄参数确定。
  38. 根据权利要求33至37中任一项所述的装置，其特征在于，所述拍摄参数包括相机位置和相机朝向。
  39. 根据权利要求27至38中任一项所述的装置，其特征在于，所述更新模块具体用于：
    对于所述第一图片中的第一像素，根据所述匹配误差函数和第二像素的空间参数，更新所述第一像素的空间参数，其中，所述第二像素为与所述第一像素相邻且已更新空间参数的像素。
  40. 根据权利要求39所述的装置，其特征在于，所述更新模块具体用于：
    对于所述第一像素，若采用所述第二像素的空间参数得到的所述匹配误差函数的取值小于采用所述第一像素的空间参数得到的所述匹配误差函数的取值，则将所述第一像素的空间参数更新为所述第二像素的空间参数。
  41. 根据权利要求39或40所述的装置，其特征在于，所述更新模块具体用于：
    将所述第一像素的空间参数在预定范围内变化，若采用变化后的空间参数得到的所述匹配误差函数的取值变小，则将所述第一像素的空间参数更新为所述变化后的空间参数。
  42. 根据权利要求41所述的装置，其特征在于，所述更新模块具体用于：
    在所述第一像素的空间参数收敛到稳定值后，更新下一个像素的空间参数。
  43. 根据权利要求39至42中任一项所述的装置，其特征在于，更新所述第一图片中的每一个像素的空间参数的更新方向为从所述第一图片的左上到右下，和/或，从所述第一图片的右下到左上。
  44. 根据权利要求43所述的装置，其特征在于，在所述更新方向为从所述第一图片的左上到右下时，所述第二像素为所述第一像素的左边、左上 和上边的像素中的至少一个像素；或者，
    在所述更新方向为从所述第一图片的右下到左上时，所述第二像素为所述第一像素的右边、右上和下边的像素中的至少一个像素。
  45. 根据权利要求27至44中任一项所述的装置，其特征在于，所述深度图生成模块具体用于：
    在所述第一图片中的每一个像素的空间参数收敛到稳定值后，根据所述第一图片中的每一个像素的空间参数，确定所述第一图片对应的深度图。
  46. 根据权利要求27至45中任一项所述的装置，其特征在于，所述装置还包括：
    移除模块，用于移除所述第一图片对应的深度图中的不可信点。
  47. 根据权利要求46所述的装置，其特征在于，所述不可信点包括所述第一图片中的第三像素和第四像素中的至少一个对应的深度图点，
    其中，对于所述第三像素，采用收敛后的空间参数得到的所述匹配误差函数的取值大于第一预定值；
    所述第四像素对应的深度图中的深度，与所述第四像素对应的三维空间点相对于所述二维图片集中的第四图片的深度的差别大于第二预定值。
  48. 根据权利要求27至47中任一项所述的装置，其特征在于，所述点云地图生成模块具体用于：
    通过融合所述二维图片集中的多张图片对应的深度图，生成所述稠密点云地图。
  49. 根据权利要求27至47中任一项所述的装置，其特征在于，所述点云地图生成模块具体用于：
    通过融合所述二维图片集中的所有图片对应的深度图，生成所述稠密点云地图。
  50. 根据权利要求48或49所述的装置，其特征在于，所述点云地图生成模块具体用于：
    在生成所述稠密点云地图之前，移除被遮挡点和冗余点。
  51. 根据权利要求27至50中任一项所述的装置，其特征在于，所述装置还包括：
    三维地图生成模块，用于根据所述稠密点云地图，生成三维地图。
PCT/CN2016/107435 2016-11-28 2016-11-28 生成点云地图的方法、计算机系统和装置 WO2018094719A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2016/107435 WO2018094719A1 (zh) 2016-11-28 2016-11-28 生成点云地图的方法、计算机系统和装置
CN201680002448.4A CN106688017B (zh) 2016-11-28 2016-11-28 生成点云地图的方法、计算机系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/107435 WO2018094719A1 (zh) 2016-11-28 2016-11-28 生成点云地图的方法、计算机系统和装置

Publications (1)

Publication Number Publication Date
WO2018094719A1 true WO2018094719A1 (zh) 2018-05-31

Family

ID=58849577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/107435 WO2018094719A1 (zh) 2016-11-28 2016-11-28 生成点云地图的方法、计算机系统和装置

Country Status (2)

Country Link
CN (1) CN106688017B (zh)
WO (1) WO2018094719A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685886A (zh) * 2018-11-19 2019-04-26 国网浙江杭州市富阳区供电有限公司 一种基于混合现实技术的配网三维场景建模方法
CN111192313A (zh) * 2019-12-31 2020-05-22 深圳优地科技有限公司 机器人构建地图的方法、机器人及存储介质
CN111357034A (zh) * 2019-03-28 2020-06-30 深圳市大疆创新科技有限公司 点云生成方法、系统和计算机存储介质
CN115421158A (zh) * 2022-11-07 2022-12-02 中国人民解放军国防科技大学 自监督学习的固态激光雷达三维语义建图方法与装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2589024A (en) * 2018-10-04 2021-05-19 Gps Lands Singapore Pte Ltd System and method for facilitating generation of geographical information
WO2020107487A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 图像处理方法和无人机
CN109343572B (zh) * 2018-12-20 2021-07-30 深圳市道通智能航空技术股份有限公司 一种无人机自主降落方法、装置及无人机
CN109816704B (zh) * 2019-01-28 2021-08-03 北京百度网讯科技有限公司 物体的三维信息获取方法和装置
CN111553844B (zh) * 2020-04-29 2023-08-29 阿波罗智能技术(北京)有限公司 用于更新点云的方法及装置
WO2022041257A1 (zh) * 2020-08-31 2022-03-03 深圳市大疆创新科技有限公司 三维地图处理方法、装置、可移动平台及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
WO2015188684A1 (zh) * 2014-06-12 2015-12-17 深圳奥比中光科技有限公司 三维模型重建方法与系统
WO2016019576A1 (en) * 2014-08-08 2016-02-11 Carestream Health, Inc. Facial texture mapping to volume image
CN105513119A (zh) * 2015-12-10 2016-04-20 北京恒华伟业科技股份有限公司 一种基于无人机的路桥三维重建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927745A (zh) * 2014-03-28 2014-07-16 北京中海新图科技有限公司 面向可穿戴设备的跟踪与匹配并行计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
WO2015188684A1 (zh) * 2014-06-12 2015-12-17 深圳奥比中光科技有限公司 三维模型重建方法与系统
WO2016019576A1 (en) * 2014-08-08 2016-02-11 Carestream Health, Inc. Facial texture mapping to volume image
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN105513119A (zh) * 2015-12-10 2016-04-20 北京恒华伟业科技股份有限公司 一种基于无人机的路桥三维重建方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685886A (zh) * 2018-11-19 2019-04-26 国网浙江杭州市富阳区供电有限公司 一种基于混合现实技术的配网三维场景建模方法
CN111357034A (zh) * 2019-03-28 2020-06-30 深圳市大疆创新科技有限公司 点云生成方法、系统和计算机存储介质
CN111192313A (zh) * 2019-12-31 2020-05-22 深圳优地科技有限公司 机器人构建地图的方法、机器人及存储介质
CN111192313B (zh) * 2019-12-31 2023-11-07 深圳优地科技有限公司 机器人构建地图的方法、机器人及存储介质
CN115421158A (zh) * 2022-11-07 2022-12-02 中国人民解放军国防科技大学 自监督学习的固态激光雷达三维语义建图方法与装置

Also Published As

Publication number Publication date
CN106688017B (zh) 2019-03-01
CN106688017A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
WO2018094719A1 (zh) 生成点云地图的方法、计算机系统和装置
JP6663926B2 (ja) ＤｅｅｐＳｔｅｒｅｏ：実世界の画像から新たなビューを予測するための学習
KR102318023B1 (ko) 에지를 이용한 3차원 모델 생성
US10269148B2 (en) Real-time image undistortion for incremental 3D reconstruction
US9715761B2 (en) Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
Whelan et al. Real-time large-scale dense RGB-D SLAM with volumetric fusion
Lu et al. Patch match filter: Efficient edge-aware filtering meets randomized search for fast correspondence field estimation
US10885707B1 (en) Network, system and method for multi-view 3D mesh generation via deformation
WO2022121640A1 (zh) 机器人重定位方法、装置、机器人和可读存储介质
WO2015135323A1 (zh) 一种摄像机跟踪方法及装置
CN110945565A (zh) 利用概率面元地图的密集视觉slam
GB2520613A (en) Target region fill utilizing transformations
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
US9691175B2 (en) 3-D models as a navigable container for 2-D raster images
CN114332415B (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
US20170212661A1 (en) 3D Model Generation from 2D Images
US10832095B2 (en) Classification of 2D images according to types of 3D arrangement
CN110910483B (zh) 三维重建方法、装置及电子设备
WO2020019245A1 (zh) 透明物体的三维重建方法、装置、计算机设备及存储介质
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
WO2021035627A1 (zh) 获取深度图的方法、装置及计算机存储介质
JP2022509329A (ja) 点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラム
US6570568B1 (en) System and method for the coordinated simplification of surface and wire-frame descriptions of a geometric model
US10440350B2 (en) Constructing a user's face model using particle filters
CN116168174A (zh) 建筑物缺失结构点云的修补方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16922140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16922140

Country of ref document: EP

Kind code of ref document: A1