WO2020232715A1 - 点云的实时显示方法、装置和计算机存储介质 - Google Patents

点云的实时显示方法、装置和计算机存储介质 Download PDF

Info

Publication number
WO2020232715A1
WO2020232715A1 PCT/CN2019/088190 CN2019088190W WO2020232715A1 WO 2020232715 A1 WO2020232715 A1 WO 2020232715A1 CN 2019088190 W CN2019088190 W CN 2019088190W WO 2020232715 A1 WO2020232715 A1 WO 2020232715A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
real
time display
level
node
Prior art date
Application number
PCT/CN2019/088190
Other languages
English (en)
French (fr)
Inventor
薛唐立
马东东
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/088190 priority Critical patent/WO2020232715A1/zh
Priority to CN201980010684.4A priority patent/CN111684494A/zh
Publication of WO2020232715A1 publication Critical patent/WO2020232715A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • the present invention generally relates to the technical field of surveying and mapping, and more specifically to a real-time display method, device and computer storage medium of a point cloud.
  • the present invention provides a new real-time display method, device and computer storage medium of a point cloud.
  • one aspect of the present invention provides a real-time display method of point cloud, the real-time display method includes:
  • the point cloud of at least one node in the tree structure is displayed.
  • Another aspect of the present invention provides a real-time display device for point clouds, the real-time display device includes:
  • the acquisition module is used to acquire the initial point cloud
  • a layering module configured to sample the initial point cloud to obtain updated point clouds with different levels, and point clouds at different levels in the updated point cloud meet different sampling interval requirements;
  • a storage module for storing the updated point cloud in a node of a tree structure
  • the display module is used to display the point cloud of at least one node in the tree structure.
  • Another aspect of the present invention provides a real-time display device for point clouds, the device comprising:
  • Memory used to store executable instructions
  • the processor is configured to execute the instructions stored in the memory, so that the processor executes the aforementioned method for real-time display of point clouds.
  • Another aspect of the present invention provides a computer storage medium on which a computer program is stored, characterized in that, when the program is executed by a processor, the foregoing real-time display method of a point cloud is realized.
  • the initial point cloud is sampled to obtain the updated point cloud with different levels, and the points at different levels in the updated point cloud
  • the cloud meets the requirements of different sampling intervals; storing the updated point cloud in the nodes of the tree structure; displaying the point cloud of at least one node in the tree structure, which can significantly improve the rendering speed and ensure smooth rendering, Realize the real-time display of the point cloud, so that the user can view the point cloud in real time and improve the work efficiency.
  • Figure 1 shows a schematic diagram of a drone surveying and mapping scene in an embodiment of the present invention
  • Figure 2 shows a schematic flow chart of a real-time display method for point clouds in an embodiment of the present invention
  • Figure 3 shows a schematic diagram of a three-level quadtree structure in an embodiment of the present invention
  • FIG. 4 shows a schematic diagram of point cloud and real geographic information aligned in an embodiment of the present invention
  • FIG. 5 shows a schematic block diagram of a real-time display device for point clouds in an embodiment of the present invention
  • Fig. 6 shows a schematic block diagram of a real-time display device for point clouds in still another embodiment of the present invention
  • Fig. 7 shows a schematic block diagram of a point cloud real-time display system in an embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a drone surveying and mapping scene in an embodiment of the present invention.
  • the drone surveying and mapping system includes a drone 101 and a ground station 102.
  • the drone 101 may specifically be a drone for performing surveying and mapping tasks.
  • the UAV 101 may be a multi-rotor UAV, for example, it may be a four-rotor UAV, a hexarotor UAV, or an eight-rotor UAV; the UAV 101 may also be a vertical take-off and landing unmanned aerial vehicle.
  • a man-machine, the vertical take-off and landing UAV has a rotor power system and a fixed wing power system; the UAV 101 may also be a fixed wing UAV.
  • the ground station 102 may be a remote control, a smart phone, a tablet computer, a ground control station, a laptop, a watch, a bracelet, etc., and combinations thereof. In this embodiment, the ground station 102 may be specifically as shown in FIG. PC ground station.
  • the ground station 102 can determine the surveying route information according to the location information of the target area of the surveying and mapping task.
  • the target area can be the area selected by the surveyor on the user interface of the ground station 102, or the target area can be based on the surveyor’s location on the ground station 102. The area determined by the information entered.
  • the ground station 102 sends the surveying and mapping route information to the UAV 101.
  • the unmanned aerial vehicle 101 is equipped with a photographing device through the pan/tilt.
  • the photographing device photographs multiple two-dimensional images, and sends the two-dimensional image sequence to the ground station 102.
  • the ground station 102 can obtain the initial point cloud by processing the two-dimensional image sequence through the three-dimensional reconstruction algorithm. By sampling the initial point cloud, the updated point cloud with different levels can be obtained. Among them, the updated point cloud at different levels The point cloud meets different sampling interval requirements, and the updated point cloud is stored in the nodes of the tree structure. Further, the ground station 102 can display the point cloud of at least one node in the tree structure in real time.
  • the embodiment of the present invention can significantly improve the rendering speed by sampling the initial point cloud and selectively display part of the point cloud, ensuring smooth rendering, and realizing real-time display of the point cloud, that is, performing surveying and mapping tasks on the drone 101 During the process, the ground station 102 can display the results of the 3D reconstruction in real time, so that the surveying and mapping personnel can view the effect of the 3D reconstruction in real time and improve efficiency.
  • FIG. 2 a method for real-time display of a point cloud in an embodiment of the present invention will be described.
  • the real-time display method 200 of the point cloud includes the following steps S201 to S204, wherein, in step S201, an initial point cloud is acquired.
  • the initial point cloud may be obtained by three-dimensional reconstruction.
  • the method of obtaining the initial point cloud includes: obtaining a two-dimensional picture generated from at least a part of the shooting target area; and reconstructing the two-dimensional picture using a three-dimensional reconstruction algorithm to generate
  • the two-dimensional picture may be a two-dimensional picture set including multiple two-dimensional pictures.
  • the two-dimensional picture set may be a picture set obtained by shooting a target area or a target object from multiple angles.
  • the embodiment of the present invention does not limit the shooting device for shooting a two-dimensional picture collection, and it may be any shooting device, such as a camera.
  • the shooting device may be a shooting device in different platforms such as a drone, a tripod, a vehicle, an airplane, or a satellite.
  • the shooting device may be a shooting device in a drone.
  • the initial point cloud can also be a point cloud acquired in real time by lidar or millimeter wave radar, which can be mounted on different platforms such as drones, tripods, vehicles, airplanes, and satellites.
  • the initial point cloud is one of several blocks in the point cloud of the entire target area, for example, the These blocks may have substantially the same file size. Furthermore, each time an initial point cloud of a preset file size is obtained, the initial point cloud of the preset file size is used to display the point cloud in real time according to the embodiment of the present invention Real-time display, where the preset file size can be set reasonably according to the actual display situation.
  • the preset file size ranges from 100kb to 10Mb, for example, 100kb, 1Mb, 2Mb, 3Mb, 4Mb, 5Mb, etc.
  • the size of the value can be set according to the computing power of the computer.
  • the preset file size of the initial point cloud can also be limited by the number of point clouds.
  • the initial point cloud is a point cloud with a preset number of point clouds, that is, every time the preset number of point clouds is obtained, the initial point Cloud, the initial point cloud is displayed in real time using the point cloud real-time display method provided in this embodiment.
  • step S202 the initial point cloud is sampled to obtain updated point clouds with different levels.
  • the point clouds at different levels in the updated point cloud satisfy different sampling requirements. Interval requirements, reduce the number of point clouds that need to be displayed through sampling, and do not need to load all the data at one time, which can improve the rendering speed and make the display smooth.
  • point clouds of different levels can be displayed as the object or model moves away from or approaches the observer.
  • a finer level can be displayed, and when the object is far away from the viewpoint, a coarser level can be displayed without causing visual quality degradation.
  • rendering is no longer required. Therefore, there is no need to load all the data at once, so that the display becomes smooth.
  • the initial point cloud can be sampled according to any suitable method, such as random sampling, Poisson disk sampling, and so on.
  • the method of the embodiment of the present invention is mainly described by taking Poisson disk sampling as an example.
  • the updated point cloud includes the first level to the nth level, wherein each level has a different degree of fineness of the point cloud, for example, the first level is the roughest level, and the nth level is the most
  • the value of n can be any integer greater than or equal to 2, and the specific number of levels can be set reasonably according to actual needs, which is specifically limited here.
  • the distance between two point cloud points in any level is greater than or equal to a preset sampling interval
  • different levels correspond to different preset sampling intervals, for example, preset sampling from the first level to the nth level
  • the values of the intervals are successively decreased, and further, for example, the preset sampling interval of the nth level is one-half of the preset sampling interval of the n-1th level.
  • the preset sampling interval of the nth level is equal to a ground sampling distance (GSD), where the ground sampling distance represents an actual distance represented by one pixel.
  • the updated point cloud is divided into three levels, and the sampling the initial point cloud to obtain the updated point cloud with different levels specifically includes: dividing the initial point cloud Place the point cloud whose midpoint cloud interval is greater than or equal to the first preset sampling interval to the first level, for example, place 200 point clouds greater than or equal to the first preset sampling interval from the initial point cloud including 4200 point clouds Go to the first level; place the point cloud in the point cloud outside the first level with a point cloud interval greater than or equal to the second preset sampling interval to the second level, for example, place the point cloud outside the first level 800 point clouds whose point cloud interval is greater than or equal to the second preset sampling interval are placed in the second level; the first level and the point clouds other than the second level are placed in the third level, such as the remaining 3200
  • the point cloud is placed at the third level to obtain the updated point cloud with three levels, or the point cloud interval between the first level and the point clouds other than the second level is greater than or equal to the first level.
  • the point clouds with three preset sampling intervals are placed on the third level to obtain the updated point cloud with three levels.
  • the first preset sampling interval is greater than the second preset sampling interval
  • the second preset sampling interval is greater than the third preset sampling interval.
  • the second preset sampling interval may be the first preset sampling interval.
  • the third preset sampling interval is one-half of the second preset sampling interval
  • the third preset sampling interval may also be equal to the ground sampling distance (GSD, Ground Sample Distance).
  • the updated point cloud will be stored in the nodes of the tree structure.
  • the number of point clouds stored in each node of the tree structure can be made smaller than the preset The number of point clouds, for example, less than 7000 point clouds, so that the point cloud of each node will not exceed the preset file size, for example, not more than 1Mb, and the value can be set according to the computing power of the computer.
  • the change range of the height direction is generally much smaller than the change range of the horizontal direction, so only the horizontal direction (for example, east and north) can be sampled.
  • step S203 the updated point cloud is stored in the nodes of the tree structure.
  • the tree structure may be any suitable tree structure, such as a binary tree, a trinomial tree, a quad tree, an octree, etc., wherein, in this embodiment, a quad tree is mainly used as an example for explanation and description.
  • a quad tree is mainly used as an example for explanation and description.
  • each updated point cloud is stored in a quad-tree structure.
  • each parent node in the quadtree structure has four child nodes.
  • the updated point cloud is stored in the nodes of the tree structure.
  • the three-level updated point cloud is taken as an example, and the updated point cloud is stored in
  • the nodes of the tree structure specifically include: storing the point cloud of the first level in the root node of the tree structure, wherein each parent node in the tree structure has m child nodes, and m is a positive integer greater than or equal to 2.
  • each parent node of the quadtree has 4 child nodes; the second-level point cloud is divided into m (for example, 4) grids, and each grid of the m grids
  • the point cloud is respectively stored in m (for example, 4) first sub-nodes under the root node, where each grid corresponds to one sub-node; the third-level point cloud is divided into m ⁇ m
  • the point cloud of each grid in the m ⁇ m grids is respectively stored in the m first child nodes as m ⁇ m second child nodes under the parent node Where each grid corresponds to a second child node.
  • the point cloud is stored in the form of a tree structure.
  • the method of the embodiment of the present invention further includes: generating node model attribute information according to the point cloud information of the point cloud stored in the node; generating a predetermined type according to the node model attribute information and the point cloud information The data files of the data files, and then generate the data files of the predetermined type required by the point cloud to be loaded and displayed, and these files can also be stored in the disk.
  • the preset type of data file includes a first type of data file and a second type of data file, the first type of data file includes the node model attribute information, and the second type of data file includes the Point cloud information.
  • the first type of data file includes a json file
  • the second type of data file includes a pnts file.
  • the node model attribute information includes first model attribute information, second model attribute information, and third model attribute information, where the first model attribute information includes a bounding volume, which is used to indicate a package point cloud
  • first model attribute information includes a bounding volume, which is used to indicate a package point cloud
  • bounding volume which is used to indicate a package point cloud
  • the second model attribute information includes geometric error (geometric Error), which is used to indicate which of the different levels to display.
  • the geometric error means that the actual geometric error (m) is projected on the screen at the current zoom ratio.
  • the geometric error is 0.3 meters, which means that the distance of 0.3 meters in the actual scene is projected on the screen at the current zoom ratio.
  • 1 pixel can be used as the threshold.
  • the zoom-in process if there is a level of geometric error corresponding to the projection pixel distance from less than 1 to greater than 1, then the next finer level must be displayed. In the shrinking process, if there is a level of geometric error corresponding to the projection pixel distance decreases from greater than 1 to less than 1, then the next coarser level will be loaded.
  • Different levels have different geometric errors. For example, the geometric error of each level is proportional to the sampling interval. The larger the sampling interval, the greater the geometric error.
  • the third model attribute information is used to decide whether to replace the currently displayed level or add another level to the currently displayed level when displaying different levels.
  • the third model attribute information may include two options of adding (add) and replacing (replace).
  • the node model attribute information also includes content, which is used to describe specific point cloud information, and also includes content.boundingVolume, which is similar to the aforementioned bounding volume attribute, which is also packaged point cloud data.
  • the area of the point cloud is tighter than the former.
  • the content bounding box is optional. It also includes content.uri, which indicates the real point cloud, that is, the name of the second type of data file (such as pnts file).
  • the json file also includes children, and the content of the children section also includes the above attributes, which are used to record different levels of the point cloud.
  • the second type of data file includes the point cloud information, which is used to store point cloud information.
  • the point cloud information includes the position, color, and normal vector of each point cloud. At least one type of information, or other information of each point cloud, such as reflectance information.
  • the second type of data file includes a pnts file.
  • the pnts file is a binary file.
  • the pnts file includes a body field, which contains at least one of the position, color, and normal vector of each point cloud. .
  • a node corresponds to a json file
  • each point cloud corresponds to a pnts file.
  • the method of the embodiment of the present invention further includes converting the coordinate system of the updated point cloud to a world coordinate system, wherein the world coordinate system Including the geocentric ground-fixed coordinate system.
  • the updated local coordinate system for example, Northeast Sky
  • a geocentric ground-fixed coordinate system for example, WGS 84 coordinate system
  • the coordinate system conversion can be realized by any suitable method, for example, calculating the transformation matrix from the updated local coordinate system (for example, Northeast Sky) to the geocentric ground-fixed coordinate system (for example, WGS 84 coordinate system) of the updated point cloud ,
  • the transformation matrix is stored in the first type of data file, for example, stored in a json file, and the point cloud will be automatically converted when the point cloud is loaded.
  • the real-time displayed point cloud can be combined with the real geographic information, so that the user can view the model in a timely and intuitive manner
  • the reconstruction effect can immediately determine the area that cannot be reconstructed or the reconstruction effect is not good, so that the target area can be photographed again at the surveying and mapping site, saving labor and time costs.
  • step S204 the point cloud of at least one node in the tree structure is displayed.
  • the displaying the point cloud of at least one node in the tree structure includes: displaying the point cloud of at least one node in the tree structure according to the actual distance and display area corresponding to a pixel on the display interface .
  • the updated point clouds of different levels have different geometric errors
  • the display of the point cloud of at least one node in the tree structure according to the actual distance and display area corresponding to a pixel on the display interface specifically includes : Determine that the level whose geometric error is greater than or equal to the actual distance corresponding to a pixel on the display interface is a predetermined display level; determine the point cloud displaying at least one node in the predetermined display level according to the display area, for example,
  • the updated point cloud of the three levels has different geometric errors at different levels. For example, the geometric error of the first level is 0.6m, the geometric error of the second level is 0.3m, and the geometric error of the third level is 0.15m .
  • the first level, second level, and third level can be displayed. If one pixel on the display interface corresponds to 0.3m, the first level and second level can be displayed. Level.
  • the point cloud of which nodes are to be displayed is determined according to the display area. For example, in the process of zooming in the upper left corner of the display interface, when corresponding to the finer layer, only the point cloud of the node corresponding to the upper left corner of the finer layer needs to be displayed OK.
  • the number of point clouds that need to be displayed can be reduced, and it is not necessary to load all the data at once, thereby improving
  • the rendering speed makes the display smooth.
  • FIG. 5 shows a schematic block diagram of a real-time display device for point clouds in an embodiment of the present invention.
  • the real-time display device 500 includes an acquiring module 501, which is used to acquire an initial point cloud.
  • the initial point cloud may be obtained by three-dimensional reconstruction
  • the real-time display device further includes a two-dimensional picture acquisition module and a three-dimensional reconstruction module
  • the two-dimensional picture acquisition module is used to obtain at least part of the area generated by the shooting target area A two-dimensional picture
  • a three-dimensional reconstruction module is used to reconstruct the two-dimensional picture using a three-dimensional reconstruction algorithm to generate the initial point cloud.
  • the real-time display device further includes a shooting module (for example, a shooting device) for shooting at least a part of the target area to generate the two-dimensional picture.
  • a shooting module for example, a shooting device
  • the embodiment of the present invention does not limit the shooting device for shooting a two-dimensional picture collection, and it may be any shooting device, such as a camera.
  • the photographing equipment may be photographing equipment in different platforms such as drones, tripods, vehicles, airplanes, and satellites. As an example, the photographing module may be set on the drone.
  • the initial point cloud may also be a point cloud acquired in real time by lidar or millimeter wave radar.
  • the lidar or millimeter wave radar can be mounted on different platforms such as drones, tripods, vehicles, airplanes, and satellites.
  • the initial point cloud is one of several blocks in the point cloud of the entire target area, for example, the These blocks may have substantially the same file size. Furthermore, each time an initial point cloud of a preset file size is obtained, the initial point cloud of the preset file size is displayed in real time according to the embodiment of the present invention. The device performs real-time display, where the preset file size can be set reasonably according to the actual display situation.
  • the preset file size ranges from 100kb to 10Mb, for example, 100kb, 1Mb, 2Mb, 3Mb, 4Mb, 5Mb Etc.
  • the size of the value can be set according to the computing power of the computer.
  • the preset file size of the initial point cloud can also be limited by the number of point clouds.
  • the initial point cloud is a point cloud with a preset number of point clouds, that is, every time the preset number of point clouds is obtained, the initial point Cloud, the initial point cloud is displayed in real time using the real-time display device of the point cloud provided in this embodiment.
  • the real-time display device 500 further includes a layering module 502 for sampling the initial point cloud to obtain updated point clouds with different levels, and the updated point clouds The point clouds of different levels in the middle meet different sampling interval requirements.
  • the initial point cloud can be sampled according to any suitable method, such as random sampling, Poisson disk sampling, and so on.
  • the method of the embodiment of the present invention is mainly described by taking Poisson disk sampling as an example.
  • the updated point cloud includes the first level to the nth level, wherein each level has a different degree of fineness of the point cloud, for example, the first level is the roughest level, and the nth level is the most
  • the value of n can be any integer greater than or equal to 2, and the specific number of levels can be set reasonably according to actual needs, which is specifically limited here.
  • the distance between two point cloud points in any level is greater than or equal to a preset sampling interval
  • different levels correspond to different preset sampling intervals, for example, preset sampling from the first level to the nth level
  • the values of the intervals are successively decreased, and further, for example, the preset sampling interval of the nth level is one-half of the preset sampling interval of the n-1th level.
  • the preset sampling interval of the nth level is equal to ground sampling distance (GSD, ground sampling distance), where the ground sampling distance represents the actual distance represented by one pixel, and the sampling interval of the finest layer is set
  • GSD ground sampling distance
  • the ground sampling distance can be used to accurately restore the target area information when displaying the finest layer of point cloud.
  • the updated point cloud from the first level to the nth level has different degrees of fineness.
  • the updated point cloud will be stored in the nodes of the tree structure.
  • the number of point clouds stored in each node of the tree structure can be made smaller than the preset The number of point clouds, for example, less than 7000 point clouds, so that the point cloud of each node will not exceed the preset file size, for example, not more than 1Mb, and the value can be set according to the computing power of the computer.
  • the change range of the height direction is generally much smaller than the change range of the horizontal direction, so only the horizontal direction (for example, east and north) can be sampled.
  • the layering module 502 is specifically configured to: place the point clouds whose point cloud interval is greater than or equal to the first sampling interval in the initial point cloud to the first level; and place the point clouds outside the first level In the point cloud, the point cloud whose point cloud interval is greater than or equal to the second sampling interval is placed in the second level; the point clouds other than the first level and the second level are placed in the third level to obtain three points The updated point cloud of the layer.
  • the real-time display device 500 further includes a storage module 503 for storing the updated point cloud in the nodes of the tree structure.
  • the tree structure can be any suitable tree structure, such as a binary tree, a trinomial tree, a quad tree, an octree, etc., wherein, in this embodiment, a quad tree is mainly used as an example for explanation and description.
  • each updated point cloud is stored in a quad-tree structure.
  • each parent node in the quadtree structure has four child nodes.
  • the storage module 503 is specifically configured to: store the point cloud of the first level in the root node of the tree structure, where the Each parent node in the tree structure has m child nodes, where m is a positive integer greater than or equal to 2.
  • each parent node of a quadtree has 4 child nodes; the second-level point cloud Divide into m (for example, 4) grids, and store the point cloud of each grid in the m grids in m (for example 4) first child nodes under the root node, Wherein, each grid corresponds to a child node; the point cloud of the third level is divided into m ⁇ m (for example, 16) grids, and the value of each grid in the m ⁇ m grids The point cloud is respectively stored in m ⁇ m second child nodes under the m first child nodes as parent nodes, wherein each grid corresponds to a second child node.
  • the point cloud is stored in the form of a tree structure.
  • the real-time display device further includes a node model attribute information generating module for generating node model attribute information according to the point cloud information of the point cloud stored in the node; the real-time display device further includes a data file generating module It is used to generate a data file of a predetermined type according to the node model attribute information and the point cloud information, thereby generating a data file of a predetermined type required for the point cloud to be loaded and displayed, and these files can also be stored in a disk.
  • the preset type of data file includes a first type of data file and a second type of data file, the first type of data file includes the node model attribute information, and the second type of data file includes the Point cloud information.
  • the first type of data file includes a json file
  • the second type of data file includes a pnts file.
  • the second type of data file includes the point cloud information, which is used to store point cloud information.
  • the point cloud information includes the position, color, and normal vector of each point cloud. At least one type of information, or other information of each point cloud.
  • a node corresponds to a json file
  • each point cloud corresponds to a pnts file.
  • the device of the embodiment of the present invention further includes a conversion module for converting the coordinate system of the updated point cloud to the world coordinate system, wherein,
  • the world coordinate system includes a geocentric and ground-fixed coordinate system.
  • the coordinate system conversion can be realized by any suitable method, for example, calculating the transformation matrix from the updated local coordinate system (for example, Northeast Sky) to the geocentric ground-fixed coordinate system (for example, WGS 84 coordinate system) of the updated point cloud ,
  • the transformation matrix is stored in the first type of data file, for example, stored in a json file, when the point cloud is loaded, the point cloud will be automatically converted, so as to fit the real geographic information together, so that the user can timely, Intuitively view the effect of model reconstruction, so as to immediately determine the area that cannot be reconstructed or the reconstruction effect is not good, so that the target area can be photographed again at the surveying and mapping site, saving labor and time costs.
  • the real-time display device 500 further includes a display module 504 for displaying the point cloud of at least one node in the tree structure.
  • the display module 504 is specifically configured to display the point cloud of at least one node in the tree structure according to the actual distance and the display area corresponding to a pixel on the display interface.
  • updated point clouds of different levels have different geometric errors
  • the display module 504 is specifically configured to: determine that the level with the geometric error greater than or equal to the actual distance corresponding to a pixel on the display interface is a predetermined display level Determine according to the display area to display the point cloud of at least one node in the predetermined display hierarchy, and determine which node's point cloud to display according to the display area, for example, in the process of enlarging the upper left corner of the display interface, the corresponding display is updated In the fine layer, only the point cloud of the corresponding node in the upper left corner of the finer layer needs to be displayed.
  • the initial point cloud is sampled by the layering module to obtain updated point clouds with different levels, and the updated point clouds at different levels
  • the point cloud meets the requirements of different sampling intervals
  • the updated point cloud is stored in the node of the tree structure through the storage module
  • the point cloud of at least one node in the tree structure is displayed through the display module, which can significantly improve the rendering Speed, to ensure smooth rendering, to achieve real-time display of the point cloud, so that you can view the effect of the point cloud in real time and improve efficiency.
  • an embodiment of the present invention also provides a real-time display device for point clouds.
  • the real-time display device 600 for point clouds includes one or more storage devices 602, and the storage device 602 is used to store executable files.
  • the instructions also include one or more processors 601 working individually or together, and the processors are used to execute the relevant steps in the point cloud real-time display method 200 in the foregoing embodiment.
  • the processor 601 may be a central processing unit (CPU), an image processing unit (GPU), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or other forms with data processing capabilities and/or instruction execution capabilities
  • the processor 601 may be a central processing unit (CPU) or other form of processing unit with data processing capability and/or instruction execution capability, and may control other components in the electronic device 100 to execute desired Function.
  • the processor 601 can include one or more embedded processors, processor cores, microprocessors, logic circuits, hardware finite state machines (FSM), digital signal processors (DSP), or combinations thereof.
  • the storage device 602 may include one or more computer program products, and the computer program products may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the volatile memory may include random access memory (RAM) and/or cache memory (cache), for example.
  • the non-volatile memory may include, for example, read-only memory (ROM), hard disk, flash memory, etc.
  • One or more computer program instructions can be stored on the computer-readable storage medium, and the processor 601 can run the program instructions to implement the point cloud computing in the embodiments of the present invention (implemented by the processor) described below. Real-time display method and device and/or other desired functions.
  • Various application programs and various data such as various data used and/or generated by the application program, can also be stored in the computer-readable storage medium.
  • the real-time display device of the point cloud further includes an input device.
  • the input device may be a device used by a user to input instructions, and may include one or more of a keyboard, a mouse, a microphone, and a touch screen.
  • the input device may also be any interface for receiving information.
  • the real-time display device of the point cloud further includes an output device that can output various information (such as images or sounds) to the outside (such as a user), and may include a display (such as displaying points to the user). One or more of cloud, etc.), speakers, etc.
  • the output device may also be any other device with output function.
  • the real-time display device of the point cloud further includes a communication interface, and the communication interface is used for communication between the real-time display device 600 of the point cloud and other devices, including wired or wireless communication.
  • the point cloud real-time display device 600 can be connected to a wireless network based on a communication standard, such as WiFi, 2G, 3G, 4G, 5G, or a combination thereof.
  • the communication interface further includes a near field communication (NFC) module to facilitate short-range communication.
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the real-time display device of the point cloud in the embodiment of the present invention can be implemented as a terminal such as a desktop computer, a tablet computer, a notebook computer, etc., or a real-time display device and system of the point cloud including these terminals.
  • the real-time display method of point cloud includes the following steps: acquiring an initial point cloud; sampling the initial point cloud to obtain updated point clouds with different levels, and the updated point cloud Point clouds of different levels meet different sampling interval requirements; store the updated point cloud in a node of a tree structure; display the point cloud of at least one node in the tree structure.
  • the real-time display method can significantly increase the rendering speed, ensure smooth rendering, and realize real-time display of the point cloud, so that the effect of the point cloud can be viewed in real time and efficiency is improved.
  • Fig. 7 shows a real-time display system for point clouds applied in the field of surveying and mapping.
  • the real-time display system includes a movable platform, such as a drone.
  • the shooting equipment set on the drone collects a two-dimensional picture (such as a code stream picture) of the target area, and transmits the two-dimensional picture to the back-end program of the ground station software, and the back-end program is parsed and sent to
  • the 3D reconstruction algorithm performs scene reconstruction.
  • the reconstruction algorithm processes some picture sequences and saves the generated point cloud to disk.
  • the front-end display module executes the relevant steps of the point cloud real-time display method 200 in the foregoing embodiment.
  • the point cloud generation algorithm will continuously generate point clouds.
  • the point cloud generated by the point cloud generation algorithm is basically the same every time.
  • the point cloud generated by lidar can also be implemented using the display method proposed in the embodiment of the present invention.
  • another embodiment of the present invention also provides a computer storage medium.
  • One or more computer program instructions can be stored on the computer-readable storage medium, and the processor can run the program instructions stored in the memory to implement The functions (implemented by the processor) in the embodiments of the present invention described herein and/or other desired functions, for example, to perform the relevant steps in the point cloud real-time display method 200 in the foregoing embodiments according to the embodiments of the present invention .
  • Various application programs and various data can also be stored in the computer-readable storage medium.
  • the computer storage medium may include, for example, a memory card of a smart phone, a storage component of a tablet computer, a hard disk of a personal computer, a read-only memory (ROM), an erasable programmable read-only memory (EPROM), a portable compact disk read-only Memory (CD-ROM), USB memory, or any combination of the above storage media.
  • the computer-readable storage medium may be any combination of one or more computer-readable storage media.
  • the method, device and system for real-time display of point clouds can render and display large-scale point clouds smoothly and in real time, and the point clouds can be integrated with geographic information without waiting for the entire scene to be reconstructed.
  • Check the reconstruction effect after completion which significantly reduces the waiting time and improves the user experience.
  • the effect of model reconstruction can be viewed in real time (for example, when the image of the target area is collected)
  • the efficiency is high and avoids the occurrence of poor image acquisition, leaving the scene to rebuild for a long time, and found that some places are due to If the shooting is not good, it cannot be reconstructed, and it is necessary to return to the viewfinder to take the image again, saving a lot of manpower and time cost.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are merely illustrative, for example, the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components may be combined or It can be integrated into another device, or some features can be ignored or not implemented.
  • the various component embodiments of the present invention may be implemented by hardware, or by software modules running on one or more processors, or by a combination of them.
  • a microprocessor or a digital signal processor (DSP) may be used in practice to implement some or all of the functions of some modules according to the embodiments of the present invention.
  • DSP digital signal processor
  • the present invention can also be implemented as a device program (for example, a computer program and a computer program product) for executing part or all of the methods described herein.
  • Such a program for realizing the present invention may be stored on a computer-readable medium, or may have the form of one or more signals. Such signals can be downloaded from Internet websites, or provided on carrier signals, or provided in any other form.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种点云的实时显示方法、装置和计算机存储介质，包括：获取初始点云(S201)；对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求(S202)；将所述更新后的点云存储在树形结构的节点中(S203)；显示所述树形结构中至少一个节点的点云(S204)。通过本发明实施的方案能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而使用户能够实时查看点云，提高作业效率。

Description

点云的实时显示方法、装置和计算机存储介质
说明书
技术领域
本发明总地涉及测绘技术领域，更具体地涉及一种点云的实时显示方法、装置和计算机存储介质。
背景技术
目前测绘领域中，查看生成的点云需要在整个场景或者物体重建完成之后，因此用户无法实时看到重建的效果，也就不能及时确定场景或者物体中哪些区域重建的好，哪些区域并未重建出来。查看重建的效果必须等到整个场景重建完成之后会导致以下几个问题：1、查看场景中任何一块的点云都要等待整个场景重建完成，这往往要等待大量的时间。场景的重建往往需要耗费比较长的时间，短则几十分钟，长则几天，因为只能在整个场景重建完成后才能查看点云的情况，查看点云需要等待很长的时间。2、无法第一时间(如现场采集图片时)看到模型重建的效果，效率低。测绘作业时，经常会出现离开现场回去重建了很长时间后，发现有些地方由于拍摄的不好无法重建，需要再次采集图像的情况。这就需要返回取景地重新拍摄，浪费大量的人力、时间成本。3、等待整个场景重建完成后才能让用户查看点云，用户体验不好。
因此，鉴于上述问题，本发明提供一种新的点云的实时显示方法、装置和计算机存储介质。
发明内容
为了解决上述问题中的至少一个而提出了本发明。具体地，本发明一方面提供一种点云的实时显示方法，所述实时显示方法包括：
获取初始点云；
对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；
将所述更新后的点云存储在树形结构的节点中；
显示所述树形结构中至少一个节点的点云。
本发明再一方面提供一种点云的实时显示装置，所述实时显示装置包括：
获取模块，用于获取初始点云；
分层模块，用于对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；
存储模块，用于将所述更新后的点云存储在树形结构的节点中；
显示模块，用于显示所述树形结构中至少一个节点的点云。
本发明另一方面提供一种点云的实时显示装置，所述装置包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的所述指令，使得所述处理器执行前述的点云的实时显示方法。
本发明又一方面提供一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现前述的点云的实时显示方法。
根据本发明实施例的点云的实时显示方法和装置，其通过对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；将所述更新后的点云存储在树形结构的节点中；显示所述树形结构中至少一个节点的点云，能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而使用户能够实时查看点云，提高作业效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例中的无人机测绘场景的示意图；
图2示出了本发明一个实施例中的点云的实时显示方法的示意图流程图；
图3示出了本发明一个实施例中的三层四叉树结构的示意图；
图4示出了本发明一个实施例中的点云和真实地理信息对齐后的示意图；
图5示出了本发明一个实施例中的点云的实时显示装置的示意性框图；
图6示出了本发明再一个实施例中的点云的实时显示装置的示意性框图；
图7示出了本发明一个实施例中的点云的实时显示系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详 细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
下面结合附图，对本申请的点云的实时显示方法和装置、系统进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
请参照图1，图1为本发明一个实施例中的无人机测绘场景的示意图，无人机测绘系统包括无人机101，地面站102。无人机101具体可以是执行测绘任务的无人机。可选的，无人机101可以是多旋翼无人机，示例的，可以是四旋翼无人机、六旋翼无人机、八旋翼无人机；无人机101还可以是垂直起降无人机，该垂直起降无人机上具有旋翼动力系统和固定翼动力系统；无人机101还可以是固定翼无人机。地面站102可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合，在本实施例中，地面站102具体可以是如图1所示的PC地面站。地面站102可以根据测绘任务目标区域的定位信息，确定测绘航线信息，该目标区域可以是测绘人员 在地面站102的用户界面上选择的区域，或者该目标区域可以是根据测绘人员在地面站102上输入的信息确定的区域。地面站102将测绘航线信息发送给无人机101。无人机101通过云台搭载有拍摄设备，无人机101根据该测绘航线信息运动的过程中通过拍摄设备拍摄多张二维图像，并将二维图像序列发送给地面站102。地面站102通过三维重建算法对二维图像序列进行处理可以得到初始点云，通过对初始点云进行采样可以获得具有不同层级的更新后的点云，其中，更新后的点云中不同层级的点云满足不同的采样间隔要求，将更新后的点云存储在树形结构的节点中，进一步地，地面站102可以实时显示树形结构中至少一个节点的点云。
本发明实施例通过对初始点云进行采样，选择性的显示部分的点云，能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，也即在无人机101执行测绘任务的过程中，地面站102可以实时显示三维重建的结果，从而使测绘人员能够实时查看三维重建效果，提高效率。
下面，参考图2对本发明一个实施例中的点云的实时显示方法进行描述。
在一个实施例中，如图2所示，该点云的实时显示方法200包括以下步骤S201至步骤S204，其中，在步骤S201中，获取初始点云。
初始点云可以是通过三维重建而获得，例如，获取初始点云的方法包括：获取拍摄目标区域的至少部分区域生成的二维图片；利用三维重建算法对所述二维图片进行重建，以生成所述初始点云，其中，二维图片可以是包括多张二维图片的二维图片集。二维图片集可以是对目标区域或目标物体进行多角度拍摄得到的图片集。本发明实施例对拍摄二维图片集的拍摄设备不做限定，其可以为任意的拍摄设备，例如相机。该拍摄设备可以为无人机、三脚架、车辆、飞机及卫星等不同平台中的拍摄设备，作为一个示例，该拍摄设备可以为无人机中的拍摄设备。
初始点云还可以是通过激光雷达或毫米波雷达实时获取的点云，该激光雷达或毫米波雷达可以搭载在例如无人机、三脚架、车辆、飞机及卫星等不同平台上。
由于每次渲染的点云加载需要时间，时间长短随着点云的增大而增长，如果点云比较大，就会出现上一块点云没有加载完，就需要渲染下一块点云的情况，会造成渲染的卡顿和延迟，渲染效果不流畅，因此，在本发明的一个实施例中，所述初始点云为整个目标区域的点云中的若干分块中的一个分 块，例如该些分块可以具有大体相同的文件大小，更一步，每获取到预设文件大小的初始点云，则对该预设文件大小的初始点云采用本发明实施例提供的点云的实时显示方法进行实时显示，其中，该预设文件大小可以根据实际显示的情况进行合理设定，例如预设文件大小的范围在100kb至10Mb之间，例如，100kb、1Mb、2Mb、3Mb、4Mb、5Mb等，数值的大小可以根据计算机的运算能力进行设定。在一个示例中，还可以通过点云的数量限定初始点云的预设文件大小，例如，初始点云为具有预设点云数量的点云，也即每获得预设点云数量的初始点云，则对该初始点云采用本实施例提供的点云的实时显示方法进行实时显示。通过使得每次渲染显示的初始点云的文件大小大体相同，可以避免由于初始点云的尺寸不同而导致的加载时间不同，导致的渲染的卡顿和延迟，渲染效果不流畅问题，从而提高渲染速度，保证渲染的流畅。
继续如图2所示，在步骤S202中，对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求，通过采样减少需要显示的点云的数目，不需要一次性加载全部数据，从而可以提升渲染速度，使显示变得流畅。
在一个示例中，随着物体、模型远离或者靠近观察者可以显示不同层级的点云。当物体距离视点很近时，可以显示较为精细的层级，而当物体距离视点很远时，可以显示较为粗糙的层级，同时也并不会导致视觉质量的下降。进一步地，当物体处于可见范围之外的时候，将不再需要进行渲染。由此，不需要一次性加载全部数据，从而使显示变的流畅。
具体地，可以根据任意适合的方法对该初始点云进行采样，例如随机采样、泊松圆盘采样等。在本实施例中，主要以泊松圆盘采样为例对本发明实施例的方法进行说明。
在一个示例中，所述更新后的点云包括第一层级至第n层级，其中，每个层级具有不同精细程度的点云，例如，第一层级为最粗糙层级，而第n层级为最精细层级，该n的数值可以是任意大于或等于2的整数，具体的分级数量可以根据实际的需要进行合理的设定，在此对其进行具体限定。
在一个示例中，任一层级中两个点云点之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，例如，从第一层至第n层级预设采样间隔的数值依次降低，更进一步，例如，第n层级的预设采样间隔为第n-1层级的预设采样间隔的二分之一。可选地，所述第n层级的预设采样 间隔与地面采样距离(GSD，Ground sample distance)相等，其中，该地面采样距离表示一个像素代表的实际距离。通过依次降低预设采样间隔，使得从第一层级至第n层级的更新后的点云具有不同的精细程度。
在一个具体实施例中，更新后的点云分为三个层级，所述对所述初始点云进行采样，以获得具有不同层级的更新后的点云，具体包括：将所述初始点云中点云间隔大于或等于第一预设采样间隔的点云放到第一层级，例如，将包括4200个点云的初始点云中大于或等于第一预设采样间隔的200个点云放到第一层级；将所述第一层级以外的点云中点云间隔大于或等于第二预设采样间隔的点云放到第二层级，例如，将所述第一层级以外的点云中点云间隔大于或等于第二预设采样间隔的800个点云放到第二层级；将所述第一层级和所述第二层级以外的点云放到第三层级，例如剩余的3200个点云放到第三层级，以获得具有三个分层的所述更新后的点云，或者，将所述第一层级和所述第二层级以外的点云中点云间隔大于或等于第三预设采样间隔的点云放到第三层级，以获得具有三个分层的所述更新后的点云。其中，第一预设采样间隔大于所述第二预设采样间隔，第二预设采样间隔大于第三预设采样间隔，更具体地，还可以是第二预设采样间隔是第一预设采样间隔的二分之一，第三预设采样间隔是第二预设采样间隔的二分之一，第三预设采样间隔还可以与地面采样距离(GSD，Ground sample distance)相等。通过将最精细层的采样间隔设置成地面采样距离，可以使得显示最精细层的点云时可以准确还原目标区域信息。
在一个示例中，更新后的点云会存储到树形结构的节点中，为了提高每个节点的点云的加载速度，可以使树形结构的每个节点中存储的点云数量小于预设点云数量，例如小于7000个点云，这样加载每个节点的点云时则不会超过预设文件大小，例如不会超过1Mb，数值的大小可以根据计算机的运算能力进行设定。
在一个示例中，当本发明的方法用于测绘的场景时，高度方向变化范围一般比水平方向变化范围小的多，因此可以仅仅对水平方向(例如、东、北)进行采样。
继续如图2所示，在步骤S203中，将所述更新后的点云存储在树形结构的节点中。
所述树形结构可以是任意适合的树形结构中，例如二叉树、三叉树、四叉树、八叉树等，其中，在本实施例中，主要以四叉树为例进行解释和说明 书。例如，对于每个更新后的点云用四叉树的结构来存储。例如，如图3所示的三层的四叉树结构，该四叉树结构中每个父节点具有四个子节点。
经过上述采样之后，将所述更新后的点云存储在树形结构的节点中，在一个示例中，以三个层级的更新后的点云为例，将所述更新后的点云存储在树形结构的节点中具体包括：将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数。例如，四叉树的每个父节点具有4个子节点；将所述第二层级的点云划分至m个(例如4个)栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个(例如4个)第一子节点中，其中，每个栅格对应一个子节点；将所述第三层级的点云划分至m×m个(例如16个)栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中，其中，每个栅格对应一个第二子节点。通过上述方法将点云以树形结构的形式存储。
在一个实施例中，本发明实施例的方法还包括：根据所述节点内存储的点云的点云信息生成节点模型属性信息；根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件，进而产生了待加载显示的点云所需的预定类型的数据文件，这些文件还可以存入磁盘。
所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。可选地，第一类型的数据文件包括json文件，第二类型的数据文件包括pnts文件。
可选地，所述节点模型属性信息包括第一模型属性信息、第二模型属性信息和第三模型属性信息，其中，第一模型属性信息包括包围盒(bounding Volume)，用于指示包裹点云的形状，例如方盒形(box)、不规则区域形(region)、球形(sphere)等。
第二模型属性信息包括几何误差(geometric Error)，用于指示显示所述不同层级中的哪一个层级，几何误差代表的意思是实际的几何误差(米)在当前的缩放比例下投影到屏幕上的像素距离，例如：几何误差为0.3米，表示实际场景中0.3米的距离在当前的缩放比例下投影到屏幕上的像素距离。在一个实施例中，可以以1个像素为门限，在放大过程中，如果有一个层级的几何误差对应的投影像素距离从小于1变大到大于1，那就要显示下一个更精细层级，在缩小过程中，如果有一个层级的几何误差对应的投影像素距 离从大于1减小到小于1则就要加载下一个更粗糙层级。对于不同层级其具有的几何误差也不同，例如每个层级的几何误差和采样间隔呈比例关系，采样间隔越大该几何误差也越大。
第三模型属性信息用于在显示不同层级时决定是替换当前显示的层级还是在当前显示的层级上添加其他层级，第三模型属性信息可以包括添加(add)和替换(replace)两种选择。
在一个示例中，节点模型属性信息还包括内容(content)，用于描述具体点云信息，还包括内容包围盒(content.boundingVolume)类似于前文的包围盒(boundingVolume)属性，也是包裹点云数据的区域，不过比前者要更加紧的包裹点云，内容包围盒是可选择的，还包括content.uri，其指明真实的点云，即第二类型的数据文件(例如pnts文件)的名称。json文件还包括孩子(children)，children部分的内容也包含上面的属性，其用来记录点云的不同层级。
在一个示例中，所述第二类型的数据文件包括所述点云信息，其用于存储点云信息，可选地，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息，或者还可以包括每个点云的其他信息，例如反射率信息。
在一个示例中，第二类型的数据文件包括pnts文件，pnts文件是一个二进制文件，pnts文件包括体(Body)字段，其包每个点云的位置、颜色和法向量中的至少一种信息。
可选地，一个节点会对应一个json文件，每个点云会对应一个pnts文件。
在一个示例中，为了使点云信息和真实的地理信息贴合，本发明实施例的方法还包括将所述更新后的点云的坐标系转换到世界坐标系，其中，所述世界坐标系包括地心地固坐标系。例如，将更新后的点云的局部坐标系(例如东北天)转换到地心地固坐标系(如WGS 84坐标系)。具体地，可以通过任意适合的方法实现该坐标系转换，例如，计算所述更新后的点云的局部坐标系(例如东北天)到地心地固坐标系(如WGS 84坐标系)的变换矩阵，将该变换矩阵存储在第一类型的数据文件中，例如存储在json文件中，在加载点云时会自动将点云进行转换。如图4中箭头所指的区域所示，通过将点云转换到世界坐标系中，可以使得实时显示的点云与真实的地理信息贴合到一起，使用户能够及时、直观地查看到模型重建的效果，从而可以立即判断出无法重建或者重建效果不好的区域，从而在测绘现场即可再次对目标区域进行拍摄，节省人力和时间成本。
继续参考图2，在步骤S204中，显示所述树形结构中至少一个节点的点云。
在一个示例中，所述显示所述树形结构中至少一个节点的点云，包括：根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云。
更进一步地，不同层级的更新后的点云具有不同的几何误差，所述根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云，具体包括：确定所述几何误差大于或等于所述显示界面上一个像素对应的实际距离的层级为预定显示层级；根据所述显示区域确定显示所述预定显示层级中至少一个节点的点云，例如，具有三个层级的更新后的点云，其不同层级会有不同的几何误差，比如第一层级的几何误差是0.6m，第二层级的几何误差是0.3m，第三层级的几何误差是0.15m。若此时显示界面上一个像素对应的实际距离为0.15m，则可以显示第一层级、第二层级、第三层级，若显示界面上一个像素对应0.3m，则可以显示第一层级、第二层级。此外，根据显示区域确定要显示哪些节点的点云，例如对显示界面的左上角进行放大的过程中，在对应显示更精细层时，只需要显示更精细层中左上角区域对应节点的点云即可。通过根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云，可以减少需要显示的点云的数目，不需要一次性加载全部数据，从而可以提升渲染速度，使显示变得流畅。
下面，参考图5对本发明一个实施例中的点云的实时显示装置进行描述，该装置可以用于实现前述的方法。其中，图5示出了本发明一个实施例中的点云的实时显示装置的示意性框图。
如图5所示，所述实时显示装置500包括获取模块501，获取模块501用于获取初始点云。
在一个示例中，初始点云可以是通过三维重建而获得，所述实时显示装置还包括二维图片获取模块和三维重建模块，二维图片获取模块用于获取拍摄目标区域的至少部分区域生成的二维图片；三维重建模块用于利用三维重建算法对所述二维图片进行重建，以生成所述初始点云。
所述实时显示装置还包括拍摄模块(例如拍摄设备)，用于拍摄目标区域的至少部分区域生成所述二维图片。本发明实施例对拍摄二维图片集的拍摄 设备不做限定，其可以为任意的拍摄设备，例如相机。该拍摄设备可以为无人机、三脚架、车辆、飞机及卫星等不同平台中的拍摄设备，作为一个示例，该拍摄模块可以设置在无人机上。
在其他示例中，所述初始点云还可以为通过激光雷达或毫米波雷达实时获取的点云。该激光雷达或毫米波雷达可以搭载在例如无人机、三脚架、车辆、飞机及卫星等不同平台上。
由于每次渲染的点云加载需要时间，时间长短随着点云的增大而增长，如果点云比较大，就会出现上一块点云没有加载完，就需要渲染下一块点云的情况，会造成渲染的卡顿和延迟，渲染效果不流畅，因此，在本发明的一个实施例中，所述初始点云为整个目标区域的点云中的若干分块中的一个分块，例如该些分块可以具有大体相同的文件大小，更一步，每获取到预设文件大小的初始点云，则对该预设文件大小的初始点云采用本发明实施例的提供的点云的实时显示装置进行实时显示，其中，该预设文件大小可以根据实际显示的情况进行合理设定，例如预设文件大小的范围在100kb至10Mb之间，例如，100kb、1Mb、2Mb、3Mb、4Mb、5Mb等，数值的大小可以根据计算机的运算能力进行设定。在一个示例中，还可以通过点云的数量限定初始点云的预设文件大小，例如，初始点云为具有预设点云数量的点云，也即每获得预设点云数量的初始点云，则对该初始点云采用本实施例中提供的点云的实时显示装置进行实时显示。通过使得每次渲染显示的初始点云的文件大小大体相同，可以避免由于初始点云的尺寸不同而导致的加载时间不同，导致的渲染的卡顿和延迟，渲染效果不流畅问题，从而提高渲染速度，保证渲染的流畅。
继续如图5所示，所述实时显示装置500还包括分层模块502，用于对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求。
具体地，可以根据任意适合的方法对该初始点云进行采样，例如随机采样、泊松圆盘采样等。在本实施例中，主要以泊松圆盘采样为例对本发明实施例的方法进行说明。
在一个示例中，所述更新后的点云包括第一层级至第n层级，其中，每个层级具有不同精细程度的点云，例如，第一层级为最粗糙层级，而第n层级为最精细层级，该n的数值可以是任意大于或等于2的整数，具体的分级数量可以根据实际的需要进行合理的设定，在此对其进行具体限定。
在一个示例中，任一层级中两个点云点之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，例如，从第一层至第n层级预设采样间隔的数值依次降低，更进一步，例如，第n层级的预设采样间隔为第n-1层级的预设采样间隔的二分之一。可选地，所述第n层级的预设采样间隔与地面采样距离(GSD，Ground sample distance)相等，其中，该地面采样距离表示一个像素代表的实际距离，通过将最精细层的采样间隔设置成地面采样距离，可以使得显示最精细层的点云时可以准确还原目标区域信息。并且通过依次降低预设采样间隔，使得从第一层级至第n层级的更新后的点云具有不同的精细程度。
在一个示例中，更新后的点云会存储到树形结构的节点中，为了提高每个节点的点云的加载速度，可以使树形结构的每个节点中存储的点云数量小于预设点云数量，例如小于7000个点云，这样加载每个节点的点云时则不会超过预设文件大小，例如不会超过1Mb，数值的大小可以根据计算机的运算能力进行设定。
在本发明的装置用于测绘的场景时，高度方向变化范围一般比水平方向变化范围小的多，因此可以仅仅对水平方向(例如、东、北)进行采样。
在一个具体示例中，所述分层模块502具体用于：将所述初始点云中点云间隔大于或等于第一采样间隔的点云放到第一层级；将所述第一层级以外的点云中点云间隔大于或等于第二采样间隔的点云放到第二层级；将所述第一层级和所述第二层级以外的点云放到第三层级，以获得具有三个分层的所述更新后的点云。
继续如图5所示，所述实时显示装置500还包括存储模块503，用于将所述更新后的点云存储在树形结构的节点中。
所述树形结构可以是任意适合的树形结构中，例如二叉树、三叉树、四叉树、八叉树等，其中，在本实施例中，主要以四叉树为例进行解释和说明书。例如，对于每个更新后的点云用四叉树的结构来存储。例如，如图3所示的三层的四叉树结构，该四叉树结构中每个父节点具有四个子节点。
在一个示例中，以三个层级的更新后的点云为例，存储模块503具体用于：将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数，例如，四叉树的每个父节点具有4个子节点；将所述第二层级的点云划分至m个(例如4个)栅格中，将所述m个栅格中每个栅格的点云分别存储在所 述根节点下的m个(例如4个)第一子节点中，其中，每个栅格对应一个子节点；将所述第三层级的点云划分至m×m个(例如16个)栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中，其中，每个栅格对应一个第二子节点。通过上述方法将点云以树形结构的形式存储。
在一个实施例中，所述实时显示装置还包括节点模型属性信息生成模块，用于根据所述节点内存储的点云的点云信息生成节点模型属性信息；实时显示装置还包括数据文件生成模块用于根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件，进而产生了待加载显示的点云所需的预定类型的数据文件，这些文件还可以存入磁盘。
所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。可选地，第一类型的数据文件包括json文件，第二类型的数据文件包括pnts文件。其中，第一类型的数据文件和第二类型的数据文件的描述可以参考前述方法实施例，在此不再进行重复描述。
在一个示例中，所述第二类型的数据文件包括所述点云信息，其用于存储点云信息，可选地，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息，或者还可以包括每个点云的其他信息。
可选地，一个节点会对应一个json文件，每个点云会对应一个pnts文件。
在一个示例中，为了使点云信息和真实的地理信息贴合，本发明实施例的装置还包括转换模块，用于将所述更新后的点云的坐标系转换到世界坐标系，其中，所述世界坐标系包括地心地固坐标系。例如，将更新后的点云的局部坐标系(例如东北天)转换到地心地固坐标系(如WGS 84坐标系)。具体地，可以通过任意适合的方法实现该坐标系转换，例如，计算所述更新后的点云的局部坐标系(例如东北天)到地心地固坐标系(如WGS 84坐标系)的变换矩阵，将该变换矩阵存储在第一类型的数据文件中，例如存储在json文件中，在加载点云时会自动将点云进行转换，从而和真实地理信息贴合到一起，使用户能够及时、直观地查看到模型重建的效果，从而立即判断出无法重建或者重建效果不好的区域，从而在测绘现场即可再次对目标区域进行拍摄，节省人力和时间成本。
继续如图5所示，所述实时显示装置500还包括显示模块504，用于显 示所述树形结构中至少一个节点的点云。
在一个示例中，显示模块504具体用于：根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云。
更进一步地，不同层级的更新后的点云具有不同的几何误差，显示模块504具体用于：确定所述几何误差大于或等于所述显示界面上一个像素对应的实际距离的层级为预定显示层级；根据所述显示区域确定显示所述预定显示层级中至少一个节点的点云，根据显示区域确定要显示哪些节点的点云，例如对显示界面的左上角进行放大的过程中，在对应显示更精细层时，只需要显示更精细层中左上角区域对应节点的点云即可。
根据本发明实施例的点云的实时显示装置，其通过分层模块对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；通过存储模块将所述更新后的点云存储在树形结构的节点中；通过显示模块显示所述树形结构中至少一个节点的点云，能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而能够实时查看点云的效果，提高效率。
另外，本发明实施例中还提供一种点云的实时显示装置，如图6所示，所述点云的实时显示装置600包括一个或多个存储装置602，存储装置602用于存储可执行指令，还包括一个或多个处理器601，单独地或共同的工作，所述处理器用于执行前述实施例中的点云的实时显示方法200中的相关步骤。
所述处理器601可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，所述处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。例如，处理器601能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。
所述存储装置602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或 多个计算机程序指令，处理器601可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的点云的实时显示方法和装置以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
在一种实施方式中，点云的实时显示装置还包括输入装置，所述输入装置可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外，所述输入装置也可以是任何接收信息的接口。
在一种实施方式中，点云的实时显示装置还包括输出装置，所述输出装置可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器(例如向用户显示点云等)、扬声器等中的一个或多个。此外，所述输出装置也可以是任何其他具备输出功能的设备。
在一种实施方式中，点云的实时显示装置还包括通信接口，通信接口用于点云的实时显示装置600和其他设备之间进行通信，包括有线或者无线方式的通信。点云的实时显示装置600可以接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中，通信接口还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
示例性地，本发明实施例的点云的实时显示装置可以被实现为诸如桌面型计算机、平板电脑、笔记本电脑等终端，或者包括这些终端的点云的实时显示装置和系统等。
在一个实施例中，点云的实时显示方法包括以下步骤：获取初始点云；对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；将所述更新后的点云存储在树形结构的节点中；显示所述树形结构中至少一个节点的点云。该实时显示方法能够显著提高渲染速度，保证渲染的流畅，实现对点云的实时显示，从而能够实时查看点云的效果，提高效率。
图7示出了一种应用在测绘领域的点云的实时显示系统，该实时显示系统包括可移动平台，例如无人机。在进行测绘工作时，无人机上设置的拍摄设备采集目标区域的二维图片(例如码流图片)，并将该二维图片传送到地面站软件的后端程序，后端程序解析后传送给三维重建算法进行场景重建，重建算法处理一些图片序列后把生成的点云保存到磁盘，同时给后端发送模拟 生成信号(例如标志位)以通知后端有新的点云生成，后端接收到该信号后，通知前端显示模块有新的点云生成，前端显示模块从磁盘中加载该点云进行显示，从而实现三维点云的实时显示。本发明实施例在无人机采集图片的同时就能把已经采集的目标区域的点云显示出来。除无人机之外，其他模块均可以在前述实施例中所示的点云的实时显示装置600上实现，例如笔记本电脑、桌面型计算机等。其中，在前端显示模块执行前述实施例中的点云的实时显示方法200的相关步骤。
点云生成算法会不断的生成点云，为了获得稳定的显示，点云生成的算法每次产生的点云大小基本一致。当无人机上配备有激光雷达时，激光雷达产生的点云也可用采用本发明实施例提出的实施显示方法。
另外，本发明另一实施例中还提供一种计算机存储介质，在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行存储器存储的所述程序指令，以实现本文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能，例如以执行根据本发明实施例的前述实施例中的点云的实时显示方法200中的相关步骤。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
综上所述，根据本发明实施例的点云的实时显示方法、装置和系统可以流畅实时的渲染显示大规模点云，而且点云能和地理信息贴合，而无需再等整个场景均重建完成后再查看重建效果，显著缩短了等待时间，改善了用户体验。并且，由于能即时(例如在采集目标区域的图片时)即可查看到模型重建的效果，所以效率高，避免出现由于图像采集的不好，离开现场回去重建了很长时间，发现有些地方由于拍摄的不好无法重建，需要再次返回取景地重新拍摄采集图像的情况的出现，节约了大量的人力和时间成本。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可 以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (45)

  1. 一种点云的实时显示方法，其特征在于，所述实时显示方法包括：
    获取初始点云；
    对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；
    将所述更新后的点云存储在树形结构的节点中；
    显示所述树形结构中至少一个节点的点云。
  2. 如权利要求1所述的实时显示方法，其特征在于，所述更新后的点云包括第一层级至第n层级，所述第一层级对应所述树形结构的根字节。
  3. 如权利要求2所述的实时显示方法，其特征在于，任一层级中两个点云之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，第n层的预设采样间隔为第n-1层级的预设采样间隔的二分之一。
  4. 如权利要求3所述的实时显示方法，其特征在于，所述第n层级的预设采样间隔与地面采样距离相等。
  5. 如权利要求1所述的实时显示方法，其特征在于，所述对所述初始点云进行采样，以获得具有不同层级的更新后的点云，具体包括：
    将所述初始点云中点云间隔大于或等于第一采样间隔的点云放到第一层级；
    将所述第一层级以外的点云中点云间隔大于或等于第二采样间隔的点云放到第二层级；
    将所述第一层级和所述第二层级以外的点云放到第三层级，以获得具有三个分层的所述更新后的点云。
  6. 如权利要求5所述的实时显示方法，其特征在于，将所述更新后的点云存储在树形结构的节点中，具体包括：
    将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数；
    将所述第二层级的点云划分至m个栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个第一子节点中；
    将所述第三层级的点云划分至m×m个栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中。
  7. 如权利要求1所述的实时显示方法，其特征在于，所述树形结构的每 个节点中存储的点云数量小于预设点云数量。
  8. 如权利要求1所述的实时显示方法，其特征在于，所述显示所述树形结构中至少一个节点的点云，包括：
    根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云。
  9. 如权利要求8所述的实时显示方法，其特征在于，不同层级的更新后的点云具有不同的几何误差，所述根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云，包括：
    确定所述几何误差大于或等于所述显示界面上一个像素对应的实际距离的层级为预定显示层级；
    根据所述显示区域确定显示所述预定显示层级中至少一个节点的点云。
  10. 如权利要求9所述的实时显示方法，其特征在于，每个层级的几何误差和预设采样间隔呈比例关系。
  11. 如权利要求1所述的实时显示方法，其特征在于，所述树形结构包括四叉树结构或八叉树结构。
  12. 如权利要求1所述的实时显示方法，其特征在于，使用泊松圆盘采样对所述初始点云进行采样。
  13. 如权利要求1所述的实时显示方法，其特征在于，还包括：
    根据所述节点内存储的点云的点云信息生成节点模型属性信息；
    根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件。
  14. 如权利要求13所述的实时显示方法，其特征在于，所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。
  15. 如权利要求13所述的实时显示方法，其特征在于，所述节点模型属性信息包括：
    第一模型属性信息，用于指示包裹点云的形状；
    第二模型属性信息，用于指示显示所述不同层级中的哪一个层级；
    第三模型属性信息，用于在显示不同层级时决定是替换当前显示的层级还是在当前显示的层级上添加其他层级。
  16. 如权利要求13所述的实时显示方法，其特征在于，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息。
  17. 如权利要求1所述的实时显示方法，其特征在于，所述实时显示方法还包括：
    获取拍摄目标区域的至少部分区域生成的二维图片；
    利用三维重建算法对所述二维图片进行重建，以生成所述初始点云。
  18. 如权利要求1所述的实时显示方法，其特征在于，所述初始点云为通过激光雷达或毫米波雷达实时获取的点云。
  19. 如权利要求1所述的实时显示方法，其特征在于，还包括：
    将所述更新后的点云的坐标系转换到世界坐标系。
  20. 如权利要求19所述的实时显示方法，其特征在于，所述世界坐标系包括地心地固坐标系。
  21. 如权利要求1所述的实时显示方法，其特征在于，所述初始点云为整个目标区域的点云中的若干分块中的一个分块。
  22. 一种点云的实时显示装置，其特征在于，所述实时显示装置包括：
    获取模块，用于获取初始点云；
    分层模块，用于对所述初始点云进行采样，以获得具有不同层级的更新后的点云，所述更新后的点云中不同层级的点云满足不同的采样间隔要求；
    存储模块，用于将所述更新后的点云存储在树形结构的节点中；
    显示模块，用于显示所述树形结构中至少一个节点的点云。
  23. 如权利要求22所述的实时显示装置，其特征在于，所述更新后的点云包括第一层级至第n层级，所述第一层级对应所述树形结构的根字节。
  24. 如权利要求23所述的实时显示装置，其特征在于，
    任一层级中两个点云之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，第n层的预设采样间隔为第n-1层级的预设采样间隔的二分之一。
  25. 如权利要求24所述的实时显示装置，其特征在于，所述第n层级的预设采样间隔与地面采样距离相等。
  26. 如权利要求23所述的实时显示装置，其特征在于，所述分层模块，具体用于：
    将所述初始点云中点云间隔大于或等于第一采样间隔的点云放到第一层级；
    将所述第一层级以外的点云中点云间隔大于或等于第二采样间隔的点云放到第二层级；
    将所述第一层级和所述第二层级以外的点云放到第三层级，以获得具有三个分层的所述更新后的点云。
  27. 如权利要求26所述的实时显示装置，其特征在于，所述存储模块具体用于：
    将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数；
    将所述第二层级的点云划分至m个栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个第一子节点中；
    将所述第三层级的点云划分至m×m个栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中。
  28. 如权利要求22所述的实时显示装置，其特征在于，所述树形结构的每个节点中存储的点云数量小于预设点云数量。
  29. 如权利要求22所述的实时显示装置，其特征在于，所述显示模块具体用于：
    根据显示界面上一个像素对应的实际距离和显示区域，显示所述树形结构中至少一个节点的点云。
  30. 如权利要求29所述的实时显示装置，其特征在于，不同层级的更新后的点云具有不同的几何误差，所述显示模块更具体地用于：
    确定所述几何误差大于或等于所述显示界面上一个像素对应的实际距离的层级为预定显示层级；
    根据所述显示区域确定显示所述预定显示层级中至少一个节点的点云。
  31. 如权利要求30所述的实时显示装置，其特征在于，每个层级的几何误差和预设采样间隔呈比例关系。
  32. 如权利要求22所述的实时显示装置，其特征在于，所述树形结构包括四叉树结构或八叉树结构。
  33. 如权利要求22所述的实时显示装置，其特征在于，使用泊松圆盘采样对所述初始点云进行采样。
  34. 如权利要求22所述的实时显示装置，其特征在于，所述实时显示装置还包括：
    节点模型属性信息生成模块，用于根据所述节点内存储的点云的点云信息生成节点模型属性信息；
    数据文件生成模块，用于根据所述节点模型属性信息和所述点云信息生成预定类型的数据文件。
  35. 如权利要求34所述的实时显示装置，其特征在于，所述预设类型的数据文件包括第一类型的数据文件和第二类型的数据文件，所述第一类型的数据文件包括所述节点模型属性信息，所述第二类型的数据文件包括所述点云信息。
  36. 如权利要求34所述的实时显示装置，其特征在于，所述节点模型属性信息包括：
    第一模型属性信息，用于指示包裹点云的形状；
    第二模型属性信息，用于指示显示所述不同层级中的哪一个层级；
    第三模型属性信息，用于在显示不同层级时决定是替换当前显示的层级还是在当前显示的层级上添加其他层级。
  37. 如权利要求34所述的实时显示装置，其特征在于，所述点云信息包括每个点云的位置、颜色和法向量中的至少一种信息。
  38. 如权利要求22所述的实时显示装置，其特征在于，所述实时显示装置还包括：
    二维图片获取模块，用于获取拍摄目标区域的至少部分区域生成的二维图片；
    三维重建模块，用于利用三维重建算法对所述二维图片进行重建，以生成所述初始点云。
  39. 如权利要求22所述的实时显示装置，其特征在于，所述初始点云为通过激光雷达或毫米波雷达实时获取的点云。
  40. 如权利要求38所述的实时显示装置，其特征在于，所述实时显示装置还包括拍摄模块，用于拍摄目标区域的至少部分区域生成所述二维图片。
  41. 如权利要求40所述的实时显示装置，其特征在于，所述拍摄模块设置在无人机上。
  42. 如权利要求22所述的实时显示装置，其特征在于，所述实时显示装置还包括：
    转换模块，用于将所述更新后的点云的坐标系转换到世界坐标系。
  43. 如权利要求42所述的实时显示装置，其特征在于，所述世界坐标系包括地心地固坐标系。
  44. 一种点云的实时显示装置，其特征在于，所述装置包括：
    存储器，用于存储可执行指令；
    处理器，用于执行所述存储器中存储的所述指令，使得所述处理器执行权利要求1至21中任一项所述的点云的实时显示方法。
  45. 一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至21中任一项所述的点云的实时显示方法。
PCT/CN2019/088190 2019-05-23 2019-05-23 点云的实时显示方法、装置和计算机存储介质 WO2020232715A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/088190 WO2020232715A1 (zh) 2019-05-23 2019-05-23 点云的实时显示方法、装置和计算机存储介质
CN201980010684.4A CN111684494A (zh) 2019-05-23 2019-05-23 点云的实时显示方法、装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/088190 WO2020232715A1 (zh) 2019-05-23 2019-05-23 点云的实时显示方法、装置和计算机存储介质

Publications (1)

Publication Number Publication Date
WO2020232715A1 true WO2020232715A1 (zh) 2020-11-26

Family

ID=72451459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088190 WO2020232715A1 (zh) 2019-05-23 2019-05-23 点云的实时显示方法、装置和计算机存储介质

Country Status (2)

Country Link
CN (1) CN111684494A (zh)
WO (1) WO2020232715A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870402A (zh) * 2021-09-13 2021-12-31 中铁第一勘察设计院集团有限公司 一种基于八叉树索引的海量点云分层实时渲染方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486276A (zh) * 2021-08-02 2021-10-08 北京京东乾石科技有限公司 点云压缩、点云渲染方法，装置，设备以及存储介质
CN113761238B (zh) * 2021-08-27 2022-08-23 广州文远知行科技有限公司 点云存储方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046589A1 (en) * 2013-11-07 2017-02-16 Autodesk, Inc. Pre-segment point cloud data to run real-time shape extraction faster
CN107886561A (zh) * 2017-11-30 2018-04-06 公安部物证鉴定中心 基于犯罪现场点云数据的存储调度与显示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615191B (zh) * 2009-07-28 2011-05-11 武汉大学 海量点云数据的存储与实时可视化方法
EP3457357B1 (en) * 2017-09-13 2021-07-07 Tata Consultancy Services Limited Methods and systems for surface fitting based change detection in 3d point-cloud

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046589A1 (en) * 2013-11-07 2017-02-16 Autodesk, Inc. Pre-segment point cloud data to run real-time shape extraction faster
CN107886561A (zh) * 2017-11-30 2018-04-06 公安部物证鉴定中心 基于犯罪现场点云数据的存储调度与显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI, CAILIN ET AL.: "Massive Point Cloud Visualization Using Octree and OSG Paging Nodes", COMPUTER ENGINEERING AND APPLICATIONS, vol. 55, no. 21, 27 December 2018 (2018-12-27), pages 234 - 239, XP055755090, ISSN: 1002-8331 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870402A (zh) * 2021-09-13 2021-12-31 中铁第一勘察设计院集团有限公司 一种基于八叉树索引的海量点云分层实时渲染方法

Also Published As

Publication number Publication date
CN111684494A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN109493407B (zh) 实现激光点云稠密化的方法、装置及计算机设备
CN110706341B (zh) 一种城市信息模型的高性能渲染方法、装置及存储介质
WO2020232715A1 (zh) 点云的实时显示方法、装置和计算机存储介质
CN110392903A (zh) 矩阵操作的动态剔除
Krämer et al. A case study on 3D geospatial applications in the web using state-of-the-art WebGL frameworks
CN114283231A (zh) 基于lod的bim模型轻量化构建与显示方法
CN109544683B (zh) 基于倾斜摄影数据的城市建筑群地震反应动态可视化方法
US11295522B2 (en) Three-dimensional (3D) model creation and incremental model refinement from laser scans
Bladin et al. Globe browsing: Contextualized spatio-temporal planetary surface visualization
EP3989175A1 (en) Illumination probe generation method, apparatus, storage medium, and computer device
CN113112603A (zh) 三维模型优化的方法和装置
CN111986306A (zh) 一种一体化数据展示与仿真平台
WO2021238359A1 (zh) 一种构建物体的多细节层次模型的方法及计算机设备
CN111899323B (zh) 三维地球的绘制方法及装置
WO2021046810A1 (zh) 一种三维点云的实时显示方法、设备、系统及存储介质
Zhang et al. [Retracted] Virtual Reality Design and Realization of Interactive Garden Landscape
CN103544315A (zh) 一种摄影测量立体影像库的构建方法
US11257290B2 (en) Decimating a three-dimensional mesh via successive self-parameterization
CN111080760B (zh) 一种倾斜摄影测量数据优化方法及系统
Stødle et al. High-performance visualisation of UAV sensor and image data with raster maps and topography in 3D
CN114049403A (zh) 一种多角度三维人脸重建方法、装置及存储介质
CN110889157A (zh) 风电场布局可视化展示方法以及相关装置
US10878632B2 (en) Planet-scale positioning of augmented reality content
WO2024087137A1 (zh) 一种渲染方法及相关装置
US20240177401A1 (en) Ray tracing with shared traversal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929271

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929271

Country of ref document: EP

Kind code of ref document: A1