WO2018090250A1 - 生成三维点云的方法、装置、计算机系统和移动设备 - Google Patents

生成三维点云的方法、装置、计算机系统和移动设备 Download PDF

Info

Publication number
WO2018090250A1
WO2018090250A1 PCT/CN2016/106104 CN2016106104W WO2018090250A1 WO 2018090250 A1 WO2018090250 A1 WO 2018090250A1 CN 2016106104 W CN2016106104 W CN 2016106104W WO 2018090250 A1 WO2018090250 A1 WO 2018090250A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
data source
camera
depth
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/106104
Other languages
English (en)
French (fr)
Inventor
姚尧
赵开勇
郑石真
潘慈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to PCT/CN2016/106104 priority Critical patent/WO2018090250A1/zh
Priority to CN201680002484.0A priority patent/CN106796728A/zh
Publication of WO2018090250A1 publication Critical patent/WO2018090250A1/zh
Priority to US16/413,313 priority patent/US11004261B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to the field of information technology and, more particularly, to a method, apparatus, computer system and mobile device for generating a three-dimensional point cloud.
  • 3D point cloud has a wide range of applications in 3D modeling, autopilot, robotic real-time localization and mapping (SLAM).
  • SLAM robotic real-time localization and mapping
  • the current three-dimensional point cloud generation scheme generally collects image data sources by a sensor (for example, a camera), and then performs fusion processing to obtain a three-dimensional point cloud. These schemes are slower to process, or the quality of the generated 3D point cloud is lower. Therefore, how to effectively generate a three-dimensional point cloud has become a technical problem to be solved urgently.
  • Embodiments of the present invention provide a method, an apparatus, a computer system, and a mobile device for generating a three-dimensional point cloud, which can efficiently generate a three-dimensional point cloud.
  • a method for generating a three-dimensional point cloud comprising: acquiring a plurality of image data sources by using a plurality of sensors; and performing fusion processing according to the plurality of image data sources to obtain a three-dimensional point cloud.
  • a computer system comprising: a memory for storing computer executable instructions; a processor for accessing the memory and executing the computer executable instructions to perform the following operations:
  • the sensor acquires a plurality of image data sources; and performs fusion processing according to the plurality of image data sources to obtain a three-dimensional point cloud.
  • the third aspect provides an apparatus for generating a three-dimensional point cloud, including: an acquiring module, configured to acquire a plurality of image data sources by using a plurality of sensors; and a processing module, configured to perform fusion processing according to the plurality of image data sources, to obtain 3D point cloud.
  • a fourth aspect provides a mobile device, including: a plurality of sensors for acquiring a plurality of image data sources; and a processor configured to perform a fusion process according to the plurality of image data sources to obtain a three-dimensional point cloud.
  • a mobile device comprising: a plurality of sensors for acquiring a plurality of image data sources; and the computer system of the second aspect.
  • a mobile device comprising: a plurality of sensors for acquiring a plurality of image data sources; and the device for generating a three-dimensional point cloud according to the above third aspect.
  • a computer storage medium having stored therein program code, the program code being operative to indicate a method of performing the first aspect described above.
  • the technical solution of the embodiment of the present invention generates a three-dimensional point cloud by using multiple image data sources. Compared with the solution of using a single image data source, the technical solution of the embodiment of the present invention is more abundant, and multiple image data sources are integrated. The processing can refer to each other, so the efficiency of generating a three-dimensional point cloud can be improved.
  • FIG. 1 is a schematic structural diagram of a mobile device according to an embodiment of the present invention.
  • FIG. 2 is a schematic flow chart of a method for generating a three-dimensional point cloud according to an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of a method for generating a three-dimensional point cloud according to another embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of a method for generating a three-dimensional point cloud according to still another embodiment of the present invention.
  • Figure 5 is a schematic block diagram of a computer system in accordance with an embodiment of the present invention.
  • FIG. 6 is a schematic block diagram of an apparatus for generating a three-dimensional point cloud according to an embodiment of the present invention.
  • Figure 7 is a schematic block diagram of a mobile device in accordance with one embodiment of the present invention.
  • Figure 8 is a schematic block diagram of a mobile device in accordance with another embodiment of the present invention.
  • FIG. 9 is a schematic block diagram of a mobile device in accordance with still another embodiment of the present invention.
  • the size of the sequence numbers of the processes does not imply a sequence of executions, and the order of execution of the processes should be determined by its function and internal logic, and should not be construed as an embodiment of the present invention.
  • the implementation process constitutes any limitation.
  • the technical solution of the embodiment of the present invention can efficiently generate a three-dimensional point cloud, and can be applied to various devices having processing functions, such as a computer system or a mobile device having a processing function.
  • the mobile device may be a drone, an unmanned ship or a robot, etc., but the invention is not limited thereto.
  • FIG. 1 is a schematic architectural diagram of a mobile device 100 according to an embodiment of the present invention.
  • mobile device 100 can include power system 110, controller 120, sensing system 130, and processor 140.
  • Power system 110 is used to power the mobile device 100.
  • the power system of the drone may include an electronic governor (referred to as an electric current), a propeller, and a motor corresponding to the propeller.
  • the motor is connected between the electronic governor and the propeller, and the motor and the propeller are disposed on the corresponding arm; the electronic governor is configured to receive the driving signal generated by the controller, and provide a driving current to the motor according to the driving signal to control the motor. Rotating speed.
  • the motor is used to drive the propeller to rotate to power the drone's flight.
  • the sensing system 130 can be used to measure attitude information of the mobile device 100, that is, location information and status information of the mobile device 100 in space, such as three-dimensional position, three-dimensional angle, three-dimensional velocity, three-dimensional acceleration, and three-dimensional angular velocity, and the like.
  • the sensing system 130 may include, for example, at least one of a gyroscope, an electronic compass, an Inertial Measurement Unit (IMU), a vision sensor, a Global Positioning System (GPS), a barometer, an airspeed meter, and the like.
  • IMU Inertial Measurement Unit
  • GPS Global Positioning System
  • barometer an airspeed meter
  • the sensing system 130 further includes a plurality of sensors for acquiring data, such as various sensors for acquiring a plurality of image data sources, such as a depth camera, a binocular camera, a monocular camera, and Position angle sensor, etc.
  • the position angle sensor can be used to acquire the position and posture of the corresponding camera.
  • the controller 120 is for controlling the movement of the mobile device 100.
  • the controller 120 can follow the advance The set program instructions control the mobile device 100.
  • the controller 120 can control the movement of the mobile device 100 based on the attitude information of the mobile device 100 measured by the sensing system 130.
  • the controller 120 can also control the mobile device 100 based on control signals from the remote controller.
  • the processor 140 can process the data collected by the sensing system 130. For example, the processor 140 can process a plurality of image data sources acquired by a plurality of sensors to obtain a three-dimensional point cloud.
  • the mobile device 100 may also include other components not shown in FIG. 1, which is not limited by the present invention.
  • a processor that processes a plurality of image data sources may also be implemented by another separate device, that is, it may be disposed in the mobile device or may be disposed outside of the mobile device.
  • FIG. 2 is a schematic flowchart of a method 200 for generating a three-dimensional point cloud according to an embodiment of the present invention.
  • the method 200 can be performed by a computer system or mobile device, such as the mobile device 100 of FIG.
  • the method 200 includes:
  • a plurality of image data sources are used to generate a three-dimensional point cloud, and the technical solution of the embodiment of the present invention is more abundant than the solution of using a single image data source, and multiple image data sources are processed in a fusion process. Time can be referenced to each other, thus improving the efficiency of generating a three-dimensional point cloud.
  • the plurality of sensors may include at least two of a depth camera, a binocular camera, a monocular camera, and a position angle sensor.
  • the depth camera, the binocular camera and the monocular camera can obtain the depth data source
  • the position angle sensor can obtain the camera position and attitude data source.
  • the depth camera may include a structured light depth camera (eg, a kinect) and a time of flight (ToF) camera.
  • a structured light depth camera eg, a kinect
  • ToF time of flight
  • the infrared laser is reflected by the diffuse reflection surface or reaches the surface of the object through the scatterer, which interferes with the formation of speckle. For each direction, the speckle of the surface of the object at different distances is different.
  • the kinect captures the distance of the object by taking an infrared camera and comparing the speckle with a pre-calibrated speckle pattern.
  • ToF cameras use a pulsed or continuously modulated source, as well as a periodic exposure
  • the camera measures the time difference between the light emitted from the light source and being received by the camera to obtain depth information.
  • the relative position and direction of the two cameras are known in advance, and there are many overlapping areas of the two pictures. After matching, for objects that are not too far, the same point can be used between the two cameras.
  • the angle is known to the depth information.
  • a monocular camera takes multiple angles of an object, extracts features and matches features on multiple images, and then estimates the camera's orientation and generates a point cloud model of the object.
  • the position angle sensor can be used to acquire the position and attitude of the corresponding camera, which can be any kind of position angle sensor.
  • the plurality of image data sources acquired by the plurality of sensors are subjected to fusion processing to obtain a three-dimensional point cloud.
  • step 220 may include:
  • the depth data source can obtain a three-dimensional point cloud through fusion processing.
  • the general process of fusion processing can be as follows:
  • the overall matching quality is highest through multiple iterations.
  • the two-dimensional points in the new depth map are transformed into the three-dimensional space according to the camera position and posture, and added to the point cloud model.
  • the fusion processing is performed according to multiple depth data sources, for example, point matching and filtering operations are performed according to multiple depth data sources.
  • the graph performs point matching and filtering, and all the points obtained are finally added to the same 3D point cloud.
  • the above process can also be adopted for the fusion processing of multiple deep data sources.
  • the data filtering is also performed in the step 2.c. Because the amount of data is larger, it is easier to identify the flying spot, that is, the point where the matching quality is too low.
  • step 220 may include:
  • a plurality of image data sources may be referred to each other during the fusion processing, for example, first determining an initial parameter for processing the second image data source according to the first image data source; and then, according to the initial parameter Processing the second image data source.
  • the initial parameters may be closer to the true value, so that the 3D point cloud can be generated more quickly and accurately.
  • the first image data source is an image data source acquired by a depth camera
  • the second image data source is an image data source acquired by a binocular camera
  • an initial feature point correspondence relationship for processing the image data source acquired by the binocular camera may be determined according to the image data source acquired by the depth camera.
  • the binocular camera obtains two images at the same time, and the depth data needs to match the two images by:
  • the feature points of the two pictures are compared to determine the correspondence between the feature points on the two pictures.
  • the depth of the feature point may be determined according to the image data source acquired by the depth camera;
  • the initial feature point correspondence is determined according to the parallax of the feature point for the binocular camera.
  • the correspondence relationship between the feature points of the two images acquired by the binocular camera may be determined according to the initial feature point correspondence relationship
  • the three-dimensional point cloud is generated based on the depth information.
  • the initial feature point correspondence relationship for processing the image data source acquired by the binocular camera is determined, and the three-dimensional point cloud can be generated faster and more accurately.
  • the first image data source is a camera position and attitude data source
  • the second image data source is a depth data source
  • an initial camera position and pose for the fusion processing of the depth data source can be determined based on the camera position and attitude data source.
  • initial camera position and pose data is provided using camera position and pose data sources to simplify and speed up the processing and improve the accuracy of the results.
  • the camera position and posture corresponding to the depth data in the depth data source may be determined according to the initial camera position and posture
  • the depth data in the depth data source is fused according to the determined camera position and posture to obtain the three-dimensional point cloud.
  • the key to deep data fusion is the position and posture of the camera. That is, the key is to optimize the camera position and attitude to maximize the surface matching of the current depth data to the point cloud model.
  • this step uses an iterative method, first guessing a camera position and pose, calculating the degree of matching, and then adjusting the coordinates and pose to maximize the match. This is a process of optimizing the algorithm.
  • the optimization process will only converge quickly with a small number of iterative processes. And if the initial value is given entirely by guessing, the optimization process may even fall into a local minimum, causing the optimization to fail and the matching to fail.
  • an initial camera position and attitude are provided as the initial value using a camera position and attitude data source. Since the initial camera position and attitude are from the position angle sensor, it is closer to the true value, ie the optimal value. In this way, the initial camera position and attitude can be used to speed up the optimization process. Thereby, the processing efficiency can be improved.
  • the first image data source is a camera position and attitude data source
  • the second image data source is an image data source acquired by the monocular camera
  • an initial camera position and attitude for performing point cloud modeling on the image data source acquired by the monocular camera may be determined according to the camera position and attitude data source, and then the initial camera position and posture are utilized according to the initial camera position and posture.
  • the image data source acquired by the monocular camera establishes a point cloud model.
  • an initial camera position and pose for point cloud modeling of the image data source acquired by the monocular camera is provided using the camera position and attitude data sources.
  • the fusion algorithm is more complicated because depth data cannot be obtained in advance.
  • the depth data is coupled to the camera position and attitude.
  • the initial camera position and posture are provided by using the camera position and attitude data source, and then the point cloud model is established by using the image data source acquired by the monocular camera according to the initial camera position and posture. Since the initial camera position and attitude are from the position angle sensor, it is closer to the true value. In this way, the initial camera position and posture can improve the accuracy of feature point matching in the point cloud modeling process, thereby improving the efficiency of generating a three-dimensional point cloud.
  • the method for generating a three-dimensional point cloud according to an embodiment of the present invention is described in detail above, and a computer system, a device for generating a three-dimensional point cloud, and a mobile device according to an embodiment of the present invention will be described below.
  • FIG. 5 shows a schematic block diagram of a computer system 500 in accordance with an embodiment of the present invention.
  • the computer system 500 can include a processor 510 and a memory 520.
  • the computer system 500 may also include components that are generally included in other computer systems, such as input and output devices, communication interfaces, and the like, which are not limited by the present invention.
  • Memory 520 is for storing computer executable instructions.
  • the memory 520 may be various kinds of memories, for example, may include a high speed random access memory (RAM), and may also include a non-volatile memory, such as at least one disk memory. This is not limited.
  • RAM high speed random access memory
  • non-volatile memory such as at least one disk memory. This is not limited.
  • the processor 510 is configured to access the memory 520 and execute the computer executable instructions to perform the operations in the method for generating a three-dimensional point cloud of the embodiment of the present invention described above.
  • the processor 510 may include a microprocessor, a field-programmable gate array (FPGA), a central processing unit (CPU), a graphics processing unit (GPU), etc. This is not limited.
  • FPGA field-programmable gate array
  • CPU central processing unit
  • GPU graphics processing unit
  • FIG. 6 shows a schematic block diagram of an apparatus 600 for generating a three-dimensional point cloud in accordance with an embodiment of the present invention.
  • the apparatus 600 can perform the method of generating a three-dimensional point cloud in the above-described embodiment of the present invention.
  • the apparatus 600 can include:
  • An obtaining module 610 configured to acquire multiple image data sources by using multiple sensors
  • the processing module 620 is configured to perform a fusion process according to the multiple image data sources to obtain a three-dimensional point cloud.
  • a plurality of image data sources are used to generate a three-dimensional point cloud, and the technical solution of the embodiment of the present invention is more abundant than the solution of using a single image data source, and multiple image data sources are processed in a fusion process. Time can be referenced to each other, thus improving the efficiency of generating a three-dimensional point cloud.
  • the plurality of sensors comprise at least two of a depth camera, a binocular camera, a monocular camera, and a position angle sensor.
  • the processing module 620 is specifically configured to perform fusion processing on multiple depth data sources in the plurality of image data sources to obtain the three-dimensional point cloud.
  • the processing module 620 is specifically configured to perform a point matching and filtering operation according to the multiple depth data sources.
  • the fusion of multiple deep data sources makes it easier to identify points with too low matching quality, which can improve the efficiency of generating 3D point clouds.
  • the processing module 620 is specifically configured to:
  • the second image data source is processed according to the initial parameters.
  • the initial parameters obtained from the first image data source may be closer to the true value, so that the three-dimensional point cloud can be generated more quickly and accurately.
  • the first image data source is obtained by a depth camera.
  • Image data source the second image data source is an image data source acquired by the binocular camera;
  • the processing module 620 is specifically configured to determine, according to the image data source acquired by the depth camera, an initial feature point correspondence relationship for processing the image data source acquired by the binocular camera.
  • the processing module 620 is specifically configured to:
  • the initial feature point correspondence is determined according to the parallax of the feature point for the binocular camera.
  • the processing module 620 is specifically configured to:
  • the three-dimensional point cloud is generated based on the depth information.
  • the first image data source is a camera position and attitude data source
  • the second image data source is a depth data source
  • the processing module 620 is specifically configured to determine an initial camera position and posture for performing fusion processing on the depth data source according to the camera position and the attitude data source.
  • the processing module 620 is specifically configured to:
  • the depth data in the depth data source is fused according to the determined camera position and posture to obtain the three-dimensional point cloud.
  • the first image data source is a camera position and attitude data source
  • the second image data source is an image data source acquired by the monocular camera
  • the processing module 620 is specifically configured to determine, according to the camera position and the attitude data source, an initial camera position and posture for performing point cloud modeling on the image data source acquired by the monocular camera.
  • the processing module 620 is specifically configured to:
  • a point cloud model is built using the image data source acquired by the monocular camera.
  • FIG. 7 shows a schematic block diagram of a mobile device 700 in accordance with one embodiment of the present invention.
  • the mobile device 700 can be a drone, an unmanned boat or a robot or the like.
  • the mobile device 700 can include:
  • a plurality of sensors 710 for acquiring a plurality of image data sources
  • the processor 720 is configured to perform a fusion process according to the plurality of image data sources to obtain a three-dimensional point cloud.
  • a plurality of sensors 710 are provided in the mobile device 700 to acquire a plurality of image data sources, and a plurality of image data sources are used to generate a three-dimensional point cloud.
  • the technical solution has a richer amount of data, and a plurality of image data sources can be referred to each other in the fusion processing, thereby improving the efficiency of generating a three-dimensional point cloud.
  • the plurality of sensors 710 includes at least two of a depth camera, a binocular camera, a monocular camera, and a position angle sensor.
  • the processor 720 is specifically configured to:
  • the plurality of depth data sources of the plurality of image data sources are subjected to fusion processing to obtain the three-dimensional point cloud.
  • the processor 720 is specifically configured to:
  • Point matching and filtering operations are performed based on the plurality of depth data sources.
  • the processor 720 is specifically configured to:
  • the second image data source is processed according to the initial parameters.
  • the first image data source is an image data source acquired by a depth camera
  • the second image data source is an image data source acquired by a binocular camera
  • the processor 720 is specifically configured to determine, according to the image data source acquired by the depth camera, an initial feature point correspondence relationship for processing the image data source acquired by the binocular camera.
  • the processor 720 is specifically configured to:
  • the initial feature point correspondence is determined according to the parallax of the feature point for the binocular camera.
  • the processor 720 is specifically configured to:
  • the three-dimensional point cloud is generated based on the depth information.
  • the first image data source is a camera position and attitude data source
  • the second image data source is a depth data source
  • the processor is specifically configured to determine an initial camera position and attitude for performing fusion processing on the depth data source according to the camera position and attitude data source.
  • the processor 720 is specifically configured to:
  • the depth data in the depth data source is fused according to the determined camera position and posture to obtain the three-dimensional point cloud.
  • the first image data source is a camera position and attitude data source
  • the second image data source is an image data source acquired by the monocular camera
  • the processor 720 is specifically configured to determine an initial camera position and posture for performing point cloud modeling on the image data source acquired by the monocular camera according to the camera position and the attitude data source.
  • the processor 720 is specifically configured to:
  • a point cloud model is built using the image data source acquired by the monocular camera.
  • FIG. 8 shows a schematic block diagram of a mobile device 800 in accordance with another embodiment of the present invention.
  • the mobile device 800 can be a drone, an unmanned boat or a robot or the like.
  • the mobile device 800 can include:
  • a plurality of sensors 810 for acquiring a plurality of image data sources
  • the computer system 500 acquires a plurality of image data sources acquired by the plurality of sensors 810, and performs fusion processing according to the plurality of image data sources to obtain a three-dimensional point cloud.
  • FIG. 9 shows a schematic block diagram of a mobile device 900 in accordance with yet another embodiment of the present invention.
  • the mobile device 900 can be a drone, an unmanned boat or a robot or the like.
  • the mobile device 900 can include:
  • a plurality of sensors 910 for acquiring a plurality of image data sources
  • the apparatus 600 for generating a three-dimensional point cloud according to the embodiment of the present invention described above.
  • the computer system, the device for generating a three-dimensional point cloud, and the mobile device according to the embodiment of the present invention may correspond to The execution body of the method for generating a three-dimensional point cloud in the embodiment of the present invention, and the above and other operations and/or functions of the computer system, the device for generating the three-dimensional point cloud, and the respective modules in the mobile device are respectively implemented to implement the respective methods described above
  • the process, for the sake of brevity, will not be described here.
  • the embodiment of the invention further provides a computer storage medium, wherein the computer storage medium stores program code, and the program code can be used to indicate a method for generating a three-dimensional point cloud according to the embodiment of the invention.
  • the term "and/or” is merely an association relationship describing an associated object, indicating that there may be three relationships.
  • a and/or B may indicate that A exists separately, and A and B exist simultaneously, and B cases exist alone.
  • the character "/" in this article generally indicates that the contextual object is an "or" relationship.
  • the disclosed systems, devices, and methods may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, or an electrical, mechanical or other form of connection.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the embodiments of the present invention.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention contributes in essence or to the prior art, or all or part of the technical solution may be embodied in the form of a software product stored in a storage medium.
  • a number of instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

公开了一种生成三维点云的方法、装置、计算机系统和移动设备。该方法包括：通过多种传感器获取多种图像数据源；根据该多种图像数据源进行融合处理，得到三维点云。本发明实施例的生成三维点云的方法、装置、计算机系统和移动设备，能够有效地生成三维点云。

Description

生成三维点云的方法、装置、计算机系统和移动设备
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本发明涉及信息技术领域，并且更具体地，涉及一种生成三维点云的方法、装置、计算机系统和移动设备。
背景技术
三维点云在三维建模、自动驾驶、机器人实时定位与地图构建(simultaneous localization and mapping，SLAM)等方面都有广泛的应用。
目前的三维点云的生成方案，一般是由一种传感器(例如相机)采集图像数据源，再进行融合处理得到三维点云。这些方案处理速度较低，或者生成的三维点云的质量较低。因此，如何有效地生成三维点云，成为亟待解决的一个技术问题。
发明内容
本发明实施例提供了一种生成三维点云的方法、装置、计算机系统和移动设备，能够有效地生成三维点云。
第一方面，提供了一种生成三维点云的方法，包括：通过多种传感器获取多种图像数据源；根据该多种图像数据源进行融合处理，得到三维点云。
第二方面，提供了一种计算机系统，该计算机系统包括：存储器，用于存储计算机可执行指令；处理器，用于访问该存储器，并执行该计算机可执行指令，以进行如下操作：通过多种传感器获取多种图像数据源；根据该多种图像数据源进行融合处理，得到三维点云。
第三方面，提供了一种生成三维点云的装置，包括：获取模块，用于通过多种传感器获取多种图像数据源；处理模块，用于根据该多种图像数据源进行融合处理，得到三维点云。
第四方面，提供了一种移动设备，包括：多种传感器，用于获取多种图像数据源；处理器，用于根据该多种图像数据源进行融合处理，得到三维点云。
第五方面，提供了一种移动设备，其特征在于，包括：多种传感器，用于获取多种图像数据源；以及上述第二方面的计算机系统。
第六方面，提供了一种移动设备，其特征在于，包括：多种传感器，用于获取多种图像数据源；以及上述第三方面的生成三维点云的装置。
第七方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面的方法。
本发明实施例的技术方案，利用多种图像数据源生成三维点云，相对于利用单一图像数据源的方案，本发明实施例的技术方案的数据量更丰富，而且多种图像数据源在融合处理时可以相互参考，因此能够提高生成三维点云的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的移动设备的示意性架构图。
图2是本发明一个实施例的生成三维点云的方法的示意性流程图。
图3是本发明另一个实施例的生成三维点云的方法的示意性流程图。
图4是本发明又一个实施例的生成三维点云的方法的示意性流程图。
图5是本发明实施例的计算机系统的示意性框图。
图6是本发明实施例的生成三维点云的装置的示意性框图。
图7是本发明一个实施例的移动设备的示意性框图。
图8是本发明另一个实施例的移动设备的示意性框图。
图9是本发明又一个实施例的移动设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进 行清楚地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本发明实施例，而非限制本发明实施例的范围。
还应理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明实施例的技术方案可以有效地生成三维点云，可以应用于各种具有处理功能的设备，例如，计算机系统或者具有处理功能的移动设备。该移动设备可以是无人机、无人驾驶船或机器人等，但本发明对此并不限定。
图1是本发明实施例的移动设备100的示意性架构图。
如图1所示，移动设备100可以包括动力系统110、控制器120、传感系统130和处理器140。
动力系统110用于为该移动设备100提供动力。
以无人机为例，无人机的动力系统可以包括电子调速器(简称为电调)、螺旋桨以及与螺旋桨相对应的电机。电机连接在电子调速器与螺旋桨之间，电机和螺旋桨设置在对应的机臂上；电子调速器用于接收控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速。电机用于驱动螺旋桨旋转，从而为无人机的飞行提供动力。
传感系统130可以用于测量移动设备100的姿态信息，即移动设备100在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统130例如可以包括陀螺仪、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球定位系统(Global Positioning System，GPS)、气压计、空速计等传感器中的至少一种。
在本发明实施例中，传感系统130还包括用于采集数据的多种传感器，例如，用于获取多种图像数据源的多种传感器，例如，深度相机、双目相机、单目相机以及位置角度传感器等。其中，该位置角度传感器可用于获取相应的相机的位置和姿态。
控制器120用于控制移动设备100的移动。控制器120可以按照预先 设置的程序指令对移动设备100进行控制。例如，控制器120可以根据传感系统130测量的移动设备100的姿态信息控制移动设备100的移动。控制器120也可以根据来自遥控器的控制信号对移动设备100进行控制。
处理器140可以处理传感系统130采集的数据。例如，处理器140可以处理多种传感器获取的多种图像数据源，以得到三维点云。
应理解，上述对于移动设备100的各组成部件的划分和命名仅仅是示例性的，并不应理解为对本发明的实施例的限制。
还应理解，移动设备100还可以包括图1中未示出的其他部件，本发明对此并不限定。
还应理解，处理多种图像数据源的处理器还可以由另外的单独的设备实现，也就是说，其可以设置于移动设备中，也可以设置于移动设备之外。
图2示出了本发明实施例的生成三维点云的方法200的示意性流程图。该方法200可以由计算机系统或者移动设备执行，例如，图1中的移动设备100。
如图2所示，该方法200包括：
210，通过多种传感器获取多种图像数据源；
220，根据该多种图像数据源进行融合处理，得到三维点云。
在本发明实施例中，利用多种图像数据源生成三维点云，相对于利用单一图像数据源的方案，本发明实施例的技术方案的数据量更丰富，而且多种图像数据源在融合处理时可以相互参考，因此能够提高生成三维点云的效率。
可选地，该多种传感器可以包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。其中，深度相机、双目相机和单目相机可以得到深度数据源，位置角度传感器可以得到相机位置和姿态数据源。
可选地，深度相机可以包括结构光深度相机(例如kinect)和飞行时间(time of flight，ToF)相机。
红外激光经过漫反射面反射，或者透过散射体到达物体表面，会干涉形成散斑，对于每个方向，不同距离的物体表面的散斑是不同的。kinect通过一个红外摄像头拍摄并将散斑与预先标定了深度的散斑图样对比，即可获取物体的距离。
ToF相机使用一个脉冲或者连续调制的光源，以及一个周期性曝光的 相机，测量光线从光源出射到被相机接收的时间差，从而获知深度信息。
对于双目相机，预先知道两个相机的相对位置和方向夹角，并且两个图片重叠区域较多，进行匹配后，对于不太远的物体，可根据同一个点到两个相机之间的夹角获知深度信息。
单目相机对物体进行多角度拍摄，然后提取特征并匹配多张图片上的特征，进而推定相机方位并生成物体的点云模型。
位置角度传感器可用于获取相应的相机的位置和姿态，其可以为任意种类的位置角度传感器。
在本发明实施例中，根据上述多种传感器获取的多种图像数据源进行融合处理，得到三维点云。
可选地，在本发明一个实施例中，如图3所示，步骤220可以包括：
221，对该多种图像数据源中的多种深度数据源进行融合处理，得到该三维点云。
具体而言，深度数据源可通过融合处理得到三维点云。例如，融合处理的大致流程可以如下：
1.选取深度数据(如深度图)中的一些点。可以有多种方式，例如全选、随机抽样、均匀抽样、特征点提取等方式。
2.匹配和筛选。可以有两种方式：
时间上相邻的两张深度图的点集匹配；
当前深度图和基于前面所有图所建立的点云模型之间的匹配。
匹配后得出相机的位置和姿态，具体做法可以是基于迭代：
a.调整相机位置和姿态；
b.计算每个点的匹配质量；
c.去除匹配质量过低的点(数据筛选)；
d.计算整体匹配质量；
e.回到a。
通过多次迭代使整体匹配质量最高。
3.匹配完成后，把新的深度图里面的二维点，根据相机位置和姿态变换到三维空间，添加到点云模型中。
在本发明实施例中，根据多种深度数据源进行融合处理，例如，根据多种深度数据源，进行点匹配和筛选操作。换句话说，使用多种来源的深度 图进行点匹配和筛选，所得所有的点最后都添加到同一个三维点云中。多种深度数据源的融合处理也可以采用上述流程，其中，数据筛选也是在2.c步骤中进行，由于数据量更大，更容易识别出飞点，即匹配质量过低的点。
可选地，在本发明一个实施例中，如图4所示，步骤220可以包括：
222，根据该多种图像数据源中的第一图像数据源，确定对该多种图像数据源中的第二图像数据源进行处理的初始参数；
223，根据该初始参数处理该第二图像数据源。
具体而言，由于采用了多种图像数据源，因此可以在融合处理时相互参考，例如，先根据第一图像数据源，确定对第二图像数据源进行处理的初始参数；再根据该初始参数处理该第二图像数据源。这样，该初始参数可能较接近真实值，从而能更快速和准确地生成三维点云。
可选地，在本发明一个实施例中，该第一图像数据源为深度相机获取的图像数据源，该第二图像数据源为双目相机获取的图像数据源。
在这种情况下，可以根据该深度相机获取的图像数据源，确定对该双目相机获取的图像数据源进行处理的初始特征点对应关系。
具体而言，双目相机在同一时刻获得两张图片，获取深度数据还需要对两张图片进行匹配，具体做法是：
1.两张图片分别提取特征点。
2.两张图片的特征点进行比对，确定两幅图上的特征点的对应关系。
3.计算视差。
4.计算深度。
如果有深度相机的数据作为参考，则可以先逆向进行上述4,3,2步骤，得到初始特征点对应关系。
具体地，可以根据该深度相机获取的图像数据源，确定特征点的深度；
根据该特征点的深度确定该特征点对于该双目相机的视差；
根据该特征点对于该双目相机的视差，确定该初始特征点对应关系。
也就是说，先通过深度相机的数据计算出来一个视差，然后进一步计算双目相机的两张图片上的对应点的偏移，得到大致的对应关系，即初始特征点对应关系。
在确定了初始特征点对应关系后，可以根据该初始特征点对应关系，确定该双目相机同时获取的两张图像的特征点的对应关系；
根据该两张图像的特征点的对应关系，确定视差信息；
根据该视差信息，确定深度信息；
根据该深度信息，生成该三维点云。
具体而言，由于已经知道大致的特征点对应关系，在特征点匹配时只需微调偏移，使对应点的匹配程度最大化，得到两张图像的特征点的对应关系，再分别进行上述3和4步骤，获得更精确的视差以及深度数据，进而再生成三维点云。
这样，根据深度相机获取的图像数据源，确定对双目相机获取的图像数据源进行处理的初始特征点对应关系，能够较快和较准确地生成三维点云。
可选地，在本发明一个实施例中，该第一图像数据源为相机位置和姿态数据源，该第二图像数据源为深度数据源。
在这种情况下，可以根据该相机位置和姿态数据源，确定对该深度数据源进行融合处理的初始相机位置和姿态。
具体而言，在生成三维点云的过程中，相机位置和姿态的求解是一个主要难点。在本发明实施例中，利用相机位置和姿态数据源，提供初始的相机位置和姿态数据，从而简化和加速处理进程并提高结果的准确性。
可选地，在本发明一个实施例中，可以根据该初始相机位置和姿态，确定该深度数据源中的深度数据对应的相机位置和姿态；
根据确定的相机位置和姿态，对该深度数据源中的深度数据进行融合，得到该三维点云。
具体而言，深度数据融合时的关键在于相机的位置和姿态。即，关键在于优化相机位置和姿态，使得当前深度数据与点云模型的表面匹配程度最大化。通常这一步使用迭代法，先猜测一个相机位置和姿态，计算匹配程度，然后调整坐标和姿态，使匹配程度最大化。这是一个最优化算法的过程，与其他最优化算法一样，如果有一个比较准确，接近最优值的初值，最优化过程会只需要少量的迭代过程就很快收敛。而如果完全靠猜测来给定初值，最优化过程甚至可能陷入局部极小值，导致最优化失败，进而匹配失败。在本发明实施例中，利用相机位置和姿态数据源，提供初始相机位置和姿态，作为该初值。由于该初始相机位置和姿态来自位置角度传感器，因此比较接近真实值，即最优值。这样，采用该初始相机位置和姿态可以加快优化过程， 从而可以提高处理效率。
可选地，在本发明一个实施例中，该第一图像数据源为相机位置和姿态数据源，该第二图像数据源为单目相机获取的图像数据源。
在这种情况下，可以根据该相机位置和姿态数据源，确定对该单目相机获取的图像数据源进行点云建模的初始相机位置和姿态，再根据该初始相机位置和姿态，利用该单目相机获取的图像数据源建立点云模型。
具体而言，在本实施例中，利用相机位置和姿态数据源，提供对单目相机获取的图像数据源进行点云建模的初始相机位置和姿态。
单目相机点云建模(即建立点云模型)时，因为事先不能获得深度数据，融合算法更为复杂。建模时，深度数据是和相机位置和姿态是耦合的。匹配时，需要实现提取特征点，然后寻找两张图片中的匹配的特征点，然后根据这些点的位置，计算出相机的位置和姿态。由于特征点匹配存在误匹配的可能性，据此得到的相机位置和姿态可能会是错误的。如果能从其他传感器获得相机的位置和姿态，然后根据之前已获知的部分点云模型计算当前图片中特征点的对应点的大致位置，就更容易保证匹配的准确性，从而提升建模质量。
在本发明实施例中，利用相机位置和姿态数据源，提供初始相机位置和姿态，再根据该初始相机位置和姿态，利用该单目相机获取的图像数据源建立点云模型。由于该初始相机位置和姿态来自位置角度传感器，因此比较接近真实值。这样，采用该初始相机位置和姿态可以提高点云建模过程中特征点匹配的准确性，从而可以提高生成三维点云的效率。
上文中详细描述了本发明实施例的生成三维点云的方法，下面将描述本发明实施例的计算机系统、生成三维点云的装置和移动设备。
图5示出了本发明实施例的计算机系统500的示意性框图。
如图5所示，该计算机系统500可以包括处理器510和存储器520。
应理解，该计算机系统500还可以包括其他计算机系统中通常所包括的部件，例如，输入输出设备、通信接口等，本发明对此并不限定。
存储器520用于存储计算机可执行指令。
存储器520可以是各种种类的存储器，例如可以包括高速随机存取存储器(Random Access Memory，RAM)，还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，本发明对此并不限定。
处理器510用于访问该存储器520，并执行该计算机可执行指令，以进行上述本发明实施例的生成三维点云的方法中的操作。
处理器510可以包括微处理器，现场可编程门阵列(Field－Programmable Gate Array，FPGA)，中央处理器(Central Processing unit，CPU)，图形处理器(Graphics Processing Unit，GPU)等，本发明对此并不限定。
图6示出了本发明实施例的生成三维点云的装置600的示意性框图。该装置600可以执行上述本发明实施例的生成三维点云的方法。
如图6所示，该装置600可以包括：
获取模块610，用于通过多种传感器获取多种图像数据源；
处理模块620，用于根据该多种图像数据源进行融合处理，得到三维点云。
在本发明实施例中，利用多种图像数据源生成三维点云，相对于利用单一图像数据源的方案，本发明实施例的技术方案的数据量更丰富，而且多种图像数据源在融合处理时可以相互参考，因此能够提高生成三维点云的效率。
可选地，在本发明一个实施例中，该多种传感器包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。
可选地，在本发明一个实施例中，该处理模块620具体用于，对该多种图像数据源中的多种深度数据源进行融合处理，得到该三维点云。
可选地，在本发明一个实施例中，该处理模块620具体用于，根据该多种深度数据源，进行点匹配和筛选操作。
对多种深度数据源进行融合处理，能够更容易识别出匹配质量过低的点，从而可以提高生成三维点云的效率。
可选地，在本发明一个实施例中，该处理模块620具体用于，
根据该多种图像数据源中的第一图像数据源，确定对该多种图像数据源中的第二图像数据源进行处理的初始参数；
根据该初始参数处理该第二图像数据源。
根据第一图像数据源得到的初始参数可能较接近真实值，从而能更快速和准确地生成三维点云。
可选地，在本发明一个实施例中，该第一图像数据源为深度相机获取 的图像数据源，该第二图像数据源为双目相机获取的图像数据源；
该处理模块620具体用于，根据该深度相机获取的图像数据源，确定对该双目相机获取的图像数据源进行处理的初始特征点对应关系。
可选地，在本发明一个实施例中，该处理模块620具体用于，
根据该深度相机获取的图像数据源，确定特征点的深度；
根据该特征点的深度确定该特征点对于该双目相机的视差；
根据该特征点对于该双目相机的视差，确定该初始特征点对应关系。
可选地，在本发明一个实施例中，该处理模块620具体用于，
根据该初始特征点对应关系，确定该双目相机同时获取的两张图像的特征点的对应关系；
根据该两张图像的特征点的对应关系，确定视差信息；
根据该视差信息，确定深度信息；
根据该深度信息，生成该三维点云。
可选地，在本发明一个实施例中，该第一图像数据源为相机位置和姿态数据源，该第二图像数据源为深度数据源；
该处理模块620具体用于，根据该相机位置和姿态数据源，确定对该深度数据源进行融合处理的初始相机位置和姿态。
可选地，在本发明一个实施例中，该处理模块620具体用于，
根据该初始相机位置和姿态，确定该深度数据源中的深度数据对应的相机位置和姿态；
根据确定的相机位置和姿态，对该深度数据源中的深度数据进行融合，得到该三维点云。
可选地，在本发明一个实施例中，该第一图像数据源为相机位置和姿态数据源，该第二图像数据源为单目相机获取的图像数据源；
该处理模块620具体用于，根据该相机位置和姿态数据源，确定对该单目相机获取的图像数据源进行点云建模的初始相机位置和姿态。
可选地，在本发明一个实施例中，该处理模块620具体用于，
根据该初始相机位置和姿态，利用该单目相机获取的图像数据源建立点云模型。
图7示出了本发明一个实施例的移动设备700的示意性框图。该移动设备700可以为无人机、无人驾驶船或机器人等。
如图7所示，该移动设备700可以包括：
多种传感器710，用于获取多种图像数据源；
处理器720，用于根据该多种图像数据源进行融合处理，得到三维点云。
在本发明实施例中，在移动设备700中设置多种传感器710，获取多种图像数据源，利用多种图像数据源生成三维点云，相对于利用单一图像数据源的方案，本发明实施例的技术方案的数据量更丰富，而且多种图像数据源在融合处理时可以相互参考，因此能够提高生成三维点云的效率。
可选地，在本发明一个实施例中，该多种传感器710包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。
可选地，在本发明一个实施例中，该处理器720具体用于，
对该多种图像数据源中的多种深度数据源进行融合处理，得到该三维点云。
可选地，在本发明一个实施例中，该处理器720具体用于，
根据该多种深度数据源，进行点匹配和筛选操作。
可选地，在本发明一个实施例中，该处理器720具体用于，
根据该多种图像数据源中的第一图像数据源，确定对该多种图像数据源中的第二图像数据源进行处理的初始参数；
根据该初始参数处理该第二图像数据源。
可选地，在本发明一个实施例中，该第一图像数据源为深度相机获取的图像数据源，该第二图像数据源为双目相机获取的图像数据源；
该处理器720具体用于，根据该深度相机获取的图像数据源，确定对该双目相机获取的图像数据源进行处理的初始特征点对应关系。
可选地，在本发明一个实施例中，该处理器720具体用于，
根据该深度相机获取的图像数据源，确定特征点的深度；
根据该特征点的深度确定该特征点对于该双目相机的视差；
根据该特征点对于该双目相机的视差，确定该初始特征点对应关系。
可选地，在本发明一个实施例中，该处理器720具体用于，
根据该初始特征点对应关系，确定该双目相机同时获取的两张图像的特征点的对应关系；
根据该两张图像的特征点的对应关系，确定视差信息；
根据该视差信息，确定深度信息；
根据该深度信息，生成该三维点云。
可选地，在本发明一个实施例中，该第一图像数据源为相机位置和姿态数据源，该第二图像数据源为深度数据源；
该处理器具体用于，根据该相机位置和姿态数据源，确定对该深度数据源进行融合处理的初始相机位置和姿态。
可选地，在本发明一个实施例中，该处理器720具体用于，
根据该初始相机位置和姿态，确定该深度数据源中的深度数据对应的相机位置和姿态；
根据确定的相机位置和姿态，对该深度数据源中的深度数据进行融合，得到该三维点云。
可选地，在本发明一个实施例中，该第一图像数据源为相机位置和姿态数据源，该第二图像数据源为单目相机获取的图像数据源；
该处理器720具体用于，根据该相机位置和姿态数据源，确定对该单目相机获取的图像数据源进行点云建模的初始相机位置和姿态。
可选地，在本发明一个实施例中，该处理器720具体用于，
根据该初始相机位置和姿态，利用该单目相机获取的图像数据源建立点云模型。
图8示出了本发明另一个实施例的移动设备800的示意性框图。该移动设备800可以为无人机、无人驾驶船或机器人等。
如图8所示，该移动设备800可以包括：
多种传感器810，用于获取多种图像数据源；以及
上述本发明实施例的计算机系统500。
该计算机系统500获取多种传感器810获取的多种图像数据源，根据该多种图像数据源进行融合处理，得到三维点云。
图9示出了本发明又一个实施例的移动设备900的示意性框图。该移动设备900可以为无人机、无人驾驶船或机器人等。
如图9所示，该移动设备900可以包括：
多种传感器910，用于获取多种图像数据源；以及
上述本发明实施例的生成三维点云的装置600。
本发明实施例的计算机系统、生成三维点云的装置和移动设备可对应 于本发明实施例的生成三维点云的方法的执行主体，并且计算机系统、生成三维点云的装置和移动设备中的各个模块的上述和其它操作和/或功能分别为了实现前述各个方法的相应流程，为了简洁，在此不再赘述。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述本发明实施例的生成三维点云的方法。
应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (40)

  1. 一种生成三维点云的方法，其特征在于，包括：
    通过多种传感器获取多种图像数据源；
    根据所述多种图像数据源进行融合处理，得到三维点云。
  2. 根据权利要求1所述的方法，其特征在于，所述多种传感器包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据所述多种图像数据源进行融合处理，包括：
    对所述多种图像数据源中的多种深度数据源进行融合处理，得到所述三维点云。
  4. 根据权利要求3所述的方法，其特征在于，所述对所述多种图像数据源中的多种深度数据源进行融合处理，包括：
    根据所述多种深度数据源，进行点匹配和筛选操作。
  5. 根据权利要求1或2所述的方法，其特征在于，所述根据所述多种图像数据源进行融合处理，包括：
    根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数；
    根据所述初始参数处理所述第二图像数据源。
  6. 根据权利要求5所述的方法，其特征在于，所述第一图像数据源为深度相机获取的图像数据源，所述第二图像数据源为双目相机获取的图像数据源；
    所述根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数，包括：
    根据所述深度相机获取的图像数据源，确定对所述双目相机获取的图像数据源进行处理的初始特征点对应关系。
  7. 根据权利要求6所述的方法，其特征在于，所述根据所述深度相机获取的图像数据源，确定对所述双目相机获取的图像数据源进行处理的初始特征点对应关系，包括：
    根据所述深度相机获取的图像数据源，确定特征点的深度；
    根据所述特征点的深度确定所述特征点对于所述双目相机的视差；
    根据所述特征点对于所述双目相机的视差，确定所述初始特征点对应关 系。
  8. 根据权利要求6或7所述的方法，其特征在于，所述根据所述初始参数处理所述第二图像数据源，包括：
    根据所述初始特征点对应关系，确定所述双目相机同时获取的两张图像的特征点的对应关系；
    根据所述两张图像的特征点的对应关系，确定视差信息；
    根据所述视差信息，确定深度信息；
    根据所述深度信息，生成所述三维点云。
  9. 根据权利要求5所述的方法，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为深度数据源；
    所述根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数，包括：
    根据所述相机位置和姿态数据源，确定对所述深度数据源进行融合处理的初始相机位置和姿态。
  10. 根据权利要求9所述的方法，其特征在于，所述根据所述初始参数处理所述第二图像数据源，包括：
    根据所述初始相机位置和姿态，确定所述深度数据源中的深度数据对应的相机位置和姿态；
    根据确定的相机位置和姿态，对所述深度数据源中的深度数据进行融合，得到所述三维点云。
  11. 根据权利要求5所述的方法，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为单目相机获取的图像数据源；
    所述根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数，包括：
    根据所述相机位置和姿态数据源，确定对所述单目相机获取的图像数据源进行点云建模的初始相机位置和姿态。
  12. 根据权利要求11所述的方法，其特征在于，所述根据所述初始参数处理所述第二图像数据源，包括：
    根据所述初始相机位置和姿态，利用所述单目相机获取的图像数据源建立点云模型。
  13. 一种计算机系统，其特征在于，包括：
    存储器，用于存储计算机可执行指令；
    处理器，用于访问所述存储器，并执行所述计算机可执行指令，以进行根据权利要求1至12中任一项所述的方法中的操作。
  14. 一种生成三维点云的装置，其特征在于，包括：
    获取模块，用于通过多种传感器获取多种图像数据源；
    处理模块，用于根据所述多种图像数据源进行融合处理，得到三维点云。
  15. 根据权利要求14所述的装置，其特征在于，所述多种传感器包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。
  16. 根据权利要求14或15所述的装置，其特征在于，所述处理模块具体用于，
    对所述多种图像数据源中的多种深度数据源进行融合处理，得到所述三维点云。
  17. 根据权利要求16所述的装置，其特征在于，所述处理模块具体用于，
    根据所述多种深度数据源，进行点匹配和筛选操作。
  18. 根据权利要求14或15所述的装置，其特征在于，所述处理模块具体用于，
    根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数；
    根据所述初始参数处理所述第二图像数据源。
  19. 根据权利要求18所述的装置，其特征在于，所述第一图像数据源为深度相机获取的图像数据源，所述第二图像数据源为双目相机获取的图像数据源；
    所述处理模块具体用于，根据所述深度相机获取的图像数据源，确定对所述双目相机获取的图像数据源进行处理的初始特征点对应关系。
  20. 根据权利要求19所述的装置，其特征在于，所述处理模块具体用于，
    根据所述深度相机获取的图像数据源，确定特征点的深度；
    根据所述特征点的深度确定所述特征点对于所述双目相机的视差；
    根据所述特征点对于所述双目相机的视差，确定所述初始特征点对应关 系。
  21. 根据权利要求19或20所述的装置，其特征在于，所述处理模块具体用于，
    根据所述初始特征点对应关系，确定所述双目相机同时获取的两张图像的特征点的对应关系；
    根据所述两张图像的特征点的对应关系，确定视差信息；
    根据所述视差信息，确定深度信息；
    根据所述深度信息，生成所述三维点云。
  22. 根据权利要求18所述的装置，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为深度数据源；
    所述处理模块具体用于，根据所述相机位置和姿态数据源，确定对所述深度数据源进行融合处理的初始相机位置和姿态。
  23. 根据权利要求22所述的装置，其特征在于，所述处理模块具体用于，
    根据所述初始相机位置和姿态，确定所述深度数据源中的深度数据对应的相机位置和姿态；
    根据确定的相机位置和姿态，对所述深度数据源中的深度数据进行融合，得到所述三维点云。
  24. 根据权利要求18所述的装置，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为单目相机获取的图像数据源；
    所述处理模块具体用于，根据所述相机位置和姿态数据源，确定对所述单目相机获取的图像数据源进行点云建模的初始相机位置和姿态。
  25. 根据权利要求24所述的装置，其特征在于，所述处理模块具体用于，
    根据所述初始相机位置和姿态，利用所述单目相机获取的图像数据源建立点云模型。
  26. 一种移动设备，其特征在于，包括：
    多种传感器，用于获取多种图像数据源；
    处理器，用于根据所述多种图像数据源进行融合处理，得到三维点云。
  27. 根据权利要求26所述的移动设备，其特征在于，所述多种传感器 包括深度相机、双目相机、单目相机以及位置角度传感器中的至少两种。
  28. 根据权利要求26或27所述的移动设备，其特征在于，所述处理器具体用于，
    对所述多种图像数据源中的多种深度数据源进行融合处理，得到所述三维点云。
  29. 根据权利要求28所述的移动设备，其特征在于，所述处理器具体用于，
    根据所述多种深度数据源，进行点匹配和筛选操作。
  30. 根据权利要求26或27所述的移动设备，其特征在于，所述处理器具体用于，
    根据所述多种图像数据源中的第一图像数据源，确定对所述多种图像数据源中的第二图像数据源进行处理的初始参数；
    根据所述初始参数处理所述第二图像数据源。
  31. 根据权利要求30所述的移动设备，其特征在于，所述第一图像数据源为深度相机获取的图像数据源，所述第二图像数据源为双目相机获取的图像数据源；
    所述处理器具体用于，根据所述深度相机获取的图像数据源，确定对所述双目相机获取的图像数据源进行处理的初始特征点对应关系。
  32. 根据权利要求31所述的移动设备，其特征在于，所述处理器具体用于，
    根据所述深度相机获取的图像数据源，确定特征点的深度；
    根据所述特征点的深度确定所述特征点对于所述双目相机的视差；
    根据所述特征点对于所述双目相机的视差，确定所述初始特征点对应关系。
  33. 根据权利要求31或32所述的移动设备，其特征在于，所述处理器具体用于，
    根据所述初始特征点对应关系，确定所述双目相机同时获取的两张图像的特征点的对应关系；
    根据所述两张图像的特征点的对应关系，确定视差信息；
    根据所述视差信息，确定深度信息；
    根据所述深度信息，生成所述三维点云。
  34. 根据权利要求30所述的移动设备，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为深度数据源；
    所述处理器具体用于，根据所述相机位置和姿态数据源，确定对所述深度数据源进行融合处理的初始相机位置和姿态。
  35. 根据权利要求34所述的移动设备，其特征在于，所述处理器具体用于，
    根据所述初始相机位置和姿态，确定所述深度数据源中的深度数据对应的相机位置和姿态；
    根据确定的相机位置和姿态，对所述深度数据源中的深度数据进行融合，得到所述三维点云。
  36. 根据权利要求30所述的移动设备，其特征在于，所述第一图像数据源为相机位置和姿态数据源，所述第二图像数据源为单目相机获取的图像数据源；
    所述处理器具体用于，根据所述相机位置和姿态数据源，确定对所述单目相机获取的图像数据源进行点云建模的初始相机位置和姿态。
  37. 根据权利要求36所述的移动设备，其特征在于，所述处理器具体用于，
    根据所述初始相机位置和姿态，利用所述单目相机获取的图像数据源建立点云模型。
  38. 根据权利要求26至37中任一项所述的移动设备，其特征在于，所述移动设备为无人机、无人驾驶船或机器人。
  39. 一种移动设备，其特征在于，包括：
    多种传感器，用于获取多种图像数据源；以及
    根据权利要求13所述的计算机系统。
  40. 一种移动设备，其特征在于，包括：
    多种传感器，用于获取多种图像数据源；以及
    根据权利要求14至25中任一项所述的生成三维点云的装置。
PCT/CN2016/106104 2016-11-16 2016-11-16 生成三维点云的方法、装置、计算机系统和移动设备 Ceased WO2018090250A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2016/106104 WO2018090250A1 (zh) 2016-11-16 2016-11-16 生成三维点云的方法、装置、计算机系统和移动设备
CN201680002484.0A CN106796728A (zh) 2016-11-16 2016-11-16 生成三维点云的方法、装置、计算机系统和移动设备
US16/413,313 US11004261B2 (en) 2016-11-16 2019-05-15 Method, device, computer system, and mobile apparatus for generating three-dimensional point cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/106104 WO2018090250A1 (zh) 2016-11-16 2016-11-16 生成三维点云的方法、装置、计算机系统和移动设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/413,313 Continuation US11004261B2 (en) 2016-11-16 2019-05-15 Method, device, computer system, and mobile apparatus for generating three-dimensional point cloud

Publications (1)

Publication Number Publication Date
WO2018090250A1 true WO2018090250A1 (zh) 2018-05-24

Family

ID=58951666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/106104 Ceased WO2018090250A1 (zh) 2016-11-16 2016-11-16 生成三维点云的方法、装置、计算机系统和移动设备

Country Status (3)

Country Link
US (1) US11004261B2 (zh)
CN (1) CN106796728A (zh)
WO (1) WO2018090250A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103814A1 (en) * 2018-11-19 2020-05-28 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
CN111694903A (zh) * 2019-03-11 2020-09-22 北京地平线机器人技术研发有限公司 地图构建方法、装置、设备以及可读存储介质
CN115937164A (zh) * 2022-12-19 2023-04-07 得利升(青岛)智能制造有限公司 一种高精度螺旋桨的检测方法及其检测装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018090250A1 (zh) * 2016-11-16 2018-05-24 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
WO2018227350A1 (zh) * 2017-06-12 2018-12-20 深圳市大疆创新科技有限公司 无人机返航控制方法、无人机和机器可读存储介质
US10527711B2 (en) * 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
CN108701348A (zh) * 2017-08-31 2018-10-23 深圳市大疆创新科技有限公司 处理图像的方法、集成电路、处理器、系统和可移动设备
WO2019127192A1 (zh) * 2017-12-28 2019-07-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN108317953A (zh) * 2018-01-19 2018-07-24 东北电力大学 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN109146947B (zh) * 2018-09-04 2021-09-28 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
JP6511681B1 (ja) * 2018-10-15 2019-05-15 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
WO2020155142A1 (zh) * 2019-02-02 2020-08-06 深圳市大疆创新科技有限公司 一种点云重采样的方法、装置和系统
CN110009675B (zh) * 2019-04-03 2021-05-18 北京市商汤科技开发有限公司 生成视差图的方法、装置、介质及设备
CN110084851B (zh) * 2019-04-19 2020-12-04 湖北亿咖通科技有限公司 一种双目点云生成方法及系统
WO2020237553A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 图像处理方法、系统及可移动平台
US11455806B2 (en) 2019-07-10 2022-09-27 Deka Products Limited Partnership System and method for free space estimation
CN110619617B (zh) * 2019-09-27 2022-05-27 中国科学院长春光学精密机械与物理研究所 三维成像方法、装置、设备及计算机可读存储介质
CN110992418B (zh) * 2019-12-12 2023-05-23 中国南方电网有限责任公司超高压输电公司大理局 一种导线覆冰厚度监测系统及方法
CN111260715B (zh) * 2020-01-20 2023-09-08 深圳市普渡科技有限公司 深度图的处理方法、小障碍物检测方法及系统
CN111260773B (zh) * 2020-01-20 2023-10-13 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统
CN111678511B (zh) * 2020-04-29 2022-04-08 北京牡丹电子集团有限责任公司 一种机器人的多传感器融合定位方法和系统
CN111695489B (zh) * 2020-06-09 2023-08-11 阿波罗智能技术(北京)有限公司 建模路线的验证方法、装置、无人车及存储介质
EP4087372B1 (en) * 2021-05-06 2026-04-15 Clay Paky S.R.L. A method for detecting light beams, corresponding lighting system and computer program product
CN113421325B (zh) * 2021-05-18 2024-03-19 江苏大学 一种基于多传感器融合用于车辆的三维重建方法
CN113409444B (zh) * 2021-05-21 2023-07-11 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
JP2023109356A (ja) * 2022-01-27 2023-08-08 セイコーエプソン株式会社 点群のデータの生成方法およびデータ生成装置
WO2024076027A1 (ko) 2022-10-07 2024-04-11 삼성전자 주식회사 포인트 클라우드를 생성하는 방법 및 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833322A1 (en) * 2013-07-30 2015-02-04 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US8488877B1 (en) * 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
CN102435188B (zh) * 2011-09-15 2013-10-02 南京航空航天大学 一种用于室内环境的单目视觉/惯性全自主导航方法
US9165383B1 (en) * 2011-11-21 2015-10-20 Exelis, Inc. Point cloud visualization using bi-modal color schemes based on 4D lidar datasets
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9202353B1 (en) * 2013-03-14 2015-12-01 Toyota Jidosha Kabushiki Kaisha Vibration modality switching system for providing navigation guidance
KR102068048B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 3차원 영상 제공 시스템 및 방법
US9286538B1 (en) * 2014-05-01 2016-03-15 Hrl Laboratories, Llc Adaptive 3D to 2D projection for different height slices and extraction of robust morphological features for 3D object recognition
CN105261060A (zh) * 2015-07-23 2016-01-20 东华大学 基于点云压缩和惯性导航的移动场景实时三维重构方法
CN108780154B (zh) * 2016-03-14 2023-06-09 亿目朗欧洲股份有限公司 3d点云的处理方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN106056664B (zh) * 2016-05-23 2018-09-21 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构系统及方法
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
WO2018090250A1 (zh) * 2016-11-16 2018-05-24 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
US10365650B2 (en) * 2017-05-25 2019-07-30 GM Global Technology Operations LLC Methods and systems for moving object velocity determination

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833322A1 (en) * 2013-07-30 2015-02-04 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103814A1 (en) * 2018-11-19 2020-05-28 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
US11346950B2 (en) 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
CN111694903A (zh) * 2019-03-11 2020-09-22 北京地平线机器人技术研发有限公司 地图构建方法、装置、设备以及可读存储介质
CN111694903B (zh) * 2019-03-11 2023-09-12 北京地平线机器人技术研发有限公司 地图构建方法、装置、设备以及可读存储介质
CN115937164A (zh) * 2022-12-19 2023-04-07 得利升(青岛)智能制造有限公司 一种高精度螺旋桨的检测方法及其检测装置
CN115937164B (zh) * 2022-12-19 2026-04-28 得利升(青岛)智能制造有限公司 一种高精度螺旋桨的检测方法及其检测装置

Also Published As

Publication number Publication date
US11004261B2 (en) 2021-05-11
CN106796728A (zh) 2017-05-31
US20190266792A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
WO2018090250A1 (zh) 生成三维点云的方法、装置、计算机系统和移动设备
CN113874870B (zh) 基于图像的定位
CN109084732B (zh) 定位与导航方法、装置及处理设备
CN106802668B (zh) 基于双目与超声波融合的无人机三维避撞方法及系统
US12062210B2 (en) Data processing method and apparatus
US11788845B2 (en) Systems and methods for robust self-relocalization in a visual map
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
KR20200005999A (ko) 듀얼 이벤트 카메라를 이용한 slam 방법 및 slam 시스템
WO2019196478A1 (zh) 机器人定位
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN108474658A (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN115902932B (zh) 一种融合激光雷达及其旋转电机的标定与建图方法
CN110825079A (zh) 一种地图构建方法及装置
JP2023516656A (ja) 複数の特徴タイプに基づく効率的位置特定
CN112312113A (zh) 用于生成三维模型的方法、装置和系统
CN114063099A (zh) 基于rgbd的定位方法及装置
KR20120065067A (ko) 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
CN111308415A (zh) 一种基于时间延迟的在线估计位姿的方法和设备
CN116524014B (zh) 一种在线标定外参的方法、装置
WO2020107487A1 (zh) 图像处理方法和无人机
EP3776470B1 (en) Anchor graph based positioning for augmented reality
CN115930937A (zh) 一种多传感器的同时定位和建图方法、终端及存储介质
CN114777761A (zh) 清洁机及地图构建方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16921770

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16921770

Country of ref document: EP

Kind code of ref document: A1