WO2022170847A1 - 一种基于激光和视觉融合的在线标定方法 - Google Patents

一种基于激光和视觉融合的在线标定方法 Download PDF

Info

Publication number
WO2022170847A1
WO2022170847A1 PCT/CN2021/138061 CN2021138061W WO2022170847A1 WO 2022170847 A1 WO2022170847 A1 WO 2022170847A1 CN 2021138061 W CN2021138061 W CN 2021138061W WO 2022170847 A1 WO2022170847 A1 WO 2022170847A1
Authority
WO
WIPO (PCT)
Prior art keywords
laser
coordinate system
visual
information
attitude
Prior art date
Application number
PCT/CN2021/138061
Other languages
English (en)
French (fr)
Inventor
欧勇盛
陈凯
江国来
马鑫波
刘超
王志扬
熊荣
冯伟
Original Assignee
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院深圳先进技术研究院 filed Critical 中国科学院深圳先进技术研究院
Publication of WO2022170847A1 publication Critical patent/WO2022170847A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the invention relates to the technical field of robot positioning, and more particularly, to an online calibration method based on fusion of laser and vision.
  • the external parameters between the vision sensor and the laser sensor need to be manually calibrated first.
  • calibration is usually carried out by pre-installing in a fixed position or by using other calibration methods (for example, a calibration plate) after the installation is completed. This will generate more labor costs, and when the external parameters change, it is inconvenient to manually intervene and correct again.
  • the purpose of the present invention is to overcome the above-mentioned defects of the prior art, and to provide an online calibration method of laser and vision fusion, which can automatically calibrate the attitude relationship between the laser radar and the camera online, and detect the state of positioning in real time, and when an abnormality occurs Ability to guide the laser module for repositioning.
  • the technical solution of the present invention is to provide an online calibration method based on laser and vision fusion, the method comprising:
  • the position information and attitude information of the moving target are obtained through laser positioning;
  • the attitude information in the visual SLAM system coordinate system is input into the neural network model for transformation, and the predicted attitude information in the laser SLAM system coordinate system is obtained;
  • Laser relocation is guided by comparing the predicted attitude information with the attitude information in the laser SLAM system coordinate system.
  • the present invention has the advantage that the relative posture is calibrated by the independent laser positioning module and the visual positioning module, and the relative posture self-calibration and online update can be completed without manual intervention and calibration board.
  • the robot based on the method of the present invention can be automatically guided and repositioned under the condition of non-autonomous movement (eg, sudden movement, sliding, and artificial pick-up).
  • FIG. 1 is a flowchart of an online calibration method for laser and vision fusion according to an embodiment of the present invention
  • FIG. 2 is a schematic process diagram of an online calibration method for laser and vision fusion according to an embodiment of the present invention
  • FIG. 3 is a schematic structural diagram of a neural network according to an embodiment of the present invention.
  • the provided online calibration method based on laser and vision fusion includes: step S110, in the laser SLAM (simultaneous localization and mapping, simultaneous localization and mapping) system coordinate system, through laser positioning Obtain the position information and attitude information of the moving target; step S120, in the visual SLAM system coordinate system, initialize its own position information and attitude information according to the position information and attitude information output by the laser positioning, and update the position by detecting the moving target through visual positioning information, and the attitude information determined by the visual positioning is collected according to the time stamp of the laser positioning, and then the position information and attitude information in the visual SLAM system coordinate system are obtained; Step S130, the attitude information in the visual SLAM system coordinate system is input into the neural network.
  • step S110 in the laser SLAM (simultaneous localization and mapping, simultaneous localization and mapping) system coordinate system coordinate system, through laser positioning Obtain the position information and attitude information of the moving target
  • step S120 in the visual SLAM system coordinate system, initialize its own position information and attitude
  • the model is transformed to obtain the predicted attitude information in the laser SLAM system coordinate system; step S140, the laser repositioning is guided by comparing the predicted attitude information and the attitude information in the laser SLAM system coordinate system.
  • the present invention can be used for positioning in scenarios such as robot motion and automatic driving.
  • the following will take the use of cameras or visual inertial navigation odometers to collect visual information and take the robot as the moving target as an example.
  • the visual SLAM system coordinate system is also referred to as camera coordinates or visual coordinates
  • the laser SLAM system coordinate system is also referred to as laser coordinates. Unless As the context dictates otherwise.
  • the present invention is based on sensors such as lidar, camera (or visual inertial navigation odometer), uses an industrial control computer as a processing unit, and uses positioning systems (ie, a laser SLAM system and a visual SLAM system) corresponding to the operation of the lidar and the camera respectively. ). Focus on laser positioning, while using vision-based odometry as guidance.
  • the online self-calibration of the relative posture is carried out according to the posture information returned by the two, so that the posture can be automatically calibrated when it is used for the first time, and at the same time, it can be corrected and compensated when the external parameters change during the use process.
  • the advantages of vision guidance can be used to guide the laser positioning for repositioning in the event of an abnormal situation (eg, sudden movement, sliding, and artificial pick-up and movement) of the robot.
  • the visual positioning module provides the robot with a new credible pose, so that the laser positioning module can use this information to achieve the convergence of positioning.
  • the laser sensor and the visual sensor can be freely used in combination, and the two do not impose strong artificial constraints on external parameters.
  • the invention can automatically calibrate the relative posture of the visual sensor and the laser sensor, without using a calibration plate or manually pre-fixed installation according to the design.
  • the external parameters of the vision sensor and the laser sensor can be adaptively adjusted to improve the accuracy of positioning.
  • the laser SLAM system takes the laser positioning module as an example
  • the visual SLAM system takes the visual inertial navigation odometer module as an example for description.
  • the computing processing unit uses an ordinary x86 architecture computer, runs the Ubuntu operating system, and installs the ROS robot operating system on the basis of the system.
  • the laser sensor used is a single-line laser sensor (for example, Silan RPlidar A series), and the visual sensor used is an integrated visual inertial navigation odometer (for example, Intel T265, the camera uses a binocular plus inertial measurement unit solution).
  • a single-line laser sensor for example, Silan RPlidar A series
  • the visual sensor used is an integrated visual inertial navigation odometer (for example, Intel T265, the camera uses a binocular plus inertial measurement unit solution).
  • the chassis is a two-wheel differential motion model, and the upper layer can use serial communication to control the chassis.
  • the laser localization and visual odometry are respectively run on the ROS robot operating system and output the pose.
  • mapping and positioning method of Gmapping+AMCL or the mapping and positioning method in Cartographer can be used.
  • a grid map based on Gmapping and an AMCL positioning method based on particle filtering are used.
  • the odometer method of ORB-SLAM can be used, or the VINS and ORB-SLAM3 methods of inertial measurement unit can be combined. Through the method of each sensor, the pose change relationship in its own coordinate system can be obtained.
  • the sensitive characteristics of this method can be used to detect abnormal movements of the robot.
  • the provided online calibration method for fusion of laser and vision includes the following steps.
  • step S1 laser positioning is turned on, and position information and attitude information are generated after the positioning is successfully converged.
  • position information and attitude information (or simply pose) PL contains the following variable information [x L , y L , z L , q x , q y , q z , q w ] L , where x L , y L , z L is the three-dimensional coordinate in Cartesian space, which represents the current position of the robot, q x , q y , q z , q w are the current robot posture represented by the quaternion, and the quaternion (quaternion representation) is used in the calculation.
  • a projection of a four-dimensional hypersphere in three-dimensional space) can avoid singularities.
  • Step S2 after the laser is successfully positioned, the visual inertial navigation odometer module will subscribe to the current x L , y L , z L as its initial position, marked as x c0 , y c0 , z c0 .
  • the visual inertial navigation odometry module detects that the robot moves, it calculates the new position:
  • ⁇ x, ⁇ y, and ⁇ z represent the relative difference
  • formula (1) represents the position in the current visual coordinate system.
  • the visual inertial navigation odometer module initializes the position according to the result of laser positioning, and updates the position according to its own detection.
  • Step S3 in a subsequent period of time, the visual inertial navigation odometer module will record the pose information under the laser positioning module to complete the initialization.
  • the method for determining successful positioning may be the value of the covariance returned from the laser positioning, which is greater than a certain threshold and indicates a larger positioning error, and less than a certain value indicates that the positioning error is small.
  • the time stamp of laser positioning is used as the benchmark, and when it changes, the current value of the visual inertial navigation odometer is collected.
  • the current value of the visual inertial navigation odometer is collected.
  • ⁇ represents the nutation angle
  • x, y, z, w correspond to q x , q y , q z , q w respectively.
  • the visual positioning module collects the attitude of its own positioning according to the time stamp of the laser positioning, so as to obtain the position and attitude under the vision system, and convert them into Euler angles.
  • step S4 after obtaining the above data, two N ⁇ 3 matrices are obtained, that is, the Euler angle matrix in the camera coordinate system and the Euler angle matrix in the LiDAR (LiDAR) coordinate system, respectively.
  • the accuracy of subsequent positioning can be improved by eliminating abnormal points, for example, including the following steps:
  • Step S41 summing and then averaging each column in the two matrices to obtain and And subtract the average values obtained from each row in the respective matrix to obtain new matrices ML (matrix representing the laser coordinate system) and MC (representing the matrix in the camera coordinate system).
  • Step S42 for the newly obtained matrix MC, obtain the variance respectively by the following methods
  • Step S43 calculate the standard deviation Select data based on standard deviation.
  • outliers are removed according to the normal distribution of the data, and the data in the range [mean(C)-3 ⁇ C , mean(C+3 ⁇ C )] is selected to improve the positioning accuracy.
  • Step S5 use the neural network model to solve the transformation relationship between the laser coordinate system and the visual coordinate system.
  • the neural network realizes the transformation relationship between the coordinate system under the laser SLAM system and the coordinate system under the visual SLAM system.
  • the pose transformation data collected from the vision system and the laser system can be trained to obtain a model.
  • the role of this model is to transform the coordinate system under the visual SLAM system and combine it with the coordinate system of the laser SLAM.
  • the neural network model can adopt various types or set different specific structures as required, which is not limited in the present invention.
  • the neural network as a whole includes an input layer, an intermediate layer and an output layer.
  • the input layer is 3 nodes, corresponding to the calculated ⁇ , ⁇ .
  • the output layer is 3 nodes, corresponding to the converted coordinate system ⁇ , ⁇ .
  • the middle layer uses a fully connected network, and each layer corresponds to 16 nodes.
  • activation layer activation function: relu
  • activation layer activation function: relu
  • activation layer activation function: relu
  • activation layer activation function: relu
  • output layer (number of neural network nodes: 16, input shape: [n, 16]);
  • the total number of parameters is: 659.
  • err represents the error
  • pred represents the attitude in the coordinate system to be converted calculated by the network
  • real_data represents the attitude obtained by actually collecting the data
  • size represents the total amount of data
  • sum() represents the summation.
  • the neural network realizes the transformation of the vision system to the laser system coordinates, that is, after the attitude data obtained under the vision system is transformed by the neural network, the data is obtained under the laser coordinate system. corresponding pose data.
  • the attitude error is calculated by the following formula.
  • orientation C is the rotation angle in the camera coordinate system
  • model() represents the result predicted by the neural network model
  • orientation L is the rotation angle in the laser coordinate system.
  • the position x C , y C , z C in the camera coordinate system obtained above can be compared with the position information x L , y L , z L in the laser positioning.
  • the Euclidean distance between the two is greater than a certain threshold for determination. which is
  • the total error can be obtained by adding the attitude error and the position difference by a certain ratio.
  • a and b are proportional coefficients.
  • the module sends a pose under the current coordinate system (under the visual coordinate system) to the laser positioning module to guide it to reposition.
  • the laser repositioning can be redirected according to the advantage of taking advantage of the sensitivity of visual detection, so as to fix the problem that the abnormal movement can not converge again after the positioning offset caused by the abnormal movement.
  • the visual positioning module will record the attitude information whose error is less than the threshold. For example, the system updates the external parameters in the following two cases: when the number of repositioning exceeds the specified value within a fixed period of time, it will recalculate and update according to the recorded attitude information. External parameter: when the recorded attitude information exceeds the specified amount, intercept a certain proportion of the value (eg 10%) and use the method in the present invention to update the parameters to adapt to the changes in the motion of the vision sensor and the laser sensor.
  • a certain proportion of the value eg 10%
  • this method does not need to manually set the initial external parameters, and can also correct the external parameters in the process of running, that is, the external parameter calibration can be carried out automatically, without the need to use calibration version and manual intervention;
  • the present invention combines the advantages of the two methods of visual positioning and laser positioning, and provides a method for self-calibrating the attitude relationship between the camera and the laser radar, and the positioning accuracy no longer depends on the precise positioning of the laser sensor;
  • the present invention does not need to build a map, so there is no problem of positioning failure due to the influence of light in most cases, and at the same time, it can reduce the amount of calculation and improve the performance.
  • the present invention may be a system, method and/or computer program product.
  • the computer program product may include a computer-readable storage medium having computer-readable program instructions loaded thereon for causing a processor to implement various aspects of the present invention.
  • a computer-readable storage medium may be a tangible device that can hold and store instructions for use by the instruction execution device.
  • the computer-readable storage medium may be, for example, but not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • Non-exhaustive list of computer readable storage media include: portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM) or flash memory), static random access memory (SRAM), portable compact disk read only memory (CD-ROM), digital versatile disk (DVD), memory sticks, floppy disks, mechanically coded devices, such as printers with instructions stored thereon Hole cards or raised structures in grooves, and any suitable combination of the above.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable read only memory
  • flash memory static random access memory
  • SRAM static random access memory
  • CD-ROM compact disk read only memory
  • DVD digital versatile disk
  • memory sticks floppy disks
  • mechanically coded devices such as printers with instructions stored thereon Hole cards or raised structures in grooves, and any suitable combination of the above.
  • Computer-readable storage media are not to be construed as transient signals per se, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (eg, light pulses through fiber optic cables), or through electrical wires transmitted electrical signals.
  • the computer readable program instructions described herein may be downloaded to various computing/processing devices from a computer readable storage medium, or to an external computer or external storage device over a network such as the Internet, a local area network, a wide area network, and/or a wireless network.
  • the network may include copper transmission cables, fiber optic transmission, wireless transmission, routers, firewalls, switches, gateway computers and/or edge servers.
  • a network adapter card or network interface in each computing/processing device receives computer-readable program instructions from a network and forwards the computer-readable program instructions for storage in a computer-readable storage medium in each computing/processing device .
  • the computer program instructions for carrying out the operations of the present invention may be assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or instructions in one or more programming languages.
  • Source or object code written in any combination including object-oriented programming languages, such as Smalltalk, C++, Python, etc., and conventional procedural programming languages, such as the "C" language or similar programming languages.
  • the computer readable program instructions may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server implement.
  • the remote computer may be connected to the user's computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (eg, using an Internet service provider through the Internet connect).
  • LAN local area network
  • WAN wide area network
  • custom electronic circuits such as programmable logic circuits, field programmable gate arrays (FPGAs), or programmable logic arrays (PLAs)
  • FPGAs field programmable gate arrays
  • PDAs programmable logic arrays
  • Computer readable program instructions are executed to implement various aspects of the present invention.
  • These computer readable program instructions may be provided to a processor of a general purpose computer, special purpose computer or other programmable data processing apparatus to produce a machine that causes the instructions when executed by the processor of the computer or other programmable data processing apparatus , resulting in means for implementing the functions/acts specified in one or more blocks of the flowchart and/or block diagrams.
  • These computer readable program instructions can also be stored in a computer readable storage medium, these instructions cause a computer, programmable data processing apparatus and/or other equipment to operate in a specific manner, so that the computer readable medium on which the instructions are stored includes An article of manufacture comprising instructions for implementing various aspects of the functions/acts specified in one or more blocks of the flowchart and/or block diagrams.
  • Computer readable program instructions can also be loaded onto a computer, other programmable data processing apparatus, or other equipment to cause a series of operational steps to be performed on the computer, other programmable data processing apparatus, or other equipment to produce a computer-implemented process , thereby causing instructions executing on a computer, other programmable data processing apparatus, or other device to implement the functions/acts specified in one or more blocks of the flowcharts and/or block diagrams.
  • each block in the flowchart or block diagrams may represent a module, segment, or portion of instructions, which comprises one or more functions for implementing the specified logical function(s) executable instructions.
  • the functions noted in the blocks may occur out of the order noted in the figures. For example, two blocks in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented in dedicated hardware-based systems that perform the specified functions or actions , or can be implemented in a combination of dedicated hardware and computer instructions. It is well known to those skilled in the art that implementation in hardware, implementation in software, and implementation in a combination of software and hardware are all equivalent.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Manipulator (AREA)

Abstract

一种基于激光和视觉融合的在线标定方法、计算机可读存储介质和计算机设备，该方法包括：在激光SLAM系统坐标系，通过激光定位获得移动目标的位置信息和姿态信息（S110）；在视觉SLAM系统坐标系，根据激光定位输出的位置信息和姿态信息初始化位置信息和姿态信息，并通过视觉定位检测移动目标来更新位置信息，且根据激光定位的时间戳采集通过视觉定位确定的姿态信息（S120）；将视觉SLAM系统坐标系下的姿态信息输入到神经网络模型进行变换，获得激光SLAM系统坐标系下的预测姿态信息（S130）；通过比较预测姿态信息和在激光SLAM系统坐标系下的姿态信息引导进行激光重定位（S140）。该方法在定位过程中无需使用标定版和人工干预，并且在发生异常情况时可以自动引导重定位，提高了准确性。

Description

一种基于激光和视觉融合的在线标定方法 技术领域
本发明涉及机器人定位技术领域，更具体地，涉及一种基于激光和视觉融合的在线标定方法。
背景技术
在机器人的定位导航中，有视觉和激光两大主流方案。使用激光的方案在目前的技术条件下具有稳定可靠，精度高的优势。因此激光定位也是目前在移动机器人定位导航方面应用的主要方式。但是基于目前的应用场景，在室内的情况下激光定位易受动态物体遮挡，从而影响定位的收敛，进而导致定位出现偏差或者丢失。而基于视觉的环境信息要丰富很多，在很多视觉定位的工作中，通过对环境信息提取视觉特征能够实现全局定位和重定位。但是在提取视觉特征时对光照十分敏感，在暗处或者一些无纹理区域是无法进行工作的。
随着技术的发展，现有移动机器人越来越多的使用将视觉和激光结合的方案。一般情况下激光定位的精度要高于视觉定位，但激光的价格昂贵。视觉传感器的价格低廉，在定位上的反应相对于激光来说更敏感，易于察觉到环境的快速变化。但视觉定位的效果容易受到各种各样复杂环境的影响，尤其使用视觉建图的方法中，建立的地图难以用于在任何时候定位。此外，在一般情况下对两种传感器的标定和机器人运行时外参的轻微变化的修正也是一件耗费人力的工作。
在现有的激光和视觉融合的定位方法中，首先需要人工对视觉传感器和激光传感器之间的外参进行标定。对于外参的标定，通常通过预先按照固定位置的安装方式或者在安装完成后通过使用其他标定方法(例如，标定板)进行标定。这样会产生更多的人工成本，并且当外参发生变化时，不方便再次人工干预修正。
此外，目前大部分的激光和视觉融合的定位方案，使用视觉传感器的定位方法仍然要建立地图，然后再在地图中根据相机图像中提取的特征进行匹配定位。但使用该方法容易受到光线变化和与预先地图建立时场景动态物体变化的影响。并且，大部分融合方法是将两种方法的定位结果经过转换后进行比较。这种方式在置信度上难以权衡两者的准确性，给参数调节带来困难，并且消耗了更多的性能。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种激光和视觉融合的在线标定方法，可自动在线标定激光雷达和相机之间的姿态关系，并且实时检测定位的状态，当发生异常时能够引导激光模块进行重定位。
本发明的技术方案是，提供一种基于激光和视觉融合的在线标定方法，该方法包括：
在激光SLAM系统坐标系下，通过激光定位获得移动目标的位置信息和姿态信息；
在视觉SLAM系统坐标系下，根据激光定位输出的位置信息和姿态信息初始化自身的位置信息和姿态信息，并通过视觉定位检测移动目标来更新位置信息，且根据激光定位的时间戳采集通过视觉定位确定的姿态信息，进而获得视觉SLAM系统坐标系下的位置信息和姿态信息；
将视觉SLAM系统坐标系下的姿态信息输入到神经网络模型进行变换，获得激光SLAM系统坐标系下的预测姿态信息；
通过比较所述预测姿态信息和在激光SLAM系统坐标系下的姿态信息引导进行激光重定位。
与现有技术相比，本发明的优点在于，通过独立的激光定位模块和视觉定位模块进行相对位姿的标定，无需人工介入和标定板，即可完成相对姿态自标定和在线更新。此外，根据求出的外参信息，可以使基于本发明方法的机器人在非自主移动(例如，突然移动，滑动和人为抱起挪动)的情况下，自动进行引导重定位。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其 它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的激光和视觉融合的在线标定方法的流程图；
图2是根据本发明一个实施例的激光和视觉融合的在线标定方法的过程示意图；
图3是根据本发明一个实施例的神经网络结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
参见图1所示，简言之，所提供的基于激光和视觉融合的在线标定方法包括：步骤S110，在激光SLAM(simultaneous localization and mapping，同时定位与地图构建)系统坐标系下，通过激光定位获得移动目标的位置信息和姿态信息；步骤S120，在视觉SLAM系统坐标系下，根据激光定位 输出的位置信息和姿态信息初始化自身的位置信息和姿态信息，并通过视觉定位检测移动目标来更新位置信息，且根据激光定位的时间戳采集通过视觉定位确定的姿态信息，进而获得视觉SLAM系统坐标系下的位置信息和姿态信息；步骤S130，将视觉SLAM系统坐标系下的姿态信息输入到神经网络模型进行变换，获得激光SLAM系统坐标系下的预测姿态信息；步骤S140，通过比较所述预测姿态信息和激光SLAM系统坐标系下的姿态信息引导进行激光重定位。本发明可用于机器人运动、自动驾驶领域等场景的定位。
以下以利用相机或视觉惯导里程计采集视觉信息、以机器人作为移动目标为例具体说明，其中，视觉SLAM系统坐标系也简称相机坐标或视觉坐标，激光SLAM系统坐标系也简称激光坐标，除非根据上下文另有所指。
总体上，本发明基于激光雷达、相机(或视觉惯导里程计)等传感器，采用工业控制计算机作为处理单元，使用分别针对激光雷达和相机运行对应的定位系统(即激光SLAM系统和视觉SLAM系统)。以激光定位为主，同时使用基于视觉的里程计作为引导。根据两者返回的位姿信息进行相对姿态的在线自标定，使其在初次使用时可以自动标定姿态，同时在使用过程中，当外参发生变化时能够进行修正补偿。此外，可以利用视觉引导的优势使得在机器人在发生异常情况时(例如，突然移动，滑动和人为抱起挪动)，能够引导激光定位进行重定位。在这个过程中该视觉定位模块提供给机器人一个新的可信位姿，来让激光定位模块借助该信息来实现定位的收敛。
在发明中，可以自由的搭配使用激光传感器和视觉传感器，两者不做外参上的人为的强约束。利用本发明可以自动对视觉传感器和激光传感器的相对姿态进行标定，无需使用标定板或是人工预先按照设计固定安装。同时在机器人的运动过程中可以针对视觉传感器和激光传感器两者的外参变化进行自适应的调整，以提高定位的准确率。
以下以一个具体实施例进行说明本发明的激光和视觉融合的在线标定方法的过程，其中，激光SLAM系统以激光定位模块为例，视觉SLAM系统以视觉惯导里程计模块为例进行说明。
一、实验设置
1)硬件部分
计算处理单元使用普通x86架构计算机，运行Ubuntu操作系统，在该系统的基础上安装ROS机器人操作系统。
使用的激光传感器为单线激光传感器(例如、思岚RPlidar A系列)，使用的视觉传感器是集成式视觉惯导里程计(例如、Intel T265，该相机使用双目加惯性测量单元方案)。
底盘为两轮差速运动模型，可在上层使用串口通讯对底盘进行控制。
2)软件部分
在ROS机器人操作系统上分别运行激光定位和视觉里程计并输出位姿。
对于单线激光可以使用Gmapping+AMCL的建图定位方法或者Cartographer中的建图和定位方法。在本发明中，使用基于Gmapping建立栅格地图和基于粒子滤波的AMCL定位方法。
对于视觉里程计可以使用ORB-SLAM的里程计方法，或是结合使用惯性测量单元的的VINS和ORB-SLAM3方法。通过各自传感器的方法可以在自己坐标系统下的位姿变化关系。
采用视觉里程计的方法，相对于其它里程计(例如，轮式里程计易受到打滑的影响，导致出现定位漂移)而言，可以利用该方式敏感的特点来发现机器人的异常移动。
二、激光和视觉融合的在线标定流程
结合图2所示，所提供的激光和视觉融合的在线标定方法包括以下步骤。
步骤S1，开启激光定位，在定位成功收敛后回生成位置信息和姿态信息。
例如，位置信息和姿态信息(或简称位姿)PL包含以下变量信息[x L,y L,z L,q x,q y,q z,q w] L，其中x L,y L,z L是笛卡尔空间下的三维坐标，表示机器人当前的位置，q x,q y,q z,q w是四元数表示的当前机器人的姿态，在计算上使用四元数(四元数表示一个四维空间超球在三维空间的投影)的方法 可以避免奇异性。
步骤S2，等待激光成功定位后，视觉惯导里程计模块将订阅当前的x L,y L,z L作为自身的初始位置，标记为x c0,y c0,z c0。
当视觉惯导里程计模块检测机器人发生移动时，计算得到新位置：
x c＝x c0+Δx
y c＝y c0+Δy  (1)
z c＝z c0+Δz
其中Δx,Δy,Δz表示相对差值，公式(1)表示在当前视觉坐标系下的位置。
在此步骤中，视觉惯导里程计模块根据激光定位的结果初始化位置，并根据自身的检测更新位置。
步骤S3，在后续一段时间内，视觉惯导里程计模块将记录激光定位模块下的位姿信息以完成初始化。
例如，根据手动设置或自动设置参数n＝100，记录激光定位成功n次后的值。
在一个实施例中，判定定位成功的方法可以是从激光定位中返回的协方差的值，大于一定的阈值定位误差较大，小于一定的值代表定位误差小。
在收集姿态信息时，以激光定位的时间戳为基准，当其发生变化时，即对视觉惯导里程计的当前值进行采集。在收集姿态值的时候，仅选择协方差小于一定阈值的值，来保证求取外参的质量。
从当前视觉系统下采集到的是位置和姿态(以四元数表示)，表示为
Figure PCTCN2021138061-appb-000001
进一步地，根据以下公式将采集到的位置和姿态转换成欧拉角的形式，表示为：
Figure PCTCN2021138061-appb-000002
其中
Figure PCTCN2021138061-appb-000003
表示自转角，θ表示章动角，
Figure PCTCN2021138061-appb-000004
表示旋进角，x,y,z,w分别对应q x,q y,q z,q w。
在此步骤中，视觉定位模块根据激光定位的时间戳，采集自身定位的姿态，从而获得视觉系统下的位置和姿态，并转换成欧拉角。
步骤S4，在得到以上数据后，得到两个N×3的矩阵，即分别为相机坐标系下的欧拉角矩阵以及LiDAR(激光雷达)坐标系下的欧拉角矩阵。
优选地，可通过剔除异常点提高后续定位的精度，例如包括以下步骤：
步骤S41，对两个矩阵中的每列求和再求平均值，得到
Figure PCTCN2021138061-appb-000005
Figure PCTCN2021138061-appb-000006
和
Figure PCTCN2021138061-appb-000007
并用各自矩阵中的每一行减去求得的平均值得到新的矩阵ML(表示激光坐标系的矩阵)和MC(表示相机坐标系下的矩阵)。
Figure PCTCN2021138061-appb-000008
Figure PCTCN2021138061-appb-000009
步骤S42，对新求得的矩阵MC，通过以下方法分别求得方差
Figure PCTCN2021138061-appb-000010
步骤S43，计算标准差
Figure PCTCN2021138061-appb-000011
根据标准差选择数据。
例如，在得到标准差后，根据数据的正态分布剔除异常点，并选取范围[mean(C)-3σ C,mean(C+3σ C)]的数据，来提高定位精度。
步骤S5，使用神经网络模型求解激光坐标系和视觉坐标系两者的变 换关系。
神经网络实现激光SLAM系统下的坐标系和视觉SLAM系统下的坐标系之间的变换关系，使用神经网络可以将从视觉系统和激光系统收集到的位姿变换数据加以训练，得到一个模型。该模型的作用是通过变换视觉SLAM系统下的坐标系，将其与激光SLAM的坐标系统一起来。
神经网络模型可采用多种类型或根据需要设定不同的具体结构，本发明对此不进行限制。例如，参见图3所示，神经网络整体包括输入层、中间层和输出层。在本发明实施例中，输入层为3个节点，对应计算出的
Figure PCTCN2021138061-appb-000012
θ,ψ。输出层为3个节点，对应转换坐标系后的
Figure PCTCN2021138061-appb-000013
θ,ψ。中间层使用全连接网络，每一层对应16个节点。在每一层后同时加上激活层，激活函数为relu函数，即f(x)＝max(0,x)。
整个神经网络结构的文字描述为：
全连接层(神经网络节点数量：3，输入形状：[n，3])；
激活层(激活函数：relu)；
全连接层(神经网络节点数量：16，输入形状：[n，3])
激活层(激活函数：relu)；
全连接层(神经网络节点数量：16，输入形状：[n，16])
激活层(激活函数：relu)；
全连接层(神经网络节点数量：16，输入形状：[n，16])
激活层(激活函数：relu)；
输出层(神经网络节点数量：16，输入形状：[n，16])；
参数的总数量为：659。
然后，使用测试集中的数据根据以下公式计算误差。
err＝sum(pred-real_data)/size  (5)
其中，err代表误差，pred表示使用网络计算出的欲转换的坐标系下的姿态，real_data表示实际收集数据得到的姿态，size表示数据总量，sum()表示求和。
在此步骤中，以激光SLAM系统的坐标系为基准，神经网络实现视觉系统向激光系统坐标下的变换，即将视觉系统下得到的姿态数据经过神经 网络变换后，得到该数据在激光坐标系下对应的姿态数据。
三)关于异常检测和外参更新
1)异常检测
在系统运行过程中，在激光定位中的位姿变化时，实时计算出两者输出的相对误差，即通过以下公式求出姿态误差。
error orientation＝model(orientation C)-orientation L  (6)
其中，orientation C为相机坐标系下的旋转角，model()代表使用神经网络模型预测的结果，orientation L为激光坐标系下的旋转角。
进一步地，可以通过以上求得的相机坐标系下的位置x C,y C,z C，和激光定位中的位置信息x L,y L,z L进行差值比较。在激光定位方法中，例如使用两者欧式距离大于一定阈值来进行判定。即
Figure PCTCN2021138061-appb-000014
通过将姿态误差和位置差值通过一定比例相加可以得到总的误差。
error＝a*error pose+b*error orientation  (8)
其中，a,b为比例系数。
当总误差大于设定阈值之后，该模块便发送一个当前坐标系下(视觉坐标系下)的位姿给激光定位模块，引导其进行重新定位。
通过这种方式，当发生异常移动时，可以根据利用视觉检测敏感的优势来重新引导激光重定位，从而修复异常移动带来定位偏移后，无法再次收敛的问题。
2)外参更新
视觉定位模块会记录误差小于阈值的姿态信息，例如，系统在以下两种情况下更新外参：当在一段固定的时间内，重定位的次数超过规定值后，根据记录的姿态信息重新计算更新外参；当记录的姿态信息超过规定的数量后，截取一定比例的值(如10％)使用本发明中的方法进行参数更新，以适应视觉传感器和激光传感器在运动中发生的变化。
经过实物验证，本发明定位精度符合预期，并具有以下优势：
1)、提供一种自动标定相对位姿的方法，该方法不需要人为的去设定初始外参，并且在运行的过程中也可以修正外参，即外参标定可以自动 进行，无需使用标定版及人工的干预；
2)、本发明融合了视觉定位和激光定位两种方法的优势，提供对相机和激光雷达的姿态关系进行自标定的方法，定位精度不再依赖于激光传感器的精定位；
3)、提供了一种在机器人发生非正常移动时自动进行引导校准定位的方法，能够弥补激光定位过程中可能发生异常移动的影响，在发生定位错误时能够自行重定位；
4)、相较于现有的基于视觉定位的方法，本发明不用建图，因此不存在多数情况下，由于光线影响出现定位失败的问题，同时能够减少计算量，提高性能。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服 务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

  1. 一种基于激光和视觉融合的在线标定方法，包括：
    在激光SLAM系统坐标系下，通过激光定位获得移动目标的位置信息和姿态信息；
    在视觉SLAM系统坐标系下，根据激光定位输出的位置信息和姿态信息初始化自身的位置信息和姿态信息，并通过视觉定位检测移动目标来更新位置信息，且根据激光定位的时间戳采集通过视觉定位确定的姿态信息，进而获得视觉SLAM系统坐标系下的位置信息和姿态信息；
    将视觉SLAM系统坐标系下的姿态信息输入到神经网络模型进行变换，获得激光SLAM系统坐标系下的预测姿态信息；
    通过比较所述预测姿态信息和激光SLAM系统坐标系下的姿态信息引导进行激光重定位。
  2. 根据权利要求1所述的方法，其中，在视觉SLAM系统坐标系下，根据激光定位输出的位置信息和姿态信息初始化自身的位置信息和姿态信息包括：
    当开启激光定位并确定成功收敛后，生成位姿信息PL，表示为[x L,y L,z L,q x,q y,q z,q w] L，其中x L,y L,z L表示移动目标当前的位置信息，q x,q y,q z,q w是四元数表示的移动目标当前的姿态信息；
    在视觉SLAM系统坐标系下，将x L,y L,z L作为自身的初始位置信息并根据激光定位成功收敛后输出的姿态信息确定自身的初始化姿态信息。
  3. 根据权利要求1所述的方法，其中，在视觉SLAM系统坐标系下，根据以下步骤确定姿态信息：
    以激光定位的时间戳为基准，采集通过视觉定位获得的姿态值；
    对于所采集的姿态值，选择协方差小于设定阈值的值，作为视觉SLAM系统坐标系下的姿态信息。
  4. 根据权利要求1所述的方法，其中，通过比较所述预测姿态信息和激光SLAM系统坐标系下的姿态信息引导进行激光重定位包括：
    计算姿态误差，表示为：
    error orientation＝model(orientation C)-orientation L
    其中，orientation C为视觉SLAM系统坐标系下的旋转角，model()代表使用神经网络模型预测的结果，orientation L表示激光SLAM系统坐标系下的旋转角；
    比较视觉SLAM系统坐标系下的位置和激光SLAM系统坐标系下的位置，获得位置误差；
    根据所述姿态误差和所述位置误差，决定是否将视觉SLAM系统坐标系下的位姿信息发送给激光定位，以引导进行重定位。
  5. 根据权利要求4所述的方法，其中，根据所述姿态误差和所述位置误差，决定是否将视觉SLAM系统坐标系下的位姿信息发送给激光定位，以引导进行重定位包括：
    根据所述姿态误差和所述位置误差计算总误差，表示为：
    error＝a*error pose+b*error orientation
    其中，a,b为比例系数；
    当总误差error大于设定阈值时，决定进行重定位。
  6. 根据权利要求5所述的方法，其中，所述位置误差表示为：
    Figure PCTCN2021138061-appb-100001
    其中，x C,y C,z C是视觉SLAM系统坐标系下的位置信息，x L,y L,z L是激光SLAM系统坐标系下的位置信息。
  7. 根据权利要求1所述的方法，还包括：当在设定时间段内，重定位的次数超过阈值时触发外参更新。
  8. 根据权利要求1所述的方法，其中，采用视觉惯导里程计进行视觉定位。
  9. 一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。
  10. 一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。
PCT/CN2021/138061 2021-02-09 2021-12-14 一种基于激光和视觉融合的在线标定方法 WO2022170847A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110175180.7 2021-02-09
CN202110175180.7A CN112964276B (zh) 2021-02-09 2021-02-09 一种基于激光和视觉融合的在线标定方法

Publications (1)

Publication Number Publication Date
WO2022170847A1 true WO2022170847A1 (zh) 2022-08-18

Family

ID=76284315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/138061 WO2022170847A1 (zh) 2021-02-09 2021-12-14 一种基于激光和视觉融合的在线标定方法

Country Status (2)

Country Link
CN (1) CN112964276B (zh)
WO (1) WO2022170847A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115388911A (zh) * 2022-08-24 2022-11-25 Oppo广东移动通信有限公司 光学动作捕捉系统的精度测量方法、装置、电子设备
CN115435816A (zh) * 2022-11-07 2022-12-06 山东大学 在线双舵轮agv内外参标定方法、系统、介质及设备
CN115761000A (zh) * 2022-11-06 2023-03-07 卢米纳科技(深圳)有限公司 基于视觉激光的清洗标定方法和系统
CN116563391A (zh) * 2023-05-16 2023-08-08 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116660916A (zh) * 2023-05-26 2023-08-29 广东省农业科学院设施农业研究所 一种用于果园移动机器人的定位方法、建图方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112964276B (zh) * 2021-02-09 2022-08-05 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN109633664A (zh) * 2018-12-29 2019-04-16 南京理工大学工程技术研究院有限公司 基于rgb-d与激光里程计的联合定位方法
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院（广州铁路机械学校） 一种智能机器人
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
US10859684B1 (en) * 2019-11-12 2020-12-08 Huawei Technologies Co., Ltd. Method and system for camera-lidar calibration
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112964276A (zh) * 2021-02-09 2021-06-15 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303096B (zh) * 2018-02-12 2020-04-10 杭州蓝芯科技有限公司 一种视觉辅助激光定位系统及方法
CN110243360B (zh) * 2018-03-08 2022-02-22 深圳市优必选科技有限公司 机器人在运动区域的地图构建及定位方法
CN109084732B (zh) * 2018-06-29 2021-01-12 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN110243358B (zh) * 2019-04-29 2023-01-03 武汉理工大学 多源融合的无人车室内外定位方法及系统
CN110398745A (zh) * 2019-08-05 2019-11-01 湖南海森格诺信息技术有限公司 基于激光雷达和视觉的叉车定位方法
CN111337943B (zh) * 2020-02-26 2022-04-05 同济大学 一种基于视觉引导激光重定位的移动机器人定位方法
CN112230242B (zh) * 2020-09-30 2023-04-25 深兰人工智能(深圳)有限公司 位姿估计系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN109633664A (zh) * 2018-12-29 2019-04-16 南京理工大学工程技术研究院有限公司 基于rgb-d与激光里程计的联合定位方法
US10859684B1 (en) * 2019-11-12 2020-12-08 Huawei Technologies Co., Ltd. Method and system for camera-lidar calibration
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院（广州铁路机械学校） 一种智能机器人
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112964276A (zh) * 2021-02-09 2021-06-15 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115388911A (zh) * 2022-08-24 2022-11-25 Oppo广东移动通信有限公司 光学动作捕捉系统的精度测量方法、装置、电子设备
CN115761000A (zh) * 2022-11-06 2023-03-07 卢米纳科技(深圳)有限公司 基于视觉激光的清洗标定方法和系统
CN115761000B (zh) * 2022-11-06 2023-08-29 卢米纳科技(深圳)有限公司 基于视觉激光的清洗标定方法和系统
CN115435816A (zh) * 2022-11-07 2022-12-06 山东大学 在线双舵轮agv内外参标定方法、系统、介质及设备
CN116563391A (zh) * 2023-05-16 2023-08-08 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116563391B (zh) * 2023-05-16 2024-02-02 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116660916A (zh) * 2023-05-26 2023-08-29 广东省农业科学院设施农业研究所 一种用于果园移动机器人的定位方法、建图方法及电子设备
CN116660916B (zh) * 2023-05-26 2024-02-02 广东省农业科学院设施农业研究所 一种用于果园移动机器人的定位方法、建图方法及电子设备

Also Published As

Publication number Publication date
CN112964276B (zh) 2022-08-05
CN112964276A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
WO2022170847A1 (zh) 一种基于激光和视觉融合的在线标定方法
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
WO2020107931A1 (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
JP2020064056A (ja) 位置推定装置及び方法
US20050137750A1 (en) Method and apparatus for using rotational movement amount of mobile device and computer-readable recording medium for storing computer program
Tomažič et al. Fusion of visual odometry and inertial navigation system on a smartphone
JP2023085243A (ja) マルチセンサ融合による測定値の信頼度の取得方法及び自動運転車両
Nobre et al. Drift-correcting self-calibration for visual-inertial SLAM
CN111060131A (zh) 一种基于激光雷达的机器人精确姿态矫正方法及装置
Motlagh et al. Position Estimation for Drones based on Visual SLAM and IMU in GPS-denied Environment
Nobre et al. Multi-sensor slam with online self-calibration and change detection
CN117392241B (zh) 自动驾驶中的传感器标定方法、装置及电子设备
CN116416277A (zh) 一种基于运动方程轨迹预测的多目标跟踪方法及装置
KR20220004604A (ko) 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼
Hyyti et al. Forestry crane posture estimation with a two‐dimensional laser scanner
CN110674888B (zh) 一种基于数据融合的头部姿态识别方法
Chen et al. Perception system design for low-cost commercial ground robots: Sensor configurations, calibration, localization and mapping
Szaj et al. Vehicle localization using laser scanner
KR20210116161A (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
Malartre et al. Digital elevation map estimation by vision-lidar fusion
Cho et al. Analysis in long-range apriltag pose estimation and error modeling
CN117207190B (zh) 基于视觉与触觉融合的精准抓取机器人系统
CN116659481B (zh) 基于rtk与里程计室外机器人航向角标定方法、系统及介质
CN112589806B (zh) 机器人位姿信息确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21925493

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21925493

Country of ref document: EP

Kind code of ref document: A1