WO2022041596A1 - 一种适用于室内动态环境的视觉slam方法 - Google Patents

一种适用于室内动态环境的视觉slam方法 Download PDF

Info

Publication number
WO2022041596A1
WO2022041596A1 PCT/CN2020/138581 CN2020138581W WO2022041596A1 WO 2022041596 A1 WO2022041596 A1 WO 2022041596A1 CN 2020138581 W CN2020138581 W CN 2020138581W WO 2022041596 A1 WO2022041596 A1 WO 2022041596A1
Authority
WO
WIPO (PCT)
Prior art keywords
dynamic
point
map
probability
feature
Prior art date
Application number
PCT/CN2020/138581
Other languages
English (en)
French (fr)
Inventor
陆理文
Original Assignee
同济人工智能研究院(苏州)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 同济人工智能研究院(苏州)有限公司 filed Critical 同济人工智能研究院(苏州)有限公司
Publication of WO2022041596A1 publication Critical patent/WO2022041596A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the invention belongs to the technical field of robotics and computer vision, and in particular relates to a visual SLAM method suitable for indoor dynamic environments.
  • SLAM simultaneous localization and mapping
  • real-time positioning and map construction or concurrent mapping and positioning.
  • the robot starts to move from an unknown position in an unknown environment, and performs its own positioning according to the position estimation and map during the movement process.
  • an incremental map is built on the basis of its own positioning to realize the autonomous positioning and navigation of the robot.
  • the visual SLAM technology enables the subject equipped with the camera sensor to complete the establishment of the environment model and the estimation of its own motion state during the movement of the subject without the prior information of the environment.
  • visual SLAM systems have been widely used in mobile robots, service robots, drones, virtual reality and augmented reality.
  • the existing classic visual SLAM framework is mainly based on the assumption that the subject equipped with the camera sensor is the only moving object in the mapping environment, and the rest of the objects in the default mapping environment are always in a static state.
  • Such a classic visual SLAM framework can obtain good experimental results in static scenes, but when the mapping scene contains dynamic object information, such as people walking and cars moving in the scene, the classic visual SLAM framework still uses these dynamic objects.
  • the object is in a static state by default, and the feature points in the dynamic object area in the scene cannot be removed in time.
  • the feature points extracted from the dynamic object are also included in the geometric constraints and graph optimization constraints, which will cause a large error in the SLAM system. .
  • the purpose of the present invention is to provide a visual SLAM method suitable for indoor dynamic environment, which eliminates the adverse effects of dynamic objects in the environment on the pose estimation of the SLAM system in time.
  • the technical scheme adopted in the present invention is:
  • a visual SLAM method suitable for indoor dynamic environments including:
  • the 3D map point dynamic probability enjoys the preferred propagation right, that is to say, the feature point x i of the current frame is successfully matched with the key frame feature point, the feature point x i of the previous frame and the 3D map point x i in the local map.
  • the dynamic probability P(X i ) of the 3D map point is preferentially propagated to the dynamic probability P(X i ) of the feature point of the current frame.
  • the dynamic probability of any feature point in the current frame is first affected by the dynamic probability of the key frame feature point or 3D map point that is successfully matched with it: for the successfully matched feature point, the key frame feature point or 3D map point
  • the dynamic probability of map points updates the dynamic probability of feature points in the current frame through a certain weight
  • the high dynamic rate feature point is composed of a feature point with a very high or very low dynamic probability.
  • the high dynamic rate feature point will affect the dynamic probability of the remaining feature points in the area with a certain pixel distance as the center and a certain pixel distance as the radius.
  • the dynamic probability propagation includes feature matching propagation and high-confidence feature point regional influence propagation.
  • the possibility that the feature points or 3D map points represented by the dynamic probability belong to the dynamic points are equally divided into five levels from 0% to 100%, wherein: the high-confidence feature point area includes high
  • the reliability feature points are low dynamic rate (0% to 20%) feature points, and high reliability feature points are high dynamic rate (80% to 100%) feature points.
  • the distance r (in pixels) is selected as high probability.
  • the regional influence radius of the reliability feature points For the feature points within the influence radius of the high reliability feature point region, the dynamic probability will be affected by the high reliability feature points.
  • the distance of the points is inversely proportional.
  • the optimization equation is to minimize the reprojection error
  • the current frame pose is the optimization object to build a pose optimizer
  • the feature points with high dynamic probability are set as outliers
  • the current frame pose is used to minimize the reprojection error.
  • the frame pose is optimized, and the feature points whose reprojection error exceeds the threshold in the current frame are removed as outliers.
  • the nonlinear optimization will be performed multiple times, and the reprojection error of all points is calculated after each optimization. If the reprojection error is less than the threshold, the point is set as the interior point, otherwise the point is set as the outer point, and the outer point is set as the outer point. Do not participate in the next optimization process.
  • a neural network is used to perform target detection on the key frame
  • a pre-trained neural network is used to perform target detection
  • the target detection network determines an object of a dynamic category
  • a semantic segmentation algorithm is used to extract the object in the image.
  • the mid-contour acts as a dynamic region.
  • the forward propagation process of the key frame target detection network and the visual SLAM system are working nodes under two different ROS systems, and the interaction between them is realized through the topic and message mechanism under the ROS system.
  • the feature points in the dynamic area are identified as dynamic points, and the remaining feature points are identified as static feature points, and all feature points of the detected key frame are updated and corresponding Dynamic probabilities of matching 3D map points.
  • the dynamic object category needs to be set according to the use environment of the system, and the three object categories of people, cats and dogs are set as dynamic object categories in an indoor environment.
  • S5 local optimization is performed on the poses of key frames and 3D map points by a graph optimization method, and the optimization equation is used to minimize the reprojection error equation, and the poses and maps of the remaining frames with a high degree of common vision with the current frame are used as the optimization equation.
  • the point pose is the optimization object, and a graph optimizer is constructed to optimize the pose obtained by the tracking thread.
  • the present invention has the following advantages compared with the prior art:
  • the present invention When the present invention performs pose calculation and map construction, it effectively integrates the object category information in the environment, integrates the target detection algorithm with the traditional visual SLAM system, introduces the "dynamic probability" attribute for the feature points and map points, and promptly eliminates the attributes that belong to the environment.
  • the feature points of dynamic objects have higher positioning and mapping accuracy and stronger robustness in dynamic environments.
  • FIG. 2 is a schematic diagram of the division of each stage of dynamic probability in the present embodiment
  • FIG. 7 is a graph of the results compared with ORB-SLAM2 in this example.
  • Figure 1 A visual SLAM method suitable for indoor dynamic environments, including:
  • RGB-D camera Use the RGB-D camera to obtain the color map and depth map of the environment, package them into frames, input the tracking thread, perform feature extraction and matching, and use the matching relationship to calculate the dynamic probability propagation result.
  • Dynamic probability propagation consists of feature matching propagation and high-confidence feature point regional influence propagation.
  • the feature matching process if the feature point x i of the current frame is successfully matched with the key frame feature point, the dynamic probability of the key frame feature point Propagated to the dynamic probability P(x i ) of the feature point of the current frame, if the feature point x i of the current frame is successfully matched with the 3D map point X i in the local map, then the dynamic probability of the 3D map point P(X i ) Propagated to the dynamic probability P(x i ) of the feature points of the current frame, and the dynamic probability of the 3D map point enjoys the preferred propagation right.
  • the probability that the feature points or 3D map points represented by the dynamic probability belong to dynamic points is divided into five levels from 0% to 100%, as shown in Figure 2, where:
  • the high-confidence feature point area includes high-confidence features Point low dynamic rate (0% ⁇ 20%) feature point, high reliability feature point high dynamic rate (80% ⁇ 100%) feature point, selected distance r (in pixels) as high reliability feature point
  • the dynamic probability of the feature points within the influence radius of the high-confidence feature point area will be affected by the high-confidence feature point, and the influence weight is proportional to the distance between the feature point and the high-confidence feature point. inversely proportional.
  • the dynamic probability of any feature point in the current frame is also affected by the dynamic probability of the feature point and its neighborhood on the matching 3D map point keyframe: please confirm if the feature content is missing;
  • the dynamic probability of the feature points in the current frame is first affected by the dynamic probability of the feature points on the matching key frame and the 3D map points: the feature points with very high or very low dynamic probability affect the feature points with their center and a certain pixel distance as the radius.
  • the dynamic probabilities of the remaining feature points in the region are shown in Figure 3.
  • the optimization equation is to minimize the reprojection error, and the current frame pose is the optimization object to build a pose optimizer.
  • the high dynamic rate feature points are set as outliers, that is, the high dynamic rate feature points do not participate in the first time.
  • the reprojection error is calculated for all feature points including the outer points. If the reprojection error of the outer points (ie, the high dynamic rate feature points) is less than the set threshold , then it means that the feature point is mistaken as a dynamic point, and it is reset as an interior point to participate in the next optimization operation.
  • the feature point is omitted in the process of propagation, and it is set as an outer point and does not participate in the next optimization.
  • the pose optimizer performs a total of 4 optimization times. After the optimization is completed, all are removed as dynamic points, as shown in Figure 4.
  • the target detection network selects the YOLO V3 network structure based on Darknet53, and the network outputs a tensor with a dimension of (G ⁇ G) ⁇ (B ⁇ 5+C) for each input color image, where G ⁇ G represents the grid division scale of the network feature map, B represents the candidate frame information corresponding to the output of each grid, and each candidate frame information contains five values of the candidate frame center coordinates, the candidate frame length, width and confidence. , C represents the dataset item classification during network training.
  • the pose information and category information provided by the target detection network three categories of people, cats and dogs are selected as dynamic object categories, and the Grab-Cut semantic segmentation algorithm is used for the rectangular area of the dynamic object category, and the contour area of the dynamic object is extracted as dynamic area.
  • the feature points in the dynamic area are identified as dynamic points, and the remaining feature points are identified as static feature points, and the dynamic probability of all feature points in the detected key frame and the matching map points is updated.
  • the local mapping thread of ORB-SLAM2 is used to minimize the reprojection error equation as the optimization equation, and the poses of the remaining frames and map point poses with a high degree of common vision with the current frame are used as the optimization objects to construct a map.
  • the optimizer optimizes the pose obtained by the tracking thread.
  • the method for estimating the pose of an object with six degrees of freedom provided by the present invention has two biggest innovations:
  • Dynamic probability propagation and dynamic point removal are completed in the tracking thread of visual SLAM.
  • the semantic information provided by the Chinese fusion target detection network completes the update of the dynamic probability, removes the influence of dynamic objects in the environment on the SLAM system, and improves the accuracy of the SLAM system.
  • the second is to comprehensively consider the semantic information provided by the target detection network in the removal of dynamic feature points, and consider the pose information of the feature points and 3D map points in the SLAM system, and use the semantic information as a priori condition for judgment.
  • the pose information is used as a decisive condition to prevent the false rejection of static feature points and improve the robustness of the SLAM system.
  • the results compared with the ORB-SLAM2 system are shown in Figure 7.
  • the dotted line in Figure 7 is the actual value of the camera trajectory
  • the solid line in the left picture is the predicted trajectory of ORB-SLAM2
  • the solid line in the right picture is the predicted trajectory of the present invention. It can be seen that the right picture The predicted trajectory is closer to the true value of the trajectory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种适用于室内动态环境的视觉SLAM方法，包括获取环境的彩色图封装成帧，计算动态概率传播结果，根据动态概率剔除动态特征点，保留静态特征点，关键帧判定时若当前帧满足关键帧条件，对该关键帧进行目标检测，根据检测结果对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应地图点的动态概率，输入局部建图线程，更新并提取局部共视图，对关键帧和地图点的位姿进行局部优化，更新本质图进行全局优化。在进行位姿计算和地图构建时，有效融合了环境中的物体类别信息，将目标检测算法与传统视觉SLAM系统相融合，及时剔除属于动态物体的特征点，在动态环境下定位与建图准确率更高，鲁棒性更强。

Description

一种适用于室内动态环境的视觉SLAM方法 技术领域
本发明属于机器人学与计算机视觉技术领域，具体涉及一种适用于室内动态环境的视觉SLAM方法。
背景技术
SLAM(simultaneous localization and mapping)，即时定位与地图构建，或并发建图与定位。机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。
视觉SLAM技术使搭载相机传感器的主体在没有环境先验信息的情况下，在主体运动过程中完成对环境模型的建立与自身运动状态的估计。在当今的社会生活中，视觉SLAM系统在移动机器人、服务机器人、无人机、虚拟现实和增强现实等领域中获得了广泛运用。
现有经典的视觉SLAM框架主要基于搭载相机传感器的主体是建图环境中唯一的运动物体的假设，默认建图环境中其余物体一直处于静止状态。这样的经典视觉SLAM框架在静态场景下可以获得良好的实验结果，但是当建图场景中包含动态物体信息，如场景中含有人的走动，车的移动时，经典的视觉SLAM框架依然将这些动态物体默认为静止状态，无法将场景中动态物体区域内的特征点及时去除，将动态物体上提取到的特征点也纳入几何约束和图优化约束的条件下，将使SLAM系统出现很大的误差。
发明内容
本发明的目的是提供一种适用于室内动态环境的视觉SLAM方法，及时消除了环境内动态物体对SLAM系统位姿估计的不利影响。
为达到上述目的，本发明采用的技术方案是：
一种适用于室内动态环境的视觉SLAM方法，包括：
S1、获取包括环境的彩色图、深度图，将所获取的彩色图和深度图封装成帧，输入跟踪线程，进行特征提取和匹配，利用匹配关系计算动态概率传播结果，
S2、根据动态概率，剔除当前帧中的动态特征点，保留静态特征点，优化当前帧的位姿，然后进行关键帧判定，
S3、若当前帧满足关键帧条件，对该关键帧进行目标检测，
S4、根据关键帧目标检测的结果，对图片做语义分割，确定属于动态物体的区域，更新 与关键帧特征点对应的的3D地图点的动态概率，
S5、对动态概率更新后的关键帧输入局部建图线程，对系统维护的共视图进行更新，提取局部共视图，对关键帧和地图点的位姿进行局部优化，
S6、对当前帧进行回环检测与回环融合，消除系统的累积误差，利用回环融合结果更新本质图，并利用本质图对所有关键帧和地图点的位姿进行全局优化。
优选地，在S1中：在特征匹配过程中：如当前帧的特征点x i与关键帧特征点成功匹配，则关键帧特征点的动态概率
Figure PCTCN2020138581-appb-000001
传播到当前帧的特征点的动态概率P(x i)上，如当前帧的特征点x i与局部地图中的3D地图点X i匹配成功，则3D地图点的动态概率P(X i)传播到当前帧的特征点的动态概率P(x i)上。
进一步优选地，3D地图点动态概率享有优选传播权，也就是说在当前帧的特征点x i与关键帧特征点成功匹配、前帧的特征点x i与局部地图中的3D地图点X i匹配成功时，3D地图点的动态概率P(X i)优先传播到当前帧的特征点的动态概率P(x i)上。
优选地，在S1中：当前帧中任一特征点的动态概率首先受到与其成功匹配的关键帧特征点或3D地图点的动态概率的影响：对于匹配成功的特征点，关键帧特征点或3D地图点的动态概率通过一定权重更新当前帧中特征点的动态概率；
当前帧中任一特征点在受到匹配成功的特征点的动态概率影响后，其动态概率还会受到邻域内高动态概率特征点的影响：高动态率特征点由动态概率极高或极低的特征点组成，高动态率特征点会影响以其为中心、以一定像素距离为半径的区域内其余特征点的动态概率。
优选地，所述的动态概率传播包括特征匹配方式传播、高可信度特征点区域影响方式传播。
进一步优选地，所述的动态概率表示的特征点或3D地图点属于动态点的可能性从0％到100％均分为五个等级，其中：所述的高可信度特征点区域包括高可信度特征点低动态率(0％～20％)特征点、高可信度特征点高动态率(80％～100％)特征点，选定距离r(以像素为单位)为高可信度特征点的区域影响半径，对处于高可信度特征点区域影响半径内的特征点，其动态概率将受到高可信度特征点的影响，影响权重与特征点距离高可信度特征点的距离成反比。
优选地，在S2中：以最小化重投影误差为优化方程，当前帧位姿为优化对象构建位姿优化器，将动态概率高的特征点设置为外点，利用最小化重投影误差对当前帧位姿进行优化，将当前帧中重投影误差超过阈值的特征点作为外点去除。
进一步优选地，非线性优化将进行多次，在每次优化后计算所有点的重投影误差，若重 投影误差小于阈值则将该点设置为内点，反之将该点设置为外点，外点不参与下一次优化过程。
优选地，在S3中，利用神经网络对该关键帧进行目标检测，使用预训练好的神经网络进行目标检测，对目标检测网络判定为动态类别的物体，使用语义分割算法提取出该物体在图像中轮廓作为动态区域。
进一步优选地，关键帧目标检测网络前向传播过程和视觉SLAM系统为两个不同的ROS系统下的工作节点，其间的交互通过ROS系统下话题和消息机制实现。
优选地，在S4中：提取出动态物体轮廓区域作为动态区域，动态区域内的特征点被认定为动态点，其余特征点被认定为静态特征点，更新被检测关键帧所有特征点和与之相匹配的3D地图点的动态概率。
优选地，在S4中：动态物体类别需根据系统使用环境进行设定，在室内环境下设置人，猫，狗三个物体类别为动态物体类别。
优选地，在S5中：通过图优化方法对关键帧和3D地图点的位姿进行局部优化，以最小化重投影误差方程为优化方程，与当前帧共视程度高的其余帧位姿和地图点位姿为优化对象，构建图优化器，优化跟踪线程所求得位姿。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
本发明在进行位姿计算和地图构建时，有效融合了环境中的物体类别信息，将目标检测算法与传统视觉SLAM系统相融合，为特征点和地图点引入“动态概率”属性，及时剔除属于动态物体的特征点，在动态环境下定位与建图准确率更高，鲁棒性更强。
附图说明
附图1为本实施例的流程示意图；
附图2为本实施例中动态概率各阶段划分的示意图；
附图3为本实施例中动态概率传播的流程图；
附图4为本实施例中动态特征点剔除的流程图；
附图5为本实施例中动态物体区域生成的流程图；
附图6为本实施例中动态概率更新的流程图；
附图7为本实施例中与ORB-SLAM2对比的结果图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：一种适用于室内动态环境的视觉SLAM方法，包括：
S1、使用RGB-D相机获取环境的彩色图和深度图，将其封装成帧，输入跟踪线程，进行特征提取和匹配，利用匹配关系计算动态概率传播结果。
动态概率传播由特征匹配方式传播和高可信度特征点区域影响方式传播组成。在特征匹配过程中：如当前帧的特征点x i与关键帧特征点成功匹配，则关键帧特征点的动态概率
Figure PCTCN2020138581-appb-000002
传播到当前帧的特征点的动态概率P(x i)上，如当前帧的特征点x i与局部地图中的3D地图点X i匹配成功，则3D地图点的动态概率P(X i)传播到当前帧的特征点的动态概率P(x i)上，并且3D地图点动态概率享有优选传播权。
动态概率表示的特征点或3D地图点属于动态点的可能性从0％到100％均分为五个等级，如图2所示，其中：高可信度特征点区域包括高可信度特征点低动态率(0％～20％)特征点、高可信度特征点高动态率(80％～100％)特征点，选定距离r(以像素为单位)为高可信度特征点的区域影响半径，对处于高可信度特征点区域影响半径内的特征点，其动态概率将受到高可信度特征点的影响，影响权重与特征点距离高可信度特征点的距离成反比。
当前帧中任一特征点的动态概率同时受到与其匹配的3D地图点关键帧上特征点及邻域的动态概率的影响：缺少特征内容请确认；
当前帧中特征点的动态概率首先受到与其匹配的关键帧上特征点和3D地图点动态概率的影响：动态概率极高或极低的特征点影响以其为中心、以一定像素距离为半径的区域内其余特征点的动态概率，如图3所示。
S2、根据动态概率，剔除当前帧中的动态特征点，保留静态特征点，优化当前帧的位姿，然后进行关键帧判定。
以最小化重投影误差为优化方程，当前帧位姿为优化对象构建位姿优化器，首先根据动态概率首先将高动态率特征点设置为外点，即高动态率特征点不参与第一次位姿优化过程，当第一次优化完成后，对包括外点在内的所特征点都进行重投影误差计算，若外点(即高动态率特征点)的重投影误差小于设定的阈值，那么说明该特征点被误认为为动态点，便将其重新设置为内点，参加下次优化运算，若有特征点的重投影误差大于所设定的阈值，那么说明在动态概率判别和传播的过程中遗漏了该特征点，将其设置为外点，不参与下次优化，位姿优化器共进行4次优化次数，优化完成后将所有作为动态点去除，如图4所示。
S3、若当前帧满足关键帧条件，则利用神经网络对该关键帧进行目标检测，使用预训练好的神经网络进行目标检测，对目标检测网络判定为动态类别的物体，使用语义分割算法提 取出该物体在图像中轮廓作为动态区域。
在本实施例中：目标检测网络选用了基于Darknet53的YOLO V3网络结构，对每张输入的彩色图片网络将输出维度为(G×G)×(B×5+C)的张量，其中G×G表示网络特征地图的划分网格尺度，B表示每个网格对应负责输出的候选框信息，每个候选框信息中包含了候选框中心坐标，候选框长度，宽度和置信度五个值，C表示网络训练时的数据集物品分类。
S4、根据关键帧目标检测的结果，对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应的3D地图点的动态概率，如图5所示。
根据目标检测网络提供的位姿信息和类别信息，选定人，猫，狗三个类别为动态物体类别，对动态物体类别的矩形区域采用Grab-Cut语义分割算法，提取出动态物体轮廓区域作为动态区域。动态区域内的特征点被认定为动态点，其余特征点被认定为静态特征点，更新被检测关键帧所有特征点和与之相匹配的地图点的动态概率。
S5、动态概率更新后的关键帧输入局部建图线程，对系统维护的共视图进行更新，提取局部共视图，通过图优化方法对关键帧和地图点的位姿进行局部优化，如图6所示。
在本实施例中：使用ORB-SLAM2的局部建图线程，以最小化重投影误差方程为优化方程，与当前帧共视程度高的其余帧位姿和地图点位姿为优化对象，构建图优化器，优化跟踪线程所求得位姿。
S6、在回环检测线程，对当前帧进行回环检测与回环融合，消除系统的累积误差，利用回环融合结果更新本质图，并利用本质图对所有关键帧和地图点的位姿进行全局优化。
在本实施例中：使用ORB-SLAM2的回环检测与全局BA线程，优化跟踪和局部建图线程所得到的相机和3D地图点位姿的累积误差。
本发明提供的物体六自由度位姿估计方法，与现有技术中的位姿估计方法相比，最大的创新点有两点：
一是提出了动态概率这一概念，并将特征点和地图点属于动态点的概率均为5个等级，在视觉SLAM的跟踪线程中完成动态概率传播和动态点的去除，在局部建图线程中融合目标检测网络提供的语义信息完成动态概率的更新，去除了环境中动态物体对SLAM系统的影响，提升了SLAM系统的准确性。
二是在动态特征点剔除方面综合考虑了目标检测网络提供的语义信息，同时考虑了SLAM系统中存有的特征点和3D地图点的位姿信息，将语义信息作为判断的先验条件，位姿信息作为决定性条件，防止静态特征点的误剔除，提高了SLAM系统的鲁棒性。与ORB-SLAM2系统对比的结果如图7所示，图7中虚线为相机轨迹真实值，左图实线为ORB-SLAM2预测轨迹，右图实线为本发明预测轨迹，可以看出右图预测轨迹与轨迹真实值 更加接近。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (13)

  1. 一种适用于室内动态环境的视觉SLAM方法，其特征在于：包括：
    S1、获取包括环境的彩色图、深度图，将所获取的彩色图和深度图封装成帧，输入跟踪线程，进行特征提取和匹配，利用匹配关系计算动态概率传播结果，
    S2、根据动态概率，剔除当前帧中的动态特征点，保留静态特征点，优化当前帧的位姿，然后进行关键帧判定，
    S3、若当前帧满足关键帧条件，对该关键帧进行目标检测，
    S4、根据关键帧目标检测的结果，对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应的的3D地图点的动态概率，
    S5、对动态概率更新后的关键帧输入局部建图线程，对系统维护的共视图进行更新，提取局部共视图，对关键帧和地图点的位姿进行局部优化，
    S6、对当前帧进行回环检测与回环融合，消除系统的累积误差，利用回环融合结果更新本质图，并利用本质图对所有关键帧和地图点的位姿进行全局优化。
  2. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S1中：在特征匹配过程中：如当前帧的特征点x i与关键帧特征点成功匹配，则关键帧特征点的动态概率
    Figure PCTCN2020138581-appb-100001
    传播到当前帧的特征点的动态概率P(x i)上，如当前帧的特征点x i与局部地图中的3D地图点X i匹配成功，则3D地图点的动态概率P(X i)传播到当前帧的特征点的动态概率P(x i)上。
  3. 根据权利要求2所述的适用于室内动态环境的视觉SLAM方法，其特征在于：所述的3D地图点动态概率享有优选传播权。
  4. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S1中：当前帧中任一特征点的动态概率首先受到与其成功匹配的关键帧特征点或3D地图点的动态概率的影响：对于匹配成功的特征点，关键帧特征点或3D地图点的动态概率通过一定权重更新当前帧中特征点的动态概率；
    当前帧中任一特征点在受到匹配成功的特征点的动态概率影响后，其动态概率还会受到邻域高内动态概率特征点的影响：高动态率特征点由动态概率极高或极低的特征点组成，高动态率特征点会影响以其为中心、以一定像素距离为半径的区域内其余特征点的动态概率。
  5. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：所述的动态概率传播包括特征匹配方式传播、高可信度特征点区域影响方式传播。
  6. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S2中：以最小化重投影误差为优化方程，当前帧位姿为优化对象构建位姿优化器，将动态概率高的特征点设置为外点，利用最小化重投影误差对当前帧位姿进行优化，将当前帧中重投影误差超过阈值的特征点作为外点去除。
  7. 根据权利要求6所述的适用于室内动态环境的视觉SLAM方法，其特征在于：非线性优化将进行多次，在每次优化后计算所有点的重投影误差，若重投影误差小于阈值则将该点设置为内点，反之将该点设置为外点，外点不参与下一次优化过程。
  8. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S3中，利用神经网络对该关键帧进行目标检测，使用预训练好的神经网络进行目标检测，对目标检测网络判定为动态类别的物体，使用语义分割算法提取出该物体在图像中轮廓作为动态区域。
  9. 根据权利要求8所述的适用于室内动态环境的视觉SLAM方法，其特征在于：关键帧目标检测网络前向传播过程和视觉SLAM系统为两个不同的ROS系统下的工作节点，其间的交互通过ROS系统下话题和消息机制实现。
  10. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S4中：提取出动态物体轮廓区域作为动态区域，动态区域内的特征点被认定为动态点，其余特征点被认定为静态特征点，更新被检测关键帧所有特征点和与之相匹配的3D地图点的动态概率。
  11. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S4中：动态物体类别需根据系统使用环境进行设定，在室内环境下设置人，猫，狗三个物体类别为动态物体类别。
  12. 根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S5中：通过图优化方法对关键帧和3D地图点的位姿进行局部优化，以最小化重投影误差方程为优化方程，与当前帧共视程度高的其余帧位姿和地图点位姿为优化对象，构建图优化器，优化跟踪线程所求得位姿。
  13. 一种适用于室内动态环境的视觉SLAM方法，其特征在于：
    S1、获取包括环境的彩色图、深度图，将所获取的彩色图和深度图封装成帧，输入跟踪线程，进行特征提取和匹配，利用匹配关系计算动态概率传播结果，动态概率传播由特征匹配方式传播和高可信度特征点区域影响方式传播组成，在特征匹配过程中：如当前帧的特征点x i与关键帧特征点成功匹配，则关键帧特征点的动态概率
    Figure PCTCN2020138581-appb-100002
    传播到当前帧的特征点的动态概率P(x i)上，如当前帧的特征点x i与局部地图中的3D地图点X i匹配成功，则3D地图点的动 态概率P(X i)传播到当前帧的特征点的动态概率P(x i)上，并且3D地图点动态概率享有优选传播权，
    当前帧中任一特征点的动态概率首先受到与其成功匹配的关键帧特征点或3D地图点的动态概率的影响：对于匹配成功的特征点，关键帧特征点或3D地图点的动态概率通过一定权重更新当前帧中特征点的动态概率；
    当前帧中任一特征点在受到匹配成功的特征点的动态概率影响后，其动态概率还会受到邻域高内动态概率特征点的影响：高动态率特征点由动态概率极高或极低的特征点组成，高动态率特征点会影响以其为中心、以一定像素距离为半径的区域内其余特征点的动态概率，
    S2、根据动态概率，剔除当前帧中的动态特征点，保留静态特征点，优化当前帧的位姿，然后进行关键帧判定，以最小化重投影误差为优化方程，当前帧位姿为优化对象构建位姿优化器，将动态概率高的特征点设置为外点，利用最小化重投影误差对当前帧位姿进行优化，将当前帧中重投影误差超过阈值的特征点作为外点去除，非线性优化将进行多次，在每次优化后计算所有点的重投影误差，若重投影误差小于阈值则将该点设置为内点，反之将该点设置为外点，外点不参与下一次优化过程，
    S3、若当前帧满足关键帧条件，对该关键帧进行目标检测，利用神经网络对该关键帧进行目标检测，使用预训练好的神经网络进行目标检测，对目标检测网络判定为动态类别的物体，使用语义分割算法提取出该物体在图像中轮廓作为动态区域，
    S4、根据关键帧目标检测的结果，对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应的的3D地图点的动态概率，动态物体类别需根据系统使用环境进行设定，在室内环境下设置人，猫，狗三个物体类别为动态物体类别，提取出动态物体轮廓区域作为动态区域，动态区域内的特征点被认定为动态点，其余特征点被认定为静态特征点，更新被检测关键帧所有特征点和与之相匹配的3D地图点的动态概率，
    S5、对动态概率更新后的关键帧输入局部建图线程，对系统维护的共视图进行更新，提取局部共视图，对关键帧和地图点的位姿进行局部优化，通过图优化方法对关键帧和3D地图点的位姿进行局部优化，以最小化重投影误差方程为优化方程，与当前帧共视程度高的其余帧位姿和地图点位姿为优化对象，构建图优化器，优化跟踪线程所求得位姿，
    S6、对当前帧进行回环检测与回环融合，消除系统的累积误差，利用回环融合结果更新本质图，并利用本质图对所有关键帧和地图点的位姿进行全局优化。
PCT/CN2020/138581 2020-08-31 2020-12-23 一种适用于室内动态环境的视觉slam方法 WO2022041596A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010895210.7 2020-08-31
CN202010895210.7A CN112132893B (zh) 2020-08-31 2020-08-31 一种适用于室内动态环境的视觉slam方法

Publications (1)

Publication Number Publication Date
WO2022041596A1 true WO2022041596A1 (zh) 2022-03-03

Family

ID=73847819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/138581 WO2022041596A1 (zh) 2020-08-31 2020-12-23 一种适用于室内动态环境的视觉slam方法

Country Status (2)

Country Link
CN (1) CN112132893B (zh)
WO (1) WO2022041596A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913235A (zh) * 2022-07-18 2022-08-16 合肥工业大学 一种位姿估计方法、装置及智能机器人
CN114937083A (zh) * 2022-05-27 2022-08-23 山东大学 一种应用于动态环境的激光slam系统及方法
CN115454055A (zh) * 2022-08-22 2022-12-09 中国电子科技南湖研究院 一种面向室内自主导航与作业的多层融合地图表示方法
CN115511970A (zh) * 2022-11-23 2022-12-23 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 一种面向自主泊车的视觉定位方法
CN115526811A (zh) * 2022-11-28 2022-12-27 电子科技大学中山学院 一种适应于多变光照环境的自适应视觉slam方法
CN115797412A (zh) * 2023-02-07 2023-03-14 广东技术师范大学 动态对象异常值并行检测方法、装置、系统、设备及介质
CN115994922A (zh) * 2023-03-23 2023-04-21 泉州装备制造研究所 运动分割方法、装置、电子设备及存储介质
CN116468786A (zh) * 2022-12-16 2023-07-21 中国海洋大学 一种面向动态环境的基于点线联合的语义slam方法
CN116539026A (zh) * 2023-07-06 2023-08-04 杭州华橙软件技术有限公司 地图构建方法、装置、设备及存储介质
CN116758148A (zh) * 2023-05-08 2023-09-15 苏州科技大学 动态环境下的slam方法和系统
CN117036408A (zh) * 2023-08-22 2023-11-10 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117274620A (zh) * 2023-11-23 2023-12-22 东华理工大学南昌校区 基于自适应均匀划分特征点提取的视觉slam方法
CN117392347A (zh) * 2023-10-13 2024-01-12 苏州煋海图科技有限公司 一种地图构建方法、装置、计算机设备及可读存储介质
CN117611677A (zh) * 2024-01-23 2024-02-27 北京理工大学 一种基于目标检测和结构化特征的机器人定位方法
CN118097030A (zh) * 2024-04-23 2024-05-28 华南农业大学 一种基于BundleFusion的三维重建方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884831B (zh) * 2021-02-02 2022-10-04 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
CN113192133B (zh) * 2021-04-13 2022-08-05 浙江大学 基于语义平面的单目即时定位与致密语义地图构建方法
CN113514058A (zh) * 2021-04-23 2021-10-19 北京华捷艾米科技有限公司 融合msckf和图优化的视觉slam定位方法及装置
CN113111973A (zh) * 2021-05-10 2021-07-13 北京华捷艾米科技有限公司 一种基于深度相机的动态场景处理方法及装置
CN113298692B (zh) * 2021-05-21 2024-04-16 北京索为云网科技有限公司 基于移动端浏览器实现实时设备位姿解算的增强现实方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140147032A1 (en) * 2010-11-09 2014-05-29 The Provost Fellows,and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth Method and System for Recovery of 3D Scene Structure and Camera Motion From a Video Sequence
US20170154471A1 (en) * 2014-06-26 2017-06-01 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
CN110298884A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
CN111311708A (zh) * 2020-01-20 2020-06-19 北京航空航天大学 一种基于语义光流和逆深度滤波的视觉slam方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN109387204B (zh) * 2018-09-26 2020-08-28 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN110009739B (zh) * 2019-01-29 2023-03-24 浙江省北大信息技术高等研究院 移动摄像机的数字视网膜的运动特征的提取与编码方法
CN110706248B (zh) * 2019-08-20 2024-03-12 广东工业大学 一种基于slam的视觉感知建图方法及移动机器人
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
CN111462135B (zh) * 2020-03-31 2023-04-21 华东理工大学 基于视觉slam与二维语义分割的语义建图方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140147032A1 (en) * 2010-11-09 2014-05-29 The Provost Fellows,and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth Method and System for Recovery of 3D Scene Structure and Camera Motion From a Video Sequence
US20170154471A1 (en) * 2014-06-26 2017-06-01 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
CN110298884A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
CN111311708A (zh) * 2020-01-20 2020-06-19 北京航空航天大学 一种基于语义光流和逆深度滤波的视觉slam方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937083A (zh) * 2022-05-27 2022-08-23 山东大学 一种应用于动态环境的激光slam系统及方法
CN114937083B (zh) * 2022-05-27 2024-04-02 山东大学 一种应用于动态环境的激光slam系统及方法
CN114913235A (zh) * 2022-07-18 2022-08-16 合肥工业大学 一种位姿估计方法、装置及智能机器人
CN115454055B (zh) * 2022-08-22 2023-09-19 中国电子科技南湖研究院 一种面向室内自主导航与作业的多层融合地图表示方法
CN115454055A (zh) * 2022-08-22 2022-12-09 中国电子科技南湖研究院 一种面向室内自主导航与作业的多层融合地图表示方法
CN115511970A (zh) * 2022-11-23 2022-12-23 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 一种面向自主泊车的视觉定位方法
CN115511970B (zh) * 2022-11-23 2023-03-24 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 一种面向自主泊车的视觉定位方法
CN115526811A (zh) * 2022-11-28 2022-12-27 电子科技大学中山学院 一种适应于多变光照环境的自适应视觉slam方法
CN115526811B (zh) * 2022-11-28 2023-03-24 电子科技大学中山学院 一种适应于多变光照环境的自适应视觉slam方法
CN116468786B (zh) * 2022-12-16 2023-12-26 中国海洋大学 一种面向动态环境的基于点线联合的语义slam方法
CN116468786A (zh) * 2022-12-16 2023-07-21 中国海洋大学 一种面向动态环境的基于点线联合的语义slam方法
CN115797412B (zh) * 2023-02-07 2023-05-16 广东技术师范大学 动态对象异常值并行检测方法、装置、系统、设备及介质
CN115797412A (zh) * 2023-02-07 2023-03-14 广东技术师范大学 动态对象异常值并行检测方法、装置、系统、设备及介质
CN115994922A (zh) * 2023-03-23 2023-04-21 泉州装备制造研究所 运动分割方法、装置、电子设备及存储介质
CN115994922B (zh) * 2023-03-23 2023-06-02 泉州装备制造研究所 运动分割方法、装置、电子设备及存储介质
CN116758148A (zh) * 2023-05-08 2023-09-15 苏州科技大学 动态环境下的slam方法和系统
CN116539026B (zh) * 2023-07-06 2023-09-29 杭州华橙软件技术有限公司 地图构建方法、装置、设备及存储介质
CN116539026A (zh) * 2023-07-06 2023-08-04 杭州华橙软件技术有限公司 地图构建方法、装置、设备及存储介质
CN117036408B (zh) * 2023-08-22 2024-03-29 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117036408A (zh) * 2023-08-22 2023-11-10 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117392347A (zh) * 2023-10-13 2024-01-12 苏州煋海图科技有限公司 一种地图构建方法、装置、计算机设备及可读存储介质
CN117392347B (zh) * 2023-10-13 2024-04-30 苏州煋海图科技有限公司 一种地图构建方法、装置、计算机设备及可读存储介质
CN117274620A (zh) * 2023-11-23 2023-12-22 东华理工大学南昌校区 基于自适应均匀划分特征点提取的视觉slam方法
CN117274620B (zh) * 2023-11-23 2024-02-06 东华理工大学南昌校区 基于自适应均匀划分特征点提取的视觉slam方法
CN117611677A (zh) * 2024-01-23 2024-02-27 北京理工大学 一种基于目标检测和结构化特征的机器人定位方法
CN117611677B (zh) * 2024-01-23 2024-05-14 北京理工大学 一种基于目标检测和结构化特征的机器人定位方法
CN118097030A (zh) * 2024-04-23 2024-05-28 华南农业大学 一种基于BundleFusion的三维重建方法

Also Published As

Publication number Publication date
CN112132893A (zh) 2020-12-25
CN112132893B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
WO2022041596A1 (zh) 一种适用于室内动态环境的视觉slam方法
CN109559320B (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
Yu et al. DS-SLAM: A semantic visual SLAM towards dynamic environments
CN112859859B (zh) 一种基于三维障碍物体素对象映射的动态栅格地图更新方法
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
CN110827395B (zh) 一种适用于动态环境的即时定位与地图构建方法
WO2021098082A1 (zh) 一种融合概率和高度信息的栅格地图障碍物检测方法
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN110751674A (zh) 多目标跟踪方法及相应视频分析系统
WO2022120997A1 (zh) 一种分布式slam系统及其学习方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN110728751A (zh) 一种室内3d点云语义地图的构建方法
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN112446882A (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
CN116091551B (zh) 一种基于多模态融合的目标检索跟踪方法及系统
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
CN113689459B (zh) 动态环境下基于gmm结合yolo实时跟踪与建图方法
Min et al. Coeb-slam: A robust vslam in dynamic environments combined object detection, epipolar geometry constraint, and blur filtering
CN112465858A (zh) 基于概率网格滤波的语义视觉slam方法
CN113255514A (zh) 基于局部场景感知图卷积网络的行为识别方法
Ji et al. A robust multi-object tracking SLAM system in dynamic scenes for stereo and RGB-D cameras
Zhou et al. Dynamic SLAM Algorithm Fusing Semantic Information and Geometric Constraints
Pan et al. Untrimmed Operator Standard Cleaning Action Parsing Based on Deep Learning Method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20951262

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20951262

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28.08.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20951262

Country of ref document: EP

Kind code of ref document: A1