WO2019157925A1 - 视觉惯性里程计的实现方法及系统 - Google Patents

视觉惯性里程计的实现方法及系统 Download PDF

Info

Publication number
WO2019157925A1
WO2019157925A1 PCT/CN2019/072921 CN2019072921W WO2019157925A1 WO 2019157925 A1 WO2019157925 A1 WO 2019157925A1 CN 2019072921 W CN2019072921 W CN 2019072921W WO 2019157925 A1 WO2019157925 A1 WO 2019157925A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
dimensional
image
posture
spatial
Prior art date
Application number
PCT/CN2019/072921
Other languages
English (en)
French (fr)
Inventor
王强
徐尚
张小军
Original Assignee
视辰信息科技(上海)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 视辰信息科技(上海)有限公司 filed Critical 视辰信息科技(上海)有限公司
Publication of WO2019157925A1 publication Critical patent/WO2019157925A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers

Definitions

  • Embodiments of the present invention relate to a computer vision technology, and in particular, to a method for implementing a visual inertia odometer. Embodiments of the invention also relate to a visual inertial odometer system.
  • Real-time tracking of the position and attitude of the device in an unknown environment is one of the core issues in the fields of augmented reality, virtual reality, navigation and control, mobile robots, unmanned driving, and drones.
  • simultaneous positioning and map construction SLAM
  • SLAM simultaneous positioning and map construction
  • Recently, positioning algorithms based on computer vision and inertial measurement unit fusion have received more and more attention due to low cost, high precision and strong complementarity.
  • This method of real-time device position and attitude tracking using the camera and IMU (Inertial Measurement Unit) information of the device itself is collectively referred to as visual inertial odometry.
  • Apple's ARKit feature is a typical visual odometer method, but only on a few of the latest iPhone models.
  • the ARCore feature launched by Google in the same year is only supporting a few of the latest latest mini phones.
  • Chinese patent document CN102538781A discloses a mobile robot motion attitude estimation method based on machine vision and inertial navigation fusion, and performs attitude tracking based on an extended Kalman filter framework, but the accuracy is low.
  • Chinese patent document CN107462259A discloses a variable baseline binocular visual inertial odometer and a method thereof, which are also based on the fusion of a binocular camera and inertial navigation.
  • Chinese patent document CN103292804B discloses a mobile robot positioning method assisted by a monocular natural visual road sign, which requires an environment map to be established in advance.
  • the World Intellectual Property Organization patent document WO2016187757A1 discloses a sensor fusion using inertial and image sensors, which is a visual inertial odometer technology for drone applications.
  • the technical problem to be solved by the present invention is to provide a method for implementing a visual inertial odometer, which can flexibly adapt a plurality of cameras and IMU combinations.
  • the technical solution of the method for implementing the visual inertial odometer of the embodiment of the present invention comprises the following steps:
  • the device collects image data in real time through the equipped camera, and collects angular velocity and acceleration data of the device in real time through the equipped IMU;
  • the IMU includes a gyroscope and an accelerometer;
  • the scene initialization module establishes an initial spatial three-dimensional map of the visual inertial odometer system according to the image data acquired by the camera in real time and the angular velocity and acceleration data collected by the IMU;
  • the second step specifically includes the following steps:
  • the feature points are respectively extracted on the multi-frame images collected by the camera, and the corresponding feature points are matched between the frames; according to the information of the feature point matching results, the initial spatial three-dimensional map and each frame corresponding are recovered by using the motion inference structure.
  • the relative spatial pose of the camera and the IMU is estimated, and the uniformity of the camera coordinate system and the IMU coordinate system is completed.
  • the map expansion module updates the spatial three-dimensional map in real time according to the new image data collected by the camera in real time on the basis of the spatial three-dimensional map established by the scene initialization module;
  • the method for updating the spatial three-dimensional map by the third step map expansion module is as follows:
  • the map expansion module receives the new image captured by the camera, and extracts the feature points from the image; according to the matching relationship between the extracted feature points and the map points, the following operations are performed respectively:
  • the triangulation method is used to calculate the three-dimensional corresponding to the feature points from the observation between the two or more cameras of the feature points. Spatial location, thereby adding new map points to the spatial three-dimensional map; or
  • the three-dimensional space coordinates of the map points are updated according to the corresponding two-dimensional image feature points and the image corresponding device positions and postures.
  • the feature points are deleted from the spatial three-dimensional map
  • the three-dimensional spatial position of multiple feature points on the initial spatial three-dimensional map is optimized at the same time, so that the overall observation error of the plurality of map points corresponding to the camera observation is minimized, and the positions of all the map points on the spatial three-dimensional map are updated.
  • the attitude estimation module receives the image data collected by the camera in real time and the angular velocity and acceleration data collected by the IMU, and uses the spatial constraint relationship between the current image feature point and the three-dimensional map point maintained by the map expansion module, and between the image frames.
  • the feature matching constraint relationship and the constraint information of the IMU between the image frames calculate the position and posture of the device corresponding to each frame image, and output the position and posture information of the device in the current environment.
  • Step 1 The attitude estimation module calculates a rough device position and posture according to the latest one frame image collected by the camera and the angular velocity and acceleration data information collected by the corresponding inter-frame IMU;
  • Step 2 The pose estimation module acquires the correspondence between the two-dimensional feature points on the image and the existing three-dimensional map points by extracting feature points from the current image on the current image; the correspondence between the three-dimensional and two-dimensional maps As a constraint on the position and pose estimation of the current device;
  • the attitude estimation module obtains a matching relationship between the current image frame and the previous two image points from the two-dimensional point to the two-dimensional point through the feature point tracking algorithm; the two-dimensional to two-dimensional matching relationship is used as the frame Constraints on the position and posture of the device;
  • Step 3 by means of numerical integration, converting the angular velocity and acceleration data of all IMUs between image frames into a constraint relationship between the current frame device posture and the previous frame device posture;
  • Step 4 Using the numerical optimization algorithm, using the common constraint of the vision and the IMU as the optimization target item, using the rough device position and posture as the optimization initial value, and obtaining the optimized device position and attitude information, as the attitude estimation module. Output.
  • the method further includes: if the attitude estimation module is unable to calculate the position and posture of the camera corresponding to the current frame image, the current frame image data collected by the camera and the angular velocity and acceleration data collected by the IMU are received by the relocation module.
  • the relocation module restores the position and posture of the current device by searching the matching relationship between the current frame image and the feature points of all the map points; after that, the camera continues to acquire image data, and the new image data and the angular velocity and acceleration data collected by the IMU are
  • the attitude estimation module receives and performs the fourth step operation.
  • Step one extracting a two-dimensional feature point and a corresponding feature description in the current image
  • Step 2 using an image matching search algorithm to establish a correspondence between feature points and map points in the image
  • Step 3 estimating the position and posture of the device by using the correspondence between the feature points and the map points in the image;
  • step 4 it is verified whether the position and posture of the device are reasonable. If it is reasonable, the normal working state is restored, otherwise the next frame image still enters the relocation module.
  • the embodiment of the invention further provides a visual inertial odometer system, the technical solution of which comprises a memory and a processor, wherein:
  • the memory for storing code and related data
  • the processor is configured to invoke data in the memory to execute code in the memory; executing the code in the memory can perform the method steps of any one of claims 1 to 6.
  • the embodiment of the invention further provides a visual inertial odometer system, wherein the technical solution is
  • a camera for acquiring image data in real time
  • An IMU for collecting angular velocity and acceleration data of the device including a gyroscope and an accelerometer;
  • a scene initialization module for initial space three-dimensional map creation of a visual inertial odometer system
  • the scene initialization module is specifically configured to separately extract feature points on the multi-frame image collected by the camera, and perform corresponding feature point matching between frames; and use the method of inferring the structure from the motion according to the information of the feature point matching result Recovering the initial spatial three-dimensional map and the corresponding device position and posture of each frame; estimating the relative spatial position of the camera and the IMU by using the spatial three-dimensional map and the corresponding device position and posture of each frame and the angular velocity and acceleration data of the IMU Position, complete the unity of the camera coordinate system and the IMU coordinate system.
  • a map expansion module configured to update a spatial three-dimensional map established by the scene initialization module in real time
  • map expansion module is specifically configured to receive a new image captured by the camera, and extract feature points from the image; and perform the following operations according to different matching relationships between the extracted feature points and the map points:
  • the triangulation method is used to calculate the three-dimensional corresponding to the feature points from the observation between the two or more cameras of the feature points. Spatial location, thereby adding new map points to the spatial three-dimensional map; or
  • the three-dimensional space of the map points is updated according to the corresponding two-dimensional image feature points and the position and posture of the image corresponding device. Coordinates to update the position of a single map point on a spatial 3D map; or
  • the feature points are deleted from the spatial three-dimensional map
  • the three-dimensional spatial position of multiple feature points on the initial spatial three-dimensional map is optimized at the same time, so that the overall observation error of the plurality of map points corresponding to the camera observation is minimized, and the positions of all the map points on the spatial three-dimensional map are updated.
  • the attitude estimation module calculates the corresponding image of each frame by using the spatial constraint relationship between the current image feature point and the three-dimensional map point maintained by the map expansion module, the feature matching constraint relationship between the image frames, and the constraint information of the IMU between the image frames.
  • the position and posture of the device to obtain the position and posture information of the device in the current environment.
  • attitude estimation module is specifically configured to calculate a rough device position and posture according to the latest one frame image collected by the camera and the angular velocity and acceleration data information collected by the corresponding inter-frame IMU;
  • the feature relationship between the two-dimensional feature point on the image and the existing three-dimensional map point is obtained by extracting the feature point and the map point on the current image, and the corresponding relationship between the two-dimensional to two-dimensional map point is used as the current device position and Constraint of pose estimation; and/or, the pose estimation module obtains a matching relationship between the current image frame and the previous two image points from the two-dimensional point to the two-dimensional point through the feature point tracking algorithm; the two-dimensional to two-dimensional The matching relationship is the constraint of the position and posture of the inter-frame device;
  • the angular velocity and acceleration data of all IMUs between image frames are converted into a constraint relationship between the current frame device pose and the previous frame device pose by means of numerical integration;
  • the common constraint of the vision and the IMU is used as the optimization target item, and the approximate device position and posture are used as the optimized initial value, and the optimized device position and attitude information is obtained as the output of the attitude estimation module.
  • system further includes: a relocation module, configured to: when the posture estimation module cannot calculate the position and posture of the device corresponding to the current frame image, receive the current frame image data collected by the camera and the IMU collected The angular velocity and acceleration data, and restore the position and posture of the current device by searching the matching relationship between the current frame image and the feature points between the map points.
  • a relocation module configured to: when the posture estimation module cannot calculate the position and posture of the device corresponding to the current frame image, receive the current frame image data collected by the camera and the IMU collected The angular velocity and acceleration data, and restore the position and posture of the current device by searching the matching relationship between the current frame image and the feature points between the map points.
  • the relocation module is specifically configured to extract a two-dimensional feature point and a corresponding feature description in the current image; and use an image matching search algorithm to establish a correspondence between the feature point and the map point in the image;
  • the feature point corresponds to the map point, and the position and posture of the device are estimated; whether the position and posture of the device are verified to be reasonable, if it is reasonable, the normal working state is restored, otherwise the next frame image still enters the relocation module.
  • the invention realizes a robust and easy-to-use system initialization process through a scene initialization module, and implements image and map projection relationship constraints, image frame matching constraints, and joint constraint of visual information and IMU information through position estimation module to perform position and posture optimization.
  • the relocation module implements a failure processing and relocation algorithm to obtain real-time position and attitude information of the device.
  • the invention realizes environment modeling through a scene initialization module, and can also track and locate for an unknown environment.
  • FIG. 1 is a schematic flow chart of a method and system for implementing a visual inertial odometer according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a visual inertial odometer system according to an embodiment of the present invention
  • FIG. 3 is a block diagram of a visual inertial odometer system in accordance with an embodiment of the present invention.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • a method for implementing a visual inertial odometer includes the following steps:
  • the device collects image data in real time through the camera; and acquires angular velocity and acceleration data of the device in real time through an inertial measurement unit (IMU);
  • the IMU includes a gyroscope and an accelerometer, and the angular velocity and acceleration collected by the IMU
  • the data can also be referred to as the collected data of the IMU;
  • the scene initialization module establishes an initial space of the visual inertial odometer system according to the image data collected by the camera in real time and the angular velocity data of the device collected by the IMU using the gyroscope and the acceleration data collected by using the accelerometer.
  • the second step (S2) may comprise the following steps:
  • the feature points are respectively extracted on the multi-frame images collected by the camera, and the corresponding feature points are matched between the frames; according to the information of the feature point matching results, the initial space three-dimensional is recovered by using the structure from motion.
  • the relative spatial pose of the camera and the IMU is estimated, and the camera coordinate system and the IMU coordinate system are unified.
  • the map expansion module updates the spatial three-dimensional map in real time according to the new image data collected by the camera in real time on the basis of the spatial three-dimensional map established by the scene initialization module;
  • the attitude estimation module receives the image data collected by the camera in real time and the collected data of the IMU, and uses the spatial constraint relationship between the current image feature point and the three-dimensional map point maintained by the map expansion module, and the feature matching between the image frames.
  • the constraint relationship and the constraint information of the IMU of the image inter-frame calculate the position and posture of the device corresponding to each frame image, and output the position and posture information of the device in the current environment; preferably, the fourth step (S4) may include:
  • Step 1 The attitude estimation module calculates a rough device position and posture according to the latest one frame image collected by the camera and the corresponding IMU acquisition data of the interframe;
  • Step 2 The pose estimation module acquires the correspondence between the two-dimensional feature points on the image and the existing three-dimensional map points by extracting feature points from the current image on the current image; the correspondence between the three-dimensional and two-dimensional maps Can be used as a constraint on the position and pose estimation of the current device;
  • the attitude estimation module obtains a matching relationship between the current image frame and the previous two image points from the two-dimensional point to the two-dimensional point through the feature point tracking algorithm; the two-dimensional to two-dimensional matching relationship may also As a constraint on the position and posture of the interframe device;
  • Step 3 by means of numerical integration, convert the angular velocity and acceleration data of all IMUs between image frames into a constraint relationship between the current frame device pose and the previous frame device pose;
  • the above steps 2 and 3 can be used together as a nonlinear optimization problem, and the optimization method is used, and then the variables that need to be optimized (such as the position and posture of the device, the spatial position of the map point) are uniformly optimized to obtain a more accurate current image frame.
  • the position pose estimate is used as the output of the pose estimation module.
  • the posture estimation module fails to calculate the position and posture of the device corresponding to the current frame image according to the map maintained by the map expansion module and the constraint information from the IMU, the position and posture of the device are not Reasonable (such as camera occlusion, camera moving fast, camera shooting without texture, etc.), the current frame image data collected by the camera and the IMU's collected data are received by the relocation module, and the relocation module searches for the current frame image and map.
  • the matching relationship between the devices regains the position and posture of the current device; after that, the camera continues to acquire image data, and the new image data and the collected data of the IMU are received by the pose estimation module, and the fourth step (S4) of the foregoing steps is performed.
  • the method flow when the relocation module performs relocation is as follows:
  • Step one extracting a two-dimensional feature point and a corresponding feature description in the current image
  • Step 2 using an image matching search algorithm to establish a correspondence between feature points and map points in the image
  • Step 3 estimating the position and posture of the device by using the correspondence between the feature points and the map points in the image;
  • Step 4 Verify whether the position and posture of the device are reasonable. If it is reasonable, return to the normal working state (ie, the attitude estimation module performs the fourth step operation), otherwise the next frame image still enters the relocation module.
  • an embodiment of the present invention further provides a visual inertial odometer system, including a camera 21, an IMU 22, a scene initialization module 23, a map expansion module 24, and a pose estimation module 25, wherein:
  • the camera 21 is configured to collect image data in real time
  • An IMU 22 for collecting angular velocity and acceleration data of the device including a gyroscope and an accelerometer;
  • a scene initialization module 23 configured for initial spatial three-dimensional map of the visual inertial odometer system
  • the map expansion module 24 is configured to update the spatial three-dimensional map established by the scene initialization module 23 in real time;
  • the attitude estimation module 25 calculates the corresponding image of each frame by using the spatial constraint relationship between the current image feature point and the three-dimensional map point maintained by the map expansion module, the feature matching constraint relationship between the image frames, and the constraint information of the IMU between the image frames. The position and posture of the device, thereby obtaining the position and posture information of the device in the current environment.
  • the device may be a smart terminal integrated with a visual inertial odometer system such as a smart phone, a handheld device, a PAD, or the like.
  • a visual inertial odometer system such as a smart phone, a handheld device, a PAD, or the like.
  • the scene initialization module is specifically configured to separately extract feature points on a multi-frame image collected by the camera, and perform corresponding feature point matching between frames; and use the slave motion according to the information of the feature point matching result. Inferring the structure, recovering the initial spatial three-dimensional map and the corresponding device position and posture of each frame;
  • the relative spatial position of the camera and the IMU is estimated, and the unit coordinate system and the IMU coordinate system are unified.
  • the map expansion module is specifically configured to receive a new image collected by the camera, and extract feature points from the image, and perform the following operations according to different matching relationships between the extracted feature points and the map points:
  • the triangulation method is used to calculate the three-dimensional corresponding to the feature points from the observation between the two or more cameras of the feature points. Spatial location, thereby adding new map points to the spatial three-dimensional map; or
  • the three-dimensional space coordinates of the map points are updated according to the corresponding two-dimensional image feature points and the image corresponding device positions and postures.
  • the feature points are deleted from the spatial three-dimensional map
  • the three-dimensional spatial position of multiple feature points on the initial spatial three-dimensional map is optimized at the same time, so that the overall observation error of the plurality of map points corresponding to the camera observation is minimized, and the positions of all the map points on the spatial three-dimensional map are updated.
  • the posture estimation module is specifically configured to calculate a rough device position and posture according to the latest one frame image collected by the camera and the corresponding inter-frame IMU acquisition data;
  • the feature relationship between the two-dimensional feature point on the image and the existing three-dimensional map point is obtained by extracting the feature point and the map point on the current image, and the corresponding relationship between the two-dimensional to two-dimensional map point is used as the current device position and Constraint of pose estimation; and/or, through the feature point tracking algorithm, obtain a matching relationship between the current image frame and the previous two image points from the two-dimensional point to the two-dimensional point; the two-dimensional to two-dimensional matching relationship As a constraint on the position and posture of the interframe device;
  • the collected data of all IMUs between image frames is converted into a constraint relationship between the current frame device pose and the previous frame device pose;
  • the common constraint of the vision and the IMU is used as the optimization target item, and the approximate device position and posture are used as the optimized initial value, and the optimized device position and attitude information are obtained as the output of the attitude estimation module.
  • system further includes:
  • a relocation module configured to: when the posture estimation module is unable to calculate the position and posture of the device corresponding to the current frame image, receive the current frame image data collected by the camera and the collected data of the IMU, and search for the current frame image and the map by searching The matching relationship between the feature points regains the position and posture of the current device.
  • the relocation module is specifically configured to extract a two-dimensional feature point and a corresponding feature description in a current image; and use an image matching search algorithm to establish a correspondence between a feature point and a map point in the image;
  • the feature points in the above image and the map points correspond to each other, and the device position and posture are estimated; whether the position and posture of the device are verified is reasonable, and if it is reasonable, the normal working state is restored; otherwise, the next frame image still enters the relocation module.
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • the implementation method of the visual inertial odometer provided by the embodiment of the present invention specifically illustrates the technical solution of the present invention by using a smart phone to perform positioning and tracking of a real-time mobile phone in an unknown indoor environment.
  • the smart phone uses a smart phone equipped with a camera, a gyroscope, and an accelerometer, the smart phone also integrates the visual inertial odometer system provided by the embodiment of the present invention.
  • the smart phone can be regarded as Equipment; visual inertial odometer system can obtain real-time 2D image input and IMU input of the camera in real time; camera captures images at a fixed frame rate, such as 30 Hz, the image size of the camera can be set according to the actual mobile computing power, such as 720p
  • the frequency of gyroscopes and accelerometers is usually higher than the camera frequency, such as 200 Hz;
  • Start a visual inertial odometer system and hold a smart phone in an indoor scene such as an office, a home, a pavilion, etc., and the system photographs a user's surrounding environment through a camera, and the environmental information may include walls, stationery, decoration, carpet, furniture, and household.
  • the system obtains a fixed frame rate such as 30 Hz image input I, the gyroscope records the three-axis rotational angular velocity ⁇ of the mobile phone relative to its own coordinate system in real time, and the accelerometer records the accelerometer ⁇ of the mobile phone relative to its own coordinate system in real time; image input I
  • the output ⁇ of the gyroscope and the output ⁇ of the accelerometer and the corresponding acquisition time are collectively used as inputs to the visual inertial odometer system;
  • the visual inertial odometer system is in an uninitialized state when it is started. After receiving the image sequence input by the camera and the data collected by the IMU (the data of the gyroscope and the accelerometer), the system is first sent to the initialization module for system. Initialization
  • the specific method of system initialization is:
  • Step 1 The initialization module establishes a three-dimensional space map of the initial environment, and determines system parameters; the initialization module extracts feature points (such as ORB, etc.) on the two frames of images according to the relative attitude of the two frames of image acquisition time, and performs matching to obtain a number of After matching the pair of points, the relative position and attitude T Cam of the mobile phone in the camera coordinate system are obtained by the five-point method or the eight-point method in the multi-view geometry of the computer;
  • feature points such as ORB, etc.
  • Step 2 Since the environment is unknown to the positioning system, the system needs to establish a three-dimensional map structure of the surrounding environment.
  • a typical three-dimensional map is composed of three-dimensional points determined by positions in a plurality of spaces; according to the structure method from the motion, when the position of the mobile phone changes At the same time, the three-dimensional position of the spatial point is calculated by the disparity caused by the different spatial position points in different positions in the two images; the initialization module extracts some feature points and matches them according to the obtained image sequence, and then judges the matching features.
  • the triangulation method is used.
  • the three-dimensional position of the feature point is recovered; the feature points of the plurality of known three-dimensional positions can be used as the initial spatial three-dimensional map; the position and posture T of the mobile phone output by the subsequent system are relative to the three-dimensional map coordinate system;
  • a typical representation of the position and attitude includes the spatial position x, y, z and partial Angle ⁇ , a pitch angle and roll angle ⁇
  • Step 3 The initialization module needs to calculate other relative parameters of the system in addition to the above-mentioned camera input to determine the relative posture of the camera at different times and the initial three-dimensional space map.
  • a typical parameter is the transformation relationship between the camera coordinate system and the IMU coordinate system.
  • the initialization module can obtain the relative position and attitude T IMU of the mobile phone in the IMU coordinate system at two times by integrating the IMU data between the image frames obtained by the two cameras according to Newtonian mechanics;
  • the system initialization is completed, and the camera and IMU input received by the subsequent system will be sent to the attitude estimation module, and the map and IMU information established by the initialization module are combined to track the location of the smart phone in real time. Attitude; if the system initialization is not successful, the next camera input continues to repeat the above initialization process;
  • the input of the attitude estimation module is a new one-frame image, and the acceleration measurement value and the angular velocity measurement value of several IMU outputs between the previous frame image; the output of the attitude estimation module is the image acquisition time of the corresponding time of the frame.
  • the position and posture of the mobile phone such as the aforementioned spatial position x, y, z and yaw angle ⁇ , pitch angle ⁇ and roll angle
  • the attitude estimation module converts the position and attitude estimation problem into an optimization problem for the camera pose, that is, minimizes the joint constraint arg min (L0+L1+L2);
  • the energy function includes three items, where L0 corresponds to the 2D-three-dimensional projection error of the current image feature points and map points; L0 can be constrained by estimating which map points can be observed, and then performing 3D to 2D search matching for corresponding constraints.
  • the Euclidean distance between the position of the projection point of the current frame and the position of the feature point on the matching frame should be as small as possible;
  • L1 corresponds to the second between the current image and the previous image frame.
  • Dimensional-two-dimensional constraint relationships can be used to track feature points between adjacent frames and then establish corresponding geometric constraint relationships. For example, in computer vision geometry, matching feature point pairs must satisfy polar line constraints, that is, of course frame feature points.
  • the Euclidean distance to the polar line corresponding to the feature point of the previous frame is as small as possible;
  • L2 corresponds to all IMU observations between image frames. The constraint information.
  • the specific method is as follows: assuming that the relative position and posture between the camera and the IMU on the device are unchanged, that is, the rigid body transformation is satisfied, and the transformation relationship has been estimated as a parameter of the system in the scene initialization module, that is, cam T IMU ; then according to the image information It is calculated that the pose of the device in the camera coordinate system at two times t-1 and t is transformed into Tcam; using the angular velocity and acceleration data collected by the IMU, the relative poses of the two moments are obtained in the IMU coordinate system.
  • the form is Timu; under the assumption of relative position and attitude between the camera and the IMU, the above variables should still satisfy the Tcam as close as possible to the cam T IMU *Timu.
  • the difference between the two norms can be used as the IMU pair.
  • Constraint of pose Actually, the result of the optimization algorithm depends on the initial value of the pose, so you can combine the IMU data with the pose of the previous frame and obtain a rough current frame by the simple IMU information propagation strategy.
  • Attitude estimation as the initial value of numerical optimization; finally, by optimizing the above joint constraints, iteratively obtain the optimized mobile phone position Attitude, attitude is the estimated output modules.
  • the three-dimensional map established by the initialization module is initialized. It needs to be extended with the movement of the mobile phone; when the attitude estimation module has obtained an accurate estimation of the camera posture of the current image time, the map expansion module uses the frame image to update the spatial three-dimensional map; by establishing the feature points on the current frame and the previous image frame The matching relationship between the pairs of points that do not have corresponding 3D points can be calculated by triangulation in three-dimensional position in space, and then added to the map; the map expansion module is also responsible for some wrong maps. Click to delete, if a map point should be observed according to its position and camera pose, and several times find the corresponding two-dimensional point, then it is considered that the initial position estimate is wrong or the observed scene changes, then The map can be removed from the map;
  • the embodiment of the invention belongs to a universal internal-out device (mobile phone, glasses, helmet, etc.) tracking method, which utilizes a camera (RGB, RGBD, binocular, etc.) and an inertial measurement unit ( IMU), which can calculate the position and attitude information of the device in the current environment in real time.
  • a camera RGB, RGBD, binocular, etc.
  • IMU inertial measurement unit
  • the invention can flexibly adapt various cameras and IMU combinations (such as a combination of monocular camera + IMU, binocular camera and IMU), can widely support current mainstream mobile phones, smart glasses, helmets, etc., and provides universal and robust The solution is therefore versatile.
  • the input of the visual inertial odometer system of the present invention is the image data output by the camera itself in real time and the data of the gyro and acceleration collected by the IMU, and the time corresponding to the two; the output is the position and posture information of the device in real time.
  • the invention can be widely applied in the fields of augmented reality, virtual reality, navigation, mobile robots, drones, unmanned driving and the like.
  • Embodiment 4 is a diagrammatic representation of Embodiment 4:
  • the visual inertial odometer system provided by the embodiment of the present invention further includes a memory 41 for storing code and related data, and a processor 42 for calling the memory 41.
  • the data in the memory 41 is executed, and the code in the memory 41 can be implemented to implement the visual inertia odometer provided in the first embodiment and the second embodiment.
  • the specific method steps refer to the description of the foregoing embodiment. No longer.
  • the memory 41 may include a volatile memory, such as a random access memory (RAM), and the RAM may include a static RAM or a dynamic RAM.
  • the memory 41 may also include a non-volatile memory such as a read-only memory (PROM), a programmable read-only memory (PROM), and a rewritable memory.
  • PROM read-only memory
  • PROM programmable read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • the memory 41 may also be an external flash memory, at least one disk storage or a buffer.
  • the processor 42 may be a central processing unit (CPU), and the processor may also be other general-purpose control processors, digital signal processing (DSP), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware component, etc.
  • the general purpose control processor may be a micro control processor or any conventional control processor such as a microcontroller or the like.
  • the disclosed system, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the modules or units is only a logical function division.
  • there may be another division manner for example, multiple units or components may be used. Combinations can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the processor executes, and the aforementioned program, when executed, can execute all or part of the steps including the above method embodiments.
  • the processor may be implemented as one or more processor chips, or may be part of one or more application specific integrated circuits (ASICs); and the foregoing storage medium may include but not be limited to the following types. Storage medium: flash memory, read-only memory (ROM), random access memory (RAM), mobile hard disk, disk or optical disk, etc. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

一种视觉惯性里程计的实现方法，包括以下步骤：第一步，通过相机（21）实时采集图像数据；通过IMU（22）采集陀螺仪和加速度的数据（S1）；第二步，场景初始化模块（23）建立视觉惯性里程计系统的初始空间三维地图（S2）；第三步，地图扩展模块（24）对空间三维地图进行实时更新（S3）；第四步，姿态估计模块（25）接收计算出每一帧图像对应的设备的位置和姿态；通过场景初始化模块（23）实现鲁棒易用的系统初始化过程，通过姿态估计模块（25）实现视觉信息与IMU（22）信息的联合约束进行位置和姿态优化，通过重定位模块实现失败处理和重定位算法，能够得到设备实时的位置和姿态信息（S4）；还包括一种视觉惯性里程计系统。

Description

视觉惯性里程计的实现方法及系统 技术领域
本发明实施例涉及一种计算机视觉技术，具体涉及一种视觉惯性里程计的实现方法。本发明实施例还涉及一种视觉惯性里程计系统。
背景技术
实时追踪设备在未知环境中的位置与姿态问题，是增强现实、虚拟现实、导航与控制、移动机器人、无人驾驶、无人机等领域的核心问题之一。作为解决此类问题的最常用方法，同时定位与地图构建(SLAM)也在机器人学和计算机视觉等相关领域被广泛研究。最近，基于计算机视觉和惯性测量单元融合的定位算法，由于成本低、精度高、互补性强受到越来越多的关注。这种利用设备本身的相机和IMU(惯性测量单元)信息，进行实时设备位置和姿态追踪的方法，统称为视觉惯性里程计(visual inertial odometry)。
苹果公司在2017年推出的ARKit功能是一种典型的视觉里程计方法，但是仅在少数最新iPhone机型才可以支持。谷歌公司在同年推出的ARCore功能，也是仅支持少数几款最新旗舰手机。
中国专利文献CN102538781A公开了一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法，基于扩展卡尔曼滤波框架进行姿态追踪，但精度偏低。
中国专利文献CN107462259A公开了一种变基线双目视觉惯性里程计及其方法，同样是基于双目摄像头和惯性导航的融合。
中国专利文献CN103292804B公开了一种单目自然视觉路标辅助的移动机器人定位方法，需要预先建立环境地图。
世界知识产权组织专利文献WO2016187757A1公开了一种基于惯性和图像传感器的传感器融合方法(Sensor fusion using inertial and image sensors)，是针对无人机应用的视觉惯性里程计技术。
上述文献所公开的技术，针对特定硬件如双目相机和IMU，而不适用于单目相机和IMU。并且系统计算复杂，实时性差，功耗高，难以用于处理能力较 弱、耗电功能较低的移动设备。
发明内容
本发明所要解决的技术问题是提供一种视觉惯性里程计的实现方法，它可以灵活适配多种相机和IMU组合。
为解决上述技术问题，本发明实施例视觉惯性里程计的实现方法的技术解决方案为，包括以下步骤：
第一步，设备通过配备的相机实时采集图像数据，通过配备的IMU实时采集设备的角速度和加速度数据；所述IMU包括陀螺仪和加速度计；
第二步，场景初始化模块根据相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，建立视觉惯性里程计系统的初始空间三维地图；
进一步地，所述第二步具体包括以下步骤：
在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据，估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
第三步，地图扩展模块在场景初始化模块建立起来的空间三维地图的基础上，根据相机实时采集的新的图像数据，对空间三维地图进行实时更新；
进一步地，所述第三步地图扩展模块对空间三维地图进行更新的方法如下：
地图扩展模块接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备位置和姿态，更新该地 图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
第四步，姿态估计模块接收相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，输出设备在当前环境中的位置和姿态信息。
进一步地，所述第四步中计算每一帧图像对应的设备的位置和姿态的具体方法如下：
步骤一，姿态估计模块根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
步骤二，姿态估计模块通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；
和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
步骤三，通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
步骤四，通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
进一步地，所述方法还包括：如果姿态估计模块无法计算出当前帧图像对应的相机的位置和姿态，则相机所采集的当前帧图像数据和IMU采集的角速度 和加速度数据由重定位模块接收，重定位模块通过搜索当前帧图像与所有地图点之间特征点的匹配关系，重新恢复出当前设备的位置和姿态；之后相机继续采集图像数据，新的图像数据和IMU采集的角速度和加速度数据由姿态估计模块接收，执行第四步操作。
进一步地，所述第四步中重定位模块的流程如下：
步骤一，提取当前图像中的二维特征点和对应特征描述；
步骤二，利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；
步骤三，利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；
步骤四，验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
本发明实施例还提供一种视觉惯性里程计系统，其技术解决方案为，包括存储器和处理器，其中：
所述存储器，用于存储代码和相关数据；
所述处理器，用于调用所述存储器中的数据，执行所述存储器中的代码；执行所述存储器中的代码能实施如权利要求1至6任一项所述的方法步骤。
本发明实施例还提供一种视觉惯性里程计系统，其技术解决方案为，包括
相机，用于实时采集图像数据；
IMU，用于采集设备的角速度和加速度数据，所述IMU包括陀螺仪的和加速度计；
场景初始化模块，用于视觉惯性里程计系统的初始空间三维地图建立；
进一步地，所述场景初始化模块，具体用于在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
地图扩展模块，用于实时更新场景初始化模块建立起来的空间三维地图；
进一步地，所述地图扩展模块，具体用于接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备的位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
姿态估计模块，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，从而得到设备在当前环境中的位置和姿态信息。
进一步地，所述姿态估计模块，具体用于根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据， 转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
进一步地，所述系统还包括：重定位模块，用于当所述姿态估计模块无法计算出当前帧图像对应的设备的位置和姿态时，则接收相机所采集的当前帧图像数据和IMU采集的的角速度和加速度数据，并通过搜索当前帧图像与地图点之间特征点的匹配关系，重新恢复出当前设备的位置和姿态。
更进一步地，所述重定位模块，具体用于提取当前图像中的二维特征点和对应特征描述；利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；利用上述图像中的特征点与地图点对应关系，估算出设备的位置和姿态；验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
本发明可以达到的技术效果是：
本发明通过场景初始化模块实现鲁棒易用的系统初试化过程，通过姿态估计模块实现图像和地图投影关系约束、图像帧间匹配约束以及视觉信息与IMU信息的联合约束进行位置和姿态优化，通过重定位模块实现失败处理和重定位算法，能够得到设备实时的位置和姿态信息。
本发明通过场景初始化模块实现环境建模，对于未知环境同样可以进行跟踪和定位。
附图说明
本领域的技术人员应理解，以下说明仅是示意性地说明本发明实施例的原理，所述原理可按多种方式应用，以实现许多不同的可替代实施方式。这些说明仅用于示出本发明实施例的教导内容的一般原理，不意味着限制在此所公开的发明构思。
结合在本说明书中并构成本说明书的一部分的附图示出了本发明实施例的实施方式，并且与上文的总体说明和下列附图的详细说明一起用于解释本发明 实施例的原理。
下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1是本发明实施例视觉惯性里程计的实现方法及系统的流程示意图；
图2是本发明实施例视觉惯性里程计系统的示意图；
图3是本发明实施例视觉惯性里程计系统的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
实施例一：
如图1所示，本发明实施例视觉惯性里程计的实现方法，包括以下步骤：
第一步(S1)，设备通过相机实时采集图像数据；通过惯性测量单元(IMU)实时采集设备的角速度和加速度数据；所述IMU包含陀螺仪和加速度计，所述IMU采集的角速度和加速度的数据也可以简称为IMU的采集数据；
第二步(S2)，场景初始化模块根据相机实时采集的图像数据和IMU使用陀螺仪所采集到的设备的角速度数据和使用加速度计所采集到的加速度数据，建立视觉惯性里程计系统的初始空间三维地图；
优选地，该第二步(S2)可以包括以下步骤：
在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构(structure from motion)的方式，逐步恢复出初始空间三维地图和每一帧对应的设备位置和姿态；优选地，空间三维地图由一些稀疏的三维地图点组成；
然后利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的采集数据，估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
第三步(S3)，地图扩展模块在场景初始化模块建立起来的空间三维地图的基础上，根据相机实时采集的新的图像数据，对空间三维地图进行实时更新；
第四步(S4)，姿态估计模块接收相机实时采集的图像数据和IMU的采集数据，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，输出设备在当前环境中的位置和姿态信息；优选地，第四步(S4)可以包括：
步骤一，姿态估计模块根据相机所采集的最新的一帧图像和对应的帧间IMU的采集数据，计算出粗略的设备位置和姿态；
步骤二，姿态估计模块通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系可以作为当前设备的位置和姿态估计的约束；
和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系也可以作为帧间设备的位置和姿态的约束；
步骤三，通过数值积分的方式，将图像帧间所有IMU的角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
上述步骤二和步骤三可以共同作为一个非线性优化问题，利用优化方法，然后对于需要优化的变量(如设备的位置和姿态、地图点的空间位置)等统一优化，得到更准确的当前图像帧的位置姿态估计，作为姿态估计模块的输出。
在本发明实施例中，如果姿态估计模块根据地图扩展模块所维护的地图和来自于IMU的约束信息，无法计算出当前帧图像对应的设备的位置和姿态，说明此时设备的位置和姿态不合理(如相机被遮挡、相机快速移动、相机拍摄没有纹理的区域等)，则相机所采集的当前帧图像数据和IMU的采集数据由重定位模块接收，重定位模块通过搜索当前帧图像与地图之间匹配关系，重新恢复出当前设备的位置和姿态；之后相机继续采集图像数据，新的图像数据和IMU 的采集数据由姿态估计模块接收，执行前述步骤中第四步(S4)的操作。
在本发明实施例中，重定位模块进行重定位时的方法流程如下：
步骤一，提取当前图像中的二维特征点和对应特征描述；
步骤二，利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；
步骤三，利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；
步骤四，验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态(即姿态估计模块执行第四步操作)，否则下一帧图像仍进入重定位模块。
实施例二
如图2所示，本发明实施例还提供了一种视觉惯性里程计系统，包括相机21、IMU22、场景初始化模块23、地图扩展模块24和姿态估计模块25，其中：
相机21，用于实时采集图像数据；
IMU22，用于采集设备的角速度和加速度数据，所述IMU包括陀螺仪和加速度计；
场景初始化模块23，用于视觉惯性里程计系统的初始空间三维地图建立；
地图扩展模块24，用于实时更新场景初始化模块23建立起来的空间三维地图；
姿态估计模块25，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，从而得到设备在当前环境中的位置和姿态信息。
在本发明实施例中，所述的设备可以是集成了一种视觉惯性里程计系统的智能终端例如智能手机、手持设备、PAD等。
在本发明实施例中，所述场景初始化模块，具体用于在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的 信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
然后利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的采集数据，估算相机与IMU的相对空间位置，完成相机坐标系与IMU坐标系的统一。
在本发明实施例中，所述地图扩展模块，具体用于接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
在本发明实施例中，所述姿态估计模块，具体用于根据相机所采集的最新的一帧图像和对应的帧间IMU的采集数据，计算出粗略的设备位置和姿态；
通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；和/或，通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
通过数值积分的方式，将图像帧间所有IMU的采集数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利 用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
在本发明实施例中，所述系统还包括：
重定位模块，用于当所述姿态估计模块无法计算出当前帧图像对应的设备的位置和姿态，则接收相机所采集的当前帧图像数据和IMU的采集数据，并通过搜索当前帧图像与地图之间特征点的匹配关系，重新恢复出当前设备的位置和姿态。
在本发明实施例中，所述重定位模块，具体用于提取当前图像中的二维特征点和对应特征描述；利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
实施例三：
本发明实施例所提供的视觉惯性里程计的实现方法，以在未知室内环境下利用智能手机进行实时手机的定位和跟踪为实施例具体说明本发明的技术方案：
301、使用配备有相机、陀螺仪和加速度计的智能手机，该智能手机也集成有本发明实施例所提供的视觉惯性里程计系统，在本发明实施例中，所述智能手机可以看作是设备；视觉惯性里程计系统可以实时获取相机的实时二维图像输入和IMU的输入；相机按照固定帧率采集图像，比如30赫兹，相机采集的图像大小可根据实际手机运算能力设定，比如720p；陀螺仪和加速度计的频率通常比相机频率更高，比如200赫兹；
302、启动视觉惯性里程计系统，手持智能手机在室内场景比如办公室、家庭、展馆等运动，系统通过相机拍摄用户的周边环境，该环境信息可以包括墙壁、文具、装饰、地毯、家具、家用电器等；系统获得固定帧率比如30赫兹的图像输入I，陀螺仪实时记录手机相对本身坐标系的三轴旋转角速度ω，加速度计实时记录手机相对于本身坐标系的加速度计α；图像输入I，陀螺仪的输出ω 和加速度计的输出α以及对应的采集时间共同作为视觉惯性里程计系统的输入；
303、视觉惯性里程计系统在启动时，处于未初始化状态，在接收到相机输入的图像序列和IMU采集的数据(陀螺仪和加速度计的数据)的输入后，首先被送到初始化模块进行系统的初始化；
在本发明实施例中，系统初始化的具体方法是：
步骤一、初始化模块建立初始环境的三维空间地图，并确定系统参数；初始化模块根据两帧图像采集时刻对应手机相对姿态，在两帧图像上分别提取特征点(比如ORB等)并进行匹配得到若干匹配点对后，通过计算机多视几何学中的五点法或者八点法得到两个时刻手机在相机坐标系下的相对位置和姿态T Cam；
步骤二、由于环境对定位系统是未知的，系统需要建立周边环境的三维地图结构，典型的三维地图由若干空间中位置确定的三维点组成；根据从运动推断结构方法，当手机位置发生变化的时候，通过同一空间位置点在两幅图像中的不同位置造成的视差计算得出该空间点的三维位置；初始化模块根据得到的图像序列，分别提取一些的特征点并进行匹配，然后判断匹配特征点对在不同图像中的视差是否足够大；在同一个空间三维点在两幅图像中视差足够大的时候，根据两个时刻手机在相机坐标系下相对位姿T Cam，利用三角化方法，恢复得到这个特征点的三维位置；多个已知三维位置的特征点即可以作为初始的空间三维地图；后续系统输出的手机的位置和姿态T都是相对于该三维地图坐标系而言；手机的位置和姿态的一种典型的表示包括空间位置x,y,z和偏航角θ、俯仰角ψ和滚转角
Figure PCTCN2019072921-appb-000001
步骤三、初始化模块除了上述利用相机的输入确定不同时刻相机相对姿态和初始的三维空间地图之外，还需要计算系统的其他必要参数，一种典型参数为相机坐标系和IMU坐标系的变换关系；初始化模块可以根据牛顿力学，通过对两个相机获得图像帧之间的IMU数据进行积分的方式，获得在两个时刻手机在IMU坐标系下的相对位置和姿态T IMU；同时利用两个时刻手机在相机坐标系下相对位姿T Cam，利用最小二乘法，获得相机坐标系到IMU坐标系的转换关系 CamT IMU,使得T Cam＝ CamT IMU*T IMU，从而完成相机坐标系和IMU坐标系的统一；
上述步骤一至三均完成后，即认为系统初始化完成，后续系统接收到的相机和IMU输入，将被发送到姿态估计模块，结合初始化模块建立起的地图和IMU信息，实时跟踪智能手机的位置和姿态；如系统初始化未成功，则下一次相机输入继续重复上述初始化过程；
304、姿态估计模块的输入为新的一帧图像，以及与上一帧图像之间的若干个IMU输出的加速度测量值和角速度测量值；姿态估计模块的输出为这一帧对应时刻图像采集时刻手机的位置和姿态，如前述空间位置x,y,z和偏航角θ、俯仰角ψ和滚转角
Figure PCTCN2019072921-appb-000002
为了得到准确的位置和姿态输出，姿态估计模块将位置和姿态的估计问题转化为针对相机位姿的最优化问题，即最小化联合约束arg min(L0+L1+L2)；该优化问题中的能量函数包括三项，其中L0对应当前图像特征点和地图点的二维-三维投影误差；L0可以通过估算哪些地图点可以被观测到，然后针对性进行三维到二维的搜索匹配得到相应约束；如假设相机成像模型为理想针孔相机模型，三维地图点在当前帧的投影点位置与匹配上的特征点位置差的欧式距离应该尽量小；L1对应当前图像和之前图像帧之间的二维-二维约束关系，可以通过在相邻帧之间对特征点进行跟踪，然后建立相应几何约束关系，比如计算机视觉几何学中匹配上特征点对必须满足极线约束，即当然帧特征点到上一帧特征点所对应的极线的欧式距离尽可能小；L2对应图像帧间的所有IMU观测值所带来的约束信息。
具体做法为：假设设备上相机与IMU之间的相对位置和姿态不变，即满足刚体变换，且该变换关系已经在场景初始化模块作为系统的参数估计得到，即 camT IMU；那么根据图像信息所计算出得到设备在两个时刻t-1和t时刻相机坐标系下的位姿变换为Tcam；利用IMU采集的角速度和加速度数据，得到这两个时刻设备相对位姿在IMU坐标系下的形式为Timu；在相机与IMU之间的相对位置和姿态不变假设下，上述变量仍应满足Tcam与 camT IMU*Timu尽可能接近，例如另二者之差的二范数可以作为IMU对位姿的约束；实际由于优化算法的结果依赖于要优化位姿的初始值，因此可以通过上一帧手机的位姿结合IMU数据，通过简单的IMU信息传播策略获得一个粗略的当前帧手机位姿态估计，作为数值优化的初始值；最终通过对上述联合约束进行数值优化，迭代所得到的优化 后的手机位置和姿态，即为姿态估计模块的输出。
305、随着用户不断移动，周围的环境随之发生变化，相机也不断看到新的物体，为了保证一直能够建立相机图像上特征点和地图点之间的对应关系，初始化模块建立的三维地图需要随着手机的移动进行扩展；当姿态估计模块已经得到当前图像时刻相机姿态的准确估计后，地图扩展模块利用这帧图像对空间三维地图进行更新；通过建立当前帧与之前图像帧上特征点之间的匹配关系，对于没有对应三维点的匹配点对，可以通过三角化的方式，计算出其在空间中的三维位置，进而添加到地图中；地图扩展模块还同时负责对一些错误的地图点进行删除操作，如果一个地图点根据其位置和相机位姿应该被观测到，而几次均为找到对应的二维点，则认为其最初位置估计有错误或者观测的场景发生了变化，则可以将该地图点其从地图中删除；
3.6、如果由于用户剧烈运动、相机拍到了无纹理的墙壁或者相机被遮挡等造成跟踪失败，无法建立视觉的对应关系，此时通过重定位算法，通过匹配算法，寻找当前图像帧上的特征点和所有地图点的匹配关系，尝试恢复当前设备的位置和姿态；如果恢复成功，则进入正常的姿态跟踪状态。
本发明实施例属于一种通用的从内向外(inside-out)的设备(手机、眼镜、头盔等)追踪方法，利用设备所搭载的相机(RGB、RGBD、双目等)和惯性测量单元(IMU)，能够实时计算出设备在当前环境中的位置和姿态信息。
本发明可以灵活适配多种相机和IMU组合(如单目相机+IMU、双目相机和IMU等的组合)，能够广泛支持当前主流的手机、智能眼镜、头盔等，提供通用且鲁棒的解决方案，因此通用性强。
本发明视觉惯性里程计系统的输入为设备本身相机实时输出的图像数据和IMU采集的陀螺仪和加速度的数据，以及两者对应的时间；输出为设备实时的位置和姿态信息。
本发明可以广泛应用在增强现实、虚拟现实、导航、移动机器人、无人机、无人驾驶等领域。
实施例四：
如图3所示，本发明实施例所提供的视觉惯性里程计系统，还包括存储器41和处理器42，其中所述存储器41用于存储代码和相关数据，处理器42用于调用存储器41中的数据，执行存储器41中的代码，执行所述存储器41中的代码可以实现实施例一、实施例二所提供的视觉惯性里程计的实现方法，具体方法步骤参照前述实施例的描述，在此不再赘述。
在本发明实施例中，所述存储器41可能包含易失性存储器，例如，随机存取存储器(random access memory，RAM)，所述RAM可以包括静态RAM或动态RAM。所述存储器41也可能包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，PROM)、可编程只读存储器(programmable read-only memory，PROM)、可擦写可编程只读存储器(erasable programmable read-only memory，EPROM)、电可擦写可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)或闪存(flash memory)。所述存储器41还可能是外部闪存、至少一个磁盘存储器或缓存器。
在本发明实施例中，所述处理器42可以是中央处理单元(Central Processing Unit,CPU)，所述处理器还可以是其他通用控制处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述通用控制处理器可以是微控制处理器或者是任何常规的控制处理器，例如单片机等。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(Flash Memory)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本领域的技术人员可以对本发明进行各种改动和变形，而不脱离本发明的精神和范围。这样，倘若本发明的这些修改属于本实用新型权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变形在内。

Claims (13)

  1. 一种视觉惯性里程计的实现方法，其特征在于，包括以下步骤：
    第一步，设备通过配备的相机实时采集图像数据，通过配备的IMU实时采集设备的角速度和加速度数据；所述IMU包括陀螺仪和加速度计；
    第二步，场景初始化模块根据相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，建立视觉惯性里程计系统的初始空间三维地图；
    第三步，地图扩展模块在场景初始化模块建立起来的空间三维地图的基础上，根据相机实时采集的新的图像数据，对空间三维地图进行实时更新；
    第四步，姿态估计模块接收相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，输出设备在当前环境中的位置和姿态信息。
  2. 根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第二步具体包括以下步骤：
    在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
    利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据，估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
  3. 根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第三步地图扩展模块对空间三维地图进行更新的方法如下：
    地图扩展模块接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
    当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征 点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
    当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
    当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
    通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
  4. 根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第四步中计算每一帧图像对应的设备的位置和姿态的具体方法如下：
    步骤一，姿态估计模块根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
    步骤二，姿态估计模块通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；
    和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
    步骤三，通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
    步骤四，通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
  5. 根据权利要求1至4任一项所述的视觉惯性里程计的实现方法，其特征在于，所述方法还包括：如果姿态估计模块无法计算出当前帧图像对应的相机的位置和姿态，则相机所采集的当前帧图像数据和IMU采集的角速度和加速度数据由重定位模块接收，重定位模块通过搜索当前帧图像与所有地图点之间特 征点的匹配关系，重新恢复出当前设备的位置和姿态；之后相机继续采集图像数据，新的图像数据和IMU采集的角速度和加速度数据由姿态估计模块接收，执行第四步操作。
  6. 根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第四步中重定位模块的流程如下：
    步骤一，提取当前图像中的二维特征点和对应特征描述；
    步骤二，利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；
    步骤三，利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；
    步骤四，验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
  7. 一种视觉惯性里程计系统，其特征在于，包括存储器和处理器，其中：
    所述存储器，用于存储代码和相关数据；
    所述处理器，用于调用所述存储器中的数据，执行所述存储器中的代码；执行所述存储器中的代码能实施如权利要求1至6任一项所述的方法步骤。
  8. 一种视觉惯性里程计系统，其特征在于，包括
    相机，用于实时采集图像数据；
    IMU，用于采集设备的角速度和加速度数据，所述IMU包括陀螺仪的和加速度计；
    场景初始化模块，用于视觉惯性里程计系统的初始空间三维地图建立；
    地图扩展模块，用于实时更新场景初始化模块建立起来的空间三维地图；
    姿态估计模块，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，从而得到设备在当前环境中的位置和姿态信息。
  9. 根据权利要求8所述的视觉惯性里程计系统，其特征在于，
    所述场景初始化模块，具体用于在相机所采集的多帧图像上分别提取特征 点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
    利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
  10. 根据权利要求8所述的视觉惯性里程计系统，其特征在于，
    所述地图扩展模块，具体用于接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
    当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
    当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备的位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
    当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
    通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
  11. 根据权利要求8所述的视觉惯性里程计系统，其特征在于，
    所述姿态估计模块，具体用于根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
    通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
    通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据， 转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
    通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
  12. 根据权利要求8至11任一项所述的视觉惯性里程计系统，其特征在于，所述系统还包括：
    重定位模块，用于当所述姿态估计模块无法计算出当前帧图像对应的设备的位置和姿态时，则接收相机所采集的当前帧图像数据和IMU采集的的角速度和加速度数据，并通过搜索当前帧图像与地图点之间特征点的匹配关系，重新恢复出当前设备的位置和姿态。
  13. 根据权利要求12所述的视觉惯性里程计系统，其特征在于，
    所述重定位模块，具体用于提取当前图像中的二维特征点和对应特征描述；利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；利用上述图像中的特征点与地图点对应关系，估算出设备的位置和姿态；验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
PCT/CN2019/072921 2018-02-13 2019-01-24 视觉惯性里程计的实现方法及系统 WO2019157925A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810150612.7 2018-02-13
CN201810150612.7A CN108489482B (zh) 2018-02-13 2018-02-13 视觉惯性里程计的实现方法及系统

Publications (1)

Publication Number Publication Date
WO2019157925A1 true WO2019157925A1 (zh) 2019-08-22

Family

ID=63340583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/072921 WO2019157925A1 (zh) 2018-02-13 2019-01-24 视觉惯性里程计的实现方法及系统

Country Status (2)

Country Link
CN (1) CN108489482B (zh)
WO (1) WO2019157925A1 (zh)

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN110986967A (zh) * 2019-12-20 2020-04-10 上海有个机器人有限公司 一种机器人自动重定位方法、介质、终端和装置
CN111024066A (zh) * 2019-12-10 2020-04-17 中国航空无线电电子研究所 一种无人机视觉-惯性融合室内定位方法
CN111105454A (zh) * 2019-11-22 2020-05-05 北京小米移动软件有限公司 一种获取定位信息的方法、装置及介质
CN111260789A (zh) * 2020-01-07 2020-06-09 青岛小鸟看看科技有限公司 避障方法、虚拟现实头戴设备以及存储介质
CN111307176A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
CN111429524A (zh) * 2020-03-19 2020-07-17 上海交通大学 一种相机与惯性测量单元在线初始化与标定方法及系统
CN111539982A (zh) * 2020-04-17 2020-08-14 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN111739071A (zh) * 2020-06-15 2020-10-02 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111862150A (zh) * 2020-06-19 2020-10-30 杭州易现先进科技有限公司 图像跟踪的方法、装置、ar设备和计算机设备
CN111862337A (zh) * 2019-12-18 2020-10-30 北京嘀嘀无限科技发展有限公司 视觉定位方法、装置、电子设备和计算机可读存储介质
CN111862205A (zh) * 2019-12-18 2020-10-30 北京嘀嘀无限科技发展有限公司 一种视觉定位方法、装置、设备及存储介质
CN111915651A (zh) * 2020-07-31 2020-11-10 西安电子科技大学 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法
CN111929699A (zh) * 2020-07-21 2020-11-13 北京建筑大学 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统
CN111950642A (zh) * 2020-08-17 2020-11-17 联想(北京)有限公司 一种重定位方法及电子设备
CN112083403A (zh) * 2020-07-21 2020-12-15 青岛小鸟看看科技有限公司 用于虚拟场景的定位追踪误差校正方法及系统
CN112348921A (zh) * 2020-11-05 2021-02-09 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112381877A (zh) * 2020-11-09 2021-02-19 北京百度网讯科技有限公司 定位融合、室内定位方法、装置、设备及介质
CN112396634A (zh) * 2020-11-27 2021-02-23 苏州欧菲光科技有限公司 运动目标检测方法、装置、车辆及存储介质
CN112432653A (zh) * 2020-11-27 2021-03-02 北京工业大学 基于点线特征的单目视觉惯性里程计方法
CN112492292A (zh) * 2020-11-27 2021-03-12 天目爱视（北京）科技有限公司 一种自由姿态的智能视觉3d信息采集设备
CN112880687A (zh) * 2021-01-21 2021-06-01 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN112967340A (zh) * 2021-02-07 2021-06-15 咪咕文化科技有限公司 同时定位和地图构建方法、装置、电子设备及存储介质
CN112991441A (zh) * 2019-12-12 2021-06-18 北京达佳互联信息技术有限公司 相机定位方法、装置、电子设备及存储介质
CN113012216A (zh) * 2019-12-20 2021-06-22 舜宇光学（浙江）研究院有限公司 特征分类优化方法和slam定位方法及其系统和电子设备
CN113034538A (zh) * 2019-12-25 2021-06-25 杭州海康威视数字技术股份有限公司 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113048978A (zh) * 2021-02-01 2021-06-29 苏州澜途科技有限公司 移动机器人重定位方法及移动机器人
CN113065572A (zh) * 2019-12-31 2021-07-02 北京凌宇智控科技有限公司 多传感器融合的数据处理方法、定位装置及虚拟现实设备
CN113093254A (zh) * 2021-04-12 2021-07-09 南京速度软件技术有限公司 基于多传感器融合的地图特征的高架桥中的车辆定位方法
CN113129433A (zh) * 2021-04-26 2021-07-16 哈尔滨工业大学 一种柔性光纤姿态传感方法、装置及传感器
CN113124906A (zh) * 2021-05-06 2021-07-16 苏州挚途科技有限公司 基于在线标定的测距方法、装置及电子设备
CN113237475A (zh) * 2021-05-13 2021-08-10 北京中科深智科技有限公司 一种基于视觉和惯性测量单元的姿态估计方法及装置
CN113327270A (zh) * 2020-02-28 2021-08-31 炬星科技（深圳）有限公司 视觉惯导方法、装置、设备及计算机可读存储介质
CN113516714A (zh) * 2021-07-15 2021-10-19 北京理工大学 基于imu预积分信息加速特征匹配的视觉slam方法
CN113570716A (zh) * 2021-07-28 2021-10-29 视辰信息科技(上海)有限公司 云端三维地图构建方法、系统及设备
CN113587916A (zh) * 2021-07-27 2021-11-02 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN113701750A (zh) * 2021-08-23 2021-11-26 长安大学 一种井下多传感器的融合定位系统
CN113701745A (zh) * 2020-05-21 2021-11-26 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
CN113721189A (zh) * 2021-09-26 2021-11-30 中国科学院空天信息创新研究院 一种基于uwb和vio融合的多运动节点定位方法及系统
CN113744308A (zh) * 2021-08-06 2021-12-03 高德软件有限公司 位姿优化方法、装置、电子设备、介质及程序产品
CN113763481A (zh) * 2021-08-16 2021-12-07 北京易航远智科技有限公司 一种移动场景中多相机视觉三维地图构建与自标定方法
CN113763470A (zh) * 2021-08-10 2021-12-07 北京理工大学 点线特征融合的rgbd视觉惯性同时定位与地图构建
CN113793379A (zh) * 2021-08-12 2021-12-14 视辰信息科技(上海)有限公司 相机姿态求解方法及系统、设备和计算机可读存储介质
CN113838129A (zh) * 2021-08-12 2021-12-24 高德软件有限公司 一种获得位姿信息的方法、装置以及系统
CN114001733A (zh) * 2021-10-28 2022-02-01 浙江大学 一种基于地图的一致性高效视觉惯性定位算法
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114088093A (zh) * 2020-11-09 2022-02-25 北京京东乾石科技有限公司 一种点云地图构建方法、装置、系统及存储介质
CN114459467A (zh) * 2021-12-30 2022-05-10 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114538088A (zh) * 2022-02-11 2022-05-27 珠海市运泰利自动化设备有限公司 基于飞拍的高速高精度取放料方法
CN114543786A (zh) * 2022-03-31 2022-05-27 华中科技大学 一种基于视觉惯性里程计的爬壁机器人定位方法
CN114627490A (zh) * 2021-12-15 2022-06-14 浙江工商大学 一种基于惯性传感器与多功能相机的多人姿态估计方法
CN114719848A (zh) * 2022-01-25 2022-07-08 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN114777772A (zh) * 2022-04-19 2022-07-22 广州极踪科技有限公司 一种基于红外摄像头与高精度imu的室内定位系统
CN114812608A (zh) * 2020-11-16 2022-07-29 浙江商汤科技开发有限公司 视觉惯性系统的参数标定方法及装置、电子设备和介质
CN114814872A (zh) * 2020-08-17 2022-07-29 浙江商汤科技开发有限公司 位姿确定方法及装置、电子设备和存储介质
CN114812601A (zh) * 2021-01-29 2022-07-29 阿里巴巴集团控股有限公司 视觉惯性里程计的状态估计方法、装置、电子设备
CN114964209A (zh) * 2022-05-13 2022-08-30 天健极光(北京)科技发展有限公司 基于红外阵列成像的长航时无人机自主导航方法和系统
CN115175119A (zh) * 2022-07-12 2022-10-11 燕山大学 一种适应于移动机器人的vr随动控制系统
CN115220017A (zh) * 2022-06-17 2022-10-21 深圳市倍思科技有限公司 一种二维激光雷达的运动补偿方法、装置及系统
CN115388902A (zh) * 2022-10-28 2022-11-25 苏州工业园区测绘地理信息有限公司 室内定位方法和系统、ar室内定位导航方法和系统
CN115855117A (zh) * 2023-02-16 2023-03-28 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
CN115959122A (zh) * 2023-03-10 2023-04-14 杭州枕石智能科技有限公司 泊车场景下车辆定位方法、装置、电子设备及存储介质
CN116171124A (zh) * 2020-07-29 2023-05-26 卡尔蔡司光学国际有限公司 用于确定近点的方法、用于确定近点距离的方法、用于确定球镜度的方法和用于生产眼镜片的方法、以及对应的移动终端和计算机程序
CN116358547A (zh) * 2022-12-09 2023-06-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法
CN116408808A (zh) * 2023-06-09 2023-07-11 未来机器人（深圳）有限公司 机器人取货检测方法及装置、机器人
CN116592876A (zh) * 2023-07-17 2023-08-15 北京元客方舟科技有限公司 定位装置及定位装置的定位方法
CN113223064B (zh) * 2020-01-21 2023-09-15 北京魔门塔科技有限公司 一种视觉惯性里程计尺度的估计方法和装置
CN117570969A (zh) * 2024-01-16 2024-02-20 锐驰激光(深圳)有限公司 割草机视觉定位方法、装置、设备及存储介质
CN117848331A (zh) * 2024-03-06 2024-04-09 河北美泰电子科技有限公司 基于视觉标签地图的定位方法及装置

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489482B (zh) * 2018-02-13 2019-02-26 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN109085840B (zh) * 2018-09-21 2022-05-27 大连维德集成电路有限公司 一种基于双目视觉的车辆导航控制系统及控制方法
CN109079799B (zh) * 2018-10-23 2021-11-12 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法
CN109461208B (zh) * 2018-11-15 2022-12-16 杭州易现先进科技有限公司 三维地图处理方法、装置、介质和计算设备
CN109752003B (zh) * 2018-12-26 2021-03-02 浙江大学 一种机器人视觉惯性点线特征定位方法及装置
CN109798889A (zh) * 2018-12-29 2019-05-24 航天信息股份有限公司 基于单目vins系统的优化方法、装置、存储介质及电子设备
CN109920055A (zh) * 2019-03-08 2019-06-21 视辰信息科技(上海)有限公司 三维视觉地图的构建方法、装置与电子设备
CN112050806B (zh) * 2019-06-06 2022-08-30 北京魔门塔科技有限公司 一种移动车辆的定位方法及装置
CN110196047A (zh) * 2019-06-20 2019-09-03 东北大学 基于tof深度相机与imu的平仓机器人自主定位方法
CN112129272B (zh) * 2019-06-25 2022-04-26 京东方科技集团股份有限公司 视觉里程计的实现方法和实现装置
CN110309330B (zh) * 2019-07-01 2021-08-31 北京百度网讯科技有限公司 视觉地图的处理方法和装置
CN110426051B (zh) * 2019-08-05 2021-05-18 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
CN110411457B (zh) * 2019-08-27 2024-04-19 纵目科技（上海）股份有限公司 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN110794828A (zh) * 2019-10-08 2020-02-14 福瑞泰克智能系统有限公司 一种融合语义信息的路标定位方法
CN110763251B (zh) * 2019-10-18 2021-07-13 华东交通大学 视觉惯性里程计优化的方法及系统
CN112710308B (zh) * 2019-10-25 2024-05-31 阿里巴巴集团控股有限公司 机器人的定位方法、装置和系统
CN112991440B (zh) * 2019-12-12 2024-04-12 纳恩博（北京）科技有限公司 车辆的定位方法和装置、存储介质和电子装置
CN111121767B (zh) * 2019-12-18 2023-06-30 南京理工大学 一种融合gps的机器人视觉惯导组合定位方法
CN113124854B (zh) * 2019-12-31 2023-04-25 杭州海康机器人股份有限公司 一种视觉定位方法、以及地图构建方法、装置
CN111275769B (zh) * 2020-01-17 2023-10-24 联想(北京)有限公司 一种单目视觉参数的校正方法及装置
CN111292420B (zh) * 2020-02-28 2023-04-28 北京百度网讯科技有限公司 用于构建地图的方法和装置
CN111307146B (zh) * 2020-03-02 2023-07-18 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111307165B (zh) * 2020-03-06 2021-11-23 新石器慧通（北京）科技有限公司 一种车辆的定位方法、定位系统及无人车辆
CN111709990B (zh) * 2020-05-22 2023-06-20 贵州民族大学 一种相机重定位方法和系统
CN111879306B (zh) * 2020-06-17 2022-09-27 杭州易现先进科技有限公司 视觉惯性定位的方法、装置、系统和计算机设备
CN111882494B (zh) * 2020-06-28 2024-05-14 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111780764B (zh) * 2020-06-30 2022-09-02 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN111982148B (zh) * 2020-07-06 2022-12-06 杭州易现先进科技有限公司 Vio初始化的处理方法、装置、系统和计算机设备
CN112129287B (zh) * 2020-09-24 2022-06-10 北京华捷艾米科技有限公司 一种基于视觉惯性里程计处理的方法和相关装置
CN112233177B (zh) * 2020-10-10 2021-07-30 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112241983A (zh) * 2020-10-19 2021-01-19 深圳市目心智能科技有限公司 一种基于主动双目视觉的感知系统及机器人
CN112700546B (zh) * 2021-01-14 2024-10-15 视辰信息科技(上海)有限公司 一种室外大规模三维地图的构建系统与方法
CN112819860B (zh) * 2021-02-18 2023-12-22 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN112577493B (zh) * 2021-03-01 2021-05-04 中国人民解放军国防科技大学 一种基于遥感地图辅助的无人机自主定位方法及系统
CN113029134B (zh) * 2021-03-02 2022-04-08 浙江商汤科技开发有限公司 视觉惯性系统的初始化方法、装置、电子设备及存储介质
CN113358117B (zh) * 2021-03-09 2023-05-26 北京工业大学 一种利用地图的视觉惯性室内定位方法
CN114764005A (zh) * 2021-03-11 2022-07-19 深圳市科卫泰实业发展有限公司 一种无人机单目视觉里程计方法
CN114993338B (zh) * 2022-03-24 2024-03-15 浙江大学 基于多段独立地图序列的一致性高效视觉惯性里程计算法
CN115342829A (zh) * 2022-07-20 2022-11-15 中国科学院自动化研究所 基于迭代扩展卡尔曼滤波器的里程计算方法及装置
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法
CN107065195A (zh) * 2017-06-02 2017-08-18 福州光流科技有限公司 一种模块化mr设备成像方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
WO2017172778A1 (en) * 2016-03-28 2017-10-05 Sri International Collaborative navigation and mapping
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6987797B2 (ja) * 2016-03-11 2022-01-05 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
CN106705965A (zh) * 2017-01-12 2017-05-24 苏州中德睿博智能科技有限公司 场景三维数据配准方法及导航系统误差校正方法
CN107478220B (zh) * 2017-07-26 2021-01-15 中国科学院深圳先进技术研究院 无人机室内导航方法、装置、无人机及存储介质
CN107462259B (zh) * 2017-08-03 2019-11-12 中国矿业大学 一种变基线双目视觉惯性里程计及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017172778A1 (en) * 2016-03-28 2017-10-05 Sri International Collaborative navigation and mapping
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN107065195A (zh) * 2017-06-02 2017-08-18 福州光流科技有限公司 一种模块化mr设备成像方法
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统

Cited By (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105454B (zh) * 2019-11-22 2023-05-09 北京小米移动软件有限公司 一种获取定位信息的方法、装置及介质
CN111105454A (zh) * 2019-11-22 2020-05-05 北京小米移动软件有限公司 一种获取定位信息的方法、装置及介质
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111024066A (zh) * 2019-12-10 2020-04-17 中国航空无线电电子研究所 一种无人机视觉-惯性融合室内定位方法
CN112991441A (zh) * 2019-12-12 2021-06-18 北京达佳互联信息技术有限公司 相机定位方法、装置、电子设备及存储介质
CN111862337B (zh) * 2019-12-18 2024-05-10 北京嘀嘀无限科技发展有限公司 视觉定位方法、装置、电子设备和计算机可读存储介质
CN111862337A (zh) * 2019-12-18 2020-10-30 北京嘀嘀无限科技发展有限公司 视觉定位方法、装置、电子设备和计算机可读存储介质
CN111862205A (zh) * 2019-12-18 2020-10-30 北京嘀嘀无限科技发展有限公司 一种视觉定位方法、装置、设备及存储介质
CN110986967A (zh) * 2019-12-20 2020-04-10 上海有个机器人有限公司 一种机器人自动重定位方法、介质、终端和装置
CN110986967B (zh) * 2019-12-20 2023-05-05 上海有个机器人有限公司 一种机器人自动重定位方法、介质、终端和装置
CN113012216B (zh) * 2019-12-20 2023-07-07 舜宇光学（浙江）研究院有限公司 特征分类优化方法和slam定位方法及其系统和电子设备
CN113012216A (zh) * 2019-12-20 2021-06-22 舜宇光学（浙江）研究院有限公司 特征分类优化方法和slam定位方法及其系统和电子设备
CN113034538B (zh) * 2019-12-25 2023-09-05 杭州海康威视数字技术股份有限公司 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113034538A (zh) * 2019-12-25 2021-06-25 杭州海康威视数字技术股份有限公司 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113065572B (zh) * 2019-12-31 2023-09-08 北京凌宇智控科技有限公司 多传感器融合的数据处理方法、定位装置及虚拟现实设备
CN113065572A (zh) * 2019-12-31 2021-07-02 北京凌宇智控科技有限公司 多传感器融合的数据处理方法、定位装置及虚拟现实设备
CN111260789B (zh) * 2020-01-07 2024-01-16 青岛小鸟看看科技有限公司 避障方法、虚拟现实头戴设备以及存储介质
CN111260789A (zh) * 2020-01-07 2020-06-09 青岛小鸟看看科技有限公司 避障方法、虚拟现实头戴设备以及存储介质
CN113223064B (zh) * 2020-01-21 2023-09-15 北京魔门塔科技有限公司 一种视觉惯性里程计尺度的估计方法和装置
CN113327270A (zh) * 2020-02-28 2021-08-31 炬星科技（深圳）有限公司 视觉惯导方法、装置、设备及计算机可读存储介质
CN111307176A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
CN111307176B (zh) * 2020-03-02 2023-06-16 北京航空航天大学青岛研究院 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
CN111429524A (zh) * 2020-03-19 2020-07-17 上海交通大学 一种相机与惯性测量单元在线初始化与标定方法及系统
CN111429524B (zh) * 2020-03-19 2023-04-18 上海交通大学 一种相机与惯性测量单元在线初始化与标定方法及系统
CN111539982B (zh) * 2020-04-17 2023-09-15 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN111539982A (zh) * 2020-04-17 2020-08-14 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN113701745B (zh) * 2020-05-21 2024-03-08 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
CN113701745A (zh) * 2020-05-21 2021-11-26 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
CN111739071A (zh) * 2020-06-15 2020-10-02 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111739071B (zh) * 2020-06-15 2023-09-05 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111862150A (zh) * 2020-06-19 2020-10-30 杭州易现先进科技有限公司 图像跟踪的方法、装置、ar设备和计算机设备
CN112083403B (zh) * 2020-07-21 2023-10-10 青岛小鸟看看科技有限公司 用于虚拟场景的定位追踪误差校正方法及系统
CN111929699A (zh) * 2020-07-21 2020-11-13 北京建筑大学 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统
CN111929699B (zh) * 2020-07-21 2023-05-09 北京建筑大学 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统
CN112083403A (zh) * 2020-07-21 2020-12-15 青岛小鸟看看科技有限公司 用于虚拟场景的定位追踪误差校正方法及系统
US11867984B2 (en) 2020-07-29 2024-01-09 Carl Zeiss Vision International Gmbh Methods for determining the near point, for determining the near point distance, for determining a spherical refractive power, and for producing a spectacle lens, and corresponding mobile terminals and computer programs
CN116171124A (zh) * 2020-07-29 2023-05-26 卡尔蔡司光学国际有限公司 用于确定近点的方法、用于确定近点距离的方法、用于确定球镜度的方法和用于生产眼镜片的方法、以及对应的移动终端和计算机程序
CN111915651B (zh) * 2020-07-31 2023-09-12 西安电子科技大学 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法
CN111915651A (zh) * 2020-07-31 2020-11-10 西安电子科技大学 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法
CN111950642A (zh) * 2020-08-17 2020-11-17 联想(北京)有限公司 一种重定位方法及电子设备
CN114814872A (zh) * 2020-08-17 2022-07-29 浙江商汤科技开发有限公司 位姿确定方法及装置、电子设备和存储介质
CN112348921B (zh) * 2020-11-05 2024-03-29 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112348921A (zh) * 2020-11-05 2021-02-09 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112381877B (zh) * 2020-11-09 2023-09-01 北京百度网讯科技有限公司 定位融合、室内定位方法、装置、设备及介质
CN112381877A (zh) * 2020-11-09 2021-02-19 北京百度网讯科技有限公司 定位融合、室内定位方法、装置、设备及介质
CN114088093A (zh) * 2020-11-09 2022-02-25 北京京东乾石科技有限公司 一种点云地图构建方法、装置、系统及存储介质
CN114812608A (zh) * 2020-11-16 2022-07-29 浙江商汤科技开发有限公司 视觉惯性系统的参数标定方法及装置、电子设备和介质
CN112432653B (zh) * 2020-11-27 2024-02-23 北京工业大学 基于点线特征的单目视觉惯性里程计方法
CN112492292B (zh) * 2020-11-27 2023-04-11 天目爱视（北京）科技有限公司 一种自由姿态的智能视觉3d信息采集设备
CN112396634A (zh) * 2020-11-27 2021-02-23 苏州欧菲光科技有限公司 运动目标检测方法、装置、车辆及存储介质
CN112432653A (zh) * 2020-11-27 2021-03-02 北京工业大学 基于点线特征的单目视觉惯性里程计方法
CN112492292A (zh) * 2020-11-27 2021-03-12 天目爱视（北京）科技有限公司 一种自由姿态的智能视觉3d信息采集设备
CN112880687B (zh) * 2021-01-21 2024-05-17 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN112880687A (zh) * 2021-01-21 2021-06-01 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN114812601A (zh) * 2021-01-29 2022-07-29 阿里巴巴集团控股有限公司 视觉惯性里程计的状态估计方法、装置、电子设备
CN113048978B (zh) * 2021-02-01 2023-10-20 苏州澜途科技有限公司 移动机器人重定位方法及移动机器人
CN113048978A (zh) * 2021-02-01 2021-06-29 苏州澜途科技有限公司 移动机器人重定位方法及移动机器人
CN112967340A (zh) * 2021-02-07 2021-06-15 咪咕文化科技有限公司 同时定位和地图构建方法、装置、电子设备及存储介质
CN113093254A (zh) * 2021-04-12 2021-07-09 南京速度软件技术有限公司 基于多传感器融合的地图特征的高架桥中的车辆定位方法
CN113129433A (zh) * 2021-04-26 2021-07-16 哈尔滨工业大学 一种柔性光纤姿态传感方法、装置及传感器
CN113129433B (zh) * 2021-04-26 2024-04-30 哈尔滨工业大学 一种柔性光纤姿态传感方法、装置及传感器
CN113124906A (zh) * 2021-05-06 2021-07-16 苏州挚途科技有限公司 基于在线标定的测距方法、装置及电子设备
CN113237475A (zh) * 2021-05-13 2021-08-10 北京中科深智科技有限公司 一种基于视觉和惯性测量单元的姿态估计方法及装置
CN113516714A (zh) * 2021-07-15 2021-10-19 北京理工大学 基于imu预积分信息加速特征匹配的视觉slam方法
CN113587916B (zh) * 2021-07-27 2023-10-03 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN113587916A (zh) * 2021-07-27 2021-11-02 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN113570716A (zh) * 2021-07-28 2021-10-29 视辰信息科技(上海)有限公司 云端三维地图构建方法、系统及设备
CN113744308B (zh) * 2021-08-06 2024-02-20 高德软件有限公司 位姿优化方法、装置、电子设备、介质及程序产品
CN113744308A (zh) * 2021-08-06 2021-12-03 高德软件有限公司 位姿优化方法、装置、电子设备、介质及程序产品
CN113763470A (zh) * 2021-08-10 2021-12-07 北京理工大学 点线特征融合的rgbd视觉惯性同时定位与地图构建
CN113763470B (zh) * 2021-08-10 2024-06-07 北京理工大学 点线特征融合的rgbd视觉惯性同时定位与地图构建
CN113838129A (zh) * 2021-08-12 2021-12-24 高德软件有限公司 一种获得位姿信息的方法、装置以及系统
CN113793379A (zh) * 2021-08-12 2021-12-14 视辰信息科技(上海)有限公司 相机姿态求解方法及系统、设备和计算机可读存储介质
CN113838129B (zh) * 2021-08-12 2024-03-15 高德软件有限公司 一种获得位姿信息的方法、装置以及系统
CN113763481A (zh) * 2021-08-16 2021-12-07 北京易航远智科技有限公司 一种移动场景中多相机视觉三维地图构建与自标定方法
CN113763481B (zh) * 2021-08-16 2024-04-05 北京易航远智科技有限公司 一种移动场景中多相机视觉三维地图构建与自标定方法
CN113701750A (zh) * 2021-08-23 2021-11-26 长安大学 一种井下多传感器的融合定位系统
CN113721189A (zh) * 2021-09-26 2021-11-30 中国科学院空天信息创新研究院 一种基于uwb和vio融合的多运动节点定位方法及系统
CN113721189B (zh) * 2021-09-26 2023-08-01 中国科学院空天信息创新研究院 一种基于uwb和vio融合的多运动节点定位方法及系统
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114018236B (zh) * 2021-09-30 2023-11-03 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114001733A (zh) * 2021-10-28 2022-02-01 浙江大学 一种基于地图的一致性高效视觉惯性定位算法
CN114001733B (zh) * 2021-10-28 2024-03-15 浙江大学 一种基于地图的一致性高效视觉惯性定位算法
CN114627490A (zh) * 2021-12-15 2022-06-14 浙江工商大学 一种基于惯性传感器与多功能相机的多人姿态估计方法
CN114459467B (zh) * 2021-12-30 2024-05-03 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114459467A (zh) * 2021-12-30 2022-05-10 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114719848B (zh) * 2022-01-25 2024-05-03 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN114719848A (zh) * 2022-01-25 2022-07-08 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN114538088A (zh) * 2022-02-11 2022-05-27 珠海市运泰利自动化设备有限公司 基于飞拍的高速高精度取放料方法
CN114538088B (zh) * 2022-02-11 2024-02-13 珠海市运泰利自动化设备有限公司 基于飞拍的高速高精度取放料方法
CN114543786B (zh) * 2022-03-31 2024-02-02 华中科技大学 一种基于视觉惯性里程计的爬壁机器人定位方法
CN114543786A (zh) * 2022-03-31 2022-05-27 华中科技大学 一种基于视觉惯性里程计的爬壁机器人定位方法
CN114777772A (zh) * 2022-04-19 2022-07-22 广州极踪科技有限公司 一种基于红外摄像头与高精度imu的室内定位系统
CN114964209A (zh) * 2022-05-13 2022-08-30 天健极光(北京)科技发展有限公司 基于红外阵列成像的长航时无人机自主导航方法和系统
CN115220017B (zh) * 2022-06-17 2024-10-01 深圳市倍思科技有限公司 一种二维激光雷达的运动补偿方法、装置及系统
CN115220017A (zh) * 2022-06-17 2022-10-21 深圳市倍思科技有限公司 一种二维激光雷达的运动补偿方法、装置及系统
CN115175119A (zh) * 2022-07-12 2022-10-11 燕山大学 一种适应于移动机器人的vr随动控制系统
CN115388902A (zh) * 2022-10-28 2022-11-25 苏州工业园区测绘地理信息有限公司 室内定位方法和系统、ar室内定位导航方法和系统
CN116358547A (zh) * 2022-12-09 2023-06-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法
CN116358547B (zh) * 2022-12-09 2024-01-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法
CN115855117A (zh) * 2023-02-16 2023-03-28 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
CN115855117B (zh) * 2023-02-16 2023-06-02 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
CN115959122A (zh) * 2023-03-10 2023-04-14 杭州枕石智能科技有限公司 泊车场景下车辆定位方法、装置、电子设备及存储介质
CN115959122B (zh) * 2023-03-10 2023-06-02 杭州枕石智能科技有限公司 泊车场景下车辆定位方法、装置、电子设备及存储介质
CN116408808A (zh) * 2023-06-09 2023-07-11 未来机器人（深圳）有限公司 机器人取货检测方法及装置、机器人
CN116408808B (zh) * 2023-06-09 2023-08-01 未来机器人（深圳）有限公司 机器人取货检测方法及装置、机器人
CN116592876A (zh) * 2023-07-17 2023-08-15 北京元客方舟科技有限公司 定位装置及定位装置的定位方法
CN116592876B (zh) * 2023-07-17 2023-10-03 北京元客方舟科技有限公司 定位装置及定位装置的定位方法
CN117570969A (zh) * 2024-01-16 2024-02-20 锐驰激光(深圳)有限公司 割草机视觉定位方法、装置、设备及存储介质
CN117848331A (zh) * 2024-03-06 2024-04-09 河北美泰电子科技有限公司 基于视觉标签地图的定位方法及装置

Also Published As

Publication number Publication date
CN108489482A (zh) 2018-09-04
CN108489482B (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
WO2019157925A1 (zh) 视觉惯性里程计的实现方法及系统
CN112304307B (zh) 一种基于多传感器融合的定位方法、装置和存储介质
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN110125928B (zh) 一种基于前后帧进行特征匹配的双目惯导slam系统
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110582798B (zh) 用于虚拟增强视觉同时定位和地图构建的系统和方法
US10989540B2 (en) Binocular vision localization method, device and system
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN107990899B (zh) 一种基于slam的定位方法和系统
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
JP2023175052A (ja) ３次元空間内の姿勢推定
Tanskanen et al. Live metric 3D reconstruction on mobile phones
US12062210B2 (en) Data processing method and apparatus
WO2021035669A1 (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
US20150125045A1 (en) Environment Mapping with Automatic Motion Model Selection
WO2020221307A1 (zh) 一种运动物体的追踪方法和装置
CN110617813B (zh) 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN110749308B (zh) 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
EP3786891A1 (en) Method and system for visual localization based on dual dome cameras
WO2023005457A1 (zh) 位姿计算方法和装置、电子设备、可读存储介质
US10977810B2 (en) Camera motion estimation
CN113984068A (zh) 定位方法、定位装置和计算机可读存储介质
Sartipi et al. Decentralized visual-inertial localization and mapping on mobile devices for augmented reality
CN113570716A (zh) 云端三维地图构建方法、系统及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19754165

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19754165

Country of ref document: EP

Kind code of ref document: A1