RU2811344C2 - Method of optical-inertial navigation with automatic selection of scale factor - Google Patents

Method of optical-inertial navigation with automatic selection of scale factor Download PDF

Info

Publication number
RU2811344C2
RU2811344C2 RU2022115570A RU2022115570A RU2811344C2 RU 2811344 C2 RU2811344 C2 RU 2811344C2 RU 2022115570 A RU2022115570 A RU 2022115570A RU 2022115570 A RU2022115570 A RU 2022115570A RU 2811344 C2 RU2811344 C2 RU 2811344C2
Authority
RU
Russia
Prior art keywords
sensors
space
scale factor
slam
information
Prior art date
Application number
RU2022115570A
Other languages
Russian (ru)
Other versions
RU2022115570A (en
Inventor
Алексей Владимирович Бузмаков
Василий Андреевич Челпанов
Данил Дамирович Вагапов
Никита Александрович Понькин
Андрей Дмитриевич Шерстобитов
Денис Дмитриевич Вишняков
Денис Евгеньевич Лопатин
Яков Николаевич Ануфриенко
Original Assignee
Общество с ограниченной ответственностью ФАБРИКА НАУЧНЫХ ДАННЫХ
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью ФАБРИКА НАУЧНЫХ ДАННЫХ filed Critical Общество с ограниченной ответственностью ФАБРИКА НАУЧНЫХ ДАННЫХ
Publication of RU2022115570A publication Critical patent/RU2022115570A/en
Application granted granted Critical
Publication of RU2811344C2 publication Critical patent/RU2811344C2/en

Links

Images

Abstract

FIELD: aircraft navigation.
SUBSTANCE: invention is related to the field of measuring navigation quantities, namely to a method of optical-inertial navigation with automatic selection of the scale factor of an autonomous aircraft. The method is carried out using data from the SLAM system by obtaining a sequence of images from a monocular visual camera and using information from inertial sensors and sensors of the absolute position of an object in space, followed by restoration of the scale factor. The restoration of the scale factor is carried out using an extended Kalman filter with addition of a scale factor to the phase space, used at the stage of updating the state of the Kalman filter, to correlate the coordinates of the object, calculated based on information from inertial sensors and sensors of the absolute position of the object in space using Newton's equations, with camera coordinates obtained using the SLAM system. If visual information from which it is possible to determine the position of the camera in space is unavailable, an additional stage of updating the Kalman filter is carried out to maintain the coordinate of the beginning of the SLAM session and update the coordinates of the object in accordance with information from inertial sensors and sensors of the absolute position of the object in space. An altimeter or a barometer is used as the latter.
EFFECT: obtaining reliable information about the location of an autonomous aircraft relative to its launch point.
2 cl, 1 dwg

Description

Изобретение относится к области инерциальной навигации и более точно касается способа оптико-инерциальной навигации с автоматическим подбором масштабного коэффициента автономного объекта, в частности, беспилотного летательного аппарата.The invention relates to the field of inertial navigation and more precisely concerns a method of optical-inertial navigation with automatic selection of the scale factor of an autonomous object, in particular an unmanned aerial vehicle.

Известны способы оптической навигации позволяющие определять местоположение объекта путем получения последовательности изображений с монокулярной визуальной видеокамеры и решения задачи оптимизации расположения камеры в пространстве (см., например J. Zubizarrea, I. Aguinaga, and J. M. M. Montiel, «Direct sparse mapping», IEEE Transactions on Robotics, vol. 36, no. 4, pp. 1363–1370, 2020.)There are known methods of optical navigation that make it possible to determine the location of an object by obtaining a sequence of images from a monocular visual video camera and solving the problem of optimizing the location of the camera in space (see, for example, J. Zubizarrea, I. Aguinaga, and J. M. M. Montiel, “Direct sparse mapping,” IEEE Transactions on Robotics, vol. 36, no. 4, pp. 1363–1370, 2020.)

Основной проблемой способов визуальной навигации по данным монокулярной камеры является невозможность оценки коэффициента масштаба, используемого для пересчёта внутренней системы координат визуальной системы в мировую координатную систему, что приводит к существенным погрешностям при определении местоположения объекта.The main problem of visual navigation methods using monocular camera data is the inability to estimate the scale factor used to convert the internal coordinate system of the visual system into the world coordinate system, which leads to significant errors in determining the location of the object.

В связи с этим получила распространение идея использования дополнительных датчиков, позволяющих повысить точность системы навигации. В настоящее время известны способы оптико-инерциальной навигации, использующие помимо данных монокулярной видеокамеры, данные инерциальных датчиков, измеряющих ускорение, угловую скорость, направление. В частности известен способ инерциальной навигации с автоматическим подбором масштабного коэффициента, состоящий в восстановлении траектории автономного объекта при помощи системы SLAM (метод одновременной навигации и построения карты, увязывающий два независимых процесса в непрерывный цикл последовательных вычислений, при котором результаты одного процесса участвуют в вычислениях другого) путем получения последовательности изображений с монокулярной видеокамеры и решения задачи оптимизации ее расположения в пространстве, при использовании информации от инерциальных датчиков. При этом благодаря учету данных о предполагаемой траектории движения камеры поступающих от инерциальных датчиков, оказывается возможным точнее расположить камеру в пространстве и одновременно решить проблему с идентификацией масштаба (см., например, Carlos Campos, Richard Elvira, Juan J. Gomez Rodriguez, Jose M. M. Montiel and Juan D. Tardos, «ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM», IEEE Transactions on Robotics 37(6):1874-1890).In this regard, the idea of using additional sensors to improve the accuracy of the navigation system has become widespread. Currently, methods of optical-inertial navigation are known that use, in addition to data from a monocular video camera, data from inertial sensors that measure acceleration, angular velocity, and direction. In particular, a method of inertial navigation with automatic selection of a scale factor is known, which consists of reconstructing the trajectory of an autonomous object using the SLAM system (a method of simultaneous navigation and mapping that links two independent processes into a continuous cycle of sequential calculations, in which the results of one process participate in the calculations of another) by obtaining a sequence of images from a monocular video camera and solving the problem of optimizing its location in space, using information from inertial sensors. At the same time, by taking into account data on the expected trajectory of the camera coming from inertial sensors, it is possible to more accurately position the camera in space and at the same time solve the problem of scale identification (see, for example, Carlos Campos, Richard Elvira, Juan J. Gomez Rodriguez, Jose M. M. Montiel and Juan D. Tardos, “ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM,” IEEE Transactions on Robotics 37(6):1874–1890).

Основным недостатком такого способа навигации является невозможность идентификации местоположения при недостаточном количестве выделенных визуальных признаков. Такие ситуации могут происходить достаточно часто в сложных погодных условиях, условиях недостаточной освещённости или при нахождении над однородной местностью, такойкак, например, водные преграды. Еще одной существенной проблемой является сложность калибровки визуально-инерциальной системы в условиях высоких шумов данных, получаемых с инерциальных датчиков. При существенном расхождении инерциальной и визуальной информации системе необходимо либо значительно понизить точность навигации, либо снизить скорость сходимости масштабного коэффициента.The main disadvantage of this navigation method is the impossibility of identifying a location if there is an insufficient number of selected visual features. Such situations can occur quite often in difficult weather conditions, in low light conditions, or when over homogeneous terrain, such as, for example, water obstacles. Another significant problem is the difficulty of calibrating the visual-inertial system in conditions of high noise data obtained from inertial sensors. If there is a significant discrepancy between the inertial and visual information, the system must either significantly reduce the navigation accuracy or reduce the rate of convergence of the scale factor.

В основу изобретения поставлена задача усовершенствовать способ инерциальной навигации так, чтобы он позволял идентифицировать местоположение объекта не зависимо от количества выделенных визуальных признаков и обеспечивал бы при этом высокую точность определения инерциальных координат автономного объекта, в том числе и при наличии шумов данных, получаемых с инерциальных датчиков.The basis of the invention is the task of improving the method of inertial navigation so that it allows identifying the location of an object regardless of the number of selected visual features and would provide high accuracy in determining the inertial coordinates of an autonomous object, including in the presence of noise in the data received from inertial sensors .

Поставленная задача решается тем, что в способе оптико-инерциальной навигации с автоматическим подбором масштабного коэффициента, состоящем в восстановлении траектории автономного объекта при использовании системы SLAM путем получения последовательности изображений с монокулярной визуальной камеры и решения задачи оптимизации расположения камеры в пространстве, и при использовании информации от инерциальных датчиков, и последующего восстановления масштабного коэффициента, согласно изобретению, восстановление масштабного коэффициента осуществляют применяя расширенный фильтр Калмана с добавлением в фазовое пространство масштабного коэффициента, используемого на этапе обновления состояния фильтра Калмана, для соотнесения координат объекта, вычисленных на основе информации от инерциальных и датчиков абсолютного положения объекта в пространстве с использованием уравнений Ньютона, с координатами камеры, полученными при помощи системы SLAM, при этом в случае недоступности визуальной информации, по которой возможно определить положение камеры в пространстве, осуществляют дополнительный этап обновления фильтра Калмана для поддержания координаты начала сессии SLAM и обновления координат объекта в соответствии с информацией от инерциальных и датчиков абсолютного положения объекта в пространстве.The problem is solved by the fact that in the method of optical-inertial navigation with automatic selection of the scale factor, which consists in restoring the trajectory of an autonomous object using the SLAM system by obtaining a sequence of images from a monocular visual camera and solving the problem of optimizing the location of the camera in space, and using information from inertial sensors, and subsequent restoration of the scale factor, according to the invention, restoration of the scale factor is carried out using an extended Kalman filter with the addition of a scale factor to the phase space, used at the stage of updating the state of the Kalman filter, to correlate the object coordinates calculated based on information from inertial and absolute sensors position of an object in space using Newton's equations, with camera coordinates obtained using the SLAM system, while in the event of the unavailability of visual information from which it is possible to determine the position of the camera in space, an additional stage of updating the Kalman filter is carried out to maintain the coordinates of the beginning of the SLAM session and update coordinates of the object in accordance with information from inertial and absolute position sensors of the object in space.

Целесообразно в качестве датчиков абсолютного положения объекта в пространстве использовать выбранные из группы, включающей высотомер, барометр, в предпочтительном варианте высотомер.It is advisable to use selected ones from the group including an altimeter, a barometer, and, preferably, an altimeter as sensors for the absolute position of an object in space.

Технический результат достигается тем, что благодаря объединению информации с существующей системы визуальной навигации с информацией от инерциальных и датчиков абсолютного положения объекта с помощью расширенного фильтра Калмана (EKF) обеспечивается повышение точности определения координат объекта, в данном случае летательного аппарата (ЛА) относительно точки его запуска. Кроме того, предлагаемый способ позволяет без каких-либо существенных усложнений добавлять в систему новые датчики, измеряющие абсолютное положение объекта в пространстве по какой-либо оси для обеспечения повышения скорости сходимости масштабного коэффициента. Например, интеграция данных барометра или высотомера, содержащих информациюThe technical result is achieved by combining information from the existing visual navigation system with information from inertial and absolute position sensors of an object using an extended Kalman filter (EKF) to improve the accuracy of determining the coordinates of an object, in this case an aircraft relative to its launch point . In addition, the proposed method allows, without any significant complications, to add new sensors to the system that measure the absolute position of an object in space along any axis to ensure an increase in the speed of convergence of the scale factor. For example, integration of barometer or altimeter data containing information

об абсолютной высоте объекта, позволяет существенно повысить скорость сходимости для расширенного фильтра Калмана. Ускорение схождения масштаба достигается при использовании барометра.about the absolute height of an object, allows you to significantly increase the convergence speed for the extended Kalman filter. Acceleration of scale convergence is achieved by using a barometer.

В дальнейшем изобретение поясняется описанием конкретного варианта его осуществления со ссылками на прилагаемую единственную фигуру, на которой изображена блок схема устройства для осуществления предпочтительного варианта осуществления способа оптико-инерциальной навигации с автоматическим подбором масштабного коэффициента, согласно изобретению.The invention is further explained by a description of a specific embodiment with reference to the attached single figure, which depicts a block diagram of a device for implementing a preferred embodiment of the optical-inertial navigation method with automatic selection of the scale factor, according to the invention.

Устройство, блок-схема которого изображена на прилагаемой фигуре, содержит блок 1 запуска системы, блоки 2,3,4 и 5 получения информации о наличии или отсутствии сигнала соответствующего датчика, блок 6 получения данных от инерциальных датчиков, блок 7 получения данных от датчиков абсолютного положения объекта в пространстве, блок 8 проверки на прерывание сессии SLAM, блок 9 получения данных SLAM, блоки 10, 11 и 12 преобразования в мировую систему координат, блок 13 предсказания смещения внутри сессии, блок 14 уточнения положения точки начала сессии и блок 15 уточнение положения смещения.The device, the block diagram of which is shown in the attached figure, contains block 1 for starting the system, blocks 2,3,4 and 5 for receiving information about the presence or absence of a signal from the corresponding sensor, block 6 for receiving data from inertial sensors, block 7 for receiving data from absolute sensors position of the object in space, block 8 for checking for interruption of the SLAM session, block 9 for receiving SLAM data, blocks 10, 11 and 12 for converting to the world coordinate system, block 13 for predicting the displacement within the session, block 14 for clarifying the position of the start point of the session and block 15 for clarifying the position offsets.

Способ оптико-инерциальной навигации с автоматическим подбором масштабного коэффициента, согласно изобретению, состоит в следующем.The method of optical-inertial navigation with automatic selection of the scale factor, according to the invention, is as follows.

В данном случае система SLAM рассматривается как отдельный датчик, который получает на вход изображения с видеокамеры, а на выход выдает смешение относительно точки начала очередной сессии SLAM. Примером реализации такого датчика может быть принята система ORB-SLAM2, известная из https://github.com/raulmur/ORB_SLAM2. Сессий SLAM может быть несколько в случае сложных условий записи видеоизображений.In this case, the SLAM system is considered as a separate sensor, which receives images from a video camera as input, and outputs a displacement relative to the starting point of the next SLAM session. An example of the implementation of such a sensor can be the ORB-SLAM2 system, known from https://github.com/raulmur/ORB_SLAM2. There may be several SLAM sessions in case of difficult video recording conditions.

В описываемом примере реализации способа система получает информацию со следующих видов датчиков. Первые данные - данные полученные от какой-либо системы SLAM (система построения карты по монокулярной камере в своей системе координат) фиксируются блоком 5. Вторые - данные, получаемые с инерциальных датчиков фиксируются блоком 2, а третьи с датчиков абсолютного положения фиксируются блоком 3.In the described example of implementing the method, the system receives information from the following types of sensors. The first data - data received from any SLAM system (a system for constructing a map using a monocular camera in its coordinate system) is recorded by block 5. The second - data received from inertial sensors is recorded by block 2, and the third from absolute position sensors is recorded by block 3.

Частота получения данных может отличаться для разных датчиков. Так частота получения данных после SLAM, как правило, не превышает 30 Гц в связи с ограничениями камеры и с высокой нагрузкой на вычислительный модуль. В то же время частота получения данных с инерциальных датчиков и датчика барометра может достигать нескольких сотен Герц.The frequency of data acquisition may vary for different sensors. Thus, the frequency of data acquisition after SLAM, as a rule, does not exceed 30 Hz due to camera limitations and the high load on the computing module. At the same time, the frequency of receiving data from inertial sensors and the barometer sensor can reach several hundred Hertz.

После типовой системы SLAM на вход блока 9 с соответствующей частотой дискретизации приходят следующие данные:After a typical SLAM system, the following data arrives at the input of block 9 with the corresponding sampling frequency:

• Xslam: координаты во внутренней системе координат SLAM;• X slam : coordinates in the internal SLAM coordinate system;

• qslam: - кватернион поворота камеры в текущий момент времени относительно первого положения камеры внутри одной сессии SLAM.• q slam : - quaternion of camera rotation at the current time relative to the first camera position within one SLAM session.

Здесь под сессией SLAM понимается непрерывный диапазон получения данных SLAM, производимый в одной системе координат. Известно, что системы класса SLAM могут терять свое местоположение при неудачной информации, попавшей на камеру. В частности, если в зону видимости камеры попал подвижный объект крупным планом, скорее всего, такая система не сможет определить свое текущее местоположение и будет вынуждена начать создавать карту с нулевой позиции в новой системе координат. Такая смена системы координат приводит к началу новой сессии системы SLAM. Кроме того, потеря сессии происходит и в том случае, если система SLAM умеет определять так называемые циклы, т.е. места которые система SLAM уже посещала. При движении по прямой над незнакомой местностью потеря сессии SLAM приводит к потере ключевых точек, которые могли бы быть использованы, чтобы привязать новые кадры камеры к предыдущей сессии SLAM.Here, a SLAM session refers to a continuous range of SLAM data acquisition produced in a single coordinate system. It is known that SLAM class systems can lose their location if the information captured by the camera is unsuccessful. In particular, if a close-up moving object comes into the camera's field of view, most likely such a system will not be able to determine its current location and will be forced to start creating a map from the zero position in the new coordinate system. Such a change in the coordinate system leads to the start of a new session of the SLAM system. In addition, session loss also occurs if the SLAM system is able to detect so-called cycles, i.e. places that the SLAM system has already visited. When moving in a straight line over unfamiliar terrain, losing a SLAM session results in the loss of key points that could have been used to tie new camera frames to the previous SLAM session.

На вход блока 6 с выхода блока 2 с инерциальных датчиков приходит следующая информация:The following information comes to the input of block 6 from the output of block 2 from inertial sensors:

• aimu - ускорения по трем осям в системе отсчета, связанной с телом;• a imu - acceleration along three axes in the reference system associated with the body;

• qimu: кватернион поворота тела относительно направления на север.• q imu : quaternion of the rotation of the body relative to the north direction.

Данные с других датчиков абсолютного положения, в описываемом примере информация о высоте h относительно точки начала полета, поступает на блок 7.Data from other absolute position sensors, in the described example, information about the height h relative to the flight start point, is supplied to block 7.

Предполагается, что камера и инерциальные датчики жестко связаны между собой. Это означает, что за одну сессию SLAM угол поворота от системы координат SLAM, в мировую систему координат фиксирован и задается как:It is assumed that the camera and inertial sensors are rigidly connected to each other. This means that during one SLAM session the angle of rotation from the SLAM coordinate system to the world coordinate system is fixed and is given as:

где - фиксированный кватернион доворота из системы координат, связанной с камерой, в систему координат, связанную с телом, т.е. с инерциальным датчиком.Where - fixed quaternion of rotation from the coordinate system associated with the camera to the coordinate system associated with the body, i.e. with inertial sensor.

Таким образом, можно считать, что мировая система координат и система координат, связанная с сессией SLAM, совпадают с точностью до масштабного коэффициента. В частности, далее под системой отсчета SLAM будем понимать мировую систему координат известную с точностью до масштаба, т.е. где координаты в мировой системе координат, xslam - координаты в системе отсчета, связанной с сессией SLAM, a s - масштабный коэффициент.Thus, we can assume that the world coordinate system and the coordinate system associated with the SLAM session are the same up to a scale factor. In particular, below we will understand by the SLAM reference system the world coordinate system known up to scale, i.e. Where coordinates in the world coordinate system, x slam - coordinates in the reference system associated with the SLAM session, as - scale factor.

Предполагается, что рассматриваемые в данном примере объекты движутся с досветовыми скоростями, поэтому можно пользоваться уравнениями Ньютоновской механики:It is assumed that the objects considered in this example move at sub-light speeds, so we can use the equations of Newtonian mechanics:

Кроме того, известны абсолютные координаты после SLAM, которые могут быть использованы для уточнения координат. Однако, необходимо учесть, что масштаб системы координат в этих системах различный, следовательно, соотносить нужно и Эта задача решается путем применения расширенного фильтра Калмана.In addition, the absolute coordinates after SLAM are known, which can be used to refine the coordinates. However, it is necessary to take into account that the scale of the coordinate system in these systems is different, therefore, it is necessary to correlate And This problem is solved by using an extended Kalman filter.

Уравнение движения, т.е. этап предсказания положения в следующий момент времени (в терминах фильтра Калмана) выполняется с помощью линейного уравнения (II).The equation of motion, i.e. the step of predicting the position at the next time instant (in terms of the Kalman filter) is performed using linear equation (II).

При доступности новых данных с дополнительных датчиков абсолютного положения, например, новых показаний датчика барометра, полученные координаты; уточняются (в терминах фильтра Калмана) с учетом новых показаний таких датчиков.When new data is available from additional absolute position sensors, for example, new readings from a barometer sensor, the resulting coordinates; are refined (in terms of the Kalman filter) taking into account new readings from such sensors.

Далее, если доступны новые измерения абсолютных координат, получаемых из подсистемы SLAM, они соотносятся с текущими координатами с помощью нелинейного уравнения:Further, if new measurements of absolute coordinates obtained from the SLAM subsystem are available, they are correlated with the current coordinates using a nonlinear equation:

которое в начальной части сессии SLAM в большей степени подбирает масштаб в силу его большей неопределенности, а во второй части сессии SLAM, после сходимости масштабного коэффициента s, уточняет координаты.which in the initial part of the SLAM session selects the scale to a greater extent due to its greater uncertainty, and in the second part of the SLAM session, after the convergence of the scale factor s, refines the coordinates.

Здесь нужно отметить, что, если масштаб задается просто коэффициентом s, то это позволяет не только получать отрицательный коэффициент, что не имеет смысла, но и затрудняет работу с оценкой и моделированием неопределенности этого коэффициента. На практике используется следующее выражение, позволяющее моделировать шумы, как дисперсию нормального распределения ошибки:It should be noted here that if the scale is simply given by the coefficient s, then this allows not only to obtain a negative coefficient, which does not make sense, but also makes it difficult to work with estimating and modeling the uncertainty of this coefficient. In practice, the following expression is used to model noise as the variance of a normal error distribution:

Кроме того, в силу того, что система координат SLAM совпадает только в пределах одной сессии, необходимо также в рамках уравнения движения отслеживать и обрабатывать смену сессий в системе визуальной навигации SLAM. Для этого разделяют текущие абсолютные координаты на точку начала сессии SLAM x0 и смещение δх внутри одной сессии SLAM:In addition, due to the fact that the SLAM coordinate system coincides only within one session, it is also necessary, within the framework of the equation of motion, to track and process the change of sessions in the SLAM visual navigation system. To do this, divide the current absolute coordinates into the starting point of the SLAM session x 0 and the offset δх within one SLAM session:

Тогда уравнения движения (II) будут обновлять именно δх, a x0 в рамках уравнения движения остается неизменным.Then the equations of motion (II) will update exactly δх, ax 0 within the framework of the equation of motion remains unchanged.

Однако, если система SLAM начала новую сессию, то добавляется еще один этап предсказания, который сохраняет накопленную координату в x0:However, if the SLAM system has started a new session, then another prediction step is added, which stores the accumulated coordinate at x0 :

Далее, данные датчиков, не привязанных к системе SLAM, необходимо соотносить с суммой x0х. Например, показания барометра или высотомера нужно соотносить с координатой z вектора суммы:Further, data from sensors not connected to the SLAM system must be correlated with the sum x 0 + δ x . For example, barometer or altimeter readings must be correlated with the z coordinate of the sum vector:

Таким образом способ, согласно изобретению, состоит в осуществлении последовательной проверки на наличие новой информации от инерциальных датчиков, наличие информации от датчиков абсолютного положения объекта в пространстве, проверку на прерывание сессии SLAM и на наличие новой информации от SLAM. При обнаружении соответствующих новых данных выполняется процедура приведения их к мировой системе координат и уточнение текущих координат объекта. В случае, если система SLAM сбрасывается, текущая координата сохраняется, и система координат переносится в начало координат.Thus, the method according to the invention consists of sequentially checking for the presence of new information from inertial sensors, the presence of information from sensors of the absolute position of an object in space, checking for interruption of the SLAM session and for the presence of new information from SLAM. When corresponding new data is detected, a procedure is performed to bring it to the world coordinate system and clarify the current coordinates of the object. In case the SLAM system is reset, the current coordinate is saved and the coordinate system is transferred to the origin.

Практическая реализация способа оптико-инерциальной навигации с автоматическим подбором масштабного коэффициента, согласно изобретению, была осуществлена на примере автономного дрона, которому необходимо уметь определять свое местоположение вне зависимости от доступности сигнала спутниковой навигации (слабый спутниковый сигнал, работа в здании). Данный способ был реализован для навигации дрона при специальном игнорировании сигнала от спутниковой навигации. Было установлено, что мощности встраиваемых систем уровня Nvidia Jetson и khadas vim3 достаточно для восстановления траектории прямо на борту дрона. При этом погрешность определения координат не превышала 5% от длины траектории.The practical implementation of the method of optical-inertial navigation with automatic selection of the scale factor, according to the invention, was carried out using the example of an autonomous drone, which needs to be able to determine its location regardless of the availability of a satellite navigation signal (weak satellite signal, work in a building). This method was implemented for drone navigation while specifically ignoring the signal from satellite navigation. It was found that the power of embedded systems at the level of Nvidia Jetson and khadas vim3 is sufficient to restore the trajectory directly on board the drone. In this case, the error in determining the coordinates did not exceed 5% of the trajectory length.

Claims (2)

1. Способ оптико-инерциальной навигации с автоматическим подбором масштабного коэффициента, состоящий в восстановлении траектории автономного объекта при помощи метода SLAM путем получения последовательности изображений с монокулярной визуальной камеры и решения задачи оптимизации расположения камеры в пространстве, при использовании информации от инерциальных датчиков, и последующего восстановления масштабного коэффициента, отличающийся тем, что для восстановления масштабного коэффициента применяют расширенный фильтр Калмана c добавлением в фазовое пространство масштабного коэффициента, используемого на этапе обновления состояния фильтра Калмана, для соотнесения координат объекта, вычисленных на основе информации от инерциальных датчиков и датчиков абсолютного положения объекта в пространстве с использованием уравнений Ньютона, с координатами камеры, полученными при помощи метода SLAM, при этом в случае недоступности визуальной информации, по которой возможно определить положение камеры в пространстве, осуществляют дополнительный этап обновления фильтра Калмана для поддержания координаты начала сессии SLAM и обновления координат объекта в соответствии с информацией от инерциальных датчиков и датчиков абсолютного положения объекта в пространстве.1. A method of optical-inertial navigation with automatic selection of a scale factor, consisting of reconstructing the trajectory of an autonomous object using the SLAM method by obtaining a sequence of images from a monocular visual camera and solving the problem of optimizing the location of the camera in space, using information from inertial sensors, and subsequent reconstruction scale factor, characterized in that to restore the scale factor, an extended Kalman filter is used with the addition of a scale factor to the phase space, used at the stage of updating the state of the Kalman filter, to correlate the object coordinates calculated based on information from inertial sensors and sensors of the absolute position of the object in space using Newton's equations, with camera coordinates obtained using the SLAM method, and in the case of unavailability of visual information from which it is possible to determine the camera's position in space, an additional stage of updating the Kalman filter is carried out to maintain the coordinates of the beginning of the SLAM session and update the coordinates of the object in accordance with information from inertial sensors and sensors of the absolute position of an object in space. 2. Способ по п.1, отличающийся тем, что в качестве датчиков абсолютного положения объекта в пространстве используют выбранные из группы, включающей высотомер, барометр.2. The method according to claim 1, characterized in that as sensors for the absolute position of an object in space, selected ones from the group including an altimeter and a barometer are used.
RU2022115570A 2022-06-09 Method of optical-inertial navigation with automatic selection of scale factor RU2811344C2 (en)

Publications (2)

Publication Number Publication Date
RU2022115570A RU2022115570A (en) 2023-12-11
RU2811344C2 true RU2811344C2 (en) 2024-01-11

Family

ID=

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU195749U1 (en) * 2019-07-15 2020-02-05 Общество с ограниченной ответственностью "МИРП-Интеллектуальные Системы" Intelligent vision system for an unmanned aerial vehicle for solving navigation problems, building a three-dimensional map of the surrounding space and obstacles, and autonomous patrolling
WO2020107038A1 (en) * 2018-11-19 2020-05-28 Invensense, Inc. Method and system for positioning using radar and motion sensors
RU2724908C1 (en) * 2019-06-17 2020-06-26 Общество С Ограниченной Ответственностью "Скайлайн" Aircraft-type unmanned aerial vehicle landing method to runway using optical devices of different range
US20200370920A1 (en) * 2019-05-22 2020-11-26 Trusted Positioning, Inc. Method and system for map improvement using feedback from positioning based on radar and motion sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107038A1 (en) * 2018-11-19 2020-05-28 Invensense, Inc. Method and system for positioning using radar and motion sensors
US20200370920A1 (en) * 2019-05-22 2020-11-26 Trusted Positioning, Inc. Method and system for map improvement using feedback from positioning based on radar and motion sensors
RU2724908C1 (en) * 2019-06-17 2020-06-26 Общество С Ограниченной Ответственностью "Скайлайн" Aircraft-type unmanned aerial vehicle landing method to runway using optical devices of different range
RU195749U1 (en) * 2019-07-15 2020-02-05 Общество с ограниченной ответственностью "МИРП-Интеллектуальные Системы" Intelligent vision system for an unmanned aerial vehicle for solving navigation problems, building a three-dimensional map of the surrounding space and obstacles, and autonomous patrolling

Similar Documents

Publication Publication Date Title
CN111102978B (en) Method and device for determining vehicle motion state and electronic equipment
US10082583B2 (en) Method and apparatus for real-time positioning and navigation of a moving platform
Ladetto et al. Digital magnetic compass and gyroscope integration for pedestrian navigation
RU2558724C2 (en) Diagnostic complex for determination of pipeline position, and method for determining relative displacement of pipeline as per results of two and more inspection passes of diagnostic complex for determination of pipelines position
CN109540126A (en) A kind of inertia visual combination air navigation aid based on optical flow method
Georgy et al. Vehicle navigator using a mixture particle filter for inertial sensors/odometer/map data/GPS integration
CN110231028B (en) Aircraft navigation method, device and system
CN109143304B (en) Method and device for determining pose of unmanned vehicle
CN110715659A (en) Zero-speed detection method, pedestrian inertial navigation method, device and storage medium
CN113783652B (en) Data synchronization method and device of integrated navigation system
CN111947644B (en) Outdoor mobile robot positioning method and system and electronic equipment thereof
Steiner et al. A vision-aided inertial navigation system for agile high-speed flight in unmapped environments: Distribution statement a: Approved for public release, distribution unlimited
CN113203418A (en) GNSSINS visual fusion positioning method and system based on sequential Kalman filtering
CN109507706B (en) GPS signal loss prediction positioning method
CN112526573B (en) Object positioning method and device, storage medium and electronic equipment
CN110849360A (en) Distributed relative navigation method for multi-machine cooperative formation flight
Cao et al. Low cost SINS/GPS integration for land vehicle navigation
CN114690229A (en) GPS-fused mobile robot visual inertial navigation method
CN113566850B (en) Method and device for calibrating installation angle of inertial measurement unit and computer equipment
Hu et al. Performance evaluation of stereo vision aided loosely coupled GNSS/SINS integration for land vehicle navigation in different urban environments
RU2811344C2 (en) Method of optical-inertial navigation with automatic selection of scale factor
CN109059913A (en) A kind of zero-lag integrated navigation initial method for onboard navigation system
CN112729283A (en) Navigation method based on depth camera/MEMS inertial navigation/odometer combination
CN115523920B (en) Seamless positioning method based on visual inertial GNSS tight coupling
RU2617147C1 (en) Method for initial orienting gyroscopic navigation system for land mobiles