RU2804826C1 - Method for automatic calibration of video camera mounting angles within technical vision systems - Google Patents
Method for automatic calibration of video camera mounting angles within technical vision systems Download PDFInfo
- Publication number
- RU2804826C1 RU2804826C1 RU2023111858A RU2023111858A RU2804826C1 RU 2804826 C1 RU2804826 C1 RU 2804826C1 RU 2023111858 A RU2023111858 A RU 2023111858A RU 2023111858 A RU2023111858 A RU 2023111858A RU 2804826 C1 RU2804826 C1 RU 2804826C1
- Authority
- RU
- Russia
- Prior art keywords
- camera
- video camera
- video
- axis
- calculated
- Prior art date
Links
Abstract
Description
Изобретение относится к области определения и приведения к заданным значениям параметров видеокамер и может быть использовано в системах технического зрения, например, колесных роботов.The invention relates to the field of determining and bringing to specified values the parameters of video cameras and can be used in technical vision systems, for example, wheeled robots.
Для описания данного изобретения в заявке будет приведен пример применения способа автоматической калибровки углов крепления видеокамер на основе оптического потока в составе функций настройки параметров видеокамер колесного робота, однако для специалиста в данной области очевидно, что применение рассматриваемых технических признаков возможно и в других системах, использующих системы технического зрения. To describe this invention, the application will provide an example of the use of a method for automatically calibrating the mounting angles of video cameras based on optical flow as part of the functions for setting the parameters of video cameras of a wheeled robot, however, for a specialist in this field it is obvious that the use of the technical features in question is also possible in other systems using systems technical vision.
Колесные роботы оснащаются комплексом сенсоров, обеспечивающих возможность локализации робота в пространстве, детектирование целевой траектории и возможных препятствий. Одним из основных источников обработки данных с целью обеспечения локализации является система видеокамер в составе робота. Wheeled robots are equipped with a set of sensors that provide the ability to localize the robot in space, detect the target trajectory and possible obstacles. One of the main sources of data processing to ensure localization is the video camera system within the robot.
Функционирование видеокамер в составе колесных роботов, в том числе автономных, сопровождается особыми эксплуатационными условиями. Вибрации и механические воздействия, проявляющиеся в процессе движения, приводят к дрейфу внешних параметров видеокамеры, таких как углы поворота видеокамер по тангажу и рысканью, что негативно сказывается на параметрах матрицы поворота, посредством которой осуществляется преобразование координат наблюдаемого объекта из системы координат, связанной с видеокамерой, в систему координат, связанную с роботом.The operation of video cameras as part of wheeled robots, including autonomous ones, is accompanied by special operating conditions. Vibrations and mechanical impacts that occur during movement lead to a drift in the external parameters of the video camera, such as the angles of rotation of the video cameras in pitch and yaw, which negatively affects the parameters of the rotation matrix, through which the coordinates of the observed object are converted from the coordinate system associated with the video camera, into the coordinate system associated with the robot.
Известен способ автоматической калибровки видеокамер (US 2018324415), согласно которому в процессе движения транспортного средства с видеокамер получают изображения окружающей среды, выбираются ключевые точки изображения в области, ограниченной местоположением дороги, при этом ключевые точки отслеживаются с помощью метода оптического потока, применяют процедуры фильтрации к ключевым точкам, выделяют, по меньшей мере, две прямые линии, соответствующие противоположным сторонам дороги, затем для выделенных линий определяют точку схода, сравнивают положение полученной точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов тангажа и рыскания видеокамеры.There is a known method for automatic calibration of video cameras (US 2018324415), according to which, during the movement of a vehicle, images of the environment are obtained from video cameras, key image points are selected in an area limited by the location of the road, while key points are tracked using the optical flow method, filtering procedures are applied to key points, at least two straight lines corresponding to opposite sides of the road are selected, then the vanishing point is determined for the selected lines, the position of the resulting vanishing point is compared with the position of the principal point, and based on the resulting deviation, the pitch and yaw angles of the video camera are determined.
Известен способ автоматической калибровки видеокамеры на основе мобильной платформы (KR 20150096128), включающий следующие этапы: получение с видеокамеры, расположенной на мобильной платформе, четырех или более изображений целевого объекта в разных направлениях, этап предварительной обработки, выделение нескольких прямых линий из каждого входного изображения, получение средней линии путем классификации типов обнаруженных прямых линий, определение координат точки схода на основе указанной средней линии и этап получения значения параметра применения координат обнаруженной точки схода к формуле калибровки для вычисления значений внутренних параметров.There is a known method for automatically calibrating a video camera based on a mobile platform (KR 20150096128), which includes the following steps: obtaining four or more images of a target object in different directions from a video camera located on a mobile platform, a pre-processing stage, extracting several straight lines from each input image, obtaining a center line by classifying the types of detected straight lines, determining the coordinates of a vanishing point based on the specified center line, and the step of obtaining a parameter value of applying the coordinates of the detected vanishing point to a calibration formula to calculate internal parameter values.
Известен способ для онлайн-калибровки видеосистемы (US 2011115912) с использованием точек схода, оцениваемых по кадрам изображений с видеокамеры, содержащих идентифицированные разметки или края дороги. Точки схода определяются путем нахождения или экстраполяции, по крайней мере, одной левой и / или правой стороны разметки или краев дороги до точки пересечения, посредством чего рассчитывается долгосрочное среднее местоположение точки схода с помощью методов временной фильтрации из последовательности изображений, даже когда только одна сторона дороги, разметки полосы движения или края видна в любом заданном кадре изображения одновременно, и из усредненных по времени координат местоположения точки схода выводятся углы рысканья и тангажа видеокамеры.There is a known method for online calibration of a video system (US 2011115912) using vanishing points estimated from frames of images from a video camera containing identified road markings or edges. Vanishing points are determined by finding or extrapolating at least one left and/or right side of the road markings or edges to the intersection point, whereby the long-term average location of the vanishing point is calculated using temporal filtering techniques from the image sequence, even when only one side of the road , lane or edge markings are visible in any given image frame simultaneously, and the camera's yaw and pitch angles are derived from the time-averaged coordinates of the vanishing point location.
Для указанных аналогов характерно то, что в целях калибровки параметров видеокамер выделяют прямые на нескольких изображениях, далее путем построения прямой (траектории) движения выбранной точки от одного изображения к другому вычисляют углы отклонения видеокамер, однако при этом не учитываются параметры движения колесного робота несущего указанную камеру (например скорость движения), что снижает точность определения координат точек схода на ключевых фреймах и, как следствие, уменьшается точность определения углов крепления видеокамер, а также при обработке изображений не используется возможность по их оптимизации, что сокращает скорость их обработки и увеличивает потребные вычислительные мощности бортового вычислителя в составе колесного робота.What is characteristic of these analogues is that, in order to calibrate the parameters of video cameras, straight lines are identified in several images, then by constructing a straight line (trajectory) of movement of a selected point from one image to another, the angles of deviation of video cameras are calculated, but this does not take into account the movement parameters of the wheeled robot carrying the specified camera (for example, movement speed), which reduces the accuracy of determining the coordinates of vanishing points on key frames and, as a result, the accuracy of determining the mounting angles of video cameras decreases, and also when processing images, the opportunity to optimize them is not used, which reduces the speed of their processing and increases the required computing power on-board computer as part of a wheeled robot.
Задачей, поставленной при разработке данного изобретения, являлось создание способа автоматической калибровки углов крепления видеокамер в составе систем технического зрения, обеспечивающего высокую точность определения параметров положения видеокамеры, с возможностью снижения требований к мощности вычислительного устройства, требуемой для обработки изображений.The task posed in the development of this invention was to create a method for automatically calibrating the mounting angles of video cameras as part of technical vision systems, providing high accuracy in determining the position parameters of the video camera, with the possibility of reducing the requirements for the power of the computing device required for image processing.
Технический результат, достигаемый при реализации данного изобретения, заключается в повышении точности калибровки углов крепления видеокамеры, при обеспечении возможности снижения требований к производительности вычислительного устройства, обеспечивающего обработку изображений с целью определения параметров положения видеокамеры. The technical result achieved by implementing this invention is to increase the accuracy of calibration of the video camera mounting angles, while making it possible to reduce the performance requirements of the computing device that provides image processing in order to determine the position parameters of the video camera.
Указанный технический результат достигается способом автоматической калибровки углов крепления видеокамер в составе систем технического зрения, согласно которому на первом этапе носителем системы технического зрения производится калибровочный проезд, в процессе которого с видеокамер поступает видеопоток на котором выделяются ключевые фреймы, при этом фиксация ключевых фреймов осуществляется с заранее заданным расстоянием, определение которого обеспечивается за счет информации поступающей от одометрических сенсоров в составе носителя системы технического зрения, далее между парами ключевых фреймов производится расчет оптического потока, включающий определение положения соответствующих пикселей ключевых фреймов, после чего вычисляется маска малоинформативных зон, путем применения фильтров Гаусса для оптимизации полученных изображений, и осуществляется построение отрезков - траекторий движения ключевых фреймов, отрезки, концы которых, попадают в маску малоинформативных зон исключаются, затем вычисляется матрица векторов, указывающих из оптического центра камеры в концы отрезков движения, далее матрица декомпозируется и вычисляется вектор смещения оптического центра камеры между кадрами, формируется коллекция векторов смещения оптического центра камеры, после чего производится расчет точки фокуса, которая соответствует среднему вектору скорости носителя системы технического зрения в координатах видеокамеры, который, в свою очередь, соответствует направлению оси движения, направленной вперед, ось координат видеокамеры и координат носителя системы технического зрения по крену можно считать совпадающими, так как видеокамера закреплена неподвижно относительно оси по крену, сопоставление оси движения и оси крена в координатах видеокамеры позволяет определить углы крепления видеокамер и произвести необходимую калибровку. The specified technical result is achieved by a method of automatically calibrating the mounting angles of video cameras as part of technical vision systems, according to which, at the first stage, the carrier of the technical vision system makes a calibration drive, during which a video stream is received from the video cameras on which key frames are highlighted, while the key frames are fixed in advance a given distance, the determination of which is ensured by information received from odometric sensors as part of the technical vision system carrier, then the optical flow is calculated between pairs of key frames, including determining the position of the corresponding pixels of the key frames, after which a mask of low-information zones is calculated by applying Gaussian filters for optimization of the resulting images is carried out, and segments are constructed - trajectories of movement of key frames, segments whose ends fall into the mask of low-information zones are excluded, then a matrix of vectors pointing from the optical center of the camera to the ends of the segments of movement is calculated, then the matrix is decomposed and the displacement vector of the optical center is calculated camera between frames, a collection of displacement vectors of the optical center of the camera is formed, after which the focus point is calculated, which corresponds to the average speed vector of the technical vision system carrier in the coordinates of the video camera, which, in turn, corresponds to the direction of the forward axis of motion, the coordinate axis of the video camera and The coordinates of the roll axis of the technical vision system carrier can be considered identical, since the video camera is fixed motionless relative to the roll axis. Comparison of the axis of motion and the roll axis in the coordinates of the video camera allows us to determine the mounting angles of the video cameras and perform the necessary calibration.
Указанные технические признаки позволяют осуществить определение и калибровку углов крепления видеокамер в составе системы технического зрения. Носителем системы технического зрения может являться как транспортное средство, так и беспилотный колесный робот, имеющий в своем составе одометрические датчики, позволяющие фиксировать скорость движения. Калибровочный проезд необходим для формирования изображений при помощи видеокамер в составе системы технического зрения, фиксация которых осуществляется с заранее заданным расстоянием, после чего полученные изображения передается в память вычислительного устройства. Обработка изображения с целью поиска и фильтрации малоинформативных зон осуществляется в вычислительном устройстве, представляющим из себя центральный процессор компьютера, либо процессор GPU. Обработка производится с применением фильтров Гаусса с целью оптимизации изображений, для повышения скорости их дальнейшей обработки. Результатом обработки является расчет точки фокуса, которая соответствует среднему вектору скорости носителя системы технического зрения в координатах видеокамеры, который, в свою очередь, соответствует направлению оси движения, направленной вперед. Учитывая, что камера закреплена неподвижно относительно оси крена, сопоставление оси крена, сопоставление оси движения и оси крена в координатах видеокамеры позволяет определить углы крепления видеокамер и произвести необходимую калибровку. Также в случае применения креплений видеокамер с тремя степенями свободы калибровка может осуществляться с учетом определения угла крена.The specified technical features make it possible to determine and calibrate the mounting angles of video cameras as part of a technical vision system. The carrier of the technical vision system can be either a vehicle or an unmanned wheeled robot, which contains odometric sensors that allow recording the speed of movement. A calibration passage is necessary for the formation of images using video cameras as part of a technical vision system, which are recorded at a predetermined distance, after which the resulting images are transferred to the memory of a computing device. Image processing for the purpose of searching and filtering low-information zones is carried out in a computing device, which is a computer central processor or a GPU processor. Processing is carried out using Gaussian filters in order to optimize images and increase the speed of their further processing. The result of the processing is the calculation of the focal point, which corresponds to the average velocity vector of the technical vision system carrier in the coordinates of the video camera, which, in turn, corresponds to the direction of the forward axis of motion. Considering that the camera is fixed motionless relative to the roll axis, comparison of the roll axis, comparison of the axis of motion and the roll axis in the coordinates of the video camera allows us to determine the mounting angles of the video cameras and perform the necessary calibration. Also, in the case of using video camera mounts with three degrees of freedom, calibration can be carried out taking into account the determination of the roll angle.
В предпочтительном варианте исполнения изобретение осуществляется следующим образом.In a preferred embodiment, the invention is carried out as follows.
Колесным роботом, содержащим в своем составе систему технического зрения, производится калибровочный проезд, параметры которого (скорость и шаг формирования изображений - ключевых фреймов) задаются заранее. В процессе движения с видеокамер поступает видеопоток, первый фрейм которого обозначается как ключевой. Фиксация последующих ключевых фреймов осуществляется с заранее заданным расстоянием проезда, которое определяется с учетом оценки скорости движения колесного робота и высоты крепления видеокамеры. Определение пройденного расстояния обеспечивается за счет информации, поступающей от одометрических сенсоров в составе колесного робота. Так же для обеспечения высокой скорости обработки, и снижения требований к вычислительным мощностям вычисляется маска малоинформативных зон, путем применения фильтров Гаусса. Затем формируются пары корреспондированных точек, то есть отрезков движения из старого кадра в новый кадр, в результате чего формируются отрезки h - траектории движения ключевых фреймов, отрезки, концы которых попадают в маску малоинформативных зон, исключаются. На основе оставшихся отрезков вычисляется Essential matrix E (матрица Е), то есть такая матрица, для которой выполняется pEq = 0 где p и q вектора, указывающие из оптического центра камеры в концы отрезков движения h. Матрица E декомпозируется и вычисляется изменение положения камеры между кадрами - матрица поворота R и направление смещения оптического центра v (в системе координат камеры). Производится накопление векторов смещения оптического центра камеры на парах ключевых кадров, при котором образуется коллекция Sv, на которой производится медианное усреднение векторов и расчет точки foe (focus of expansion), которая соответствует среднему вектору скорости колесного робота в координатах камеры, который, в свою очередь, соответствует направлению главной оси колесного робота, направленной вперед. A wheeled robot containing a technical vision system performs a calibration drive, the parameters of which (speed and step of image formation - key frames) are set in advance. During the movement, a video stream is received from video cameras, the first frame of which is designated as the key frame. Fixation of subsequent key frames is carried out with a predetermined travel distance, which is determined taking into account the assessment of the speed of movement of the wheeled robot and the height of the video camera mount. Determination of the distance traveled is provided by information received from odometric sensors as part of the wheeled robot. Also, to ensure high processing speed and reduce the requirements for computing power, a mask of low-information zones is calculated by applying Gaussian filters. Then pairs of corresponding points are formed, that is, segments of movement from the old frame to the new frame, as a result of which segments h are formed - the trajectories of the movement of key frames, segments whose ends fall into the mask of low-information zones are excluded. Based on the remaining segments, the Essential matrix E is calculated, that is, a matrix for which pEq = 0 is satisfied, where p and q are vectors pointing from the optical center of the camera to the ends of the motion segments h. Matrix E is decomposed and the change in camera position between frames is calculated - the rotation matrix R and the direction of displacement of the optical center v (in the camera coordinate system). The displacement vectors of the optical center of the camera are accumulated on pairs of key frames, in which a collection Sv is formed, on which the median averaging of the vectors is performed and the point foe (focus of expansion) is calculated, which corresponds to the average velocity vector of the wheeled robot in camera coordinates, which, in turn, , corresponds to the direction of the main axis of the wheeled robot, directed forward.
Если рассматривать движение на плоскости земли, усредненный вектор скорости колесного робота параллелен плоскости земли и точка FOE находится на линии горизонта. Ось координат видеокамеры и координат носителя системы технического зрения по крену можно считать совпадающими, так как видеокамера закреплена неподвижно относительно оси по крену (если используется крепление камеры с двумя степенями свободы (тангаж и рыскание), сопоставление оси движения и оси крена в координатах видеокамеры позволяет определить углы крепления.If we consider movement on the ground plane, the average velocity vector of a wheeled robot is parallel to the ground plane and the FOE point is on the horizon line. The coordinate axis of the video camera and the coordinates of the roll axis of the technical vision system can be considered identical, since the video camera is fixed motionless relative to the roll axis (if a camera mount with two degrees of freedom (pitch and yaw) is used), a comparison of the motion axis and the roll axis in the video camera coordinates allows you to determine mounting angles.
По результатам расчета углов крепления видеокамеры в процессе движения колесного робота проводят коррекцию их значений и осуществляют калибровку.Based on the results of calculating the mounting angles of the video camera during the movement of the wheeled robot, their values are corrected and calibrated.
В случае использования крепления камеры с тремя степенями свободы, в процессе калибровки необходимо учитывать положение угла крена.When using a camera mount with three degrees of freedom, the position of the roll angle must be taken into account during the calibration process.
Для этого матрица E декомпозируется и вычисляется изменение угла крена видеокамеры между кадрами - матрицей поворота R и направлением смещения оптического центра v (в системе координат камеры). To do this, the matrix E is decomposed and the change in the roll angle of the video camera between frames is calculated - the rotation matrix R and the direction of displacement of the optical center v (in the camera coordinate system).
В момент выполнения калибровки фиксируется матрица поворота Ri, которая фиксирует поворот между ключевыми фреймами <i, i-1>.At the time of calibration, the rotation matrix Ri is fixed, which fixes the rotation between key frames <i, i-1>.
В процессе выполнения проезда отслеживается произведение матриц поворота R(i) = R1…Ri, которое позволяет определить вращение камеры с момента первого фрейма до фрейма i.During the passage, the product of rotation matrices R(i) = R1…Ri is tracked, which allows you to determine the rotation of the camera from the moment of the first frame to frame i.
Для пары фреймов i<j можно рассчитать вращение от момента фрейма i до момента фрейма j на основе уравнения:For a pair of frames i<j, we can calculate the rotation from the moment of frame i to the moment of frame j based on the equation:
R(i)R(i, j) = R(j), т.е. R(i,j) = R-1(i)R(j).R(i)R(i, j) = R(j), i.e. R(i,j) = R-1(i)R(j).
Таким образом, метод позволяет оценить вращение камерами между кадрами i j R(i,j). Вращение может быть представлено по формуле Родригеса как ось вращения N(i,j) и угол вращения вокруг этой оси Phi(i,j). Ось вращения может быть представлена вектором направления оси U(i,j) сонаправленным с осью Z камеры, т.е. направлением “вверх”. Соответственно, угол поворота имеет знак, соответствующий виражу налево (положительный) или виражу направо (отрицательный).Thus, the method allows you to estimate the rotation of cameras between frames i j R(i,j). Rotation can be represented using the Rodriguez formula as the axis of rotation N(i,j) and the angle of rotation around this axis Phi(i,j). The rotation axis can be represented by the direction vector of the axis U(i,j) co-directed with the Z axis of the camera, i.e. "up" direction. Accordingly, the turning angle has a sign corresponding to a turn to the left (positive) or a turn to the right (negative).
В процессе выполнения виража на плоской калибровочной площадке фиксируются моменты времени, когда модуль угла вращения между фреймами Phi(j,j) превышает заранее заданное предельное значение Phi_min (например, более 15 градусов). During a turn on a flat calibration platform, moments in time are recorded when the rotation angle between frames Phi(j,j) exceeds a predetermined limit value Phi_min (for example, more than 15 degrees).
В этом случае фиксируется вектор оси вращения с учетом направления “вверх”. In this case, the vector of the rotation axis is fixed, taking into account the “up” direction.
Производится накопление и усреднение осей вращения U(i,j) и получается усредненный вектор U, который соответствует вертикальной нормали к плоскости площадки, заданной в координатах камеры. Таким образом, фиксируется вертикальная ось робота U (т.е. “вверх”) в координатах камеры.The rotation axes U(i,j) are accumulated and averaged and an averaged vector U is obtained, which corresponds to the vertical normal to the site plane, specified in camera coordinates. Thus, the vertical axis of the robot U (i.e. “up”) is fixed in the camera coordinates.
Направление вправо фиксируется как векторное произведение FxU. Производится ортогонализация, т.е. поиск такого набора ортогональных осей, для которого направления вперед и вверх приближенно равны F и U.The direction to the right is fixed as the cross product FxU. Orthogonalization is performed, i.e. searching for a set of orthogonal axes for which the forward and upward directions are approximately equal to F and U.
Полученные вектора направления осей представляют собой матрицу направляющих косинусов, определяющие матрицу поворота камеры относительно колесного робота, по результатам расчета которой, определяют отклонения по углу крена, и в процессе движения колесного робота проводят коррекцию значений углов в соответствии с полученным отклонением по оси крена и осуществляют калибровку.The resulting axis direction vectors represent a matrix of direction cosines that determine the camera rotation matrix relative to the wheeled robot, based on the calculation results of which, deviations along the roll angle are determined, and during the movement of the wheeled robot, the angle values are corrected in accordance with the obtained deviation along the roll axis and calibration is carried out .
Таким образом, реализация данного способа калибровки углов крепления видеокамер позволяет с высокой точностью и вычислительной эффективностью производить оценку углов тангажа и рысканья, а также угла крена видеокамеры в процессе движения колесного робота и может найти широкое применение в составе системы позиционирования комплексов, использующих систему технического зрения.Thus, the implementation of this method for calibrating the mounting angles of video cameras makes it possible to estimate the pitch and yaw angles, as well as the roll angle of the video camera during the movement of a wheeled robot with high accuracy and computational efficiency and can find wide application as part of the positioning system of complexes using a technical vision system.
Claims (2)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2804826C1 true RU2804826C1 (en) | 2023-10-06 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2344478C1 (en) * | 2007-11-01 | 2009-01-20 | Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет | Method for calibration of computer vision system of roulette numbers identification and device for its realisation |
| US20110115912A1 (en) * | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
| US10694175B2 (en) * | 2015-12-28 | 2020-06-23 | Intel Corporation | Real-time automatic vehicle camera calibration |
| US11007934B2 (en) * | 2011-04-25 | 2021-05-18 | Magna Electronics Inc. | Method for dynamically calibrating a vehicular camera |
| RU2780717C1 (en) * | 2021-08-06 | 2022-09-29 | Общество с ограниченной ответственностью «ЭвоКарго» | Method for calibrating external parameters of video cameras |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110115912A1 (en) * | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
| RU2344478C1 (en) * | 2007-11-01 | 2009-01-20 | Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет | Method for calibration of computer vision system of roulette numbers identification and device for its realisation |
| US11007934B2 (en) * | 2011-04-25 | 2021-05-18 | Magna Electronics Inc. | Method for dynamically calibrating a vehicular camera |
| US10694175B2 (en) * | 2015-12-28 | 2020-06-23 | Intel Corporation | Real-time automatic vehicle camera calibration |
| RU2780717C1 (en) * | 2021-08-06 | 2022-09-29 | Общество с ограниченной ответственностью «ЭвоКарго» | Method for calibrating external parameters of video cameras |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10928838B2 (en) | Method and device of determining position of target, tracking device and tracking system | |
| CN109872372B (en) | Global visual positioning method and system for small quadruped robot | |
| US10133278B2 (en) | Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof | |
| US8213706B2 (en) | Method and system for real-time visual odometry | |
| CN111932580A (en) | Road 3D vehicle tracking method and system based on Kalman filtering and Hungary algorithm | |
| WO2016035324A1 (en) | Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion | |
| EP3531376B1 (en) | Calibrating a camera of a vehicle | |
| CN103761737A (en) | Robot motion estimation method based on dense optical flow | |
| US10846541B2 (en) | Systems and methods for classifying road features | |
| WO2019191288A1 (en) | Direct sparse visual-inertial odometry using dynamic marginalization | |
| US11747833B2 (en) | Method and device for estimating distance to target, and unmanned aerial vehicle | |
| CN115861975B (en) | Obstacle vehicle pose estimation method and equipment | |
| CN114419098A (en) | Moving target trajectory prediction method and device based on visual transformation | |
| Han et al. | Robust ego-motion estimation and map matching technique for autonomous vehicle localization with high definition digital map | |
| Nilsson et al. | Reliable vehicle pose estimation using vision and a single-track model | |
| CN111986261A (en) | Vehicle positioning method and device, electronic equipment and storage medium | |
| CN116202489A (en) | Method and system for co-locating power transmission line inspection machine and pole tower and storage medium | |
| CN114972427A (en) | Target tracking method based on monocular vision, terminal equipment and storage medium | |
| KR20210069816A (en) | Attached tpye-agricultural working path detecting appatatus | |
| Lee et al. | Measuring vehicle velocity in real time using modulated motion blur of camera image data | |
| RU2804826C1 (en) | Method for automatic calibration of video camera mounting angles within technical vision systems | |
| Yang et al. | Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera | |
| CN117537812A (en) | Stereoscopic vision inertial odometer positioning method and system based on quantization window | |
| CN116681733A (en) | Near-distance real-time pose tracking method for space non-cooperative target | |
| JP7278740B2 (en) | Mobile control device |