RU2780717C1 - Method for calibrating external parameters of video cameras - Google Patents

Method for calibrating external parameters of video cameras Download PDF

Info

Publication number
RU2780717C1
RU2780717C1 RU2021123500A RU2021123500A RU2780717C1 RU 2780717 C1 RU2780717 C1 RU 2780717C1 RU 2021123500 A RU2021123500 A RU 2021123500A RU 2021123500 A RU2021123500 A RU 2021123500A RU 2780717 C1 RU2780717 C1 RU 2780717C1
Authority
RU
Russia
Prior art keywords
image
video cameras
straight line
external parameters
calibrating
Prior art date
Application number
RU2021123500A
Other languages
Russian (ru)
Inventor
Максим Петрович Абрамов
Олег Сергеевич Шипитько
Антон Сергеевич Григорьев
Original Assignee
Общество с ограниченной ответственностью «ЭвоКарго»
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью «ЭвоКарго» filed Critical Общество с ограниченной ответственностью «ЭвоКарго»
Priority to EP22853597.7A priority Critical patent/EP4383199A1/en
Priority to CN202280067493.3A priority patent/CN118056226A/en
Priority to PCT/RU2022/050200 priority patent/WO2023014246A1/en
Application granted granted Critical
Publication of RU2780717C1 publication Critical patent/RU2780717C1/en

Links

Images

Abstract

FIELD: regulating.
SUBSTANCE: invention relates to a method for calibrating the external parameters of optical video cameras. Method for calibrating external parameters of video cameras is characterised by obtaining images of the environment from the video cameras in the course of movement of the vehicle; selecting linear objects of the environment in the image; forming an image with the linear objects and selecting rectilinear segments; determining the position of the vanishing point for the selected rectilinear segments; comparing the position of the vanishing point is compared with the position of the reference point; based on the resulting deviation, determining the values of rotation angles of the camera with account for the focal lengths known from the internal calibration of the camera; and forming a corrected image with account for the determined rotation angles of the camera.
EFFECT: increase in the accuracy of calibrating external parameters of video cameras.
2 cl, 1 dwg

Description

Изобретение относится к области технического зрения, а именно к способам калибровки внешних параметров оптических видеокамер.The invention relates to the field of technical vision, and in particular to methods for calibrating the external parameters of optical video cameras.

Функционирование видеокамер в составе наземного транспортного средства (НТС), в том числе автономных, сопровождается особыми эксплуатационными условиями. Вибрации и механические воздействия, проявляющиеся в процессе движения НТС, приводят к дрейфу внешних параметров видеокамеры, таких как углы поворота видеокамер по тангажу, крену и рысканью, что негативно сказывается на параметрах матрицы поворота, посредством которой осуществляется преобразование координат наблюдаемого объекта из системы координат, связанной с видеокамерой, в систему координат, связанную с НТС.The operation of video cameras as part of a ground vehicle (NTV), including autonomous ones, is accompanied by special operating conditions. Vibrations and mechanical impacts that manifest themselves during the movement of the NTS lead to a drift of the external parameters of the video camera, such as the angles of rotation of the video cameras in pitch, roll and yaw, which negatively affects the parameters of the rotation matrix, through which the coordinates of the observed object are converted from the coordinate system associated with with a video camera, into the coordinate system associated with the NTS.

Таким образом, нескорректированный дрейф углов поворота видеокамер в процессе движения НТС приводит к накоплению ошибки локализации наблюдаемого объекта или автономного НТС и, как следствие, к снижению точности определения местоположения указанных объектов.Thus, the uncorrected drift of the angles of rotation of video cameras during the movement of the NTS leads to the accumulation of an error in the localization of the observed object or autonomous NTS and, as a result, to a decrease in the accuracy of determining the location of these objects.

Из области техники известны следующие способы калибровки внешних параметров видеокамер, направленные на решение указанной технической проблемы.From the field of technology, the following methods for calibrating the external parameters of video cameras are known, aimed at solving this technical problem.

Известен способ автоматической калибровки видеокамеры на основе мобильной платформы (KR20150096128), включающий следующие этапы: получение с видеокамеры, расположенной на мобильной платформе, четырех или более изображений целевого объекта в разных направлениях, этап предварительной обработки, выделение нескольких прямых линий из каждого входного изображения, получение средней линии путем классификации типов обнаруженных прямых линий, определение координат точки схода на основе указанной средней линии и этап получения значения параметра применения координат обнаруженной точки схода к формуле калибровки для вычисления значений внутренних параметров.A known method for automatically calibrating a video camera based on a mobile platform (KR20150096128), which includes the following steps: obtaining from a video camera located on a mobile platform, four or more images of a target object in different directions, a pre-processing step, extracting several straight lines from each input image, obtaining a midline by classifying types of the detected straight lines, determining vanishing point coordinates based on said midline, and obtaining a parameter value of applying the detected vanishing point coordinates to a calibration formula to calculate intrinsic parameter values.

Известен способ для онлайн-калибровки видеосистемы (US2011115912) с использованием точек схода, оцениваемых по кадрам изображений с видеокамеры, содержащих идентифицированные разметки или края дороги. Точки схода определяются путем нахождения или экстраполяции, по крайней мере, одной левой и / или правой стороны разметки или краев дороги до точки пересечения, посредством чего рассчитывается долгосрочное среднее местоположение точки схода с помощью методов временной фильтрации из последовательности изображений, даже когда только одна сторона дороги, разметки полосы движения или края видна в любом заданном кадре изображения одновременно, и из усредненных по времени координат местоположения точки схода выводятся углы рысканья и тангажа видеокамеры.A method is known for online calibration of a video system (US2011115912) using vanishing points estimated from video camera image frames containing identified markings or road edges. Vanishing points are determined by finding or extrapolating at least one left and/or right side of the markings or edges of the road to the intersection point, whereby the long-term average location of the vanishing point is calculated using temporal filtering techniques from the image sequence, even when only one side of the road is , lane or edge markings are visible in any given image frame simultaneously, and the yaw and pitch angles of the video camera are derived from the time-averaged coordinates of the vanishing point location.

Общий недостаток для представленных технических решений заключается в использовании нескольких изображений, получаемых с видеокамер, для определения точки схода, что снижает скорость обработки изображений и увеличивает потребные вычислительные мощности.A common disadvantage for the presented technical solutions is the use of several images obtained from video cameras to determine the vanishing point, which reduces the speed of image processing and increases the required computing power.

Известен способ определения угла крена видеокамеры, установленной на транспортном средстве (CN112017249), включающий в себя следующие этапы: получение изображений с видеокамеры, установленной на транспортном средстве, извлечение всех прямых линий в горизонтальном направлении области кузова транспортного средства на изображении, определение всех наклонов прямых линий в горизонтальном направлении и выделение среди них среднего значения наклона прямой линии, вычисление угла крена видеокамеры в соответствии с выбранным средним значением наклона прямой линии. Также отмечено, что угол азимута и угол тангажа получают по положению точки схода, определяемому по выделенным на изображении линиям полосы движения.There is a known method for determining the roll angle of a video camera installed on a vehicle (CN112017249), which includes the following steps: obtaining images from a video camera installed on a vehicle, extracting all straight lines in the horizontal direction of the vehicle body area in the image, determining all the slopes of straight lines in the horizontal direction and highlighting among them the average value of the inclination of the straight line, calculating the roll angle of the video camera in accordance with the selected average value of the inclination of the straight line. It is also noted that the azimuth angle and the pitch angle are obtained from the position of the vanishing point, determined by the lane lines highlighted in the image.

В данном способе положение точки схода, предпочтительно, определяют по двум отобранным прямолинейным линиям, выделенных на изображении, что приводит с снижению точности определения координат точки схода и, как следствие, к снижению точности калибровки внешних параметров видеокамер.In this method, the position of the vanishing point is preferably determined by two selected straight lines highlighted in the image, which leads to a decrease in the accuracy of determining the coordinates of the vanishing point and, as a result, to a decrease in the accuracy of calibration of the external parameters of the video cameras.

Известен способ автоматической калибровки видеокамер (US2018324415), согласно которому в процессе движения транспортного средства с видеокамер получают изображения окружающей среды, выбираются ключевые точки изображения в области, ограниченной местоположением дороги, при этом ключевые точки отслеживаются с помощью метода оптического потока, применяют процедуры фильтрации к ключевым точкам, выделяют, по меньшей мере, две прямые линии, соответствующие противоположным сторонам дороги, затем для выделенных линий определяют точку схода, сравнивают положение полученной точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов тангажа и рыскания видеокамеры по формулам:There is a known method for automatic calibration of video cameras (US2018324415), according to which, during the movement of a vehicle, images of the environment are obtained from video cameras, key image points are selected in an area limited by the location of the road, while key points are tracked using the optical flow method, filtering procedures are applied to key points, at least two straight lines corresponding to opposite sides of the road are selected, then the vanishing point is determined for the selected lines, the position of the obtained vanishing point is compared with the position of the principal point, based on the obtained deviation, the pitch and yaw angles of the video camera are determined by the formulas:

Figure 00000001
Figure 00000001

где pitch, yaw - углы тангажа и рыскания видеокамеры;where pitch, yaw - pitch and yaw angles of the video camera;

Vp, Up - координаты точки схода изображения;V p , U p - coordinates of the vanishing point of the image;

Cx, Cy - координаты принципиальной точки видеокамеры;C x , C y - coordinates of the principle point of the video camera;

fx, fy - фокусные расстояния.f x , f y - focal lengths.

Для представленного способа характерно то, что прямые выделяют на нескольких изображениях путем построения прямой (траектории) движения выбранной точки от одного изображения к другому, что снижает скорость обработки изображений и увеличивает потребные вычислительные мощности бортового вычислителя.The presented method is characterized by the fact that straight lines are selected on several images by constructing a straight line (trajectory) of the selected point from one image to another, which reduces the speed of image processing and increases the required computing power of the onboard computer.

Указанное техническое решение наиболее близко по технической сущности к заявленному изобретению и может выступать в качестве прототипа.The specified technical solution is closest in technical essence to the claimed invention and can act as a prototype.

Задачей, на решение которой направлено заявленное изобретение, является создание способа калибровки внешних параметров видеокамер, применяемых в составе НТС, на основе определения положения точки схода по выделенным прямолинейным отрезкам на единичном изображении, получаемом с видеокамеры, позволяющего с высокой точностью проводить оценку изменения углов поворота видеокамер по тангажу и рысканью в процессе движения НТС и выполнения виртуального поворота видеокамеры, при этом реализация способа имеет преимущество в части снижения требований к потребным вычислительным мощностям при обработке изображений.The task to be solved by the claimed invention is to create a method for calibrating the external parameters of video cameras used as part of the NTS, based on determining the position of the vanishing point along the selected straight line segments on a single image obtained from the video camera, which makes it possible to assess with high accuracy the change in the angles of rotation of the video cameras in pitch and yaw during the movement of the NTS and the virtual rotation of the video camera, while the implementation of the method has the advantage of reducing the requirements for the required computing power in image processing.

В данном способе под виртуальным поворотом видеокамеры понимают такое преобразование изображения к новому изображению, которое могло быть получено с видеокамеры, повернутой на заданный угол.In this method, the virtual rotation of the video camera is understood as such an image transformation to a new image that could be obtained from a video camera rotated at a given angle.

Технический результат заявленного изобретения заключается в повышении точности калибровки внешних параметров видеокамер.The technical result of the claimed invention is to improve the accuracy of calibration of the external parameters of video cameras.

Технический результат достигается за счет осуществления способа калибровки внешних параметров видеокамер, характеризующегося тем, что в процессе движения транспортного средства (ТС) с видеокамер получают изображения окружающей среды, на изображении выделяют линейные объекты окружающей среды, формируют изображение с линейными объектами и выделяют прямолинейные отрезки, определяют положение точки схода для выделенных прямолинейных отрезков как положение точки пересечения сформированных прямолинейных отрезков путем определения параметров функции, описывающей прямую, сформированную на основе множества точек, в виде которых представляют совокупность выделенных прямолинейных отрезков, при этом параметры функции указанной прямой определяют как средние значения соответствующих параметров прямых, построенных между всевозможными парами данных точек, сравнивают положение точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов поворота видеокамеры с учетом фокусных расстояний, известных из внутренней калибровки камеры, формируют скорректированное изображение с учетом определенных углов поворота видеокамеры.The technical result is achieved by implementing a method for calibrating the external parameters of video cameras, characterized in that during the movement of the vehicle (V) from the video cameras, images of the environment are obtained, linear objects of the environment are selected in the image, an image with linear objects is formed and straight segments are selected, determined the position of the vanishing point for the selected straight line segments as the position of the intersection point of the formed straight line segments by determining the parameters of the function describing the straight line, formed on the basis of a set of points, in the form of which the set of selected straight line segments is represented, while the function parameters of the specified straight line are determined as the average values of the corresponding line parameters , built between all possible pairs of these points, the position of the vanishing point is compared with the position of the principle point, based on the deviation obtained, the values of the angles of rotation of the video camera are determined taking into account the focal lengths known from the internal calibration of the camera, a corrected image is formed taking into account certain angles of rotation of the video camera.

В предпочтительном варианте осуществления способа калибровки внешних параметров видеокамер, прямолинейные отрезки на изображении формируют с помощью применения быстрого преобразования Хафа.In a preferred embodiment of the method for calibrating the external parameters of video cameras, rectilinear segments in the image are formed by applying a fast Hough transform.

В рамках изложения сущности предлагаемого способа вводятся следующие пояснения, раскрывающие смысловое значение используемых терминов. As part of the presentation of the essence of the proposed method, the following explanations are introduced, revealing the semantic meaning of the terms used.

Так, под точкой схода понимается точка пересечения на изображении образов прямых, параллельных в реальном мире.So, the vanishing point is understood as the point of intersection on the image of images of straight lines that are parallel in the real world.

Принципиальная точка – точка пересечения плоскости изображения с оптической осью видеокамеры.The principal point is the point of intersection of the image plane with the optical axis of the video camera.

На фиг.1 представлены этапы последовательности действий, характеризующие предлагаемый способ калибровки внешних параметров видеокамер, где 1 –получение исходного изображения с видеокамер НТС, 2 – преобразование исходного изображения к оттенкам серого, 3 – выделение линейных объектов окружающей среды, 4 – фильтрация изображения, 5 – формирование Хаф-образа, 6 − выделение прямолинейных отрезков на исходном положении, 7 – нахождение точки схода на исходном изображении.Figure 1 shows the steps of the sequence of actions that characterize the proposed method for calibrating the external parameters of video cameras, where 1 is the acquisition of the original image from the NTS video cameras, 2 is the conversion of the original image to grayscale, 3 is the selection of linear environmental objects, 4 is image filtering, 5 – formation of a haf-image, 6 – selection of rectilinear segments at the initial position, 7 – finding the vanishing point on the original image.

Способ калибровки видеокамер в предпочтительном варианте реализуется следующим образом (фиг. 1).The method of calibrating video cameras in the preferred embodiment is implemented as follows (Fig. 1).

В процессе движения НТС передние оптические видеокамеры НТС регистрируют изображения линейных объектов окружающей среды проезжей части дороги, по которой движется данное транспортное средство (1). During the movement of the NTS, the front optical video cameras of the NTS record images of linear objects of the environment of the carriageway along which this vehicle (1) is moving.

Необходимо отметить, что для осуществления способа НТС выполняет движение, параллельно прямолинейным объектам, находящимся в поле зрения видеокамеры (дорожная разметка, края зданий и дорог).It should be noted that in order to implement the method, the NTS performs a movement parallel to straight-line objects in the field of view of the video camera (road markings, edges of buildings and roads).

Изображения с видеокамер поступают на бортовой вычислитель и обрабатываются независимо друг от друга. Исходя из этого, все последующие этапы рассматриваются с точки зрения одной единственной видеокамеры.Images from video cameras are fed to the onboard computer and processed independently of each other. Based on this, all subsequent stages are considered from the point of view of a single video camera.

Исходное изображение подвергают предварительной обработке, заключающейся в исправлении радиальной дисторсии для устранения искажений наблюдаемых объектов, вызванных линзой видеокамеры, и преобразовывают к оттенкам серого (2), затем на изображении выделяют линейные объекты окружающей среды, предпочтительно, методом Канни, после чего найденные линейные объекты объединяются в одно изображение попиксельным сложением (3).The original image is subjected to preliminary processing, which consists in correcting radial distortion to eliminate distortions of the observed objects caused by the camera lens, and converted to grayscale (2), then linear objects of the environment are selected in the image, preferably by the Canny method, after which the found linear objects are combined into one image by pixel-by-pixel addition (3).

На следующем этапе выполняется сглаживание изображения фильтром Гаусса для компенсации ошибок детекции линейных объектов окружающей среды (4). Далее на сглаженном изображении выделяют прямолинейные отрезки, пересекающееся в точке схода.At the next stage, the image is smoothed with a Gaussian filter to compensate for errors in the detection of linear environmental objects (4). Further, on the smoothed image, rectilinear segments are selected, intersecting at the vanishing point.

Прямолинейные отрезки на изображении формируют с помощью применения быстрого преобразования Хафа (БПХ) согласно которому строят Хаф-образ (5), затем определяют область поиска точки схода на Хаф-образе. Rectilinear segments on the image are formed by applying the fast Hough transform (FHT), according to which the Hough image (5) is built, then the search area for the vanishing point on the Hough image is determined.

Для выявления области поиска точки схода формируют черно-белое изображение, где белым цветом отмечают окрестность ожидаемой точки схода, к полученному изображению применяют БПХ, на полученном Хаф-образе определяют координаты крайнего левого и правого пикселей с ненулевым значением, при этом значения данных пикселей на оси абсцисс задают диапазон поиска точки схода.To identify the search area for the vanishing point, a black-and-white image is formed, where the neighborhood of the expected vanishing point is marked in white, FHT is applied to the resulting image, the coordinates of the extreme left and right pixels with a non-zero value are determined on the resulting Hough-image, while the values of these pixels on the axis the abscissa defines the vanishing point search range.

Для выделения прямолинейных отрезков на Хаф-образе регистрируют самый яркий белый пиксель на изображении – максимум, который изначально представляется в виде прямой вида y=kx+b, после чего его окрестность удаляют из Хаф-образа путем присвоения соответствующим пикселям нулевых значений.To select rectilinear segments on the Hough image, the brightest white pixel on the image is recorded - the maximum, which is initially represented as a straight line of the form y=kx+b, after which its neighborhood is removed from the Hough image by assigning zero values to the corresponding pixels.

Найденная точка максимума с координатами (k, b) при ее наложении на исходное изображение преобразуется обратно в прямолинейный отрезок, описываемый функцией вида y=kx+b.The found maximum point with coordinates (k, b) when superimposed on the original image is converted back into a straight line segment described by a function of the form y=kx+b.

В процессе формирования набора прямолинейных отрезков, проверяют горизонтально или вертикально ориентирован найденный отрезок и в случае углового рассогласования данного отрезка от вертикальной или горизонтальной прямой менее чем на заданную пороговую угловую величину, данный отрезок исключают из набора прямолинейных отрезков. Данный шаг позволяет уменьшить негативное влияние дополнительных объектов, находящихся в сцене (крыш машин, деревьев и. т. д.).In the process of forming a set of straight-line segments, the found segment is checked horizontally or vertically, and in case of an angular mismatch of this segment from a vertical or horizontal straight line by less than a given threshold angular value, this segment is excluded from the set of straight-line segments. This step allows you to reduce the negative impact of additional objects in the scene (roofs of cars, trees, etc.).

По завершению этапа формирования набора прямолинейных отрезков на исходном изображении, определяют положение точки схода (7) как положение точки пересечения выделенных на изображении прямолинейных отрезков. С этой целью совокупность выделенных прямолинейных отрезков, каждый из которых описывается функцией вида y=kx+b, преобразуют в пространство параметров (k, b), в котором каждый прямолинейный отрезок представляют в виде точки с координатами (k, b). Upon completion of the stage of forming a set of straight line segments on the original image, the position of the vanishing point (7) is determined as the position of the intersection point of the line segments selected on the image. To this end, the set of selected straight-line segments, each of which is described by a function of the form y=kx+b, is converted into a parameter space (k, b), in which each straight-line segment is represented as a point with coordinates (k, b).

При такой параметризации набор указанных прямолинейных отрезков, пересекающихся на исходном изображении, представлен множеством точек, лежащих на одной прямой, характеризующейся параметрами

Figure 00000002
, и описываемой функцией вида y=
Figure 00000003
x+
Figure 00000004
.With such a parametrization, the set of specified straight line segments that intersect on the original image is represented by a set of points lying on one straight line, characterized by the parameters
Figure 00000002
, and the described function of the form y=
Figure 00000003
x+
Figure 00000004
.

Для определения данных параметров строят прямые между всевозможными парами точек, а затем среди множества коэффициентов наклона указанных прямых определяют среднее значение, которое и является коэффициентом наклона прямой

Figure 00000003
, характеризующей положение точки схода. Свободный коэффициент
Figure 00000005
определяется по найденному коэффициенту
Figure 00000003
как среднее значение среди множества свободных коэффициентов построенных прямых при неизменном коэффициенте наклона
Figure 00000003
.To determine these parameters, straight lines are built between all possible pairs of points, and then, among the set of slope coefficients of the indicated lines, the average value is determined, which is the slope coefficient of the line
Figure 00000003
characterizing the position of the vanishing point. Free coefficient
Figure 00000005
determined by the found coefficient
Figure 00000003
as the average value among the set of free coefficients of the constructed lines with a constant slope coefficient
Figure 00000003
.

Полученную прямую вида y=

Figure 00000003
x+
Figure 00000004
преобразовывают в точку на исходном изображении с координатами (
Figure 00000002
) путем нанесения ее на прямоугольную систему координат.The resulting line of the form y=
Figure 00000003
x+
Figure 00000004
is converted to a point on the original image with coordinates (
Figure 00000002
) by applying it to a rectangular coordinate system.

Таким образом, построенная точка на исходном изображении с координатами (

Figure 00000002
) является точкой схода. Thus, the constructed point on the original image with coordinates (
Figure 00000002
) is the vanishing point.

С целью оценки внешних параметров калибровки видеокамер, сравнивают положение точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов поворота видеокамеры с учетом фокусных расстояний, известных из внутренней калибровки камеры следующим образом:In order to evaluate the external calibration parameters of video cameras, the position of the vanishing point is compared with the position of the principal point, based on the deviation obtained, the values of the angles of rotation of the video camera are determined, taking into account the focal lengths known from the internal calibration of the camera as follows:

Figure 00000006
Figure 00000006

где

Figure 00000007
,
Figure 00000008
- углы тангажа и рысканья;where
Figure 00000007
,
Figure 00000008
- pitch and yaw angles;

Figure 00000009
,
Figure 00000010
- координаты найденной точки схода;
Figure 00000009
,
Figure 00000010
- coordinates of the found vanishing point;

Figure 00000011
,
Figure 00000012
- координаты принципиальной точки;
Figure 00000011
,
Figure 00000012
- coordinates of the principal point;

Figure 00000013
,
Figure 00000014
- фокусные расстояния по ширине и высоте.
Figure 00000013
,
Figure 00000014
- focal lengths in width and height.

По результатам оценки изменения углов поворота видеокамеры в процессе движения НТС проводят коррекцию их значений и осуществляют виртуальный поворот видеокамеры.Based on the results of evaluating the change in the angles of rotation of the video camera during the movement of the NTS, their values are corrected and the virtual rotation of the video camera is performed.

Таким образом, предлагаемый способ калибровки внешних параметров видеокамер с высокой точностью и вычислительной эффективностью позволяет производить оценку углов тангажа и рысканья видеокамеры в процессе движения НТС и может найти широкое применение в составе системы локализации автономного НТС с целью повышения точности определения собственного положения.Thus, the proposed method for calibrating the external parameters of video cameras with high accuracy and computational efficiency makes it possible to estimate the pitch and yaw angles of the video camera during the movement of the NV and can be widely used as part of an autonomous NV localization system in order to improve the accuracy of determining its own position.

Claims (2)

1. Способ калибровки внешних параметров видеокамер, характеризующийся тем, что в процессе движения транспортного средства с видеокамер получают изображения окружающей среды, на изображении выделяют линейные объекты окружающей среды, формируют изображение с линейными объектами и выделяют прямолинейные отрезки, определяют положение точки схода для выделенных прямолинейных отрезков как положение точки пересечения сформированных прямолинейных отрезков путем определения параметров функции, описывающей прямую, сформированную на основе множества точек, в виде которых представляют совокупность выделенных прямолинейных отрезков, при этом параметры функции указанной прямой определяют как средние значения соответствующих параметров прямых, построенных между всевозможными парами данных точек, сравнивают положение точки схода с положением принципиальной точки, на основе полученного отклонения определяют величины углов поворота видеокамеры с учетом фокусных расстояний, известных из внутренней калибровки камеры, формируют скорректированное изображение с учетом определенных углов поворота видеокамеры.1. A method for calibrating the external parameters of video cameras, characterized in that in the process of vehicle movement, images of the environment are obtained from the video cameras, linear objects of the environment are selected in the image, an image is formed with linear objects and straight line segments are selected, the position of the vanishing point for the selected straight line segments is determined as the position of the intersection point of the formed straight line segments by determining the parameters of the function that describes the straight line, formed on the basis of a set of points, in the form of which the set of selected straight line segments is represented, while the parameters of the function of the specified straight line are determined as the average values of the corresponding parameters of the straight lines built between all possible pairs of these points , compare the position of the vanishing point with the position of the principle point, on the basis of the deviation obtained, the values of the angles of rotation of the video camera are determined, taking into account the focal lengths known from the internal caliber Camera adjustments form a corrected image, taking into account certain angles of rotation of the video camera. 2. Способ калибровки внешних параметров видеокамер по п.1, характеризующийся тем, что прямолинейные отрезки на изображении формируют с помощью применения быстрого преобразования Хафа.2. A method for calibrating the external parameters of video cameras according to claim 1, characterized in that rectilinear segments in the image are formed using the fast Hough transform.
RU2021123500A 2021-08-06 2021-08-06 Method for calibrating external parameters of video cameras RU2780717C1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22853597.7A EP4383199A1 (en) 2021-08-06 2022-06-26 Method of calibrating extrinsic video camera parameters
CN202280067493.3A CN118056226A (en) 2021-08-06 2022-06-26 Method for calibrating external camera parameters
PCT/RU2022/050200 WO2023014246A1 (en) 2021-08-06 2022-06-26 Method of calibrating extrinsic video camera parameters

Publications (1)

Publication Number Publication Date
RU2780717C1 true RU2780717C1 (en) 2022-09-29

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2804826C1 (en) * 2023-05-05 2023-10-06 Акционерное общество "Когнитив" Method for automatic calibration of video camera mounting angles within technical vision systems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2529594C1 (en) * 2010-09-13 2014-09-27 Рикох Компани, Лтд. Calibration device, distance measurement system, calibration method and calibration programme
US20150178924A1 (en) * 2012-10-16 2015-06-25 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US20160350921A1 (en) * 2015-05-29 2016-12-01 Accenture Global Solutions Limited Automatic camera calibration
RU2662411C2 (en) * 2014-03-25 2018-07-25 Форд Глобал Технолоджис, ЛЛК Method of camera calibration
US20180324415A1 (en) * 2015-12-28 2018-11-08 Intel Corporation Real-time automatic vehicle camera calibration
US20180357791A1 (en) * 2015-11-30 2018-12-13 Delphi Technologies, Llc Method for calibrating the orientation of a camera mounted to a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2529594C1 (en) * 2010-09-13 2014-09-27 Рикох Компани, Лтд. Calibration device, distance measurement system, calibration method and calibration programme
US20150178924A1 (en) * 2012-10-16 2015-06-25 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
RU2662411C2 (en) * 2014-03-25 2018-07-25 Форд Глобал Технолоджис, ЛЛК Method of camera calibration
US20160350921A1 (en) * 2015-05-29 2016-12-01 Accenture Global Solutions Limited Automatic camera calibration
US20180357791A1 (en) * 2015-11-30 2018-12-13 Delphi Technologies, Llc Method for calibrating the orientation of a camera mounted to a vehicle
US20180324415A1 (en) * 2015-12-28 2018-11-08 Intel Corporation Real-time automatic vehicle camera calibration

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2804826C1 (en) * 2023-05-05 2023-10-06 Акционерное общество "Когнитив" Method for automatic calibration of video camera mounting angles within technical vision systems

Similar Documents

Publication Publication Date Title
CN109345593B (en) Camera posture detection method and device
CN105718872B (en) Auxiliary method and system for rapidly positioning lanes on two sides and detecting vehicle deflection angle
CN107844750A (en) A kind of water surface panoramic picture target detection recognition methods
CN106447602A (en) Image mosaic method and device
CN113327296B (en) Laser radar and camera online combined calibration method based on depth weighting
US11164012B2 (en) Advanced driver assistance system and method
CN111738033B (en) Vehicle driving information determination method and device based on plane segmentation and vehicle-mounted terminal
Lin et al. Construction of fisheye lens inverse perspective mapping model and its applications of obstacle detection
CN114550042A (en) Road vanishing point extraction method, vehicle-mounted sensor calibration method and device
CN107680035B (en) Parameter calibration method and device, server and readable storage medium
CN112509054A (en) Dynamic calibration method for external parameters of camera
CN114972427A (en) Target tracking method based on monocular vision, terminal equipment and storage medium
CN109658451B (en) Depth sensing method and device and depth sensing equipment
CN111488762A (en) Lane-level positioning method and device and positioning equipment
CN111881878B (en) Lane line identification method for look-around multiplexing
RU2780717C1 (en) Method for calibrating external parameters of video cameras
WO2014054124A1 (en) Road surface markings detection device and road surface markings detection method
JP2021086258A (en) Attitude estimation apparatus and attitude estimation method
CN114037977B (en) Road vanishing point detection method, device, equipment and storage medium
WO2023014246A1 (en) Method of calibrating extrinsic video camera parameters
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device
KR102629639B1 (en) Apparatus and method for determining position of dual camera for vehicle
CN112991372B (en) 2D-3D camera external parameter calibration method based on polygon matching
CN111260538A (en) Positioning and vehicle-mounted terminal based on long-baseline binocular fisheye camera
JP6492603B2 (en) Image processing apparatus, system, image processing method, and program