RU2790055C1 - Lens distortion compensation method - Google Patents

Lens distortion compensation method Download PDF

Info

Publication number
RU2790055C1
RU2790055C1 RU2022113770A RU2022113770A RU2790055C1 RU 2790055 C1 RU2790055 C1 RU 2790055C1 RU 2022113770 A RU2022113770 A RU 2022113770A RU 2022113770 A RU2022113770 A RU 2022113770A RU 2790055 C1 RU2790055 C1 RU 2790055C1
Authority
RU
Russia
Prior art keywords
distortion
radial
image
coordinates
tangential
Prior art date
Application number
RU2022113770A
Other languages
Russian (ru)
Inventor
Александр Викторович Батуков
Валерий Георгиевич Бондарев
Сергей Викторович Ипполитов
Дмитрий Викторович Лопаткин
Виталий Владимирович Проценко
Олег Николаевич Роговенко
Original Assignee
Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации
Filing date
Publication date
Application filed by Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации filed Critical Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации
Application granted granted Critical
Publication of RU2790055C1 publication Critical patent/RU2790055C1/en

Links

Images

Abstract

FIELD: optical equipment.
SUBSTANCE: invention can be used to correct radial and tangential distortion in images obtained by digital photo, video cameras and vision systems using matrix image receivers as image receivers. The method for lens distortion compensation is based on the determination of radial and tangential distortion and correction of distortion caused by distortion. The test site is exposed in the form of uniformly distributed concentric circles and radii by means of the camera under study, the coordinates of the polygon nodes are read, the Cartesian coordinates of the images of the test site nodes on the photo matrix are converted into polar coordinates, the coefficients of the mathematical model of distortion are calculated, which is a series expansion, power series and two Fourier series, radial distortion, periodic components of radial and tangential distortion compensation is consistently performed.
EFFECT: reduction in the effect of distortion on image distortion.
1 cl, 5 dwg

Description

Изобретение относится к вычислительной технике и может быть использовано для коррекции радиальной и тангенциальной дисторсии на изображениях, полученных цифровыми фото-, видеокамерами и системами технического зрения, использующих в качестве приемников изображения матричные приемники изображения.SUBSTANCE: invention relates to computer engineering and can be used to correct radial and tangential distortion in images obtained by digital photo and video cameras and vision systems using matrix image sensors as image receivers.

Известен способ определения дисторсии длиннофокусных объективов, описанный в патенте на изобретение №2276778, опубликованном 20.05.2006, Бюл. №14. Способ заключается в том, что производится измерение линейных величин изображений в фокальной плоскости оптической скамьи участков стеклянной шкалы, расположенных по полю зрения испытуемого объектива при помощи двух окуляр-микрометров.A known method for determining the distortion of telephoto lenses, described in the patent for invention No. 2276778, published 20.05.2006, Bull. No. 14. The method consists in measuring the linear values of the images in the focal plane of the optical bench of the sections of the glass scale located over the field of view of the tested lens using two eyepiece micrometers.

Недостатком этого способа является невозможность компенсации дисторсии оптического объектива цифровой фотокамеры алгоритмическим путем поскольку он ориентирован на измерение только коэффициента радиальной дисторсии больших объективов с применением не автоматических методов измерений.The disadvantage of this method is the impossibility of compensating the distortion of the optical lens of a digital camera in an algorithmic way, since it is focused on measuring only the coefficient of radial distortion of large lenses using non-automatic measurement methods.

Известен способ автоматического определения и коррекции радиальной дисторсии на цифровом изображении, изложенный в патенте на изобретение №2351091, опубликованном 27.03.2009 Бюл. №9. Способ заключается в определении коэффициента дисторсии, выделении изображения контуров, их анализе, выборе трех точек на каждом контуре и расчете коэффициентов радиальной дисторсии, составлении гистограммы зависимости частот повторяемости найденных коэффициентов от их величин, определении значений коэффициента как среднего в окрестности значения коэффициента с максимальной частотой повторения, коррекции искажений, вызванных радиальной дисторсией.A known method for automatically detecting and correcting radial distortion in a digital image is described in the patent for invention No. 2351091, published on March 27, 2009 by Bull. No. 9. The method consists in determining the coefficient of distortion, selecting the image of the contours, analyzing them, selecting three points on each contour and calculating the coefficients of radial distortion, compiling a histogram of the dependence of the frequency of repetition of the found coefficients on their values, determining the coefficient values as an average in the vicinity of the coefficient value with the maximum repetition rate , correction of distortion caused by radial distortion.

Недостатками способа являются: неспособность компенсации периодических составляющих радиальной и тангенциальной составляющих дисторсии, а также низкая (пиксельная) точность определения коэффициента дисторсии.The disadvantages of this method are: the inability to compensate for the periodic components of the radial and tangential components of the distortion, as well as low (pixel) accuracy in determining the coefficient of distortion.

Технической задачей изобретения является определение параметров дисторсии объектива и коррекции ее влияния на изображение. Технический результат при использовании заявляемого изобретения заключается в снижении влияния дисторсии на искажение изображения формируемого оптическим объективом.The technical objective of the invention is to determine the parameters of lens distortion and correct its effect on the image. The technical result when using the claimed invention is to reduce the effect of distortion on the distortion of the image formed by the optical lens.

Технический результат изобретения достигается тем, что в способе определения коэффициента дисторсии и коррекции искажений, вызванных радиальной дисторсией, основанный на выполнении экспозиции испытательного полигона в виде равномерно распределенных концентрических окружностей и радиусов посредством исследуемой фотокамеры, считываются координаты узлов полигона, осуществляется преобразование декартовых координат изображений узлов испытательного полигона на фотоматрице в полярные координаты, вычисляются коэффициенты математической модели дисторсии, которая представляет собой три разложения в ряды, один степенной и два ряда Фурье, последовательно выполняется компенсация радиальной дисторсии, периодических составляющих радиальной и тангенциальной дисторсии.The technical result of the invention is achieved by the fact that in the method for determining the coefficient of distortion and correcting distortions caused by radial distortion, based on exposing the test site in the form of uniformly distributed concentric circles and radii by means of the camera under study, the coordinates of the polygon nodes are read, the Cartesian coordinates of the images of the test site nodes are converted. polygon on the photomatrix into polar coordinates, the coefficients of the mathematical model of distortion are calculated, which consists of three expansions into series, one power-law and two Fourier series, compensation of radial distortion, periodic components of radial and tangential distortion is sequentially performed.

Сущность изобретения обусловлена выполнением следующих действий:The essence of the invention is due to the following actions:

выполнение фотоэкспозиции испытательного полигона в виде равномерно распределенных концентрических окружностей и радиусов посредством исследуемой фотокамеры;performing a photo exposure of the test site in the form of evenly distributed concentric circles and radii using the camera under study;

считывание координат узлов полигона посредством субпиксельной обработки изображения полигона;reading the coordinates of the nodes of the polygon by means of sub-pixel processing of the image of the polygon;

преобразование декартовых координат изображений узлов испытательного полигона на фотоматрице в полярные координаты;conversion of Cartesian coordinates of the images of the nodes of the test site on the photomatrix into polar coordinates;

вычисление коэффициентов математической модели дисторсии;calculation of the coefficients of the mathematical model of distortion;

последовательное выполнение компенсации радиальной дисторсии, периодических составляющих радиальной и тангенциальной дисторсии.sequential compensation of radial distortion, periodic components of radial and tangential distortion.

На фиг. 1 показано взаимное расположение фотокамеры и полигона:In FIG. 1 shows the relative position of the camera and the polygon:

На фиг. 2 показан вид испытательного полигона, где i=0…31, j=1…8;In FIG. 2 shows a view of the test site, where i=0...31, j=1...8;

На фиг. 3 показан график зависимости радиальной дисторсии R(rj) от номера окружности i.In FIG. 3 shows a plot of radial distortion R(r j ) versus circle number i.

На фиг. 4 показан график зависимости периодической составляющей радиальной дисторсии ρ(λi) от номера радиуса i (для номера окружности j=4…7).In FIG. 4 shows a graph of the dependence of the periodic component of the radial distortion ρ(λ i ) on the radius number i (for the circle number j=4…7).

На фиг. 5 показан график периодической составляющей тангенциальной дисторсии представленной зависимостью угла отклонения радиусов αi от их номера.In FIG. 5 shows a graph of the periodic component of the tangential distortion represented by the dependence of the deviation angle of the radii α i on their number.

Способ реализуется следующим образом.The method is implemented as follows.

В настоящее время во многих областях техники все большее распространение получают оптико-электронные системы, в состав которых часто входят цифровые фотокамеры, которые представляют собой уникальное измерительное средство способное функционировать дистанционно и в автоматическом режиме.Currently, in many areas of technology, optoelectronic systems are becoming more widespread, which often include digital cameras, which are a unique measuring tool capable of operating remotely and in automatic mode.

Однако оптические системы фотокамер как правило не соответствуют высоким требованиям, предъявляемым к измерительным приборам, поскольку они обычно разрабатываются с использованием предположения, что проецирование трехмерного пространства на плоскость фотоматрицы описывается моделью «камера-обскура». Одной из наиболее существенных причин погрешностей таких систем является дисторсия оптической системы, которая не только хорошо изучена, но и разработаны многочисленные способы ее минимизации. Существует ряд конструктивных способов компенсации аберраций до допустимых пределов, но этот путь совершенствования качества оптических систем ограничен существенным возрастанием их стоимости. Поэтому к настоящему времени разработаны способы алгоритмического исправления дисторсии, которые основаны на использовании математических моделей дисторсии и испытательного полигона в виде квадратной сетки со значительным количеством ячеек [Shang, J.J., Shi, Z.K.: Vision-based runway recognition for UAV autonomous landing. Int. J. Comput. Sci. Netw. Secur. 7(3), 112-117 (2007).].However, camera optical systems generally do not meet the high requirements for measuring instruments, since they are usually designed using the assumption that the projection of three-dimensional space onto the plane of the photomatrix is described by the "camera-obscura" model. One of the most significant causes of errors in such systems is the distortion of the optical system, which is not only well studied, but numerous methods have been developed to minimize it. There are a number of constructive ways to compensate for aberrations to acceptable limits, but this way of improving the quality of optical systems is limited by a significant increase in their cost. Therefore, methods for algorithmic correction of distortion have been developed to date, which are based on the use of mathematical models of distortion and a test site in the form of a square grid with a significant number of cells [Shang, J.J., Shi, Z.K.: Vision-based runway recognition for UAV autonomous landing. Int. J Comput. sci. netw. Secur. 7(3), 112-117 (2007).].

Такой подход предполагает хранение в постоянном запоминающем устройстве калибровочной информации, а также значительных вычислений. Одной из наиболее распространенных моделей дисторсии является модель Брауна-Конради [Conrady, А. Е. Decentred lens-systems / А. Е. Conrady // Monthly notices of the royal astronomical society. - 1919. - т. 79, №5. - с. 384-390.] которая описывает следующие преобразования координат (xu, yu) точки на неискаженном изображенииThis approach involves storing calibration information in read-only memory, as well as significant calculations. One of the most common distortion models is the Brown-Conradi model [Conrady, A. E. Decentred lens-systems / A. E. Conrady // Monthly notices of the royal astronomical society. - 1919. - v. 79, No. 5. - With. 384-390.] which describes the following coordinate transformations (x u , y u ) of a point on an undistorted image

Figure 00000001
Figure 00000001

где (xd, yd) - координаты точки (xu, yu) на искаженном дисторсией изображении;

Figure 00000002
- расстояние от оптического центра (cX, cY) до точки (xu, yu); ki - коэффициенты радиальной дисторсии; ki - коэффициенты тангенциальной дисторсии.where (x d , y d ) are the coordinates of the point (x u , y u ) on the distorted image;
Figure 00000002
- distance from the optical center (c X , c Y ) to the point (x u , y u ); k i - coefficients of radial distortion; k i - coefficients of tangential distortion.

В библиотеке OpenCV [OpenCV: Open Source Computer Vision Library / GitHub. 2017. [Электронный ресурс] URL: https://github.com/opencv/opencv (дата обращения 10.07.2017).] (которая является мировым стандартом для компьютерной обработки изображений и видео в сфере свободного программного обеспечения) используется модель дисторсии, описанная соотношениями (2). Следует особо отметить, что в OpenCV коэффициенты радиальной дисторсии k4, k6 используются не в качестве коэффициентов при высших степенях полинома как в классическом описании (1), а в качестве коэффициентов аналогичного полинома в знаменателе. Такой вид функции радиальной дисторсии уменьшает вероятность превышения максимально возможного значения переменной при расчете двенадцатой степени числа r:In the OpenCV library [OpenCV: Open Source Computer Vision Library / GitHub. 2017. [Electronic resource] URL: https://github.com/opencv/opencv (accessed 07/10/2017).] (which is the world standard for computer image and video processing in the field of free software) uses the distortion model described relations (2). It should be especially noted that in OpenCV the coefficients of radial distortion k 4 , k 6 are used not as coefficients at higher degrees of the polynomial as in the classical description (1), but as coefficients of a similar polynomial in the denominator. This type of radial distortion function reduces the likelihood of exceeding the maximum possible value of the variable when calculating the twelfth power of the number r:

Figure 00000003
Figure 00000003

где

Figure 00000004
- смещение координат, вызванное радиальной дисторсией; Δх12(r2+2х2)+2р1ху - смещение координаты x, вызванное тангенциальной дисторсией; Δу11(r2+2у2)+2р2ху - смещение координаты y, вызванное тангенциальной дисторсией;
Figure 00000005
.Where
Figure 00000004
- displacement of coordinates caused by radial distortion; Δx 1 =r 2 (r 2 +2x 2 )+2r 1 xy - shift of the x coordinate caused by tangential distortion; Δу 11 (r 2 +2у 2 )+2р 2 xy - displacement of the y coordinate caused by tangential distortion;
Figure 00000005
.

Исследование возможностей программного обеспечения из OpenCV для устранения дисторсии объектива фотокамеры показало, что оно не позволяет получить метрическую систему технического зрения, поскольку размеры «исправленных» изображений равных отрезков полигона имеют разброс порядка 1%. Поэтому необходимо дальнейшее улучшение такого алгоритмического подхода. Исследованиями было установлено, что имеется несколько причин не способности, известных программных продуктов к более существенному устранению дисторсии:A study of the capabilities of software from OpenCV to eliminate camera lens distortion showed that it does not allow obtaining a metric vision system, since the sizes of “corrected” images of equal segments of a polygon have a spread of about 1%. Therefore, further improvement of this algorithmic approach is needed. Studies have found that there are several reasons for the inability of known software products to more significantly eliminate distortion:

использование испытательного полигона в виде квадратной сетки, которая не соответствует геометрии оптической системы фотокамеры, представляющей собой совокупность линз в виде тел вращения с общей осью;the use of a test site in the form of a square grid, which does not correspond to the geometry of the optical system of the camera, which is a set of lenses in the form of bodies of revolution with a common axis;

использование декартовой системы координат для описания математической модели дисторсии;use of the Cartesian coordinate system to describe the mathematical model of distortion;

использование математической модели дисторсии, описывающей только наиболее существенные составляющие оптических искажений, то есть модель с ограниченной адекватностью.the use of a mathematical model of distortion that describes only the most significant components of optical distortion, that is, a model with limited adequacy.

Очевидно, что все три названных причины взаимосвязаны и нуждаются в полной замене. Поэтому предлагается испытательный полигон в виде концентрических окружностей и радиальных линий, который наилучшим образом соответствует характеру искажений, а полярные координаты наиболее просто и адекватно описывают искажения изображений. Численные исследования искажений реальных объективов показали, что радиальные искажения в полярных координатах содержат две составляющие, одна из которых хорошо известна и отлично описываются полиномиальным разложением, а вторая составляющая радиальных искажений, а также тангенциальные искажения имеют вид периодических функций. Таким образом, в полярных координатах дисторсия имеет следующее представление.It is obvious that all three of these reasons are interconnected and need to be completely replaced. Therefore, a test site in the form of concentric circles and radial lines is proposed, which best suits the nature of the distortion, and polar coordinates most simply and adequately describe image distortion. Numerical studies of distortions of real lenses have shown that radial distortions in polar coordinates contain two components, one of which is well known and perfectly described by polynomial expansion, and the second component of radial distortions, as well as tangential distortions, have the form of periodic functions. Thus, in polar coordinates, the distortion has the following representation.

Figure 00000006
Figure 00000006

где ƒ1(r) и ƒ2(ϕ) - функциональные зависимости, описывающие радиальные искажения изображения, ƒ3(ϕ) - функция, описывающая тангенциальные искажения, (r, ϕ) и (r', ϕ') - полярные координаты точек изображения с искажениями и без них.where ƒ 1 (r) and ƒ 2 (ϕ) are functional dependencies describing radial image distortions, ƒ 3 (ϕ) is a function describing tangential distortions, (r, ϕ) and (r', ϕ') are polar coordinates of points images with and without distortion.

Особенно заметны эти искажения для короткофокусных объективов и проявляются они в виде эллипсоподобных изображений окружностей полигона, полуоси которых оказываются разноразмерными. Физической причиной этих искажений, существенно нарушающих симметрию изображения является несовпадение оптических осей линз объектива и неортогональность оптической оси объектива и плоскости фотоматрицы.These distortions are especially noticeable for short-focus lenses and they manifest themselves in the form of ellipse-like images of polygon circles, the semi-axes of which turn out to be of different sizes. The physical reason for these distortions, which significantly violate the symmetry of the image, is the mismatch of the optical axes of the objective lenses and the non-orthogonality of the optical axis of the objective and the plane of the photomatrix.

При фотоэкспонировании полигона весьма сложно выполнить идеальное взаимное расположение камеры и полигона, когда OABCD образует равнобедренную пирамиду в вершине которой размещается центр объектива фотокамеры (фиг. 1), в частности сложно разместить фотокамеру так чтобы центр изображения совпал с центром фотоматрицы, а изображение оси ОХ совпало с ее строкой. Для исправления этих технологических трудностей в методику включены дополнительные процедуры (пункты 3 и 5).When photographing a polygon, it is very difficult to achieve an ideal mutual arrangement of the camera and the polygon, when OABCD forms an isosceles pyramid at the top of which the center of the camera lens is located (Fig. 1), in particular, it is difficult to place the camera so that the image center coincides with the center of the photomatrix, and the image of the OX axis coincides with her line. To correct these technological difficulties, additional procedures are included in the methodology (points 3 and 5).

Методика компенсации искажений состоит в следующей последовательности действий:The distortion compensation technique consists in the following sequence of actions:

1) Производится фотоэкспозиция испытательного полигона, исследуемой камерой, вид которого представлен на фиг. 2.1) A photographic exposure is made of the test site, examined by the camera, the view of which is shown in Fig. 2.

2) С помощью программы обработки изображения считываются координаты узлов полигона, которые представляются в виде двух матриц (xij)32×8 и (yij)32×8.2) Using the image processing program, the coordinates of the nodes of the polygon are read, which are represented as two matrices (x ij ) 32×8 and (y ij ) 32×8 .

3) Посредством следующего очевидного преобразования декартовых координат изображения обеспечивается точное совпадение центра фотоматрицы и центра изображения полигона3) Through the following obvious transformation of the Cartesian coordinates of the image, an exact coincidence of the center of the photomatrix and the center of the polygon image is ensured

Figure 00000007
Figure 00000007

где x00, y00 - координаты центра изображения полигона.where x 00 , y 00 - coordinates of the polygon image center.

4) Осуществляется переход от декартовых координат изображений узлов испытательного полигона на фотоматрице к координатам в полярной системе по известным формулам:4) The transition from the Cartesian coordinates of the images of the nodes of the test site on the photomatrix to the coordinates in the polar system is carried out according to the known formulas:

Figure 00000008
Figure 00000008

где rij - полярный радиус координат изображения узла с номером i, j, ϕij -полярный угол изображения узла.where r ij is the polar radius of the image coordinates of the node with the number i, j, ϕ ij is the polar angle of the node image.

5) Выполняется малый поворот изображения

Figure 00000009
, позволяющий совместить нулевую строку фотоматрицы с изображением горизонтальной оси полигона. При этом использование среднего значения полярных углов узлов этой оси полигона позволяет уменьшить влияние погрешностей как обработки изображения полигона, так и погрешностей его изготовления.5) The image is rotated slightly
Figure 00000009
, which allows to combine the zero line of the photomatrix with the image of the horizontal axis of the polygon. At the same time, the use of the average value of the polar angles of the nodes of this axis of the polygon makes it possible to reduce the influence of errors in both processing the image of the polygon and errors in its manufacture.

6) Экспериментальное исследование изображения полигона показало, что имеет место три характерных вида искажений:6) An experimental study of the polygon image showed that there are three characteristic types of distortion:

- радиальное искажение известное как бочкообразная дисторсия, представленное на фиг. 3 успешно аппроксимируется посредством следующего степенного рядаis a radial distortion known as barrel distortion, shown in FIG. 3 is successfully approximated by the following power series

Figure 00000010
Figure 00000010

где

Figure 00000011
- статистическое среднее узлов j-й окружности (j=1…8);Where
Figure 00000011
- statistical average of nodes of the j-th circle (j=1…8);

- радиальное периодическое отклонение изображения j-го контура полигона от окружности, показанное на фиг. 4. Эти искажения аппроксимируются рядом Фурье- radial periodic deviation of the image of the j-th contour of the polygon from the circle, shown in Fig. 4. These distortions are approximated by the Fourier series

Figure 00000012
Figure 00000012

где

Figure 00000013
- статистическое среднее угловых координат узлов i-го радиуса на изображении полигона, ck - коэффициенты разложения периодической составляющей радиальной дисторсии;Where
Figure 00000013
- statistical average of the angular coordinates of the nodes of the i-th radius on the image of the polygon, c k - expansion coefficients of the periodic component of the radial distortion;

- тангенциальное периодическое искажение, которое имеет особенность, связанную с тем, что прямые радиальные линии полигона остаются на изображении прямыми с точностью до 10-4 рад, а это дает основание для утверждения о том, что искажения внешней окружности изображения повторяются для всех концентрических окружностей полигона. Тангенциальные искажения (фиг. 5) описываются следующим выражением

Figure 00000014
, где
Figure 00000015
- статистическое среднее угловых координат узлов i-го радиуса.- tangential periodic distortion, which has a feature associated with the fact that the straight radial lines of the polygon remain straight on the image with an accuracy of 10 -4 rad, and this gives grounds for the assertion that the distortions of the outer circle of the image are repeated for all concentric circles of the polygon . Tangential distortions (Fig. 5) are described by the following expression
Figure 00000014
, Where
Figure 00000015
- statistical average of the angular coordinates of the nodes of the i-th radius.

Периодический характер этой функциональной зависимости показывает, что ее аппроксимация может быть успешно выполнена с помощью ряда Фурье следующего видаThe periodic nature of this functional dependence shows that its approximation can be successfully performed using the Fourier series of the following form

Figure 00000016
Figure 00000016

где ϕi - измеренные значения углового положения узлов полигона i=0…31.where ϕ i - measured values of the angular position of the polygon nodes i=0…31.

Численные эксперименты с полигоном размерностью 32*8, отпечатанном на лазерном принтере, показали, что пять первых членов разложения (7) и (8) обеспечивают погрешность описания не хуже 0.1 пикс. Достижение только такой точности обусловлено тем, что именно таков порядок погрешности субпиксельной обработки изображения при определении координат центров изображений узлов полигона, поэтому увеличивать число членов разложения для достижения большей точности по условиям проведенного эксперимента не имеет смысла.Numerical experiments with a 32*8 polygon printed on a laser printer have shown that the first five terms of expansion (7) and (8) provide a description error no worse than 0.1 pix. Achieving only such accuracy is due to the fact that this is exactly the order of the error of subpixel image processing when determining the coordinates of the image centers of polygon nodes, therefore, it makes no sense to increase the number of expansion terms to achieve greater accuracy according to the conditions of the experiment.

7) Для определения коэффициентов модели искажений и исправления изображения используется подход, основанный на методе наименьших квадратов.7) To determine the coefficients of the distortion model and correct the image, an approach based on the least squares method is used.

В соответствии с методом наименьших квадратов для аппроксимации зависимостей описывающих три вида искажений взяты критерии качества K, L, М - минимум среднего квадрата отклонений искомых кривых от узлов изображения полигона, определенные выражениями:In accordance with the least squares method, to approximate the dependencies describing three types of distortions, the quality criteria K, L, M are taken - the minimum of the mean square deviations of the desired curves from the nodes of the polygon image, defined by the expressions:

Figure 00000017
Figure 00000017

где ρi, Rj, αi - результаты эксперимента; ƒ1(rj, b2, b3, b4), ƒ2j, c0, c1, c2,…,c5, φ1, φ2, φ3, φ4, φ5), ƒ3i, α0, α1, α2,…,α5, ψ1, ψ2, ψ3, ψ4, ψ5) - определяемые аналитические зависимости; b2,b3,b4, c0, c1, c2,…,c5, φ1, φ2, φ3, φ4, φ5, ϕi, α0, α1, α2,…,α5, ψ1, ψ2, ψ3, ψ4, ψ5 - оцениваемые параметры;

Figure 00000018
- ошибки измерений; (8*32) - размерность матрицы исходных данных.where ρ i , R j , α i are the results of the experiment; ƒ 1 (r j , b 2 , b 3 , b 4 ), ƒ 2j , c 0 , c 1 , c 2 ,…,c 5 , φ 1 , φ 2 , φ 3 , φ 4 , φ 5 ), ƒ 3i , α 0 , α 1 , α 2 ,…,α 5 , ψ 1 , ψ 2 , ψ 3 , ψ 4 , ψ 5 ) - determined analytical dependencies; b 2 ,b 3 ,b 4 , c 0 , c 1 , c 2 ,…,c 5 , φ 1 , φ 2 , φ 3 , φ 4 , φ 5 , ϕ i , α 0 , α 1 , α 2 , …,α 5 , ψ 1 , ψ 2 , ψ 3 , ψ 4 , ψ 5 - estimated parameters;
Figure 00000018
- measurement errors; (8*32) - dimension of the source data matrix.

Для описания радиальной дисторсии используем первое равенство (9), которое совместно с (6) даетTo describe the radial distortion, we use the first equality in (9), which together with (6) gives

Figure 00000019
Figure 00000019

Решение этой системы нелинейных уравнений позволяет найти вектор оценок параметров

Figure 00000020
. Для фотокамеры USB500w02m, объектив которой имеет фокусное расстояние 3,6 мм. это разложение имеет видThe solution of this system of nonlinear equations allows us to find the vector of parameter estimates
Figure 00000020
. For USB500w02m camera with 3.6mm lens. this decomposition has the form

R(r)=4.1239114⋅10-9⋅r2+1.7218746⋅10-7⋅r3+7.1641887⋅10-11⋅r4.R(r)=4.1239114⋅10 -9 ⋅r 2 +1.7218746⋅10 -7 ⋅r 3 +7.1641887⋅10 -11 ⋅r 4 .

В графическом виде эта зависимость представлена на фиг. 3. Устранение радиальной дисторсии выполняется посредством следующего соотношенияThis relationship is shown graphically in Fig. 3. The elimination of radial distortion is performed by the following relation

Figure 00000021
Figure 00000021

где r - радиальная координата точки.where r is the radial coordinate of the point.

Для описания периодической составляющей радиальной дисторсии используем 2 равенство системы (9), которое совместно с (7) даетTo describe the periodic component of the radial distortion, we use the 2 equality of system (9), which together with (7) gives

Figure 00000022
Figure 00000022

Решая эту систему нелинейных уравнений с использованием Mathcad находим вектор оценок параметров

Figure 00000023
Solving this system of nonlinear equations using Mathcad, we find the vector of parameter estimates
Figure 00000023

Для фотокамеры USB500w02m это разложение имеет видFor the USB500w02m camera, this expansion has the form

ρ(λ)=470.1601+5.4919sin(λ-0.9947)+14.6507sin(2λ-1.5867)-0.4726sin(3λ-0.0442)+0.0276sin(4λ-0.8495)-0.693sin(5λ+0.9902).ρ(λ)=470.1601+5.4919sin(λ-0.9947)+14.6507sin(2λ-1.5867)-0.4726sin(3λ-0.0442)+0.0276sin(4λ-0.8495)-0.693sin(5λ+0.9902).

В графическом виде эта зависимость представлена на фиг. 4. Устранение радиальной периодической составляющей дисторсии выполняется посредством следующего соотношенияThis relationship is shown graphically in Fig. 4. The elimination of the radial periodic component of the distortion is performed by the following relation

Figure 00000024
Figure 00000024

где r - исправленное значение радиуса текущей точки.where r is the corrected value of the radius of the current point.

Минимизация критерия М обеспечивается при выполнении следующих условийThe minimization of the M criterion is ensured under the following conditions

Figure 00000025
Figure 00000025

Решение этой системы нелинейных уравнений позволяет найти вектор оценок параметров

Figure 00000026
, минимизирующих среднее квадратическое отклонение аппроксимирующей кривой от совокупности вычисленных точек (αi, ϕi). Для фотокамеры USB500w02m (фокусное расстояние f=3.6 мм.) это разложение имеет видThe solution of this system of nonlinear equations allows us to find the vector of parameter estimates
Figure 00000026
, minimizing the standard deviation of the approximating curve from the set of calculated points (α i , ϕ i ). For a USB500w02m camera (focal length f = 3.6 mm.), this decomposition has the form

α(ϕ)=1.0689⋅10-4+4.494⋅10-3sin(ϕ+0.0916)+0.0335sin(2ϕ-6.5675⋅10-3)-3.5262⋅10-3sin(3ϕ+1.1168)-5.6304⋅10-4sin(4ϕ-0.0803)+1.1236⋅10-4sin(5ϕ+0.0958),α(ϕ)=1.0689⋅10 -4 +4.494⋅10 -3 sin(ϕ+0.0916)+0.0335sin(2ϕ-6.5675⋅10 -3 )-3.5262⋅10 -3 sin(3ϕ+1.1168)-5.6304⋅10 -4 sin(4ϕ-0.0803)+1.1236⋅10 -4 sin(5ϕ+0.0958),

Устранение этих искажений для произвольной точки изображения с координатами (r, ϕ) выполняется посредством следующего соотношенияThe elimination of these distortions for an arbitrary point of the image with coordinates (r, ϕ) is performed by the following relation

Figure 00000027
Figure 00000027

Для объектива, используемого в эксперименте дефекты неисправленного изображения имели разброс размеров равных отрезков строк и столбцов 35-50 пикс.For the lens used in the experiment, the defects in the uncorrected image had a spread in the sizes of equal segments of rows and columns of 35-50 pixels.

Разброс размеров равных отрезков для изображения, исправленного посредством средств OpenCV составил 4-5 пикс.The spread of the sizes of equal segments for the image corrected by means of OpenCV was 4-5 pixels.

Разброс размеров равных отрезков для исправленного изображения посредством разработанной методики составил 0.2-0.25 пикс.The scatter in the sizes of equal segments for the corrected image using the developed technique was 0.2-0.25 pixels.

Таким образом, предложенный алгоритмический подход позволяет обеспечить высокую степень исправления физического несовершенства объективов, обусловленную наличием дисторсии.Thus, the proposed algorithmic approach makes it possible to provide a high degree of correction of the physical imperfection of lenses due to the presence of distortion.

Claims (1)

Способ компенсации дисторсии объектива, основанный на определении радиальной и тангенциальной дисторсии и коррекции искажений, вызванных дисторсией, отличающийся тем, что производят экспозицию испытательного полигона в виде равномерно распределенных концентрических окружностей и радиусов посредством исследуемой фотокамеры, считывают координаты узлов полигона, осуществляют преобразование декартовых координат изображений узлов испытательного полигона на фотоматрице в полярные координаты, вычисляют коэффициенты математической модели дисторсии, которая представляет собой разложения в ряды, степенного и двух рядов Фурье, последовательно выполняют компенсацию радиальной дисторсии, периодических составляющих радиальной и тангенциальной дисторсии.A method for compensating for lens distortion based on determining radial and tangential distortion and correcting distortion caused by distortion, characterized in that the test site is exposed in the form of uniformly distributed concentric circles and radii using the camera under study, the coordinates of the polygon nodes are read, and the Cartesian coordinates of the node images are converted test site on the photomatrix in polar coordinates, calculate the coefficients of the mathematical model of distortion, which is an expansion into series, power and two Fourier series, sequentially compensate for radial distortion, periodic components of radial and tangential distortion.
RU2022113770A 2022-05-23 Lens distortion compensation method RU2790055C1 (en)

Publications (1)

Publication Number Publication Date
RU2790055C1 true RU2790055C1 (en) 2023-02-14

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806654C1 (en) * 2023-05-02 2023-11-02 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Test object with radial-circular arrangement of reference points for assessing coefficients of radial and tangential distortion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2321888C1 (en) * 2006-10-16 2008-04-10 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Method for calibrating distortion of an optical-electronic device
RU2351091C2 (en) * 2006-12-04 2009-03-27 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Method of automatic detection and correction of radial distortion on digital images
RU2716896C1 (en) * 2019-04-01 2020-03-17 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" Method for automatic adjustment of spaced-apart camera system for forming panoramic image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2321888C1 (en) * 2006-10-16 2008-04-10 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Method for calibrating distortion of an optical-electronic device
RU2351091C2 (en) * 2006-12-04 2009-03-27 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Method of automatic detection and correction of radial distortion on digital images
RU2716896C1 (en) * 2019-04-01 2020-03-17 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" Method for automatic adjustment of spaced-apart camera system for forming panoramic image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806654C1 (en) * 2023-05-02 2023-11-02 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Test object with radial-circular arrangement of reference points for assessing coefficients of radial and tangential distortion
RU2806669C1 (en) * 2023-05-02 2023-11-02 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Test object for assessing radial and tangential distortion coefficients
RU2808083C1 (en) * 2023-05-02 2023-11-23 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Photogrammetric calibration method for estimating the ratios of radial and tangential lens distortion and the matrix of internal parameters of the camera

Similar Documents

Publication Publication Date Title
WO2019205299A1 (en) Vision measurement system structure parameter calibration and affine coordinate system construction method and system
Lavest et al. Underwater camera calibration
CN110345921B (en) Stereo visual field vision measurement and vertical axis aberration and axial aberration correction method and system
US6002525A (en) Correcting lens distortion
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
CN114216659B (en) System and method for measuring parallelism of large-caliber long-focal-length optical axis
CN111551117B (en) Method and system for measuring focus drift distance of microscopic image and computer equipment
JP2020535425A (en) Methods and devices for characterizing the surface shape of optical elements
Liu et al. Robust camera calibration by optimal localization of spatial control points
CN111707450B (en) Device and method for detecting position relation between optical lens focal plane and mechanical mounting surface
CN111650747B (en) Method and device for real-time correction of defocusing aberration of collimator
CN110108230B (en) Binary grating projection defocus degree evaluation method based on image difference and LM iteration
CN110068313B (en) Digital zenith instrument orientation method based on projection transformation
CN116625258A (en) Chain spacing measuring system and chain spacing measuring method
RU2790055C1 (en) Lens distortion compensation method
CN111009014A (en) Calibration method of orthogonal spectral imaging pose sensor of general imaging model
CN112504117B (en) Projection distortion correction method, system and medium in optical surface shape compensation interferometry
CN111189620B (en) Wavefront aberration estimation method based on shape characteristics of star spot
CN110887474B (en) Star map identification method for precision tracking telescope
CN113923445B (en) Light field camera calibration method and system under shift imaging condition
CN113624358B (en) Three-dimensional displacement compensation method and control device for photothermal reflection microscopic thermal imaging
Tagoe et al. Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications
KR101002677B1 (en) System error calibration method of interferometer
CN109726429B (en) Fitting processing optimization method for small arc sampling data of part
CN111595289A (en) Three-dimensional angle measurement system and method based on image processing