RU2697822C2 - Method of determining coordinates of objects based on their digital images - Google Patents

Method of determining coordinates of objects based on their digital images Download PDF

Info

Publication number
RU2697822C2
RU2697822C2 RU2018140814A RU2018140814A RU2697822C2 RU 2697822 C2 RU2697822 C2 RU 2697822C2 RU 2018140814 A RU2018140814 A RU 2018140814A RU 2018140814 A RU2018140814 A RU 2018140814A RU 2697822 C2 RU2697822 C2 RU 2697822C2
Authority
RU
Russia
Prior art keywords
cameras
values
measuring system
coordinates
image
Prior art date
Application number
RU2018140814A
Other languages
Russian (ru)
Other versions
RU2018140814A3 (en
RU2018140814A (en
Inventor
Алексей Владимирович Зубарь
Кирилл Владимирович Кайков
Владимир Петрович Пивоваров
Александр Николаевич Щербо
Сергей Александрович Тишин
Андрей Валерьевич Шаргин
Артём Борисович Яблочкин
Original Assignee
Алексей Владимирович Зубарь
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Алексей Владимирович Зубарь filed Critical Алексей Владимирович Зубарь
Priority to RU2018140814A priority Critical patent/RU2697822C2/en
Publication of RU2018140814A publication Critical patent/RU2018140814A/en
Publication of RU2018140814A3 publication Critical patent/RU2018140814A3/ru
Application granted granted Critical
Publication of RU2697822C2 publication Critical patent/RU2697822C2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

FIELD: measuring equipment.
SUBSTANCE: invention relates to information and measurement systems and is intended for use in optical-electronic systems for determining coordinates of objects in real time by their digital images. Digital images are received from at least two video cameras (optical or infrared ranges), and when determining coordinates of objects of interest by position of each i-th object of interest Pi digital images of the first and second chambers are composed of position vectors.
EFFECT: high accuracy of determining coordinates of objects on their digital images using a measurement system using randomly arranged digital video cameras, from which distortion-deformed images can be received, and their photodetectors (for example, CCD or CID matrices) can be installed with error relative to optical axes of lenses.
1 cl, 3 dwg

Description

Изобретение относится к области информационно-измерительных систем и предназначается прежде всего для применения в оптико-электронных системах, в задачу которых входит определения координат объектов в реальном масштабе времени по их цифровым изображениям.The invention relates to the field of information-measuring systems and is intended primarily for use in optoelectronic systems, the task of which is to determine the coordinates of objects in real time from their digital images.

Особенность систем технического зрения заключается в использовании цифровых фото- и видеокамер как точных инструментов для получения различной информации о различных объектах, контролируемых параметрах и процессах. Одна из свойственных данным системам задач, заключается в определении пространственных координат объектов по их цифровым изображениям. Для решения данной задачи разработано и применяется достаточно большое количество различных способов. При этом одна их часть обладает достаточно высокими показателями по точности, но требует значительных вычислительных ресурсов, что затрудняет обеспечение работы маломощной измерительной системы в реальном масштабе времени. Возникает такая трудность из-за того, что вычислительные ресурсы затрачиваются на решение достаточно сложных систем уравнений с большим количеством неизвестных, причем немало ресурсов тратится порой не столько на решение, сколько на выбор одного правильного решения из выдаваемых ЭВМ вариантов. Вторая часть существующих способов не требуют большого количества математических операций, но не обеспечивает необходимого уровня точности из-за принятых допущений и ограничений при их разработке.A special feature of vision systems is the use of digital cameras and video cameras as accurate tools for obtaining various information about various objects, controlled parameters and processes. One of the tasks characteristic of these systems is to determine the spatial coordinates of objects from their digital images. To solve this problem, a sufficiently large number of different methods have been developed and applied. At the same time, one part of them has rather high indicators of accuracy, but requires significant computing resources, which makes it difficult to ensure the operation of a low-power measuring system in real time. This difficulty arises due to the fact that computational resources are spent on solving fairly complex systems of equations with a large number of unknowns, and a lot of resources are sometimes spent not so much on a solution as on choosing one correct solution from the options given out by the computer. The second part of the existing methods do not require a large number of mathematical operations, but does not provide the necessary level of accuracy due to the assumptions and limitations in their development.

Для реализации работающей в реальном масштабе времен, системы технического зрения, состоящей из маломощной ЭВМ и, по крайней мере, двух цифровых видеокамер необходим такой способ определения координат объектов, который с одной стороны обеспечит высокую точность, с другой стороны не потребует больших вычислительных ресурсов. Решение данной задачи может быть достигнуто за счет применения прямых аналитических зависимостей между трехмерными координатами объекта и плоскими его координатами на отснятых изображениях с полным учетом внешних и внутренних параметров камер измерительной системы.To implement a real-time technical vision system consisting of a low-power computer and at least two digital video cameras, such a method of determining the coordinates of objects is necessary that on the one hand provides high accuracy, and on the other hand does not require large computational resources. The solution to this problem can be achieved through the use of direct analytical dependencies between the three-dimensional coordinates of the object and its plane coordinates in the captured images, taking into account the external and internal parameters of the cameras of the measuring system.

Из уровня техники общеизвестен способ определения положения контролируемого объекта или отдельных его точек в трехмерном пространстве [Грузман, И.С., Цифровая обработка изображений в информационных системах / И.С. Грузман, B.C. Киричук, В.П. Косых, [и др.]: Учебное пособие. - Новосибирск: Изд-во НГТУ, 2000. с. 147-148.], основанный на стереоскопической схеме геометрического типа, состоящей из двух одинаковых камер с параллельными оптическими осями, разнесенных на известное расстояние. Главные точки объективов (см. ГОСТ 7427-76) расположены на одной линии (линии базы), перпендикулярной к оптическим осям. Ось Y принимается перпендикулярной к плоскости чертежа. Ось Z - ось системы координат, направленная от середины базы плоскости предметов. Если выбрать начало координат в середине линии базы длиной В, то, измеряя координаты x1, x2 и y1, y2 изображений объекта Р на отснятой стереопаре, можно определить его координаты, т.е. xp, ур, zp, согласно следующих выражений:The prior art method of determining the position of a controlled object or its individual points in three-dimensional space [Gruzman, I.S., Digital image processing in information systems / I.S. Gruzman, BC Kirichuk, V.P. Kosykh, [et al.]: Textbook. - Novosibirsk: Publishing House of NSTU, 2000. p. 147-148.], Based on a stereoscopic scheme of geometric type, consisting of two identical cameras with parallel optical axes, spaced a known distance. The main points of the lenses (see GOST 7427-76) are located on the same line (the base line) perpendicular to the optical axes. The Y axis is assumed to be perpendicular to the plane of the drawing. Z axis - the axis of the coordinate system, directed from the middle of the base of the plane of objects. If you select the origin in the middle of the base line of length B, then by measuring the coordinates x 1 , x 2 and y 1 , y 2 of the images of the object P on the captured stereo pair, you can determine its coordinates, i.e. x p , y p , z p , according to the following expressions:

Figure 00000001
Figure 00000001

где ƒ - величина фокусного расстояния объективов первой и второй камер.where ƒ is the focal length of the lenses of the first and second cameras.

Недостатками описанного аналога является:The disadvantages of the described analogue are:

необходимость использования идентичных видеокамер;the need to use identical video cameras;

фиксированное расположение цифровых камер измерительной системы, что сужает область пространства, в которой возможно измерение координат подвижных объектов, и требует проведение прецизионной механической юстировки измерительной системы по приведению оптических осей камер к параллельному состоянию, что, в свою очередь, потребует наличия специальных высокоточных измерительных средств;a fixed location of the digital cameras of the measuring system, which narrows the area of space in which it is possible to measure the coordinates of moving objects, and requires precise mechanical adjustment of the measuring system to bring the optical axes of the cameras to a parallel state, which, in turn, will require special high-precision measuring tools;

низкая точность, обусловленная тем, что при вычислении координат не учитываются возможное отклонение оптических осей применяемых видеокамер, дисторсионные искажения изображений, вносимые их объективами и прочие внутренние параметры камер.low accuracy, due to the fact that the calculation of coordinates does not take into account the possible deviation of the optical axes of the used cameras, distortion distortions of images introduced by their lenses and other internal parameters of the cameras.

Еще одним аналогом является способ определения координат объекта [Лобанов, А.Н., Фотограмметрия: Учебник для вузов. 2-е изд., перераб. и доп. - М: Недра, 1984, с. 49, 54-57], заключающийся в:Another analogue is the method of determining the coordinates of the object [Lobanov, AN, Photogrammetry: Textbook for high schools. 2nd ed., Revised. and add. - M: Nedra, 1984, p. 49, 54-57], which consists in:

измерении плоских координат изображений объекта Р на изображениях первой и второй камер, т.е.

Figure 00000002
где для первой камеры n=1, для второй - n=2;measuring the flat coordinates of the images of the object P in the images of the first and second cameras, i.e.
Figure 00000002
where for the first camera n = 1, for the second - n = 2;

вычислении направляющих косинусов по формулам:calculation of guide cosines by the formulas:

Figure 00000003
Figure 00000003

где αn, ωn, χn - углы ориентации в горизонтальной, вертикальной и поперечных плоскостях n-й камеры;where α n , ω n , χ n are the orientation angles in the horizontal, vertical and transverse planes of the nth camera;

нахождении пространственных координат точек снимков в СК n-й камеры по формулам:finding the spatial coordinates of the image points in the SC of the nth camera using the formulas:

Figure 00000004
Figure 00000004

где ΔOnX и ΔOnZ - расстояния между геометрическими центрами изображений с первой и второй камер и центрами их фотоприемных устройств в соответствующих плоскостях;where ΔO nX and ΔO nZ - the distance between the geometric centers of images with the first and second chambers and their centers of photodetectors in respective planes;

вычислении значений координат xp, yp, zp объекта Р в СК первой камеры согласно выражений:the calculation of the coordinates x p , y p , z p of the object P in the SC of the first camera according to the expressions:

xp=Nx1; yp=Ny1; zp=Nz1,x p = Nx 1 ; y p = Ny 1 ; z p = Nz 1 ,

Figure 00000005
Figure 00000005

х0, у0, z0 - координаты начала СК второй камеры, выраженные в СК первой камеры.x 0 , y 0 , z 0 are the coordinates of the beginning of the SC of the second camera, expressed in the SC of the first camera.

По сравнению с предыдущим аналогом, в данном способе учтены величины ΔОХ и ΔOZ, устранена необходимость применения идентичных камер, обеспечена возможность осуществлять измерение координат при произвольном их расположении, но при этом способ не в полной мере учитывает все источники ошибок, связанные с несовершенством конструкции объективов и допущенными случайными погрешностей при изготовлении видеокамер, что приводит к искажению обрабатываемых изображений.Compared with the previous analogue, this method takes into account the ΔО X and ΔO Z values, eliminates the need for identical cameras, provides the ability to measure coordinates at their arbitrary location, but the method does not fully take into account all the sources of errors associated with design imperfections lenses and random errors in the manufacture of video cameras, which leads to distortion of the processed images.

Более близким аналогом является способ измерения координат объекта [Патент RU №2401436 С2, G01S 11/00, 2008 г.], заключающийся в:A closer analogue is the method of measuring the coordinates of the object [Patent RU No. 2401436 C2, G01S 11/00, 2008], which consists in:

регистрации изображений объекта посредством двух оптико-локационных блоков, установленных на внутренних рамах своих кардановых подвесов, каждый из которых имеет внешнюю и внутреннюю рамы, на осях которых установлены датчики углов их поворотов;registration of images of an object by means of two optical-location blocks mounted on the inner frames of its cardan suspensions, each of which has an external and internal frame, on the axes of which angle sensors of their turns are installed;

осуществлении программной обработки оцифрованных изображений объекта, снимаемых с фотоматрицы первого оптико-локационного блока для определения координат Y1И, Z1И и фотоматрицы второго оптико-локационного блока для определения координат Y2И, Z2И изображений идентичной точки на объекте;the implementation of software processing of digitized images of the object, taken from the photomatrix of the first optical location block to determine the coordinates of Y 1I , Z 1I and the photomatrix of the second optical location block to determine the coordinates of Y 2I , Z 2I images of identical points on the object;

снятии сигналов произвольных углов поворота ψ1, υ1 и ψ2, υ2 с датчиков внешней и внутренней рам первого и второго карданова подвеса;removal of signals of arbitrary rotation angles ψ 1 , υ 1 and ψ 2 , υ 2 from the sensors of the external and internal frames of the first and second cardan suspension;

вычислении соответствующих матриц вращенияcalculating the corresponding rotation matrices

Figure 00000006
Figure 00000006

определении координат xp, yp, zp идентичной точки объекта в связанной системе координат (СК) согласно следующим выражениям:determination of coordinates x p , y p , z p of an identical point of an object in a linked coordinate system (SC) according to the following expressions:

Figure 00000007
Figure 00000007

Figure 00000008
Figure 00000008

Figure 00000009
Figure 00000009

Figure 00000010
Figure 00000010

ƒn - фокусные расстояния объектива n-го оптико-локационного блока;ƒ n are the focal lengths of the lens of the nth optical-location unit;

Figure 00000011
- коэффициенты матриц вращения An, описывающих положения оптических осей первого (n=1) и второго (n=2) оптико-локационных блоков, j=1…3 - номер строки, k=1…3 - номер столбца;
Figure 00000011
- coefficients of rotation matrices A n describing the positions of the optical axes of the first (n = 1) and second (n = 2) optical location blocks, j = 1 ... 3 — row number, k = 1 ... 3 — column number;

YnИ, ZnИ - координаты объекта Р на изображении n-го оптико-локационного блока.Y nI , Z nI - the coordinates of the object P in the image of the n-th optical-location unit.

Известна усовершенствованная версия данного способа, которая и выбрана в качестве прототипа [Патент RU №2438142 С2, G01S 11/00, 2008 г.], где дополнительно предусмотрена алгоритмическая юстировка оптико-электронных блоков и учтены помимо углов их ориентации ψn, υn в вертикальной и горизонтальной плоскостях, еще углы γn в поперечной плоскости, что отразилось на порядке нахождения матрицы An. Однако по-прежнему (как и в аналогах) не приняты во внимание величины радиальной и тангенциальной дисторсии, возникающих в результате несовершенства линз объективов и погрешностей установки фотоприемных устройств относительно плоскости объектива. Не учтены межпиксельные расстояния, форма пикселей, и искажения, связанные со скосом изображения при движении камеры, когда при формировании изображения наблюдаются задержки в формировании его строк.Known is an improved version of this method, which is selected as a prototype [Patent RU No. 2438142 C2, G01S 11/00, 2008], which additionally provides for algorithmic alignment of optoelectronic units and takes into account in addition to their orientation angles ψ n , υ n in vertical and horizontal planes, also the angles γ n in the transverse plane, which was reflected in the order of the matrix A n . However, as before (as in the analogues), the radial and tangential distortion values resulting from imperfection of the lenses of the lenses and errors in the installation of photodetectors relative to the plane of the lens are not taken into account. The inter-pixel distances, the shape of the pixels, and the distortions associated with the bevel of the image during camera movement, when delays in the formation of its lines are observed during image formation, are not taken into account.

Непринятие в расчет указанных параметров при их наличии однозначно приведет к ошибкам определения координат.Failure to take into account the specified parameters, if any, will unequivocally lead to errors in determining the coordinates.

Обеспечение же условий, когда данные параметры могут не учитываться и, соответственно, не приведут к возникновению ошибок определения координат, связано с необходимостью применения видеокамер с высококачественной и, как правило, дорогой оптической частью.The provision of conditions when these parameters may not be taken into account and, accordingly, will not lead to errors in determining coordinates, is associated with the need to use cameras with a high-quality and, as a rule, expensive optical part.

С другой стороны, влияние данных параметров на точность определения координат может быть устранено за счет предварительной обработки получаемых с видеокамер изображений, заключающейся в компенсации дисторсионных искажений. Но это в свою очередь увеличивает объем вычислительных операций, так как цифровые изображения должны быть полностью попиксельно переработаны, и для обеспечения работы в реальном масштабе времени потребует привлечение дополнительных вычислительных ресурсов.On the other hand, the influence of these parameters on the accuracy of determining coordinates can be eliminated by pre-processing the images obtained from video cameras, which consists in compensating for distortion distortions. But this, in turn, increases the volume of computational operations, since digital images must be completely processed pixel by pixel, and to ensure real-time operation, it will require additional computational resources.

Таким образом, задачей, на решение которой направлено заявляемое изобретение, является обеспечение точного определения координат объектов в реальном масштабе времени по искаженным цифровым изображениям на электронно-вычислительной машине ограниченной вычислительной мощности.Thus, the problem to which the invention is directed is to provide accurate determination of the coordinates of objects in real time from distorted digital images on an electronic computer of limited processing power.

Решение данной задачи определяется:The solution to this problem is determined by:

1) по обеспечению точности определения координат - максимальным учетом внешних и внутренних параметров камер измерительной системы, а именно:1) to ensure the accuracy of determining the coordinates - with the maximum consideration of the external and internal parameters of the cameras of the measuring system, namely:

NK1, MK1 и NK2, MK2 - значения горизонтальных и вертикальных разрешений, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки (фиг. 1), при этом значения горизонтальных и вертикальных разрешений NK1, MK1 и NK2, MK2, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки;N K1 , M K1 and N K2 , M K2 - the values of horizontal and vertical resolutions are usually set from the technical data of the photodetectors used, or determined as a result of internal calibration (Fig. 1), while the values of horizontal and vertical resolutions N K1 , M K1 and N K2 , M K2 , as a rule, are set from the technical data of the photodetectors used, or determined as a result of internal calibration;

Figure 00000012
- расстояние между геометрическим центрами фотоприемных устройств и центрами изображений, формируемых объективами (фиг. 1) первой K1 и второй K2 камер, задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;
Figure 00000012
- the distance between the geometric centers of the photodetectors and the centers of the images formed by the lenses (Fig. 1) of the first K1 and second K2 cameras is set from the technical data of the cameras used, or determined during the internal calibration of the cameras of the measuring system;

Figure 00000013
- физические размеры фотоячеек (пикселей) фотоприемного устройства (ПЗС- или ПЗИ-матрицы, далее по тексту фотоматрицы), соответственно, первой K1 и второй K2 камер в горизонтальной
Figure 00000014
и вертикальной
Figure 00000015
плоскостях (фиг. 1), задают из технических данных фотоприемных устройств применяемых первой K1 и второй K2 камер или определяют в процессе внутренней калибровки камер измерительной системы;
Figure 00000013
- the physical dimensions of the photocells (pixels) of the photodetector (CCD or PZI matrix, hereinafter referred to as photomatrix), respectively, of the first K1 and second K2 cameras in horizontal
Figure 00000014
and vertical
Figure 00000015
planes (Fig. 1), set from the technical data of the photodetectors used by the first K1 and second K2 cameras or determined during the internal calibration of the cameras of the measuring system;

Figure 00000016
- межпиксельные интервалы фотоматриц в горизонтальной и вертикальной плоскости для первой K1 и второй K2 камер (на чертеже не показаны), задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;
Figure 00000016
- the inter-pixel intervals of the photomatrixes in the horizontal and vertical planes for the first K1 and second K2 cameras (not shown in the drawing) are set from the technical data of the cameras used, or determined during the internal calibration of the cameras of the measuring system;

при этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер K1 и K2 в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, MK2, увеличивают, а

Figure 00000017
- уменьшают в h раз;if, to increase the accuracy of determining the range, it is envisaged to increase the resolution of images obtained from cameras K1 and K2 by a factor of h, for example, by interpolation, then the values of N K1 , M K1 and N K2 , M K2 are increased, and
Figure 00000017
- reduce h times;

θK1 и θK2 - величины углов перекоса изображений ImgK1 и ImgK2, возникающих, как правило, из-за погрешностей изготовления фотоприемных устройств камер K1 и K2, а также при неточной синхронизации процесса пиксельной выборки (на фиг. 1 не показано), данные значения определяются в процессе внутренней калибровки камер;θ K1 and θ K2 are the skew angles of images Img K1 and Img K2 , which arise, as a rule, due to manufacturing errors in the photodetector devices of cameras K1 and K2, as well as during inaccurate synchronization of the pixel sampling process (not shown in Fig. 1), these values are determined during the internal calibration of cameras;

ƒK1 и ƒK2 - фокусные расстояния объективов первой K1 и второй K2 камер, это расстояния от точки ОK1 до точки О'K1, и от точки ОK2 до точки О'K2, соответственно (фиг. 1), задают из технических данных объективов, применяемых первой K1 и второй K2 камер, или определяют в процессе внутренней калибровки камер измерительной системы;ƒ K1 and ƒ K2 are the focal lengths of the lenses of the first K1 and second K2 cameras, these are the distances from the point O K1 to the point O ' K1 , and from the point O K2 to the point O' K2 , respectively (Fig. 1), set from the technical data lenses used by the first K1 and second K2 cameras, or determined during the internal calibration of the cameras of the measuring system;

Figure 00000018
- углы последовательного отклонения СК камер K1 и K2 относительно осей OWYW, OWXW и OWZW мировой СК W;
Figure 00000018
- angles of sequential deflection of the SK cameras K1 and K2 relative to the axes O W Y W , O W X W and O W Z W of the world SK W;

Figure 00000019
- углы взаимной ориентации СК первой K1 и второй K2 камер, отсчитываемые по результатам последовательного отклонения в горизонтальной
Figure 00000020
вертикальной
Figure 00000021
и поперечной
Figure 00000022
плоскостях осей СК (фиг. 2) первой K1 и второй K2 камер от нормального положения камер измерительной системы;
Figure 00000019
- the angles of relative orientation of the SC of the first K1 and second K2 cameras, measured according to the results of successive deviations in the horizontal
Figure 00000020
vertical
Figure 00000021
and transverse
Figure 00000022
the planes of the SK axes (Fig. 2) of the first K1 and second K2 chambers from the normal position of the chambers of the measuring system;

Figure 00000023
- координаты начал СК, соответственно, камер K1 и K2 относительно начала мировой СК W;
Figure 00000023
- the coordinates of the SC beginnings, respectively, of the cameras K1 and K2 relative to the beginning of the world SC W;

а также компенсацией дисторсионных искажений за счет учета:

Figure 00000024
и
Figure 00000025
- коэффициентов радиальной дисторсии (j - количество учитываемых коэффициентов) для первой K1 и второй K2 камер и
Figure 00000026
- коэффициентов тангенциальной дисторсии для первой K1 и второй K2 камер;as well as compensation for distortion distortions due to accounting:
Figure 00000024
and
Figure 00000025
- radial distortion coefficients (j is the number of coefficients taken into account) for the first K1 and second K2 cameras and
Figure 00000026
- tangential distortion coefficients for the first K1 and second K2 cameras;

при этом под нормальным положением камер измерительной системы понимается (фиг. 1) такое пространственное взаимное расположение первой K1 и второй K2 камер, когда СК

Figure 00000027
первой камеры K1 (своим началом совпадающая с оптическим центром объектива, ось
Figure 00000028
совпадает с оптической осью объектива, а оси
Figure 00000029
и
Figure 00000030
соответствуют горизонтальному и вертикальному направлениям) относительно СК
Figure 00000031
второй камеры K2 (своим началом совпадающей с оптическим центром объектива данной камеры, осью
Figure 00000032
совпадающей с оптической осью объектива, а осями
Figure 00000033
соответствующей горизонтальному и вертикальному направлениям), размещена так, что их оси
Figure 00000034
располагаясь на некотором удалении (базисном расстоянии) друг от друга, были параллельными, а оси
Figure 00000035
и
Figure 00000036
находились на одной (базовой) линии.in this case, under the normal position of the chambers of the measuring system is understood (Fig. 1) such a spatial mutual arrangement of the first K1 and second K2 cameras, when SC
Figure 00000027
the first camera K1 (with its beginning coinciding with the optical center of the lens, the axis
Figure 00000028
coincides with the optical axis of the lens, and the axis
Figure 00000029
and
Figure 00000030
correspond to horizontal and vertical directions) relative to SK
Figure 00000031
the second camera K2 (with its beginning coinciding with the optical center of the lens of this camera, the axis
Figure 00000032
coinciding with the optical axis of the lens, and the axes
Figure 00000033
corresponding to horizontal and vertical directions), placed so that their axis
Figure 00000034
located at some distance (base distance) from each other, were parallel, and the axis
Figure 00000035
and
Figure 00000036
were on the same (base) line.

Для наглядности, представленные на чертеже (фиг. 1) СК первой K1 и второй K2 камер при нормальном положении обозначены как

Figure 00000037
For clarity, shown in the drawing (Fig. 1) SC of the first K1 and second K2 cameras in normal position are indicated as
Figure 00000037

Под действительным положением камер измерительной системы понимается (фиг. 2) случайное или специально заданное взаимное расположение первой K1 и второй K2 камер, при котором оси их СК

Figure 00000038
(α, β, ϕ - обозначение действительного положения осей СК камер измерительной системы) находятся под соответствующими углами
Figure 00000039
относительно осей
Figure 00000040
СК этих камер в первоначальном нормальном положении.Under the actual position of the chambers of the measuring system is understood (Fig. 2) a random or specially specified relative position of the first K1 and second K2 chambers, in which their axis SK
Figure 00000038
(α, β, ϕ - designation of the actual position of the axes of the SC cameras of the measuring system) are at appropriate angles
Figure 00000039
relative to axes
Figure 00000040
SK of these cameras in their original normal position.

На чертеже (фиг. 2) показан возможный вариант взаимного положения СК камер, где обозначениямThe drawing (Fig. 2) shows a possible variant of the relative position of the SC cameras, where

Figure 00000041
соответствует положение камер отклоненных на углы
Figure 00000042
Figure 00000041
corresponds to the position of the cameras deflected by angles
Figure 00000042

Figure 00000043
соответствует положение камер отклоненных дополнительно на углы
Figure 00000044
Figure 00000043
corresponds to the position of the cameras, which are additionally rejected by angles
Figure 00000044

Figure 00000045
соответствует положение камер (действительное их положение), отклоненных дополнительно к предыдущим на углы
Figure 00000046
Figure 00000045
corresponds to the position of the cameras (their actual position), rejected in addition to the previous angles
Figure 00000046

2) по обеспечению быстродействия - применением прямых аналитических зависимостей между трехмерными координатами объекта в мировой системе координат W и плоскими его координатами на отснятых изображениях камерами K1 и K2:2) to ensure speed — by using direct analytical dependencies between the three-dimensional coordinates of the object in the world coordinate system W and its plane coordinates on captured images by cameras K1 and K2:

Figure 00000047
Figure 00000047

где

Figure 00000048
- вектор координат i-го объекта Pi в мировой СК W;Where
Figure 00000048
is the coordinate vector of the i-th object P i in the world SK W;

Figure 00000049
- скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер измерительной системы вектора
Figure 00000050
Figure 00000051
содержащие координаты i-го объекта Pi в СК камер K1 и K2 соответственно, вычисляющийся в свою очередь как произведения
Figure 00000052
Figure 00000049
- corrected for the values of radial and tangential distortion and reduced to the normal position of the chambers of the measuring system of the vector
Figure 00000050
Figure 00000051
containing the coordinates of the i-th object P i in the SC of cameras K1 and K2, respectively, calculated in turn as the product
Figure 00000052

Figure 00000053
- вектора положения изображения i-го объекта Pi на изображениях ImgK1, lmgK2 камер K1, K2,
Figure 00000054
Figure 00000055
- пиксельные координаты (номера n-го столбца и m-й строки), mK1i ∈ 0…MK1-1, nK1i ∈ 0…NK1-1, mK2i ∈ 0…MK2-1, nK1i ∈ 0…NK2-1, NK1 и MK1, NK2 и MK2 - горизонтальные и вертикальные разрешения (количество столбцов и строк) фотоматриц камер K1 и K2 соответственно;
Figure 00000053
- position vector of the image of the i-th object P i on the images Img K1 , lmg K2 of cameras K1, K2,
Figure 00000054
Figure 00000055
- pixel coordinates (numbers of the nth column and mth row), m K1i ∈ 0 ... M K1 -1, n K1i ∈ 0 ... N K1 -1, m K2i ∈ 0 ... M K2 -1, n K1i ∈ 0 ... N K2 -1, N K1 and M K1 , N K2 and M K2 - horizontal and vertical resolutions (the number of columns and rows) of the photomatrixes of cameras K1 and K2, respectively;

КK1 и КK2 - матрицы внутренних параметров камер K1 и K2;K K1 and K K2 are the matrices of the internal parameters of the cameras K1 and K2;

DK1i, DK2i - матрицы коррекции дисторсии i-го объекта Pi на изображениях ImgK1 и ImgK2 камер K1 и K2;D K1i , D K2i - distortion correction matrices of the i-th object P i in the images Img K1 and Img K2 of cameras K1 and K2;

Figure 00000056
- матрицы отклонения для первой K1 и второй K2 камер относительно нормального их положения в измерительной системе;
Figure 00000056
- deviation matrixes for the first K1 and second K2 cameras relative to their normal position in the measuring system;

Figure 00000057
- проекционная матрица измерительной системы из двух камер K1 и K2;
Figure 00000057
- projection matrix of the measuring system from two cameras K1 and K2;

Figure 00000058
- матрицы положения первой K1 и второй K2 камер относительно начала мировой СК W.
Figure 00000058
- the matrix position of the first K1 and second K2 cameras relative to the beginning of the world SK W.

Основным техническим результатом, обеспечиваемым приведенной совокупностью признаков, является:The main technical result provided by the given set of features is:

во-первых, повышение точности определений координат объектов по их цифровым изображениям измерительной системой, при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства (например, ПЗС- или ПЗИ-матрицы) могут быть установлены с погрешностью относительно оптических осей объективов;firstly, improving the accuracy of determining the coordinates of objects from their digital images by the measuring system, using randomly placed digital video cameras from which distortion-distorted images can be received, and their photodetectors (for example, CCD or PZI matrices) can be installed with error relative to the optical axis of the lenses;

во-вторых, снижение требований к вычислительной мощности ЭВМ, применяемой при проведении измерений в реальном масштабе времени.secondly, reducing the requirements for computer processing power used in real-time measurements.

Еще одним результатом является снижение стоимости измерительной системы за счет возможности применения малобюджетных неметрических видеокамер.Another result is the reduction in the cost of the measuring system due to the possibility of using low-budget non-metric cameras.

Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (причем в любой плоскости) цифровые видеокамеры K1 и K2 (фигура 1 и фигура 2), обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой (на фигуре 1 и фигуре 2 не показано) образующие измерительную систему. Причем применяемые цифровые камеры могут быть как видимого, так и инфракрасного диапазонов.To implement the inventive method, at least two digital cameras K1 and K2 (figure 1 and figure 2) spaced apart in space (and in any plane) can be used, providing the ability to capture stereo images of objects of interest and together with the processing system (in figure 1 and figure 2 not shown) forming a measuring system. Moreover, the used digital cameras can be both visible and infrared.

Каждая из применяемых камер может быть установлена на своем кардановом подвесе, обеспечивающем возможность изменения угловой ориентации камеры (в зависимости от необходимости) в горизонтальной, вертикальной и поперечной плоскостях. Каждый из кардановых подвесов в свою очередь может дополнительно содержать датчики углов, осуществляющие получение значений величин углов ориентации камеры (в зависимости от конструкции карданова подвеса) в горизонтальной, вертикальной и поперечной плоскостях. При этом первая камера K1 и вторая камера K2, датчики угла поворота рам подвеса должны быть выполнены с возможностью передачи в обрабатывающую систему видеоданных и данных о пространственной ориентации камер через кабели (например, кабели универсальной последовательной шины USB) или по беспроводной связи (например, Wi-Fi).Each of the cameras used can be mounted on its gimbal, providing the ability to change the angular orientation of the camera (depending on need) in horizontal, vertical and transverse planes. Each of the gimbal suspensions, in turn, may additionally contain angle sensors, which obtain values of the angles of orientation of the camera (depending on the design of the gimbal) in horizontal, vertical and transverse planes. In this case, the first camera K1 and the second camera K2, the sensors of the angle of rotation of the suspension frames must be capable of transmitting video data and data on the spatial orientation of the cameras to the processing system via cables (for example, universal USB serial bus cables) or wirelessly (for example, Wi -Fi).

Цифровые изображения ImgK1 и ImgK2, (фигура 1) получаемые с первой K1 и второй K2 камер, состоят из пикселей. Каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено восьмиразрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные оттенки полутонов. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различных компонента могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.Digital images Img K1 and Img K2 , (Figure 1) obtained from the first K1 and second K2 cameras, consist of pixels. Each pixel is characterized by a value that consists of a grayscale value or color value. In grayscale images, the pixel value is a single value that characterizes the brightness of the pixel. The most common pixel description format is an image byte, in which the pixel value is represented by an eight-bit integer lying in the range of possible values from 0 to 255. As a rule, a pixel value of zero is used to indicate a black pixel, and a value of 255 is used to indicate white pixels. Intermediate values describe various shades of midtones. In color images, for describing each pixel (located in the RGB color space - red, green, blue), the red, green, and blue components must be separately defined. In other words, the pixel value is actually a vector described by three numbers. Three different components can be saved as three separate grayscale images, known as color planes (one for red, green, and blue), which can be reunited during display or processing.

При чем, для установления физической связи между положением изображений объектов интереса

Figure 00000059
на цифровых изображениях ImgK1 и ImgK2 и их положением в СК соответствующей камеры, размеры пикселей принимают равными в соответствующих плоскостях физическим размерам
Figure 00000060
Figure 00000061
фотоячеек (пикселей) фотоприемных устройств (например, ПЗС- или ПЗИ-матриц) первой K1 и второй K2 камер, а сами изображения ImgK1 и ImgK2 принимают размещенными на фокусных расстояниях ƒK1 и ƒK2 объективов этих камер (соответственно, в положительных направлениях осей OK1ZK1 и ОK2ZK2 СК камер).Moreover, to establish a physical connection between the position of images of objects of interest
Figure 00000059
on digital images Img K1 and Img K2 and their position in the SC of the corresponding camera, the pixel sizes are taken equal to the physical dimensions in the corresponding planes
Figure 00000060
Figure 00000061
photo cells (pixels) of photodetectors (for example, CCD or PZI matrices) of the first K1 and second K2 cameras, and the images Img K1 and Img K2 themselves are taken at the focal lengths ƒ K1 and ƒ K2 of the lenses of these cameras (respectively, in positive directions axes O K1 Z K1 and O K2 Z K2 SC cameras).

Обрабатывающая система, являющаяся, например, удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция), должна обеспечивать выбор пользователем изображений и/или ввод команд обработки и содержать в свою очередь исполняемые модули или команды с возможностью выполнения по меньшей мере одним процессором, пользовательский интерфейс содержащий дисплей, такой как жидкокристаллический монитор, для просмотра видеоданных и устройство управления и ввода данных, такое как клавиатура или указательное устройство (например, манипулятор типа «мышь», шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя с видеоданными.A processing system, which is, for example, a remote computer, such as a laptop or personal computer (workstation), must provide the user with the choice of images and / or input processing commands and in turn contain executable modules or instructions with the ability to execute at least one processor, a user interface comprising a display, such as a liquid crystal monitor, for viewing video data, and a control and data input device, such as a keyboard or pointing device (e.g. example, a mouse-type manipulator, ball pointer, stylus, touchpad or other device) to ensure user interaction with video data.

При необходимости осуществляют внешнюю и внутреннюю калибровку измерительной системы, заключающуюся в получении внешних и внутренних параметров применяемых камер по имеющимся цифровым изображениям, отснятым ими.If necessary, carry out external and internal calibration of the measuring system, which consists in obtaining the external and internal parameters of the cameras used on the available digital images captured by them.

Сущность изобретения поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения, на которых:The invention is illustrated by drawings, which do not cover and, moreover, do not limit the entire scope of the claims of this invention, but are only illustrative materials of a particular case of execution, on which:

на фиг. 1 показано нормальное положение камер измерительной системы, показаны применяемые при определении дальностей величины;in FIG. 1 shows the normal position of the chambers of the measuring system, shown used in determining the range of values;

на фиг. 2 показано действительное положение камер измерительной системы с обозначением возможных углов отклонения в трех плоскостях;in FIG. 2 shows the actual position of the chambers of the measuring system with the designation of possible deflection angles in three planes;

на фиг. 3 проиллюстрированы этапы осуществления заявленного способа.in FIG. 3 illustrates the steps for implementing the claimed method.

Осуществляют заявленный способ следующим образом.The claimed method is carried out as follows.

По положению (номерам соответствующих столбцов и строк) каждого i-го объекта интереса на изображениях первой K1 и второй K2 камер составляют векторы положения

Figure 00000062
(этап 1 фигуры 3):By position (numbers of the corresponding columns and rows) of each i-th object of interest in the images of the first K1 and second K2 cameras are position vectors
Figure 00000062
(step 1 of figure 3):

Figure 00000063
Figure 00000063

при чем значения

Figure 00000064
задают для каждого изображения i-го объекта Pi или определяют в результате работы алгоритма обработки изображения первой камеры K1 ((например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения
Figure 00000065
задают или определяют в результате работы алгоритма обработки изображения второй камеры K2 (например, алгоритма автоматического поиска соответствий на стереоизображениях и т.п.).what do the values
Figure 00000064
set for each image of the i-th object P i or determine as a result of the image processing algorithm of the first camera K1 ((for example, an algorithm for automatic recognition or selection of moving objects, etc.), values
Figure 00000065
set or determine as a result of the operation of the image processing algorithm of the second camera K2 (for example, an algorithm for automatically matching to stereo images, etc.).

По техническим данным первой K1 и второй K2 камер вычисляют матрицы внутренних параметров КK1 и КK2 (этап 2 фигуры 3):According to the technical data of the first K1 and second K2 cameras, the matrix of internal parameters K K1 and K K2 is calculated (step 2 of figure 3):

Figure 00000066
Figure 00000066

При этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер K1 и K2 в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, МK2, увеличивают, а

Figure 00000067
- уменьшают в h раз.Moreover, if to increase the accuracy of determining the range it is envisaged to increase the resolution of images obtained from cameras K1 and K2 h times, for example, by interpolation, then the values of N K1 , M K1 and N K2 , M K2 are increased, and
Figure 00000067
- reduce h times.

По значениям углов пространственной ориентации камер относительно СК измерительной системы вычисляют матрицы отклонения

Figure 00000068
относительно нормального положения первой K1 и второй K2 камер соответственно (этап 3 фигуры 3):From the values of the angles of the spatial orientation of the cameras relative to the SC of the measuring system, deviation matrices are calculated
Figure 00000068
relative to the normal position of the first K1 and second K2 cameras, respectively (step 3 of figure 3):

Figure 00000069
Figure 00000069

Figure 00000070
Figure 00000070

Figure 00000071
Figure 00000071

Далее записывают

Figure 00000072
- матрицы положения первой K1 и второй K2 камер относительно начала мировой СК W, рассчитываемые согласно выражений (этап 4 фигуры 3):Write down
Figure 00000072
- the position matrix of the first K1 and second K2 cameras relative to the beginning of the world SK W calculated according to the expressions (step 4 of figure 3):

Figure 00000073
Figure 00000073

Figure 00000074
Figure 00000074

Матрицы

Figure 00000075
, как правило, получают в результате внешней калибровки измерительной системы, поэтому к ней применяется название матрицы внешней калибровки.Matrices
Figure 00000075
As a rule, they are obtained as a result of external calibration of the measuring system, therefore the name of the external calibration matrix is applied to it.

Согласно рассчитанным данным для каждого изображения i-го объекта Pi вычисляют векторы координат AK1i и AK2i, в СК камер K1 и K2 (этап 5 фигуры 3):According to the calculated data for each image of the i-th object P i calculate the coordinate vectors A K1i and A K2i , in the SC cameras K1 and K2 (step 5 of figure 3):

Figure 00000076
Figure 00000076

После этого по результатам внутренней калибровки (или техническим данным камер) и значениям векторов AK1i и AK2i для каждого i-го объекта находят матрицы коррекции дисторсии DK1i и DK2i (этап 6 фигуры 3) для первой K1 и второй K2 камеры соответственно:After that, based on the results of internal calibration (or the technical data of the cameras) and the values of the vectors A K1i and A K2i for each i-th object, distortion correction matrices D K1i and D K2i are found (step 6 of figure 3) for the first K1 and second K2 cameras, respectively:

Figure 00000077
Figure 00000077

где

Figure 00000078
- коэффициент коррекции радиальной дисторсии объектива первой камеры K1;Where
Figure 00000078
is the correction coefficient of the radial distortion of the lens of the first camera K1;

Figure 00000079
- коэффициент коррекции радиальной дисторсии объектива второй камеры K2;
Figure 00000079
is the correction coefficient of the radial distortion of the lens of the second camera K2;

Figure 00000080
- коэффициент коррекции тангенциальной дисторсии первой камеры K1 в горизонтальной плоскости;
Figure 00000080
- correction coefficient of tangential distortion of the first camera K1 in the horizontal plane;

Figure 00000081
- коэффициент коррекции тангенциальной дисторсии первой камеры K1 в вертикальной плоскости;
Figure 00000081
- correction coefficient of tangential distortion of the first camera K1 in a vertical plane;

Figure 00000082
- коэффициент коррекции тангенциальной дисторсии второй камеры K2 в горизонтальной плоскости;
Figure 00000082
- correction coefficient of tangential distortion of the second chamber K2 in the horizontal plane;

Figure 00000083
- коэффициент коррекции тангенциальной дисторсии второй камеры K2 в вертикальной плоскости;
Figure 00000083
- correction coefficient of tangential distortion of the second chamber K2 in the vertical plane;

Figure 00000084
Figure 00000084

Figure 00000085
- значения первого и второго столбцов векторов AK1i и AK2i.
Figure 00000085
are the values of the first and second columns of the vectors A K1i and A K2i .

При этом значения коэффициентов радиальной дисторсии

Figure 00000086
и
Figure 00000087
применяемых при нахождении
Figure 00000088
и значения коэффициентов тангенциальной дисторсии
Figure 00000089
применяемых при нахождении
Figure 00000090
задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы (j-количество учитываемых коэффициентов).The values of the coefficients of radial distortion
Figure 00000086
and
Figure 00000087
used when finding
Figure 00000088
and tangential distortion coefficient values
Figure 00000089
used when finding
Figure 00000090
set from the technical data of the cameras used, or determined in the process of internal calibration of the cameras of the measuring system (j-number of factors taken into account).

По значениям векторов AK1i и AK2i и матриц DK1i, DK2i,

Figure 00000091
для каждого изображения i-го объекта Pi вычисляют векторы скорректированных координат
Figure 00000092
содержащие скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер координаты i-го объекта Pi в СК камер K1 и K2 (этап 7 фигуры 3):According to the values of the vectors A K1i and A K2i and the matrices D K1i , D K2i ,
Figure 00000091
for each image of the i-th object P i calculate the corrected coordinate vectors
Figure 00000092
containing the coordinates of the i-th object P i in the SC of cameras K1 and K2 corrected for the values of radial and tangential distortion and reduced to the normal position of the cameras (step 7 of figure 3):

Figure 00000093
Figure 00000093

Находят коэффициент центральной проекции (этап 8 фигуры 3):Find the coefficient of the central projection (step 8 of figure 3):

Figure 00000094
Figure 00000094

На следующем этапе записывают проекционную матрицу

Figure 00000095
измерительной системы из двух камер K1 и K2 (этап 9 фигуры 3):In the next step, the projection matrix is written
Figure 00000095
measuring system of two chambers K1 and K2 (step 9 of figure 3):

Figure 00000096
Figure 00000096

Если необходимо получить координаты i-го объекта Pi в СК камер K1 или K2 измерительной системы, то вычисляют вектора координат

Figure 00000097
или
Figure 00000098
соответственно (этап 10 фигуры 3):If it is necessary to obtain the coordinates of the i-th object P i in the SK of cameras K1 or K2 of the measuring system, then coordinate vectors are calculated
Figure 00000097
or
Figure 00000098
respectively (step 10 of figure 3):

Figure 00000099
Figure 00000099

Для получения координат объекта Pi относительно мировой СК W рассчитывают вектор

Figure 00000100
по одному из выражений (этап 11 фигуры 3):To obtain the coordinates of the object P i relative to the world SK W calculate the vector
Figure 00000100
according to one of the expressions (step 11 of figure 3):

Figure 00000101
Figure 00000101

Система определения координат i-х объектов Pi по их цифровым изображениям, построенная на основе предлагаемого способа, позволит одновременно в режиме реального времени определять координаты всех i-х объектов Pi, попадающих в поля зрения камер. При этом система не потребует применения мощной и, соответственно, дорогой ЭВМ и высококачественных цифровых видеокамер.The system for determining the coordinates of i-objects P i from their digital images, built on the basis of the proposed method, will simultaneously determine in real time the coordinates of all i-objects P i that fall into the field of view of the cameras. Moreover, the system does not require the use of a powerful and, accordingly, expensive computer and high-quality digital video cameras.

Отличительной особенностью такой системы является и то, что она позволит осуществлять измерения по объектам, до которых невозможно, или очень сложно проводить измерения с помощью лазерных дальномеров, например, тонкие провода, антенны, находящиеся на большом расстоянии, объекты с низким коэффициентом отражения, зеркальные поверхности, прозрачные облака, дым, птицы, животные, люди и т.п., а использование вместо цифровых видеокамер (или совместно при комплексировании изображений) приборов ночного виденья или тепловизоров обеспечит всесуточность и всепогодность проводимых измерений.A distinctive feature of such a system is that it will allow measurements on objects to which it is impossible, or it is very difficult to carry out measurements using laser rangefinders, for example, thin wires, antennas located at a great distance, objects with a low reflection coefficient, and mirror surfaces , transparent clouds, smoke, birds, animals, people, etc., and the use of night vision devices or thermal imagers instead of digital video cameras (or together when combining images) will provide all day reliability and all-weather measurements.

Все это подчеркивает актуальность применения подобных систем на образцах различного вооружения, в особенности на роботизированных.All this emphasizes the relevance of the use of such systems on samples of various weapons, especially on robotic ones.

Кроме того, предлагаемый способ может применяться для обеспечения работы правоохранительных органов на местах преступлений, занимающих значительные территории (места взрывов, крушений, техногенных аварий и т.д.), когда зафиксировать традиционными средствами местоположение всего множества объектов (следов, обломков и т.д.) невозможно или достаточно трудоемко. Еще одним применением заявленного способа определения координат объектов может быть использование в системах и устройствах контроля скоростного режима автотранспортных средств на дорогах, делая неэффективным работу радаров-детекторов, одновременный охват широких участков автодороги и снижение себестоимости по сравнению с активными радиолокационными средствами.In addition, the proposed method can be used to ensure the work of law enforcement agencies on crime scenes that occupy significant territories (places of explosions, wrecks, industrial accidents, etc.), when using traditional means to fix the location of a multitude of objects (tracks, debris, etc. .) impossible or rather laborious. Another application of the claimed method for determining the coordinates of objects can be used in systems and devices for controlling the speed of vehicles on roads, making ineffective radar detectors, simultaneous coverage of wide sections of the road and cost reduction compared with active radar systems.

Claims (50)

Способ определения координат объектов по их цифровым изображениям, заключающийся в приеме цифровых изображений по крайней мере с двух видеокамер (оптического или инфракрасного диапазонов), и их дальнейшей программной обработке в обрабатывающей системе, отличающийся тем, что при определении координат интересующих объектов по положению каждого i-го объекта интереса Pi на цифровых изображениях первой и второй камер составляют векторы положения
Figure 00000102
The method of determining the coordinates of objects from their digital images, which consists in receiving digital images from at least two cameras (optical or infrared ranges), and their further software processing in the processing system, characterized in that when determining the coordinates of objects of interest by the position of each i- position of interest P i on the digital images of the first and second cameras are position vectors
Figure 00000102
Figure 00000103
Figure 00000103
 где Р - условное обозначение объекта интереса;where P is the symbol of the object of interest; K1 и K2 - условные обозначения, соответственно, первой и второй камер измерительной системы;K1 and K2 are the legend, respectively, of the first and second chambers of the measuring system;
Figure 00000104
- пиксельные координаты (номера n-го столбца и m-й строки) изображения i-го объекта интереса Pi на изображениях первой K1 и второй K2 камер, mK1i ∈ 0...MK1-1, nK1i ∈ 0...NK1-1, mK2i ∈ 0...MK2-1, nK2i ∈ 0...NK2-1;
Figure 00000104
- pixel coordinates (numbers of the nth column and mth row) of the image of the i-th object of interest P i in the images of the first K1 and second K2 cameras, m K1i ∈ 0 ... M K1 -1, n K1i ∈ 0 .. .N K1 -1, m K2i ∈ 0 ... M K2 -1, n K2i ∈ 0 ... N K2 -1; NK1, MK1 и NK2, MK2 - количество столбцов и строк фотоприемных устройств высокого разрешения первой и второй камер,N K1 , M K1 and N K2 , M K2 - the number of columns and rows of high-resolution photodetectors of the first and second cameras, при этом NK1, MK1 и NK2, MK2 задают из технических данных используемых фотоприемных устройств или определяют в результате внутренней калибровки камер, а значения
Figure 00000105
задают для каждого изображения i-го объекта Pi или определяют в результате работы алгоритма обработки изображения первой камеры (например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения
Figure 00000106
задают или определяют в результате работы алгоритма обработки изображения второй камеры (например, алгоритма автоматического поиска соответствий на стереоизображениях и т.п.);wherein N K1 , M K1 and N K2 , M K2 are set from the technical data of the photodetectors used or determined as a result of internal calibration of the cameras, and the values
Figure 00000105
set for each image of the i-th object P i or determine as a result of the algorithm for processing the image of the first camera (for example, an algorithm for automatic recognition or selection of moving objects, etc.), values
Figure 00000106
set or determine as a result of the operation of the image processing algorithm of the second camera (for example, an algorithm for automatically matching to stereo images, etc.); по техническим данным первой и второй камер вычисляют матрицы внутренних параметров, соответственно, КK1 и КK2:according to the technical data of the first and second cameras calculate the matrix of internal parameters, respectively, K K1 and K K2 :
Figure 00000107
Figure 00000107
 где ƒK1 и ƒK2 - фокусные расстояния объективов первой и второй камер, при этом значения ƒK1 и ƒK2 задают из технических данных объективов, применяемых первой и второй камер, или определяют в процессе внутренней калибровки камер измерительной системы;where ƒ K1 and ƒ K2 are the focal lengths of the lenses of the first and second cameras, while the values of ƒ K1 and ƒ K2 are specified from the technical data of the lenses used by the first and second cameras, or determined during the internal calibration of the cameras of the measuring system;
Figure 00000108
- физические размеры фотоячейки (пикселя) фотоприемного устройства высокого разрешения (например, ПЗС- или ПЗИ-матрицы), соответственно, в горизонтальной
Figure 00000109
и вертикальной
Figure 00000110
плоскостях первой и второй камер, при этом значения
Figure 00000111
задают из технических данных фотоприемных устройств применяемых первой и второй камер, или определяют в процессе внутренней калибровки камер измерительной системы;
Figure 00000108
- physical dimensions of the photocell (pixel) of the high-resolution photodetector (for example, a CCD or PZI matrix), respectively, in the horizontal
Figure 00000109
and vertical
Figure 00000110
planes of the first and second chambers, with the values
Figure 00000111
set from the technical data of the photodetectors used by the first and second cameras, or determine in the process of internal calibration of the cameras of the measuring system;
Figure 00000112
- расстояние между геометрическими центрами фотоприемных устройств и центрами изображений, формируемых объективами первой и второй камер, при этом значения
Figure 00000113
задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;
Figure 00000112
- the distance between the geometric centers of photodetectors and image centers formed by the lenses of the first and second cameras, while the values
Figure 00000113
set from the technical data of the cameras used, or determined in the process of internal calibration of the chambers of the measuring system;
Figure 00000114
- межпиксельные интервалы фотоматриц в горизонтальной и вертикальной плоскости для первой и второй камер, задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;
Figure 00000114
- inter-pixel intervals of the photomatrix in the horizontal and vertical plane for the first and second cameras, set from the technical data of the cameras used, or determined in the process of internal calibration of the cameras of the measuring system; при этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, MK2, увеличивают, а
Figure 00000115
Figure 00000116
- уменьшают в h раз;if, to increase the accuracy of determining the range, it is envisaged to increase the resolution of images obtained from cameras by a factor of h, for example, by interpolation, then the values of N K1 , M K1 and N K2 , M K2 are increased, and
Figure 00000115
Figure 00000116
- reduce h times; θK1 и θK2 - величины углов перекоса получаемых с камер измерительной системы цифровых изображений, возникающие, как правило, из-за погрешностей изготовления фотоприемных устройств камер, а также при неточной синхронизации процесса пиксельной выборки, данные значения определяют в процессе внутренней калибровки камер;θ K1 and θ K2 are the skew angles of digital images received from the cameras of the measuring system, which arise, as a rule, due to errors in the manufacture of photodetector cameras, as well as inaccurate synchronization of the pixel sampling process, these values are determined during the internal calibration of cameras; по значениям углов пространственной ориентации камер в системе координат измерительной системы вычисляют матрицы отклонения
Figure 00000117
относительно нормального положения первой и второй камер соответственно:the values of the angles of the spatial orientation of the cameras in the coordinate system of the measuring system calculate the deviation matrix
Figure 00000117
relative to the normal position of the first and second cameras, respectively:
Figure 00000118
Figure 00000118
 где N - условное обозначение нормального взаимного расположения осей систем координат камер измерительной системы;where N is the symbol of the normal relative position of the axes of the coordinate systems of the cameras of the measuring system;
Figure 00000119
Figure 00000119
Figure 00000120
- внутрибазовые углы последовательного отклонения в горизонтальной
Figure 00000121
вертикальной
Figure 00000122
и поперечной
Figure 00000123
плоскостях осей систем координат первой и второй камер от нормального положения камер измерительной системы, то есть когда направляющие оси их систем координат вертикального и продольного направления, располагаясь на некотором удалении друг от друга, параллельны, а оси горизонтального направления находятся на одной (базовой) линии, при этом значения углов поперечного, вертикального и горизонтального отклонений камер
Figure 00000124
снимают с датчиков угла, размещенных на рамах кардановых подвесов, обеспечивающих, по крайней мере три степени свободы для каждой камеры, или определяют в процессе внешней калибровки измерительной системы;
Figure 00000120
- intra-base angles of sequential deviation in horizontal
Figure 00000121
vertical
Figure 00000122
and transverse
Figure 00000123
the planes of the axes of the coordinate systems of the first and second chambers from the normal position of the chambers of the measuring system, that is, when the guiding axes of their coordinate systems of the vertical and longitudinal directions, located at some distance from each other, are parallel, and the axes of the horizontal direction are on one (base) line the values of the angles of transverse, vertical and horizontal deviations of the cameras
Figure 00000124
removed from the angle sensors located on the frames of the gimbal suspensions, providing at least three degrees of freedom for each camera, or determined in the process of external calibration of the measuring system; записывают матрицы положения
Figure 00000125
первой и второй камер относительно начала мировой системы координат, рассчитываемые согласно выражениям:write position matrices
Figure 00000125
the first and second cameras relative to the origin of the world coordinate system, calculated according to the expressions:
Figure 00000126
Figure 00000126
 где W - условное обозначение мировой системы координат;where W is the symbol of the world coordinate system;
Figure 00000127
Figure 00000127
Figure 00000128
- углы последовательного отклонения систем координат первой и второй камер относительно осей мировой системы координат;
Figure 00000128
- angles of sequential deviation of the coordinate systems of the first and second cameras relative to the axes of the world coordinate system;
Figure 00000129
- координаты начал систем координат соответственно, первой и второй камер относительно начала мировой системы координат;
Figure 00000129
- the coordinates of the origin of the coordinate systems, respectively, of the first and second cameras relative to the origin of the world coordinate system; для каждого изображения i-го объекта Pi вычисляют векторы координат AK1i и AK2i в системах координат первой и второй камерfor each image of the i-th object P i calculate the coordinate vectors A K1i and A K2i in the coordinate systems of the first and second cameras
Figure 00000130
Figure 00000130
 где
Figure 00000131
- трехмерные координаты изображений i-го объекта Pi соответственно в системах координат первой и второй камер;Where
Figure 00000131
- three-dimensional coordinates of images of the i-th object P i, respectively, in the coordinate systems of the first and second cameras; по результатам внутренней калибровки (или техническим данным камер) и значениям векторов AK1i и AK2i для каждого i-го объекта Pi находят матрицы коррекции дисторсии DK1i и DK2i для первой и второй камеры соответственно:according to the results of internal calibration (or the technical data of the cameras) and the values of the vectors A K1i and A K2i for each i-th object P i , distortion correction matrices D K1i and D K2i are found for the first and second cameras, respectively:
Figure 00000132
Figure 00000132
 где
Figure 00000133
- коэффициент коррекции радиальной дисторсии объектива первой камеры;Where
Figure 00000133
- correction coefficient of the radial distortion of the lens of the first camera;
Figure 00000134
- коэффициент коррекции радиальной дисторсии объектива второй камеры;
Figure 00000134
- correction factor of the radial distortion of the lens of the second camera;
Figure 00000135
- коэффициент коррекции тангенциальной дисторсии первой камеры в горизонтальной плоскости;
Figure 00000135
- correction coefficient of tangential distortion of the first chamber in the horizontal plane;
Figure 00000136
- коэффициент коррекции тангенциальной дисторсии первой камеры в вертикальной плоскости;
Figure 00000136
- correction coefficient of tangential distortion of the first chamber in a vertical plane;
Figure 00000137
- коэффициент коррекции тангенциальной дисторсии второй камеры в горизонтальной плоскости;
Figure 00000137
- correction coefficient of tangential distortion of the second chamber in the horizontal plane;
Figure 00000138
- коэффициент коррекции тангенциальной дисторсии второй камеры в вертикальной плоскости;
Figure 00000138
- correction coefficient of tangential distortion of the second chamber in a vertical plane;
Figure 00000139
Figure 00000139
Figure 00000140
- значения первого и второго столбцов векторов AK1i и AK2i;
Figure 00000140
- the values of the first and second columns of the vectors A K1i and A K2i ; при этом значения коэффициентов радиальной дисторсии
Figure 00000141
и
Figure 00000142
применяемых при нахождении
Figure 00000143
и значения коэффициентов тангенциальной дисторсии
Figure 00000144
применяемых при нахождении
Figure 00000145
задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы (j - количество учитываемых коэффициентов);the values of the coefficients of radial distortion
Figure 00000141
and
Figure 00000142
used when finding
Figure 00000143
and tangential distortion coefficient values
Figure 00000144
used when finding
Figure 00000145
set from the technical data of the cameras used, or determine in the process of internal calibration of the cameras of the measuring system (j is the number of factors taken into account); по значениям векторов
Figure 00000146
и матриц DK1i, DK2i,
Figure 00000147
для каждого изображения i-го объекта Pi вычисляют векторы скорректированных координат
Figure 00000148
и
Figure 00000149
содержащие скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер трехмерные координаты изображения i-го объекта Pi в системах координат первой и второй камерby vector values
Figure 00000146
and matrices D K1i , D K2i ,
Figure 00000147
for each image of the i-th object P i calculate the corrected coordinate vectors
Figure 00000148
and
Figure 00000149
containing the three-dimensional coordinates of the image of the i-th object P i in the coordinate systems of the first and second cameras, corrected for the values of radial and tangential distortion and reduced to the normal position of the cameras
Figure 00000150
Figure 00000150
 для каждого изображения i-го объекта Pi находят коэффициент центральной проекции
Figure 00000151
for each image of the i-th object P i find the coefficient of the central projection
Figure 00000151
Figure 00000152
Figure 00000152
 для каждого изображения i-го объекта Pi записывают проекционную матрицу
Figure 00000153
измерительной системы из первой и второй камерfor each image of the i-th object P i write a projection matrix
Figure 00000153
measuring system from the first and second chambers
Figure 00000154
Figure 00000154
 если необходимо получить координаты i-го объекта Pi в системе координат первой или второй камер измерительной системы, то вычисляют векторы координат
Figure 00000155
или
Figure 00000156
соответственно по выражениям:if it is necessary to obtain the coordinates of the i-th object P i in the coordinate system of the first or second cameras of the measuring system, then coordinate vectors are calculated
Figure 00000155
or
Figure 00000156
according to the expressions:
Figure 00000157
Figure 00000157
 для нахождения трехмерных координат i-го объекта Pi относительно мировой системы координат рассчитывают вектор
Figure 00000158
по одному из выражений:to find the three-dimensional coordinates of the i-th object P i relative to the world coordinate system, a vector is calculated
Figure 00000158
according to one of the expressions:
Figure 00000159
Figure 00000159
RU2018140814A 2018-11-19 2018-11-19 Method of determining coordinates of objects based on their digital images RU2697822C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2018140814A RU2697822C2 (en) 2018-11-19 2018-11-19 Method of determining coordinates of objects based on their digital images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018140814A RU2697822C2 (en) 2018-11-19 2018-11-19 Method of determining coordinates of objects based on their digital images

Publications (3)

Publication Number Publication Date
RU2018140814A RU2018140814A (en) 2019-02-22
RU2018140814A3 RU2018140814A3 (en) 2019-07-24
RU2697822C2 true RU2697822C2 (en) 2019-08-21

Family

ID=65479173

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018140814A RU2697822C2 (en) 2018-11-19 2018-11-19 Method of determining coordinates of objects based on their digital images

Country Status (1)

Country Link
RU (1) RU2697822C2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2740435C2 (en) * 2020-02-27 2021-01-14 Алексей Владимирович Зубарь Method of determining position of region of searching for matches on distortion-degraded images
RU2789190C1 (en) * 2022-02-18 2023-01-31 Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет" Underwater video camera calibration method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679576A (en) * 2022-03-24 2022-06-28 阿里云计算有限公司 Method and apparatus for processing video data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2579532C2 (en) * 2014-02-12 2016-04-10 Алексей Владимирович Зубарь Optoelectronic stereoscopic range-finder
RU2626051C2 (en) * 2016-10-17 2017-07-21 Алексей Владимирович Зубарь Method for determining distances to objects using images from digital video cameras
US20180114336A1 (en) * 2016-10-24 2018-04-26 Industrial Technology Research Institute Positioning method and image capturing device thereof
CN108317992A (en) * 2018-01-15 2018-07-24 维沃移动通信有限公司 A kind of object distance measurement method and terminal device
CN108489398A (en) * 2018-05-21 2018-09-04 华南农业大学 Laser adds the method that monocular vision measures three-dimensional coordinate under a kind of wide-angle scene
US20180315208A1 (en) * 2015-10-22 2018-11-01 Kyocera Corporation Parallax calculation apparatus, stereo camera apparatus, vehicle, and parallax calculation method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2579532C2 (en) * 2014-02-12 2016-04-10 Алексей Владимирович Зубарь Optoelectronic stereoscopic range-finder
US20180315208A1 (en) * 2015-10-22 2018-11-01 Kyocera Corporation Parallax calculation apparatus, stereo camera apparatus, vehicle, and parallax calculation method
RU2626051C2 (en) * 2016-10-17 2017-07-21 Алексей Владимирович Зубарь Method for determining distances to objects using images from digital video cameras
US20180114336A1 (en) * 2016-10-24 2018-04-26 Industrial Technology Research Institute Positioning method and image capturing device thereof
CN108317992A (en) * 2018-01-15 2018-07-24 维沃移动通信有限公司 A kind of object distance measurement method and terminal device
CN108489398A (en) * 2018-05-21 2018-09-04 华南农业大学 Laser adds the method that monocular vision measures three-dimensional coordinate under a kind of wide-angle scene

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2740435C2 (en) * 2020-02-27 2021-01-14 Алексей Владимирович Зубарь Method of determining position of region of searching for matches on distortion-degraded images
RU2789190C1 (en) * 2022-02-18 2023-01-31 Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет" Underwater video camera calibration method
RU2806249C1 (en) * 2022-12-08 2023-10-30 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Method for obtaining high spatial resolution images by opto-electronic observation tool for remote objects
RU2815689C1 (en) * 2023-06-14 2024-03-20 Общество с ограниченной ответственностью "МЕТРИКА Б" Method, terminal and system for biometric identification

Also Published As

Publication number Publication date
RU2018140814A3 (en) 2019-07-24
RU2018140814A (en) 2019-02-22

Similar Documents

Publication Publication Date Title
RU2626051C2 (en) Method for determining distances to objects using images from digital video cameras
CN111435162B (en) Laser radar and camera synchronization method, device, equipment and storage medium
CN109544628B (en) Accurate reading identification system and method for pointer instrument
US10438365B2 (en) Imaging device, subject information acquisition method, and computer program
CN108629756B (en) Kinectv2 depth image invalid point repairing method
CN107339935B (en) Target space intersection measuring method for full-view scanning measuring system
US20130075585A1 (en) Solid imaging device
EP3460715A1 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
EP2866090A2 (en) Method for producing an image of the surface of the earth from a moving carrier and a device for implementing same
CN110782531A (en) Method and computing device for processing three-dimensional point cloud data
CN114485579A (en) Sea surface measuring system, sea surface measuring method and storage medium
RU2697822C2 (en) Method of determining coordinates of objects based on their digital images
CN114659523B (en) Large-range high-precision attitude measurement method and device
CN112330740A (en) Pseudo-binocular dynamic distance measurement method based on monocular video
JP2001296124A (en) Method and apparatus for measurement of three- dimensional coordinates
CN111637837B (en) Method and system for measuring size and distance of object by monocular camera
JPH1019562A (en) Surveying equipment and surveying method
RU2579532C2 (en) Optoelectronic stereoscopic range-finder
CN103528569B (en) The orthogonal spectroscopic imaging pose method of testing of index point and sensor
CN111385565A (en) Optical axis included angle measuring and adjusting device
Long et al. Portable visual metrology without traditional self-calibration measurement model
JP2923063B2 (en) Multi-view stereo image measurement method
CN114693807A (en) Method and system for reconstructing mapping data of power transmission line image and point cloud
CN114812983A (en) Bridge crack measuring method, device and equipment based on laser array
CN114494039A (en) Underwater hyperspectral push-broom image geometric correction method

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20201120