RU2579532C2 - Optoelectronic stereoscopic range-finder - Google Patents
Optoelectronic stereoscopic range-finder Download PDFInfo
- Publication number
- RU2579532C2 RU2579532C2 RU2014105235/28A RU2014105235A RU2579532C2 RU 2579532 C2 RU2579532 C2 RU 2579532C2 RU 2014105235/28 A RU2014105235/28 A RU 2014105235/28A RU 2014105235 A RU2014105235 A RU 2014105235A RU 2579532 C2 RU2579532 C2 RU 2579532C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- data
- module
- objects
- cameras
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/12—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/22—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length at, near, or formed by the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
Abstract
Description
Изобретение относится к приборам для измерения дальности, а именно к измерителям расстояний с помощью параллактического треугольника с переменными углами и основанием определенной длины, расположенного в точке наблюдения.The invention relates to instruments for measuring range, namely, distance meters using a parallactic triangle with variable angles and a base of a certain length located at the observation point.
Зрение двумя глазами (стереоскопическое зрение) позволяет человеку измерять расстояние пассивным способом на основе стереоскопического базового (параллаксного) способа (далее стереоскопический способ). Этот же способ положен в основу работы оптических дальномеров. Это артиллерийские стереоскопические дальномеры ДСП-30 (база 0,3 м), ДС-0,9, ДС-1, ДС-2 (база 0,9, 1,0 и 2,0 м соответственно) и зенитные дальномеры типа ЗДН и др. База приборов значительно увеличена по сравнению с базой глаз.Vision with two eyes (stereoscopic vision) allows a person to measure distance in a passive way based on the stereoscopic basic (parallax) method (hereinafter the stereoscopic method). The same method is the basis for the operation of optical rangefinders. These are artillery stereoscopic rangefinders DSP-30 (base 0.3 m), DS-0.9, DS-1, DS-2 (base 0.9, 1.0 and 2.0 m, respectively) and anti-aircraft rangefinders of the type ZDN and etc. The base of devices is significantly increased in comparison with the base of the eyes.
Развитие науки и техники позволило данный способ определения дальности реализовывать на современных оптико-электронных устройствах, например, цифровых камерах разнесенных на известное расстояние друг от друга.The development of science and technology allowed this method of determining the range to be implemented on modern optoelectronic devices, for example, digital cameras spaced a known distance from each other.
На фиг. 1 приведен стереоскопический способ измерения дальности, адаптированный к измерительной системе, состоящей из двух цифровых камер, где Ц - объект интереса; CCD1 и CCD2 - матрицы фоточувствительных элементов разрешением N×M элементов, так как на сегодня широкое распространение получили ПЗС-матрицы, то далее по тексту CCD1 и CCD2 будут позиционироваться как ПЗС-матрицы; I1, I2 - главные оптические оси объективов камер; O1, О2 - оптические центры объективов; O′1, О′2 - геометрические центры матриц CCD1 и CCD2; Ц′1, Ц′2 - центры изображения объекта Ц в поле матриц CCD1 и CCD2, В - база (базисное расстояние), равная расстоянию от точки O1 до О2; lГ1, lГ2 - горизонтальные расстояния от центров О′1, О′2 матриц CCD1 и CCD2 до изображений Ц′1, Ц′2 (примем lГ1, lГ2>0, если изображения Ц′1, Ц′2 расположены выше геометрических центров O′1, О′2 матриц CCD1 и CCD2, и lГ1, lГ2<0 - если ниже. Соответственно, lГ1, lГ2=0 в случае совпадения изображений Ц′1, Ц′2 с центрами О′1, О′2 матриц CCD1 и CCD2); 
Дальность D до объекта Ц определяется по величинам параллакса γ2, базы прибора В и фокусного расстояния объективов 
где ΔlГ=lГ1-lГ2 - горизонтальное смещение (разность положений) изображений объекта интереса Ц в полях матриц CCD1 и CCD2, поскольку величина ΔlГ пропорциональна параллактическому углу γ2, то величину ΔlГ иногда называют линейным параллаксом.where Δl Г = l Г1 -l Г2 is the horizontal displacement (position difference) of images of the object of interest C in the fields of the matrices CCD 1 and CCD 2 , since the quantity Δl Г is proportional to the parallactic angle γ 2 , then the quantity Δl Г is sometimes called linear parallax.
Величина Δl в цифровых системах может быть найдена как разность смещений lГ1-lГ2 приведенная к количеству пикселей ПЗС-матрицы и их линейному размеру, тогдаThe value Δl in digital systems can be found as the offset difference l Г1 -l Г2 reduced to the number of pixels of the CCD matrix and their linear size, then
ΔlГ=lP(n1-n2),Δl G = l P (n 1 -n 2 ),
где lP - линейный размер пикселя, n1, n2 - порядковые номера пикселей (номера столбцов), соответствующие положению изображений на ПЗС-матрицах.where l P is the linear pixel size, n 1 , n 2 are the sequence numbers of pixels (column numbers) corresponding to the position of the images on the CCD matrices.
Из предшествующего уровня техники известно большое число разновидностей устройств, решающих задачу по измерению дальности до объектов на основе стереоскопического способа.From the prior art there are a large number of varieties of devices that solve the problem of measuring the distance to objects based on the stereoscopic method.
Аналогом предлагаемому устройству является оптический дальномер с внутренней базой (С.Г. Бабушкин и др. Оптико-механические приборы. - М.: Машиностроение, 1965, с. 306-339). Данный дальномер имеет две идентичные оптические приемные системы, оптические оси которых разнесены на базовое расстояние В. В приборе строятся два изображения объекта и путем их совмещения измеряется параллактический угол между ними, являющийся мерой измеряемого расстояния. Основными недостатками оптического дальномера являются: низкая абсолютная и относительная точность измерений, вызванная малой угловой чувствительностью человеческого глаза; необходимость человека-оператора для осуществления сложного алгоритма совмещения двух изображений, субъективные ошибки оператора и низкая скорость измерений.An analogue of the proposed device is an optical rangefinder with an internal base (S.G. Babushkin and other Optical-mechanical devices. - M .: Mashinostroenie, 1965, p. 306-339). This range finder has two identical optical receiving systems, the optical axes of which are spaced by the base distance B. Two images of the object are built in the device and by combining them, the parallactic angle between them is measured, which is a measure of the measured distance. The main disadvantages of the optical range finder are: low absolute and relative accuracy of measurements caused by the low angular sensitivity of the human eye; the need for a human operator to implement a complex algorithm for combining two images, subjective errors of the operator and low measurement speed.
Близким к предлагаемому устройству является устройство, построенное на основе способа измерения расстояний до объектов (US Patent №5432594, G01C 3/00, 1995), обладающее осью симметрии, с использованием двух цифровых фотокамер, разнесенных в пространстве по горизонтали на известное расстояние. На фотокамерах формируются два цифровых изображения измеряемого объекта. На каждом изображении формируется окно шириной, равной размеру объекта. Затем вычисляется оценочная функция между двумя изображениями объекта, находящегося в выделенном окне, причем одно изображение последовательно сдвигается по горизонтали относительно другого. По минимальному значению оценочной функции определяется сдвиг между изображениями объекта. Дальность до объекта определяется по сдвигу между изображениями, при этом необходимо знать расстояние между фотокамерами и фокусное расстояние объективов камер. Недостатком этого способа является низкая точность измерения дальности, обусловленная тем, что при вычислении дальности в системе не учитывается возможное отклонение от горизонтальной линии положения двух цифровых фотокамер, разнесенных в пространстве по горизонтали на известное расстояние, а также тем, что сдвиг между изображениями на фотоприемной матрице определяется только с точностью до одного пикселя.Close to the proposed device is a device built on the basis of the method of measuring distances to objects (US Patent No. 5432594, G01C 3/00, 1995), having an axis of symmetry, using two digital cameras spaced horizontally in space at a known distance. Two digital images of the measured object are formed on the cameras. A window with a width equal to the size of the object is formed on each image. Then, the estimated function between two images of the object located in the selected window is calculated, and one image is sequentially shifted horizontally relative to the other. The minimum value of the evaluation function determines the shift between the images of the object. The distance to the object is determined by the shift between the images, while you need to know the distance between the cameras and the focal length of the camera lenses. The disadvantage of this method is the low accuracy of the range measurement, due to the fact that when calculating the range, the system does not take into account the possible deviation from the horizontal line of the position of two digital cameras spaced horizontally in space by a known distance, as well as the fact that the shift between the images on the photodetector It is determined only with an accuracy of one pixel.
В качестве прототипа выбран измеритель расстояний на основе цифрового фотоаппарата, построенный по способу (Патент RU №2485443 C1, G01C 3/08, G01S 11/12, 2011 г.), включающему получение двух цифровых изображений объекта с использованием двух фотокамер, разнесенных по горизонтали на известное расстояние. Дальность до объекта определяется по сдвигу между изображениями по горизонтальной оси. Размер сканирующего окна сизображением объекта выбирают так, чтобы разность расстояний до отдельных фрагментов объекта была меньше инструментального разрешения по дальности. Осуществляют сканирование по горизонтали и вертикали, сдвиг между изображениями определяют по положению максимального значения двухмерной нормированной корреляционной функции. Уточняют положение максимума корреляционной функции в субпиксельном диапазоне и осуществляют локализацию максимума между узлом сетки с наибольшим значением корреляционной функции и его соседними узлами. Определяют дальность и размеры объекта. Дальность до выделенной области объекта определяют из выражения, учитывающего отклонение от горизонтальной линии положения двух цифровых фотокамерAs a prototype, a distance meter based on a digital camera, constructed according to the method (Patent RU No. 2485443 C1, G01C 3/08, G01S 11/12, 2011), which includes obtaining two digital images of an object using two cameras spaced horizontally, is selected to a known distance. The distance to the object is determined by the shift between the images along the horizontal axis. The size of the scanning window with the image of the object is chosen so that the difference in distances to individual fragments of the object is less than the instrumental resolution in range. Scanning is carried out horizontally and vertically, the shift between images is determined by the position of the maximum value of the two-dimensional normalized correlation function. They specify the position of the maximum of the correlation function in the subpixel range and localize the maximum between the grid node with the highest value of the correlation function and its neighboring nodes. The range and size of the object are determined. The distance to the selected area of the object is determined from an expression that takes into account the deviation from the horizontal line of the position of two digital cameras
где В - расстояние между точками фотографирования в пространстве,
Недостатки прототипа поясняются следующим.The disadvantages of the prototype are explained as follows.
Анализ выражений (1) и (2) показывает, что для обеспечения работоспособности устройства измерения дальности, реализующего стереоскопический способ необходимо, чтобы в нем были применены две идентичные камеры, что накладывает определенные ограничения на техническую реализацию, связанную с необходимостью подбора камер с одинаковыми техническими данными.An analysis of expressions (1) and (2) shows that to ensure the operability of a range measuring device that implements a stereoscopic method, it is necessary that two identical cameras are used in it, which imposes certain restrictions on the technical implementation associated with the need to select cameras with the same technical data .
Если стереоскопическая система определения дальности идеально откалибрована в плоскости измерений, т.е. обеспечена строгая параллельность оптических осей камер, входящих в состав измерительной системы, что на практике обеспечить очень сложно, то рабочую зону, т.е. зону пересечения полей зрений используемых камер, как показано на геометрической модели, представленной на фиг. 2, условно можно представить в виде совокупности четырехугольников образованных при пересечении полей зрения отдельных элементов фоточувствительного приемника высокого разрешения, например пикселей ПЗС-матриц.If the stereoscopic ranging system is perfectly calibrated in the measurement plane, i.e. strict parallelism of the optical axes of the chambers that make up the measuring system is ensured, which in practice is very difficult to ensure, the working area, i.e. the intersection area of the field of view of the cameras used, as shown in the geometric model shown in FIG. 2, it is conditionally possible to represent in the form of a set of quadrangles formed at the intersection of the fields of view of the individual elements of a high-resolution photosensitive receiver, for example, pixels of CCD arrays.
На фиг. 2 ПЗС-матрицы CCD1 и CCD2 для наглядности представлены состоящими из девяти пикселей. Размеры четырехугольников определяют величину ошибки определения дальности измерительной системы. В месте с тем, как следует из выражений (1) и (2), в пределах рабочей зоны можно отобразить линии равных смещений, т.е. линий при нахождении в любой из точек которых объекта, до которого определяется дальность, смещение ΔlГ будет неизменно. Так, например, как показано на фиг. 2, при нахождении объекта интереса в любой из точек, принадлежащих линии Δn=2, например в точках Ц1 и Ц2, смещение изображений всегда будет равно двум линейным размерам пикселя.In FIG. 2 CCD CCD 1 and CCD 2 are presented for illustration purposes consisting of nine pixels. The dimensions of the quadrangles determine the magnitude of the error in determining the range of the measuring system. In the place where, as follows from expressions (1) and (2), within the working area, lines of equal displacements can be displayed, i.e. lines when finding at any of the points of which the object to which the range is determined, the offset Δl G will be unchanged. For example, as shown in FIG. 2, when the object of interest is located at any of the points belonging to the Δn = 2 line, for example, at points C 1 and C 2 , the image displacement will always be equal to two linear pixel sizes.
Из этого следует, что дальность до объекта определяется как расстояние по перпендикуляру от базовой линии О1О2. Это условие всегда необходимо учитывать, особенно в тех случаях, когда измерение дальности проводится до различных объектов относительно одной точки на местности, в которой установлена измерительная система. Чтобы не проводить лишних математических преобразований с полученными значениями дальностей измерительную систему необходимо наводить на объект интереса, так чтобы он находился по крайней мере вблизи от оптических линий I1, I2 объективов измерительной системы, что снижает удобство пользования и увеличивает время на процесс измерения дальности, особенно в тех случаях, когда объектов интереса несколько и все они расположены в разных областях поля зрения.From this it follows that the distance to the object is defined as the distance perpendicular to the baseline O 1 O 2 . This condition must always be taken into account, especially in cases where the range is measured to various objects relative to one point on the terrain in which the measuring system is installed. In order not to carry out unnecessary mathematical transformations with the obtained range values, the measuring system must be pointed at the object of interest, so that it is at least close to the optical lines I 1 , I 2 of the lenses of the measuring system, which reduces usability and increases the time for the range measurement process, especially in cases where there are several objects of interest and they are all located in different areas of the field of view.
Ясно, что в тех случаях, когда целью ставится проведение измерений дальности до различных объектов относительно одной точки на местности, в которой и установлена измерительная система, удобнее пользоваться системой, не требующей изменения ее положения в пространстве после каждого из измерений, что, в свою очередь, приведет к сокращению суммарного времени на все измерения. Данное обстоятельство иллюстрируется фиг. 3, где показаны две видеокамеры, поля их зрения, рабочая зона, образованная пересечением полей зрения обеих камер, объекты интереса Ц1, Ц2 и Ц3. Видно, что если измерительная система не наводится на объекты Ц1, Ц2 и Ц3, то дальности до этих объектов относительно базовой линии, соответственно, будут равны D1, D2 и D3, а относительно места расположения измерительной системы, в данном случае совпадающей с оптическим центром объектива O1 левой камеры, дальности составят D′1, D′2 и D′3, и что только для объекта Ц1, находящегося на оптической оси объектива левой камеры выполнится условие D′1=D1.It is clear that in those cases when the goal is to measure the distance to various objects relative to one point on the terrain where the measuring system is installed, it is more convenient to use a system that does not require a change in its position in space after each measurement, which, in turn, , will reduce the total time for all measurements. This circumstance is illustrated in FIG. 3, where two cameras are shown, their fields of view, the working area formed by the intersection of the fields of view of both cameras, objects of interest are C 1 , C 2 and C 3 . It can be seen that if the measuring system is not aimed at objects C 1 , C 2 and C 3 , then the distances to these objects relative to the baseline, respectively, will be equal to D 1 , D 2 and D 3 , and relative to the location of the measuring system, in this if the left camera coincides with the optical center of the lens O 1 , the distances will be D 1 , D 2 and D 3 , and that only for the object C 1 located on the optical axis of the left camera lens the condition D 1 = D 1 will be fulfilled.
Кроме перечисленных недостатков, стереоскопическая система определения дальности, реализующая стереоскопический базовый способ по формулам (1) или (2), обладает тем недостатком, что при невыполнении условия параллельности оптических осей объективов используемых камер линии с одинаковыми смещениями принимают вид близкий к дуге (Фиг. 4), что приводит к неоднозначности в определении дальности относительно базовой линии О1О2 и возникновению ошибок. При этом ошибка в определении дальности будет тем больше, чем больше нарушено условие параллельности оптических осей. Так из геометрической модели, представленной на фиг. 4, видно, что и до объекта Ц1 и до объекта Ц2 дальности относительно базовой линии О1О2 составят D1, D2, при этом D1≠D2, хотя из выражений (1) или (2) следует что дальности D1 и D2 должны быть равны, так как объекты Ц1 и Ц2 находятся на линии с одинаковыми смещениями изображений во всех ее точках.In addition to these shortcomings, a stereoscopic ranging system that implements a stereoscopic basic method according to formulas (1) or (2) has the disadvantage that when the conditions of parallel optical axes of the lenses of the used cameras are not met, lines with the same displacements take a form close to the arc (Fig. 4 ), which leads to ambiguity in determining the range relative to the baseline O 1 O 2 and the occurrence of errors. Moreover, the error in determining the range will be the greater, the more violated the condition of parallelism of the optical axes. So from the geometric model shown in FIG. 4, it can be seen that both to the object Ts 1 and to the object Ts 2 the distances relative to the baseline O 1 O 2 will be D 1 , D 2 , while D 1 ≠ D 2 , although it follows from expressions (1) or (2) that the distances D 1 and D 2 should be equal, since the objects C 1 and C 2 are on the line with the same image offsets at all its points.
Для устранения этого недостатка камеры перед началом работы ориентируют (калибруют измерительную систему) до устранения непараллельности оптических осей, что требует времени и снижает удобство пользования измерительной системой. Кроме этого, на измерительную систему может воздействовать окружающая среда, например, температура и влажность, которые могут повлиять на форму базы и привести к нарушению параллельности оптических осей камер.To eliminate this drawback, the cameras are oriented (calibrate the measuring system) before the optical axes are eliminated, which takes time and reduces the usability of the measuring system. In addition, the measuring system can be affected by the environment, for example, temperature and humidity, which can affect the shape of the base and lead to a violation of the parallelism of the optical axes of the cameras.
Стереоскопическая система определения дальности, реализующая стереоскопический способ по формулам (1) или (2) имеет минимальную и максимальную дальности работы в пределах которых возможно определение расстояний до объектов, например, на фиг. 2 минимальной дальности соответствует расстояние до объекта, определяемое по максимально возможному смещению изображений, будет соответствовать положению линии Δn=8, а максимальная дальность - минимально возможному смещению изображений - Δn=0 (на фиг. 2 не показано). Увеличение максимальной дальности работы можно обеспечить за счет увеличения базы, фокусных расстояний объективов или уменьшения линейных размеров пикселей. Однако, это приведет к увеличению минимальной дальности работы. И наоборот, уменьшение минимальной дальности работы приведет к уменьшению и максимальной дальности работы. Изменение параметров рабочей зоны, а именно ее ширины, минимального и максимального отстояния объекта от измерительной системы, в пределах которых возможно определение дальности, в зависимости от решаемых задач и условий применения без изменения базы и характеристик применяемых камер, можно решить за счет изменения ориентации камер в плоскости измерений, что, в свою очередь, приведет к неправильному определению дальности, как было показано выше.A stereoscopic ranging system that implements a stereoscopic method according to formulas (1) or (2) has a minimum and maximum range of operation within which it is possible to determine distances to objects, for example, in FIG. 2, the minimum range corresponds to the distance to the object, determined by the maximum possible shift of the images, will correspond to the position of the line Δn = 8, and the maximum range - to the minimum possible shift of the images - Δn = 0 (not shown in Fig. 2). An increase in the maximum operating range can be achieved by increasing the base, focal lengths of lenses or reducing the linear size of pixels. However, this will increase the minimum operating range. Conversely, a decrease in the minimum operating range will lead to a decrease in the maximum operating range. Changing the parameters of the working area, namely its width, the minimum and maximum distance of the object from the measuring system, within which it is possible to determine the distance, depending on the tasks and application conditions without changing the base and characteristics of the cameras used, can be solved by changing the orientation of the cameras in measurement plane, which, in turn, will lead to an incorrect determination of range, as shown above.
Задачи, на решение которых направлено заявленное техническое решение, заключаются в расширении арсенала технических средств в данной области, а также:The tasks to which the claimed technical solution is directed are to expand the arsenal of technical means in this area, as well as:
Во-первых, в обеспечении измерения дальности до объектов в условиях непараллельности оптических осей левой и правой камер. Данная задача достигается компенсацией смещений изображений объектов на изображениях левой и правой камер на величины горизонтальных углов, определяющих угловое положение оптических осей объективов применяемых камер, по следующим выражениямFirstly, in ensuring the measurement of the distance to objects in conditions of non-parallelism of the optical axes of the left and right cameras. This task is achieved by compensating for the displacements of images of objects in the images of the left and right cameras by the horizontal angles that determine the angular position of the optical axes of the lenses of the cameras used, according to the following expressions
где l′Г1, l′Г2 - скомпенсированные значения горизонтальных смещений объектов, до которых измеряется дальность относительно центров изображений, полученных с левой и правой камер;where l ′ G1 , l ′ G2 are the compensated values of the horizontal displacements of objects to which the distance is measured relative to the centers of the images obtained from the left and right cameras;
α1, α2 - углы в горизонтальной плоскости, под которыми оптические оси левой и правой камер находятся к нормали к базовой линии в точках оптических центров левой и правой камер.α 1 , α 2 are the angles in the horizontal plane at which the optical axes of the left and right cameras are located normal to the baseline at the points of the optical centers of the left and right cameras.
Техническим результатом является возможность изменения параметров рабочей зоны, а именно, ее ширины, минимального и максимального отстояния объектов от дальномера, в пределах которых возможно определение дальностей, в зависимости от решаемых задач и условий применения без изменения технических данных используемых камер путем размещения левой и правой камер на независимых кардановых подвесах, обеспечивающих изменение взаимного углового положения этих камер;The technical result is the ability to change the parameters of the working area, namely its width, the minimum and maximum distance of objects from the range finder, within which it is possible to determine the ranges, depending on the tasks and application conditions without changing the technical data of the cameras used by placing the left and right cameras on independent cardan suspensions, providing a change in the mutual angular position of these cameras;
Во-вторых, в реализации измерения дальностей до всех объектов независимо от их расположения в рабочей зоне как определение длин отрезков, соединяющих оптический центр объектива левой камеры с соответствующим объектом. Данная задача при измерении дальности достигается учетом скомпенсированных значений вертикального и горизонтального углов относительно оптической оси, под которыми изображения от объектов попадают в объектив левой камерыSecondly, in the implementation of measuring distances to all objects, regardless of their location in the working area, as determining the lengths of the segments connecting the optical center of the lens of the left camera with the corresponding object. This task when measuring range is achieved by taking into account the compensated values of the vertical and horizontal angles relative to the optical axis, under which images from objects fall into the lens of the left camera
где β1 - угол в вертикальной плоскости, под которым оптическая ось левой камеры находится к нормали к базовой линии в точке оптического центра в плоскости измерений;where β 1 is the angle in the vertical plane, at which the optical axis of the left camera is normal to the baseline at the point of the optical center in the measurement plane;
γ′1 - скомпенсированное на величину угла α1 значение горизонтального угла γ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси I1;γ ′ 1 is the horizontal angle γ 1 compensated by the angle α 1 at which the image from the object enters the lens of the left camera relative to its optical axis I 1 ;
δ′1 - скомпенсированное на величину угла β1 значение вертикального угла δ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси I1.δ ′ 1 is the vertical angle δ 1 compensated by the angle β 1 at which the image from the object enters the lens of the left camera relative to its optical axis I 1 .
Техническим результатом, в данном случае, является уменьшение суммарного времени на измерения дальностей до объектов, находящихся в рабочей зоне, за счет отсутствия необходимости последовательного наведения оптических осей дальномера на эти объекты;The technical result, in this case, is to reduce the total time for measuring distances to objects located in the working area due to the lack of the need for sequential guidance of the optical axes of the range finder to these objects;
В-третьих, в обеспечении измерения дальностей до объектов, когда левая и правая камеры имеют как одинаковые, так и различные технические данные, а именно фокусные расстояния объективов и параметры фоточувствительных приемников высокого разрешения. Данная задача достигается учетом линейных размеров элементов фоточувствительных приемников высокого разрешения отдельно для левой и правой камер и тем, что при вычислении дальностей применяется выражение, учитывающее фокусные расстояния объективов левой и правой камерThirdly, in providing measurement of distances to objects when the left and right cameras have the same or different technical data, namely the focal lengths of the lenses and the parameters of high-resolution photosensitive receivers. This task is achieved by taking into account the linear dimensions of the elements of high-resolution photosensitive receivers separately for the left and right cameras and by the fact that when calculating the ranges, an expression is used that takes into account the focal lengths of the lenses of the left and right cameras
где 
В - базисное расстояние дальномера.In - the base distance of the range finder.
Техническим результатом является упрощение технической реализации дальномера, заключающееся в отсутствии необходимости осуществления подбора по техническим данным двух идентичные камер;The technical result is the simplification of the technical implementation of the rangefinder, which consists in the absence of the need for selection according to the technical data of two identical cameras;
В-четвертых, в автоматическом определении взаимного углового положения левой и правой камер в пространстве. Данная задача достигается применением в составе кардановых подвесов левой и правой камер датчиков горизонтальных и вертикальных углов, а также наличием в составе обрабатывающей системы модуля калибровки по калибровочному шаблону с известными размерами.Fourth, in the automatic determination of the mutual angular position of the left and right cameras in space. This task is achieved by the use of horizontal and vertical angle sensors as part of the cardan suspensions of the left and right cameras, as well as by the presence of a calibration module with a known gauge as part of the processing system.
В этом случае техническим результатом является уменьшение времени на предварительную настройку дальномера за счет отсутствия необходимости приведения оптических осей объективов правой и левой камер к параллельному состоянию в пространстве.In this case, the technical result is to reduce the time for presetting the range finder due to the lack of the need to bring the optical axes of the lenses of the right and left cameras to a parallel state in space.
На фиг. 5 показан пример выполнения оптико-электронного стереоскопического дальномера.In FIG. 5 shows an exemplary embodiment of an optoelectronic stereoscopic rangefinder.
Оптико-электронный стереоскопический дальномер содержит захватное устройство 1 и вычислительный блок 2.Optoelectronic stereoscopic range finder contains a
Захватное устройство 1 обеспечивает возможность захвата пользователем 3 стереоизображений объектов интереса. Захватное устройство 1 содержит левую камеру 4 и правую камеру 5. Левая камера 4 и правая камера 5 являются, например, цифровыми камерами с точечной диафрагмой, каждая из которых установлена на внутренней раме своего карданова подвеса, который содержит внешнюю 8 и 9 и внутреннюю рамы 6 и 7, на осях которых установлены датчики угла поворота рам подвеса 10, 11, 12 и 13. Левая камера 4 и правая камера 5, датчики угла поворота рам подвеса 10, 11, 12 и 13 выполнены с возможностью передачи в вычислительный блок видеоданных и данных об пространственной ориентации камер 4 и 5 через кабели 14-19 универсальной последовательной шины (USB).The
Захватное устройство может быть выполнено в переносном варианте, когда левая и правая камера вместе с кардановыми подвесами и датчиками углов размещаются на основном стержне 20, который является достаточно жестким для ограничения изгиба. Например, основной стержень может быть выполнен из легкого материала, такого как пластик, или другого подходящего материала. Кроме этого, захватное устройство может быть выполнено как часть наземного, надводного или воздушного подвижных средств, например, таких как автомобиль, самолет, вертолет, катер, корабль и т.п. В этом случае роль основного стержня будет выполнять жесткий корпус подвижного средства.The gripping device can be performed in a portable version, when the left and right cameras together with cardan suspensions and angle sensors are placed on the
На фиг. 6 показана геометрическая модель для определения дальности D до объекта интереса Ц в системе координат XYZ, являющейся системой координат захватного устройства. Для упрощения иллюстрации предполагается, что камеры 4 и 5 состоят из фоточувствительных элементов высокого разрешения, например ПЗС-матриц CCD1 и CCD2, и линз 27 и 28, выполняющих роль объективов, с оптическими осями I1, I2 и оптическими центрами в точках O1 и О2. Геометрические центры О′1 и О′2 матриц CCD1 и CCD2 находятся соответственно на оптических осях I1, I2 линз 27 и 28. Плоскость, в которой находится ПЗС-матрица CCD1 параллельна плоскости x1y1, в которой лежит линза 27, и отстоит от нее на величину фокусного расстояния
Цифровые изображения 29 и 30, поступающие с ПСЗ-матриц CCD1 и CCD2, состоят из пикселей, и каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено 8-разрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные полутоновые оттенки. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различные компоненты могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.The
Вычислительный блок 2 включает пользовательский интерфейс 21 и обрабатывающую систему 24 (фиг. 5).
Пользовательский интерфейс 21 обеспечивает выбор пользователем 3 изображений и/или ввод команд обработки. Команды обработки содержат, например, команды на прием видеоданных от захватного устройства 1, команды на указание объектов интереса, команды на запуск измерения дальности до указанных объектов. Пользовательский интерфейс 21 содержит дисплей 23, такой как жидкокристаллический (ЖК) монитор, для просмотра видеоданных и устройство управления и ввода данных 22, такое как клавиатура или указательное устройство (например, мышь, шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя 3 с видеоданными.The
На фиг. 7 показан пример выполнения обрабатывающей системы 24.In FIG. 7 shows an example implementation of the
Обрабатывающая система 24 содержит измерительное приложение 25, память 26 для хранения данных, размещенные на машиночитаемом носителе 31. Обрабатывающая система 24 является удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция).The
Машиночитаемый носитель 31 может включать энергозависимые носители, энергонезависимые носители, съемные носители и несъемные носители, а также может быть любой доступной средой, к которой может иметь доступ универсальное вычислительное устройство. Неограничивающие примеры машиночитаемого носителя 31 могут включать компьютерные накопители и среды передачи данных. Компьютерные накопители дополнительно могут включать энергозависимые, энергонезависимые, съемные и несъемные носители, осуществленные любым способом или с помощью любой технологии хранения информации, например машиночитаемые инструкции, структуры данных, программные модули или другие данные. Среды передачи данных обычно могут реализовывать машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая частота, или в другом механизме передачи, и могут включать любые носители для передачи информации. Специалистам известны модулированные сигналы данных, которые могут иметь по меньшей мере один набор характеристик или могут быть изменены таким способом, который обеспечивает возможность кодирования информации в сигнале. Проводные носители, такие как проводная сеть или прямое проводное соединение, и беспроводные носители, такие как акустические, радиочастотные, инфракрасные и другие беспроводные носители, предполагаемые для использования со стереоскопическим оптико-электронным дальномером, являются примерами сред передачи данных, описанных выше. Комбинации любых вышеуказанных носителей также относятся к машиночитаемым носителям, описанным выше.Computer-
Модуль памяти 26 выполнен с возможностью хранения обрабатываемой пары 32 изображений 29 и 30 (фиг. 6), данных 33 положения объектов, т.е. данных, содержащих необходимую информации о положении указанных пользователем объектов или их частей на изображении 29 (фиг. 6), данных 34 калибровки, т.е. данных, полученных в ходе калибровки захватного устройства, данных 35 собственных, т.е. данных о базисном расстоянии, фокусных расстояниях объективов и линейных размерах пикселей ПЗС-матриц камер 4 и 5 (фиг. 5), значения углов, полученные с датчиков 10-13 углового положения рам кардановых подвесов.The
Измерительное приложение 25 содержит исполняемые модули или команды, выполненные с возможностью исполнения по меньшей мере одним процессором и обеспечивающие обработку видеоданных, получение точных измерительных данных о дальностях до указанных пользователем 3 (фиг. 5) объектов и отображение стереоизображений обрабатывающей системой 24.The measuring
Модуль 36 сбора данных выполнен с возможностью приема данных от захватного устройства 1 (фиг. 5). Например, когда проводные соединения 14-19 соединяют захватное устройство 1 с обрабатывающей системой 24, модуль 36 сбора данных обнаруживает проводные соединения 14-19 и принимает левое 29 и правое 30 изображения от захватного устройства 1, данные с датчиков угла поворота рам подвеса 10, 11, 12 и 13 и передает их для хранения в память 26.The
Модуль 37 калибровки выполнен с возможностью определения данных 34 о калибровке захватного устройства 1, включающей определение точного действительного взаимного расположения оптических осей левой 4 и правой 5 камер относительно общего элемента на калибровочном шаблоне для установки начала отсчета координат датчиков угла поворота рам подвеса и фокусных расстояний объективов левой и правой камер.
Калибровка представляет собой процесс соотнесения идеальной модели камеры с фактическим физическим устройством и определение положения и ориентации камеры относительно системы координат захватного устройства.Calibration is the process of correlating the ideal camera model with the actual physical device and determining the position and orientation of the camera relative to the coordinate system of the gripper.
Углы α1, α2 и β1, β2, фокусные расстояния объективов
Углы отклонения оптических осей камер и фокусные расстояния их объективов, полученные в процессе калибровки, сравниваются с соответствующими углами, полученными с датчиков угла поворота рам подвеса и собственными данными, если есть несовпадение, то в памяти 26 в данных 34 калибровки сохраняются поправки.The deflection angles of the optical axes of the cameras and the focal lengths of their lenses obtained during the calibration are compared with the corresponding angles obtained from the angle sensors of the suspension frames and our own data, if there is a mismatch, then corrections are saved in the
Калибровку выполняют во время завершающих этапов процесса изготовления захватного устройства 1, например, после его сборки и проверки работоспособности. Дополнительно калибровку выполняют непосредственно перед захватом изображений конкретного объекта, дальность до которого необходимо получить в условиях окружающей среды, которые могут повлиять на форму захватного устройства 1 (например, из-за сокращения или расширения материалов) и, соответственно, на расположение камер 4 и 5 относительно захватного устройства.Calibration is performed during the final stages of the manufacturing process of the
Модуль 38 пользовательского интерфейса выполнен с возможностью создания формы 52 управления изображением (фиг. 8) для отображения через дисплей 23 (фиг. 5) и содержит модули, позволяющие пользователю 3 через устройство 22 управления и ввода данных взаимодействовать с измерительным приложением 25.The
Форма 52 управления изображением содержит различные виды, которые обеспечивают возможность отображения видеоданных, взаимодействие пользователя с видеоданными и указания объектов, до которых необходимо измерить дальность.The
На фиг. 8 показан вариант экрана формы 52 управления изображением, отображенном на дисплее 23. Пользователь 3 взаимодействует с формой 52 управления изображением с использованием устройства ввода данных (например, устройства 22 управления и ввода данных) для выбора и изменения значения соответствующего элемента управления.In FIG. 8 shows a screen variant of the
На фиг. 8 позициям 53-72 соответствуют следующие элементы управления: 53 - активное окно, куда выводится выбранное пользователем изображение поля зрения левой или правой камеры; 66 - элементы выбора левой и правой камеры из списка подключенных камер; 65 - элемент отображения данных о выводимом изображении; 62, 63, 64 - элементы ввода собственных данных, а именно линейных размеров пикселя ПЗС-матриц используемых камер, фокусных значений объективов, базисного расстояния захватного устройства; 61 - элемент включения модуля 37 калибровки дальномера (фиг. 7), 60 - вывода дальности до калибровочного шаблона; 55 - выбора камеры, от которой выводится изображение на активное окно 53; 56 - управления увеличением выводимого изображения; 57 - управления формами рамок 67-70, показывающими положения объектов (или их частей) на изображении, до которых измеряется дальности, 58 - элемент управления размерами рамок положения объектов 67-70; 59 - элемент включения модуля 42 дальностей измерительного приложения 25 (фиг. 7).In FIG. The following control elements correspond to 8 positions 53-72: 53 - the active window where the image of the field of view of the left or right camera selected by the user is displayed; 66 - left and right camera selection items from the list of connected cameras; 65 is an element for displaying data about the output image; 62, 63, 64 - input elements of their own data, namely, the linear pixel sizes of the CCD matrices of the cameras used, the focal values of the lenses, the base distance of the gripper; 61 - an element of inclusion of the
Все объекты, указанные пользователем в активном окне 52, маркируются рамками 67-70, охватывающими интересующий объект или его часть. Ниже рядом с рамками объектов выводится полученное значение дальности до этих объектов, или выводится сообщение об ошибке, если изображение объекта не найдено на изображении 30 правой камеры 5 (фиг. 6), или если объект интереса находится за пределами максимальной дальности работы дальномера.All objects specified by the user in the
Дополнительно в активном окне 53 выводятся действующие значения 71, 72 вертикальных и горизонтальных углов рам подвеса для левой и правой камер.Additionally, the
Модуль указания объектов интереса 39 (фиг. 7) принимает от пользователя 3 данные о положении объекта, до которого необходимо измерить дальность, на изображении левой камеры. Как показано на фигуре 9, данные о положении объекта включают смещения lB1 и lГ1 относительно центра O′1 изображения 29 и размеры рамки 73 по горизонту zГ и вертикали zB. Данные о положении объекта сохраняются в памяти 26 в данных 33 положения объектов.The module for indicating objects of interest 39 (Fig. 7) receives from the
Модуль 40 оверлейных маркеров принимает данные положения объектов из памяти и маркирует на изображениях 29 и 30 указанные пользователем 3 и найденные в процессе расчета дальности изображения объектов интереса.The
Модуль 41 ввода собственных данных принимает от пользователя данные о базисном расстоянии захватного устройства 1, величинах фокусных расстояний
Модуль 42 дальностей содержит команды и модули, обеспечивающие возможность проведения точных измерений дальностей до указанных пользователем объектов. Модуль 42 дальностей включается по отклику пользовательского интерфейса на команду пользователя на измерение дальности.
Модуль 43 кадрирования выполнен с возможностью определения размеров и координат области поиска 74 (фиг. 9) изображения Ц′2 объекта интереса Ц на изображении 30 и предназначен для повышения быстродействия и надежности определения объекта на изображении модулем дальности 42 за счет того, что в процессе нахождения координат изображения Ц′2 объекта интереса Ц на изображении 30 анализируется не все изображение, а только его часть, т.е. область поиска 74, содержащая изображение Ц′2 объекта интереса Ц.The framing
Модуль 43 кадрирования принимает из памяти пару изображений 32, данные 33 положения объектов, данные 35 собственные, определяет проводилась ли дополнительная калибровка, если проводилась, то из памяти принимаются скорректированные значения углов от датчиков углов поворота рам подвеса и значения фокусных расстояний объективов левой и правой камер, вычисляет коэффициент масштабирования изображенияThe framing
предназначенный для приведения изображения 29 и 30 к единому масштабу в случае применения камер с разными фокусными расстояниями объективов.designed to bring
По полученным данным модуль 43 кадрирования производит кадрирование левого и правого изображения, при этом на левом изображении 29 по данным положения кадрируется отдельно каждый из указанных пользователем объект интереса, а на изображении 30, полученном с правой камеры 5 на основе данных 34 калибровки или данных 35 собственных кадрируется область поиска 74 для каждого из указанных пользователем объектов интереса.According to the received data, the framing
Данные о положении объекта на изображении 29 левой камеры 4 и его размерах, задаваемые пользователем 3, т.е. lB1, lГ1, zB, zГ принимаются из данных 33 положения объектов. При этом вертикальное lB1 и горизонтальные lГ1 смещения относительно центра O′1 изображения 29 будут составлятьData on the position of the object in the
где lP1 - линейный размер пикселя ПЗС-матрицы левой камеры;where l P1 is the linear pixel size of the CCD matrix of the left camera;
Δn1, Δm1 - соответственно горизонтальное и вертикальное смещения изображения Ц′1 относительно центра O′1 изображения 29, выраженные в количестве пикселей.Δn 1 , Δm 1 - respectively, the horizontal and vertical displacements of the image Ts ′ 1 relative to the center O ′ 1 of the
Размер области 74 (фиг. 9) поиска по вертикали определяется по выражениюThe size of the vertical search area 74 (FIG. 9) is determined by the expression
по горизонтали - от левого края изображения 30 вправо - на величину ΔГ от центра О′2 изображения 30. Величина ΔГ определяется какhorizontally - from the left edge of the
где Δα - разность горизонтальных углов оптических осей левой и правой камер, полученная от датчиков 12, 13 углов поворота рам подвеса.where Δα is the difference between the horizontal angles of the optical axes of the left and right cameras obtained from the
Таким образом, горизонтальный размер области поиска составитThus, the horizontal size of the search area will be
где N - разрешение изображения 30 по горизонтали;where N is the horizontal resolution of the
lP2 - линейный размер пикселя ПЗС-матрицы правой камеры.l P2 is the linear pixel size of the CCD matrix of the right camera.
По вертикали центральная линия области поиска будет отстоять от центра О′2 изображения 30 на величину lB2, определяющую смещение изображения объекта Ц′2 относительно центра О′2 Vertically, the center line of the search area will be separated from the center O ′ 2 of
где 
Δβ - разность вертикальных углов оптических осей левой и правой камер, полученная от датчиков 10, 11 углов поворота рам подвеса.Δβ is the difference between the vertical angles of the optical axes of the left and right cameras obtained from the
Модуль 44 изменения разрешения (фиг. 7) выполнен с возможностью обработки области 73 положения объекта и области поиска 74 (фиг. 9) путем применения операций изменения разрешения, например, на основе применения алгоритмов интерполяции.The
Изменение разрешения области 74 поиска осуществляется в сторону увеличения в четыре раза в горизонтальной плоскости изображения. Таким образом, размер области поиска по горизонту составитThe resolution of the
Разрешение области 73 положения объекта по вертикали приводится к разрешению области 74 поиска до z′В, по горизонтали - до z′″Г, определяемому по выражениюThe resolution of the
На фиг. 9 иллюстрируется порядок кадрирования и изменения разрешения левого и правого изображений.In FIG. 9 illustrates the procedure for cropping and changing the resolution of the left and right images.
Модуль 45 выполнен с возможностью повышения резкости, принимаемых от модуля 44 изменения разрешения области 73 положения объекта и области 74 поиска, например, путем применения оконного фильтра
и предназначен для уменьшения эффекта размытия, возникающего при увеличении разрешения изображения.and is intended to reduce the blur effect that occurs when the image resolution is increased.
Модуль 46 сканирования производит последовательное кадрирование области 74 поиска окном 75 с размерами по горизонтали z′″Г и вертикали z′В, соответствующим размерам области 73 положения объекта после увеличения разрешения, шагом в один цифровой разряд, соответствующий одной четвертой пикселя изображения 30, при этом на каждом шаге сканирования модуль 46 сканирования передает скадрированные участки области 74 поиска в модуль 47 корреляции.The
Таким образом, применение операций изменения разрешения изображений позволяет уменьшить шаг сканирования до одной четвертой пикселя, что способствует нахождению смещения lГ2, определяющих положение объекта интереса на изображении 30 камеры 5, с точностью до десятых долей размера lP2 пикселя ПЗС-матрицы правой камеры, благодаря чему повышается точность измерения дальности.Thus, the use of operations to change the resolution of the images reduces the scanning step to one fourth pixel, which helps to find the offset l Г2 that determine the position of the object of interest in the
Модуль 47 корреляции производит вычисление нормированной двумерной корреляционной функции между областью 73 положения объекта интереса и каждым из поступающих из модуля 46 сканирования участков области 74 поиска. Каждое из полученных значений корреляционной функции при последовательном сканировании области поиска сохраняется в массив.The
Модуль 48 принимает из модуля корреляции массив значений корреляционной функции и определяет порядковый номер максимального значения. Участок области поиска 74, соответствующий максимуму корреляционной функции, определяет положение изображения Ц′2 объекта интереса Ц. При полном совпадении изображений нормированная корреляционная функция будет равна единице.
Модуль 49 смещений на основе координат положения области 74 поиска на изображении 30 переводит координаты максимума корреляционной функции в смещение lГ2 изображения объекта Ц′2 на изображении 30 относительно центра О′2 по следующему выражениюThe offset
где Δn′2 - смещение изображения объекта Ц′2 относительно центра О′2 изображения 30, выраженное в количестве пикселей области поиска после применения операции увеличения разрешения;where Δn ′ 2 is the image offset of the object C ′ 2 relative to the center O ′ 2 of the
lP2 - линейный размер пикселя ПЗС-матрицы правой камеры.l P2 is the linear pixel size of the CCD matrix of the right camera.
Модуль 50 компенсирует горизонтальные смещения lГ1 и lГ2 на величину углов α1 и α2 по следующим выражениям
где l′Г1, l′Г2 - скомпенсированные значения горизонтальных смещений объектов, до которых измеряется дальность относительно центров O′1 и О′2 изображений 29 и 30.where l ′ G1 , l ′ G2 are the compensated horizontal displacements of objects to which the distance relative to the centers O ′ 1 and O ′ 2 of
Компенсация горизонтальных смещений позволяет измерять дальность до объектов, указанных пользователем, когда оптические оси I1 и I2 не параллельны, а находятся под произвольными углами α1 и α2 к системе координат захватного устройства.Compensation of horizontal displacements allows you to measure the distance to objects specified by the user when the optical axes I 1 and I 2 are not parallel, but are at arbitrary angles α 1 and α 2 to the coordinate system of the gripper.
Кроме этого в модуле 50 компенсации смещений вычисляются скомпенсированные значения углов вхождения изображения от объекта к оптической оси I1 левой камеры по следующим выражениямIn addition, in the offset
Где γ′1 - скомпенсированное на величину угла α1 значение горизонтального угла, под которым изображение от объекта входит в объектив левой камеры относительно его оптической оси I1.Where γ ′ 1 is the horizontal angle compensated by the angle α 1 at which the image from the object enters the lens of the left camera relative to its optical axis I 1 .
δ′1 - скомпенсированное на величину угла β1 значение вертикального угла, под которым изображение от объекта входит в объектив левой камеры относительно его оптической оси I1.δ ′ 1 is the value of the vertical angle compensated by the angle β 1 at which the image from the object enters the lens of the left camera relative to its optical axis I 1 .
Вычисление углов γ′1, δ′1 позволяет измерять дальность до объектов как определение длин отрезков линии О1Ц, показанную на фиг. 6, связывающую оптический центр объектива левой камеры и непосредственно объект, до которого измеряется дальность, и не лежащую в плоскостях системы координат захватного устройства.The calculation of the angles γ ′ 1 , δ ′ 1 allows you to measure the distance to the objects as the determination of the lengths of the line segments O 1 C shown in FIG. 6, connecting the optical center of the lens of the left camera and directly the object to which the range is measured, and not lying in the planes of the coordinate system of the gripper.
Модуль 51 вычисления дальностей на основе рассчитанных смещений l′Г1, l′Г2, углов γ′1, δ′Г2, а также собственных данных 35, полученных из памяти 26, выполняет вычисление дальности до указанного пользователем объекта по следующему выражениюThe
Выражение (17) в совокупности со скомпенсированными горизонтальными смещениями l′Г1, l′Г2 и углами γ′1, δ′1 позволяет вычислять дальность до произвольно расположенного объекта оптико-электронным стереоскопическим дальномером, в котором используются камеры как с одинаковыми так и с разными фокусными расстояниями
Рассчитанные значения дальности сохраняются в данных 33 положения объектов в памяти 26.The calculated range values are stored in the position data of the
Изобретение поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения.The invention is illustrated by drawings, which do not cover and, moreover, do not limit the entire scope of the claims of this invention, but are only illustrative materials of a particular case of execution.
На фиг. 1 показана геометрическая модель стереоскопического способа измерения дальности.In FIG. 1 shows a geometric model of a stereoscopic ranging method.
На фиг. 2 на геометрической модели показаны линии равных смещений, в пределах которых до всех объектов измеренные дальности будут равны.In FIG. 2 on a geometric model shows lines of equal displacements, within which the measured ranges will be equal to all objects.
На фиг. 3 иллюстрируется необходимость наведения оптических осей камер стереоскопического дальномера на интересующий объект.In FIG. Figure 3 illustrates the need for pointing the optical axes of the cameras of a stereoscopic rangefinder to an object of interest.
На фиг. 4 на геометрической модели иллюстрируется изменение геометрии линий равных смещений, за счет чего будут возникать неоднозначность результата и ошибки определения дальности.In FIG. 4, a geometric model illustrates a change in the geometry of lines of equal displacements, due to which ambiguity of the result and range determination errors will occur.
На фиг. 5 показана блок-схема выполнения оптико-электронного стереоскопического дальномера.In FIG. 5 shows a block diagram of an optical-electronic stereoscopic rangefinder.
На фиг. 6 показана геометрическая модель захватного устройства.In FIG. 6 shows a geometric model of a gripper.
На фиг. 7 показана блок-схема обрабатывающей системы.In FIG. 7 shows a block diagram of a processing system.
На фиг. 8 показан экран формы управления изображениями.In FIG. 8 shows a screen of an image management form.
На фиг. 9 иллюстрируется определение положения и размеров области поиска, и изменение разрешения области поиска и области положения объекта.In FIG. 9 illustrates the determination of the position and size of the search area, and the change in resolution of the search area and the position area of the object.
Оптико-электронный стереоскопический дальномер работает следующим образом.Optoelectronic stereoscopic range finder operates as follows.
При подключении захватного устройства 1 к обрабатывающей системе 2 (фиг. 5) измерительное приложение 25 по средствам модуля 36 сбора данных (фиг. 7), обнаруживает проводные соединения 14-19 (фиг. 5) и принимает левое 29 и правое 30 изображения (фиг. 6), считывает данные с датчиков угла поворота рам подвеса 10, 11, 12 и 13 и сохраняет их в памяти 26.When connecting the
Пользователь 3, взаимодействуя через устройство 22 управления и ввода данных (фиг. 5) с формой 52 управления изображением (фиг. 8) вводит собственные данные 35 (фиг. 7), т.е. фокусные расстояния объективов, линейные размеры пикселей ПЗС-матриц для левой и правой камер, базисное расстояние, указывает в активном окне 53 (фиг. 8), выводимом на дисплей 23 (фиг. 5), объекты или части этих объектов, до которых необходимо измерить дальность. Модуль 38 пользовательского интерфейса принимает команды пользователя 3 по средствам модуля 41 ввода собственных данных и модуля 39 указания объектов интереса. Модуль 40 оверлейных маркеров маркирует в активном окне 53 прямоугольными рамками интересующие объекты или их части.The
При необходимости пользователь 3 проводит дополнительную калибровку захватного устройства 1, при этом калибровочный шаблон располагается перед камерами захватного устройства, модуль 37 калибровки обрабатывает пару изображений с левой и правой камер, определяет соответствуют ли левое 29 и правое 30 изображения изображению калибровочного шаблона, производит вычисление фокусных расстояний объективов, углов ориентации камер, сравнивает их с значениями, полученными от пользователя 3 и датчиков 10, 11, 12 и 13 углов рам кардановых подвесов, хранящимися в собственных данных 35, и при наличии различий вычисляет поправки и сохраняет их в памяти 26 в данных 34 калибровки.If necessary,
После указания в активном окне 53 формы 52 управления изображением интересующих объектов или их частей и проведенной при необходимости калибровки пользователь 3, взаимодействуя с формой 52 управления изображением через пользовательский интерфейс подает команду на запуск модуля 42 дальностей.After specifying in the
Модуль 42 дальностей последовательно производит кадрирование всех объектов указанных пользователем на изображении 29 левой камеры 4, рассчитывает положение и размеры областей 74 поиска для всех указанных объектов на изображении 30 правой камеры 5, увеличивает разрешения областей 74 поиска, приводит разрешения областей 73 положения объектов к разрешению областей 74 поиска, повышает резкость областей положения объектов и поиска, производит сканирования областей 74 поиска плавающим окном 75, производит корреляционное сравнение результатов сканирования с областями 73 положения объектов и формирует массив значений корреляционной функции, находит координаты максимума корреляционной функции, по найденным координатам максимум корреляционной функции вычисляет смещения относительно центра изображения 30 правой камеры 5 для всех найденных изображений объектов, компенсирует найденные смещения изображений объектов интереса на изображениях правой и левой камер, определяет проводилась ли дополнительная калибровка, если проводилась, то на собственные данные принятые из памяти вводит поправки из данных калибровки и вычисляет дальности до всех указанных пользователем объектов, после чего сохраняет полученные значения в памяти 26.The
Модуль 40 оверлейных маркеров принимает из памяти 26 данные о дальностях до указанных пользователем объектов и выводит их или символ ошибки в активном окне 53 на дисплее 23 рядом с соответствующими рамками положения этих объектов.The
Claims (4)
модуль сбора данных, выполненный с возможностью приема видеоданных от захватного устройства и данных от датчиков угла рам подвеса;
модуль калибровки, выполненный с возможностью определения данных о калибровке захватного устройства, включающей определение точных значений действительного взаимного расположения оптических осей левой и правой камер относительно общего элемента на калибровочном шаблоне (например, калибровочном изображении) и фокусных расстояний объективов левой и правой камер;
модуль пользовательского интерфейса, выполненный с возможностью создания формы управления изображением для отображения через пользовательский интерфейс;
модуль дальностей, содержащий команды и модули, обеспечивающие возможность проведения точных измерений дальностей до указанных пользователем объектов, а именно:
модуль кадрирования, выполненный с возможностью определения размеров и координат области поиска изображения объекта интереса на изображении правой камеры;
модуль изменения разрешения, выполненный с возможностью обработки области положения объекта и области поиска путем применения операций увеличения разрешения, например, на основе применения алгоритмов интерполяции;
модуль повышения резкости изображений;
модуль сканирования, выполняющий последовательное кадрирование области поиска окном с размерами, соответствующими размерам области положения объекта после увеличения разрешения;
модуль корреляции, выполняющий вычисление нормированной двумерной корреляционной функции между областью положения объекта интереса и каждым из поступающих из модуля сканирования участков области поиска и формирующий из полученных значений массив;
модуль определения координат максимума, вычисляющий координаты максимума корреляционной функции в массиве;
модуль смещений, переводящий координаты максимума корреляционной функции в смещения изображений объектов интереса на изображении правой камеры относительно его геометрического центра;
модуль компенсации смещений, компенсирующий горизонтальные смещения изображений объектов, указанных пользователем на изображении левой камеры и найденных в процессе работы на изображении правой камеры, на величины горизонтальных и вертикальных углов расположения оптических осей объективов левой и правой камер относительно нормалей к базовой линии в точках оптических центров объективов левой и правой камер в соответствии с выражениями
где
lГ1, lГ2 - значения горизонтальных смещений изображений объектов интереса относительно геометрических центров изображений, полученных соответственно с левой и правой камер, определенные с учетом размеров элементов фоточувствительных приемников высокого разрешения, например пикселей ПЗС-матриц, отдельно для левой и правой камер;
l′Г1, l′Г2 - скомпенсированные значения горизонтальных смещений lГ1 и lГ2 объектов;
α1, α2 - углы в горизонтальной плоскости, под которыми оптические оси левой и правой камер находятся к нормали к базовой линии в точках оптических центров левой и правой камер,
а также вычисляющий скомпенсированные значения вертикального и горизонтального углов относительно оптической оси левой камеры, под которыми изображения каждого из указанных пользователем объектов попадают в объектив левой камеры, в соответствии с выражениями
где β1 - угол в вертикальной плоскости, под которым оптическая ось левой камеры находится к нормали к базовой линии в точке оптического центра в плоскости измерений;
lB1 - вертикальное смещение изображения объекта интереса относительно геометрического центра изображения, полученного с левой камеры, определенное с учетом размеров элементов фоточувствительного приемника высокого разрешения, например, пикселей ПЗС-матрицы для левой камеры;
γ′1 - скомпенсированное на величину угла α1 значение горизонтального угла γ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси;
δ′1 - скомпенсированное на величину угла β1 значение вертикального угла δ1, под которым изображение от объекта попадает в объектив левой камеры относительно его оптической оси;
модуль вычисления дальностей, обеспечивающий измерение дальностей до указанных пользователем объектов при применении в составе захватного устройства камер как с одинаковыми, так и с различными значениями фокусных расстояний объективов как определение длин кратчайших отрезков от оптического центра объектива левой камеры до указанных пользователем и произвольно расположенных в пределах рабочей зоны дальномера объектов в соответствии с выражением
где В - базисное расстояние дальномера, определяемое как расстояние между оптическими центрами объективов левой и правой камер.1. Optoelectronic stereoscopic rangefinder, containing a gripping device in the form of two digital cameras spaced horizontally at a known distance in space, and a computing unit that determines the distance to objects by determining the shift between images when scanning the received images at the position of the maximum two-dimensional normalized value correlation function in the subpixel range, characterized in that the left and right cameras are installed on the inner frames of their cardan outboard suspensions, each of which contains external and internal frames, on the axes of which are mounted angle sensors of the suspension frames, the left and right cameras, as well as sensors of the angle of rotation of the suspension frames are configured to transmit video data and data on the current spatial orientation of the cameras to the computing unit via universal serial bus (USB) cables, and the computing unit contains a processing system that is a remote computer, such as a laptop or personal computer (workstation), and an user interface that allows the user to select images and / or enter processing instructions, the processing system comprising a measurement application located on a machine-readable medium, which contains, in turn, executable modules or instructions configured to be executed by at least one processor, namely:
a data acquisition module configured to receive video data from the gripper and data from the angle sensors of the suspension frames;
a calibration module, configured to determine calibration data of the gripper, including determining the exact values of the actual relative position of the optical axes of the left and right cameras relative to the common element on the calibration template (eg, calibration image) and the focal lengths of the lenses of the left and right cameras;
a user interface module configured to create an image management form for display through a user interface;
range module containing commands and modules providing the ability to conduct accurate measurements of ranges to user-specified objects, namely:
a framing module, configured to determine the size and coordinates of the search area of the image of the object of interest in the image of the right camera;
a resolution changing module configured to process the position region of the object and the search region by applying resolution increase operations, for example, based on the use of interpolation algorithms;
image sharpening module;
a scanning module that sequentially frames the search area with a window with dimensions corresponding to the dimensions of the object position area after increasing the resolution;
a correlation module that calculates a normalized two-dimensional correlation function between the position region of the object of interest and each of the sections of the search region coming from the scan module and generates an array of the obtained values;
a module for determining the coordinates of the maximum, which calculates the coordinates of the maximum of the correlation function in the array;
a displacement module that translates the coordinates of the maximum of the correlation function into the displacements of images of objects of interest in the image of the right camera relative to its geometric center;
a displacement compensation module that compensates for the horizontal displacements of images of objects indicated by the user in the image of the left camera and found during operation on the image of the right camera by the horizontal and vertical angles of the optical axes of the lenses of the left and right cameras relative to the normal to the baseline at the points of the optical centers of the lenses left and right cameras according to expressions
Where
l Г1 , l Г2 - horizontal displacement values of images of objects of interest relative to the geometric centers of images obtained respectively from the left and right cameras, determined taking into account the sizes of the elements of high-resolution photosensitive receivers, for example, pixels of CCD arrays, separately for the left and right cameras;
l ′ G1 , l ′ G2 - compensated horizontal displacements l Г1 and l Г2 objects;
α 1 , α 2 are the angles in the horizontal plane at which the optical axes of the left and right cameras are located normal to the baseline at the points of the optical centers of the left and right cameras,
as well as calculating the compensated values of the vertical and horizontal angles relative to the optical axis of the left camera, under which the images of each of the objects specified by the user fall into the lens of the left camera, in accordance with the expressions
where β 1 is the angle in the vertical plane, at which the optical axis of the left camera is normal to the baseline at the point of the optical center in the measurement plane;
l B1 is the vertical displacement of the image of the object of interest relative to the geometric center of the image obtained from the left camera, determined taking into account the sizes of the elements of the high-resolution photosensitive receiver, for example, pixels of the CCD matrix for the left camera;
γ ′ 1 is the horizontal angle γ 1 compensated by the angle α 1 at which the image from the object enters the lens of the left camera relative to its optical axis;
δ ′ 1 is the vertical angle δ 1 compensated by the angle β 1 at which the image from the object enters the lens of the left camera relative to its optical axis;
a distance calculation module that provides measurement of distances to user-specified objects when using cameras with both the same and different values of the focal lengths of the lenses as a definition of the lengths of the shortest segments from the optical center of the lens of the left camera to those specified by the user and arbitrarily located within the working range finder zones according to the expression
where B is the base distance of the range finder, defined as the distance between the optical centers of the lenses of the left and right cameras.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014105235/28A RU2579532C2 (en) | 2014-02-12 | 2014-02-12 | Optoelectronic stereoscopic range-finder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014105235/28A RU2579532C2 (en) | 2014-02-12 | 2014-02-12 | Optoelectronic stereoscopic range-finder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014105235A RU2014105235A (en) | 2015-08-20 |
| RU2579532C2 true RU2579532C2 (en) | 2016-04-10 |
Family
ID=53880053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014105235/28A RU2579532C2 (en) | 2014-02-12 | 2014-02-12 | Optoelectronic stereoscopic range-finder |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2579532C2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2626051C2 (en) * | 2016-10-17 | 2017-07-21 | Алексей Владимирович Зубарь | Method for determining distances to objects using images from digital video cameras |
| RU2697822C2 (en) * | 2018-11-19 | 2019-08-21 | Алексей Владимирович Зубарь | Method of determining coordinates of objects based on their digital images |
| RU2740435C2 (en) * | 2020-02-27 | 2021-01-14 | Алексей Владимирович Зубарь | Method of determining position of region of searching for matches on distortion-degraded images |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4527892A (en) * | 1981-12-01 | 1985-07-09 | Ricoh Co., Ltd. | Distance measuring apparatus |
| RU90192U1 (en) * | 2007-12-25 | 2009-12-27 | Государственное образовательное учреждение высшего профессионального образования "Саратовский государственный университет имени Н.Г. Чернышевского" | ELECTRON-OPTICAL RANGE FOR MEASURING DISTANCES TO AN OBJECT CLOSED FROM AN OBSERVER BY A OPTICAL OBSTACLE |
| US20110222046A1 (en) * | 2010-03-09 | 2011-09-15 | Leupold & Stevens, Inc. | Rangefinder for shooting device and method of aligning rangefinder to shooting device sight |
| RU2468336C1 (en) * | 2011-05-20 | 2012-11-27 | Святослав Николаевич Гузевич | Stereoscopic method of measuring distance and ship range- and direction-finder |
-
2014
- 2014-02-12 RU RU2014105235/28A patent/RU2579532C2/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4527892A (en) * | 1981-12-01 | 1985-07-09 | Ricoh Co., Ltd. | Distance measuring apparatus |
| RU90192U1 (en) * | 2007-12-25 | 2009-12-27 | Государственное образовательное учреждение высшего профессионального образования "Саратовский государственный университет имени Н.Г. Чернышевского" | ELECTRON-OPTICAL RANGE FOR MEASURING DISTANCES TO AN OBJECT CLOSED FROM AN OBSERVER BY A OPTICAL OBSTACLE |
| US20110222046A1 (en) * | 2010-03-09 | 2011-09-15 | Leupold & Stevens, Inc. | Rangefinder for shooting device and method of aligning rangefinder to shooting device sight |
| RU2468336C1 (en) * | 2011-05-20 | 2012-11-27 | Святослав Николаевич Гузевич | Stereoscopic method of measuring distance and ship range- and direction-finder |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2626051C2 (en) * | 2016-10-17 | 2017-07-21 | Алексей Владимирович Зубарь | Method for determining distances to objects using images from digital video cameras |
| RU2697822C2 (en) * | 2018-11-19 | 2019-08-21 | Алексей Владимирович Зубарь | Method of determining coordinates of objects based on their digital images |
| RU2740435C2 (en) * | 2020-02-27 | 2021-01-14 | Алексей Владимирович Зубарь | Method of determining position of region of searching for matches on distortion-degraded images |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2014105235A (en) | 2015-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110057295B (en) | Monocular vision plane distance measuring method without image control | |
| CA2819956C (en) | High accuracy camera modelling and calibration method | |
| RU2626051C2 (en) | Method for determining distances to objects using images from digital video cameras | |
| JP4540322B2 (en) | Inter-image corresponding point detection apparatus and inter-image corresponding point detection method | |
| CN109559355B (en) | Multi-camera global calibration device and method without public view field based on camera set | |
| US20120162360A1 (en) | Wide-Angle Image Pickup Unit And Measuring Device | |
| CN103959012A (en) | Position and orientation determination in 6-dof | |
| US8633983B2 (en) | Feature detection apparatus and method for measuring object distances | |
| EP3332387B1 (en) | Method for calibration of a stereo camera | |
| CN108489423B (en) | Method and system for measuring horizontal inclination angle of product surface | |
| JP2018189637A (en) | Camera parameter calculation method, camera parameter calculation program, camera parameter calculation device, and camera parameter calculation system | |
| WO2019144269A1 (en) | Multi-camera photographing system, terminal device, and robot | |
| Yu et al. | A calibration method based on virtual large planar target for cameras with large FOV | |
| Ma et al. | Line-scan CCD camera calibration in 2D coordinate measurement | |
| US11222433B2 (en) | 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images | |
| RU2579532C2 (en) | Optoelectronic stereoscopic range-finder | |
| CN111260730A (en) | Method for calibrating variable visual axis vision system by using reference transmission principle | |
| CN102628693A (en) | Method for registering camera spindle and laser beam in parallel | |
| JP2017098859A (en) | Calibration device of image and calibration method | |
| US20240087167A1 (en) | Compensation of three-dimensional measuring instrument having an autofocus camera | |
| KR102161306B1 (en) | Pan Angle Calibration Method in Image of Mobile PTZ Camera | |
| KR100957590B1 (en) | Aparratus for display omni-directional image with object image | |
| WO2015159791A1 (en) | Distance measuring device and distance measuring method | |
| RU2692970C2 (en) | Method of calibration of video sensors of the multispectral system of technical vision | |
| RU2697822C2 (en) | Method of determining coordinates of objects based on their digital images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160523 |